CN109416730A - 用于检测数字病理图像中的病理异常的方法和系统以及用于注释组织载玻片的方法 - Google Patents

用于检测数字病理图像中的病理异常的方法和系统以及用于注释组织载玻片的方法 Download PDF

Info

Publication number
CN109416730A
CN109416730A CN201780039648.1A CN201780039648A CN109416730A CN 109416730 A CN109416730 A CN 109416730A CN 201780039648 A CN201780039648 A CN 201780039648A CN 109416730 A CN109416730 A CN 109416730A
Authority
CN
China
Prior art keywords
image
histotomy
module
tissue
pathological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780039648.1A
Other languages
English (en)
Inventor
克里斯蒂安·尤伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ContextVision AB
Original Assignee
ContextVision AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ContextVision AB filed Critical ContextVision AB
Publication of CN109416730A publication Critical patent/CN109416730A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于注释组织载玻片图像的方法、一种用于检测数字病理图像中的病理异常的系统和由计算系统执行的方法。由计算系统执行的用于检测数字病理图像中的病理异常的方法包括向计算系统提供数字病理图像并使用布置在计算系统上的识别模块分析数字病理图像。识别模块使用机器学习模块使用加载在所述识别模块中的识别模型执行辨认包含异常图像模式的对象，并使用识别模型识别异常图像模式是否对应于病理异常。

Description

用于检测数字病理图像中的病理异常的方法和系统以及用于 注释组织载玻片的方法
技术领域
本发明涉及一种由计算系统执行的用于检测数字病理图像中的病理异常的方法和一种用于检测数字病理图像中的病理异常的系统。本发明还涉及一种用于注释组织载玻片图像的方法。
背景技术
检测病理异常(例如感染、炎症或癌症肿瘤)的常用方法是通过使用活组织检查来获取组织样本，在该活组织检查期间从身体的一部分移除少量组织样本。组织样本也可来自切除的组织/肿瘤，以验证或补充初始诊断。然后处理移除的组织样本并切割成薄切片，将其染色以显现组织样本的结构特征。用于此目的最常用的染色剂是H&E，它是两种化合物苏木素和曙红的组合。然后用数码相机结合显微镜检索染色的组织样本的图像，并将其连接到具有用于观察组织样本的监视器的计算机。病理学家通过视觉检查诊断性地解释组织样本的图像，以便研究疾病的表现。病理学家还通过标记假定的病理异常区域(例如癌症区域)来手动注释图像，所述病理区域包括异常图像模式。
组织样品含有大量细胞和其他广泛且不均匀分布的结构。因此，解释和注释组织载玻片是高度视觉和主观的过程，其耗时、，昂贵，需要训练有素的专家，并且涉及人为错误的风险。例如，如果由几位病理学家评估组织载玻片，则他们将以不同方式评估(相同)组织载玻片的风险很高，导致评估的显著变化。
因此，鉴于上述缺点，需要一种用于检测数字病理图像中的病理异常的改进方法和系统，以及一种用于注释组织载玻片图像的改进方法，其降低了错误风险，耗时较少而且更便宜。
发明内容
本发明的主题是消除根据现有技术的缺点。
根据权利要求，已经通过用于注释组织载玻片图像的方法、由用于检测数字病理图像中的病理异常的系统和计算系统执行的方法来实现该主题。
更具体地，由计算系统执行的用于检测数字病理图像中的病理异常的方法包括向计算系统提供数字病理图像并使用布置在计算系统上的识别模块分析数字病理图像。识别模块使用机器学习模块使用加载在所述识别模块中的识别模型执行包含异常图像模式的对象的识别，并使用识别模型识别异常图像模式是否对应于病理异常。由此，可以自动检测数字病理图像中的病理异常。
根据本发明的另一方面，识别异常图像模式是否对应于病理异常包括使用识别模型中的分类器对异常图像模式进行分类，以根据至少两个类别对异常图像模式进行分类，并确定异常图像模式是否对应于基于分类的病理异常。
根据本发明的另一方面，该方法还包括使用在多个带注释的数字病理图像上训练的机器学习算法来提供识别模型。
根据本发明的又一方面，提供识别模型包括生成组织载玻片的至少一个第一图像，其包括病理异常的染色形态特征，以及使用染色区域注释至少一个第一图像。用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色组织载玻片。由此，组织载玻片图像被客观地并因此正确地注释。这导致该方法将正确地检测数字病理图像中的病理异常。这反过来又可以更好地治疗病理异常。
根据本发明的一个方面，提供识别模型包括将注释图像提供给机器学习模块，并使用病理异常的不同形态特征训练识别模型以获得分类器。
根据本发明的另一方面，提供识别模型包括提供具有病理异常的组织载玻片；选择对相应的病理异常具有特异性的至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物；用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色组织载玻片；生成组织载玻片的至少一个第一图像；从组织载玻片中移除第一组织化学染料；用第二组织化学染料染色组织载玻片；生成组织载玻片的至少一个第二图像；注释组织载玻片的至少一个第二图像；向机器学习模块提供注释图像，并利用病理异常的不同形态特征训练识别模型，得到分类器。由此，用第二组织化学染料染色的组织载玻片的图像被客观地并因此正确地注释。这导致该方法将正确地检测用组织化学染料染色的组织载玻片的数字病理图像中的病理异常，例如在用H&E染色的组织载玻片的图像中。因此，可以在数字病理学中提供准确的癌症评估。
另一个优点是，如果组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是单个组织载玻片的图像，则它是首先用至少一个生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后的第二种组织化学染料染色的相同组织载玻片。因此，它不是不同的组织载玻片，例如相邻的组织载玻片(即，在组织样品的切片期间彼此相邻的组织载玻片)。因此，至少一个第一图像和至少一个第二图像是相同组织载玻片的图像。因此，可以提供更高的分辨率(与至少一个第一图像和至少一个第二图像是不同组织载玻片的图像相比)并且识别单细胞中生物标志的表达(即，特定生物条件或过程的指示)。这也导致该方法将正确地检测数字病理图像中的病理异常，并且可以在数字病理学中提供准确的癌症评估。
如果组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是一系列连续组织载玻片的图像，则情况相同。首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二种组织化学染料染色一系列连续组织载玻片的每个单独组织载玻片。因此，首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二组织化学染料染色第一组织载玻片，然后首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二种组织化学染料染色第二组织载玻片，然后对连续组织载玻片系列的其余组织载玻片重复该过程。
根据本发明的又一方面，训练识别模型模块包括使用临床结果。因此，通过分析数字病理图像的识别模型，可以识别临床结果，例如癌症已经转移。这有助于有关临床治疗的决定。
根据本发明的另一方面，提供组织载玻片包括从患者选择组织载玻片，其中患者数据和/或临床治疗和/或临床结果是已知的。
根据本发明的一个方面，至少一种荧光染料是荧光直接染色剂。
根据本发明的另一方面，生物标志物是形态学生物标志物和/或癌症特异性生物标志物和/或不同于癌症的另一种疾病特异性生物标志物。因此，该方法可以检测不同类型的癌症和不是癌症的不同类型的其他疾病。
根据本发明的另一方面，从组织载玻片上移除第一组织化学染料包括使用去污剂或溶剂或漂白剂。
根据本发明的另一方面，第二组织化学染料选自包括以下各项的组：苏木素、曙红、van Gieson、甲苯胺蓝、银染、过碘酸-希夫(氏)(PAS)、糖原染色、Weigerts染色、尼氏染色、高尔基染色、番红花素、油红、普鲁士蓝、Picro-Sirius红、Mallary毛状体、Steiner染色、铁苏木素和富尔根染色。
根据本发明的一个方面，该方法还包括提供用户接口，用于将数字病理图像输入到计算系统，并输出数字病理图像中检测到的病理异常的显示。从而，用户可以与计算系统交互。
根据本发明的另一方面，病理异常是感染或炎症或癌症肿瘤。
根据本发明的又一方面，所述至少一类是癌症类型和/或癌症等级和/或癌症阶段。了解癌症类型和/或癌症等级和/或癌症阶段促进关于临床治疗的决定。
根据本发明的一个方面，机器学习模块是深度卷积神经网络。根据本发明的另一方面，机器学习算法是深度卷积神经网络算法。
根据本发明的又一方面，组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是单个组织载玻片或一系列连续组织载玻片的图像。
根据本发明的另一方面，注释组织载玻片的至少一个第二图像包括将组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像层叠在另一个上并使用组织载玻片的至少一个第一图像的染色区域作为用于裁剪组织载玻片的至少一个第二图像的掩模。
更具体地，用于注释组织载玻片图像的方法包括提供具有病理异常的组织载玻片；用对相应的病理异常具有特异性的至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色组织载玻片；生成组织载玻片的至少一个第一图像；从组织载玻片中移除第一组织化学染料；用第二组织化学染料染色组织载玻片；通过使用组织载玻片的至少一个第一图像的染色区域，生成组织载玻片的至少一个第二图像并注释组织载玻片的至少一个第二图像。因此，用第二组织化学染料(例如H&E)染色的组织载玻片的图像是客观的并且因此正确地注释。
另一个优点是，如果组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是单个组织载玻片的图像，则它是首先用至少一个生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后的第二种组织化学染料染色的相同组织载玻片。因此，它不是不同的组织载玻片，例如相邻的组织载玻片(即，在组织样品的切片期间彼此相邻的组织载玻片)。因此，至少一个第一图像和至少一个第二图像是相同组织载玻片的图像。因此，可以提供更高的分辨率(与至少一个第一图像和至少一个第二图像是不同组织载玻片的图像相比)并且识别单细胞中生物标志的表达(即，特定生物条件或过程的指示)。这也导致该方法将正确地检测数字病理图像中的病理异常，并且可以在数字病理学中提供准确的癌症评估。
如果组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是一系列连续组织载玻片的图像，则情况相同。首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二种组织化学染料染色一系列连续组织载玻片的每个单独组织载玻片。因此，首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染色剂或至少一种荧光生物标志物以及随后用第二种组织化学染料染色第一组织载玻片，然后首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二种组织化学染料染色第二组织载玻片，然后对一系列连续组织载玻片中的剩余组织载玻片重复该过程。
根据本发明的一个方面，提供组织载玻片包括从患者选择组织载玻片，其中患者数据和/或临床治疗和/或临床结果是已知的。
根据本发明的另一方面，至少一种荧光染料是荧光直接染色剂。
根据本发明的又一方面，生物标志物是形态学生物标志物和/或癌症特异性生物标志物和/或不同于癌症的另一种疾病特异性生物标志物。由此，可以注释不同类型的癌症和不是癌症的不同类型的其他疾病。
根据本发明的另一方面，从组织载玻片上移除第一组织化学染料包括使用去污剂或溶剂或漂白剂。
根据本发明的一个方面，第二组织化学染料选自包括以下各项的组：苏木素、曙红、van Gieson、甲苯胺蓝、银染、过碘酸-希夫(氏)(PAS)、糖原染色、Weigerts染色、尼氏染色、高尔基染色、番红花素、油红、普鲁士蓝、Picro-Sirius红、Mallary毛状体、Steiner染色、铁苏木素和富尔根染色。
根据本发明的另一方面，病理异常是感染或炎症或癌症肿瘤。
根据本发明的一个方面，组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是单个组织载玻片或一系列连续组织载玻片的图像。
根据本发明的另一方面，注释包括将组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像层叠在另一个上，并使用组织载玻片的至少一个第一图像的染色区域作为用于裁剪组织载玻片的至少一个第二图像的掩模。
更具体地，用于检测数字病理图像中的病理异常的系统包括数字病理图像接收模块和数字病理图像分析模块。数字病理图像分析模块包括识别模块。识别模块包括机器学习模块和识别模型。机器学习模块包括：辨认模块，用于使用识别模型辨认包含异常图像模式的对象；以及识别模块，用于使用识别模型识别异常图像模式是否对应于病理异常。因此，可以提供一种自动检测数字病理图像中的病理异常的系统。
根据本发明的一个方面，识别模型包括：分类器，用于根据至少两个类别对异常图像模式进行分类；以及确定模块，用于基于分类确定异常图像模式是否对应于病理异常。
根据本发明的另一方面，该系统还包括识别模型提供模块。识别模型提供模块包括训练模块，用于基于多个带注释的数字病理图像训练机器学习算法。机器学习模块可以是深度卷积神经网络，机器学习算法可以是深度卷积神经网络算法。
根据本发明的另一方面，该系统还包括用户接口，该用户接口包括用于向系统提供数字病理图像的输入模块和用于在数字病理图像中显示检测到的病理异常的输出模块。从而，用户可以与计算系统交互。
在说明书和所附的专利权利要求书中更详细地描述了本发明的其他目的、实施例和优点。
附图说明
现在将通过实施例并参考附图更详细地描述本发明，其中：
图1是说明根据本发明的一个实施例的由计算系统执行的用于检测数字病理图像中的病理异常的方法的步骤的流程图。
图2是说明根据本发明另一个实施例的由计算系统执行的用于检测数字病理图像中的病理异常的方法的步骤的流程图。
图3是说明根据本发明另一实施例的由计算系统执行的用于检测数字病理图像中的病理异常的方法的步骤的流程图。
图4是说明根据本发明的用于注释组织载玻片图像的方法的步骤的流程图。
图5是根据本发明的一个实施例的用于检测数字病理图像中的病理异常的系统的示意图。
图6是根据本发明另一实施例的用于检测数字病理图像中的病理异常的系统的示意图；以及
图7是根据本发明另一实施例的用于检测数字病理图像中的病理异常的系统的示意图。
具体实施方式
在下文中，示出并描述了本发明的许多实施例。在以下公开的实施例中的整个说明书中，相同的附图标记用于相同或相似的特征。
图1是说明根据本发明的实施例由计算系统50、50′、50″、50″′执行的用于检测数字病理图像中的病理异常的方法10的步骤的流程图(该系统在文中进一步描述；在描述图5-7的文本中)，即用于临床分析的身体内部的视觉表示。所述病理学异常可以是例如感染或炎症或癌症肿瘤。感染可以是例如霍乱、登革热或疟疾，并且炎症可以是例如阑尾炎、滑囊炎或结肠炎。癌症肿瘤可以是例如前列腺癌肿瘤或乳腺癌肿瘤。
该方法包括在步骤11向计算系统50、50′、50″、50″′提供数字病理图像。此后，在步骤12使用布置在计算系统50、50′、50″、50″′上的识别模块521分析数字病理图像。识别模块521使用机器学习模块521使用加载在所述识别模块521中的识别模型5212执行辨认包含异常图像模式的对象并使用识别模块5211识别异常图像模式是否对应于病理异常。当身体中的正常细胞开始出现异常生长模式时，癌症发展。异常生长模式被视为组织载玻片图像中的异常图像模式。
识别异常图像模式是否对应于病理异常包括使用识别模型5212中的分类器52121对异常图像模式进行分类，以根据至少两个类别对异常图像模式进行分类，以及基于所述分类确定异常图像模式是否对应于病理异常。所述至少两类可以是例如受疾病影响的组织和未受影响的组织，例如良性组织(即对健康无危害，不具有恶性或致病)。
该类例如还可以是癌症类型和/或癌症等级和/或癌症阶段。癌症类型可以是例如乳腺癌、前列腺癌、肝癌或肺癌。癌症等级用于分类癌细胞，例如用于乳腺癌的Elston等级或用于前列腺癌的Gleason等级。根据癌细胞与正常细胞的不同程度(分化)、它们的生长和分裂速度以及它们传播的可能性，对癌症进行分级。癌症阶段用于基于体内癌症的程度对癌症进行分类。癌症阶段可以基于肿瘤的大小，癌症是否已经从其开始到身体的其他部位以及它已经扩散的地方扩散(转移)。
不同的分阶段和分级系统用于不同的癌症。一些类型的癌症没有特定的分阶段或分级系统。例如，癌症肿瘤可以用低癌症等级或高癌症等级来描述。它们的等级可以基于它们的差异程度和它们的增长率。低等级癌细胞通常分化良好，肿瘤生长缓慢。高级癌细胞通常分化不良或未分化，肿瘤生长更快，传播更早。
图2是示出根据本发明另一实施例的由计算系统50、50′、50″、50″′执行的用于检测数字病理图像中的病理异常的方法20的步骤的流程图。
图2中的方法与图1中的方法相同。除了它之外，它还包括在步骤21中使用在多个带注释的数字病理图像上训练的机器学习算法来提供识别模型5212。
算法是要执行的自包含的逐步操作集。图2中的步骤22与图1中的步骤11相同，图2中的步骤23与图1中的步骤12相同。
现在将解释术语“机器学习”。机器学习是一种人工智能(Al)，它为计算机提供了从示例中学习而无需为该任务明确编程的能力。机器学习算法根据输入观察的示例训练集构建模型并表示为输出。机器学习使计算机程序的开发能够在暴露于新数据时扩展和适应。机器学习提取并检测数据中的模式并相应地调整程序动作。所述机器学习模块例如可以是深度卷积神经网络，并且机器学习算法例如可以是深度卷积神经网络算法。
现在将解释“深度学习”一词。深度学习，也称为深层结构学习、分层学习或深度机器学习，是基于一组算法的机器学习的一个分支，这些算法在人类大脑之后松散地建模并且被设计为辨认数据中的模式。传统的机器学习依赖于浅网，由一个输入层和一个输出层组成，其间最多有一个隐藏层。深度学习依赖于深网，即输入层、输出层和多个隐藏层。深度学习网络以输出层结束；分类器，为特定结果分配可能性。
提供识别模型包括产生包括病理异常的染色形态特征的组织载玻片的至少一个第一图像。例如，可以生成4个第一图像。形态学特征例如是组织样品的部分的形式、形状和结构。用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色组织载玻片，并通过使用染色区域注释至少一种第一图像。组织载玻片是无色的，因此需要对它们进行染色以区分结构细节。组织载玻片的染色可以手动或通过染色机完成。
提供识别模型5212还可以包括将注释图像提供给机器学习模块5211并使用病理异常的不同形态特征训练识别模型5212以获得分类器52121。
提供识别模型5212还可以包括提供具有病理异常的组织载玻片；选择，对相应的病理异常具有特异性的至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物；用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色组织载玻片；生成组织载玻片的至少一个第一图像；从组织载玻片中移除第一组织化学染料；用第二组织化学染料染色组织载玻片；生成组织载玻片的至少一个第二图像；注释组织载玻片的至少一个第二图像；将注释图像提供给机器学习模块5211并使用病理异常的不同形态特征训练识别模型5212以获得分类器52121。例如，可以生成16个第一图像和1个第二图像。当然，仅在组织载玻片已用第一组织化学染料染色时才完成从组织载玻片中移除第一组织化学染料的步骤。还可以用不包括病理异常的图像训练机器学习模块，例如用包括病理异常的图像和不包括病理异常的图像训练它。
需要注意的是，如果组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是单个组织载玻片的图像，则它是首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物随后用第二种组织化学染料染色的组织载玻片相同的组织载玻片。因此，它不是不同的组织载玻片，例如相邻的组织载玻片(即，在组织样品的切片期间彼此相邻的组织载玻片)。因此，至少一个第一图像和至少一个第二图像是相同组织载玻片的图像。
如果组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是一系列连续组织载玻片的图像，则情况相同。首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二种组织化学染料染色一系列连续组织载玻片的每个单独组织载玻片。因此，首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二组织化学染料染色第一组织载玻片，然后首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二种组织化学染料染色第二组织载玻片，然后对连续组织载玻片系列的其余组织载玻片重复该过程。
上述步骤提供了具有病理异常的组织载玻片；用对相应的病理异常具有特异性的至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色组织载玻片；生成组织载玻片的至少一个第一图像；从组织载玻片中移除第一组织化学染料；用第二组织化学染料染色组织载玻片；通过使用组织载玻片的至少一个第一图像的染色区域生成组织载玻片的至少一个第二图像并且对组织载玻片的至少一个第二图像进行注释，也包括在图4所示的用于注释组织载玻片的方法中。因此，描述这些步骤的文本对于注释组织载玻片的方法也是如此。
通过使用固化组织样品的培养基收集、固定、嵌入、切片、移除所述培养基和再水化组织样品来产生组织载玻片。可以通过例如切除活组织检查或针吸活组织检查来收集组织样本。切除活组织检查是一种医疗过程，在此过程中，从身体的一部分移除器官或组织的一部分或全部。在针吸活组织检查的情况下，将细针插入组织中并提取组织完整组织的小样本。
此后，将组织样品置于固定剂中，例如福尔马林，以防止腐烂和稳定组织和细胞组分，以保持细胞结构尽可能接近天然状态。固定之后是嵌入，其中从组织样品中移除水并用固化样品的培养基代替。培养基可以是例如石蜡，其与组织样品一起形成石蜡块。
然后将组织样品切片，例如，借助于切片机，产生足够薄的载玻片，用于组织和单个细胞结构的细节，以便WSI(整个载玻片图像)成像装置清晰可见。组织载玻片的厚度通常为3-5μm，但组织载玻片可以更厚，例如，用于分析光学切片的3D体积。此后，移除固化组织样品的培养基。因此，如果培养基包含石蜡，则将切片脱石蜡。然后，将组织样品再水合。还可以使用已经储存的组织载玻片，例如通过冷冻，或者使用储存的石蜡块，然后进行步骤切片、移除固化组织样品培养基的培养基并使组织样品再水化。
现在将描述不同类型的染色。生物标志物可以是对生物结构或分子具有特定亲和力的化学化合物，例如，DAPI与DNA，或尼罗红与脂质结合。DAPI和尼罗红是荧光染料。它也可以是与荧光或组织化学标志物缀合或用具有组织化学或荧光标志物的抗体检测的化学化合物。生物标志物也可以是对特异性分子或特异性核苷酸具有特异性的抗体，其识别组织中特定的RNA或DNA链(原位杂交)。mRNA可以检测细胞/组织特异性基因表达。DNA可以检测细菌或病毒的基因重复、易位或外源DNA。
荧光生物标志物可以是结合特定生物结构的化学化合物，并且当用特定波长的光激发时可以发射荧光，例如，DAPI与DNA结合并发出蓝光，激发近紫外光。
荧光生物标志物也可以是结合特定抗原并用荧光标志物标志的抗体，通常第二抗体具有荧光标志物。例如，在兔子中制备的抗Ki67抗体检测组织载玻片上的Ki67抗原，针对兔子抗体的第二抗体携带荧光标志物，例如Alexa 488在用蓝光激发时会发出绿光。
合成的特定核苷酸序列也可用作生物标志物。它可以检测细胞中mRNA的特异性表达，从而表明由特定核苷酸序列编码的蛋白质的合成。然后需要对核苷酸序列进行可视化，这可以通过多种方式完成，例如，掺入荧光核苷酸，掺入可用荧光标记的抗体或用组织化学染料标记的抗体检测的化学化合物，或直接在掺入荧光染料的载玻片上进行rtPCR反应。
合成的特定核苷酸序列也可用于显现DNA链中具有突变的细胞。这将显示具有多个染色体、染色体臂脱位或DNA中的其他异常的癌细胞。
免疫组织化学染色是一种组织化学染色，免疫荧光染色是一种荧光染色。免疫组织化学染色和免疫荧光染色总是用抗体完成。免疫系统使用抗体攻击进入体内的外来分子。引起抗体产生的分子被称为抗原，该抗体与其特异性结合。抗原用作分子标志，并且是细胞事件(例如增殖或细胞死亡)的特征的蛋白质。由于抗体是高度特异性的，因此抗体仅与组织样品中的目标抗原结合。
免疫组织化学染色使用免疫组织化学染料，其在抗原位置产生有色沉淀物以显现抗体-抗原相互作用。免疫荧光染色使用与荧光团化学交联的抗体。抗体辨认抗原并与其结合，并且其携带的荧光团一旦被激发就会发射特定波长的光，并使用荧光显微镜观察。
生物标志物可以是形态学生物标志物和/或癌症特异性生物标志物和/或不同于癌症的另一种疾病特异性生物标志物。形态学生物标志物可以例如是EMT(表型-间充质转变)，其是肿瘤进展的形态学生物标志物。癌症特异性生物标志物的实例是异常隐窝病灶(ACF)，其是结肠癌的形态学生物标志物。与癌症不同的另一种疾病特异性生物标志物可以是例如内源性过氧化物酶，其是炎性皮肤病的生物标志物。
可以使用的抗体的实例是ACTH、ACTIN、ADENOVIRUS、AFP、ALK-1、淀粉样蛋白A、雄激素受体、ANNEXIN、ARGINASE-1、BAP1、B-AMYLOID、BCL-1、BCL-2、BCL-6、BEREP4、β-连环蛋白、BOB1、BRACHYURY、BRST-2、C3d、C4d、降钙素、CALDESMON、CALPONIN、CALRETININ、CATSCRATCH、CD10、CD14、CD117、CD117BM、CD123、CD138、CD15、CD163、CD1a、CD2、CD20、CD21、CD23、CD25、CD3、CD30、CD31、CD33、CD34、CD34BM、CD38、CD4、CD43、CD45RA、CD45RB、CD45RO、CD5、CD56、CD57、CD61、CD68、CD7、CD79a、CD8、CD99、CDX2、CEAm、CEAp、嗜铬粒蛋白、胰凝乳蛋白酶、CK MIX、CK20、CK34BE12、CK5/6、CK7、CK19、CKAE1/AE3、CKCAM5.2、CMV、c-Myc、CXCL13、CYCLIN D2、Cycl in D3、D2-40、DBA-44、Desmin、DOG-1、EBV、LMP、E-Cadherin、EGFR、EMA、EMA-Perineurioma、ER、ERG、Factor 13a、Factor 8、FOXP1、FSH、GALECTIN-3、胃泌素、GATA-3、GFAP、GH、胰高血糖素、谷氨酰胺、谷氨酰胺合成酶、磷脂酰肌醇蛋白聚糖-3、GPC、GRANZYME、幽门螺杆菌、HBC、HBS、hCG、HepPar 1、Her2neu、HGAL、HHV-8、HMB-45、HPL、HSV、IDH1、IgA、IgD、IgG、IgG4、IgM、抑制素、INI、胰岛素、ISHEBV、ISH HPV、ISH KAPPA、ISHLAMBDA、KAPPA、KBA62、KI67、Lambda、LANGERIN、LAT、LEF1、LH、LM02、LYSOZYME、MAP-2、MCT、MELAN A、MITF、MLH1、MNDA、MOC-31、MPO、MSH2、MSH6、MUC2、MUC5AC、MUM1、肌细胞生成素、Naps in A、NB84、NEU N、神经细丝、NKI/C3、NKX3.1、NPM、NSE、NUT、OCT-2、Oct-3/4、p16、p53、p57、p63、细小病毒、PAX-2、PAX-5、PAX8、PD-1、穿孔素、PHH3、PHLDA1、PIN4、PLAP、PMS2、PR、PRAP、催乳素、Proxl、PSA、RNA、S100、S100P、SALL4、SF-1、SMA、SMMS、生长抑素、SOX-10、SOX11、螺旋体、STAT6、SV40、SYNAP、Tamm–Horsfal l、T-bet、TCL-1、TCR、TCR Gamma、TdT、THYRO、TIA-1、TOXO、Transthyret in、TRAP、TSH、TTF1、酪氨酸酶、VIMENTIN、WT1、WT1(C-19)和ZAP70。存在数千种特异性抗体，并且本领域技术人员理解可以使用除上述那些之外的其他诊断抗体。
第一种组织化学染料可以是免疫组织化学染料。DAB、Fast Red、AEC、BCIP/NBT、AP-Red、Permanent Red、TMB和Emerald是可以使用的免疫组织化学染料(色原体)的实例。荧光染料可以是免疫荧光染料。可以使用的免疫荧光染料(荧光染料)的实例是Alexa染色、Cy3、Cy5、Cy7、Bodipye、荧光素、FITC、TRITC和罗丹明。可以使用的其他荧光染料的实例是吖啶橙、DAPI(染色DNA)、溴化乙锭、Hoechst染色剂和尼罗红。(当使用荧光染料时不使用抗体。)上述荧光染料是荧光直接染色剂。本领域技术人员理解，可以使用除上述那些之外的其他组织化学染料和荧光染料。
第二种组织化学染料可以是例如苏木素、曙红、van Gieson、甲苯胺蓝、银染、过碘酸-希夫(氏)(PAS)、糖原染色、Weigerts染色、尼氏染色、高尔基染色、番红花素、油红、普鲁士蓝、酸性品红、Carmin、Conklin染色、甲酚紫、结晶紫、Giemsa染色、革兰染色、苏木素、苏木素和曙红(H&E)染色、Jenner′s染色、Leishman染色、Masson三色染色、May-Grunwald染色、甲基绿、亚甲蓝、中性红、尼罗蓝、巴氏染色(Pap)、PAS染色、Romanowsky染色、苏丹染色、Wright染色和Ziehl-Neelsen染色、Picro-天狼星红、Mallary′strichome、Steiner染色、铁Flematoxylin和Fleugen染色。本领域技术人员理解，可以使用除上述之外的其他第二组织化学染料。
生成组织载玻片的第一图像包括借助于WSI成像装置生成WSI(整个载玻片成像)图像。WSI成像装置包括产生整个载玻片图像所需的硬件和相关软件，整个载玻片图像是整个组织载玻片的单个高放大率数字图像。WSI成像装置可以是例如具有荧光的整个载玻片扫描仪(例如Hamamatsu NANOZOOMERXR)、常规荧光显微镜(例如Zeiss Axio Imager 2)或共焦扫描仪(例如Leica TCS SP8)。可以通过线扫描采集或通过单次照片采集来获取图像，在这两种情况下，信息被平铺到大的WSI。共焦扫描仪逐个点地顺序扫描组织载玻片，或者一次扫描多个点，并将像素信息组装成数字图像。共焦扫描仪可以例如包括40x物镜。通过使用共焦扫描仪，获得在组织载玻片的x，y和z轴上具有高对比度和高分辨率的光学部分。当观看整个载玻片图像时，可以在组织中上下聚焦。
优选地，使用多通道，例如4通道或16通道WSI成像装置。也可以使用单通道扫描仪。如果组织样品用例如发射不同波长(也称为“通道”)的光的多种荧光染料染色，则多通道WSI成像装置多次扫描并数字化组织载玻片；对于每个发射波长(即通道)一次。例如，如果组织载玻片用四种不同的荧光染料染色，例如DAPI、具有Alexa 488的抗体、具有Alexa555的抗体和具有Alexa 633的抗体，则将使用4通道扫描仪产生四种不同的组织载玻片的第一图像。
第二图像优选地也是WSI图像，并且优选地借助于RGB数字相机来检索至少一个第二图像，通过RGB数字相机以各种方式将红色、绿色和蓝色光加在一起以再现多种颜色。组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像都是单个组织载玻片或一系列连续组织载玻片的图像。可以通过堆叠多个2D图像来形成3D体积。可以利用例如不同的焦点、深度和方向平面生成若干2D图像，以形成表示组织载玻片的3D体积。3D体积使得可以分析三个轴上的组织载玻片；x，y和z轴(只能分析两个轴上的2D图像)。
在生成第一图像和第二图像之前，将组织载玻片安装在透明玻璃载玻片上并用盖玻片覆盖，以保留和支撑染色的切片用于光学显微镜检查。盖玻片是一块薄的扁平透明材料，用于保持组织载玻片平整。这是必要的，因为高分辨率显微镜具有非常狭窄的区域，在这些区域内它们聚焦。使用安装培养基将盖玻片粘附到载玻片上。可以使用水溶性安装培养基，其允许直接从染色程序安装组织。在从组织载玻片移除第一组织化学染料之前，从组织载玻片移除盖玻片。
通过用洗涤剂或溶剂或漂白剂洗涤组织载玻片，可以从组织载玻片中移除第一种组织化学染料。例如，如果组织载玻片用AEC染色，则可以通过使用醇去除污渍。如果组织载玻片用至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色，则不需要移除所述染色剂。
通过将组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像层叠在另一个上，例如一个第二图像在一个第一图像上方，来完成对组织载玻片的至少一个第二图像的注释，以及使用组织载玻片的至少一个第一图像的染色区域作为用于裁剪组织载玻片的至少一个第二图像的掩模。例如，如果组织载玻片用四种不同的荧光染料染色，并且在后面的步骤中用组织化学染料染色，则用4通道扫描仪生成组织载玻片的四个不同的第一图像，并且将生成(相同)组织载玻片的一个第二图像。四个不同的第一图像可以例如显示细胞核、腺体形态、具有腺癌的腺体和具有基底细胞的腺体。显示具有腺癌的腺体的第一图像可以在组织载玻片的第二图像上分层，并且显示具有腺癌的腺体的第一图像的腺癌区域可以用作用于裁剪组织载玻片的至少一个第二图像的掩模。然后可以用组织载玻片的其他三个第一图像重复该过程。利用上述WSI成像装置完成重叠。
训练识别模块可以包括使用临床结果。临床结果涉及医疗保健提供者的诊断或评估，并且可以记录在患者的医疗记录中。临床结果包括例如疾病的影响、患者如何运作以及是否已经证明临床治疗提供治疗益处。
提供组织载玻片可以包括从患者选择组织载玻片，其中患者数据和/或临床治疗和/或临床结果是已知的。
患者数据是关于个体患者的信息，例如年龄和性别。临床治疗是在医院或诊所给予患者的医学治疗，例如手术和免疫治疗。
图3是示出根据本发明另一实施例的由计算系统50、50′、50″、50″′执行的用于检测数字病理图像中的病理异常的方法30的步骤的流程图。图3与图2完全相同，除此之外还包括提供用户接口54，即用户通过其与系统交互的界面特征，用于在步骤31中将数字病理图像输入到计算系统50、50′、50″、50″′并且输出数字病理图像中检测到的病理异常的显示。步骤32与图2中的步骤21相同，步骤33与图2中的步骤22相同，步骤23与图2中的步骤23相同。输出数字病理图像中检测到的病理异常的显示可包括使用监视器(未示出)，即计算机屏幕或具有屏幕的设备，其上有文字和/或可以显示图像，或打印机(未示出)。可以通过显示具有注释区域的整个组织载玻片或仅显示注释区域来显示检测到的异常。输出还可用于计算癌症等级，例如前列腺癌的Gleason等级。
图4是说明根据本发明的用于注释组织载玻片图像的方法40的步骤的流程图。所述方法包括在步骤41中提供具有病理异常的组织载玻片；在步骤42中用对相应的病理异常具有特异性的至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色组织载玻片；在步骤43中生成组织载玻片的至少一个第一图像，例如16个第一图像；在步骤44中从组织载玻片上移除第一组织化学染料；在步骤45中用第二种组织化学染料染色组织载玻片；在步骤46中生成组织载玻片的至少一个第二图像，例如1个第二图像，以及在步骤47中通过使用组织载玻片的至少一个第一图像的染色区域来注释组织载玻片的至少一个第二图像。当然，仅在组织载玻片已用第一组织化学染料染色时才进行步骤44。
如前所述，在描述由计算系统50、50′、50″、50″′执行的用于检测数字病理图像中的病理异常的方法时，先前描述了上述步骤(即提供具有病理异常的组织载玻片；用对相应的病理异常具有特异性的至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色组织载玻片；生成组织载玻片的至少一个第一图像；从组织载玻片上移除第一组织化学染料；用第二组织化学染料染色组织载玻片；生成组织载玻片的至少一个第二图像，以及通过使用组织载玻片的至少一个第一图像的染色区域来注释组织载玻片的至少一个第二图像)。因此，描述由计算系统执行的用于检测数字病理图像中的病理异常的方法的描述中的所述步骤的文本在用于注释组织载玻片图像的方法中包括的步骤中也是如此。因此，仅在描述图4的文本中简要描述用于注释组织载玻片图像的方法。
提供组织载玻片可以包括从患者选择组织载玻片，其中患者数据和/或临床治疗和/或临床结果是已知的。至少一种荧光染料可以是例如荧光直接染色剂。生物标志物可以是形态学生物标志物和/或癌症特异性生物标志物和/或不同于癌症的另一种疾病特异性生物标志物。从组织载玻片中去除第一组织化学染料可包括使用去污剂或溶剂或漂白剂。病理异常可以是感染或炎症或癌症肿瘤。组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是单个组织载玻片或一系列连续组织载玻片的图像。
注释包括将组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像层叠在另一个上，并使用组织载玻片的至少一个第一图像的染色区域作为用于裁剪组织载玻片的至少一个第二图像的掩模。
如上所述，需要注意的是，如果组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是单个组织载玻片的图像，则它是首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色然后用第二种组织化学染料染色的相同组织载玻片。因此，它不是不同的组织载玻片，例如相邻的组织载玻片(即，在组织样品的切片期间彼此相邻的组织载玻片)。因此，至少一个第一图像和至少一个第二图像是相同组织载玻片的图像。
如果组织载玻片的至少一个第一图像和组织载玻片的至少一个第二图像是一系列连续组织载玻片的图像，则情况相同。首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二种组织化学染料染色一系列连续组织载玻片的每个单独组织载玻片。因此，首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二组织化学染料染色第一组织载玻片，然后首先用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物以及随后用第二种组织化学染料染色第二组织载玻片，然后对连续组织载玻片系列的其余组织载玻片重复该过程。
图5-7是根据本发明的用于检测数字病理图像中的病理异常的系统50、50′、50″、50″′的示意图。图5中的系统包括数字病理图像接收模块51和数字病理图像分析模块52。数字病理图像接收模块51接收数字病理图像，然后数字病理图像分析模块52分析数字病理图像。数字病理图像分析模块52包括识别模块521。识别模块521包括机器学习模块5211和识别模型5212。机器学习模块5211包括：辨认模块52111，用于使用识别模型5212辨认包含异常图像模式的对象；以及识别模块52112，用于使用识别模型5212识别异常图像模式是否对应于病理异常。识别模型5212包括：分类器52121，用于根据至少两个类别对异常图像模式进行分类；以及确定模块52122，用于基于分类确定异常图像模式是否对应于病理异常。数字病理图像接收模块51和数字病理图像分析模块52经由合适的连接511彼此耦合。
图6中的系统50′与图5中的系统50完全相同，但是它还包括识别模型提供模块53。识别模型提供模块53包括训练模块531，用于基于多个带注释的数字病理图像训练机器学习算法。
上述机器学习模块5211可以是深度卷积神经网络，机器学习算法可以是深度卷积神经网络算法。识别模型提供模块53和数字病理图像分析模块52经由合适的连接512彼此耦合。
图7中的系统50″与图6中的系统50′完全相同，但是它还包括用户接口54，用户接口54包括用于向系统提供数字病理图像的输入模块541和用于在数字病理图像中显示检测到的病理异常的输出模块542。数字病理图像分析模块52和用户接口54经由合适的连接513彼此耦合。数字病理图像接收模块51和用户接口54经由合适的连接514彼此耦合。输出模块542可以包括监视器(未示出)或打印机(未示出)。可以通过显示具有注释区域的整个组织载玻片或仅显示注释区域来显示检测到的异常。输出还可用于计算癌症等级，例如前列腺癌的Gleason等级。
本发明不应被认为局限于所示的实施例，而是可以由本领域技术人员以多种方式进行修改和改变，而不脱离所附权利要求书的范围。

Claims (32)

1.一种由计算系统执行的用于检测数字病理图像中的病理异常的方法，包括：
向所述计算系统提供数字病理图像；
使用布置在所述计算系统上的识别模块分析所述数字病理图像，其中，所述识别模块使用机器学习模块来执行：
使用加载在所述识别模块中的识别模型辨认包含异常图像模式的对象；以及
使用所述识别模型识别所述异常图像模式是否对应于病理异常。
2.根据权利要求1所述的方法，其中，识别所述异常图像模式是否对应于病理异常包括：
使用所述识别模型中的分类器对所述异常图像模式进行分类，以根据至少两个类别对所述异常图像模式进行分类；以及
基于所述分类确定所述异常图像模式是否对应于病理异常。
3.根据权利要求1或2所述的方法，还包括：
使用在多个带注释的数字病理图像上训练的机器学习算法来提供所述识别模型。
4.根据权利要求3所述的方法，其中，提供所述识别模型包括：
生成包含所述病理异常的染色形态特征的组织切片的至少一个第一图像，其中，所述组织切片用至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物染色；以及
使用染色区域注释所述至少一个第一图像。
5.根据权利要求3或4所述的方法，其中，提供所述识别模型包括：
向所述机器学习模块提供所述带注释的图像；
利用所述病理异常的不同形态特征训练所述识别模型，以获得所述分类器。
6.根据权利要求3-5中任一项所述的方法，其中，提供所述识别模型包括：
提供具有病理异常的组织切片；
选择对相应的病理异常具有特异性的至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物；
用所述至少一种生物标志物和所述至少一种第一组织化学染料或所述至少一种生物标志物和所述至少一种荧光染料或所述至少一种荧光生物标志物对所述组织切片染色；
生成所述组织切片的至少一个第一图像；
从所述组织切片中除去所述第一组织化学染料；
用第二组织化学染料对所述组织切片染色；
生成所述组织切片的至少一个第二图像；
注释所述组织切片的所述至少一个第二图像；
向所述机器学习模块提供所述带注释的图像；以及
利用所述病理异常的不同形态特征训练所述识别模型，以获得所述分类器。
7.根据权利要求5或6所述的方法，其中，训练所述识别模块包括使用临床结果。
8.根据权利要求6或7所述的方法，其中，提供组织切片包括从患者选择组织切片，其中患者数据和/或临床治疗和/或临床结果是已知的。
9.根据权利要求6-8中任一项的方法，其中，所述至少一种荧光染料是荧光直接染色剂。
10.根据权利要求6-9中任一项的方法，其中，所述生物标志物是形态学生物标志物和/或癌症特异性生物标志物和/或不同于癌症的另一种疾病特异性生物标志物。
11.根据权利要求6-10中任一项的方法，其中，从所述组织切片上除去所述第一组织化学染料包括使用去污剂或溶剂或漂白剂。
12.根据权利要求6-11中任一项的方法，其中，所述第二组织化学染料选自包括以下各项的组：苏木素、曙红、van Gieson、甲苯胺蓝、银染、过碘酸-希夫(氏)(PAS)、糖原染色、Weigerts染色、尼氏染色、高尔基染色、番红花素、油红、普鲁士蓝、Picro-Sirius红、Mallary毛状体、Steiner染色、铁苏木素和富尔根染色。
13.根据权利要求1-12中任一项所述的方法，还包括：
提供用户界面，所述用户界面用于将数字病理图像输入到所述计算系统并用于输出所述数字病理图像中检测到的病理异常的显示。
14.根据权利要求1-13中任一项的方法，其中，所述病理异常是感染或炎症或癌症肿瘤。
15.根据权利要求2-14中任一项的方法，其中，所述至少一个类别是癌症类型和/或癌症等级和/或癌症阶段。
16.根据权利要求1-15中任一项所述的方法，其中，所述机器学习模块是深度卷积神经网络。
17.根据权利要求3-16中任一项所述的方法，其中，所述机器学习算法是深度卷积神经网络算法。
18.根据权利要求4-17中任一项所述的方法，其中，所述组织切片的所述至少一个第一图像和所述组织切片的所述至少一个第二图像是单个组织切片或一系列连续组织切片的图像。
19.根据权利要求6-18中任一项所述的方法，其中，注释所述组织切片的所述至少一个第二图像包括将所述组织切片的所述至少一个第一图像和所述组织切片的所述至少一个第二图像层叠在另一个上以及使用所述组织切片的所述至少一个第一图像的染色区域作为用于裁剪所述组织切片的所述至少一个第二图像的掩模。
20.一种用于注释组织切片图像的方法，包括：
提供具有病理异常的组织切片；
用对相应的病理异常具有特异性至少一种生物标志物和至少一种第一组织化学染料或至少一种生物标志物和至少一种荧光染料或至少一种荧光生物标志物对所述组织切片染色；
生成所述组织切片的至少一个第一图像；
从所述组织切片中除去所述第一组织化学染料；
用第二组织化学染料对所述组织切片染色；
生成所述组织切片的至少一个第二图像；以及
通过使用所述组织切片的所述至少一个第一图像的染色区域来注释所述组织切片的所述至少一个第二图像。
21.根据权利要求20所述的方法，其中，提供组织切片包括从患者选择组织切片，其中患者数据和/或临床治疗和/或临床结果是已知的。
22.根据权利要求20或21的方法，其中，所述至少一种荧光染料是荧光直接染色。
23.根据权利要求20-22中任一项的方法，其中，所述生物标志物是形态学生物标志物和/或癌症特异性生物标志物和/或不同于癌症的另一种疾病特异性生物标志物。
24.根据权利要求20-23中任一项的方法，其中，从所述组织切片中除去所述第一组织化学染料包括使用去污剂或溶剂或漂白剂。
25.根据权利要求20-24中任一项的方法，其中，所述第二组织化学染料选自包括以下各项的组：苏木素、曙红、van Gieson、甲苯胺蓝、银染、过碘酸-希夫(氏)(PAS)、糖原染色、Weigerts染色、尼氏染色、高尔基染色、番红花素、油红、普鲁士蓝、Picro-Sirius红、Mallary毛状体、Steiner染色、铁苏木素和富尔根染色。
26.根据权利要求20-25中任一项的方法，其中，所述病理异常是感染或炎症或癌症肿瘤。
27.根据权利要求20-26中任一项所述的方法，其中，所述组织切片的所述至少一个第一图像和所述组织切片的所述至少一个第二图像是单个组织切片或一系列连续组织切片的图像。
28.根据权利要求20-27中任一项所述的方法，其中，注释包括将所述组织切片的所述至少一个第一图像和所述组织切片的所述至少一个第二图像层叠在另一个上以及使用所述组织切片的所述至少一个第一图像的染色区域作为用于裁剪所述组织切片的所述至少一个第二图像的掩模。
29.一种用于检测数字病理图像中的病理异常的系统，包括：
数字病理图像接收模块；
数字病理图像分析模块；其中，
所述数字病理图像分析模块包括识别模块；其中，
所述识别模块包括机器学习模块和识别模型；其中，
所述机器学习模块包括：
辨认模块，所述辨认模块用于使用所述识别模型辨认包含异常图像模式的对象；以及
识别模块，所述识别模块用于使用所述识别模型识别所述异常图像模式是否对应于病理异常。
30.根据权利要求29所述的系统，其中，所述识别模型包括：
分类器，所述分类器用于根据至少两个类别对所述异常图像模式进行分类；以及
确定模块，所述确定模块用于基于所述分类确定所述异常图像模式是否对应于病理异常。
31.根据权利要求29或30所述的系统，还包括：
识别模型提供模块；其中，
所述识别模型提供模块包括训练模块，所述训练模块用于基于多个带注释的数字病理图像训练机器学习算法。
32.根据权利要求29-31中任一项所述的系统，还包括：
用户界面，所述用户界面包括：
输入模块，所述输入模块用于向所述系统提供数字病理图像；以及
输出模块，所述输出模块用于显示所述数字病理图像中检测到的病理异常。
CN201780039648.1A 2016-06-28 2017-06-07 用于检测数字病理图像中的病理异常的方法和系统以及用于注释组织载玻片的方法 Pending CN109416730A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/195,526 2016-06-28
US15/195,526 US10572996B2 (en) 2016-06-28 2016-06-28 Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide
PCT/EP2017/063818 WO2018001689A1 (en) 2016-06-28 2017-06-07 Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide

Publications (1)

Publication Number Publication Date
CN109416730A true CN109416730A (zh) 2019-03-01

Family

ID=59152834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780039648.1A Pending CN109416730A (zh) 2016-06-28 2017-06-07 用于检测数字病理图像中的病理异常的方法和系统以及用于注释组织载玻片的方法

Country Status (5)

Country Link
US (1) US10572996B2 (zh)
EP (1) EP3475874B1 (zh)
JP (1) JP2019525151A (zh)
CN (1) CN109416730A (zh)
WO (1) WO2018001689A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114207675A (zh) * 2019-05-28 2022-03-18 佩治人工智能公司 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10663711B2 (en) 2017-01-04 2020-05-26 Corista, LLC Virtual slide stage (VSS) method for viewing whole slide images
US10013781B1 (en) * 2017-06-13 2018-07-03 Google Llc Sewing machine-style polygon drawing method
EP3639191B1 (en) 2017-06-15 2021-09-01 Visiopharm A/S Method for training a deep learning model to obtain histopathological information from images
WO2019139591A1 (en) * 2018-01-11 2019-07-18 Google Llc Method for creating histopathological ground truth masks using slide restaining
WO2019160580A1 (en) * 2018-02-15 2019-08-22 Google Llc Pathology predictions on unstained tissue
CN108596882B (zh) 2018-04-10 2019-04-02 中山大学肿瘤防治中心 病理图片的识别方法及装置
US10957041B2 (en) 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
AU2019275232A1 (en) 2018-05-21 2021-01-07 Corista, LLC Multi-sample whole slide image processing via multi-resolution registration
KR102162895B1 (ko) * 2018-06-04 2020-10-07 주식회사 딥바이오 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
CN110007455B (zh) * 2018-08-21 2021-01-26 腾讯科技（深圳）有限公司 病理显微镜、显示模组、控制方法、装置及存储介质
EP3629242A1 (de) * 2018-09-28 2020-04-01 Siemens Healthcare Diagnostics, Inc. Verfahren zum konfigurieren einer bildauswerteeinrichtung sowie bildauswerteverfahren und bildauswerteeinrichtung
CN110443781A (zh) * 2019-06-27 2019-11-12 杭州智团信息技术有限公司 一种肝脏数字病理的ai辅助诊断系统及方法
CN110866893B (zh) * 2019-09-30 2021-04-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
KR20220164755A (ko) 2020-04-06 2022-12-13 고쿠리츠다이가쿠호진 니이가타 다이가쿠 데이터 생성 장치, 데이터 생성 방법 및 프로그램
CN111932562B (zh) * 2020-09-22 2021-01-19 平安科技（深圳）有限公司 基于ct序列的图像识别方法、装置、电子设备及介质
US11610306B2 (en) 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device
CN112348125B (zh) * 2021-01-06 2021-04-02 安翰科技(武汉)股份有限公司 基于深度学习的胶囊内窥镜影像识别方法、设备及介质
WO2022158908A1 (ko) * 2021-01-22 2022-07-28 주식회사 루닛 병리 이미지 분석 방법 및 시스템
US20220351347A1 (en) * 2021-02-25 2022-11-03 California Institute Of Technology Computational refocusing-assisted deep learning
WO2023121110A1 (en) * 2021-12-24 2023-06-29 Lunit Inc. Method and device for outputting pathology slide image
KR102643066B1 (ko) * 2022-12-09 2024-03-04 (주) 브이픽스메디칼 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215936A1 (en) * 2000-12-13 2003-11-20 Olli Kallioniemi High-throughput tissue microarray technology and applications
WO2008013260A1 (fr) * 2006-07-28 2008-01-31 Shinichiro Isobe Spécimen biologique et procédé de préparation de celui-ci
US20090161928A1 (en) * 2007-12-06 2009-06-25 Siemens Corporate Research, Inc. System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using nir fluorscence
US20120076390A1 (en) * 2010-09-28 2012-03-29 Flagship Bio Methods for feature analysis on consecutive tissue sections
JP2013057631A (ja) * 2011-09-09 2013-03-28 Konica Minolta Medical & Graphic Inc 生体物質発現レベル評価システム
CN105027165A (zh) * 2013-03-15 2015-11-04 文塔纳医疗系统公司 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
JP2016517515A (ja) * 2013-03-15 2016-06-16 ホロジック, インコーポレイテッドHologic, Inc. 細胞診標本を観察および解析するためのシステムおよび方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784162A (en) * 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US6165734A (en) * 1995-12-12 2000-12-26 Applied Spectral Imaging Ltd. In-situ method of analyzing cells
US8831327B2 (en) * 2011-08-30 2014-09-09 General Electric Company Systems and methods for tissue classification using attributes of a biomarker enhanced tissue network (BETN)
KR20150132500A (ko) * 2013-03-15 2015-11-25 메타마크 제네틱스, 인크. 암 예후용 조성물 및 방법
EP3108448B1 (en) * 2014-02-21 2019-05-15 Ventana Medical Systems, Inc. Group sparsity model for image unmixing
AU2015265811B2 (en) * 2014-05-30 2020-04-30 Providence Health & Services - Oregon An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
EP3839812A3 (en) * 2014-09-03 2021-09-01 Ventana Medical Systems, Inc. Systems and methods for generating regions in an image encompassing tumor cells
AU2015357088A1 (en) * 2014-12-03 2017-05-18 Oregon Health & Science University Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
AU2015357091A1 (en) * 2014-12-03 2017-04-27 Ventana Medical Systems, Inc. Systems and methods for early-stage cancer prognosis
JP6757320B2 (ja) * 2014-12-29 2020-09-16 ベンタナ メディカル システムズ， インコーポレイテッド 多重化画像における血管解析
US10839510B2 (en) * 2015-08-19 2020-11-17 Colorado Seminary, Which Owns And Operates The University Of Denver Methods and systems for human tissue analysis using shearlet transforms
US9739783B1 (en) * 2016-03-15 2017-08-22 Anixa Diagnostics Corporation Convolutional neural networks for cancer diagnosis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215936A1 (en) * 2000-12-13 2003-11-20 Olli Kallioniemi High-throughput tissue microarray technology and applications
WO2008013260A1 (fr) * 2006-07-28 2008-01-31 Shinichiro Isobe Spécimen biologique et procédé de préparation de celui-ci
US20090161928A1 (en) * 2007-12-06 2009-06-25 Siemens Corporate Research, Inc. System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using nir fluorscence
US20120076390A1 (en) * 2010-09-28 2012-03-29 Flagship Bio Methods for feature analysis on consecutive tissue sections
JP2013057631A (ja) * 2011-09-09 2013-03-28 Konica Minolta Medical & Graphic Inc 生体物質発現レベル評価システム
CN105027165A (zh) * 2013-03-15 2015-11-04 文塔纳医疗系统公司 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
JP2016517515A (ja) * 2013-03-15 2016-06-16 ホロジック, インコーポレイテッドHologic, Inc. 細胞診標本を観察および解析するためのシステムおよび方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKAHIRO NAKATA 等: "Chromogen-based Immunohistochemical Method for Elucidation of the Coexpression of Two Antigens Using Antibodies from the Same Species", 《JOURNAL OF HISTOCHEMISTRY & CYTOCHEMISTRY》 *
龚磊 等: "基于多特征描述的乳腺癌肿瘤病理自动分级", 《计算机应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114207675A (zh) * 2019-05-28 2022-03-18 佩治人工智能公司 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法
US11676274B2 (en) 2019-05-28 2023-06-13 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology
US11869185B2 (en) 2019-05-28 2024-01-09 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology

Also Published As

Publication number Publication date
WO2018001689A1 (en) 2018-01-04
US20170372471A1 (en) 2017-12-28
EP3475874B1 (en) 2024-05-08
JP2019525151A (ja) 2019-09-05
US10572996B2 (en) 2020-02-25
EP3475874A1 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
CN109416730A (zh) 用于检测数字病理图像中的病理异常的方法和系统以及用于注释组织载玻片的方法
JP5892238B2 (ja) 医用画像処理装置及びプログラム
JP5804194B2 (ja) 医用画像処理装置及びプログラム
JP6074427B2 (ja) 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
Hodneland et al. CellSegm-a MATLAB toolbox for high-throughput 3D cell segmentation
Radtke et al. IBEX: an iterative immunolabeling and chemical bleaching method for high-content imaging of diverse tissues
US8269827B2 (en) System and methods for mapping fluorescent images into a bright field color space
JP2019530847A (ja) 明視野像シミュレーションのためのシステム
JP2019530847A5 (zh)
CN104094116A (zh) 在哺乳动物个体中检测5t4阳性循环肿瘤细胞的方法和诊断5t4阳性癌症的方法
IL300699A (en) Tissue staining and continuous imaging of biological samples for deep learning, image analysis, and virtual staining
JP5887823B2 (ja) 組織評価方法
KR101969847B1 (ko) 동일 검체에서 여러 항원을 검출하기 위한 순차적 다중 면역염색법
Ulaganathan et al. A clinicopathological study of various oral cancer diagnostic techniques
Lin et al. Multi-modal digital pathology for colorectal cancer diagnosis by high-plex immunofluorescence imaging and traditional histology of the same tissue section
CN108885214A (zh) 检测癌症干细胞的方法
JP2008541019A (ja) 組織学のための異種移植組織の対照
JP4856569B2 (ja) 染色組織標本の陽性細胞の計数方法
Jacobson Using Cyclic Immunofluorescence (CyCIF), Deep-learning, and Human Tumor Microarrays (hTMAs) for Antibody Validation and Creation of an Atlas of Cancers Emphasizing Unique Phenotypes
Azam et al. Comparing virtual staining artificial intelligence model performance on same-tissue versus serial-tissue sections based on CD3+ T-cell ground truth
Kempf et al. Histopathological techniques
Conway Development and validation of software solutions to eliminate bottlenecks in the application of high-throughput quantitative immunohistochemistry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301

WD01 Invention patent application deemed withdrawn after publication