CN105027165A - 用于数字完整载片的自动化评分的基于组织对象的机器学习系统 - Google Patents

用于数字完整载片的自动化评分的基于组织对象的机器学习系统 Download PDF

Info

Publication number
CN105027165A
CN105027165A CN201480015136.8A CN201480015136A CN105027165A CN 105027165 A CN105027165 A CN 105027165A CN 201480015136 A CN201480015136 A CN 201480015136A CN 105027165 A CN105027165 A CN 105027165A
Authority
CN
China
Prior art keywords
slide glass
identified
region
digitized image
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480015136.8A
Other languages
English (en)
Other versions
CN105027165B (zh
Inventor
S.S.奇瓦特
S.楚卡
S.H.帕蒂尔
B.萨巴塔
A.萨尔卡
O.瑟特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ventana Medical Systems Inc
Original Assignee
Ventana Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ventana Medical Systems Inc filed Critical Ventana Medical Systems Inc
Publication of CN105027165A publication Critical patent/CN105027165A/zh
Application granted granted Critical
Publication of CN105027165B publication Critical patent/CN105027165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种设施包括用于提供数字化病理学组织载片内的对象（例如，细胞核）的自动化检测、分类和计数的基于学习的图像分析方法的系统和方法。所述设施使用多个参考样本载片来训练对象分类器。随后且响应于接收到包含组织数据的载片的扫描图像，所述设施使用图像分段技术将完整载片分割成背景区域和组织区域。所述设施识别组织数据内的主导颜色区域并使用例如基于径向对称的方法来识别那些区域内的种子点。所述设施至少部分地基于那些种子点来生成棋盘格，棋盘格中的每一个不同的区对应于不同的检测到的对象。然后使用先前训练的分类器对这些对象进行分类。所述设施使用经分类的对象来对载片进行评分。

Description

用于数字完整载片的自动化评分的基于组织对象的机器学习系统
技术领域
本文公开的技术涉及基于计算机的试样分析。
背景技术
乳腺癌是当今最频繁诊断出的癌症之一，并且是女性当中与癌症有关的死亡的第二主要原因。用于预测患有乳腺癌的患者的临床行为和预后（prognosis）的一个指示物是基于用免疫组织化学（IHC）标记（诸如，提供对感兴趣的微观结构进行区分的能力的组织学染色剂）染色的切片组织样本的定性且半定量的视觉检查而对活组织检查/外科手术样本的组织学检查。生物标记可以用于表征肿瘤并识别可改进临床成果的最适当的治疗和药物。
与膜生物标记相对，核生物标记与细胞核中的蛋白质相互作用并对细胞核进行染色。染色的细胞的颜色指示针对细胞的抗原（生物标记）-抗体结合。在临床读取中，病理学家经常通过在视觉上观察和估计阳性染色（例如，棕色着色的）核对象与阳性染色和阴性染色（例如，蓝色着色的）核对象的总数的百分比来报告针对载片的得分。在临床和实验室设置中，精确的测量要求通过识别阳性染色的肿瘤细胞来对肿瘤细胞进行人工计数，这可能是极度乏味的。在实践中，载片得分经常基于病理学家的“猜测估计”。作为结果，人工得分不可再现，且进一步受制于显著的读取器间和读取器内变化性。此外，出于实践的原因，完整载片的解释仅基于由病理学家识别出的几个代表性视场（FOV）和仅那些视场中的信息。不幸的是，该“代表性”分析可能导致取样偏见。
发明内容
公开的技术的至少一些实施例涉及用于对组织试样载片（例如，利用免疫组织化学（IHC）化验染色的试样）进行自动解释和评分的成像系统。所述系统至少部分地基于与完整载片关联的信息和特性来分析图像的区域或整个图像（例如，数字完整载片图像）并选择特征以用于定量分析。完整载片图像被认为是载片的所有或基本上所有包含组织的区域（例如，排除标签、标记和空白区的载片的所有区域）的图像。公开的系统至少部分地基于关于与载片的包含组织的区域关联的数据的信息来识别载片的区域（例如，载片的特定组织区域）或完整载片中的细胞结构（例如，核对象、核种子）和细胞。此外，公开的系统可以对细胞进行计数，计算这些细胞的各种类型的局部和全局特征，识别细胞类型，并执行定量分析。特征计算可以使用不仅来自载片的注释区域的信息而且来自完整载片（例如，以多个放大而分析的载片的包含组织的区域）的信息。所述系统可以对细胞进行自动计数和分类，并至少部分地基于所选视场来对图像和/或整个载片进行评分和/或至少部分地基于与完整载片（即，载片的所有包含组织的区域）关联的信息或数据来对完整载片进行评分。得分可以被用于载片解释。例如，所述系统可以准确地对核对象进行计数以确定关于组织的信息以便辅助可靠且可再现的载片解释。在一个实施例中，所述系统对阳性染色核对象和/或阴性染色核对象进行计数以对例如生物试样（例如，肿瘤组织）进行评分。在一些实施例中，产生覆盖图像以在来自主体的试样的图像中给感兴趣的特征加标签。可以执行对组织的评分以预测和/或生成针对组织样本的预后。
在一些实施例中，病理学家可以批准或拒绝载片得分。如果载片得分被拒绝，则可以用人工得分（例如，至少部分地基于视觉检查的得分）代替自动化得分。所述系统可以具有至少部分地基于针对每个标记（例如，生物标记）的训练或参考载片的集合训练的分类器。针对标记的训练载片的集合可以表示所有期望数据变化性。不同的载片集合可以被用于训练针对每一个标记的分类器。因此，针对单个标记，在训练之后获得单个分类器。由于存在从不同标记获得的图像数据之间的变化性，因此可以针对每个不同的生物标记而训练不同的分类器以便确保未见测试数据上的更好性能，其中测试数据的生物标记类型将是已知的。可以至少部分地基于多么最佳地针对载片解释而处置例如组织类型、染色协议和其他感兴趣的特征中的训练数据变化性来选择经训练的分类器。所述系统可以至少部分地基于该区域内的信息以及该区域外的信息来分析图像的特定区域。
在一些实施例中，多级二进制分类器可以识别阳性和阴性核。阳性核可以与阴性核、淋巴细胞和基质区分。此外，阴性核和淋巴细胞可以与基质区分。然后，淋巴细胞与阴性核区分。在进一步分类中，阳性细胞可以与背景细胞区分。例如，如果阳性细胞具有棕色染色核，则背景细胞可以是可被滤出的细胞质红。至少部分地基于阳性/阴性核的数目，可以确定得分（例如，完整载片得分）。
在一些实施例中，用于完整载片解释的方法包括识别对应于组织的数字化完整载片图像的部分。至少部分地基于在其上放置生物试样（例如，组织）的基底（例如，玻璃）和组织的颜色特性，识别出感兴趣的组织区域。针对识别出的感兴趣的组织区域而检测种子点，以及从识别出的区域中提取组织核对象。针对每一个提取出的组织对象，识别提取出的对象的特性，并且经训练的分类器可以被用于对提取出的对象进行分类。经训练的分类器可以被用户、内科医师等修改。不同的经训练的分类器可以被用于分析不同类型的组织和标记。计算机可读存储介质可以存储数据（例如，分类器、算法等）和指令，所述指令如果被具有处理器的计算系统执行则使计算系统执行这样的方法。
在另外的实施例中，用于对组织数据的数字化图像内的对象进行分类的监督学习系统包括：用于至少部分地基于绝对真实（ground truth）载片训练分类器的装置；用于接收与输入载片关联的组织数据的数字化图像的装置；以及用于分析数字化组织数据的装置。用于分析数字化组织数据的装置可以包括用于检测数字化组织图像内的潜在核种子点的装置和用于从数字化组织图像中提取对象的装置。在一个实施例中，所述系统还包括用于对每一个提取出的对象进行分类的装置。
在一些实施例中，由计算系统使用的方法可以提供组织载片（例如IHC载片）的数字化图像的解释。所述方法包括接收参考训练载片（例如，绝对真实或训练载片）的组织样本的数字化图像。在一些实施例中，使用参考载片的集合。例如，参考载片图像可以是与要分析的组织相同类型的组织的图像。所述系统至少部分地基于与参考图像关联的已知信息来学习由于组织、染色协议、图像扫描和伪像源中的数据变化性而在数字化图像中观察到的变化性的特性。所述系统可以接收至少一个分类方法并使用组织样本的数字化图像来训练分类器。分类器可以是使用附加参考载片来修改的，如果需要或期望的话。
在一些实施例中，所述系统可以接收与具有来自主体的样本的输入载片关联的数据的数字化图像。在一些实施例中，载片的评分以例如以下两种模式之一而发生：视场（FOV）模式和自动化模式。在FOV模式中，诸如病理学家之类的用户对完整载片图像中的多个区域（例如，三个或更多区域）画轮廓或进行“注释”，并且关于注释区域执行分析算法。至少部分地基于在所有这些注释区域中检测到的阳性和阴性肿瘤核的数目获得最终复合分数。在自动化模式中，感兴趣的区（AoI）检测器找出或识别出完整载片图像中的组织区域，或者由某个其他图像分析算法自动生成组织注释，诸如将注释从邻近连续切片（serial section）映射到IHC组织载片的图像配准算法。然后将组织区域分段成分片（tile），并关于包含组织的每个分片执行分类和核计数算法。此外，可以至少部分地基于包含组织的图像分片来获得复合得分。尽管用于对给定图像中的细胞进行检测、计数和分类的基础方法论是类似的（图像可以是用户注释的区域或者是在AoI检测之后完整载片图像中的自动获得的分片），但是在两个工作流程中存在至少一个差异。FoV模式依赖于在FOV选择方面的人工输入，而自动化模式不是这样。关于图2进一步讨论了注释FOV模式，而关于图3进一步讨论了自动化模式。至少部分地基于主导颜色来识别所识别出的组织内的一个或多个区域。对于识别出的区域，检测识别出的区域内的种子点，并提取来自识别出的区域的对象。计算（一个或多个）提取出的对象的特征，以使得经训练的分类器至少部分地基于提取出的对象的计算出的特征来对（一个或多个）提取出的对象进行分类。
在一些实施例中，计算机系统可以被编程为至少部分地基于一个或多个选择准则来自动地识别试样的图像中的特征，所述选择准则包括至少部分地基于颜色特性、样本形态（例如，细胞成分形态、细胞形态、组织形态、解剖结构形态等）、组织特性（例如，密度、成分等）、空间参数（例如，组织结构的布置、组织结构之间的相对位置等）、图像特性参数等的准则。如果特征是核，则选择准则可以包括而不限于颜色特性、核形态（例如，形状、尺寸、成分等）、空间参数（例如，细胞结构中核的位置、核之间的相对位置等）、图像特性、其组合等。在检测到候选核之后，可以自动地使用算法来提供关于整个所分析的图像的得分或信息。可以至少部分地基于参考图像来修改或确定选择准则。例如，可以使用染色的胸部组织的参考图像来确定用于从主体中选择胸部组织的图像的核的选择准则。在一些实施例中，用户可以逐载片地删除任何感兴趣的区。例如，用户可以在视觉上确定图像的一个或多个区不适于评分。
在一些实施例中，所述设施提供了用于对组织数据的数字化图像的完整载片解释的方法。所述方法包括接收组织样本的多个数字化图像。每个组织样本对应于绝对真实载片，且针对所述多个数字化图像中的每一个，对应于与数字化图像关联的分类。所述设施还被配置成使用组织样本的所接收的数字化图像来训练组织对象分类器。在接收到与第一载片关联的数据的数字化图像时，其中第一载片不是绝对真实载片，所述设施识别1）与第一载片关联的数据的数字化图像内的组织，2）识别出的组织内的主导颜色，以及3）至少部分地基于识别出的主导颜色的识别出的组织内的区域。针对每一个识别出的区域，所述设施检测识别出的区域内的种子点，并从识别出的区域中提取对象。此外，针对每一个提取出的对象，所述设施可以识别提取出的对象的特性，并使用经训练的分类器、至少部分地基于提取出的对象的识别出的特性来对提取出的对象进行分类。
附图说明
图1图示根据公开的技术的实施例的用于分析试样的基于计算机的系统和环境。
图2是图示根据公开的技术的实施例的构造分类器组件的处理的框图。
图3是图示根据公开的技术的实施例的分析载片组件的处理的流程图。
图4A是图示根据公开的技术的实施例的检测种子点组件的处理的框图。
图4B图示根据公开的技术的实施例的在图像上执行的投票内核过程中的各种阶段处的图像数据和分析。
图4C表示根据公开的技术的实施例的图像梯度。
图5是图示根据公开的技术的实施例的提取对象组件的处理的流程图。
具体实施方式
设施可以包括用于提供数字化病理学组织载片内的对象的自动化检测、分类和/或计数的基于学习的图像分析方法的系统和方法。所公开的技术可以利用从处于不同放大的所扫描的完整载片图像计算出的完整载片情境和监督机器学习原理来对载片解释过程进行自动化并辅助临床诊断。所述设施可以对阳性染色核对象、阴性染色核对象、组织（包括非细胞组织）或其他特征进行分类以便例如向图像的感兴趣的区、给定视场（FOV）和/或整个载片或载片组分配得分。所述设施被配置成检测FOV中的不同类型的细胞核并对每个细胞核进行分类。为了分析胸部组织样本，例如，所述设施可以将细胞核分类为阳性染色核或阴性染色核并可以忽视其他组织（例如，基质、淋巴细胞等）以至少部分地基于例如百分比阳性/阴性、H得分等来确定得分。在一些实施例中，所述设施还可以识别外来伪像或“无用”特征。
公开的检测和分类过程可以被扩展到数字化完整载片图像以生成针对完整载片的得分（例如，通过对核进行计数而不选择感兴趣的区域，基于来自完整载片的信息）。使用本文公开的技术，所述设施可以自动地适配于变化性的各种源，诸如试样类型、制备、大小、染色剂颜色、对象大小（例如，核大小）、形状变化等等。公开的技术能够在触摸或重叠对象的情境中执行染色剂强度的变化、背景的变化、对象的形状、颜色和大小的变化、以及其他变量。
在一些实施例中，所述设施初始地使用多个“绝对真实”样本载片或训练图像来训练对象分类器，诸如多级框架中的线性二进制分类器。每个绝对真实载片可以包括例如注释FOV，每个注释FOV标识对象的定位和位置以及那些对象的各种特性，诸如颜色特性、形状和大小特性、对象描述物特性、细胞质特性、对象间和密度特性等等。在医院或实验室设置中，病理学家可以注释绝对真实载片并使用绝对真实载片来训练对象分类器。可替换地，成像装置的制造可以训练对象分类器，其被提供到诊所或实验室以供成像装置使用。
对于绝对真实载片中的每个对象，绝对真实数据可以标识对象的类型（例如，阳性染色核对象、阴性染色核对象、基质或淋巴细胞）。使用绝对真实载片和关联的特性信息，所述设施生成分类器模型，所述分类器模型可以被用于未来的对象分类。所述设施可以计算或确定每个对象的各种特性，和/或由专家（诸如，病理学家）提供的使用特性数据提供特性信息。不同绝对真实载片可以被用于训练针对不同解释的对象分类器，诸如用于乳腺癌中的基因状态的解释、IHC解释等。
所述设施可以接收要分析的病理学组织载片数据的扫描且数字化的图像。载片数据可以被放大（例如，1x、2x、5x、20x、40x等等）。所述设施可以使用颜色图像分段技术（诸如基于HSV（色调、饱和度和值）的图像分段）将完整载片分割成背景区域（例如，玻璃背景区域）和组织（前景）区域。该过程允许设施区分组织数据（感兴趣的数据）和载片。在一些实施例中，所述设施以变化的放大水平执行该过程，开始于低放大水平（例如，1x或2x）并使用增加的放大水平（例如，4x、6x、10x）来细化分段过程并降低丢失模糊组织区域的可能性。使用对应于完整载片组织区域数据的数字化数据（即，所计算的前景），所述设施识别出主导染色剂颜色。基于苏木精（蓝色染色剂）和DAB（二氨基联苯胺：棕色染色剂）的IHC染色技术例如可以导致蓝色阴性染色核对象、蓝色基质、蓝色淋巴细胞和棕色阳性染色核对象。因此，利用该类型的染色，所述设施将蓝色和棕色识别为主导颜色。
接下来，所述设施将数字化载片数据投影到主导颜色空间上，所述主导颜色空间对应于通常存在于载片上的染色剂颜色。使用以上示例，数字化载片数据被映射到蓝色和棕色颜色空间以识别足够棕色和足够蓝色的像素（例如，在棕色或蓝色颜色空间中具有超过阈值的强度）。不同阈值可以被用于不同类型的组织的不同类型的染色剂。使用限阈技术，所述设施可以建立针对每个主导颜色的阈值并使用主导颜色投影和所建立的阈值来识别对应于每个主导颜色的区域。以此方式，来自完整载片的数据可以被用于检测和识别两个主导颜色区域，从而提供用于对象检测和分类的完整载片情境。
在一些实施例中，所述设施调用投票内核过程来识别两个主导颜色区域内的对象或种子点，例如，核对象或核种子点。种子点可以是被假定为位于对象内部且作为用于定位对象（例如，核对象或其他感兴趣的特征）的起始点的点。换言之，种子识别可以识别针对对象的近似中心点或其他内部点。如以下参考图4A进一步详细讨论的，为了识别种子对象，所述设施可以生成数字化载片数据的灰度级表示且然后根据灰度级表示来计算梯度信息。所述设施然后通过针对具有超过预定义阈值的梯度量值的每个像素对该像素局部邻域投出投票来生成投票响应矩阵。局部邻域是至少部分地基于局部梯度方向和预定距离或半径范围来确定的。随后，投票响应矩阵内超过投票阈值的每个局部最大值可以被识别为种子位置。在并行且独立的步骤中，例如，适应性限阈技术可以被应用于组织数据以区分较暗对象（例如，细胞核）和其他对象（例如，基质和载片背景），并生成对象前景掩模。对象前景掩模和种子位置被组合地使用以生成前景图像的棋盘格（tessellated）版本，其中棋盘格版本中的像素或单元的每个不同的连接区对应于不同的检测到的对象或“团斑（blob）”。然后使用分类器（例如，先前训练的分类器）对每个“团斑”进行分类以识别阳性染色核对象、阴性染色核对象、基质和淋巴细胞中的一个或多个。一旦被分类，检测到的核对象可以被用于对载片或载片内的特定区域进行评分。因而，公开的技术利用完整载片情境和机器学习技术来改进核对象检测和自动化载片评分。
图1图示了根据公开的技术的实施例的用于分析组织试样的基于计算机的系统和环境。分析系统100包括成像装置120和计算机系统110。承载试样的显微镜载片可以被装载到成像装置120中。成像装置120可以产生试样的图像。通过直接连接或经由网络130将图像发送到计算机系统110。计算机系统110向用户显示图像。计算机系统110可以通过对对象进行检测和分类并对完整载片和/或载片的区域（例如，用户标识的区域）进行评分来辅助用户（例如，病理学家、细胞科学家、实验室技术人员等）。
成像装置120可以包括而不限于一个或多个图像捕获设备。图像捕获设备可以包括而不限于摄像机（例如，模拟摄像机、数字摄像机等）、光学装置（例如，一个或多个透镜、传感器聚焦透镜组、显微镜物镜等）、成像传感器（例如，电荷耦合器件（CCD）、互补金属氧化物半导体（CMOS）图像传感器等）、照相胶片等。在数字的实施例中，图像捕获设备可以包括进行协作以证明即时（on-the-fly）聚焦的多个透镜。CCD传感器可以捕获试样的数字图像。产生数字图像的一个方法包括确定包含显微镜载片的包括试样的至少部分的区域的扫描区。扫描区可以被划分成多个快照。可以通过组合快照来产生图像。在一些实施例中，成像装置120产生整个试样的高分辨率图像和/或载片的整个安装区的图像。
计算机系统110可以包括台式计算机、膝上型计算机、平板等，并可以包括数字电子电路、固件、硬件、存储器、计算机存储介质、计算机程序、处理器（包括所编程的处理器）等，并可以以二进制形式存储数字图像。图像还可以被划分成像素的矩阵。像素可以包括由位深度定义的一个或多个位的数字值。数字值可以表示例如能量、亮度、颜色、强度、声音、升高或通过图像处理而导出的分类的值。非限制示例性数字图像格式包括但不限于位映射、联合图片专家组（JPEG）、标签图像文件格式（TIFF）和图形互换格式（GIF）以及其他数字数据格式。
网络130或直接连接将成像装置120和计算机系统110互连。网络130可以包括而不限于一个或多个网关、路由器、桥接器、其组合等。网络130可以包括一个或多个服务器和一个或多个网站，其对用户而言可访问并可以被用于发送和接收计算机系统110可利用的信息。服务器可以包括而不限于用于存储信息（例如，数字图像、算法、染色协议等）的一个或多个关联的数据库。网络130可以包括但不限于使用传输控制协议（TCP）、用户数据报协议（UDP）、网际协议（IP）和其他数据协议的数据网络。计算机系统110可以执行本文讨论的方法和技术。计算机系统110的组件和特征可以被与公开的技术的其他组件和特征混合和匹配。
在其上实现公开的技术的计算设备可以包括中央处理单元、存储器、输入设备（例如，键盘和定点设备）、输出设备（例如，显示设备）和存储设备（例如，盘驱动器）。存储器和存储设备是可被编码有实现技术的计算机可执行指令的计算机可读介质，例如，包含指令的计算机可读介质。此外，指令、数据结构和消息结构可以经由数据传输介质（诸如，通信链路上的信号）而被传输并可以被加密。因此，计算机可读介质包括可在其上存储数据的计算机可读存储介质和可在其上传输数据的计算机可读传输介质。数据可以包括而不限于对象分类器例程、绝对真实载片数据（或其他类型的参考图像）、参考图像、分段例程、评分协议等。可以使用各种通信链路，诸如互联网、局域网、广域网、点对点拨号连接、蜂窝电话网络等。
可以在由一个或多个计算机或其他设备执行的计算机可执行指令（诸如程序模块）的一般上下文中描述公开的技术。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。典型地，程序模块的功能可以如各种实施例中期望的那样被组合或分布。
本文描述的技术的许多实施例可以采取计算机可执行指令的形式，包括由可编程计算机执行的例程。相关领域技术人员将领会到，技术的方面可以在除本文所示出和描述的那些计算机系统外的计算机系统上实践。技术的实施例可以被实现在各种操作环境中并与各种操作环境一起使用，所述各种操作环境包括个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、可编程消费电子装置、数字摄像机、网络PC、微型计算机、大型计算机、包括以上系统或设备中的任一个的计算环境等等。此外，所述技术可以被体现在专用计算机或数据处理器中，其特别地被编程、配置或构造成执行本文描述的计算机可执行指令中的一个或多个。因此，如本文通常使用的术语“计算机”或“系统”指的是任何数据处理器，并可以包括互联网装置和手持设备（包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费电子装置、网络计算机、微型计算机等）。由这些计算机处置的信息可以在任何合适的显示介质（包括CRT显示器或LCD）处呈现。用户可以在这样的显示器上查看图像和得分。
所述技术还可以在分布式环境中实践，其中任务或模块被通过通信网络而链接的远程处理设备执行。在分布式计算环境中，程序模块或子例程可以位于本地和远程存储器存储设备中。本文描述的技术的方面可以被存储或分布在包括磁或光学可读或可移除计算机盘的计算机可读介质上以及电子分布在网络之上。对技术的方面特定的数据结构、分类器（例如，经训练的分类器）、图像数据、参考图像和数据的传输也被包含在本技术的范围内。
图2是图示一些实施例中的构造分类器组件111的处理的框图。该系统调用构造分类器组件111来构造用于将检测到的对象分类为例如阳性染色核对象、阴性染色核对象、基质或淋巴细胞的对象分类器模型。在块210中，组件接收载片数据。接收到的载片数据可以对应于设施用以生成模型的“绝对真实”载片。在块220中，组件接收关于载片的信息，诸如针对每个载片的注释FOV的指示。每个FOV可以对应于用户感兴趣的载片的部分，诸如包含一个或多个类型的对象的部分。每个对象由特定载片内的特定位置和其是阳性染色核对象、阴性染色核对象、基质还是淋巴细胞的指示来标识。
在块230中，组件接收针对每个对象的例如根据注释FOV和完整载片情境计算的特性，诸如针对作为完整、组织/基质/淋巴区域分段的每个FOV或载片等等的颜色特性、形状和大小特性（例如，面积、离心率、归一化核大小、大小、伸长、形态）、对象描述物特性（例如，投票力度、所估计的半径、核归一化平均梯度力度、梯度力度的直方图以及方向）、细胞质特性、对象间和密度特性、主导颜色特性。颜色特性可以包括而不限于平均L*a*b值（L*a*b颜色空间）、苏木精染色剂和DAB染色剂成分、PC1比（例如，在完整载片中RGB（红色、绿色、蓝色）到主导IHC染色剂颜色上的投影）、纹理图像特征、DAB（二氨基联苯胺）与苏木精强度比、归一化颜色、针对对象的RGB值的标准差、对象周围的RGB强度的背景均值和标准差。对象间和密度特性可以包括而不限于堆积（packing）密度、相邻核对象的分布、最近相邻对象中心的数目、到附近对象中心的平均距离、所有极方向上到附近核中心的MAD（绝对中位差）距离等。细胞质特性可以包括而不限于多环形区域特征（强度）、与核强度的差异、到核颜色的多环形区域颜色距离等。此外，可以至少部分地基于区域分段给每个对象分配属于组织、基质或淋巴区域中特定的一个的概率。
在块240中，组件计算每个对象的特性，诸如以上讨论的那些，以在生成分类器模型之前加强或增强用户提供的特性信息。本领域技术人员将认识到，每个对象的各种特性可以被用户提供为绝对真实信息的一部分或者可以被设施所计算，一旦用户已经识别出对象的话。
在块250中，组件生成分类器框架，诸如多级分类器框架或其他框架。组件然后返回所生成的分类器框架以供设施存储和使用以识别数字化组织数据中的对象。
图3是图示一些实施例中的分析载片组件112的处理的流程图。系统调用该组件以分析和捕获要分析的载片数据。在块 305中，组件接收包括数字化组织数据的载片数据。数字化组织数据可以例如由亚利桑那州图森市的VENTANA MEDICAL SYSTEMS的iSCAN COREOTM或其他合适的成像装置生成。在一些实施例中，数字化组织数据来自在名称为“IMAGING SYSTEM AND TECHNIQUES”的国际专利申请号PCT/US2010/002772（专利公开号WO/2011/049608）中公开的成像装置，该专利以其全部通过引用而并入。在其他实施例中，数字化组织数据来自耦合到显微镜的数字摄像机。
在块310中，组件执行图像分段技术以区分图像中的数字化组织数据和载片，所述组织对应于前景而所述载片对应于背景。在一些实施例中，组件计算完整载片图像中的感兴趣的区（AoI）以便检测AoI中的所有组织区域，同时限制被分析的背景非组织区的量。广泛范围的图像分段技术（例如，基于HSV颜色的图像分段、Lab图像分段、均值移位颜色图像分段、区域生长、水平集合方法、快速行进方法等）可以被用于确定例如组织数据和非组织或背景数据的边界。至少部分地基于分段，组件还可以生成组织前景掩模，其可以被用于识别数字化载片数据的对应于组织数据的那些部分。可替换地，组件可以生成用于识别数字化载片数据的不对应于组织数据的那些部分。
在块315中，组件执行前景数据（即，组织数据）的主导颜色分析。主导颜色分析包括而不限于：a）确定跨整个数字化载片数据的组织数据中的主导颜色，b）将RGB图像数据投影到主导颜色空间上，c）执行限阈技术（诸如，自适应颜色限阈、Otsu方法、平衡直方图限阈或其他限阈技术）以识别数字化载片数据的在主导颜色空间中具有超过预定阈值的强度值的那些部分。例如，如果主导颜色是蓝色和棕色，则组件可以识别在蓝色或棕色颜色空间中具有超过阈值的强度值的那些部分。阈值可以由用户建立，或者可以由组件至少部分地基于每个颜色空间内的颜色或强度的范围来建立。例如，阈值可以被定义为中位颜色或强度、均值颜色或强度、作为从均值颜色或强度值离开（之上或之下）的某个预定数目的标准差的颜色或强度等等。可以使用其他颜色分析技术。
在块320中，组件112至少部分地基于例如颜色、纹理、共生矩阵、多尺度Haar特征、滤波器组等中的一个或多个将数字化组织数据分段成腺体和基质部分。此外，组件可以以各种尺度、分辨率水平或放大水平执行分段过程以降低误识别不同部分的概率。
在判决块325中，如果用户已经识别出或选择了任何感兴趣的FOV，则组件112在块325处继续，否则组件在块330处继续。例如，用户可以使用选择工具（例如，鼠标、操纵杆、诸如套索工具之类的图标、或者一个或多个按键或其他机制）来选择在图像中被显示为FOV的组织的一个或多个部分。这些部分可以被使用以代替或附加于载片的自动生成的分片。
在块330中，组件112可以使用网格图案来对对应于组织数据的载片的部分进行分片。例如，组件可以至少部分地基于固定或设置的分片数目（例如，5 x 5网格、10 x 10网格、3 x 10网格等）、至少部分地基于针对每个分片的像素数目（例如，60像素乘60像素、150像素乘150像素、300像素乘1000像素等）、针对每个分片的尺寸（例如，1μm x 1μm、1mm x 1mm等）等等来对完整载片组织数据或其部分进行分片。在一些实施例中，组件可以提示用户定义每个分片的大小/形状和/或沿每个维度的分片的总体数目。在处理中，使用来自经分片的区域内的单个分片图像信息和还来自从不同放大提取的完整载片情境的信息和邻居载片中的图像信息。基于分片的处理允许使用当使用基于注释FOV的工作流程时可能不存在的情境敏感特征。例如，基于分片的处理可以使得组件能够区分阴性肿瘤核和淋巴细胞，这可能是重要的。因为淋巴细胞成簇地出现，所以淋巴细胞情境可以或可以不被充分地表示在特定FOV中。相反地，当检查特定分片时，其相邻分片可以被考虑以便提供附加情境和细胞密度的细化估计。该附加情境可以帮助辨别淋巴细胞（通常密集堆积的）和阴性肿瘤细胞。
其中基于情境的分析有用的另一方面是：完整载片图像最初可以以粗分辨率（例如，2x）考虑。基于初始分片分析，可以至少部分地基于例如密集淋巴细胞簇的识别来执行近似区域分段过程。因此，在搜索例如蓝色染色的肿瘤核的同时可以丢弃检测到的淋巴细胞区域。此外，可靠的基质区域识别可以辅助避免对基质区域中的阴性核进行计数。在粗分辨率下，分片分析可以找到基于粗纹理的特征以执行对基质区域的可靠检测。因而，尽管基于注释FOV的工作流程提供了相对简单的工作流程，但基于完整载片的工作流程呈现出用于智能图像分析的许多机会。例如，情境（例如，周围分片）的使用提供了用于至少部分地基于其相对密度和其他特征对例如蓝色染色细胞进行分类（可以从淋巴细胞中辨别出肿瘤核）的额外信息。作为结果，情境分析可以被用于执行广泛范围的分段过程。
在块335到355中，组件循环通过每个区域（即，用户识别的感兴趣的FOV或在块330中生成的分片）。在块340中，组件调用检测种子点组件以识别组件当前正在处理的区域内的种子。在块345中，组件调用提取对象组件以识别组件当前正在处理的区域内的对象。在块350中，组件使用分类器（诸如，根据图2生成的分类器）来将每个提取出的对象分类为阳性染色核对象、阴性染色核对象、基质、淋巴细胞或外来团斑。在块355中，组件选择下一个区域，如果有的话，且然后循环回到块335以用于进一步处理。在块360中，组件通过例如生成阳性值（例如，阳性染色核对象与阳性和阴性染色核对象的总体数目之比）、计算H得分或计算另一个度量来生成并存储或显示针对载片或载片内的一个或多个区域的得分。组件的处理然后被完成。在一些实施例中，组件可以循环回到块305以继续接收和分析载片数据。
在一些实施例中，所述设施可以通过对载片进行分片且然后对载片内的对象进行检测和分类来对载片进行预处理。在用户希望执行载片内的一个或多个特定区域或FOV的分析的情况下，所述设施可以识别与那些一个或多个特定区域或FOV相交的所有经预处理的载片，并至少部分地基于所述相交、经预处理的分片来提供分析，而不是分离地执行针对该一个或多个特定区域或FOV的识别和检测过程。此外，所述设施可以以变化的粒度水平执行分片和分析以提高准确性。在所述设施已经检测到对象之后，所述设施可以进一步显示对象和关联的信息，诸如种子点或其他所计算的特性。用户可以使用该所显示的信息来将他或她自己对载片或FOV的评定与自动化评定相比较以量测自动化过程和他或她自己的评定这二者的准确性。公开的技术提供了用于载片解释的可靠且可再现的系统和方法，所述载片解释可以被用于加强用户自己的评定。
图4A是图示一些实施例中的检测种子点组件113的处理的框图。所述设施调用组件以识别组织数据的指定区域内的种子点的位置，每个种子点对应于潜在的对象。组件的处理至少部分地基于在以上讨论的步骤305-320（例如，组织前景掩模、主导颜色分析、分段）中生成的图像信息，并从而至少部分地基于从完整载片生成的情境。在本发明的示例性实施例中，种子检测例如在根据输入RGB图像计算的单个或两个灰度级图像上完成。在一个实施例中，根据输入RGB图像来计算灰度级图像。在其他实施例中，两个灰度级图像是通过将颜色去卷积算法（Ruifrok, A.C. & Johnston, D.A. (2001), "Quantification of histochemical staining by color deconvolution", Anal. Quant. Cytol. Histol. 23: 291-299）应用于RGB输入图像而获得的苏木精和DAB通道灰度级图像。在任一情况下，使用类似的方法。在块410中，组件根据指定区域的灰度级表示来生成图像梯度。如本领域技术人员已知的，图像梯度表示在每个像素处表示每个维度中强度的改变的多维矢量。图像梯度可以以矩阵或其他数据结构的形式被存储。图4C表示一些实施例中的图像梯度。图4C中的每个箭头表示垂直和水平方向上强度的改变。
在块420中，组件使用投票内核过程来生成投票响应矩阵。图4B图示了一些实施例中的在图像470上执行的投票内核过程中各种步骤处的图像数据和分析。在一些实施例中，投票内核过程至少部分地基于以径向对称为基础的特征点检测技术，并取决于针对被处理的组织区域的归一化梯度矩阵（参见例如Yang, Q., Parvin, B.: Perceptual Organization of Radial Symmetries. Proc. of IEEE Int. Conf. on Computer Vision and Pattern Recognition (CVPR) 1 (2004), pp. 320-325，其以其全部通过引用并入于此），其中                                                对应于像素位置处的归一化梯度矢量（每个梯度值除以所有像素上的最大梯度值）。图像471表示具有针对多个像素中的每一个绘制的梯度箭头的图像梯度。投票内核过程进一步依赖于：等同地以物理或像素单位指定的，其为针对投票内核的最小预期半径值（例如，1、2、3）；，其为至少部分地基于距离变换而估计的针对投票内核的最大预期半径值（例如，7、8、9）；被应用于前景图像的（参见例如Borgefors, Gunilla. "Distance Transformations in Digital Images," Computer Vision, Graphics, and Image Processing, 34.3 (1986), pages 344-371，其以其全部通过引用并入于此），其为投票内核的角度范围（例如，弧度）；以及，其为梯度量值阈值（例如，0.1），其中的每一个可以在执行投票内核过程之前由用户或设施定义。此外，投票内核过程返回投票矩阵V、半径矩阵R且还维持计数矩阵C以用于储存，其中的每一个针对被分析的组织区域中的每个像素具有一个条目，并且每个条目被初始化为0。内核过程投票过程通过识别那些像素而继续进行，其中（即，其图像梯度量值大于或等于梯度量值阈值的那些像素）。针对识别出的像素中的每一个，投票内核过程然后识别满足以下二者的所有像素：
，和
。
图4B图示了对应于针对像素472识别出的像素的区域473。针对每个识别出的像素，投票内核过程如下调整V、R和C：
。
图像474表示针对图像470计算的样本投票矩阵V。在图像470中，红色像素对应于具有最大数目的投票的像素，其中降低数目的投票被示出为到橙色、黄色、绿色、蓝色和深蓝色的图像转变。本领域技术人员将认识到，投票内核过程可以不生成诸如图像474之类的图像，相反可以生成作为数值矩阵的投票矩阵。一旦该过程针对所有识别出的而完成，则投票内核过程可以如下调整R：
，针对R的所有值。
在块430中，组件识别出投票矩阵V内的局部最大值。在块440-460中，组件循环通过每一个局部最大值以确定局部最大值是否对应于种子点。在判决块450中，如果局部最大值的投票值（即，对应于局部最大值的投票矩阵内的值）超过投票阈值，则组件在块455处继续，否则组件在块460处继续。投票阈值可以由用户预定义或者可以由组件动态地计算。例如，组件可以至少部分地基于V内的所有值的均值和某个数目的标准差（例如，0、1、2、2.5、3）、V内的中位投票值等等来计算投票阈值。在块455中，组件将局部最大值识别为种子点并存储种子点的指示连同其在区域和载片内的位置。图像475将识别出的种子点图示为红色点。在块460中，组件选择下一个局部最大值，如果有的话，且然后循环回到块440以用于进一步处理。一旦所有局部最大值已经被处理，组件就返回识别出的种子点以供设施存储和使用。
图5是图示一些实施例中的提取对象组件114的处理的流程图。所述设施调用组件以识别对应于对象的种子点周围的边界。组件的处理至少部分地基于在以上讨论的步骤305-320（例如，组织前景掩模、主导颜色分析、分段）中生成的图像信息，并因而部分地基于从完整载片生成的情境。在块510中，组件通过识别出比其局部领域强度分布更暗且超过全局阈值的那些像素来生成对象前景掩模。对象前景掩模可以例如是通过针对其强度值超过组织的局部部分（例如，当前被分析的区域内的所有像素）的均值强度值且还超过全局阈值（例如，0.85）的所有像素分配值1来生成的。对于不满足这些准则的像素，组件可以分配另一个值，诸如0。对象前景掩模允许设施修剪出不太可能对应于任何感兴趣的对象（例如，阳性染色核对象、阴性染色核对象、基质和淋巴细胞）的弱和伪对象。在块520中，组件将所生成的掩模应用于当前被分析的区域的数字化组织数据。在块530中，组件取回对应于当前被分析的区域的种子点。在块540中，组件至少部分地基于取回的种子点来生成前景图像的棋盘格（例如，沃洛诺伊（Voronoi）棋盘格）以识别出与每个种子点关联的前景图像数据的那些部分。在块550中，组件针对每个种子点至少部分地基于棋盘格来识别与种子点关联的前景图像的部分。该部分或“团斑”可以与种子关联并可以定义检测出的对象的边界。在块560中，组件至少部分地基于位置和任何数目的特性（包括例如颜色特性、形状和大小特性、对象描述物特性、细胞质特性、对象间和密度特性或上述特性中的任一个）来表征每一个识别出的对象。这些识别出的对象中的每一个然后被返回以供经训练的分类器存储和分类，如以上所讨论的那样。
为了存储和处置，可以用条形码、机器可读代码（例如，一维或多维条形码或信息符号（infoglyph）、RFID标签、布喇格衍射光栅、磁条或纳米条形码）或某种其他类型的电子可检测识别符来标记载片以便例如将得分匹配到特定载片。分析系统（例如，图1的系统100）可以存储并从计算机可读存储介质召回得分并针对用户显示那些得分。此外或可替换地，针对载片中的组织执行的分析的得分和记录可以通过计算机通信链路（例如，互联网）而被传输到远程计算机系统以用于查看、存储或分析。这样的记录可以出于多种目的（诸如，医学研究）而与其他组织样本的分析相组合。系统还可以产生关于组织分析的一个或多个报告以包括在患者的记录中。
组织样本可以是目标可存在于其中或其上的任何液体、半液体或固体物质（或材料）。组织可以是在有机体内执行类似功能的互连细胞的集合。生物样本可以是从任何活有机体获得、由任何活有机体排泄或由任何活有机体分泌的任何固体或流体样本，所述任何活有机体包括而不限于单细胞有机体（除其他外，诸如细菌、酵母菌、原生动物和变形虫）、多细胞有机体（诸如，植物或动物，包括来自健康或外观上健康的人类主体或者受要诊断或研究的病情或疾病（诸如，癌症）影响的人类患者）。例如，生物样本可以是从例如血液、血浆、血清、尿、胆汁、腹水、唾液、脑脊髓液、水状液或玻璃体液获得的生物流体、或者任何身体分泌物、渗出液、渗出物（例如，从脓肿或者感染或炎症的任何其他部位获得的流体）、或者从关节（例如，正常关节或受疾病影响的关节）获得的流体。生物样本还可以是从任何器官或组织获得的样本（包括活体检查或尸体解剖试样，诸如肿瘤活体检查）或者可以包括细胞（无论是原代细胞还是培养细胞）或由任何细胞、组织或器官调节的介质。
本文公开的技术提供了用于识别和区分各种类型的对象（包括阳性染色核对象、阴性染色核对象、基质和淋巴细胞）的方式。这些技术计及数据中的变化而不要求用户的不断调整以计及不同输入。本领域技术人员将认识到，公开的技术可以被扩展成包括其他类型的对象或者扩展到在视觉上可识别且可区分的对象的整体上不同的集合。
从前文中将领会到，本文已经出于说明的目的描述了技术的特定实施例，但可以在不背离本公开的情况下做出各种修改。例如，尽管以上描述了棕色和蓝色染色，但本领域技术人员将认识到，还可以使用导致其他颜色的染色技术。所述设施可以包括附加组件或特征和/或本文描述的组件或特征的不同组合。此外，虽然已经在那些实施例的上下文中描述了与新技术的某些实施例关联的优势，但其他实施例也可以展现出这样的优势，并且不是所有实施例都需要必然展现出这样的优势以落在本技术的范围内。因此，本公开和关联的技术可以涵盖本文未明确示出或描述的其他实施例。以下示例描述本文公开的技术的附加实施例。

Claims (28)

1.一种由包括处理器的计算系统执行的用于组织数据的数字化图像的完整载片解释的方法，所述方法包括：
接收组织样本的多个数字化图像，每个组织样本对应于绝对真实载片；
针对所述多个数字化图像中的每一个接收与数字化图像关联的至少一个分类；
使用组织样本的所接收的数字化图像来训练组织对象分类器；
接收与第一载片关联的数据的数字化图像，其中第一载片不是绝对真实载片；
自动地识别与第一载片关联的数据的数字化图像内的组织；
识别或估计完整第一载片中的所有识别出的组织内的主导染色剂颜色；
接收完整第一载片中的识别出的组织内的多个注释区域的指示；以及
针对所述多个注释区域中的每一个，
　检测注释区域内的核种子点，
　至少部分地基于检测到的核种子点和在完整第一载片中估计的主导染色剂颜色来从注释区域提取对象，
　针对每一个提取出的对象，
　　至少部分地基于注释区域和完整载片情境来计算局部特征，
　　至少部分地基于注释图像区域和完整载片情境来计算全局特征，
　　至少部分地基于计算出的特征和经训练的组织对象分类器来对对象进行分类。
2.根据权利要求1所述的方法，还包括：
针对每一个注释区域，
　生成针对注释区域的得分；以及
生成针对第一载片的得分。
3.根据权利要求1所述的方法，其中检测每个注释区域内的核种子点包括：
生成针对注释区域的图像梯度；
至少部分地基于所生成的图像梯度来生成针对注释区域的投票响应矩阵；
识别所生成的投票响应矩阵内的局部最大值；以及
针对每个识别出的局部最大值，
　确定局部最大值是否超过阈值，
　响应于确定局部最大值超过阈值，将对应像素识别为种子点，以及
　响应于确定局部最大值未超过阈值，将对应像素识别为不是种子点。
4.根据权利要求1所述的方法，其中从每个注释区域提取对象包括：
至少部分地基于检测到的核种子点来生成注释区域的棋盘格；以及
针对每个检测到的核种子点，
　识别包含种子点的棋盘格的单元，以及
　将识别出的单元的至少部分识别为对象。
5.根据权利要求1所述的方法，还包括：
对与第一载片关联的数字化图像数据进行分片。
6.根据权利要求1所述的方法，其中与数字化图像关联的至少一个分类是阳性染色核对象、阴性染色核对象、基质或淋巴细胞。
7.根据权利要求1所述的方法，还包括：
显示检测到的核种子点中的至少一个和提取出的对象中的至少一个的指示。
8.根据权利要求1所述的方法，其中所述训练包括至少部分地基于完整载片图像情境的特征计算；核对象提取、种子检测。
9.根据权利要求1所述的方法，还包括：
识别完整载片中的至少一个组织区域、至少一个基质区域和至少一个淋巴区域。
10.根据权利要求1所述的方法，其中针对至少一个提取出的对象计算的局部特征包括至少一个提取出的对象的图像、至少一个提取出的对象的形状和至少一个提取出的对象的大小。
11.一种由包括处理器的计算系统执行的用于载片分析的方法，所述方法包括：
识别与第一载片关联的数据的数字化图像内的组织；
识别所识别出的组织内的染色剂颜色；
接收针对识别出的组织内的一个或多个区域的注释；以及
针对接收到其注释的区域中的每一个，
　检测识别出的区域内的种子点，
　从识别出的区域识别对象，以及
　针对每一个识别出的对象，
　　识别所识别出的对象的特性，以及
　　使用经训练的分类器来至少部分地基于识别出的对象的识别出的特性对识别出的对象进行分类。
12.根据权利要求11所述的方法，其中，识别所识别出的组织内的颜色包括识别至少两个主导染色剂颜色。
13.根据权利要求11所述的方法，还包括：
针对每一个识别出的区域，
　生成针对识别出的区域的得分；以及
　生成针对第一载片的得分。
14.根据权利要求11所述的方法，还包括：
接收与第二载片关联的数据的数字化图像；
识别与第二载片关联的数据的数字化图像内的组织；
识别与第二载片关联的识别出的组织内的颜色；
至少部分地基于识别出的颜色来识别与第二载片关联的识别出的组织内的多个区域；以及
针对与第二载片关联的识别出的区域中的每一个，
　检测与第二载片关联的识别出的区域内的种子点，
　从与第二载片关联的识别出的区域提取对象，以及
　针对与第二载片关联的提取出的对象中的每一个，
　　识别与第二载片关联的提取出的对象的特性，以及
　　使用经训练的分类器来至少部分地基于与第二载片关联的提取出的对象的识别出的特性对与第二载片关联的提取出的对象进行分类。
15.一种存储指令的计算机可读存储介质，所述指令如果被具有处理器的计算系统执行则使所述计算系统执行根据权利要求1或11所述的方法。
16.一种用于对组织数据的数字化图像内的对象进行分类的系统，所述系统包括：
用于至少部分地基于绝对真实载片来训练分类器的装置；
用于接收与第一载片关联的组织数据的数字化图像的装置，其中第一载片不是绝对真实载片；
用于分析包括第一载片的所有组织数据的数字化组织数据的装置，其中用于分析数字化组织数据的装置包括用于检测数字化组织数据内的种子点的装置和用于从数字化组织数据提取对象的装置；以及
用于对每一个提取出的对象进行分类的装置。
17.根据权利要求16所述的系统，还包括：
用于从用户接收第一载片的部分的选择的装置；以及
用于生成针对第一载片的所选部分的得分的装置。
18.根据权利要求16所述的系统，其中用于对每一个提取出的对象进行分类的装置将至少一个提取出的对象分类为基质或淋巴细胞。
19.一种存储指令的计算机可读存储介质，所述指令如果被具有处理器的计算系统执行则使所述计算系统执行包括以下各项的操作：
接收与载片关联的数字化图像；
检测与载片关联的数字化图像内的种子点；
至少部分地基于检测到的种子点，从与载片关联的数字化图像提取对象；以及
针对每一个提取出的对象，
　识别提取出的对象的特性，以及
　使用至少部分地基于组织样本的数字化图像而训练的分类器来至少部分地基于提取出的对象的识别出的特性对提取出的对象进行分类。
20.根据权利要求19所述的计算机可读存储介质，其中检测载片内的种子点包括：
生成针对第一识别出的区域的图像梯度，
至少部分地基于所生成的图像梯度来生成针对识别出的区域的投票响应矩阵，所述投票响应矩阵包括针对第一识别出的区域内的每个像素的投票值，以及
识别所生成的投票响应矩阵内的局部最大值。
21.根据权利要求19所述的计算机可读存储介质，所述操作还包括：
针对所生成的投票响应矩阵内的每个识别出的局部最大值，
　仅响应于确定局部最大值超过阈值而将第一识别出的区域的对应像素识别为种子点。
22.根据权利要求19所述的计算机可读存储介质，所述操作还包括：
识别与载片关联的数据的所接收的数字化图像内的组织；
识别所识别出的组织内的主导颜色，
针对每个识别出的主导颜色，
　将识别出的组织的像素与主导颜色相关联。
23.根据权利要求19所述的计算机可读存储介质，其中所述分类器是多级的。
24.根据权利要求19所述的计算机可读存储介质，其中多级分类器将至少一个提取出的对象分类为阳性染色核对象或阴性染色核对象。
25.根据权利要求19所述的计算机可读存储介质，还包括：
在使用分类器对提取出的对象进行分类之前使用多个参考组织样本来训练组织对象分类器，其中所述训练包括至少部分地基于完整载片图像情境的特征计算、核对象提取和种子检测。
26.一种由包括处理器的计算系统执行的用于组织数据的数字化图像的完整载片解释的方法，所述方法包括：
接收组织样本的多个数字化图像，每个组织样本对应于绝对真实载片；
针对所述多个数字化图像中的每一个接收与数字化图像关联的至少一个分类；
使用组织样本的所接收的数字化图像来训练组织对象分类器；
接收与第一载片关联的数据的数字化图像，其中第一载片不是绝对真实载片；
识别与第一载片关联的数据的数字化图像内的组织；
识别所识别出的组织内的主导颜色；
至少部分地基于识别出的主导颜色来识别所识别出的组织内的多个区域；以及
针对每一个识别出的区域，
　检测识别出的区域内的种子点，
　从识别出的区域提取对象，以及
　针对每一个提取出的对象，
　　识别提取出的对象的特性，以及
　　使用经训练的分类器来至少部分地基于提取出的对象的识别出的特性对提取出的对象进行分类。
27.一种存储指令的计算机可读介质，所述指令如果被具有处理器的计算系统执行则使所述计算系统执行包括以下操作的方法：
接收组织样本的多个数字化图像，每个组织样本对应于绝对真实载片；
针对所述多个数字化图像中的每一个接收与数字化图像关联的至少一个分类；
使用组织样本的所接收的数字化图像来训练组织对象分类器；
接收与第一载片关联的数据的数字化图像，其中第一载片不是绝对真实载片；
识别与第一载片关联的数据的数字化图像内的组织；
至少部分地基于完整第一载片内的组织数据来识别所识别出的组织内的主导颜色；
至少部分地基于识别出的主导颜色并进一步至少部分地基于完整第一载片内的组织数据来识别所识别出的组织内的多个区域；以及
针对每一个识别出的区域，
　至少部分地基于完整第一载片内的组织数据来检测识别出的区域内的种子点，
　至少部分地基于完整第一载片内的组织数据来从识别出的区域提取对象，以及
　针对每一个提取出的对象，
　　至少部分地基于完整第一载片内的组织数据来识别提取出的对象的特性，以及
　　使用经训练的分类器来至少部分地基于提取出的对象的识别出的特性和完整第一载片内的组织数据对提取出的对象进行分类。
28.一种系统，包括：
用于接收组织样本的多个数字化图像的装置，每个组织样本对应于绝对真实载片；
用于针对所述多个数字化图像中的每一个接收与数字化图像关联的至少一个分类的装置；
用于使用组织样本的所接收的数字化图像来训练分类器的装置；
用于接收与第一载片关联的数据的数字化图像的装置，其中第一载片不是绝对真实载片；
用于识别与第一载片关联的数据的数字化图像内的组织的装置；
用于识别所识别出的组织内的主导颜色的装置；
用于基于识别出的主导颜色来识别所识别出的组织内的多个区域的装置；以及
用于针对每一个识别出的区域执行以下操作的装置，
　检测识别出的区域内的种子点，
　从识别出的区域提取对象，以及
　针对每一个提取出的对象，
　　识别提取出的对象的特性，以及
　　使用经训练的分类器来基于提取出的对象的识别出的特性对提取出的对象进行分类。
CN201480015136.8A 2013-03-15 2014-03-12 用于数字完整载片的自动化评分的基于组织对象的机器学习系统 Active CN105027165B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361802239P 2013-03-15 2013-03-15
US61/802239 2013-03-15
PCT/EP2014/054808 WO2014140085A1 (en) 2013-03-15 2014-03-12 Tissue object-based machine learning system for automated scoring of digital whole slides

Publications (2)

Publication Number Publication Date
CN105027165A true CN105027165A (zh) 2015-11-04
CN105027165B CN105027165B (zh) 2021-02-19

Family

ID=50391144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480015136.8A Active CN105027165B (zh) 2013-03-15 2014-03-12 用于数字完整载片的自动化评分的基于组织对象的机器学习系统

Country Status (9)

Country Link
US (1) US10176579B2 (zh)
EP (1) EP2973397B1 (zh)
JP (1) JP6192747B2 (zh)
CN (1) CN105027165B (zh)
AU (1) AU2014230824B2 (zh)
CA (1) CA2899714C (zh)
DK (1) DK2973397T3 (zh)
ES (1) ES2641480T3 (zh)
WO (1) WO2014140085A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871130A (zh) * 2016-09-27 2018-04-03 顶级公司 图像处理
CN108510077A (zh) * 2017-02-27 2018-09-07 顾泽苍 另一种采用人工智能的手机大众识别真伪方法
CN109074645A (zh) * 2016-04-06 2018-12-21 豪夫迈·罗氏有限公司 用于ihc图像分析的空间索引创建
CN109121437A (zh) * 2015-12-18 2019-01-01 雅培实验室 用于评估组织学染色的方法和系统
CN109416730A (zh) * 2016-06-28 2019-03-01 康泰克斯特视觉公司 用于检测数字病理图像中的病理异常的方法和系统以及用于注释组织载玻片的方法
CN109643450A (zh) * 2016-08-31 2019-04-16 皇家飞利浦有限公司 用于从组织活检物中检测管状物的装置
CN109712142A (zh) * 2019-01-11 2019-05-03 山东省计算中心（国家超级计算济南中心） 基于染色分离的乳腺癌Ki67/ER/PR核染色细胞计数方法
CN110088804A (zh) * 2016-12-22 2019-08-02 文塔纳医疗系统公司 基于原色和免疫组织化学图像的计算机评分
CN110168561A (zh) * 2016-10-27 2019-08-23 皇家飞利浦有限公司 用于确定一个或多个组织样本中的细胞组成信息的装置
CN110276368A (zh) * 2018-03-16 2019-09-24 西门子医疗有限公司 用于对组织样本进行分类的方法和分析设备
CN111260677A (zh) * 2020-02-20 2020-06-09 腾讯科技（深圳）有限公司 基于显微图像的细胞分析方法、装置、设备及存储介质
CN111492368A (zh) * 2017-12-22 2020-08-04 文塔纳医疗系统公司 用于基于膜特征对组织图像中的细胞进行分类的系统和方法
CN111727436A (zh) * 2018-02-15 2020-09-29 谷歌有限责任公司 对未染色组织的病理学预测
CN112689757A (zh) * 2017-10-26 2021-04-20 Essenlix公司 使用crof和机器学习的基于图像测定的系统和方法
CN112689756A (zh) * 2018-09-12 2021-04-20 分子装置有限公司 用于生物样品的无标记识别和分类的系统和方法
CN112703531A (zh) * 2018-08-15 2021-04-23 皇家飞利浦有限公司 生成组织图像的注释数据
CN112714914A (zh) * 2018-10-16 2021-04-27 通用电气公司 用于存储器扩增域自适应的系统和方法
CN114207675A (zh) * 2019-05-28 2022-03-18 佩治人工智能公司 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014230824B2 (en) * 2013-03-15 2019-04-18 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
US9946953B2 (en) * 2013-05-10 2018-04-17 Koninklijke Philips N.V. Apparatus and method for processing images of tissue samples
CA2921325C (en) * 2013-10-07 2020-05-12 Ventana Medical Systems, Inc. Systems and methods for comprehensive multi-assay tissue analysis
WO2015150392A1 (en) * 2014-04-03 2015-10-08 Koninklijke Philips N.V. Examining device for processing and analyzing an image
US9737990B2 (en) * 2014-05-16 2017-08-22 Microsoft Technology Licensing, Llc Program synthesis for robotic tasks
EP3155592B1 (en) 2014-06-10 2019-09-11 Leland Stanford Junior University Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
EP3227833A1 (en) 2014-12-03 2017-10-11 Ventana Medical Systems, Inc. Systems and methods for early-stage cancer prognosis
WO2016203907A1 (ja) * 2015-06-16 2016-12-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、および画像処理用のプログラム
EP3391288B1 (en) 2015-12-18 2023-07-12 Ventana Medical Systems, Inc. Systems and methods of unmixing images with varying acquisition properties
US10786298B2 (en) 2016-03-01 2020-09-29 Covidien Lp Surgical instruments and systems incorporating machine learning based tissue identification and methods thereof
JP6960935B2 (ja) 2016-03-01 2021-11-05 ベンタナ メディカル システムズ， インコーポレイテッド コントロールスライドを使用する改善された画像解析アルゴリズム
US10853695B2 (en) 2016-06-30 2020-12-01 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell annotation with adaptive incremental learning
EP3482346A1 (en) 2016-07-08 2019-05-15 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
CA3030577A1 (en) * 2016-07-12 2018-01-18 Mindshare Medical, Inc. Medical analytics system
MX2017017142A (es) 2016-12-02 2018-11-09 Avent Inc Sistema y metodo para la navegacion a un objeto anatomico objetivo en procedimientos basados en obtencion de imágenes medicas.
US10438096B2 (en) * 2016-12-27 2019-10-08 Definiens Ag Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
US10663711B2 (en) 2017-01-04 2020-05-26 Corista, LLC Virtual slide stage (VSS) method for viewing whole slide images
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
US10108845B2 (en) 2017-03-02 2018-10-23 Hong Kong Applied Science and Technology Research Institute Company Limited Anomaly detection for medical samples under multiple settings
EP3392799A1 (en) * 2017-04-21 2018-10-24 Koninklijke Philips N.V. Medical image detection
EP3616160A4 (en) * 2017-04-25 2021-04-21 The University of Chicago CELL ANALYSIS
US11080855B1 (en) 2017-06-06 2021-08-03 Path AI, Inc. Systems and methods for predicting tissue characteristics for a pathology image using a statistical model
US10706535B2 (en) * 2017-09-08 2020-07-07 International Business Machines Corporation Tissue staining quality determination
WO2019055555A1 (en) * 2017-09-12 2019-03-21 Nantomics, Llc IMAGE RECOGNITION BASED ON LITTLE MOVEMENT LEARNING OF ENTIRE SLIDING IMAGE AT TISSUE LEVEL
GB2569103A (en) 2017-11-16 2019-06-12 Univ Oslo Hf Histological image analysis
US10789451B2 (en) 2017-11-16 2020-09-29 Global Life Sciences Solutions Usa Llc System and method for single channel whole cell segmentation
WO2019108888A1 (en) * 2017-11-30 2019-06-06 The Research Foundation For The State University Of New York SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS
CN111448584B (zh) 2017-12-05 2023-09-26 文塔纳医疗系统公司 计算肿瘤空间和标记间异质性的方法
WO2019110561A1 (en) 2017-12-06 2019-06-13 Ventana Medical Systems, Inc. Method of storing and retrieving digital pathology analysis results
WO2019110583A1 (en) 2017-12-07 2019-06-13 Ventana Medical Systems, Inc. Deep-learning systems and methods for joint cell and region classification in biological images
CN111527519B (zh) * 2017-12-22 2023-10-03 文塔纳医疗系统公司 用于生成感兴趣的细胞类型的选择性染色剂分割图像的系统和方法
EP3729369A2 (en) 2017-12-24 2020-10-28 Ventana Medical Systems, Inc. Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies
WO2019197509A1 (en) 2018-04-13 2019-10-17 Ventana Medical Systems, Inc. Systems for cell shape estimation
US11741365B2 (en) 2018-05-14 2023-08-29 Tempus Labs, Inc. Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
JP7458328B2 (ja) * 2018-05-21 2024-03-29 コリスタ・エルエルシー マルチ分解能登録を介したマルチサンプル全体スライド画像処理
KR20190134272A (ko) 2018-05-25 2019-12-04 삼성전자주식회사 영상 처리를 위한 네트워크 조정 방법 및 장치
US10740903B2 (en) * 2018-07-18 2020-08-11 Adobe Inc. Edge detection using fuzzy gradient information
JP2021531790A (ja) 2018-07-27 2021-11-25 ベンタナ メディカル システムズ， インコーポレイテッド 自動化された原位置ハイブリッド形成分析のためのシステム
WO2020046986A1 (en) * 2018-08-30 2020-03-05 Applied Materials, Inc. System for automatic tumor detection and classification
WO2020075226A1 (ja) * 2018-10-09 2020-04-16 オリンパス株式会社 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
JP7228688B2 (ja) 2018-10-15 2023-02-24 ベンタナ メディカル システムズ， インコーポレイテッド 改善された核検出およびセグメンテーションを可能にする画像強化
CN112868024A (zh) 2018-10-15 2021-05-28 文塔纳医疗系统公司 用于细胞分类的系统和方法
CN109448005B (zh) * 2018-10-31 2019-12-27 数坤（北京）网络科技有限公司 一种用于冠状动脉的网络模型分割方法及设备
KR20210084602A (ko) 2018-11-02 2021-07-07 홀로직, 인크. 디지털 이미징 시스템 및 방법
US10902590B2 (en) 2018-11-28 2021-01-26 International Business Machines Corporation Recognizing pathological images captured by alternate image capturing devices
US11062459B2 (en) * 2019-02-07 2021-07-13 Vysioneer INC. Method and apparatus for automated target and tissue segmentation using multi-modal imaging and ensemble machine learning models
WO2020166469A1 (ja) * 2019-02-15 2020-08-20 コニカミノルタ株式会社 情報提供方法、情報提供装置及びプログラム
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
US11676685B2 (en) 2019-03-21 2023-06-13 Illumina, Inc. Artificial intelligence-based quality scoring
CN111899615B (zh) * 2019-05-06 2022-08-05 杭州海康威视数字技术股份有限公司 实验的评分方法、装置、设备及存储介质
US11593649B2 (en) 2019-05-16 2023-02-28 Illumina, Inc. Base calling using convolutions
JP2022544705A (ja) 2019-08-23 2022-10-20 メモリアル スローン ケタリング キャンサー センター ユニバーサルスライドビューア
US10803586B1 (en) 2019-09-26 2020-10-13 Aiforia Technologies Oy Image analysis in pathology
US11250563B2 (en) 2019-10-31 2022-02-15 Tencent America LLC Hierarchical processing technique for lesion detection, classification, and segmentation on microscopy images
CA3162251A1 (en) * 2020-01-06 2021-07-15 Jillian SUE Systems and methods for analyzing electronic images for quality control
EP4091135A1 (en) 2020-01-19 2022-11-23 Ventana Medical Systems, Inc. Non-tumor segmentation to support tumor detection and analysis
EP4104093A1 (en) 2020-02-11 2022-12-21 Ventana Medical Systems, Inc. Federated learning system for training machine learning algorithms and maintaining patient privacy
EP4107735A2 (en) 2020-02-20 2022-12-28 Illumina, Inc. Artificial intelligence-based many-to-many base calling
US20230068571A1 (en) * 2020-02-26 2023-03-02 Ibex Medical Analytics Ltd. System and method of managing workflow of examination of pathology slides
WO2021198279A1 (en) 2020-03-30 2021-10-07 Carl Zeiss Ag Methods and devices for virtual scoring of tissue samples
US11798165B2 (en) 2020-10-28 2023-10-24 Sony Group Corporation Tumor detection and segmentation for DPI AI platform routes
EP4295307A1 (en) * 2021-02-16 2023-12-27 Verily Life Sciences LLC Systems and methods for biomarker detection in digitized pathology samples
US20220336054A1 (en) 2021-04-15 2022-10-20 Illumina, Inc. Deep Convolutional Neural Networks to Predict Variant Pathogenicity using Three-Dimensional (3D) Protein Structures
WO2022225845A1 (en) * 2021-04-18 2022-10-27 Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic System and method for automation of surgical pathology processes using artificial intelligence
WO2023018785A2 (en) * 2021-08-11 2023-02-16 Histowiz, Inc. Systems and methods for automated tagging of digital histology slides
CN113436191B (zh) * 2021-08-26 2021-11-30 深圳科亚医疗科技有限公司 一种病理图像的分类方法、分类系统及可读介质
TWI809682B (zh) * 2022-01-25 2023-07-21 國立成功大學 免疫組織化學染色影像的分析方法與電腦程式產品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1553166A (zh) * 2003-12-19 2004-12-08 武汉大学 显微多光谱骨髓及外周血细胞自动分析仪和方法
US20090175514A1 (en) * 2004-11-19 2009-07-09 Koninklijke Philips Electronics, N.V. Stratification method for overcoming unbalanced case numbers in computer-aided lung nodule false positive reduction
CN101702196A (zh) * 2009-11-16 2010-05-05 浙江林学院 基于木材显微图像的针叶材树种自动识别方法
US20110104744A1 (en) * 2009-10-30 2011-05-05 Masatsugu Ozasa Cell analyzing apparatus and cell analyzing method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404906B2 (en) * 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US6658143B2 (en) 2002-04-29 2003-12-02 Amersham Biosciences Corp. Ray-based image analysis for biological specimens
EP2423323A4 (en) 2009-04-21 2012-11-28 Nec Corp METHOD OF TUMOR ASSESSMENT
CN102687061B (zh) 2009-10-19 2014-12-10 文塔纳医疗系统公司 成像系统和技术
US8300938B2 (en) 2010-04-09 2012-10-30 General Electric Company Methods for segmenting objects in images
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
AU2014230824B2 (en) * 2013-03-15 2019-04-18 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
US10088658B2 (en) * 2013-03-18 2018-10-02 General Electric Company Referencing in multi-acquisition slide imaging
US9412162B2 (en) * 2013-08-21 2016-08-09 Sectra Ab Methods, systems and circuits for generating magnification-dependent images suitable for whole slide images
US9984457B2 (en) * 2014-03-26 2018-05-29 Sectra Ab Automated grossing image synchronization and related viewers and workstations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1553166A (zh) * 2003-12-19 2004-12-08 武汉大学 显微多光谱骨髓及外周血细胞自动分析仪和方法
US20090175514A1 (en) * 2004-11-19 2009-07-09 Koninklijke Philips Electronics, N.V. Stratification method for overcoming unbalanced case numbers in computer-aided lung nodule false positive reduction
US20110104744A1 (en) * 2009-10-30 2011-05-05 Masatsugu Ozasa Cell analyzing apparatus and cell analyzing method
CN101702196A (zh) * 2009-11-16 2010-05-05 浙江林学院 基于木材显微图像的针叶材树种自动识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. MURAT DUNDAR 等: "Computerized Classification of Intraductal Breast Lesions Using Histopathological Images", 《BIOMEDICAL ENGINEERING》 *
M. VETA 等: "Detecting mitotic figures in breast cancer histopathology images", 《MEDICAL IMAGING》 *
苏燕妮 汪源源: "乳腺肿瘤超声图像中感兴趣区域的自动检测", 《中国生物医学工程学报》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109121437A (zh) * 2015-12-18 2019-01-01 雅培实验室 用于评估组织学染色的方法和系统
CN109074645A (zh) * 2016-04-06 2018-12-21 豪夫迈·罗氏有限公司 用于ihc图像分析的空间索引创建
CN109074645B (zh) * 2016-04-06 2021-12-14 豪夫迈·罗氏有限公司 用于ihc图像分析的空间索引创建
CN109416730A (zh) * 2016-06-28 2019-03-01 康泰克斯特视觉公司 用于检测数字病理图像中的病理异常的方法和系统以及用于注释组织载玻片的方法
CN109643450A (zh) * 2016-08-31 2019-04-16 皇家飞利浦有限公司 用于从组织活检物中检测管状物的装置
CN107871130A (zh) * 2016-09-27 2018-04-03 顶级公司 图像处理
CN107871130B (zh) * 2016-09-27 2023-04-18 Arm有限公司 图像处理
CN110168561A (zh) * 2016-10-27 2019-08-23 皇家飞利浦有限公司 用于确定一个或多个组织样本中的细胞组成信息的装置
US11657503B2 (en) 2016-12-22 2023-05-23 Ventana Medical Systems, Inc. Computer scoring based on primary stain and immunohistochemistry images related application data
CN110088804B (zh) * 2016-12-22 2023-06-27 文塔纳医疗系统公司 基于原色和免疫组织化学图像的计算机评分
CN110088804A (zh) * 2016-12-22 2019-08-02 文塔纳医疗系统公司 基于原色和免疫组织化学图像的计算机评分
CN108510077A (zh) * 2017-02-27 2018-09-07 顾泽苍 另一种采用人工智能的手机大众识别真伪方法
CN112689757A (zh) * 2017-10-26 2021-04-20 Essenlix公司 使用crof和机器学习的基于图像测定的系统和方法
CN111492368B (zh) * 2017-12-22 2024-03-05 文塔纳医疗系统公司 用于基于膜特征对组织图像中的细胞进行分类的系统和方法
CN111492368A (zh) * 2017-12-22 2020-08-04 文塔纳医疗系统公司 用于基于膜特征对组织图像中的细胞进行分类的系统和方法
CN111727436A (zh) * 2018-02-15 2020-09-29 谷歌有限责任公司 对未染色组织的病理学预测
CN111727436B (zh) * 2018-02-15 2022-10-28 威里利生命科学有限责任公司 对未染色组织的病理学预测
US11983912B2 (en) 2018-02-15 2024-05-14 Verily Life Sciences Llc Pathology predictions on unstained tissue
CN110276368B (zh) * 2018-03-16 2023-11-21 西门子医疗有限公司 用于对组织样本进行分类的方法和分析设备
CN110276368A (zh) * 2018-03-16 2019-09-24 西门子医疗有限公司 用于对组织样本进行分类的方法和分析设备
CN112703531A (zh) * 2018-08-15 2021-04-23 皇家飞利浦有限公司 生成组织图像的注释数据
CN112689756A (zh) * 2018-09-12 2021-04-20 分子装置有限公司 用于生物样品的无标记识别和分类的系统和方法
CN112714914A (zh) * 2018-10-16 2021-04-27 通用电气公司 用于存储器扩增域自适应的系统和方法
CN109712142B (zh) * 2019-01-11 2023-03-28 山东省计算中心（国家超级计算济南中心） 基于染色分离的乳腺癌Ki67/ER/PR核染色细胞计数方法
CN109712142A (zh) * 2019-01-11 2019-05-03 山东省计算中心（国家超级计算济南中心） 基于染色分离的乳腺癌Ki67/ER/PR核染色细胞计数方法
US11676274B2 (en) 2019-05-28 2023-06-13 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology
CN114207675A (zh) * 2019-05-28 2022-03-18 佩治人工智能公司 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法
US11869185B2 (en) 2019-05-28 2024-01-09 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology
CN111260677B (zh) * 2020-02-20 2023-03-03 腾讯医疗健康(深圳)有限公司 基于显微图像的细胞分析方法、装置、设备及存储介质
CN111260677A (zh) * 2020-02-20 2020-06-09 腾讯科技（深圳）有限公司 基于显微图像的细胞分析方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP2973397A1 (en) 2016-01-20
WO2014140085A1 (en) 2014-09-18
CN105027165B (zh) 2021-02-19
AU2014230824B2 (en) 2019-04-18
EP2973397B1 (en) 2017-08-02
CA2899714C (en) 2020-10-27
CA2899714A1 (en) 2014-09-18
ES2641480T3 (es) 2017-11-10
DK2973397T3 (en) 2017-10-02
US10176579B2 (en) 2019-01-08
JP6192747B2 (ja) 2017-09-06
US20160042511A1 (en) 2016-02-11
JP2016518813A (ja) 2016-06-30
AU2014230824A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
CN105027165A (zh) 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
US11657503B2 (en) Computer scoring based on primary stain and immunohistochemistry images related application data
US11682192B2 (en) Deep-learning systems and methods for joint cell and region classification in biological images
JP7231631B2 (ja) 腫瘍空間異質性およびインターマーカ異質性の計算方法
Sheikhzadeh et al. Automatic labeling of molecular biomarkers of immunohistochemistry images using fully convolutional networks
Fuchs et al. Computational pathology: challenges and promises for tissue analysis
Kothari et al. Pathology imaging informatics for quantitative analysis of whole-slide images
Cruz-Roa et al. Visual pattern mining in histology image collections using bag of features
Forero et al. Identification of tuberculosis bacteria based on shape and color
CN117038018A (zh) 存储和检索数字病理学分析结果的方法
Marée The need for careful data collection for pattern recognition in digital pathology
Ginley et al. Unsupervised labeling of glomerular boundaries using Gabor filters and statistical testing in renal histology
Tania et al. Intelligent image-based colourimetric tests using machine learning framework for lateral flow assays
Matias et al. Segmentation, detection, and classification of cell nuclei on oral cytology samples stained with papanicolaou
Liu et al. Multi-view learning and deep learning for microscopic neuroblastoma pathology image diagnosis
Zeng et al. Recognition of rare antinuclear antibody patterns based on a novel attention-based enhancement framework
Krishnadas et al. S., SK; Prabhu, S. Classification of Malaria Using Object Detection Models. Informatics 2022, 9, 76
Ben Taieb Analyzing cancers in digitized histopathology images
Hung Making computer vision Methods accessible for cell classification
Kumar Development of pattern analysis and machine learning technique for cancer diagnosis
Li Locality sensitive modelling approach for object detection, tracking and segmentation in biomedical images
Schüffler et al. WP6: Analysis of tissue micro-array (TMA) images of renal cell carcinoma. D6. 1: Mid term report
Abdeta et al. Pulmonary tuberculosis bacilli detection in sputum smear microscopy images using image processing techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant