CN107209111A - 自动化整体载片分析的质量控制 - Google Patents

自动化整体载片分析的质量控制 Download PDF

Info

Publication number
CN107209111A
CN107209111A CN201680007758.5A CN201680007758A CN107209111A CN 107209111 A CN107209111 A CN 107209111A CN 201680007758 A CN201680007758 A CN 201680007758A CN 107209111 A CN107209111 A CN 107209111A
Authority
CN
China
Prior art keywords
fov
image
rule
analysis
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680007758.5A
Other languages
English (en)
Other versions
CN107209111B (zh
Inventor
J.布雷德诺
A.赫勒
G.赫兹尔维梅尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Ventana Medical Systems Inc
Original Assignee
F Hoffmann La Roche AG
Ventana Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG, Ventana Medical Systems Inc filed Critical F Hoffmann La Roche AG
Publication of CN107209111A publication Critical patent/CN107209111A/zh
Application granted granted Critical
Publication of CN107209111B publication Critical patent/CN107209111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本主题公开提出了用于自动地选择整体载片图像上的有意义区域并对结果得到的FOV集合执行质量控制的系统和方法。可以生成量化检测结果的局部密度的密度图。可以将热图以及映射图的组合(诸如局部和、比率等)作为输入提供到自动化FOV选择操作中。该选择操作可以基于一个或多个规则来选择表示极端和平均典型区域的每个热图的区域。可以定义一个或多个规则以便生成候选FOV的列表。一般地可以将规则公式化,使得被选择用于质量控制的FOV是要求最多的仔细检查并将最多地受益于观察专家的评估的FOV。

Description

自动化整体载片分析的质量控制
技术领域
本主题公开涉及用于医疗诊断的成像。更特别地,本主题公开涉及一种由图像处理系统实现的用于分析染色活检或外科手术组织样本的方法和组织标本的自动化整体载片分析的质量控制。
背景技术
在数字病理学领域中,可以用一个和多个染色剂对诸如组织切片、血液、细胞培养物等生物标本进行染色并通过观看(view)染色标本或对染色标本进行成像来进行分析。观察染色标本(与附加临床信息组合)使得能够实现各种过程,包括疾病的诊断、对治疗的反应的预后和/或预测性评估以及帮助开发新药物以对抗疾病。如本文所使用的“目标”或“目标对象”是染色剂识别的标本的特征。目标或目标对象可以是蛋白质、蛋白质片段、核酸或者由抗体、分子探针或非特定染色剂识别的其它感兴趣对象。被具体地识别的那些目标在本主题公开中可以称为生物标记。某些染色剂并未具体地以生物标记为目标(例如常常使用的复染色苏木精)。虽然苏木精与其目标具有固定关系,但大多数生物标记可以用染色剂的用户选择来识别。亦即,可以根据分析物的特定需要使用各种染色剂来将特定生物标记可视化。在染色之后,可以对分析物进行成像以用于组织标本的内含物的进一步分析。整个载片的图像通常称为整体载片图像或简单地称为整体载片。
整体载片的定量分析(诸如对诸如某个种类的细胞之类的目标对象进行计数或者针对载片上的所有细胞的染色反应的量化)对于人类观察者而言是不可行的。通常,整体载片包含数千个至数十万个细胞,其中的全部或者仅仅一部分可能与手头的分析问题相关。可以将来自图像分析、计算机视觉以及模式识别的方法用于自动化定量分析。用计算机软件进行的此类自动化使得能够实现定量整体载片分析。
整体载片分析的当前实施方式允许用户选择许多FOV用于质量控制(QC)。这些FOV由软件从被分析组织中的所有FOV之中随机地选择或者系统地采样。用于自动化整体载片分析的系统可以呈现示出FOV的位置的整个组织的低倍放大视图以用于QC。例如,图1A描绘了低倍放大视图,红色矩形101描绘FOV的位置。针对这些位置101中的每一个,如图1B中所示,可以生成较高放大倍率的FOV图像。这种方法的缺点是并非所有组织都被呈现以用于QC,仅仅是所选FOV。在呈现的FOV中不可见的组织区域中的算法的错误不能被观察者检测到。即使QC图像和FOV选择是交互式地生成的,例如通过在使得用户能够选择(例如用鼠标点击)感兴趣区域的图形用户界面(GUI)中呈现低倍放大图像(诸如图1A中的图像),此过程也是冗长的,并且要求观察者与GUI交互直至他或她确知组织的所有相关区域都已被观察为止。
发明内容
本发明的实施例提供了如在独立权利要求中要求保护的一种用于分析染色活检或外科手术组织样本的方法和相应图像处理系统。在从属权利要求中给出了本发明的其它实施例。
根据本发明的实施例,由图像处理系统接收整体载片图像。例如,从图像处理系统的电子存储器读取先前已从被染色组织样本的组织病理学组织载片获得的整体载片图像以进行处理,以便获得一个或多个生物目标对象的检测结果。因此,通过从电子存储器读取整体载片图像,接收到整体载片图像。本发明的实施例还可以包含借助于光学传感器(诸如显微镜)来获取整体载片图像。在后一种情况下,可以通过使用传感器来执行图像获取步骤而接收整体载片图像。
通过执行图像处理算法以便检测生物目标对象来分析整体载片图像。根据实施方式,获得定量结果,诸如用于针对目标对象的计数,其指示整体载片图像内或者整体载片图像的区域内的目标对象的总数。可以在图像处理系统的显示器上输出定量结果并可视化为热图。
组织病理学组织载片上的组织的染色的强度和外观的变化、染色伪像及其它组织病理学伪像由于图像处理算法的执行可能引起目标对象的错误检测。此类组织病理学伪像同样是已知的,参考JOMPF REVIEW ARTICLE, Year : 2014 , Volume : 18, Issue : 4,Page : 111—116“Artefacts in histopathology”Shailja Chatterjee(
e=4;spage=111;epage=116;aulast=Chatterjee),其提供了组织病理学伪像的全面概述,诸如钳子伪像、压碎伪像、电灼伪像、固定伪像、在标本运输期间引入的伪像、冻结伪像、处理伪像、由于折叠而引起的伪像等。
根据载片上的组织的染色的强度和外观或者伪像的存在,计算机软件(即实现图像处理算法的图像处理程序)可能遗漏应包括在分析中的目标对象(诸如细胞)或者将非目标结构(例如,染色伪像)误解为目标对象。
根据本发明的实施例,质量控制图像示出被分析组织以及算法检测结果,例如作为覆盖在原始图像上的色彩编码标记和符号。为了在逐个细胞水平上看到这些算法结果,可以以放大的方式示出此类图像,使得可以在一个图像中呈现所有组织的仅一小部分。
根据本发明的实施例,使用已通过图像处理算法的执行而潜在地错误地检测到的目标对象在整体载片图像上执行质量检查。
为了执行质量检查,定义整体载片图像的FOV,并且对FOV应用至少一个规则以便检查对于给定FOV而言是否满足准则。如果满足准则,则这指示包含组织病理学伪像和/或由图像处理算法的缺陷引起的错误分析结果(即可能并非由组织病理学伪像而是由图像处理算法本身引起的关于给定FOV中的一个或多个目标对象的检测的错误检测结果)的FOV的风险。
例如,计算由图像处理算法在给定FOV中检测到的生物目标对象的总数,并且根据规则按相应全部目标对象的数目将FOV排序(sort)。如果FOV内的目标对象的总数非常高或者非常低,这可以指示组织病理学伪像和/或错误分析结果的存在。在这种情况下,与规则相关联的准则可以是给定FOV是排序列表上的高等级或低等级FOV。特别地,选择来自列表的最高和底部FOV。
在图像处理系统的显示器上显示通过应用所述至少一个规则识别的FOV集合的至少一个子集以供观察者(诸如病理学家)检查。图像处理系统可以包括图形用户界面,其使得图像处理系统能够从观察者接收输入信号,该输入信号指示来自所述子集的所显示FOV中的一个的图像部分的质量是否足以用于分析。换言之,如果观察者在子集的所显示FOV中识别到组织病理学伪像,则他或她可以操作图形用户界面的元素(诸如通过鼠标点击、按按钮或使用数据输入触笔)以用信号通知图像处理系统相应FOV包含组织病理学伪像。
在此类输入信号被图像处理系统接收到的情况下,由图像处理系统输出的生物目标对象的检测结果可以是用于用信号通知所显示组织区域中的自动化分析结果不正确或没有意义的错误信号,例如因为整体载片图像的质量不足以用于执行分析。
替换地,诸如借助于注释工具来选择整体载片图像的一部分并将其从分析排除。在后一种情况下,由图像处理系统输出的结果指示已通过图像处理算法的执行获得的检测到的生物目标对象,但排除在包含组织病理学伪像或错误分析结果的被排除图像区域中的已经识别的目标对象。后一种情况具有优点,即被染色的活检组织样本由于排除了包含组织病理学伪像的图像区域而仍可以以所需的科学确定程度被用于研究和/或诊断目的,而不使观察者有大量FOV的冗长乏味的检查过程的负担,因为由于所述至少一个规则的应用,仅显示了可能包含伪像的候选FOV。
本发明的实施例是特别有利的,因为向依赖于被用于检测生物目标对象的图像处理算法的图像处理系统中引入了质量控制;不要求用于伪像检测的特定图像处理算法。
例如,根据载片上的组织的染色的强度和外观或伪像的存在,计算机软件(即实现图像处理算法的图像处理程序)可能遗漏应包括在分析中的目标对象(诸如细胞)或者将非目标结构(例如,染色伪像)误解为目标细胞。根据本发明的实施例,质量控制图像示出被分析组织以及算法检测结果,例如作为覆盖在原始图像上的色彩编码标记和符号。为了在逐个细胞水平看到这些算法结果,可以以放大的方式示出此类图像,使得可以在一个图像中呈现所有组织的仅一小部分。
本发明的实施例是特别有利的,因为可以通过使观察者仅检查来自大量FOV(诸如数百个、数千个或者甚至数百万个FOV)的最小数目的FOV而获得质量控制的高度可靠性。这对于覆盖相对大面积且因此可以包含大量的FOV的整体载片图像而言是尤其重要的。
本主题公开通过提供用于自动地选择整体载片图像上的有意义区域并对结果得到的FOV的集合执行QC的系统和方法来解决上述问题。自动选择是在基于对应用于载片上的组织的染色分析物的反应来确定诸如细胞之类的相关对象的存在和数量之后执行的。在检测之后,可以生成密度图或热图,将检测结果的局部密度量化。热图可以描绘阳性和阴性检测结果以及被分类为“不感兴趣对象”的对象以及细胞密度的局部比率。可以提供热图以及映射图的组合(诸如局部和、比率等)作为到自动化FOV选择操作中的输入。选择操作可以基于一个或多个规则来选择表示极端和平均典型区域的每个热图的区域。可以定义一个或多个规则以便生成候选FOV的列表。一般地可以将该规则公式化,使得被选择用于质量控制的FOV是要求最多的仔细检查并将最多地受益于观察专家进行的评估的FOV。公开的操作因此缓解了交互式的或者要求大量FOV的冗长的整体载片QC程序,同时还通过选择覆盖检测到的目标和非目标对象的极端情况的FOV而避免了其中可能遗漏伪像的不完整QC。
在一个示例性实施例中,主题公开提供了一种用于自动化整体载片分析的质量控制的系统,包括处理器以及被耦合到处理器的存储器,存储器将存储计算机可读指令,其在被处理器执行时促使处理器实行包括以下各项的操作:对组织标本的整体载片图像上的多个视场(FOV)应用规则,并且将与该规则匹配的FOV集合呈现给观察者以进行质量控制分析。
在另一示例性实施例中,主题公开提供了一种用于自动化整体载片分析的质量控制的计算机实现方法,包括确定整体载片图像中的一个或多个类型的对象的局部密度,基于该局部密度来选择多个规则,并且选择满足所述多个规则的一组视场(FOV),其中,规则中的一个设定FOV集合内的FOV的最大数目。
在另一示例性实施例中,本主题公开提供了一种用以存储计算机可读代码的有形非临时计算机可读介质,所述计算机可读代码被处理器执行以实行包括以下各项的操作:将整体载片图像分段成多个视场(FOV),并且选择与用于FOV选择的一个或多个规则匹配的FOV集合,其中,对表示整体载片图像中的一个或多个感兴趣对象的局部密度的热图应用该规则,并且其中呈现该FOV集合以用于应用于整体载片图像的图像分析算法的质量控制。
附图说明
图1A—B描绘了使用现有技术方法确定的FOV的位置。
图2描绘了根据本主题公开的示例性实施例的用于自动化整体载片分析的质量控制的系统。
图3A—3B描绘了根据本主题公开的示例性实施例的用于自动化整体载片分析的质量控制的方法。
图4描绘了根据本主题公开的示例性实施例的示出用于针对整体载片图像的组织的检测结果的密度的热图。
图5A—B描绘了根据本主题公开的示例性实施例的候选FOV的初始集合。
图6A—6B描绘了根据本主题公开的示例性实施例的经由所公开的操作被自动地选择用于质量控制(QC)的FOV的示例。
图7说明本发明的方法的实施例。
具体实施方式
本主题公开通过提供用于自动地选择标本(诸如生物标本)的整体载片图像或其一部分上的有意义区域并对结果得到的FOV集合执行QC的系统和方法来解决上述问题。自动选择是在基于对应用于标本(例如载片上的组织标本)的染色分析物的反应来确定诸如细胞之类的相关对象的存在和数量之后执行的。在检测之后,可以生成密度图或“热图”。热图量化检测结果的局部密度。热图可以例如描绘正和负检测结果以及被分类为“不感兴趣对象”的对象以及细胞密度的局部比率,诸如对于生物标记1而言为阳性的对于生物标记2而言也为阳性的所有细胞的比率。可以针对每个生物标记或检测结果生成单独的热图,如在图4A—4F中描绘的。可以将热图以及映射图的组合(诸如局部和、比率等)作为输入提供到自动化FOV选择操作中。该选择操作可以基于一个或多个规则来选择表示相反的极端和平均典型区域的每个热图的区域。可以定义一个或多个选择规则以便在候选FOV的较大列表之中选择用于QC的FOV的子集。一般地可以将该规则公式化,使得被选择用于质量控制的FOV是要求最多的仔细检查并将最多地受益于观察专家进行的评估的FOV。例如,如果所选FOV包含热图上或热图组合上的具有最高、平均或最低值的区域,则可以将它们视为用于质量控制的候选。
图2描绘了根据本主题公开的示例性实施例的用于自动化整体载片分析的质量控制的系统200。系统200包括存储器210,其存储由被耦合到计算机201的处理器205执行的多个处理模块或逻辑指令。输入202可以触发所述多个处理模块中的一个或多个的执行。输入202包括用户输入以及通过网络供应给网络服务器或数据库以进行存储并稍后由计算机201检索的输入。除处理器205和存储器210之外,计算机201还包括用户输入和输出装置,诸如键盘、鼠标、触笔以及显示器/触摸屏。如将在以下讨论中解释的,处理器205执行存储在存储器210上的逻辑指令,使用图像分析模块211来执行图像分析以检测对象并将其分段,使用热图生成模块122来量化并描绘结果,使用FOV选择模块213来选择用于QC的FOV,并且在规则数据库214中存储和检索用于热图生成和FOV选择的规则。
输入202可以包括关于目标组织类型或对象的信息以及染色和/或成像平台的标识。例如,可能已借助于应用包含与用于亮场成像的显色染色剂或用于荧光成像的荧光团相关联的一个或多个不同生物标记的染色分析物对样本进行染色。染色分析物可以使用用于亮场成像的显色染色剂、有机荧光团、量子点或者用于荧光成像的有机荧光团以及量子点,或染色剂、生物标记以及观看或成像装置的任何其它组合。此外,在对样本应用染色分析物、导致被染色样本的自动化染色/分析物平台中处理典型样本。在市场上存在适合于用作染色/分析物平台的各种商用产品,一个示例是受让人Ventana Medical Systems有限公司的Discovery.TM.产品。输入信息还可以包括哪些和多少特定抗体分子结合到组织上的某些结合点或目标,诸如肿瘤标记或特定免疫细胞的生物标记。输入到系统100中的附加信息可以包括关于染色平台的任何信息,包括在染色中使用的化学品浓度、用于在染色剂中施加于组织的化学品的反应时间和/或组织的分析前条件,诸如组织老化、固定方法、持续时间、样本被如何嵌入、切割等。输入202可以是经由成像系统(例如显微镜上的相机或具有显微镜和/或成像组件的整体载片扫描仪)提供的,或者可以是经由网络或经由操作计算机201的用户提供的。
可以执行图像分析模块211以便对接收图像内的感兴趣对象进行检测和/或分段。可以检测对象,即通过处理来报告对象的存在和位置,或者将对象分段,即检测一个或多个对象并通过将整体载片图像上的多个像素分配给一个或多个对象或背景中的一个进行描绘。可以对多个不同对象进行检测或分段,并且该多个不同对象可以具有被区别以回答手头的生物问题的不同生物意义。一个可能的生物意义是“不感兴趣对象”,其指示检测或分段结果表示非目标染色、载片伪像、染色过于模糊而不具有相关性等。例如,当对生物标记Ki-67进行评分时,对所有肿瘤细胞核进行计数并分类成被阳性或阴性染色。这种情况下的“不感兴趣对象”是载片上的并非肿瘤细胞的所有细胞(诸如免疫细胞或基质细胞)的细胞核。更一般地,图像分析模块211的结果可以是其中已对对像进行检测和/或分段的图像中的位置列表。可选地,来自模块211的结果还包括进一步识别每个被检测对象的种类或类别。
可以执行热图生成模块212以量化由图像分析模块211执行的检测和分段操作的结果。热图映射整体载片图像上的各种结构的密度。可以根据手头的生物问题(其还规定执行的图像分析的类型)而生成热图。例如,热图可以描绘用于诸如细胞、细胞核等对象的阳性和阴性检测结果。热图可以进一步描绘“不感兴趣对象”以及细胞密度的局部比率,诸如一个类型的细胞对比另一类型的细胞的密度的比率或者生物标记的共定位的密度。可以针对每个生物标记或检测结果生成单独热图,如在图4A—4F中描绘的。
图4例如描绘了示出用于针对整体载片图像的组织的检测结果的密度的热图(a)。在(b)中示出了用于仅对于生物标记1而言为阳性的细胞的局部密度,在(c)中示出了用于生物标记2的局部密度,在(d)中示出了用于两个生物标记的阳性密度,在(e)中示出了“不感兴趣对象”的检测密度,并且在(f)中示出了对于生物标记2而言为阳性的细胞与对于生物标记1而言为阳性的细胞的局部比率。返回参考图2,可以基于存储在规则数据库214中的热图规则或经由输入202输入的规则而生成热图。在本文中进一步描述了示例性热图规则。此外,数据库214还可以包括关于染色剂和复染剂的各种组合的染色剂信息,使得能够实现规则的自动化生成,或者缓解规则生成或规则输入中的冲突。
可以将热图及其关联数据(诸如在每个热图中描绘的量的组合)作为输入提供到FOV选择模块213中。FOV选择模块213可以基于存储在数据库214中的选择规则或经由输入202输入的规则来选择每个热图的区域。例如,选择规则可以要求应选择并呈现表示检测结果密度的高和低极值的FOV以用于QC。可以定义选择规则,以便从候选FOV列表之中选择用于QC的FOV,并且一般地可以公式化,使得被选择用于质量控制的FOV是要求最多的仔细检查并将最多地受益于由观察专家进行的评估的FOV。例如,如果所选FOV包含热图上或热图组合上的具有最高、平均或最低值的区域,则可以将它们视为用于质量控制的候选。参考图3A—3B来进一步描述由FOV选择模块213执行的操作。
如上所述,该模块包括由处理器105执行的逻辑。如在本文中和遍及本公开所使用的“逻辑”指的是具有可以应用以影响处理器的操作的指令信号和/或数据形式的任何信息。软件是此类逻辑的一个示例。处理器的示例是计算机处理器(处理单元)、微处理器、数字信号处理器、控制器和微控制器等。逻辑可以由存储在诸如存储器210之类的计算机可读介质上的信号形成,所述计算机可读介质在示例性实施例中可以是随机存取储器(RAM)、只读存储器(ROM)、可擦/电可擦可编程只读存储器(EPROM/EEPROM)、闪存等。逻辑还可以包括数字和/或模拟硬件电路,例如包含逻辑与(AND)、或(OR)、异或(XOR)、与非(NAND)、或非(NOR)及其它逻辑运算的硬件电路。逻辑可以由软件和硬件的组合形成。在网络上,可以在服务器或服务器复合体上对逻辑进行编程。特定逻辑单元不限于网络上的单个逻辑位置。此外,不需要按照任何特定顺序执行模块。每个模块可以在需要被执行时调用另一模块。
图3A—3B示出了根据本主题公开的示例性实施例的用于自动化整体载片分析的质量控制的方法。在本示例性实施例中描述的操作可以使用参考系统200所述的组件或执行类似功能的其它组件。例如,参考图3A,可以提供输入(S301),该输入包括整体载片图像或其一部分以及可以对载片上的对象进行检测或分段并提供一个或多个种类或类别的对象作为其结果的分析操作的结果。例如,输入信息可以包括:
• 用本领域中已知的图像分析算法分析的整体载片图像。
• 由自动化算法检测的所有对象的位置,以及
• 由自动化算法提供的用于所有对象的对象类别。
图像分析结果可以包括例如类型A的对象的列表及其在整体载片图像中的位置以及类型B的对象的列表及其在整体载片图像中的位置。用于作为算法结果的对象的示例包括阴性细胞核的位置和阳性细胞核的位置、不具有膜染色、具有弱膜染色以及具有强膜染色的细胞核的位置等。可以输入任何此类分析算法并用来自动地确定FOV以对来自此类算法的结果进行QC。例如,图像分析操作可以对组织标本上的已被染色的两个不同类型A和B的细胞进行检测和计数。已经假设这些细胞的染色、检测以及分段是不完美的,使得弱染色、非目标染色或分段和检测的误解是可能的。假设检测和分段操作提供此类结果列表,可以将该列表分类为是类型A的细胞、类型B的细胞或者不是目标细胞。附加信息输入可以包括关于组织和目标结构(诸如细胞或其它感兴趣结构)的信息、特定抗体分子、生物标记的选择以及与染色平台有关的任何信息以及用于FOV选择的用户定义规则,如在本文中进一步描述的。可以输入并解析图像以及分析结果和附加信息(S302)以确定最优候选FOV创建(S303)和基于规则的选择(S304)。
在解析此输入(S302)时,可以创建多个候选FOV(S303)。通常,选择FOV尺寸,使得可以以全分辨率在计算机屏幕上呈现FOV。例如,如果计算机屏幕提供1000×1000像素分辨率且整体载片图像中的像素是0.5微米×0.5微米,则良好FOV候选尺寸也为1000×1000像素或者尺寸为0.5mm×0.5mm。一般地,创建FOV候选以覆盖图像中的所有组织。可以将此过程称为“分块”。图5A—B描绘了根据本主题公开的示例性实施例的候选FOV的初始集合。图5A描绘了通过没有任何重叠的所有相关组织的分块创建的候选FOV 520。可以观察到的是最优FOV候选不太可能与此类分块网格重合。因此,可以在更多位置处创建候选。图5B描绘了针对约50%的重叠的添加到FOV 520的附加FOV 521。在本图的彩色版本中,分别地用红色520和黑色521示出替换图块。在某些极端情况下,可以将相关组织的每个像素视为FOV的中心,其将提供数千个FOV候选。
候选FOV的这些初始列表是基于其是否可以以充分的放大倍率在计算机监视器上、在打印纸张上等观看以用特定尺寸的FOV执行质量控制而生成的。图像可能已在任何分析之前已被扫描,并且因此放大倍率和像素尺寸一般是固定的。因此,用于质量控制的FOV尺寸和分辨率应适配到屏幕上。每个屏幕可以显示固定数目的像素,并且其为FOV的尺寸,除非用户请求不同尺寸。例如,可以调整FOV尺寸以匹配用户的偏好。用户偏好可能是“我优选更加小的FOV以便在我的小型膝上型计算机上观看它”或“我可以甚至在较低放大倍率下评估算法结果”。通常针对包含组织的图像中的区域创建FOV候选,并且针对不包含组织的载片的区域不创建FOV候选。
此外,FOV不一定是正方形或矩形,但矩形使得能够实现在计算机屏幕或纸张上的最优显示。然而,还可以定义自由形式FOV形状,诸如圆形FOV,如果该选项基于系统实现而可用的话。一般地,在每个整体载片图像上自动地创建FOV并在计算机监视器上呈现,在必要时打印,或者在任何现有数字式病理学观看应用中观看。例如,可以使用整体载片观看器(诸如受让人VENTANA的VIRTUOSO观看器)来自动地导航至基于本文所述的操作而被选择用于质量控制的FOV,使得用户能够通过图像进行缩放和平移。此类观看器可以自动地导航至从原始列表之中选择的FOV,提供平移和缩放选项。
返回参考图3A,可以基于一个或多个选择规则的应用对FOV进行选择和/或排序(S304)。一般地,偏好是从在整体载片图像上分块的100个或更多候选FOV中选择少数(例如5个)FOV。5个FOV的子集可以是满足由选择规则定义的准则的FOV。可以在规则数据库314或包括但不限于输入信息S301的任何其它源中定义并从其检索这些规则。如本文所述,一般地可以将该规则公式化,使得被选择用于质量控制的FOV是要求最多的仔细检查并将最多地受益于观察专家进行的评估的FOV。例如,一个规则集可以包括以下选择或偏好:
• 具有类型A的细胞的最高密度的FOV,
• 具有类型B的细胞的最高密度的FOV,
• 具有类型A的细胞的最高比率的FOV(其中类型A的细胞的数目除以类型A或B的细胞的数目的和是最高的),
• 具有类型B的细胞的最高比率的FOV,
• 具有类型A和B一起的细胞的中值密度的FOV,以及
• 具有被分类为“非目标细胞”的检测结果的最高密度的FOV(这可以选自来自图像分析算法的中间输出)。
将上述规则集应用于所有FOV将可能导致用于质量控制的6个FOV的选择,其可以经由显示器或其它输出装置被呈现给观察专家。然而,其它规则集可以导致高于或低于该规则数目的许多目标FOV。规则一般地是预定义的,如果期望的话,并且可以为用户提供用以观察和编辑规则的选项。用以修改规则的用户界面可以采取文本或电子数据表编辑器的形式。例如,可以提供具有预定义字段的电子数据表编辑器,所述预定义字段类似于第一字段中的“...中的最高的”、“...中的最低的”、“...中的第n百分位”和第二字段中的“对象类型A”、“对象类型B”、“对象类型C”、“A和B的对象”等。对象类型的示例包括但不限于:
• 对于Ki-67而言为阳性的肿瘤细胞和对于Ki-67而言为阴性的肿瘤细胞。
• 对于ER而言为阳性的肿瘤细胞和对于ER而言为阴性的肿瘤细胞
• 不具有Her2膜染色的肿瘤细胞、具有弱Her2膜染色的肿瘤细胞、具有中间Her2膜染色的肿瘤细胞以及具有强Her2膜染色的肿瘤细胞。
• 肿瘤细胞、基质细胞以及免疫细胞。
• T淋巴细胞和B淋巴细胞。
如本文所述,规则可以由病理学家输入,并且可以是预定义的,使得可以将已经输入并选择用于来自不同载片的结果的规则集应用于新的输入载片。因此,可以提供病理学家可以选择而不是手动地输入规则的预定义规则集。
通常,将存在比期望的FOV更多的规则或者比期望的规则更多的FOV。例如,选择“具有类型A和B一起的细胞的中值密度的FOV”的规则不同于优选最高或最低量的规则。可以创建许多此类规则,其一般而言要求选择“其中细胞的密度或任何其它定量结果接近于来自所有FOV的所选百分位的FOV”。为了实现此类规则,可能必须基于规则的要求将FOV排序。例如,规则可以请求“细胞A和B一起的密度”的某个百分位。此类规则将导致排序列表(其中紧挨着每个FOV的数是列出的候选FOV的唯一序号或标识符):
• FOV 13
• FOV 84
• FOV 22
• FOV 93
• (...排序列表中的更多FOV,在这里未示出...)
• FOV 45
• FOV 29
• FOV 27
• (...排序列表中的更多FOV,在这里未示出...)
• FOV 15
• FOV 73
创建列表,使得第一列出FOV具有最高密度,第二列出FOV具有第二最高密度,以此类推直至具有最低密度的最后一个FOV。在此类列表中,可以基于百分位来选择FOV。具有中值密度(50%百分位)的FOV是对于其而言FOV的一半具有较高细胞密度且FOV且FOV的另一半具有较低细胞密度的FOV。同样地,选择处于25%百分位的FOV,使得四分之一的其它FOV具有较低密度,并且四分之三具有较高密度。选择处于75%百分位的FOV,使得四分之三的其它FOV具有较低密度,并且仅四分之一的其它FOV具有较高密度。在本示例中,FOV 13和84分别是最高和第二最高的,并且FOV 15和73分别是第二最低和最低的。FOV 29可以处于中值,一半FOV在密度方面较高且一半FOV在密度方面较低。
在给定这样的列表的情况下,还可以按“接近于目标百分位”将FOV排序。针对每个FOV,将绝对差(例如在密钥密度方面)计算为处于中值、25%百分位等的FOV的密度。按“与第75百分位的密度差”排序的FOV的示例性列表可以提供以下结果:
• FOV 91
• FOV 90
• FOV 80
• (…)
• FOV 16
在本示例中,FOV 91可以是处于第75百分位(即零差)的FOV,FOV 90可以具有最小密度差,并且FOV 16可以是与第75百分位具有最高密度差的FOV(无论其密度是高还是低)。本领域的技术人员依照本公开且根据提出的生物问题可以设想规则的许多其它示例及其应用。
当根据每个所选规则将满足规则的准则的FOV列表排序时,结果可以包括与存在的规则一样多的排序列表,如在表1的示例中描绘的:
按规则1排序 按规则2排序 …按规则N排序
FOV 13 FOV 91 FOV 19
FOV 84 FOV 90 FOV 08
FOV 22 FOV 80 FOV 25
(…) (…) (…)
表 1。
返回参考图3A,针对整体载片组织图像,“创建候选FOV”操作将生成许多FOV候选,其中只有小的子集可以被呈现给用户以进行QC。如本文所述,规则可以是针对每个分析算法预定义的,或者可以由用户选择。这些规则用来选择此子集。两个不同操作“选择和清除”(S306)和“优化”(S308)确定所有候选FOV之中的最佳地遵循该规则的FOV的子集。例如,进行用于QC的请求的FOV的数目是否超过规则的数目的确定(S305)。如果存在比选择规则的数目更大数目的请求的FOV,则可以选择某些FOV用于QC并从列表清除(S306)。例如,可以选择与规则最佳地匹配并在列表中具有最高位置的每个FOV以用于QC。然后可以将这些FOV从该列表去除并从表格中的所有其它列表清除。例如,可以选择来自表1的FOV 13、91和19以用于QC,并且从所有其它表格去除,从而减少用于下一轮选择和清除(S306)或优化(S308)的FOV的总数。用于清除的另一方法包括去除与所选FOV中的一个重叠的所有FOV。这使得能够避免在超过一个FOV中呈现同一组织切片。可以重复选择和清除步骤(S306)直至仍必须选择用于QC以达到请求FOV的数目的FOV数目等于或小于选择规则的数目为止。
如果存在比FOV更多的规则(S307),则优化(S308)可能是必需的。例如,甚至在已经如在上一段中那样选择FOV集合之后,可以以留下比存在的规则更少的FOV以获得所请求FOV的数目结束。在任一种情况下,可能不再可以针对每个规则选择最佳FOV。可以从候选FOV的列表中选择FOV的许多不同子集。优化过程(S308)现在可以选择FOV,使得每个规则被满足且是可能的,例如通过计算当前从表格中选择的FOV集合的“质量”。找到最佳子集可以包括应用已知计算机科学优化问题。因此,也可以使用许多其它公式。
图3B示出了示例性优化操作。可以检索FOV的一个子集(S311)连同其中根据不同准则(规则)将子集排序的表格一起作为到质量确定中的输入。此计算的结果可以包括指示此子集有多好的数字—其测量FOV在表格中看起来有多“高”。例如,质量确定可以检查子集中的每个FOV的位置(S312),并且针对被最差地满足的选择规则找到列表中的最佳FOV(S313)。可以替代地使用许多其它规则(表格中的所有列表中的所有FOV的平均位置、表格中的每个列表中的最佳FOV的平均位置等)。可以通过检查每个表格中的最佳FOV的位置来计算此“质量”。例如,如果针对4个规则选择了3个FOV,并且每个表格中的最佳FOV分别地处于位置3、5、10、2,则FOV的此集合的质量是10。这里的质量是评估FOV集合一起有多好地满足所有规则的度量。在这里给出的示例中,使用被最不好地满足的列表中的最佳FOV的位置作为用于质量的度量。不同的FOV集合可能在每个表格中在位置6、7、7、8处具有最佳位置,其具有质量度量8。另一FOV集合可能在每个表格中具有的最佳位置为1、2、1、20,这导致质量度量20。针对此质量度量,将具有最低质量度量的集合视为最佳选择。如对于相关领域的技术人员而言将显而易见的,存在用以测量FOV集合有多好地满足一组规则的许多方法。针对这些质量度量中的任何一个,可以采用各方法来优化选择,即确定具有最佳质量度量的FOV的集合,最简单的是测试所有可能的FOV选择并选取具有最佳质量度量的集合(S314)。所有可能的FOV子集范围内的穷举搜索可以导致针对所有可能的FOV子集计算质量度量,并且选择具有最佳质量度量的FOV的子集(S314)。如对于相关领域的技术人员而言将显而易见的,除穷举搜索之外还存在可以用来优化FOV子集以满足所有规则的许多方法。在示例性实施例中,选择预定义数目的FOV,使得其一起最佳地表示检测对象的最高、最典型以及最低密度的区域。例如,如果一个FOV包含密度非常高的第一细胞类型和密度非常低的第二细胞类型,则可以选择该FOV,即使其不包含针对这些细胞类型的最高或最低相应密度。可以用优化步骤来执行多次的这样的替换和折衷以覆盖少数FOV中的载片上的所有相关特征。在选择和清除(S306)FOV和/或优化(S308)FOV之后,向观察专家输出(S309)结果得到的所选FOV的集合以进行分析和QC。
图6A—6B描绘了根据本主题公开的示例性实施例的经由公开操作被自动地选择用于质量控制(QC)的FOV的示例。图6A描绘了单独的FOV 660,并且图6B描绘了整体载片图像中的这些FOV 660的位置。参考图6A,在(a)中描绘了具有仅对于第一生物标记而言为阳性的细胞的最高密度的区域,在(b)中描绘了具有仅对于第二生物标记而言为阳性的细胞的最高密度的区域,在(c)中描绘了针对两个生物标记具有最高密度的区域,在(d)中描绘了“不感兴趣对象”的最高密度,在(e)中描绘了对于生物标记2而言为阳性的细胞的最高比率,并且在(f)中描绘了具有感兴趣的被染色细胞的最低密度的区域。在本实施例中,基于确定最要求QC的FOV的规则来选择这些FOV,例如(b)可以描绘用于可以导致相应细胞的假检测的生物标记2和染色剂2的强非目标染色,(c)可以描绘被用生物标记1和染色剂1如此强地染色、以至于分析可能将细胞误解为被双重染色的区域,(d)可以描绘具有由来自染色剂1的斑点引起的强非目标染色的区域,并且(e)可以描绘其中分析非目标组织的区域。针对在本示例性情况中提出的五个映射图,选择每个上的针对最高、平均以及最低值的FOV将导致15个FOV,并且优化(S308)的应用将提供这5个FOV以最佳地满足这样的15个选择规则。
图7图示了根据本发明的实施例的用于分析被染色活检组织的样本的方法。从被染色活检组织样本的组织病理学组织载片获得的数字式整体载片图像700被图像处理系统200的输入202接收到(参考图2的实施例)。在图像获取步骤702中借助于成像系统从承载组织样本的组织病理学载片获得图像700,例如借助于显微镜上的相机或具有显微镜和/或成像组件的整体载片扫描仪。图像700被存储在图像处理系统200的电子存储器210中。
在步骤704中,从存储器210读取数字式整体载片图像700以便执行图像处理程序,该图像处理程序实现用于检测整体载片图像中的生物目标对象的图像处理算法。例如,图像处理算法用于检测可以被一个或多个染色剂染色的一个或多个类型的生物目标对象(诸如细胞)的存在和/或形状。根据实施方式,由图像处理算法执行定量分析,诸如确定在整体载片图像或整体载片图像700的一部分中存在的生物目标对象的数目。
出于说明性目的,图7示出了已通过在步骤704中执行图像处理算法而检测到的目标对象706、708、710、712和714。要注意的是在实际实现中通常检测到数目大得多的目标对象。
图象处理程序由图像处理系统200的处理器205执行。在步骤716中,诸如通过调用FOV选择模块213来在整体载片图像700中定义FOV。
在一个实施方式中,用网格718(即如图7中所示的分块网格)来预定义FOV。替换地,可以利用重叠的预定义FOV,或者采取相关组织的每个像素作为FOV的中心,其提供大量的FOV。作为另一替换方案,可以利用更复杂的自动化算法以便在步骤716中定义FOV,诸如从国际提交日为2015年9月3日的PCT/EP 2015/070100已知的方法,其要求US 62/045,484的优先权,该US 62/045,484的全部内容被通过引用结合到本文中。
在这里考虑的示例中,步骤716的执行通过分块网格718而导致15个FOV。
在步骤720中,由处理器205从电子存储器210读出存储在规则数据库214中的规则中的至少一个以便在步骤716中定义的FOV上应用。在步骤220中对候选FOV的集合应用所述至少一个规则导致满足预定义选择准则的FOV的子集。在这里考虑的示例中,该子集包含FOV 722、724和726。
在以下步骤728中,在图像处理系统200的计算机201的显示器上(诸如在显示器730上)显示形成子集的FOV。
在一个实施方式中,以全分辨率在显示器730上一个接一个顺序地显示形成子集的FOV。换言之,选择如在步骤716中定义的FOV的尺寸,使得可以以全分辨率且在不丢失信息的情况下在显示器730上显示每个FOV。可以根据已经满足选择准则的置信度值来确定用来显示子集的FOV的相继顺序。例如,在显示器730上示出的子集的第一FOV是具有满足在步骤720中应用的规则中使用的选择准则的最高置信度值的FOV。
替换地或另外,可以在显示器730上显示在这里考虑的示例中的形成子集的FOV722、724和726的较低分辨率表示以便经由图像处理系统200的图形用户界面进行选择。响应于选择了子集的FOV中的一个(诸如通过鼠标点击或者笔或触笔输入动作),所选FOV被放大至其全分辨率以便由观察者详细检查。
响应于显示FOV,诸如图7中所图示的显示器730上的FOV 722,可以经由图像处理系统200的图形用户界面在步骤731中接收信号。步骤731中的信号的接收用信号通知图像处理系统200当前在显示器730上以全分辨率示出的FOV(即FOV 722)包含组织病理学伪像或错误分析结果。
响应于在步骤731中接收到信号,在显示器730上显示包含对于其而言接已收到信号的FOV 722的图像部分732。此部分732可以是包含FOV 722和围绕FOV 722的区域的整个图像700或图像700的一部分。如在图7中描绘的,FOV 722在这里考虑的示例中位于组织病理学伪像734内。
在步骤736中,经由图像处理系统200的图形用户界面来接收要从分析排除的图像区域的选择。可以使用图形用户界面的注释工具来执行此图像区域的选择。例如,可以将显示器730实现为笔形显示监视器。借助于笔或触笔738,观察者可以通过借助于触笔738来追踪组织病理学伪像734的边界而选择包含组织病理学伪像734的图像区域。作为此选择的结果,示出组织病理学伪像734的图像区域被从分析排除,使得针对覆盖组织病理学伪像734的该图像区域在步骤704中获得的任何图像处理结果在步骤739中被忽视并从输出的结果排除。结果得到的输出图像740可以示出排除组织病理学伪像734的热图。
所公开的操作因此缓解了为交互式的或要求大量FOV的冗长的整体载片QC程序,并且同时还通过选择覆盖检测到的目标或非目标对象的极端情况的FOV而避免了其中可能遗漏伪像的不完整QC。此外,除了诸如解剖或临床病理学、蔓延/肺癌诊断等之类的医疗应用之外,也可以执行相同的方法以分析其它类型的样本,诸如地质学或天文学数据的远程感测等。本文中公开的操作可以被导入到硬件图形处理单元(GPU)中,以使得能够实现多线程的并行实现。
计算机通常包括已知组件,诸如处理器、操作系统、系统存储器、存储器存储设备、输入输出控制器、输入输出设备以及显示设备。相关领域的普通技术人员还将理解的是,有许多可能的计算机配置和组件,并且还可以包括高速缓冲存储器、数据备份单元以及许多其它设备。输入设备的示例包括键盘、光标控制设备(例如,鼠标)、麦克风、扫描器等。输出设备的示例包括显示设备(例如,监控器或投影器)、扬声器、打印机、网卡等。显示设备可以包括提供视觉信息的显示设备,该信息通常可以在逻辑上和/或物理上被组织为像素阵列。也可以包括接口控制器,其可以包括各种已知的或未来的用于提供输入和输出接口的软件程序中的任何。例如,接口可以包括一般称为“图形用户接口”(通常称为GUI)的向用户提供一个或多个图形表现的接口。通常启用接口以接受使用相关领域普通技术人员已知的输入或选择部件的用户输入。接口还可以是触摸屏设备。在相同或替换实施例中,在计算机上的应用可以采用包括称为“命令行接口”(通常称为CLI)的接口。CLI通常提供应用和用户之间的基于文本的交互。通常,命令行接口通过显示设备作为文本行来呈现输出并接收输入。例如,一些实现可以包括称为“壳(shell)”的接口,诸如相关领域普通技术人员已知的UnixShell或采用面向对象型编程架构(诸如微软.NET框架)的微软Windows Powershell。
相关领域普通技术人员将领会到的是,接口可以包括一个或多个GUI、CLI或其组合。处理器可以包括商业上可得到的处理器,诸如由英特尔公司制造的赛扬、酷睿或奔腾处理器,由Sun微系统制造的SPARC处理器,由AMD公司制造的速龙、闪龙或皓龙处理器,或者其可以是现在可得到或将来可得到的其它处理器中的一个。处理器的一些实施例可以包括称为多核处理器和/或被启用以在单个或多个核心配置中采用并行处理技术的处理器。例如,多核架构通常包括两个或更多个处理器“执行核心”。在本示例中,每个执行核心可以作为启用多线程并行执行的独立的处理器来实行。此外,相关领域普通技术人员将领会的是,处理器可以被配置成通常称为32或64位架构的处理器,或者现在已知或在将来可能开发的其它架构配置。
处理器通常执行操作系统,其可以例如是来自微软公司的Windows型操作系统;来自苹果计算机公司的Max OS X操作系统;可从许多销售商或称为开源的提供者得到的Unix或Linux型操作系统;另一或未来的操作系统;或其某组合。操作系统以公知方式与固件和硬件对接,并促进处理器协调并执行可以以各种编程语言编写的各种计算机程序的功能。操作系统通常与处理器合作来协调并执行计算机的其它组件的功能。操作系统还提供调度、输入输出控制、文档和数据管理、存储器管理以及通信控制和相关服务,这些全部都根据已知技术。
系统存储器可以包括各种已知的或未来的存储器存储设备中的任何,其可以用于存储期望的信息并且可以由计算机访问。计算机可读存储介质可以包括以任何方法或技术实现的用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性、可移动和不可移动介质。示例包括任何通常可用的随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、数字通用盘(DVD)、磁性介质(诸如常驻硬盘或带)、光学介质(诸如读和写紧凑盘)或其它存储器存储设备。存储器存储设备可以包括各种已知或未来设备中的任何,包括紧凑盘驱动、磁带驱动、可移动硬盘驱动、USB或闪驱或软盘驱动。此类存储器存储设备通常从程序存储介质(诸如相应地,紧凑盘、磁带、可移动硬盘、USB或闪驱或软盘)读取和/或向其写入。这些程序存储介质或现在使用中或稍后可能开发的其它程序存储介质中的任何可以被视为计算机程序产品。如将领会到的,这些程序存储设备通常存储计算机软件程序和/或数据。计算机软件程序(也称为计算机控制逻辑)通常被存储在连同程序存储设备一起使用的系统存储器和/或与存储器存储设备中。在一些实施例中,计算机程序产品被描述成包括具有存储于其中的控制逻辑(计算机软件程序,包括程序代码)的计算机可用介质。所述控制逻辑当由处理器执行时促使处理器实行本文中描述的功能。在其它实施例中,主要使用例如硬件状态机来在硬件中实现一些功能。实现硬件状态机以便执行本文中描述的功能对于相关领域中技术人员将是显而易见的。输入输出控制器可以包括各种已知的用于接受并处理来自用户的信息的设备中的任何,不论所述用户是人类还是机器,不论所述用户是本地的还是远程的。此类设备包括例如调制解调卡、无线网卡、网络接口卡、声卡或用于各种已知输入设备中的任何的其它类型的控制器。输出控制器可以包括用于各种已知的用于向用户呈现信息的显示设备中的任何的控制器,不论所述用户是人类还是机器,不论所述用户是本地的还是远程的。在当前描述的实施例中,计算机的功能元件经由系统总线与彼此通信。计算机的一些实施例可以使用网络或其它类型的远程通信来与一些功能元件通信。如对于相关领域中技术人员来说将显而易见的,仪器控制和/或数据处理应用,如果实现在软件中的话,可以被加载到系统存储器和/或存储器存储设备中并从其中执行。仪器控制和/或数据处理应用中的全部或部分还可以驻留在只读存储器或存储器存储设备的类似设备中,这样的设备不要求仪器控制和/或数据处理应用最先通过输入输出控制器来加载。相关领域中技术人员将理解的是,仪器控制和/或数据处理应用或其部分可以由处理器以已知方式加载到系统存储器或高速缓冲存储器或二者中以便有利于执行。此外,计算机可以包括存储在系统存储器中的一个或多个库文件、实验数据文件和内部客户端。例如,实验数据可以包括与一个或多个实验或分析物相关的数据,诸如检测信号值或与一个或多个合成测序(SBS)实验或过程相关联的其它值。此外,内部客户端可以包括被启用以使用网络访问另一计算机上的远程服务的应用,并且可以例如包括一般称为“网络浏览器”的应用。在本示例中,一些通常采用的网络浏览器包括可从微软公司得到的微软Internet Explorer,来自Mozilla公司的Mozilla Firefox,来自苹果计算机公司的Safari,来自谷歌公司的谷歌Chrome,或当前在本领域中已知或将来要开发的其它类型的网络浏览器。此外,在相同或其它实施例中,内部客户端可以包括被启用以经由网络访问远程信息的专用软件应用(诸如用于生物应用的数据处理应用)或者可是其具有的元件。
网络可以包括本领域普通技术人员公知的许多各种类型的网络中的一个或多个。例如,网络可以包括局域网或广域网,其可以采用适用于通信的通常称为TCP/IP协议的协议。网络可以包括包含世界范围的互连计算机网络系统(通常称为互联网)的网络,或者也可以包括各种内联网架构。相关领域中普通技术人员还将领会到的是,在联网环境中的一些用户可能更喜欢采用一般称为“防火墙”(有时也称为分组过滤器或边界保护设备)的技术来控制从和到硬件和/或软件系统的信息通信量。例如,防火墙可以包括硬件或软件元件或者其某种组合,并且通常被设计成执行由用户(诸如例如,网络管理员等)落实的安全策略。
本主题公开的示例性实施例的前述公开是出于举例说明和描述的目的而提出的。其并不意图是穷举的或使本主题公开局限于公开的精确形式。根据以上公开,本文所述的实施例的许多变更和修改对于本领域的技术人员而言将是显而易见的。本主题公开的范围将仅由所附权利要求以及由其等价物定义。
此外,在描述本主题公开的典型实施例时,本说明书可能已将本主题公开的方法和/或过程作为特定步骤序列提出。然而,就所述方法或过程不依赖于本文所阐述的步骤的特定顺序而言,所述方法或过程不应局限于所述的特定步骤序列。如本领域普通技术人员将认识到的,其它步骤序列可以是可能的。因此,不应将在本说明书中阐述的步骤的特定顺序理解为对权利要求的限制。另外,针对本主题公开的方法和/或过程的权利要求不应局限于按照所写顺序的执行其步骤,并且本领域的技术人员可以很容易地认识到可以改变该序列且仍然保持在本主题公开的精神和范围内。

Claims (31)

1.一种由图像处理系统(200)实现的用于分析被染色活检或外科手术组织样本的方法,所述方法包括:
—从被染色组织样本的组织病理学组织载片接收(702)整体载片图像(700),
—分析(704)整体载片图像以便通过图像处理算法的执行来检测生物目标对象,
—对整体载片图像上的多个视场(FOV)应用(720)至少一个规则以便识别对于其而言满足准则的FOV集合(722、724、726),其指示针对相应FOV包含组织病理学伪像或由图像处理算法引起的错误检测结果的风险,其中,所述准则涉及通过图像处理算法的执行获得的检测结果,
—显示(728)FOV集合的至少一子集以供观察者检查,
—响应于显示所述子集的FOV,从观察者接收(731)输入信号,其指示所显示FOV的图像部分的质量足以用于分析,
根据输入信号而输出(739)生物目标对象的检测结果。
2.权利要求1的方法,还包括:
—经由图像处理系统的图形用户界面从观察者接收(736)要从分析排除的图像区域(734)的选择,由此,输出的结果表达从被排除图像区域排除通过图像处理算法的执行获得的检测结果的检测生物目标对象。
3.权利要求2的方法,所述图形用户界面包括注释工具,其中,所述注释工具被用于输入要从分析排除的图像区域的选择。
4.权利要求2或3的方法,其中,所述图像处理系统包括数据输入触笔(738),并且其中,通过使用该触笔来执行要从分析排除的图像区域的选择。
5.权利要求4的方法,其中,所述图像处理系统包括笔形显示监视器(730),并且其中,所述触笔被用于通过追踪包含在子集的所显示FOV(722)中的伪像的边界来经由笔形显示监视器输入要从分析排除的图像区域的定界。
6.前述权利要求中的任一项的方法,其中,FOV的尺寸被选择用于在所述图像处理系统的显示监视器(730)上以全分辨率显示。
7.权利要求6的方法,其中,相邻FOV是重叠的。
8.权利要求7的方法,其中,FOV由包含在整体载片图像中的每个像素定义。
9.前述权利要求中的任一项的方法,其中,包含在子集中的FOV的数目受到最大数目的限制,并且,其中,借助于排序准则对FOV的集合进行排序以提供排序列表,并且从排序列表中选择最大数目的最高等级FOV以形成子集。
10.前述权利要求中的任一项的方法,其中,被染色活检组织样本是整体安装样本,诸如蔓延样本。
11.一种被配置成用于执行根据前述权利要求中的任一项所述的方法的图像处理系统。
12.一种用于自动化整体载片分析的质量控制的系统(200),所述系统包括:
处理器;以及
存储器,其被耦合到所述处理器,所述存储器用以存储计算机可读指令,该计算机可读指令在被处理器执行时促使所述处理器实行包括以下各项的操作:
对组织标本的整体载片图像上的多个视场(FOV)应用规则;以及
向观察者呈现与规则匹配的FOV集合以用于质量控制分析。
13.权利要求12的系统,其中,所述操作还包括确定整体载片图像中的一个或多个感兴趣对象的局部密度。
14.权利要求13的系统,其中,用热图来描绘所述局部密度。
15.权利要求14的系统,其中,对所述热图应用所述规则。
16.权利要求15的系统,其中,所述一个或多个对象被确定为是超过一个类型的。
17.权利要求16的系统,其中,针对相应的多个对象类型生成多个热图。
18.权利要求17的系统,其中,基于所述规则来确定所述局部密度。
19.权利要求18的系统,其中,所述规则包括具有目标结构或生物标记的最高密度的FOV的选择。
20.权利要求19的系统,其中,所述规则包括具有目标结构或生物标记的最低密度的FOV的选择。
21.权利要求20的系统,其中,所述规则包括具有最接近于目标结构或生物标记的整体载片图像内的密度的目标百分位的所述目标结构或生物标记的密度的FOV的选择。
22.权利要求21的系统,其中,所述规则是多个规则之中的一个。
23.权利要求22的系统,其中,在确定与所述多个规则匹配的FOV集合超过规则的数目时,所述操作还包括选择并清除FOV的子集。
24.权利要求23的系统,其中,清除FOV的子集包括去除与超过一个规则匹配的重复FOV或者去除与集合中的其它FOV重叠达到阈值重叠的FOV中的一个或多个。
25.权利要求24的系统,其中,在确定与所述多个规则匹配的FOV的集合小于规则的数目时,所述操作还包括优化与规则匹配的FOV。
26.权利要求25的系统,其中,所述优化包括除与规则最佳匹配的FOV之外还从所述多个FOV之中选择具有到与规则最佳匹配的FOV的总体最低距离的附加FOV。
27.权利要求26的系统,其中,通过将列表或表格中的FOV排序来确定所述总体最低距离。
28.权利要求12的系统,其中,所述多个FOV中的每一个具有唯一标识符。
29.权利要求12的系统,其中,所述操作还包括基于图像的分辨率或显示装置的分辨率中的一个或多个而生成所述多个FOV。
30.一种用于自动化整体载片分析的质量控制的计算机实现方法,所述方法包括:
确定整体载片图像中的一个或多个类型的对象的局部密度;
基于所述局部密度而选择多个规则;以及
选择满足所述多个规则的一组视场(FOV);
其中,规则中的一个设定FOV集合内的FOV的最大数目。
31.一种用以存储被处理器执行以执行操作的计算机可读代码的有形非临时计算机可读介质,所述操作包括:
将整体载片图像分段成多个视场(FOV);以及
选择与用于选择FOV的一个或多个规则匹配的FOV集合;
其中,对表示整体载片图像中的一个或多个感兴趣对象的局部密度的热图应用规则;并且
其中,呈现FOV集合以用于应用于整体载片图像的图像分析算法的质量控制。
CN201680007758.5A 2015-01-31 2016-01-29 自动化整体载片分析的质量控制 Active CN107209111B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562110472P 2015-01-31 2015-01-31
US62/110472 2015-01-31
PCT/EP2016/051865 WO2016120418A1 (en) 2015-01-31 2016-01-29 Quality control of automated whole-slide analysis

Publications (2)

Publication Number Publication Date
CN107209111A true CN107209111A (zh) 2017-09-26
CN107209111B CN107209111B (zh) 2020-08-28

Family

ID=55304975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680007758.5A Active CN107209111B (zh) 2015-01-31 2016-01-29 自动化整体载片分析的质量控制

Country Status (7)

Country Link
US (3) US10573001B2 (zh)
EP (1) EP3251052B1 (zh)
JP (1) JP6698663B2 (zh)
CN (1) CN107209111B (zh)
AU (1) AU2016211981A1 (zh)
CA (1) CA2973418C (zh)
WO (1) WO2016120418A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063547A (zh) * 2018-06-13 2018-12-21 中山大学中山眼科中心 一种基于深度学习的细胞种类鉴定方法
CN112501271A (zh) * 2020-11-19 2021-03-16 武汉华大智造科技有限公司 载片平台调平方法、检测装置及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10281386B2 (en) 2016-05-11 2019-05-07 Bonraybio Co., Ltd. Automated testing apparatus
US10852290B2 (en) 2016-05-11 2020-12-01 Bonraybio Co., Ltd. Analysis accuracy improvement in automated testing apparatus
US10324022B2 (en) 2016-05-11 2019-06-18 Bonraybio Co., Ltd. Analysis accuracy improvement in automated testing apparatus
EP3523779A1 (en) 2016-10-07 2019-08-14 Ventana Medical Systems, Inc. Digital pathology system and associated workflow for providing visualized whole-slide image analysis
US10663711B2 (en) * 2017-01-04 2020-05-26 Corista, LLC Virtual slide stage (VSS) method for viewing whole slide images
US10346980B2 (en) * 2017-10-30 2019-07-09 Proscia Inc. System and method of processing medical images
US20210018742A1 (en) * 2018-04-12 2021-01-21 Google Llc Augmented reality microscope for pathology with overlay of quantitative biomarker data
CA3100642A1 (en) 2018-05-21 2019-11-28 Corista, LLC Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
US10818386B2 (en) * 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
EP3757872A1 (en) * 2019-06-28 2020-12-30 Visiopharm A/S Scanning/pre-scanning quality control of slides

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001084209A2 (en) * 2000-05-03 2001-11-08 Dirk Soenksen Fully automatic rapid microscope slide scanner
CN102334085A (zh) * 2008-12-30 2012-01-25 比欧帕斯自动化公司 用于处理用于组织病理学的组织样本的系统和方法
US20120243755A1 (en) * 2011-03-23 2012-09-27 Hologic, Inc. Method for automatically seeding previously-classified images among images of objects of interest from a specimen
CN102802493A (zh) * 2010-03-23 2012-11-28 奥林巴斯株式会社 荧光观察装置
CN103731665A (zh) * 2013-12-25 2014-04-16 广州计量检测技术研究院 数码相机图像质量综合检测装置和方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995645A (en) * 1993-08-18 1999-11-30 Applied Spectral Imaging Ltd. Method of cancer cell detection
US5757954A (en) * 1994-09-20 1998-05-26 Neopath, Inc. Field prioritization apparatus and method
US6718053B1 (en) * 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
CA2297119A1 (en) * 1997-07-17 1999-01-28 Accumed International, Inc. Inspection system with specimen preprocessing
JP2008535528A (ja) * 2005-01-18 2008-09-04 トレストル コーポレーション スライドの可変品質画像を形成するためのシステムおよび方法
US20070140543A1 (en) * 2005-12-19 2007-06-21 Cytyc Corporation Systems and methods for enhanced cytological specimen review
JP4680052B2 (ja) * 2005-12-22 2011-05-11 シスメックス株式会社 標本撮像装置及びこれを備える標本分析装置
JP5321145B2 (ja) * 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
JP5387147B2 (ja) 2009-06-03 2014-01-15 日本電気株式会社 病理画像診断システム、病理画像処理方法、病理画像診断プログラム
JP5660273B2 (ja) * 2010-01-04 2015-01-28 日本電気株式会社 画像診断方法、画像診断装置および画像診断プログラム
JP5490568B2 (ja) * 2010-02-26 2014-05-14 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
US8396269B2 (en) * 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
WO2012105281A1 (ja) * 2011-01-31 2012-08-09 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置及びその制御方法とその制御プログラムを格納した記憶媒体
CN103959332B (zh) 2011-11-17 2017-05-17 皇家飞利浦有限公司 图像处理
WO2013161155A1 (ja) * 2012-04-23 2013-10-31 日本電気株式会社 画像計測装置、画像計測方法、および、画像計測用プログラム
US9488639B2 (en) * 2013-02-25 2016-11-08 Flagship Biosciences, Inc. Cell-based tissue analysis
US9064304B2 (en) * 2013-03-18 2015-06-23 General Electric Company Image quality assessment of microscopy images
JP6197659B2 (ja) * 2014-01-20 2017-09-20 富士ゼロックス株式会社 検出制御装置、プログラム及び検出システム
US9740957B2 (en) * 2014-08-29 2017-08-22 Definiens Ag Learning pixel visual context from object characteristics to generate rich semantic images
US9805248B2 (en) * 2014-08-29 2017-10-31 Definiens Ag Applying pixelwise descriptors to a target image that are generated by segmenting objects in other images
JP6763305B2 (ja) * 2014-12-09 2020-09-30 コニカミノルタ株式会社 画像処理装置及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001084209A2 (en) * 2000-05-03 2001-11-08 Dirk Soenksen Fully automatic rapid microscope slide scanner
CN102334085A (zh) * 2008-12-30 2012-01-25 比欧帕斯自动化公司 用于处理用于组织病理学的组织样本的系统和方法
CN102802493A (zh) * 2010-03-23 2012-11-28 奥林巴斯株式会社 荧光观察装置
US20120243755A1 (en) * 2011-03-23 2012-09-27 Hologic, Inc. Method for automatically seeding previously-classified images among images of objects of interest from a specimen
CN103731665A (zh) * 2013-12-25 2014-04-16 广州计量检测技术研究院 数码相机图像质量综合检测装置和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063547A (zh) * 2018-06-13 2018-12-21 中山大学中山眼科中心 一种基于深度学习的细胞种类鉴定方法
CN109063547B (zh) * 2018-06-13 2021-10-08 中山大学中山眼科中心 一种基于深度学习的细胞种类鉴定方法
CN112501271A (zh) * 2020-11-19 2021-03-16 武汉华大智造科技有限公司 载片平台调平方法、检测装置及存储介质

Also Published As

Publication number Publication date
JP6698663B2 (ja) 2020-05-27
US10573001B2 (en) 2020-02-25
US20220237796A1 (en) 2022-07-28
JP2018512072A (ja) 2018-05-10
AU2016211981A1 (en) 2017-07-27
US12067720B2 (en) 2024-08-20
EP3251052A1 (en) 2017-12-06
US20200160519A1 (en) 2020-05-21
CA2973418C (en) 2023-07-25
CA2973418A1 (en) 2016-08-04
US20180012360A1 (en) 2018-01-11
EP3251052B1 (en) 2024-07-17
US11328420B2 (en) 2022-05-10
WO2016120418A1 (en) 2016-08-04
CN107209111B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN107209111A (zh) 自动化整体载片分析的质量控制
JP6816196B2 (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
JP7231631B2 (ja) 腫瘍空間異質性およびインターマーカ異質性の計算方法
US10755406B2 (en) Systems and methods for co-expression analysis in immunoscore computation
JP6629762B2 (ja) 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法
JP6823646B2 (ja) 生体試料の複数の画像を表示するための画像処理システムおよび方法
CA2944831C (en) An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
US10083340B2 (en) Automated cell segmentation quality control
CN110088804A (zh) 基于原色和免疫组织化学图像的计算机评分
US7606779B2 (en) Methods and system for data aggregation of physical samples
US20120149049A1 (en) System and method for presenting an automated assessment of a sample's response to external influences
US20240004540A1 (en) Methods, apparatuses, and computer-readable media for enhancing digital pathology platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant