CN106462767A - 用于处理和分析图像的检查设备 - Google Patents

用于处理和分析图像的检查设备 Download PDF

Info

Publication number
CN106462767A
CN106462767A CN201580017614.3A CN201580017614A CN106462767A CN 106462767 A CN106462767 A CN 106462767A CN 201580017614 A CN201580017614 A CN 201580017614A CN 106462767 A CN106462767 A CN 106462767A
Authority
CN
China
Prior art keywords
image
characteristic
equipment
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580017614.3A
Other languages
English (en)
Other versions
CN106462767B (zh
Inventor
M.B.范利尤文
J.P.文克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN106462767A publication Critical patent/CN106462767A/zh
Application granted granted Critical
Publication of CN106462767B publication Critical patent/CN106462767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本发明涉及用于处理和分析生物样品的图像的检查设备(1)、用于处理和分析生物样品的图像的检查方法、用于控制这样的设备(1)的计算机程序单元和对应的计算机可读介质。用于处理和分析生物样品的图像的检查设备(1)包括接口单元、图像分析单元和显示单元。接口单元被配置成提供生物样品的图像。图像分析单元被配置成将该图像中的感兴趣区指示为参考区、从该图像提取该参考区的特性以及分析该图像以寻求带有相似特性的替换区。显示单元被配置成显示寻求带有相似特性的替换区的分析的结果。

Description

用于处理和分析图像的检查设备
技术领域
本发明涉及用于处理和分析生物样品的图像的检查设备、用于处理和分析生物样品的图像的检查方法、用于控制这样的设备的计算机程序单元和对应的计算机可读介质。本发明是在用于健康的生命科学("LSH")程序的框架内进行的。
背景技术
病人资料(组织和细胞)的病理学诊断调查是许多治疗决策的基础,特别是在肿瘤学中。来自活组织检查的、标准的薄的切片被呈现在显微镜载玻片上且被按照一定的协议染色(stain)以便使组织的形态可见。评定通常利用亮视野(bright field)显微镜发生。
US 2012/045790 A1公开了一种供生物学、组织学和病理学使用的方法。它包括:提供包含生物材料的对象的第一切片的数字第一图像;生成该对象的第二切片的数字第二图像;在第一图像中的感兴趣区的基础上确定第二图像中的感兴趣区;在第二图像中的感兴趣区的基础上确定第二切片中的感兴趣区;且从第二切片中的感兴趣区提取材料。
当前,对感兴趣区(ROI)的选择是手动地完成的,其是不准确的,而且是麻烦的。此外,组织中的更好的或者可替换的区可能被忽视。其它区可以由于不同的原因而更好。一个原因可能是:该区含有对于随后的分析更相关的细胞/材料。另一原因可能是:该区是更均质的(homogeneous),从而改进灵敏度和特异性(specificity)以及再现性(reproducibility)。
发明内容
因此,可能有需要去提供用于处理和分析生物样品的图像的检查设备,其中特别地,改进了对感兴趣区(ROI)的选择。
本发明的目的通过独立权利要求的主题得以解决,其中在从属权利要求中并入了进一步的实施例。
按照本发明,提出了一种用于处理和分析生物样品的图像的检查设备。它包括接口单元、图像分析单元和显示单元。接口单元被配置成提供生物样品的图像,且可以是例如到扫描仪设备的接口以数字化该生物样品。图像分析单元被配置成将该图像中的感兴趣区指示为参考区、从该图像提取该参考区的特性、以及分析该图像以寻求带有相似特性的替换区。显示单元被配置成显示寻求带有相似特性的替换区的分析的结果。
换言之且作为示范,建议在ROI选择期间辅助例如病理学家。病理学家可以手动地指示ROI的(粗略的)位置。对于该病理学家感兴趣的细胞/组织特性,在这个ROI中的组织可被用作为参考。
使用图像分析,可以提取被选择区域的特性(细胞/细胞核(nuclei))特征。进一步,可以提取组织形态的特性,像例如该区中的细胞核密度或者在细胞/细胞核形状或类型中的变化。
在本上下文中,“相似的”特性意味着在从参考区提取的特性和从替换区提取的特性之间的偏差小于±30%,优选地小于±20%,更优选地小于±10%,甚至更优选地小于±5%。
接下来,扫描整个组织样品以寻求展现出相似特性的区域。进一步地,可以例如通过测量在每个替换区中的肿瘤细胞的百分率而确定样品的异质性(heterogeneity)。因为大百分率的肿瘤细胞对随后的分析的质量具有负面影响,所以可以避免这样的区。
如果检测到替换的候选区,则可以借助于视觉反馈令用户知道它们。可以在屏幕上用特定的颜色突出替换区。可以使用不同的颜色来指示这些区正被认为是替换的理由。例如,为了吸引对展现出更好均质性的替换区的特别注意,可以经由文本框或者以重叠(overlay)方式向用户呈现对于每个区的附加细节信息(例如关于大小或者均质性)。
在本发明的意义中,要被检查的生物样品可以是任何生物材料、组织样品、涂片、细胞学样品、身体样品等等。它可以例如从皮肤、粘膜、眼睛的表面等等取得。来源可能是人类、动物或者植物。除体外(in-vitro)应用之外,术语生物样品还包含体内(in vivo)应用。例如,本发明找到在使用任何公知的成像系统(诸如超声、X射线、MR系统等等)对例如身体内的器官成像时的令人感兴趣的应用。
回到体外应用,生物样品可以具体地是身体组织的切片。而且,样品可以在生成图像前被染色,以便使感兴趣的特定特征(更好地)可见。因此,在本发明的设备中,可以可选地包括可在其中执行这些步骤的样品准备单元。本发明的方法还可以可选地包括生成身体组织的切片和/或对样品染色。
特性可以涉及细胞或者细胞核特征、组织形态特征、细胞核密度、细胞核类型、在细胞或者细胞核形状中的变化等等。特性还可以涉及对于每个替换区的异质性参数,优选地涉及肿瘤细胞的百分率。样品特性通常可以是能从样品的图像确定的任何类型的特性,例如给定的化学物质的局部浓度(例如经由该物质的颜色揭示)。在优选实施例中,样品参数指示特定的细胞类型或者组织类型的局部量/百分率。样品参数可以例如表示在给定区中的肿瘤细胞的绝对或者相对数量。特别地,它可以是在图像ROI中肿瘤细胞的数量和/或分率(fraction)。知道对于图像ROI的这个数量可以提供对于正确解释涉及(refer to)这个区的化验数据的重要线索。
样品的生成的图像优选地是显微镜图像,即它揭示肉眼不可见的细节。图像也可以是组织学图像。附加地或替换地,它优选地是数字图象,因此虑及通用的数字图像处理过程的施加。而且,图像可以通过扫描,即通过顺序生成样品的较小部分的子图像而生成。仪器因此可以包括数字显微镜,特别地是数字扫描显微镜,以虑及前述特征的实施例。而且,生成的显微镜图像可以是亮视野或者荧光图像,或者是不同图像的组合。
在示例中,图像分析单元包括被配置成选择并指示图像中的感兴趣区作为参考区的自动选择和指示单元和/或用户接口。图像分析单元、自动选择和指示单元和/或用户接口还被配置成使得用户能够调整例如自动选择的结果。换言之,在图像中选择和指示ROI可以通过适当的图像处理例行程序、通过用户的手动输入或者通过两种的混合而自动地完成。通常有可能生成几乎任意形状和大小的图像ROI。设备可以优选地包括图像分析模块,例如带有相关联的软件来分析数字图像的数字微处理器。附加地或替换地,它可以包括用户接口,用户接口包括输入装置,用户可以通过其输入涉及图像ROI的选择的数据。典型地,用户接口还将包括输出装置,例如显示器(监视器),样品的图像可选地连同当前定义的图像ROI的表示可以在其上示出。输出装置可以优选地虑及用可调整的缩放因子表示样品图像。图像分析器将典型地是带有适当的图像处理软件的数字数据处理单元,样品参数可以通过其自动地被确定。
图像分析单元可以被配置成在图像中定义部分地交叠的窗,其中对于每个窗提取该特性且将其与参考区的特性相比较。图像可以通过利用一个或多个被使用的和/或被组合的IHC染色剂的染色剂吸收(stain-uptake)形式的局部反应而被分割。替换地或附加地,图像分析单元可以被配置成按照肿瘤细胞的局部量和/或类型来将图像分割成不同的子区,其中对于每个子区,提取该特性且将其与参考区的特性相比较。替换地或附加地,图像分析单元可以被配置成按照局部HER2值(人类表皮生长因子受体2)来将图像分割成不同的子区,其中对于每个子区,提取该特性且将其与参考区的特性相比较。这将进一步地参考附图予以描述。
在另一示例中,图像分析单元包括转移单元,其被配置成将在第一生物样品中定义的参考区的位置转移到第二生物样品和/或相应图像中的对应区。
在示例中,用于处理和分析生物样品的图像的检查设备进一步包括被配置成检测细胞核的细胞核检测单元。由此,通过用于细胞核检测的算法提取细胞。细胞核检测单元可以被配置成在不同的细胞核类型(即淋巴细胞、上皮细胞、脂肪细胞等等)之间不同,并且指示带有不同外观的细胞核。
在另一示例中,显示单元被配置成通过颜色、颜色强度、文本、字母、数字、符号等等来显示分析的结果,其是在所观察的特性方面的相似性。并且可以通过颜色、颜色强度、文本、字母、数字、符号等等来显示像这样的特性和/或异质参数。并且不同区的快照的概观是可能的。快照可能按照或可能不按照观察的特性排序。
在本发明的另一示例中,提出了用于处理和分析生物样品的图像的检查方法。它包括以下步骤,各步骤不一定是按这个顺序的:
a)提供生物样品的图像,
b)将该图像中的感兴趣区指示为参考区,
c)从该图像提取参考区的特性,
d)分析该图像以寻求带有相似特性的替换区,和
e)显示寻求带有相似特性的替换区的分析的结果。
换言之且作为示范,该方法基于以下步骤:对感兴趣(参考)区的手动和/或自动选择、对细胞的识别、使用提取的特征对感兴趣区的识别或表征、对在生物样品中展现出与所选感兴趣区相似的特性的替换区的识别、对每个替换区的评分(例如对淋巴细胞或肿瘤细胞的百分率的测量和/或对异质性的测量)、以及替换区在屏幕上的视觉反馈。
在示例中,也有可能提供生物样品的图像,以从该图像提取对于包括未来参考区在内的几个区的特性,基于该特性选择感兴趣区,将该图像中的感兴趣区指示为参考区,基于或者该提取的特性或者新的测量而扫描或分析该图像以寻求带有相似特性的替换区,以及显示寻求带有相似特性的替换区的扫描的结果。
在本发明的另一个示例中,提出了一种计算机程序,其中该计算机程序包括程序代码装置,用于当该计算机程序在控制该设备的计算机上运行时使得如在独立设备权利要求中定义的设备去执行如在独立方法权利要求中定义的方法的步骤。
本发明的应用可以是分子病理学应用,特别是针对基于识别癌细胞的分子改变的病人分层(patient stratification)的肿瘤学应用,但也用于其他疾病的诊断/监视。
应理解,按照独立权利要求的用于处理和分析生物样品的图像的检查设备、用于处理和分析生物样品的图像的检查方法、用于控制这样的设备的计算机程序单元、以及存储有这样的计算机程序单元的计算机可读介质具有相似的和/或相同的优选实施例,特别是如在从属权利要求中限定的。应该进一步理解,本发明的优选实施例还可以是从属权利要求与相应的独立权利要求的任何组合。
本发明的这些及其他方面将从以下描述的实施例变得明显且将参考其得以阐明。
附图说明
在下面将参考附图描述本发明的示范性实施例:
图1示意地且示范性地示出按照本发明的用于处理和分析生物样品的图像的检查方法的实施例。
图2示意地且示范性地示出细胞核检测算法的输出的细节。
图3示意地且示范性地示出基于局部HER2评分的计算来创建区的示例。
图4示意地且示范性地示出在屏幕上参考区和替换区的视觉反馈。
图5示意地且示范性地示出按照本发明的用于处理和分析生物样品的图像的检查设备。
具体实施方式
在下文中参考在数字病理学领域的实际病例来介绍本发明,其是供使用的几个优选的应用之一。然而,如已经解释的,数字病理学应该被认为是一个非限制性的应用示例。
病人资料(组织和细胞)的病理学诊断调查是许多治疗决策的基础,特别是在肿瘤学中。来自活组织检查的标准的薄切片被呈现在显微镜载玻片上且被按照一定的协议染色以便使组织的形态可见。更近一些,对于疾病特异性生物标记的原位(in situ)染色正在被开发来用于靶向药物的伴随诊断。评定通常利用亮视野显微镜发生。
紧跟在这种形式的分析之后,还用像q-PCR(聚合酶链式反应)和定序的分子方法调查组织和细胞活组织检查。这个所谓的分子诊断(MDx)的重要性正随着新的分子生物标记的出现而增加。病理学家经常基于形态学信息来决定进行分子测试以识别(癌)组织的生物学特性,用于正确的治疗选择。因为许多分子生物标记不能在组织上原位——或至少不能以要求的精度——量化,所以执行单独的分子诊断测试。例如,PCR或定序是对取自活组织检查的样品进行的。通常,使用已经取自该活组织检查的又一切割物(coupe)。这个组织切片在测量DNA或mRNA标记以前被通过细胞溶解作用而处理。因此,空间信息丢失。
肿瘤组织通常由许多不同的细胞类型组成,而不仅是癌细胞,且甚至在肿瘤的不同区域癌细胞也可以在分子构成方面极大地不同。分子分析的结果将取决于用作分子测试的样品的组织切片的准确组成。选择的区被越多地稀释(diluted),测试结果将越不灵敏和不确定。此外,在癌细胞群体内的异质性也将导致在MDx化验中的噪声,从而减少灵敏度和特异性以及再现性。目前,对于基于病理学图像来精确选择用于分子测试的样品材料,尚无实际的解决方案。在很多情形下完成的手动选择是不准确的。
当前,ROI选择是手动地完成的,其是不准确的,而且是麻烦的。此外,组织中的更好的或者替换的区可能被忽视。其他区可能由于不同的原因而更好。一个原因可能是:该区含有对于MDx的更多的细胞/材料。另一原因可能是:该区是更均质的,从而改进灵敏度和特异性以及再现性。
图1示意地且示范性地示出按照本发明的用于处理和分析组织样品的图像的检查方法的实施例。它包括以下步骤,各步骤不一定是按这个顺序的:
a)步骤S1,提供组织样品的图像,
b)步骤S2,将该图像中的感兴趣区指示为参考区,
c)步骤S3,从该图像提取参考区的特性,
d)步骤S4,分析该图像以寻求带有相似特性的替换区,和
e)步骤S5,显示寻求带有相似特性的替换区的分析的结果。
在步骤S1中,通过接口单元提供组织样品的图像,接口单元形成到例如数字显微镜或扫描仪的接口。
步骤S2包括选择图像中的感兴趣区和指示该图像中的感兴趣区为参考区。对于感兴趣的参考区的选择有至少两种情景:b1),在被用于分子分析的组织样品中自动地和/或手动地选择该区,和/或b2),在标准实践中总是被创建的染色的样品(例如H&E、否则IHC)中自动地和/或手动地选择该区。接下来,染色的样品被与用于分子分析的第二组织样品拓扑地对齐。在对齐之后,在第二样品中的对应的ROI的位置便已知。
也参见图2,在潜在的子步骤S21中,通过用于细胞核检测的算法来提取细胞。该算法提供对于不同细胞核类型的粗略指示(rough indication),细胞核类型例如是带有紧凑外观的细胞核(类似例如淋巴细胞)和/或带有更透明外观的细胞核(典型的对于上皮细胞和癌细胞)。
在步骤S3中,从该图像提取参考区的特性,或换言之,使用至少一个提取的特征来表征感兴趣区。在潜在的子步骤S31中,可能的实现是通过确定在ROI中被分类为肿瘤细胞(例如为“带有透明外观的细胞核”)的对象的密度。该密度从由被标记的边界“围绕的”面积和在ROI中的总组织面积来计算。
步骤S4包括分析图像以寻求带有相似特性的替换区。对于获得替换区的可能的途径d1)是要使用滑动窗实现:矩形窗被限定在部分地交叠的位置。对于每个滑动窗,计算特性。这些特性被与感兴趣的参考区的特性相比较。带有或多或少相似特性的区被选择为候选区。接下来,将评分赋予每个候选区。对于MDx的应用,例如计算在每个区中的上皮细胞的百分率。
在潜在的子步骤S41,从ROI中已经被分类为“带有透明外观的细胞核”的细胞核的数量和检测到的细胞核对象的总数(即分类为“带有透明外观的细胞核”的细胞核和分类为“带有紧凑外观的细胞核”的细胞核的数量的总和)估计肿瘤细胞百分率和/或淋巴细胞的百分率。与参考区相比,带有相等或更高百分率的区被选择用于可视化的最后步骤。
用于使用滑动窗实现来选择替换区的另外的可能途径d2)是要首先分割载玻片。可能的实现是要使用通过局部IHC评分算法(对于HER2评分算法也参见图3)创建的那些区。然后,对于每个分割,计算特性且将其与感兴趣的参考区的特性相比较(和上面的过程类似)。
步骤S5包括在屏幕上对于替换区的视觉反馈,换言之,是对于寻求带有相似特性的替换区的扫描结果的视觉反馈。图示替换区的一种方式e1)是通过在数字组织图像中用对比色对替换区的边界上色。被用于图示那些区的颜色或颜色的强度可以是例如随那个区中计算的肿瘤细胞的百分率而变。另一种或进一步的方式e2)是要以重叠方式突出有关的区。并且,缩略图的概观(每一个表示潜在地令人感兴趣的ROI)是可能的。
图2只是为了举例说明而示出了细胞核检测算法的输出的细节。有利用不同途径的替换实现。图2涉及潜在的子步骤S21,其中通过用于细胞核检测的算法来提取细胞。该算法提供带有紧凑外观的细胞核(类似例如淋巴细胞)对比带有更透明外观的细胞核(典型的对于上皮细胞和癌细胞)的粗略指示。该算法是基于细胞核的高度异质的性质且涉及两个检测器,一个集中于细胞核的内部结构,而另一个专注于上皮细胞的边界的线结构。检测器的输出被合并且使用连接的部件转移到种子中。使用全局最佳的主轮廓算法来细化所检测的细胞核的边界。
在图2中示出的重叠中,细胞核的内部结构和边界通过例如不同颜色或者在这里通过不同灰度来标记。中心部分14指示已经被检测为“带有紧凑外观的细胞核”的细胞核(典型地是淋巴细胞),而边界部分15指示已经被检测为“带有透明外观的细胞核”的细胞核(典型地是上皮细胞)的边界。在潜在的子步骤S41中,从ROI中已经被分类为“带有透明外观的细胞核”的细胞核的数量和检测到的细胞核对象的总数(即分类为“带有透明外观的细胞核”的细胞核和分类为“带有紧凑外观的细胞核”的细胞核的数量的总和)估计肿瘤细胞的百分率。
图3涉及步骤S4,使用IHC染色的载玻片(例如HER2染色的载玻片)来分析图像以寻求带有相似特性的替换区。可能的实现是要使用通过局部HER2评分算法创建的区。HER2评分对于乳腺癌具有重要的诊断价值。对经HER2膜染色的组织的解读要求:在染色剂和复染剂(counter stain)之间进行区分,识别细胞膜吸收的染色剂的量和完全性,以及推导展现出过度表达(over-expression)的肿瘤细胞的百分率。而且,倘若样品包含多个异质的肿瘤区,则这些区中每一个的评分必须组合成单个评分。算法的输入是手动地选择的组织区。
图3示出基于局部HER2评分的计算来创建区16的示例。包括带有相似HER2评分的子区的每个区16由叠置的边界线17围绕。由此,可以区分带有不同局部HER2评分的区16。区16的边界17可以通过独特的颜色来指示,如此使得带有不同局部HER2评分的区16可以通过不同颜色来指示。并且带有一种或多种颜色的透明区的重叠是可能的。
图4涉及步骤S5且示出在屏幕上对于参考区10和替换区11的视觉反馈,换言之是对于寻求带有相似特性的替换区11的扫描结果的视觉反馈。替换区11通过以下方式被图示,即在数字组织图像中用对比色指示它们的边界,例如对它们的边界上色。边界线12的宽度、被用于图示那些区的颜色或颜色的强度可以是例如在那个区中计算的肿瘤细胞的百分率的函数。进一步地,有可能突出在重叠13中的相关的区。
图5示出按照本发明的用于处理和分析组织样品的图像的检查设备1。它包括接口单元2、图像分析单元3和显示单元4。接口单元2被配置成提供组织样品的图像。图像分析单元3被配置成将该图像中的感兴趣区指示为参考区、从该图像提取参考区的特性、以及分析该图像以寻求带有相似特性的替换区。显示单元4被配置成显示寻求带有相似特性的替换区的分析的结果。该用于处理和分析组织样品的图像的检查设备1可以进一步包括细胞核检测单元5、自动选择和指示单元31、用户接口32和转移单元33。转移单元33被示范性地示出为图像分析单元3的一部分,其也可以被安排在别处。
在本发明的另一示范性实施例中,提供了计算机程序或者计算机程序单元,其特征为适合于在适当的系统上执行按照在前实施例之一的方法的方法步骤。
因此计算机程序单元可能被存储在计算机单元上,其也可以是本发明的实施例的一部分。这个计算单元可以适合于执行上面描述的方法的步骤或者招致上面描述的方法的步骤的执行。而且,它可能适合于操作以上描述的仪器的部件。计算单元可以适合于自动地操作和/或执行用户的命令。计算机程序可以装载到数据处理器的工作存储器。因此数据处理器可以被装备来执行本发明的方法。
本发明的这个示范性实施例既覆盖直接从开始就使用本发明的计算机程序,又覆盖借助于更新来将现有的程序转变成使用本发明的程序的计算机程序。
还有,计算机程序单元可能能够提供所有必要的步骤来完成如上所述的方法的示范性实施例的过程。
按照本发明的进一步的示范性实施例,提出了诸如CD-ROM的计算机可读介质,其中该计算机可读介质具有存储在其上的由在前章节描述的计算机程序单元。
计算机程序可以存储在合适的介质上和/或在合适的介质上分发,合适的介质是诸如连同其他硬件或者作为其他硬件的一部分供给的光存储介质或固态介质,但是计算机程序也可能以其他形式分发,诸如经由互联网或其他有线或无线的电信系统分发。
然而,该计算机程序也可能通过类似万维网的网络呈递,并且可以从这样的网络下载到数据处理器的工作存储器中。按照本发明的进一步的示范性实施例,提供了用于使计算机程序单元可用于下载的介质,该计算机程序单元被安排成执行按照本发明的先前描述的实施例之一的方法。
必须注意:本发明的实施例是参考不同的主题被描述的。特别是,一些实施例是参考方法类型权利要求被描述的,而其他实施例是参考设备类型权利要求被描述的。然而,本领域技术人员将从上面及下面的描述推断出:除非另外告知,否则除了属于一种类型主题的特征的任何组合之外,在与不同主题有关的特征之间的任何组合也被认为是利用本申请予以公开的。然而,所有的特征都可以被组合来提供协同效应,其大于那些特征的简单总和。
尽管本发明已经在附图和前面的描述中被举例说明和详细描述,然而这样的举例说明和描述要被认为是说明性的或示范性的,而非限制性的。本发明不局限于所公开的实施例。在实践所要求保护的发明时,本领域技术人员可以从对附图、公开内容和从属权利要求的研究来理解并实行对公开的实施例的其他变体。
在权利要求中,单词“包括”并未排除其他元素或步骤,且不定冠词“一”或者“一个”并未排除复数。单个处理器或其他单元可以完成在权利要求中陈述的几个项目的功能。仅仅是在互相不同的从属权利要求中陈述某些措施的事实并不表明这些措施的组合不能被用来获益。在权利要求中的任何参考符号不应该被解释为是限制范围。

Claims (15)

1.一种用于处理和分析生物样品的图像的检查设备(1),包括:
-接口单元(2),
-图像分析单元(3),和
-显示单元(4),
其中该接口单元(2)被配置成提供生物样品的图像,
其中该图像分析单元(3)被配置成将该图像中的感兴趣区指示为参考区(10),从该图像提取参考区的细胞和/或组织特性,以及分析该图像以寻求带有与从该参考区提取的特性相似的特性的替换区(11),以及
其中该显示单元(4)被配置成显示寻求带有相似特性的替换区(11)的分析的结果。
2.按照权利要求1的设备(1),其中该生物样品是组织样品。
3.按照在前权利要求的设备(1),进一步包括被配置成检测细胞核的细胞核检测单元(5)。
4.按照在前权利要求的设备(1),其中该细胞核检测单元(5)被配置成在不同的细胞核类型之间不同。
5.按照在前权利要求之一的设备(1),其中该图像分析单元(3)包括被配置成选择且指示该图像中的感兴趣区为参考区(10)的自动选择和指示单元(31)和/或用户接口(32)。
6.按照在前权利要求之一的设备(1),其中该图像分析单元(3)包括被配置成将参考区(10)的位置从第一生物样品转移到第二生物样品和/或相应图像中的对应区的转移单元(33)。
7.按照在前权利要求之一的设备(1),其中该图像分析单元(3)被配置成在该图像中定义部分地交叠的窗,其中对于每个窗提取该特性且将该特性与参考区(10)的特性相比较。
8.按照在前权利要求1到5之一的设备(1),其中该图像分析单元(3)被配置成按照肿瘤细胞的量和类型和/或按照对IHC染色剂的局部反应来将该图像分割成不同的子区,其中对于每个子区,提取该特性且将该特性与参考区(10)的特性相比较。
9.按照在前权利要求之一的设备(1),其中该显示单元(4)被配置成通过颜色、颜色强度、文本、字母、数字、符号等等来显示分析的结果。
10.按照在前权利要求之一的设备(1),其中所述图像是组织学的图像。
11.按照在前权利要求之一的设备(1),其中所述特性涉及细胞或者细胞核特征、细胞核类型、组织形态特征、细胞核密度、细胞或者细胞核形状的变化等等。
12.按照在前权利要求之一的设备(1),其中所述特性进一步涉及对于每个替换区的异质性参数,优选地涉及肿瘤细胞的百分率。
13.一种用于处理和分析生物样品的图像的检查方法,包括以下步骤:
a)提供生物样品的图像,
b)将该图像中的感兴趣区指示为参考区(10),
c)从该图像提取参考区(10)的细胞和/或组织特性,
d)分析该图像以寻求带有与从该参考区提取的特性相似的特性的替换区(11),以及
e)显示寻求带有相似特性的替换区(11)的分析的结果。
14.一种用于控制按照权利要求1到11之一的设备(1)的计算机程序单元,当所述计算机程序单元由处理单元执行时其适合于执行先前权利要求的方法步骤。
15.一种存储有先前权利要求的计算机程序单元的计算机可读介质。
CN201580017614.3A 2014-04-03 2015-03-31 用于处理和分析图像的检查设备 Active CN106462767B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14163311 2014-04-03
EP14163311.5 2014-04-03
PCT/EP2015/057045 WO2015150392A1 (en) 2014-04-03 2015-03-31 Examining device for processing and analyzing an image

Publications (2)

Publication Number Publication Date
CN106462767A true CN106462767A (zh) 2017-02-22
CN106462767B CN106462767B (zh) 2021-01-19

Family

ID=50478718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580017614.3A Active CN106462767B (zh) 2014-04-03 2015-03-31 用于处理和分析图像的检查设备

Country Status (6)

Country Link
US (1) US11232565B2 (zh)
EP (1) EP3127084B1 (zh)
JP (1) JP6772066B2 (zh)
CN (1) CN106462767B (zh)
RU (1) RU2690224C2 (zh)
WO (1) WO2015150392A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401112A (zh) * 2018-04-23 2018-08-14 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN113256617A (zh) * 2021-06-23 2021-08-13 重庆点检生物科技有限公司 一种病理切片虚拟免疫组化染色方法及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105579847B (zh) * 2013-09-19 2019-07-12 学校法人庆应义塾 疾病分析装置、控制方法和程序
WO2015150392A1 (en) * 2014-04-03 2015-10-08 Koninklijke Philips N.V. Examining device for processing and analyzing an image
CN104537975B (zh) * 2015-01-16 2018-09-04 北京智谷睿拓技术服务有限公司 显示控制方法和装置、显示设备
CN106885813B (zh) * 2015-12-16 2019-06-07 清华大学 检查货物的方法、系统和装置
WO2018104254A1 (en) 2016-12-05 2018-06-14 Koninklijke Philips N.V. Device and method for identifying a region of interest (roi)
US10504224B1 (en) * 2016-12-31 2019-12-10 Flagship Biosciences, Inc. Method for detecting immunostaining below the threshold of visual perception
WO2018229920A1 (ja) * 2017-06-15 2018-12-20 オリンパス株式会社 定量評価装置
WO2019077610A1 (en) * 2017-10-19 2019-04-25 Scopio Labs Ltd. DEPTH DETECTION BASED ON DEPTH
US20200357122A1 (en) * 2018-03-30 2020-11-12 Shimadzu Corporation Data analysis device and data analysis system
CN112862739A (zh) * 2019-11-08 2021-05-28 大猩猩科技股份有限公司 一种评估影像有效分析区域的方法与系统
JP2021124861A (ja) * 2020-02-04 2021-08-30 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090257640A1 (en) * 2008-03-10 2009-10-15 Kirk William Gossage Classification of samples
US20100279341A1 (en) * 2000-10-24 2010-11-04 Tissuegnostics Gmbh Methods and system for analyzing cells
US20120327211A1 (en) * 2010-03-03 2012-12-27 Olympus Corporation Diagnostic information distribution device and pathology diagnosis system

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652263B2 (ja) * 1985-12-10 1994-07-06 株式会社日立製作所 細胞分析装置
US6058322A (en) 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
JP2003515828A (ja) 1999-11-24 2003-05-07 コンファーマ インコーポレイテッド セグメント化されたデータセットの動的な閾値化および類似画像内の類似値の表示
JP2001283190A (ja) 2000-03-30 2001-10-12 Fuji Photo Film Co Ltd 画像処理装置
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US8265359B2 (en) * 2007-06-18 2012-09-11 New Jersey Institute Of Technology Computer-aided cytogenetic method of cancer diagnosis
JP4947589B2 (ja) * 2007-06-27 2012-06-06 Kddi株式会社 類似画像検索装置
JP4801025B2 (ja) * 2007-09-07 2011-10-26 オリンパス株式会社 細胞画像解析装置及び細胞画像解析ソフトウェア
US8340389B2 (en) * 2008-11-26 2012-12-25 Agilent Technologies, Inc. Cellular- or sub-cellular-based visualization information using virtual stains
US8175369B2 (en) * 2008-12-12 2012-05-08 Molecular Devices, Llc Multi-nucleated cell classification and micronuclei scoring
EP2425401A2 (en) 2009-04-28 2012-03-07 Koninklijke Philips Electronics N.V. Microdissection method and information processing system
JP5284863B2 (ja) 2009-04-30 2013-09-11 独立行政法人理化学研究所 画像処理装置、画像処理方法およびプログラム
JP5537347B2 (ja) * 2009-11-30 2014-07-02 シスメックス株式会社 粒子分析装置
JP5784718B2 (ja) 2010-06-15 2015-09-24 コーニンクレッカ フィリップス エヌ ヴェ 顕微鏡検査法の画像処理方法
PT2779089T (pt) * 2010-07-30 2019-02-19 Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud Sistemas e métodos para segmentação e processamento de imagens de tecidos e extração de características dos mesmos para tratar, diagnosticar ou prever condições médicas
US20120069049A1 (en) 2010-09-16 2012-03-22 Omnyx, LLC Digital pathology image manipulation
US8711149B2 (en) * 2010-12-08 2014-04-29 Definiens Ag Graphical user interface for interpreting the results of image analysis
WO2013024600A1 (ja) * 2011-08-18 2013-02-21 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
US20140193052A1 (en) * 2011-08-23 2014-07-10 Yoshiko Yoshihara Information processing system, information processing method, information processing apparatus, control method thereof and control program
RU120799U1 (ru) 2012-05-17 2012-09-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Национальный исследовательский Томский государственный университет" (ТГУ) Система поиска областей интереса в трехмерных медицинских изображениях
JP5464244B2 (ja) * 2012-08-24 2014-04-09 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP6530314B2 (ja) * 2012-10-03 2019-06-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 組み合わされた試料検査
AU2014230824B2 (en) * 2013-03-15 2019-04-18 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
EP3108446B1 (en) * 2014-02-21 2019-03-20 Ventana Medical Systems, Inc. Medical image analysis for identifying biomarker-positive tumor cells
WO2015150392A1 (en) * 2014-04-03 2015-10-08 Koninklijke Philips N.V. Examining device for processing and analyzing an image
DE102014224656A1 (de) * 2014-12-02 2016-06-02 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Segmentieren eines medizinischen Untersuchungsobjekts mit quantitativen MR-Bildgebungsmethoden

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100279341A1 (en) * 2000-10-24 2010-11-04 Tissuegnostics Gmbh Methods and system for analyzing cells
US20090257640A1 (en) * 2008-03-10 2009-10-15 Kirk William Gossage Classification of samples
US20120327211A1 (en) * 2010-03-03 2012-12-27 Olympus Corporation Diagnostic information distribution device and pathology diagnosis system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108401112A (zh) * 2018-04-23 2018-08-14 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN108401112B (zh) * 2018-04-23 2021-10-22 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN113256617A (zh) * 2021-06-23 2021-08-13 重庆点检生物科技有限公司 一种病理切片虚拟免疫组化染色方法及系统
CN113256617B (zh) * 2021-06-23 2024-02-20 重庆点检生物科技有限公司 一种病理切片虚拟免疫组化染色方法及系统

Also Published As

Publication number Publication date
JP6772066B2 (ja) 2020-10-21
US20170116734A1 (en) 2017-04-27
JP2017511473A (ja) 2017-04-20
EP3127084A1 (en) 2017-02-08
RU2016143098A (ru) 2018-05-04
RU2016143098A3 (zh) 2018-11-12
RU2690224C2 (ru) 2019-05-31
EP3127084B1 (en) 2020-07-15
CN106462767B (zh) 2021-01-19
US11232565B2 (en) 2022-01-25
WO2015150392A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
CN106462767A (zh) 用于处理和分析图像的检查设备
Pham et al. Quantitative image analysis of immunohistochemical stains using a CMYK color model
CA2966555C (en) Systems and methods for co-expression analysis in immunoscore computation
Müller et al. Explainability and causability for artificial intelligence-supported medical image analysis in the context of the European In Vitro Diagnostic Regulation
JP5663873B2 (ja) 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
JP2018504674A (ja) 早期癌予知のための計算病理学システム及び方法
US20210318241A1 (en) Information processing apparatus, information processing method, information processing system, program, and microscope system
EP3729371B1 (en) System and method for generating selective stain segmentation images for cell types of interest
RU2707326C2 (ru) Анализ тканевой микроматрицы
JP7011036B2 (ja) 組織標本の分析を支援するためのスライド画像のカラーデコンボリューションのためのシステムおよび方法
JP7011035B2 (ja) 染色された標本画像内で細胞を検出するための自動化された方法およびシステム
Puri et al. Automated computational detection, quantitation, and mapping of mitosis in whole-slide images for clinically actionable surgical pathology decision support
Surace et al. Characterization of the immune microenvironment of NSCLC by multispectral analysis of multiplex immunofluorescence images
WO2017171720A1 (en) Digital image analysis of inflammatory cells and mediators of inflammation
Feldman Beyond morphology: whole slide imaging, computer-aided detection, and other techniques
Ulaganathan et al. A clinicopathological study of various oral cancer diagnostic techniques
JP7011067B2 (ja) 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法
Ratziu et al. Artificial intelligence-assisted digital pathology for non-alcoholic steatohepatitis: current status and future directions
Ruiz et al. Novel non-invasive quantification and imaging of eumelanin and DHICA subunit in skin lesions by Raman spectroscopy and MCR algorithm: Improving dysplastic nevi diagnosis
Ratziu et al. Digital pathology and artificial intelligence in non-alcoholic steatohepatitis: current status and future directions
Kårsnäs et al. A histopathological tool for quantification of biomarkers with sub-cellular resolution
WO2020022394A1 (en) Information processing apparatus and microscope for separating the fluorescence of a fluorescent reageant from the autofluorescence of a specimen
McLane et al. 46 A novel H&E-like staining method compatible with multiplexed IF on the same tissue section for integrated translational workflows
JP6592854B2 (ja) c−MYC遺伝子転座の判定方法
Baird et al. Multiplex: From Acquisition to Analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant