CN108140104B - 病理学明场像中的自动化染色查找 - Google Patents

病理学明场像中的自动化染色查找 Download PDF

Info

Publication number
CN108140104B
CN108140104B CN201680053670.7A CN201680053670A CN108140104B CN 108140104 B CN108140104 B CN 108140104B CN 201680053670 A CN201680053670 A CN 201680053670A CN 108140104 B CN108140104 B CN 108140104B
Authority
CN
China
Prior art keywords
optical density
stains
pixels
space
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053670.7A
Other languages
English (en)
Other versions
CN108140104A (zh
Inventor
华特.乔治斯库
伯尔特.安娜达斯
艾伦.欧森
卡伦.萨利格玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Priority to CN202211271513.7A priority Critical patent/CN115457550A/zh
Publication of CN108140104A publication Critical patent/CN108140104A/zh
Application granted granted Critical
Publication of CN108140104B publication Critical patent/CN108140104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

自动化染色查找。在一个实施方案中，接收包括一种或多种染色的样本的图像。针对所述图像中的多个像素中的每一个，确定所述像素的光密度矢量。所述光密度矢量包括所述一种或多种染色中的每一种的值，并且表示光密度空间中的点，所述光密度空间具有等于所述一种或多种染色的数目的维数。将所述光密度矢量从所述光密度空间变换成更低维空间中的表示。所述更低维空间具有等于所述光密度空间的所述维数减一的维数。基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。

Description

病理学明场像中的自动化染色查找
相关申请的交叉引用
本申请要求于2015年9月16日提交并且标题为“Automated Stain Finding inPathology Bright-Field Images”的美国临时专利申请号62/219,526的优先权，其全部内容特此以引用方式并入本文。
发明背景
发明领域
本文描述的实施方案总体涉及自动化染色查找，并且更具体地，涉及病理学明场像中的染色查找。
相关技术描述
为了产生准确的结果，量化图像中染色的量的数字病理学算法需要每种染色的光密度值。传统上，光密度值是从用单染色着色的载片获得，由用户通过颜色挑选工具手动选择多染色图像中的每种染色的最纯像素来获得，或者从参考数据库选择每种染色的光密度值来获得。这些方法中的每一种都具有显著的缺点。
例如，单染色法要求分离地对来自同一组织的另外的样本进行着色(例如，针对三种分离的染色具有三个另外的样本)。这大大增加了所要求的劳动和时间的量。
使用颜色挑选工具(例如，新墨西哥州Corrales的Indica实验室的ImageScopeEyedropper ToolTM)手动选择单独的染色像素要求用户手动选择混合染色图像中的每种染色的最纯像素。这种方法存在准确性和再现性问题。例如，对于用户来说难以通过肉眼定位图像中的最纯像素，从而导致准确性问题。另外，不同的用户将可能选择不同的像素来表示每种染色的最纯像素，从而导致再现性问题。
使用参考数据库来确定光密度值具有类似的缺点。例如，来自参考数据库的光密度值与通过特定成像系统成像的特定组织上的特定染色的实际光密度值匹配的可能性非常低。这个结果导致准确性和再现性问题。另外，图像可能包括在参考数据库中不可获得的染色，由此需要使用不同的方法来获得光密度值。
所需要的是一种不存在常规方法的缺点的用于自动识别染色的方法。
发明内容
在一个实施方案中，公开一种方法。所述方法包括使用至少一个硬件处理器来：接收包括一种或多种染色的样本的图像；针对所述图像中的多个像素中的每一个，确定所述像素的光密度矢量，其中所述光密度矢量包括所述一种或多种染色中的每一种的值，并且其中所述光密度矢量表示光密度空间中的点，所述光密度空间具有等于所述一种或多种染色的数目的维数；将所述光密度矢量从所述光密度空间变换成更低维空间中的表示，其中所述更低维空间具有等于所述光密度空间的所述维数减一的维数；并且基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
在另外的实施方案中，公开一种系统。所述系统包括至少一个硬件处理器；以及一个或多个可执行软件模块，其在由所述至少一个硬件处理器执行时，接收包括一种或多种染色的样本的图像；针对所述图像中的多个像素中的每一个，确定所述像素的光密度矢量，其中所述光密度矢量包括所述一种或多种染色中的每一种的值，并且其中所述光密度矢量表示光密度空间中的点，所述光密度空间具有等于所述一种或多种染色的数目的维数；将所述光密度矢量从所述光密度空间变换成更低维空间中的表示，其中所述更低维空间具有等于所述光密度空间的所述维数减一的维数；并且基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
在另外的实施方案中，一种具有存储在其中的一个或多个指令序列的非暂态计算机可读介质。所述一个或多个指令序列在由处理器执行时导致所述处理器：接收包括一种或多种染色的样本的图像；针对所述图像中的多个像素中的每一个，确定所述像素的光密度矢量，其中所述光密度矢量包括所述一种或多种染色中的每一种的值，并且其中所述光密度矢量表示光密度空间中的点，所述光密度空间具有等于所述一种或多种染色的数目的维数；将所述光密度矢量从所述光密度空间变换成更低维空间中的表示，其中所述更低维空间具有等于所述光密度空间的所述维数减一的维数；并且基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
附图简述
通过研究附图可部分地查明本发明关于其结构和操作两者的细节，其中相同参考数字指代相同部分，并且其中：
图1A展示根据一个实施方案的表示三种染色的混合物的图像的光密度空间；
图1B展示根据一个实施方案的表示两种染色的混合物的图像的光密度空间；
图2A和2B展示根据一个实施方案的具有三种染色的样本的图像根据两种不同方法的三角拟合；
图3展示根据一个实施方案的用于确定图像中的染色的光密度矢量的过程；
图4A和4B展示一个根据实施方案的用于实施图3中的过程300中的步骤362的两种不同方法；并且
图5A-5D展示根一个据实施方案的可在其上执行本文描述的一个或多个过程的处理系统。
发明详述
在一个实施方案中，公开用于使用几何技术来自动识别多染色图像中的分离染色的系统、方法和介质，例如，通过识别表示多染色图像中的每种染色的纯像素的光密度矢量。所公开实施方案不具有病理学领域中采用的常规方法所固有的准确性和再现性问题，并且不需要依赖于手动用户输入。此外，与常规方法相比，所公开实施方案能够正确地识别图像中的染色，即使染色不是在图像内的任何地方都以纯的、未混合状态来表示。
在阅读本说明书之后，本领域的技术人员将明白如何在各种替代实施方案和替代应用中实现本发明。然而，尽管本文将描述本发明的各种实施方案，但是应理解，这些实施方案仅以举例和说明而非限制的方式呈现。如此，这对各种实施方案的详细描述不应被解释为限制如所附权利要求书中阐述的本发明的范围或广度。
过程概述
现在将详细描述用于识别多染色图像中的染色的过程的实施方案。应理解，所描述过程可以在由一个或多个硬件处理器(例如，图5中的处理器510)执行的一个或多个软件模块中实施。所描述过程可以实现为以源代码、目标代码和/或机器代码表示的指令。这些指令可以由硬件处理器直接执行，或者可替代地，可以由在目标代码与硬件处理器之间操作的虚拟机执行。这些指令可以由图像采集设备(诸如，载片扫描仪)中的硬件处理器执行，或者在直接或间接地从图像采集设备(诸如，载片扫描仪)接收图像的系统内执行。
在一个实施方案中，所述过程实现为分析图像的算法(例如，软件算法)。在定位图像的光密度矢量之前，可以将那个图像内太暗或太亮的像素从分析中去除。这些像素表示噪声。因此，如果在分析过程中考虑这些像素，那么在转换成光密度空间之后，它们可能造成不准确的光密度矢量。相应地，在一个实施方案中，可以从将暗度大于预定义阈值的像素和亮度大于预定义阈值的像素从分析中去除。应理解，这些预定义阈值可以应用于从最暗(例如，纯黑色)到最亮(例如，纯白色)的值的频谱，使得如果像素的值低于较低的第一阈值(表示太暗)或高于较高的第二阈值(表示太亮)，那么将所述像素从分析中排除。另一方面，如果像素的值在较低的第一阈值与较高的第二阈值之间，那么将所述像素包括在分析中。从分析中去除无关像素为由所述算法进行进一步分析创造无噪声环境。
在一个实施方案中，所述算法利用以下假设：染色在光密度空间中以线性方式混合，以便在样本的多染色图像中定位来自每种染色的混合最少或最纯的像素。如本文所使用，光密度空间由图像中所表示的染色的数目限定。例如，如果图像是具有三种染色的样本的，那么光密度空间将是三维的，其中三维空间中的每个点表示包括三种染色中的每一种的光密度值的光密度矢量。因此，如果三种染色是红色、绿色和蓝色，那么三维光密度空间中的每个点将由包括红色通道的光密度值、绿色通道的光密度值以及蓝色通道的光密度值的光密度矢量表示。另一方面，如果图像是具有两种染色(例如，红色和绿色)的样本的，那么光密度空间将是二维的，其中二维空间中的每个点表示包括两种染色中的每一种的光密度值的光密度矢量(例如，包括红色通道的光密度值和绿色通道的光密度值的光密度矢量)。类似地，如果图像是具有一种染色(例如，红色)的样本的，那么光密度空间将是一维的，其中一维空间中的每个点表示仅包括这一种染色的单个光密度值的光密度矢量(例如，包括红色通道的光密度值的光密度矢量)。
在一些情况下，如果图像中由于非染色元素(例如，红血细胞)而存在另外的颜色，那么可将这些另外的颜色与染色一样地进行处理。因此，例如，如果图像是包含红血细胞并且具有绿色染色和蓝色染色的样本的，那么光密度空间可以是三维的，其中三维空间中的每个点表示包括红血细胞的红色通道的光密度值、绿色染色的绿色通道的光密度值以及蓝色染色的蓝色通道的光密度值的光密度矢量。
如果假设染色以线性方式混合，那么在具有三种染色的样本的图像中，这三种染色的光密度矢量将表示限定延伸到无穷远的四面体的边缘的点。图像的像素中所表示的所有其他光密度矢量将包含在四面体的边缘内。如果使这三种染色中的每一种的光密度矢量延伸到无穷远并且用平面切割四面体，那么四面体与平面的交叉将形成三角形。在此相交平面中，最纯像素的光密度矢量必须定位在三角形的顶点处，并且表示染色混合物的所有像素的光密度矢量必须在三角形的边缘内部。
图1A展示根据一个实施方案的表示三种染色的混合物的图像的光密度空间。为了便于理解和描绘，已经用染色比替换光密度矢量。在所展示实例中，三种染色的颜色是红色、绿色和蓝色。如图1A中所展示，在无噪声环境中(例如，排除太暗或太亮的像素，如上面所讨论)，染色混合物将在光密度空间中形成三角形。此三角形可以从三维光密度空间变换到较低的二维空间中。纯染色(例如，展示为纯红色、纯绿色和纯蓝色)由定位在三角形的顶点处的光密度矢量表示。
从上面讨论的使用三种染色的实例可以概括出染色少于三种的情况。例如，如果图像是仅具有两种染色的样本的，那么光密度矢量作为光密度空间中的点将沿着线而不是三角形聚集。如果图像是仅具有一种染色的样本的，那么光密度矢量作为光密度空间中的点将聚集在单个点周围。换句话说，所述算法针对具有三种染色的图像确定三角形，针对具有两种染色的图像确定线，并且针对具有一种染色的图像确定点。
图1B展示根据一个实施方案的表示两种染色的混合物的图像的光密度空间。为了便于理解和描绘，已经用染色比替换光密度矢量。在所展示实例中，两种染色的颜色是绿色和蓝色。如图1B中所展示，在无噪声环境中(例如，排除太暗或太亮的像素，如上面所讨论)，染色混合物将在光密度空间中形成大约一条线。这条线可以从二维光密度空间变换到较低的一维空间中，例如，使用用于确定最佳拟合线的最佳拟合方法。纯染色(例如，展示为纯绿色和纯蓝色)定位在线的端点处。
所述算法力图以尽可能最有效率的方式实现其设计目标。如上面所讨论，在具有单个染色的图像的情况下，光密度矢量将聚集在点的周围。在一个实施方案中，为了找到这个点，所述算法将光密度矢量归一化到单位长度，然后计算所有光密度矢量的平均值。此平均值表示光密度矢量在其周围聚集的点。因此，返回这个点作为所找到染色。
如上面所讨论，在具有两种染色的图像的情况下，光密度矢量将沿着线段聚集。在一个实施方案中，为了找到这个线段，所述算法将光密度矢量归一化到单位长度，计算光密度矢量的均值，通过从每个光密度矢量减去所计算均值来对数据进行中心化，然后将归一化且中心化的光密度矢量投影到由回归空间中的主线描述的线。回归空间是指光密度空间中的最佳拟合表示(例如，针对在二维光密度空间中表示的两种染色的最佳拟合线，针对在三维光密度空间中表示的三种染色的最佳拟合平面)。在一个实施方案中，最佳拟合表示可以使用奇异值分解(SVD)来计算(例如，针对一种染色的点、针对两种染色的线、针对三种染色的平面)。然而，应理解，可以使用任何回归方法来计算回归空间中的最佳拟合表示。接下来，所述算法识别主回归线上的最小值和最大值的位置(即，线段的端点)，然后返回与这两个位置相对应的光密度矢量作为两种所找到染色。
如上面所讨论，在具有三种染色的图像的情况下，光密度矢量将聚集在三角形中，其中三角形的顶点表示三种纯染色的光密度值，并且所有其他光密度矢量(即，表示染色的混合物)在三角形内。在一个实施方案中，为了找到这个三角形，所述算法将光密度矢量归一化到单位长度，计算光密度矢量的均值，通过从每个光密度矢量减去均值来对数据进行中心化，然后将归一化且中心化的光密度矢量投影到回归平面上(例如，如上面所讨论)。
随后，针对回归平面中的光密度矢量确定最佳拟合三角形。将描述用于确定这个三角形的两种方法。在第一方法中，如果需要将染色限制到图像中所存在的染色阴影，那么所述算法可以使用N-FINDR算法的原始版本来查找三个点(表示变换的光密度矢量)，这三个点描述回归空间中的可以用来自图像的光密度矢量形成的最大面积三角形(即，在与光密度矢量相对应的点内具有最大面积的三角形)。N-FINDR算法的一个实施方案公开于M.E.Winter的“N-FINDER:an algorithm for fast autonomous spectral end-memberdetermination in hyperspectral data”，Proc.SPIE，第2753卷，第266-275页(1999)中，其特此以引用方式并入本文。接下来，所述算法识别这个最大面积三角形的三个顶点的位置，然后返回与这三个位置相对应的光密度矢量作为三种染色。所找到由于三角形的顶点是从图像中所存在的光密度点中选择的，所以只有染色以纯的、未混合状态存在于图像中的某处，才能通过此第一方法找到纯染色。
在第二方法中，即使染色不以纯的、未混合状态存在于图像中，也可以找到纯染色。与寻求可以用现有光密度矢量形成的最大面积三角形的第一方法相比，第二方法寻求包含所有变换光密度矢量的最小面积三角形(即，具有最小面积的三角形)。当所有三种染色都以其未混合状态存在于图像中时，最大面积三角形210和最小面积三角形220将重合，如图2A中所展示。然而，如果三种染色中的一种或多种不以未混合状态存在于图像中，那么第一方法将返回混合染色，而第二方法仍然可以定位所有三种未混合染色，前提是图像中存在表示仅两种染色的混合物的一个或多个像素。
根据第二方法，所述算法计算所有光密度矢量的凸包作为点。点集的凸包是包含那个点集的最小凸集，其中凸集是以下这样的区域：针对区域内的每个点对，与那个点对相交的直线段上的每个点也在所述区域内。凸包的利用将所述算法必须在其上进行迭代的点的数量减小了一个数量级。
根据第二方法，一旦所述算法已经计算出凸包，所述算法就使用最小面积三角法来查找具有最小面积的界定凸包的三角形(即，包围凸包的最小面积单形)。最小面积三角法的一个实施方案公开于J.O’Rourke等人的“An optimal algorithm for findingminimal enclosing triangles”，J.Algorithms，第7卷，第2期，第258-269页(1986)中，其特此以引用方式并入本文。所述算法可以将三角形的顶点处的点从回归空间转换回到光密度空间中，并且返回与那些点相对应的光密度矢量作为所找到染色。所返回的光密度矢量中的每一个将表示纯染色，即使图像不包括任何表示纯染色的像素。
图2A和2B展示根据一个实施方案的具有三种染色的样本的图像在第一方法与第二方法之间的三角拟合的差异。为了便于理解和描绘，已经用染色比替换光密度矢量。如图2A中所展示，如果图像中存在未混合染色的区域(例如，一个或多个像素)，那么第一方法和第二方法两者返回相同三角形。确切地，通过第一方法计算的三角法三角形210和通过第二方法计算的并且包含凸包的最小面积三角形220是完全相同的。两个三角形210和220的三个顶点分别表示三种纯染色的光深度矢量。相比之下，如图2B中所展示，如果图像中不存在未混合染色的区域(例如，一个或多个像素)，那么通过第一方法计算的最大面积三角形210的顶点将不表示纯染色的光深度矢量。相反地，最大面积三角形210的顶点将表示三种染色中的两种或更多种的混合物的光深度矢量。然而，如果图像中存在仅两种混合染色的区域，那么通过第二方法计算的并且包含凸包的最小面积三角形220的三个顶点将表示三种纯染色的光深度矢量，尽管图像内不存在未混合染色的区域。换句话说，只要图像中存在仅两种混合染色的区域，第二方法就返回表示纯染色的光深度矢量，无论图像内是否存在未混合染色的区域。
尽管已经相对于至多三种染色或通道对所述算法进行描述，但只要有图像的其中存在三种或更少染色的区域(即，像素)，所述算法就可以找到多于三种染色的光密度矢量。例如，在具有四种染色A、B、C和D的样本的图像中，所述算法可以通过分析图像的其中存在仅前三种染色A、B和C的第一区域(如上面相对于三种染色的分析所讨论地)来找到所有四种染色，并且分离地在图像的其中存在仅后三种染色B、C和D的第二区域上进行操作(同样地，如上面相对于三种染色的分析所讨论地)。第一区域和第二区域可以由用户手动选择或由所述算法自动确定。
图3作为过程300展示根据一个实施方案的的上面描述的算法。在步骤305中，接收图像。应理解，此图像可以是完整样本或样本的一部分的图像，包括完整样本的图像的一部分。样本可以是已经由图像采集设备(诸如，载片扫描仪)扫描的显微镜载片上的组织样本或其他样本，并且过程300可以直接或间接以及本地或远程地从图像采集设备接收图像。还应理解，过程300可以在存储在载片扫描仪的存储器中的软件或容纳在图像采集设备(诸如，载片扫描仪)内的硬件中实现，或者可以在与任何特定图像采集设备分离的系统中的软件和/或硬件中实现。
在步骤310中，可以从考虑中去除图像内的无关像素。例如，可以从考虑中去除比第一预定义阈值更暗的像素和/或比第二预定义阈值更亮的像素。因此，过程300的后续步骤可以考虑仅预定义暗度/亮度范围内的像素。
在步骤315中，计算每个剩余像素的光密度矢量。然后，在步骤320中，将在步骤315中计算的光密度矢量归一化到单位长度。在步骤325中，计算归一化光密度矢量的均值。
如步骤330所表示，过程300中的下一个步骤取决于图像中存在多少染色。染色的数目可以是用户提供(例如，通过用户界面)的或自动确定(例如，通过另一个过程，作为固定的或可配置的系统设置等)的过程300的输入。
如果图像中存在仅一种染色，那么返回在步骤325中计算的归一化光密度矢量的均值作为表示图像中的这一种染色的光密度矢量。
如果图像中存在两种染色，那么在步骤340中，通过从来自图像的每个光密度矢量减去在步骤325中计算的归一化光密度矢量的均值来对光密度矢量进行中心化。在步骤342中，将归一化且中心化的光密度矢量从二维光密度空间变换成一维回归空间中的具有两个端点的线段。在步骤344中，确定线段的这两个端点。最后，在步骤346中，可以将两个端点从回归空间变换回到光密度空间中，以识别与两个端点相对应的两个光密度矢量。返回这两个光密度矢量作为表示图像中的这两种染色的光密度矢量。
如果图像中存在三种染色，那么在步骤360中，通过从每个光密度矢量减去在步骤325中计算的归一化光密度矢量的均值来对光密度矢量进行中心化。步骤360可以与步骤340完全相同或类似。在步骤362中，将归一化且中心化的光密度矢量从三维光密度空间变换成二维回归空间中的具有三个端点的三角形。步骤362可以与步骤342类似，但是使用从三维到二维中的投影，而不是从二维到一维中的投影。在步骤364中，确定三角形的三个顶点。最后，在步骤366中，可以将三个顶点从回归空间变换回到光密度空间中，以识别与三个顶点相对应的三个光密度矢量。返回这三个光密度矢量作为表示图像中的这三种染色的光密度矢量。应理解，通过将步骤342和362中的变换推广到N维空间，可以将这些步骤(即，步骤340-346以及360-366)推广用于任何N数目种染色。
图4A展示根据一个实施方案的使用第一方法362A的过程300的步骤362。在第一方法362B的步骤402中，将来自过程300中的步骤360的归一化且中心化的光密度矢量从三维光密度空间变换成二维回归空间中的平面。然后，在第一方法362A的步骤412中，例如根据N-FINDR算法，在回归空间中找到形成具有最大面积的三角形的三个点。第一方法362A然后前进到过程300中的步骤364。
图4B展示根据一个实施方案的使用第二方法362B的过程300的步骤362。在第二方法362B的步骤402中，将来自过程300中的步骤360的归一化且中心化的光密度矢量从三维光密度空间变换成二维回归空间中的平面。第二方法362B中的步骤402可以与第一方法362A中的步骤402完全相同或类似。在第二方法362B的步骤422中，计算与在过程300的步骤305中接收的图像中的像素的光密度矢量相对应的二维回归空间中的所有点的凸包。然后，在第二方法362B的步骤424中，例如使用最小面积三角法，在二维回归空间中找到形成具有最小面积的界定在步骤422中计算出的凸包的三角形的三个点。第二方法362B然后前进到过程300中的步骤364。
在一个实施方案中，除返回所找到染色的光密度矢量之外，所述算法还可以返回染色分离质量的量度和/或图像重建质量的量度。染色分离质量度量给定图像区域内的染色的分离程度有多高。在一个实施方案中，染色分离质量是通过以下方式来确定：首先相对于表示所找到染色的光密度矢量将图像中的每个像素的光密度值转换成重心坐标。在重心坐标中，表示所找到染色的每个光密度矢量对每个像素的贡献可以指示为从0.0到1.0的值。例如，对于具有第一染色、第二染色和第三染色的图像，包含仅第一染色的像素将具有坐标(1.0,0.0,0.0)、包含仅第二染色的像素将具有坐标(0.0,1.0,0.0)，并且包含仅第三染色的像素将具有坐标(0.0,0.0,1.0)。总体上，主要包含一种染色的像素将使得其坐标之一接近1.0并使其另外两个坐标接近0.0，而包含等量染色混合物的像素将具有大小相等的多个坐标。染色分离质量可以通过以下方式来计算：在所有像素上计算最大重心坐标与另外两个重心坐标的和之间的差值的平均值，其限制是：将低于0.0的任何差值设置为0.0。此量度将返回0.0与1.0之间的数字，其中0.0指示染色完全不分离(即，是混合的)，并且1.0指示染色完全分离(即，是纯的)。
图像重建质量度量图像中可以通过表示通过所述算法找到的染色的所返回光密度矢量来重建的像素的百分比。在一个实施方案中，图像重建质量通过以下方式来确定：首先将每个像素的归一化光密度矢量表达为所找到染色矢量的线性组合。接下来，计算所计算的与实际的光密度矢量之间的差值的量度(例如，平均距离)，或者可以计算均方差。为了获得图像重建质量的量度，可以计算归一化平均差E并将其表达为一减去归一化平均差(即，1-E)。针对归一化平均距离，已经根据经验找到95％或更大的图像重建质量(即，指示5％或更小的误差)来表示所希望的图像重建质量。在一个实施方案中，可以将染色分离质量和图像重建质量的量度组合(例如，通过加权平均)到染色质量的聚合量度中。
这些质量量度可以由利用所公开的染色查找算法(例如，核明场算法)的面向用户的算法在内部使用。可替代地或另外地，面向用户的算法的开发者可以选择将这些质量量度中的一个或两个(可能地以组合的方式)作为所选择图像样本对染色分离的适合性的总体指标来显示给用户(例如，在用户界面内)。
示例性扫描仪设备
图5A是展示根据本发明实施方案的示例性扫描仪系统550的框图。在所展示实施方案中，扫描仪系统550包括：一个或多个处理器555；一个或多个存储器565；一个或多个运动控制器570；一个或多个接口系统575；一个或多个可移动载物台580，其各自支撑具有一个或多个样本590的一个或多个载玻片585；一个或多个照明系统595，其照射样本；一个或多个物镜600，其各自限定沿着光轴行进的光学路径605；一个或多个物镜定位器630；一个或多个任选的落射系统635(例如，包括在荧光扫描仪系统中)；一个或多个聚焦光学器件610；一个或多个线扫描照相机615和/或一个或多个面扫描照相机620，其中的每一个在样本590和/或载玻片585上限定分离的视场625。扫描仪系统550的各种元件通过一根或多根通信总线560通信联接。尽管扫描仪系统550的各种元件中的每一种可以有一个或多个，但是在以下描述中为了简化目的，除了需要以复数形式描述以传达适当信息时，都将以单数形式描述这些元件。
一个或多个处理器555可以包括，例如，能够并行处理指令的中央处理单元(“CPU”)和分离的图形处理单元(“GPU”)，或者一个或多个处理器555可以包括能够并行处理指令的多核处理器。还可以提供另外的分离处理器以控制特定部件或执行特定功能，诸如图像处理。例如，另外的处理器可以包括：用于管理数据输入的辅助处理器；用于执行浮点数学运算的辅助处理器；具有适合用于快速执行信号处理算法的架构的专用处理器(例如，数字信号处理器)；从属于主处理器的从处理器(例如，后端处理器)；用于控制线扫描照相机615、载物台580、物镜225和/或显示器(未示出)的另外的处理器。这类另外的处理器可以是分离的分立处理器或可以与处理器555集成。
存储器565存储可以由处理器555执行的程序的数据和指令。存储器565可以包括存储数据和指令的一个或多个易失性和持久性计算机可读存储介质，例如，随机存取存储器、只读存储器、硬盘驱动器、可移动存储驱动器等。处理器555被配置来执行存储在存储器565中的指令并且通过通信总线560与扫描仪系统550的各种元件通信，以执行扫描仪系统550的总体功能。
一根或多根通信总线560可以包括被配置来传达模拟电信号的通信总线560，并且可以包括被配置来传达数字数据的通信总线560。相应地，通过一根或多根通信总线560的来自处理器555、运动控制器570和/或接口系统575的通信可以包括电信号和数字数据两者。处理器555、运动控制器570和/或接口系统575还可以被配置来通过无线通信链路与扫描系统550的各种元件中的一个或多个通信。
运动控制系统570被配置来精确地控制并协调载物台580和物镜600的XYZ移动(例如，通过物镜定位器630)。运动控制系统570还被配置来控制扫描仪系统550中的任何其他移动部分的移动。例如，在荧光扫描仪实施方案中，运动控制系统570被配置来协调落射系统635中的光学滤波器等的移动。
接口系统575允许扫描仪系统550与其他系统和人类操作员对接。例如，接口系统575可以包括用户界面，以直接向操作员提供信息和/或允许来自操作员的直接输入。接口系统575还被配置来促进扫描系统550与直接连接的一个或多个外部设备(例如，打印机、可移动存储介质)或通过网络(未示出)连接到扫描仪系统550的外部设备(诸如，图像服务器系统、操作员站、用户站和管理服务器系统)之间的通信和数据传输。
照明系统595被配置来照射样本590的一部分。照明系统可以包括例如光源和照明光学器件。光源可以是具有凹面反射镜以最大化光输出并且具有KG-1滤波器以抑制热量的可变强度卤素光源。光源还可以是任何类型的弧光灯、激光器或其他光源。在一个实施方案中，照明系统595以透射模式照射样本590，使得线扫描照相机615和/或面扫描照相机620感测透射穿过样本590的光能。可替代地或组合地，照明系统595还可以被配置来以反射模式照射样本590，使得线扫描照相机615和/或面扫描照相机620感测从样本590反射的光能。总体而言，照明系统595被配置成适合用于以任何已知的光学显微镜模式询问显微镜样本590。
在一个实施方案中，扫描仪系统550任选地包括落射系统635以将扫描仪系统550优化用于荧光扫描。荧光扫描是对包括荧光分子的样本590的扫描，所述荧光分子是可以吸收特定波长的光(激发)的光子敏感分子。这些光子敏感分子还发射更高波长的光(发射)。因为这种光致发光现象的效率非常低，所以所发射光的量通常非常低。这种低量的发射光通常使用于对样本590进行扫描和数字化的常规技术(例如，透射模式显微镜法)受挫。有利地，在扫描仪系统550的任选的荧光扫描仪系统实施方案中，包括多个线性传感器阵列的线扫描照相机615(例如，时间延迟积分(TDI)线扫描照相机)的使用通过将样本590的同一区域暴露于线扫描照相机615的多个线性传感器阵列中的每一个来提高对线扫描照相机的光的灵敏度。这在用低发射光扫描微弱荧光样本时特别有用。
因此，在荧光扫描仪系统实施方案中，线扫描照相机615优选地是单色TDI线扫描照相机。有利地，单色图像在荧光显微镜法中是理想的，因为它们提供对来自样本上所存在的各种通道的实际信号的更准确表示。如本领域的技术人员将理解的，可以用发射不同波长的光的多种荧光染料来标记荧光样本590，所述荧光染料也称为“通道”。
此外，因为各种荧光样本的低端和高端信号电平呈现宽波长光谱以供线扫描照相机615感测，所以希望线扫描照相机615能够感测到的低端和高端信号电平的宽度类似。因此，在荧光扫描仪实施方案中，荧光扫描系统550中所使用的线扫描照相机615是单色10位64线性阵列TDI线扫描照相机。应注意，可以采用线扫描照相机615的各种各样的位深度来与扫描系统550的荧光扫描仪实施方案一起使用。
可移动载物台580被配置用于在处理器555或运动控制器570的控制下进行精确的XY移动。可移动载物台还被配置用于在处理器555或运动控制器570的控制下在Z中移动。可移动载物台被配置来将样本定位于在由线扫描照相机615和/或面扫描照相机进行图像数据捕获期间所希望的位置中。可移动载物台还被配置来在扫描方向上将样本590加速到大体上恒定的速度，然后在由线扫描照相机615进行图像数据捕获期间维持所述大体上恒定的速度。在一个实施方案中，扫描仪系统550可以采用高精度且紧密协调的XY网格来帮助将样本590定位在可移动载物台580上。在一个实施方案中，可移动载物台580是在X轴和Y轴两者上采用高精度编码器的基于线性电动机的XY载物台。例如，可以在扫描方向上的轴上和垂直于扫描方向的方向上的轴上以及与扫描方向相同的平面上使用非常精确的纳米编码器。载物台还被配置来支撑样本590设置在其上的载玻片585。
样本590可以是可通过光学显微镜法询问的任何事物。例如，显微镜载玻片585经常用作样品的观察基底，所述样品包括组织和细胞、染色体、DNA、蛋白质、血液、骨髓、尿液、细菌、珠、活组织检查材料，或者死或活、着色或未着色、标记或未标记的任何其他类型的生物材料或物质。样本590还可以是沉积在任何类型的载片或其他基底上的任何类型的DNA或DNA相关材料(诸如，cDNA或RNA或蛋白质)的阵列，包括通常称为微阵列的任何和所有样本。样本590可以是微量滴定板，例如96孔板。样本590的其他实例包括：集成电路板、电泳记录、培养皿、膜、半导体材料、电子取证材料或加工件。
物镜600安装在物镜定位器630上，在一个实施实施方案中，物镜定位器630可以采用非常精确的线性电动机来沿着由物镜600限定的光轴移动物镜600。例如，物镜定位器630的线性电动机可以包括50纳米编码器。载物台580和物镜600在XYZ轴上的相对位置是在处理器555的控制下使用运动控制器570以闭环方式来协调和控制，处理器555采用存储器565来存储信息和指令，包括用于总体扫描系统550操作的计算机可执行的编程步骤。
在一个实施方案中，物镜600是具有与所希望的最高空间分辨率相对应的数值孔径的平场复消色差(“APO”)无限远校正物镜，其中物镜600适合用于透射模式照明显微镜法、反射模式照明显微镜法和/或落射模式荧光显微镜法(例如，Olympus 40X，0.75NA或20X，0.75NA)。有利地，物镜600能够针对色像差和球面像差进行校正。因为物镜600是无限远校正的，所以聚焦光学器件610可以在光学路径605中放置在物镜600上方的一定位置处，在所述位置处，穿过物镜的光束变成准直光束。聚焦光学器件610将由物镜600捕获的光学信号聚焦到线扫描照相机615和/或面扫描照相机620的光响应元件上，并且可以包括光学部件(诸如，滤波器、放大变换器透镜等)。与聚焦光学器件610组合的物镜600提供扫描系统550的总放大倍数。在一个实施方案中，聚焦光学器件610可以含有镜筒透镜和任选的2X放大变换器。有利地，2X放大变换器允许原本的20X物镜600以40X放大倍数扫描样本590。
线扫描照相机615包括至少一个图片元素(“像素”)线性阵列。线扫描照相机可以是单色或彩色的。彩色线扫描照相机通常具有至少三个线性阵列，而单色线扫描照相机可具有单个线性阵列或多个线性阵列。还可以使用任何类型的单数性阵列或复数线性阵列(无论是封装成照相机的一部分还是定制集成到成像电子模块中)。例如，还可以使用3线性阵列(“红-绿-蓝”或“RGB”)彩色线扫描照相机或96线性阵列单色TDI。TDI线扫描照相机通常通过以下方式来在输出信号中提供大体上更好的信噪比(“SNR”)：对来自样品的先前成像区域的强度数据进行求和，从而产生与积分级的数量的平方根成比例的SNR的增大。TDI线扫描照相机包括多个线性阵列，例如，TDI线扫描照相机可具有24、32、48、64、96个或甚至更多的线性阵列。扫描仪系统550还支持以各种各样的样式制造的线性阵列，所述样式包括：具有512个像素的一些阵列、具有1024个像素的一些阵列以及具有多达4096个像素的其他阵列。类似地，还可以在扫描仪系统550中使用具有各种各样的像素大小的线性阵列。对选择任何类型的线扫描照相机615的突出要求是：在对样本590进行数字图像捕获期间，可以使载物台580的运动与线扫描照相机615的线速率同步，使得载物台580可以相对于线扫描照相机615处于运动中。
由线扫描照相机615生成的图像数据存储在存储器565的一部分中，并且由处理器555处理以生成样本590的至少一部分的连续数字图像。连续数字图像可以由处理器555进一步处理，并且修订的连续数字图像也可以存储在存储器565中。
在具有两个或更多个线扫描照相机615的实施方案中，线扫描照相机615中的至少一个可以被配置成用作聚焦传感器，所述聚焦传感器与线扫描照相机中被配置成用作成像传感器的至少一个结合操作。聚焦传感器可以与成像传感器在逻辑上定位在同一光学路径上，或者聚焦传感器可以相对于扫描仪系统550的扫描方向在逻辑上定位在成像传感器之前或之后。在具有用作聚焦传感器的至少一个线扫描照相机615的这种实施方案中，由聚焦传感器生成的图像数据存储在存储器565的一部分中并且由一个或多个处理器555处理以生成聚焦信息，从而允许扫描仪系统550调整样本590与物镜600之间的相对距离，以在扫描期间维持聚焦在样本上。
在操作中，扫描仪系统550的各种部件和存储在存储器565中的编程模块使得能够对设置在载玻片585上的样本590进行自动扫描和数字化。载玻片585牢固地放置在扫描仪系统550的可移动载物台580上以便扫描样本590。在处理器555的控制下，可移动载物台580将样本590加速到大体上恒定的速度以便由线扫描照相机615进行感测，其中载物台的速度与线扫描照相机615的线速率同步。在扫描图像数据条带之后，可移动载物台580减速并使样本590大体上完全停止。然后，可移动载物台580正交于扫描方向移动以定位样本590，以便扫描随后的图像数据条带，例如相邻条带。随后扫描另外的条带，直到样本590的整个部分或整个样本590被扫描为止。
例如，在对样本590进行数字扫描期间，样本590的连续数字图像作为多个连续的视场被获取，所述多个连续的视场组合在一起以形成图像条。多个相邻图像条类似地组合在一起以形成部分或整个样本590的连续数字图像。对样本590的扫描可以包括获取垂直图像条或水平图像条。对样本590的扫描可以是从上到下、从下到上、或者两者(双向)的，并且可以在样本上的任何点处开始。可替代地，对样本590的扫描可以是从左到右、从右到左、或者两者(双向)的，并且可以在样本上的任何点处开始。另外，不需要以相邻或连续的方式获取图像条。此外，样本590的所得图像可以是整个样本590的图像或仅样本590的一部分的图像。
在一个实施方案中，计算机可执行指令(例如，编程的模块和软件)存储在存储器565中，并且当被执行时，使得扫描系统550能够执行本文描述的各种功能。在本说明书中，术语“计算机可读存储介质”用来指代用于存储计算机可执行指令并将其提供给扫描系统550以供由处理器555执行的任何介质。这些介质的实例包括：存储器565以及直接或间接(例如，通过网络(未示出))与扫描系统550通信联接的任何可移动或外部存储介质(未示出)。
图5B展示具有可以实现为电耦设备(“CCD”)阵列的单个线性阵列640的线扫描照相机。单个线性阵列640包括多个单独的像素645。在所展示实施方案中，单个线性阵列640具有4096个像素。在替代实施方案中，线性阵列640可以具有更多或更少的像素。例如，常见样式的线性阵列包括512个像素、1024个像素以及4096个像素。像素645按线性方式排列以限定线性阵列640的视场625。视场的大小根据扫描仪系统550的放大倍数而变化。
图5C展示具有各自可以实现为CCD阵列的三个线性阵列的线扫描照相机。这三个线性阵列组合以形成彩色阵列650。在一个实施方案中，彩色阵列650中的每个单独线性阵列检测不同的颜色强度，例如红色、绿色或蓝色。来自彩色阵列650中的每个单独线性阵列的彩色图像数据被组合以形成彩色图像数据的单个视场625。
图5D展示具有各自可以实现为CCD阵列的多个线性阵列的线扫描照相机。所述多个线性阵列组合以形成TDI阵列655。有利地，TDI线扫描照相机通常通过以下方式来在其输出信号中提供大体上更好的SNR：对来自样品的先前成像区域的强度数据进行求和，从而产生与线性阵列(也称为积分级)的数量的平方根成比例的SNR的增大。TDI线扫描照相机可以包括更大的各种数目的线性阵列，例如常见样式的TDI线扫描照相机包括24、32、48、64、96、120个以及甚至更多的线性阵列。
此外，本领域的技术人员将理解，结合上述附图和本文公开的实施方案描述的各种说明性的逻辑块、模块、电路和方法步骤通常可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上文已经就功能性总体地描述了各种说明性的部件、块、模块、电路和步骤。这种功能性是实现为硬件还是软件取决于特定的应用和强加于整个系统的设计约束。技术人员可以针对每种特定应用以不同的方式实现所描述功能性，但是这类实现决策不应被解释为导致背离本发明的范围。另外，模块、块、电路或步骤内的功能的分组是为了便于描述。在不背离本发明的情况下，可以将特定的功能或步骤从一个模块、块或电路移动到另一个。
此外，结合本文公开的实施方案描述的各种说明性的逻辑块、模块、功能和方法可以用被设计来执行本文所描述功能的通用处理器、数字信号处理器(DSP)、ASIC、FPGA或其他可编程逻辑设备、分立门或晶体管逻辑、分立硬件部件或其任何组合来实现或执行。通用处理器可以是微处理器，但是在替代方案中，处理器可以是任何处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、一个或多个微处理器结合DSP内核，或者任何其他这种配置。
此外，结合本文公开的实施方案描述的方法或算法的步骤可以直接在硬件、由处理器执行的软件模块或两者的组合中实施。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或包括网络存储介质的任何其他形式的存储介质中。示例性存储介质可以联接到处理器，使得处理器可以从存储介质读取信息并将信息写入到存储介质。在替代方案中，存储介质可以与处理器集成。处理器和存储介质还可以驻留在ASIC中。
本文描述的任何软件部件可以采取各种各样的形式。例如，部件可以是独立的软件包，或者它可以是作为“工具”合并在更大的软件产品中的软件包。部件可能够作为独立的产品或作为用于安装在现有软件应用程序中的插件包从网络(例如，网站)下载。部件还可以作为客户端-服务器软件应用程序、作为支持web的软件应用程序和/或作为移动应用程序获得。
提供以上对所公开实施方案的描述以使本领域的任何技术人员能够制作或使用本发明。本领域技术人员将容易明白这些实施方案的各种修改，并且本文描述的一般原理在不背离本发明的精神或范围的情况下可以应用于其他实施方案。因此，应理解，本文呈现的描述和附图表示本发明的当前优选的实施方案，并且因此表示本发明广泛预期的主题。应进一步理解，本发明的范围完全涵盖对本领域技术人员可能变得显而易见的其他实施方案，并且本发明的范围因此不受限制。

Claims (38)

1.一种自动识别染色的方法，其包括：使用至少一个硬件处理器来：
接收包括一种或多种染色的样本的图像；
针对所述图像中的多个像素中的每一个，确定所述像素是否太亮或太暗，如果所述像素的颜色值低于第一阈值，则确定所述像素是太暗的，如果所述像素的颜色值高于第二阈值，则确定所述像素是太亮的，当确定所述像素是太亮的或太暗的，将太亮的或太暗的所述像素从所述多个像素中排除；
针对排除太亮的或太暗的所述像素的所述多个像素中的每一个，确定所述像素的光密度矢量，其中所述光密度矢量包括所述一种或多种染色中的每一种的值，并且其中所述光密度矢量表示光密度空间中的点，所述光密度空间具有等于所述一种或多种染色的数目的维数；
将所述光密度矢量从所述光密度空间变换成更低维空间中的表示，其中所述更低维空间具有等于与所述光密度空间的所述维数减一的维数；并且
基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
2.如权利要求1所述的方法，其中，当所述一种或多种染色的所述数目是一、使得所述光密度空间是一维的时，将所述光密度矢量从所述光密度空间变换成更低维空间中的表示包括：
对所述多个像素的所述光密度矢量进行归一化；
计算所述归一化光密度矢量的均值，其中所述归一化光密度矢量的所计算均值是与所述染色相对应的所识别光密度矢量；以及
当所述一种或多种染色的所述数目是大于等于二，针对每一所述光密度矢量，通过从所述光密度矢量减去所计算均值来对所述光密度矢量进行中心化。
3.如权利要求1所述的方法，其中，当所述一种或多种染色的所述数目是二、使得所述光密度空间是二维的时，将所述光密度矢量从所述光密度空间变换成更低维空间中的表示包括：
对所述多个像素的所述光密度矢量进行归一化；
计算所述光密度矢量的均值；
针对每个光密度矢量，通过从所述光密度矢量减去所计算均值来对所述光密度矢量进行中心化；以及
将所述归一化且中心化的光密度矢量变换成一维空间中的线段；
其中基于所述表示来识别与所述两种染色中的每一种相对应的光密度矢量包括：识别与所述线段的每个端点相对应的光密度矢量。
4.如权利要求1所述的方法，其中，当所述一种或多种染色的所述数目是三、使得所述光密度空间是三维的时，将所述光密度矢量从所述光密度空间变换成更低维空间中的表示包括：
对所述多个像素的所述光密度矢量进行归一化；
计算所述光密度矢量的均值；
针对每个光密度矢量，通过从所述光密度矢量减去所计算均值来对所述光密度矢量进行中心化；以及
将所述归一化且中心化的光密度矢量变换成二维空间中的三角形；
其中基于所述表示来识别与所述三种染色中的每一种相对应的光密度矢量包括：识别与所述三角形的每个顶点相对应的光密度矢量。
5.如权利要求4所述的方法，其中将所述归一化且中心化的光密度矢量变换成二维空间中的三角形包括：
针对所述归一化且中心化的光密度矢量中的每一个，将所述光密度矢量变换成所述二维空间中的点；
计算所投影的点的凸包；以及
确定具有最小面积的界定所述凸包的三角形。
6.如权利要求4所述的方法，其中将所述归一化且中心化的光密度矢量投影成二维空间中的三角形包括：
针对所述归一化且中心化的光密度矢量中的每一个，将所述光密度矢量变换成所述二维空间中的点；以及
在所投影的点内确定具有最大面积的三角形。
7.如权利要求1所述的方法，其中，当所述一种或多种染色的所述数目是四时，将所述光密度矢量从所述光密度空间变换成更低维空间中的表示包括：
将与来自所述图像的具有不多于三种染色的第一子集的第一区域的像素相对应的所述光密度矢量从第一光密度空间变换成第一更低维空间中的第一表示；
将与来自所述图像的具有不多于三种染色的第二子集的第二区域的像素相对应的所述光密度矢量从第二光密度空间变换成第二更低维空间中的第二表示，其中所述第二子集不同于所述第一子集，并且其中所述第一子集和所述第二子集集体地包括所有四种染色；以及
基于所述第一表示和所述第二表示两者来识别与所述四种染色中的每一种相对应的光密度矢量。
8.如权利要求1所述的方法，其中，当所述一种或多种染色的所述数目是三、使得所述光密度空间是三维的时，将所述光密度矢量从所述光密度空间变换成更低维空间中的表示包括：
对所述多个像素的所述光密度矢量进行归一化；
计算所述光密度矢量的均值；
针对每个光密度矢量，通过从所述光密度矢量减去所计算均值来对所述光密度矢量进行中心化；
将所述归一化且中心化的光密度矢量中的每一个变换成所述更低维空间中的点；
计算所变换的点的凸包；以及
确定具有最小面积的包围所变换的点的单形。
9.如权利要求8所述的方法，其还包括：使用所述至少一个硬件处理器来确定所述一个或多个染色的所述数目，其中所述单形是基于所述一个或多个染色的所述数目来确定。
10.如权利要求1所述的方法，其中将所述光密度矢量从所述光密度空间变换成更低维空间中的表示包括：
对所述多个像素的所述光密度矢量进行归一化；
计算所述光密度矢量的均值；
针对每个光密度矢量，通过从所述光密度矢量减去所计算均值来对所述光密度矢量进行中心化；
将所述归一化且中心化的光密度矢量中的每一个变换成所述更低维空间中的点；
计算所变换的点的凸包；以及
在所变换的点内确定具有最大面积的单形。
11.如权利要求10所述的方法，其还包括：使用所述至少一个硬件处理器来确定所述一个或多个染色的所述数目，其中所述单形是基于所述一个或多个染色的所述数目来确定。
12.如权利要求1所述的方法，其还包括：使用所述至少一个硬件处理器来生成染色质量量度。
13.如权利要求12所述的方法，其还包括：将所述染色质量量度提供给用户。
14.如权利要求12所述的方法，其中所述染色质量量度包括染色分离质量的量度。
15.如权利要求12所述的方法，其中所述染色质量量度包括图像重建质量的量度。
16.一种自动识别染色的系统，其包括：
至少一个硬件处理器，以及
一个或多个可执行软件模块，其在由所述至少一个硬件处理器执行时，
接收包括一种或多种染色的样本的图像，
针对所述图像中的多个像素中的每一个，确定所述像素是否太亮或太暗，如果所述像素的颜色值低于第一阈值，则确定所述像素是太暗的，如果所述像素的颜色值高于第二阈值，则确定所述像素是太亮的，当确定所述像素是太亮的或太暗的，将太亮的或太暗的所述像素从所述多个像素中排除；
针对排除太亮的或太暗的所述像素的所述多个像素中的每一个，确定所述像素的光密度矢量，其中所述光密度矢量包括所述一种或多种染色中的每一种的值，并且其中所述光密度矢量表示光密度空间中的点，所述光密度空间具有等于所述一种或多种染色的数目的维数，
将所述光密度矢量从所述光密度空间变换成更低维空间中的表示，其中所述更低维空间具有等于与所述光密度空间的所述维数减一的维数，并且
基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
17.一种具有存储在其中的一个或多个指令序列的非暂态计算机可读介质，其中所述一个或多个指令序列在由处理器执行时，导致所述处理器：
接收包括一种或多种染色的样本的图像；
针对所述图像中的多个像素中的每一个，确定所述像素是否太亮或太暗，如果所述像素的颜色值低于第一阈值，则确定所述像素是太暗的，如果所述像素的颜色值高于第二阈值，则确定所述像素是太亮的，当确定所述像素是太亮的或太暗的，将太亮的或太暗的所述像素从所述多个像素中排除；
针对排除太亮的或太暗的所述像素的所述多个像素中的每一个，确定所述像素的光密度矢量，其中所述光密度矢量包括所述一种或多种染色中的每一种的值，并且其中所述光密度矢量表示光密度空间中的点，所述光密度空间具有等于所述一种或多种染色的数目的维数；
将所述光密度矢量从所述光密度空间变换成更低维空间中的表示，其中所述更低维空间具有等于与所述光密度空间的所述维数减一的维数；并且
基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
18.如权利要求17所述的非暂态计算机可读介质，其中所述变换包括：
对所述多个像素的所述光密度矢量进行归一化；
计算所述光密度矢量的均值；以及
当所述一种或多种染色的所述数目是大于等于二时，针对每个光密度矢量，通过从所述光密度矢量减去所计算均值来对所述光密度矢量进行中心化。
19.一种用于分析从一图像采集设备获得的一组织样本的一图像的系统，所述图像包括多个像素且所述组织样本具有一种或多种染色，所述系统包括：
一存储器经配置以存储从图像采集设备获得的所述组织样本的所述图像；
至少一个硬件处理器联接到所述存储器，且经配置以：
接收所述组织样本的所述图像；
针对所述图像中的多个像素中的每一个，将所述像素的一颜色值与第一阀值进行比较，将所述像素的所述颜色值与第二阀值进行比较，其中第二阀值大于第一阀值，确定所述像素的所述颜色值是否小于第一阀值或大于第二阀值，及将所述颜色值小于第一阀值或大于第二阀值的每一所述像素从进一步分析中排除；
确定未被排除的每一所述像素的光密度，其中所述光密度包括所述一种或多种染色中的每一种的值；
根据未被排除的每一所述像素的光密度，识别所述一种或多种染色中的每一种的光密度；以及
根据所述一种或多种染色的识别光密度，量化所述一种或多种染色中的每一种的量。
20.如权利要求19所述的系统，其中，所述至少一个硬件处理器还经配置以：
对未被排除的每一所述像素的所述光密度进行归一化；以及
计算所述光密度的均值。
21.如权利要求20所述的系统，其中，当所述一种或多种染色的数目是大于等于二，所述至少一个硬件处理器还经配置以：针对未被排除的每一所述像素的所述光密度，通过从所述光密度减去所计算均值来对所述光密度进行中心化。
22.如权利要求21所述的系统，其中，当所述一种或多种染色的所述数目是二，每一所述像素的所述光密度表示光密度空间中的点，所述光密度空间是二维的，所述至少一个硬件处理器还经配置以：
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成一维空间中的线段；以及
识别与所述线段的每个端点相对应的光密度；
其中，识别所述一种或多种染色中的每一种的光密度还根据与所述线段的每个端点相对应的所述光密度。
23.如权利要求21所述的系统，其中，当所述一种或多种染色的所述数目是三，每一所述像素的所述光密度表示光密度空间中的点，所述光密度空间是三维的，所述至少一个硬件处理器还经配置以：
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成二维空间中的三角形；以及
识别与所述三角形的每个顶点相对应的光密度；
其中，识别所述一种或多种染色中的每一种的光密度还根据与所述三角形的每个顶点相对应的所述光密度。
24.如权利要求23所述的系统，其中，所述至少一个硬件处理器还经配置以：
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成所述二维空间中的点；
计算所述二维空间中的所述点的凸包；以及
确定所述三角形为以最小面积的界定所述凸包的三角形。
25.如权利要求23所述的系统，其中，所述至少一个硬件处理器还经配置以：
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成所述二维空间中的点；以及
在所投影的点内确定具有最大面积的三角形。
26.如权利要求20所述的系统，其中，当所述一种或多种染色的数目是一，所述至少一个硬件处理器还经配置以使用所述光密度的所计算均值作为所述染色的所述光密度。
27.如权利要求19所述的系统，其中，所述至少一个硬件处理器还经配置以：
将未被排除的每一所述像素的所述光密度变换成所述光密度空间中的点；
计算所变换的点的凸包；以及
在所变换的点内确定具有最大面积的单形。
28.如权利要求19所述的系统，其中，所述至少一个硬件处理器还经配置以：
产生染色质量量度，其中所述染色质量量度包括染色分离质量的量度和图像重建质量的量度中的至少一个。
29.一种自动识别染色的方法，其包括，使用至少一个硬件处理器以:
接收从一图像采集设备获得的一组织样本的一图像，所述图像包括多个像素且所述组织样本具有一种或多种染色；
针对所述图像中的多个像素中的每一个，将所述像素的一颜色值与第一阀值进行比较，将所述像素的所述颜色值与第二阀值进行比较，其中第二阀值大于第一阀值，确定所述像素的所述颜色值是否小于第一阀值或大于第二阀值，及将所述颜色值小于第一阀值或大于第二阀值的每一所述像素从进一步分析中排除；
确定未被排除的每一所述像素的光密度，其中所述光密度包括所述一种或多种染色中的每一种的值；
根据未被排除的每一所述像素的光密度，识别所述一种或多种染色中的每一种的光密度；以及
根据所述一种或多种染色的识别光密度，量化所述一种或多种染色中的每一种的量。
30.如权利要求29所述的方法，还包括:
对未被排除的每一所述像素的所述光密度进行归一化；以及
计算所述光密度的均值。
31.如权利要求30所述的方法，还包括:
当所述一种或多种染色的数目是大于等于二，针对未被排除的每一所述像素的所述光密度，通过从所述光密度减去所计算均值来对所述光密度进行中心化。
32.如权利要求31所述的方法，其中，当所述一种或多种染色的所述数目是二，每一所述像素的所述光密度表示光密度空间中的点，所述光密度空间是二维的，还包括:
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成一维空间中的线段；以及
识别与所述线段的每个端点相对应的光密度；
其中，识别所述一种或多种染色中的每一种的光密度还根据与所述线段的每个端点相对应的所述光密度。
33.如权利要求31所述的方法，其中，当所述一种或多种染色的所述数目是三，每一所述像素的所述光密度表示光密度空间中的点，所述光密度空间是三维的，还包括:
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成二维空间中的三角形；以及
识别与所述三角形的每个顶点相对应的光密度；
其中，识别所述一种或多种染色中的每一种的光密度还根据与所述三角形的每个顶点相对应的所述光密度。
34.一种具有存储在其中的指令的非暂态计算机可读介质，其中由处理器执行时，导致所述处理器：
接收从一图像采集设备获得的一组织样本的一图像，所述图像包括多个像素且所述组织样本具有一种或多种染色；
针对所述图像中的多个像素中的每一个，将所述像素的一颜色值与第一阀值进行比较，将所述像素的所述颜色值与第二阀值进行比较，其中第二阀值大于第一阀值，确定所述像素的所述颜色值是否小于第一阀值或大于第二阀值，及将所述颜色值小于第一阀值或大于第二阀值的每一所述像素从进一步分析中排除；
确定未被排除的每一所述像素的光密度，其中所述光密度包括所述一种或多种染色中的每一种的值；
根据未被排除的每一所述像素的光密度，识别所述一种或多种染色中的每一种的光密度；以及
根据所述一种或多种染色的识别光密度，量化所述一种或多种染色中的每一种的量。
35.如权利要求34所述的非暂态计算机可读介质，其中，还具有存储在其中的指令，其中由所述处理器执行时，导致所述处理器：
对未被排除的每一所述像素的所述光密度进行归一化；以及
计算所述光密度的均值。
36.如权利要求35所述的非暂态计算机可读介质，其中，还具有存储在其中的指令，其中由所述处理器执行时，导致所述处理器：
当所述一种或多种染色的数目是大于等于二，针对未被排除的每一所述像素的所述光密度，通过从所述光密度减去所计算均值来对所述光密度进行中心化。
37.如权利要求36所述的非暂态计算机可读介质，其中，还具有存储在其中的指令，其中由所述处理器执行时，当所述一种或多种染色的所述数目是二，每一所述像素的所述光密度表示光密度空间中的点，所述光密度空间是二维的，导致所述处理器：
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成一维空间中的线段；以及
识别与所述线段的每个端点相对应的光密度；
其中，识别所述一种或多种染色中的每一种的光密度还根据与所述线段的每个端点相对应的所述光密度。
38.如权利要求36所述的非暂态计算机可读介质，其中，还具有存储在其中的指令，其中由所述处理器执行时，当所述一种或多种染色的所述数目是三，每一所述像素的所述光密度表示光密度空间中的点，所述光密度空间是三维的，导致所述处理器：
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成二维空间中的三角形；以及
识别与所述三角形的每个顶点相对应的光密度；
其中，识别所述一种或多种染色中的每一种的光密度还根据与所述三角形的每个顶点相对应的所述光密度。
CN201680053670.7A 2015-09-16 2016-09-16 病理学明场像中的自动化染色查找 Active CN108140104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211271513.7A CN115457550A (zh) 2015-09-16 2016-09-16 病理学明场像中的自动化染色查找

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562219526P 2015-09-16 2015-09-16
US62/219,526 2015-09-16
PCT/US2016/052331 WO2017049226A1 (en) 2015-09-16 2016-09-16 Automated stain finding in pathology bright-field images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211271513.7A Division CN115457550A (zh) 2015-09-16 2016-09-16 病理学明场像中的自动化染色查找

Publications (2)

Publication Number Publication Date
CN108140104A CN108140104A (zh) 2018-06-08
CN108140104B true CN108140104B (zh) 2022-11-01

Family

ID=58289657

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211271513.7A Pending CN115457550A (zh) 2015-09-16 2016-09-16 病理学明场像中的自动化染色查找
CN201680053670.7A Active CN108140104B (zh) 2015-09-16 2016-09-16 病理学明场像中的自动化染色查找

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211271513.7A Pending CN115457550A (zh) 2015-09-16 2016-09-16 病理学明场像中的自动化染色查找

Country Status (5)

Country Link
US (1) US11403861B2 (zh)
EP (1) EP3353712B1 (zh)
JP (1) JP6605716B2 (zh)
CN (2) CN115457550A (zh)
WO (1) WO2017049226A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457550A (zh) 2015-09-16 2022-12-09 徕卡生物系统公司 病理学明场像中的自动化染色查找
US10430943B2 (en) * 2016-10-07 2019-10-01 Sony Corporation Automated nuclei area/number estimation for IHC image analysis
CN111602172B (zh) * 2017-08-04 2023-09-26 文塔纳医疗系统公司 利用散射校正进行颜色解混
CN117174263A (zh) 2017-08-04 2023-12-05 文塔纳医疗系统公司 用于图像处理的自动测定评估和归一化
KR102411099B1 (ko) 2017-09-29 2022-06-22 라이카 바이오시스템즈 이미징 인크. 실시간 오토포커스 스캐닝
CN113129356B (zh) * 2020-01-16 2022-08-23 安翰科技(武汉)股份有限公司 胶囊内窥镜系统及其图像染色面积识别方法及存储介质
US11621078B2 (en) * 2020-03-18 2023-04-04 International Business Machines Corporation Pre-processing whole slide images in cognitive medical pipelines

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000036155A (ko) 1996-09-16 2000-06-26 스테판 제이 페이 이미지 분석 방법 및 장치
US6636623B2 (en) * 2001-08-10 2003-10-21 Visiongate, Inc. Optical projection imaging system and method for automatically detecting cells with molecular marker compartmentalization associated with malignancy and disease
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
GB2395263A (en) * 2002-11-12 2004-05-19 Qinetiq Ltd Image analysis
WO2005027015A2 (en) 2003-09-10 2005-03-24 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
JP5822425B2 (ja) * 2005-05-13 2015-11-24 トリパス イメージング インコーポレイテッド 顕微鏡像用に試料を染色する方法
US10685056B2 (en) * 2012-10-23 2020-06-16 Leica Biosystems Imaging, Inc. Systems and methods for an image repository for pathology
WO2014195193A1 (en) * 2013-06-03 2014-12-11 Ventana Medical Systems, Inc. Image adaptive physiologically plausible color separation
CN104200428B (zh) * 2014-08-18 2017-07-18 南京信息工程大学 基于非负矩阵分解的显微图像彩色去卷积方法及分割方法
CN104408717A (zh) * 2014-11-24 2015-03-11 北京航空航天大学 一种基于着色分离的病理图像颜色质量综合评价方法
CN115457550A (zh) 2015-09-16 2022-12-09 徕卡生物系统公司 病理学明场像中的自动化染色查找

Also Published As

Publication number Publication date
US20180260609A1 (en) 2018-09-13
JP2018530823A (ja) 2018-10-18
CN108140104A (zh) 2018-06-08
EP3353712A4 (en) 2019-05-29
EP3353712B1 (en) 2021-08-25
CN115457550A (zh) 2022-12-09
WO2017049226A1 (en) 2017-03-23
EP3353712A1 (en) 2018-08-01
US11403861B2 (en) 2022-08-02
JP6605716B2 (ja) 2019-11-13

Similar Documents

Publication Publication Date Title
CN108140104B (zh) 病理学明场像中的自动化染色查找
KR102411099B1 (ko) 실시간 오토포커스 스캐닝
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
CN110140129B (zh) 使用双光学路径和单成像传感器的低分辨率载片成像和载片标签成像以及高分辨率载片成像
US20200371333A1 (en) Microscopy method, microscope and computer program with verification algorithm for image processing results
CN111164484B (zh) 双程微距图像
US10930241B2 (en) Color monitor settings refresh
JP2021512346A (ja) 衝撃再走査システム
US11422349B2 (en) Dual processor image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant