CN101151623B - 对样本图像的特征进行分类的方法和设备 - Google Patents

对样本图像的特征进行分类的方法和设备 Download PDF

Info

Publication number
CN101151623B
CN101151623B CN2006800101487A CN200680010148A CN101151623B CN 101151623 B CN101151623 B CN 101151623B CN 2006800101487 A CN2006800101487 A CN 2006800101487A CN 200680010148 A CN200680010148 A CN 200680010148A CN 101151623 B CN101151623 B CN 101151623B
Authority
CN
China
Prior art keywords
image
sample
classification
pixel
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800101487A
Other languages
English (en)
Other versions
CN101151623A (zh
Inventor
理查德·利文森
克利福德·C·霍伊特
柯克·W·戈西奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cambridge Research and Instrumentation Inc
Original Assignee
Cambridge Research and Instrumentation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cambridge Research and Instrumentation Inc filed Critical Cambridge Research and Instrumentation Inc
Publication of CN101151623A publication Critical patent/CN101151623A/zh
Application granted granted Critical
Publication of CN101151623B publication Critical patent/CN101151623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts

Abstract

公开了用于基于包括一个或更多个图像的图像堆栈把样本的不同部分分类到相应类别的方法。

Description

对样本图像的特征进行分类的方法和设备
技术领域
本发明涉及分类组织样本。
背景技术
通过经验已经开发了显色染色技术(Chromogenic staining technique)使组织样本内的各种组成部分产生视觉对比度。染色技术和协议能够在不同的组织组成部分中产生染料的混合物，并且使用显微镜和其他的成像设备，人类观察者已经学会了区分特定的组成部分特有的这些染色图案。可以特定于化学分子的某部分和/或分子结构排列的现代定标染色方法能够产生被染色的组织，在所述组织中，两个或更多个显色或荧光着色在空间上明显地重叠。实际上，因为这多个着色事实上局限于样本中的公共结构内，或者因为由于制备方法所致，样本内包含一个着色的结构与包含不同着色的第二结构重叠，能够导致所观察到的重叠。在任一情况中，区分多个着色的存在和相对分布以及它们所局限于的结构很困难，特别是当被采用的着色具有类似的光谱吸收和/或发射特性时更是如此。
在其中时常发生组织样本的染色和检查的领域中，例如病理学和细胞学中，被染色的样本经常被使用显微镜或其他成像设备执行样本的视觉检查的人类研究者根据一个或更多个标准进行分类。例如，为了突出样本中细胞间在特定细胞器、结构或分子标靶上的差别，一种样本可能被利用多种染料染色。包含不同类型细胞的样本可以被用不同的染料处理，以便在视觉上区分细胞类型的数量、空间分布和形态。然后，样本可以被根据一个或更多个标准分类，所述标准例如其中存在不同类型的化学或生物结构。为了针对特定样本类别提供不同类型的分类信息，已开发了多种多样的染色协议。
作为对有时单调乏味的组织样本人工检查和分类过程的替代方案，在使样本分类自动化的努力中可以采用机器视觉方法。
发明内容
总的来说，在第一方面，本发明特征是一种方法，所述方法包括基于包括一个或更多个图像的图像堆栈将样本的不同部分分类到相应类别。例如，所述样本可以是组织切片。
所述方法的实施例可以包括下列特征中的任何一个。
所述方法还可以包括把样本的光谱图像集合分解为解混和图像集合，其中，所述解混和图像集合的每一个成员对应于来自样本中的不同成分的光谱贡献，并且其中，用于分类的图像堆栈中的图像包括一个或更多个解混和图像。例如，用于分类的图像堆栈中的图像可以包括一些或全部的解混和图像。
分类可以包括：(i)在图像堆栈内定位采样窗口，以便选择图像堆栈的一部分用于分类，其中，被选择的部分包括多个像素；(ii)把被选择的部分分类到几个类别其中之一，其中，被选择部分中的每一个像素均临时分类为具有和被选择的部分相同的类别；(iii)平移采样窗口以便选择图像堆栈的第二部分用于分类，并把第二部分分类到几个类别其中之一，其中，第二部分中的每一个像素均被临时分类为具有和第二部分相同的类别；(iv)针对图像堆栈的额外部分重复所述平移和分类，直到至少图像堆栈中的一些像素已经被多次临时分类为被采样窗口选择的不同部分的一部分为止；和(v)，基于其多次临时分类，把已经被多次临时分类的至少一些像素中的每一个分类到几个类别其中之一。被采样窗口选择的不同部分可以包括相同数量的像素，并且被采样窗口选择的所述不同部分中的至少一些可以彼此重叠。每一个像素的临时分类可以被表述为指示像素被临时分类到每一个类别的次数的直方图，并且每一个像素的最终分类可以对应于其最经常被临时分类到的类别。至少一些像素被临时分类的次数可以大于2并且不大于采样窗口中的像素数量。例如，至少一些像素被临时分类的次数可以等于采样窗口中的像素数量。此外，图像堆栈可以只包括一个图像。
图像堆栈可以包括多于三个光谱图像，并且分类可以包括基于光谱图像集合把图像堆栈的不同区域分类到相应类别，其中，每一个区域包括多个像素，所以每一个分类既涉及光谱信息也涉及空间信息。
所述方法还可以包括基于样本的光谱图像集合产生复合图像，其中，集合中的两个或更多个不同光谱图像的空间强度被不同地加权和组合以产生复合图像，并且其中，图像堆栈中的一个或更多个图像包含所述复合图像。例如，光谱图像集合可以包括n个图像，并且用于分类的图像堆栈中的一个或更多个图像可以包括少于n个图像。通过根据随光谱波长单调地变化的函数对集合中的两个或更多个不同光谱图像的空间强度进行加权能够产生复合图像。加权函数可以是随着光谱波长线性变化的斜坡函数。另外，两个或更多个不同光谱图像的空间强度可以被根据随着光谱波长非单调变化的函数进行加权。例如，加权函数可以包含随着光谱波长单调变化的第一部分和随着光谱波长单调变化的第二部分，其中，加权函数的第一和第二部分的斜率具有相反的符号(例如，加权函数可以是高斯函数)。可以选择加权函数以增强从两个或更多个不同的光谱图像贡献给复合图像的特征之间的对比度。此外，图像堆栈中的一个或更多个图像可以包括两个或更多个复合图像。
在任何一个方法中，可以使用神经网络用于分类。把样本的不同区域分类到不同类别可以包括：标识图像堆栈的对应于各个类别中的每一个的被选择区域，基于被选择的区域训练神经网络识别这些类别，和，把训练过的神经网络应用于图像堆栈的额外区域。神经网络的输入可以是特征向量，具有一个或更多个基于计算至少一个空间灰度级依赖矩阵的元素。另外，或除此以外还有，神经网络的输入可以是特征向量，具有一个或更多个基于计算二维傅立叶变换的元素。
在某些实施例中，图像堆栈中的一个或更多个图像可以包括一个或更多个光谱图像。例如，光谱图像可以是根据不同的发射光谱指数的样本发射的图像。另外，光谱图像可以是根据不同的导致发射的样本照射光谱指数的样本发射的图像。此外，用于分类的输入信息可以既包括光谱信息也包括空间信息。样本可以包括具有不同的吸收和发射光谱的成分。此外，样本区域被分类的类别数量可以等于样本中不同的光谱贡献者的数量。例如，不同的光谱共享者可以是化学染料或者荧光标记。
在某些实施例中，图像堆栈可以包括RGB图像。
而且，在某些实施例中，还可以包括产生示出样本的被分类区域的输出图像。此外，任一方法还可以包括获取图像堆栈中的一个或更多个图像。例如，可以通过测量透射过样本或从样本反射的光来获取图像。也可以通过测量来自样本的荧光发射获取图像。
总的来说，在另一方面，本发明的特征是一种方法，所述方法包括：(i)在图像堆栈内定位采样窗口，以便选择图像堆栈的一部分用于分类，其中，图像堆栈包含一个或更多个图像，并且被选择的部分包含多个像素；(ii)把被选择的部分分类到几个类别其中之一，其中，被选择部分中的每一个像素均被临时分类为具有和被选择部分相同的类别；(iii)平移采样窗口以便选择图像堆栈的第二部分用于分类，并把第二部分分类到几个类别其中之一，其中，第二部分中的每一个像素均被临时分类为具有和第二部分相同的类别；(iv)针对图像堆栈的额外部分重复所述平移和分类，直到图像堆栈中的至少一些像素已经被多次临时分类为被采样窗口选择的不同部分的一部分为止；和(v)基于其多次临时分类，把已经被多次临时分类的至少一些像素中的每一个分类到几个类别其中之一。
所述方法的实施例可以包括前述方面的任何一个或者适于本方法的其他方法的特征。
总的来说，在另一个方面，本发明特征是设备，所述设备包括存储导致处理器执行前述方法中的任何一个的程序的计算机可读介质。
总的来说，在另一个方面，本发明特征是设备，所述设备包括：用于获取样本的一个或更多个图像的装置；和，电子处理器，用于基于所获取的图像分析图像堆栈，并被配置成基于如前述方法中的任何一个中给出的图像堆栈把样本的不同部分分类到相应类别。
所述设备的实施例可以包括下列特征中的任何一个。
用于获取样本的一个或更多个图像的装置可以包括用于从样本获取光谱分辨发射图像的装置。用于获取样本的一个或更多个图像的装置可以包括用于从样本获取对应于样本的不同光谱照射的图像的装置。
总的来说，在另一方面，本发明特征是设备，所述设备包括：用于获取样本的一个或更多个光谱图像的光学系统；和，电子处理器，用于基于所获取的光谱图像分析图像堆栈，并被配置成基于如前述方法中的任何一个中给出的图像堆栈把样本的不同部分分类到相应类别。
具体来讲，按照本发明的第一方面，提供了一种基于包含样本的一个或更多个图像的图像堆栈，把样本的不同区域分类到相应类别的方法，该方法包含：在图像堆栈内定位采样窗口，以便选择图像堆栈的第一部分用于分类，所述第一部分包含多个像素；把所述第一部分分类到几个类别其中之一，其中所述第一部分中的每一个像素均被临时分类为具有和所述第一部分相同的类别；平移采样窗口以便选择图像堆栈的第二部分用于分类，并把第二部分分类到几个类别其中之一，其中，第二部分中的每一个像素均被临时分类为具有和第二部分相同的类别；针对图像堆栈的除第一部分和第二部分之外的部分重复所述平移和分类，直到图像堆栈中的一个或更多个像素已经被多次临时分类为被采样窗口选择的不同部分的一部分为止；以及基于多次临时分类把样本的各区域分类到相应类别其中之一，该样本的各区域对应于已经被多次临时分类的一个或更多个像素。
按照本发明的第二方面，提供了一种将包含样本的一个或更多个图像的图像堆栈分类到相应类别的方法，该方法包含：在图像堆栈内定位采样窗口，以便选择图像堆栈的第一部分用于分类，该第一部分包括多个像素；把所述第一部分分类到几个类别其中之一，其中所述第一部分中的多个像素中的每一个像素均被临时分类为具有和所述第一部分相同的类别；平移采样窗口以便选择图像堆栈的第二部分用于分类，该第二部分包括多个像素；把所述第二部分分类到几个类别其中之一，其中所述第二部分中的多个像素中的每一个像素均被临时分类为具有和所述第二部分相同的类别；针对图像堆栈的除第一部分和第二部分之外的部分重复所述平移和分类，直到图像堆栈中的一个或更多个像素已经被多次临时分类；以及确定所述一个或更多个像素的最终类别，该最终类别对应于已经被多次临时分类的所述一个或更多个像素被分类到的几个类别其中之一。
按照本发明的第三方面，提供了一种基于包含样本的一个或更多个图像的图像堆栈，把样本的不同区域分类到相应类别的设备，该设备包含：用于获取所述样本的一个或更多个图像的装置；和电子处理器，用于分析所述图像堆栈，并且基于所述图像堆栈把所述样本的不同区域分类到相应类别，该电子处理器包括：用于在图像堆栈内定位采样窗口，以便选择图像堆栈的第一部分用于分类的装置，被选择的部分包含多个像素；用于把所述第一部分分类到几个类别其中之一的装置，其中所述第一部分中的每一个像素均被临时分类为具有和所述第一部分相同的类别；用于平移采样窗口以便选择图像堆栈的第二部分用于分类，并把第二部分分类到几个类别其中之一的装置，其中，第二部分中的每一个像素均被临时分类为具有和第二部分相同的类别；用于针对图像堆栈的除第一部分和第二部分之外部分重复所述平移和分类，直到图像堆栈中的一个或更多个像素已经被多次临时分类为被采样窗口选择的不同部分的一部分为止的装置；以及用于基于多次临时分类把样本的各区域分类到相应类别其中之一的装置，该样本的各区域对应于已经被多次临时分类的一个或更多个像素。
除非另外定义，否则这里使用的所有技术和科学术语具有和本发明所属技术领域的普通技术人员一般理解的相同的含义。在这里通过引用所包含的文档和本说明书冲突的情况下，本说明书为准。
在下面的描述和附图中给出了本发明的一个或更多个实施例的细节。从描述、附图以及权利要求，本发明的其他特征、目的和优点将会清晰。
附图说明
图1是用于获得样本光谱图像并对样本分类的系统的示意图。
图2是示出在分类样本时涉及的步骤的流程图。
图3是示出在训练执行样本分类的神经网络时涉及的步骤的流程图。
图4是示出针对特定类别所选择的感兴趣的区域的示意图。
图5是示出把样本图像在频率空间的空间傅立叶变换分割为更小区域的集合的示意图。
图6是示出在优化训练过的神经网络时涉及的步骤的流程图。
图7是示出在利用训练过的神经网络分类样本时涉及的步骤的流程图。
图8是示出为分类所选择的样本图像区域的示意图。
图9示出了空间灰度级依赖矩阵的计算。
图10A-10I示出了这里所公开的分类技术被应用于真实样本数据的例子。
图11是神经网络的一部分的示意图。
相同的参考符号在各个图中指示相同的元素。
具体实施方式
概述
在这里公开的方法和系统可以被用来根据样本的图像上出现的光谱和/或结构特征对多种多样的生物或其他样本进行分类。分类方法至少包括一些被使用机器视觉(machine vision)算法和技术以自动方式执行的步骤。样本的图像集合被获得，并且可以在被提交给自动分类器之前被变换。图像集合的变换可以包括数学变换，例如从强度到光密度的转换；光谱解混和操作，复合图像的计算；以及形成可以只包括可用样本图像的子集的分类数据集合。然后，分类数据集合被提交给基于机器的分类器，它可以是神经网络或者另外类型的分类器。图像像素可以被多次分类，并且基于每一个像素的多次分类的分布来执行最终分类。可以为系统操作员显示示出样本的被不同地分类的区域的图像。分类信息也可以被用作输入来指引例如激光捕获显微解剖的自动过程，或者其他的图像引导的过程。
分类方法是数学的，所以在范围上是普遍的，并且只要期望分类就可以应用，与用来获取图像的设备或方法或者样本的性质无关。分类方法可以被用来分类多种多样的样本，包括利用一个或更多个吸收染色被染色的样本和包括荧光标记的样本。荧光标记可以包括从外部来源被引入样本的化学标记；另外，标记可以是样本固有的(例如内生自发体荧光或者例如绿色荧光蛋白质和红色荧光蛋白质的荧光蛋白质)。分类方法也可以被用来分类包含各种发光物种和结构的样本。可以在可见光、红外或紫外范围获得图像。分类方法不局限于用于样本吸收或样本发射的图像，而是也可以用来分类采用多种多样的测量或对比机制可视化样本的图像，包括但不限于：偏振光、样本双折射、弹性或非弹性光散射，或者荧光寿命。分类方法也可以被用来对利用例如x射线透射或散射、磁共振、中子散射或正电子发射的非光学手段成像的样本进行分类。简而言之，分类方法可以被用来在期望图像分类的任何背景中对样本区域进行分类。而且，这些图像可以是除了显微图像以外的图像。例如，这些图像可以是在遥感应用中捕获的宏观图像(macroscopic image)。如上所述，可以在光学上或通过其他手段检测这些图像。
如这里所使用的，术语“分类(classifying)”指标识样本图像的共享公共特性集合的不同区域，其中，该过程中至少一些步骤被电子部件以自动方式执行。公共特性集合可以包括例如信号强度、形状、光谱和构造特征。标识样本图像中的这些区域实际上标识了样本中的对应区域共享公共特征集合，并且更一般地，基于其对这些特征的表达，该样本区域是特定已知状态或类型。分类过程中的至少一些步骤被电子部件以自动方式执行。例如，在很多实施例中，包括图像的光谱解混和、产生复合图像和把图像区域分类到一个或更多个类别的步骤由电子部件执行。但是，在其他步骤中可以发生某些操作员干预。具体来说，在一些实施例中，例如选择对应于各个类别的用于训练基于机器的分类器的参考区域的步骤可以由系统操作员人工执行。
在某些实施例中，样本的光谱图像被“解混和”为每一个均对应于样本的相应组分的光谱指数的图像。然后这些解混和图像可以由分类器处理。使用解混和图像作为分类器的输入可以提高分类的效率和/或准确性。
在某些实施例中，在分类之前，可以从光谱图像产生一个或更多个复合图像。如稍后更详细地说明的那样，复合图像一般包括“打平的”光谱信息；即，复合图像包含被编码为样本的空间强度图像中的变化的光谱信息。使用复合图像作为分类器的输入可以提高分类的效率和/或准确性。
在某些实施例中，分类可能涉及使用采样窗口来首先分类窗口内的像素，跟着是随后平移该采样窗口以便继续进行分类。平移比窗口的尺寸小，所以像素被多次分类。每一个像素的最终分类则基于初始分类的统计分布。该技术使得使用足够大的采样窗口能够识别指示特定类别的空间特征，而由于较小尺度的平移，仍旧提供高分辨率。
总的来说，这里所公开的分类方法能够被用来对光谱图像集合中的特征进行分类，所述光谱图像集合包括样本的彩色(RGB)图像；或者，所述方法可被用于其中样本图像不包含光谱信息(即灰度阶或单色图像)的样本分类。
用于获取图像和后续分类的设备
图1是示出用于获得样本的多个光谱分辨图像并用于分类样本的系统100的示意图。光源102为调光光学装置104提供光122。光122可以是非相干光，例如从灯丝光源产生的光；或者，光122可以是相关光，例如由激光器产生的光。光122可以是连续波(CW)或者时间门控(time-gated)(即脉冲)光。此外，可以在被选择的电磁频谱部分中提供光122。例如，光122可以具有落入紫外、可见光、红外或其他频谱区域内的中心波长和/或波长分布。
调光光学装置(light conditioning optics)104可以被配置成以多种方式变换光122。例如，调光光学装置104可以在光谱上过滤光122，以便提供在被选择的频谱波长区域中的输出光。另外，或者此外还有，调光光学装置可以调整光122的空间分布和光122的时间性质。利用调光光学装置104的元件的动作，从光122产生了入射光124。
入射光124被引导入射在固定于照明载物台(illumination stage)106上的样本108上。载物台106可以提供紧固样本108的装置，例如装配夹或者其他的夹持设备。另外，载物台106可以包括可移动导轨或者引带(belt)，其上安装了多个样本108。驱动器机制可以被配置成移动导轨以便一次一个地连续地平移所述多个样本通过载物台106上的照明区域，入射光124打在所述照明区域上。载物台106还可以包括用于相对于照明载物台106的固定位置平移样本的平移轴和机制。平移机制可以被人工操作(例如螺纹杆)，或者，可以通过电气致动自动地移动(例如马达驱动器、压电致动器)。
响应于入射光124，从样本108出现了被发射光126。可以以许多方式产生被发射光126。例如，在一些实施例中，被发射光126对应于透射过样本108的入射光124的一部分。在其他的实施例中，被发射光126对应于从样本108反射的入射光的124的一部分。在更进一步的实施例中，入射光124可以被样本108吸收，并且被发射光126对应于来自样本108的响应于入射光124的荧光发射。在更进一步的实施例中，样本108可以发光，并且即使不存在入射光124也可以产生被发射光126。在一些实施例中，被发射光126可以包括通过前述机制中的两种或更多种产生的光。
在很多实施例中，样本108是生物样本，例如组织切片(例如用于病理学的样本，或者细胞学研究中的细胞悬液或涂片)，或者组织培养中的活细胞或者固定细胞。在一些实施例中，样本108可以是动物(例如老鼠)，单个细菌或者其他的微生物、细菌或者其他菌落、胚胎、卵母细胞、包括种籽或子实的植物，或者，样本108可以是非生物实体。
集光光学装置(Light collecting optics)110被定位成接收来自样本108的被发射光126。集光光学装置110可以被配置成例如在光126发散时使被发射光126准直。集光光学装置110也可以被配置成在光谱上过滤被发射光126。例如，为了将通过上面讨论的机制其中之一出现的一部分被发射光126与通过其他过程出现的光隔离，过滤操作是有用的。此外，集光光学装置110可以被配置成针对实施例中的具体目的修改被发射光126的空间和/或时间属性。集光光学装置110把被发射光126变换为输出光128，输出光128入射在检测器112上。
检测器112包括一个或更多个元件，例如被配置成检测输出光128的CCD传感器。在实施例中，检测器112可以被配置成测量光128的空间和/或时间和/或光谱属性。检测器112产生对应于输出光128的电信号，并通过电气通信线路130传递到电子控制系统114。
电子控制系统114包括处理器116、显示设备118，以及用户接口120。除了接收对应于检测器112检测到的输出光128的信号以外，控制系统114还发送电气信号到检测器112来调整检测器112的各种属性。例如，如果检测器112包括CCD传感器，则控制系统114可以发送电气信号到检测器112来控制该CCD传感器的曝光时间、活动区域、增益设置以及其他性质。
电子控制系统114还通过电气通信线路132、134、136和138分别与光源102、调光光学装置104、照明载物台106和集光光学装置110进行通信。控制系统114向系统100的这些元件中的每一个提供电气信号来调整这些元件各种属性。例如，提供给光源102的电气信号可以被用来调整光122的强度、波长、重复率或其他属性。提供给调光光学装置104和集光光学装置110的信号可以包括例如用于配置调整光的空间性质的设备(例如空间光调制器)的信号和用于配置光谱过滤设备的信号。例如，提供给照明载物台106的信号可供用于把样本108相对于载物台106的定位和/或用于移动样本进入载物台106上的照明位置。
控制系统114包括用户接口120，用于显示系统属性和参数，并用于显示捕获的样本108的图像。提供了用户接口120以便辅助操作员与系统100进行交互作用并控制系统100。处理器116包括用于存储使用检测器112捕获的图像数据的存储设备，并且也包括具体实施给处理器116的指令的计算机软件，所述计算机软件导致处理器116执行例如上面所讨论的那些控制功能。此外，软件指令导致处理器116在数学上操纵被检测器112捕获的图像，并根据原始图像和被操纵过的图像中的任何一个或者两者来执行分类样本108的步骤。随后更详细地讨论分类步骤。
在很多实施例中，系统100被配置成获得样本108的多个光谱图像。所述多个光谱图像可以对应于以各种被选择的光波长照明样本108，并检测透射过样本108或被样本108反射的光的强度。另外，所述多个光谱图像可以对应于以具有类似的光谱属性的光照明样本108并收集样本108的多个图像，每一个图像均对应于被发射光126的不同波长。调光光学装置104和集光光学装置110中的光谱过滤元件一般用来获取光谱分辨数据。
在一些实施例中，可以依次收集样本108的图像，在接连的被捕获图像之间调整光学部件(例如滤光器)的配置。在其他实施例中，可以使用被配置成检测多个样本视图的检测系统同时捕获多个图像。例如，检测系统可以被配置成把对应于不同的照明或发射波长的不同样本视图投射到例如CCD照相机的检测器上，所述多个视图可以被同时捕获。
在一些实施例中，调光光学装置104包括可调光谱过滤器元件，例如滤色轮或者液晶光谱过滤器。过滤器元件可以被配置成使用不同光波长带提供样本108的照明。光源102可以提供具有较宽的光谱波长成分分布的光122。这个较宽波长分布的被选择区域通过调光光学装置104中的过滤器元件允许作为入射光124通过并且直接入射在样本108上。透射过样本108的光126的图像被检测器112记录。随后，调光光学装置104中的过滤器通带波长被改变，以便提供具有不同波长的入射光124，并且透射过样本108的光126的图像(并对应于入射光124的新波长)被记录。通过采用具有多个产生不同波长的光的源元件的光源102，并交替地打开和关闭不同的源器件以提供具有不同波长的入射光124，也可以记录类似的光谱分辨图像集合。
如前面所讨论的那样，来自样本108的被发射光126也可以对应于从样本108反射的入射光124。此外，如果样本包括荧光化学结构，则被发射光126可以对应于来自样本108的荧光发射。对于某些样本，被发射光126可以包括来自多个来源的贡献(即透射和荧光)，并且调光光学装置110中的光谱过滤元件可以被用来分离这些信号贡献(contribution)。
总的来说，调光光学装置104和集光光学装置110都包括可配置的光谱过滤器元件。因此，在样本108的激发侧(例如通过调光光学装置104)上或者在样本108的发射侧(例如通过集光光学装置110)上，或者在两侧上，都可以提供光谱分辨。在任何一种情况下，收集样本108的多个光谱分辨图像的结果是“图像堆栈(image stack)”，其中，堆栈中的每一个图像均是样本的对应于特定波长的二维图像。在概念上，该图像集合可以被可视化为形成三维矩阵，其中，矩阵维度中的两个是每一个图像的空间长度和宽度，并且第三个矩阵维度是光谱波长(发射或激发)，图像对应于该光谱波长。由于这个原因，该光谱分辨图像集合可以被称为图像的“光谱立方(spectral cube)”。如这里所使用的那样，在这样的图像集合(或者图像堆栈或光谱立方)中的像素指示每一个图像的公共空间位置。因此，在图像集合中的像素包括和处于对应于该像素的空间位置的每一个图像相关联的值。
根据手中样本的要求，可以采用技术上已知的其他获取光谱图像的配置。
虽然上面描述的每一个光谱图像一般指示特定的波长或者波长范围(例如光谱带)，更一般地，每一个光谱图像可以对应于光谱指数，所述光谱指数可以包括一个或更多个波长带，或者某个复杂的光谱分布。例如，通过使用光谱梳状过滤器可以产生这样的图像。一般地，图像立方将包括几个光谱图像，例如10个或更多。但是，在某些实施例中，图像立方可以包括更少的图像，例如，只有两个或三个光谱图像。一个这样的例子是红-绿-蓝(red-green-blue，RGB)彩色图像，其中，每一个像素均包括和红色、绿色和蓝色中的每一个的强度相关联的值。这些信息可以被作为单个彩色图像而非作为单独图像的集合显示；但是，信息内容和图像集合中的相同，因此，我们都使用表述“光谱图像”来指示这两个情况。
在某些实施例中，用于分类的图像也可以包括伪彩色图像，以及单色或灰度阶图像。
获取一个或更多个图像以后，样本108被系统100根据各个图像的形状、强度、光谱和/或构造特征分类。实践中，在某些实施例中，首先针对多个样本记录图像，并且为方便计，样本的分类被推迟到较晚的时间。
为了准确地分类立方所对应的样本，并非需要分析光谱立方的所有图像。在某些实施例中，通过只检查光谱立方图像的子集实现了准确性足够高的分类。此外，在某些实施例中，在分析之前，光谱分辨图像可以在光谱上被解混和(即分解为对应于光谱本征态集合的图像集合)。某些实施例包括额外的步骤，其中，通过从光谱立方和/或光谱解混和图像的集合选择的多个图像的数学组合，产生了一个或更多个复合图像。除了光谱立方图像和光谱解混和图像以外还有，或者排除了光谱立方图像和光谱解混和图像，样本的分类可以被基于复合图像执行。
光谱解混和
图2是示出在分类样本时涉及的步骤的流程图200。步骤202包括获得如上面所讨论的样本的一个或更多个图像的集合(例如光谱立方)。步骤204是可选的，它包括在光谱上解混和光谱立方中的一些或全部图像以便产生解混和的图像集合(即使“解混和光谱立方”)。光谱解混和是一种定量地分离图像中从光谱上不同的来源产生的贡献的技术。例如，样本可以包含三种不同类型的结构，每一种均用不同染料标记。这三种不同的染料每一个均可以具有不同的吸收光谱。一般，在染料被使用之前，染料的各个吸收光谱是已知的，或者它们可以被测量。在最一般的情况下，照明下的样品的图像将包含来自三种染料中每一种的光谱贡献。例如，在包含多个不同的荧光标记的样本中出现类似的状况，所述多个荧光标记中的每一个均对被测量的荧光发射有贡献。
光谱解混和把一个或更多个包括来自多个光谱来源的贡献的图像分解为成分图像(“解混和图像”)的集合，所述成分图像对应于来自样本内的每一个光谱实体的贡献。因此，如果样本包括三种不同的染料，每一个均特定于具体的结构实体，则样本的图像可以被分离为三个解混和图像，每一个解混和图像反映出主要仅来自这些染料其中之一的贡献。
解混和过程本质上对应于把图像分解为光谱本征态集合。在很多实施例中，如上面所讨论的那样，本征态事先已知。在其他的实施例中，有时候可以使用例如主要成分分析的技术确定本征态。在任何一种情况下，一旦本征态已经被标识，则通过计算对应于每一个本征态在整个图像中的相对权重的值的集合，通常作为系数矩阵，可以把图像分解。然后，可以分离出各本征态中每一个的贡献以产生解混和图像集合。
作为一个例子，通过以不同的激发波长λk照明样本，针对该样本可以测量一系列具有x和y坐标的二维图像。如上所述，这些二维图像可以被组合形成三维图像立方I(x，y，k)，其中，图像立方的前两个指标代表坐标方向，并且第三个指标是对应于照明光波长的光谱指标。为了简洁的目的，假设样本的每一个图像均包含来自两个不同的光谱来源F(λk)和G(λk)的光谱贡献，则三维图像立方I(x，y，k)中的值可以由
S(x，y，k)＝a(x，y)·F(λk)+b(x，y)·G(λk)          (1)
给出，其中，λk用来表示给定波长(或者波长带)。函数a(x，y)和b(x，y)描述来自样本中两个不同的光谱来源的光谱贡献的空间丰度(spatial abundance)。
根据等式(1)，在三维图像立方中任意位置(即在任意二维像素坐标，以及在特定照明波长)的净信号是两个贡献之和，由每一个的相对丰度加权。这可以被表述为：
I(λk)＝aF(λk)+bG(λk)         (2)
函数F和G可以被称作系统的“光谱本征态”，因为它们对应于样本中光谱来源的纯净光谱，所述光谱被以不同的比例组合以产生测量的样本光谱图像。因此，样本光谱是对应于来自两个光谱来源的单独贡献的加权叠加。
如果光谱F(λk)和G(λk)已知(或者可以被推导)，假设光谱I包括至少两个元素(即假设人们具有至少两个波长λk的数据)，则等式(2)可以被逆过来求解a和b。等式(2)可以被以矩阵形式重写为I＝EA，所以
A＝E-1I           (3)
其中，A是具有分量a和b的列向量，并且E是其列为光谱本征态的矩阵，即[F G]。
使用等式(3)，可以使用测量的样本光谱图像计算在特定像素位置纯粹来自来源F和纯粹来自来源G的对图像的贡献。可以针对被被选择图像上的每一个像素重复该过程(即遍及I中值x和y的范围)以产生只包括来自来源F的贡献的样本图像和只包括来自来源G的贡献的另一个样本图像。
在上面的讨论中，光谱来源的数量是二(即F和G)。但是，总的来说，解混和技术不限于任何特定的来源数量。例如，样本一般可以包含m个不同的光谱来源。如果在该波长收集数据的波长数量是n，即k＝1...n，则矩阵E是n×m矩阵而非如上面讨论中的n×2矩阵。然后，可以以和上面描述相同的方式采用解混和算法来隔离图像中每一个像素位置处来自m个光谱本征态中的每一个的具体贡献。
可能限制该算法在来自不同光谱本征态的贡献之间进行区分的能力的一个因素是本征态之间光谱差别的程度。两个光谱，例如光谱本征态I1和I2之间的相关性，可以由光谱角度θ描述，其中，
θ = cos - 1 [ I 1 · I 3 | I 1 | | I 2 | ] - - - ( 4 )
两个成员的θ较小的光谱集合不容易被分离到其成分。在物理上很容易理解这种情况的原因：如果两个光谱仅仅略微不同，则更难确定每一个的相对丰度。
可以使用很多技术来测量或估计光谱来源F和G(以及其他光谱来源，其中样本包括多于两个)的纯净光谱。总的来说，可以使用任何产生足够准确的光谱本征态的方法。某些样本可能包含例如染料、荧光标记或其他化学分子部分的光谱来源，对于所述光谱来源，在公开的参考资料中存在已知的光谱可用。另外，有可能使用一个或更多个测量系统直接测量来源成分的光谱。在某些样本中，可以已知样本的特定区域包括唯一一个特定光谱来源，并且该来源的光谱可以被从只在样本的被标识区域上进行的测量中提取。
各种数据分析技术可被用于为光谱解混和确定成分光谱，例如基本成分分析(principal component analysis，PCA)，它标识来自图像立方的大多数正交光谱本征向量，并产生示出遍及图像每一个本征向量的权重的乐谱图像(score image)。这可以被结合其他的数学处理完成，并且存在其他的用于标识低维数光谱向量的已知技术，例如投影追踪，一种在L.Jimenez和D.Landgrebe，″Hyperspectral Data Analysis and Feature Reduction Via ProjectionPursuit″，IEEE Transactions on Geoscience and Remote Sensing，Vol.37，No.6，pp.2653-2667，November 1999中描述的技术，其整个内容通过引用被包含于此。其他的技术包括例如独立成分分析(independent component analysis，ICA)和端成员检测算法(end-member detection algorithm)。
这些技术一般不很适于生命科学中的应用。例如，某些技术被针对包含具有密集光谱形状和严格定义的窄尖峰的光谱的光谱成像数据集合优化。在某些技术中，与用于分析的各个光谱特征和尖峰相比，光谱范围较大。该尖峰的存在，或者尖峰的比例，可以被用来分类要被分离的“端成员”。不幸的是，生物样本中的成分一般不具有这样严格定义的窄尖峰。
这些技术中的一些产生涉及在原始图像立方内某处的纯净形式中存在的光谱的图像。在生命科学中的很多情况下，在图像立方中存在的信号光谱是成分的混和物。如果感兴趣的成分不在原始图像立方中某处的纯净形式中，则这些技术将不可能产生准确代表感兴趣的成分的丰度的图像。
存在有时候叫做“凸包(convex-hull)”算法的某些技术，即使在图像中的纯净形式中不存在真正的端成员，它们也估计真正的端成员是什么样的；但是，有效性依赖于图像立方中的信号光谱有多接近端成员。
可被用来提取光谱本征态(或其表示)而无需所有本征态的先验知识的一个技术涉及考虑给定像素的信号光谱I(λk)，并从其减去最大量的第一光谱来源F(λk)而留下在所有光谱频道中正定(positive definite)的剩余信号。即，人们可以把每一个像素的所谓的“剩余光谱”Ua(λk)定义为
Ua(λk)＝I(λk)-aF(λk)          (5)
然后在每一个光谱频道中选择符合Ua(λk)具有非负值的参数a的最大值。然后，作为结果的光谱Ua(λk)被用作信号光谱，排除了由于第一光谱来源F所致的贡献。人们也可以不基于上面列出的严格的非负标准而基于某个相关的包含较小的负分布的标准确定参数a，以反映对诸如测量系统中的散粒噪声或检测器噪声的考虑。用于去除最大量的光谱来源F的优化标准的额外例子包括使用不同的误差函数。
另外，人们也可以寻求提取由于第二光谱来源G所致的对被测光谱的贡献。和等式(5)类似，每一个像素的剩余光谱可以被计算为
Ub(λk)＝I(λk)-bF(λk)       (6)
其中，人们在每一个光谱频道中选择符合Ub(λk)具有非负值的参数b的最大值。
剩余技术可以被扩展到样本的一个或更多个额外成分的光谱已知并且人们想要去除它们对信号的贡献的情况。在这些情况下，基于额外的光谱并符合在每一个光谱频道中正剩余，剩余光谱被写成从被观测的信号减去每一个这种成分的贡献。
在Richard Levenson等的名为“″SPECTRAL IMAGING OF BIOLOGICALSAMPLES”PCT专利申请WO2005/040769中描述了额外的光谱解混和技术，其内容通过引用被包含于此。
为了这里公开的光谱解混和技术有效地分离样本图像中由于不同的光谱本征态所致的贡献，等式(1)至少应该近似正确。即，测量的光谱数据应该被近似描述为加权本征态的线性叠加。这种近似对于很多样本和光谱测量技术，特别是暗场测量技术成立。例如，从样本内的荧光或发光化学标记产生的样本图像一般满足线性假设。但是，在某些情况下，例如对于某些亮场测量技术，可能不满足线性假设。例如，当捕获从透射过包括光吸收成分的样本的照明光产生的图像时，等式(1)中的线性假设可能不正确。相反，被测量的光的强度可以指数依赖于光吸收成分的浓度减小。在这种情况下，在解混和技术可以被使用之前，首先图像的变换可能是必要的。作为一个例子，对于在透射模式中测量的样本图像，被测量的图像强度可以被变换为光密度(例如通过应用对数函数)以便应用线性解混和技术。例如，在Paul J.Cronin和Peter J.Miller于2002年8月23日递交的名为“SPECTRAL IMAGING”的No.10/226,592美国申请(公开号US 2003/0081204 A1)中进一步描述了光密度技术，其整个内容通过引用被包含于此。
光谱解混和操作(例如逆矩阵技术和剩余技术)以及图像数据变换操作(例如在适当情况下把被测量的图像强度转换为光密度)可以由例如电子控制系统114通过处理器116执行。这些操作可以包括由系统操作员执行的人工干预和配置步骤，或者，系统100可以被配置成以自动方式执行这些操作。
复合图像
上面描述的解混和技术的应用从多光谱数据集合提供了解混和图像集合。现在返回图2，在流程图200中的第二个可选步骤中，步骤206包括使用光谱立方图像和/或解混和光谱立方图像产生一个或更多个复合图像。产生复合图像作为把光谱信息“打平”或压缩为二维灰度阶图像的手段。换句话说，就图像数据的3D光谱矩阵来说，产生复合图像大致对应于把来自两个或更多个层的信息压缩或打包为单个层。由于光谱立方和解混和光谱立方图像数据都可以被使用，所以该技术在概念上可以包括把来自不同光谱立方的多个层打包为单个层。
作为一个例子，考虑图像的3D光谱立方，其中，每一个图像具有宽度x、高度y和对应于波长λk的指标k。如果在立方中存在总共N个不同的图像(即在N个不同的波长记录的数据)，则如先前描述的那样，光谱立方I可以被表示为矩阵I(x，y，k)。压缩来自光谱立方中两个或更多个图像的光谱信息以生成复合图像C等同于把图像层加在一起。在某些实施例中，在把这些层加在一起之前，每一个层均被根据加权函数f(k)缩放。然后，根据
C ( x , y ) = Σ k = m n f ( k ) · I ( x , y , k ) - - - ( 7 )
执行光谱压缩操作，所述操作从光谱图像立方的第m到第n层产生复合图像C(x，y)。加权函数f(k)一般被选择成强调复合图像中的不同光谱特征；即，为了在从对复合图像中的总强度分布有贡献的光谱立方的不同层产生的特征之间生成对比。
为了产生期望的对比度可以选择多种多样的加权函数。总的来说，在某些实施例中，为f(k)选择单调增加或者减小的函数，例如线性斜坡函数或者反曲函数。在其他的实施例中，f(i)可以是双斜坡函数(即减小到一个点然后增大，或者增大到一个点然后减小)或者另外的函数，例如一个或更多个高斯函数。加权函数一般可以被按需选择，并且可以被应用到一批样本，或者可以在分类之前针对每一个样本个别选择。系统100可以包括存储用于特定类型的样本的加权函数的存储介质，所以可以按需要再次调用适于经受分类的样本的加权函数。
步骤208包括选择要被分类的图像集合。总的来说，可以选择来自光谱图像立方、解混和光谱图像立方(如果计算了)以及复合图像(如果计算了)的任何或者全部图像用于分类分析。例如，在某些实施例中，使用复合图像和光谱图像立方或解混和光谱立方图像的较小子集能够实现高准确程度样本分类。这具有以下优点：在其上运算分类算法的总数据集合被大大减小，提高了完成样本分类的速度。
在某些其他的实施例中，来自解混和光谱立方的图像可以被用于样本分类。图像可以被传递给分类算法，并且可以(虽然不总是)伴随着一个或更多个复合图像。
在某些实施例中，多于三个光谱图像可被用于样本分类。图像可以被从光谱图像立方取出，或者，如果计算了，可以被从解混和光谱图像立方取出。当样本包括多于三个不同的光谱贡献者时，这种技术可能特别有益。例如，样本可以包含四种不同的染色或者染料，或者四种不同的荧光标记。
在其他的实施例中，彩色RGB图像或者单个平面图像可被用于样本分类。单个平面图像可以是窄带的或者全色的。
分类
总的来说，分类器是把样本分配到几个输出类别其中之一的机制或者规则集合，并且它可以是任何线性或者非线性分类器。线性分类器包括最小二乘距离、马哈拉诺比斯距离(mahalanobis distance)，以及其他距离。这些可以使用，但是分类器最好是例如神经网络、遗传算法的机器学习算法，或者支持向量机。但是，经常优选神经网络，并且贯穿后续讨论神经网络将被用作例子。
神经网络一般被应用于一个或更多个区域，每一个区域一般对应于图像堆栈(如上所述，图像堆栈可以包括一个或更多个图像)中的几个像素(例如2×2像素集合，或者16×16像素集合，等等)。当在图像堆栈中存在多于一个图像时，每一个像素将包括和每一个图像相关联的值。给定的被分类区域中的所有像素的值形成了潜在地可以被应用于神经网络的输入信息的基础。因为每一个区域均包括几个像素，所以当图像堆栈包括复合图像和/或多个光谱图像时，神经网络可用的输入信息既包括空间信息也包括光谱信息。
神经网络具有一个或更多个输入结点，它通过所述输入结点接收关于要被分类的区域的信息。输入被叫作“特征向量”，其中，特征向量的每一个元素对应于神经网络的特定输入结点。特征向量的元素是被分类区域中的一个或更多个像素处的信号值的函数。下面进一步描述用于产生特征向量的适当函数的例子。
神经网络也将具有几个输出结点，每一个均对应于区域可能被指定到的类别。当给定区域的特征向量被应用于神经网络时，输出结点的值对应于该区域应该被分配到给定类别的程度。神经网络最好被训练得使输出结点值对于任何给定的特征向量是二态的，只有一个输出结点产生非零值(并指示该区域应该被分配到的类别)。
如下面更详细地描述的那样，神经网络被训练并且可以进一步被优化以减小有效且准确的分类所必需的输入结点的数量。在很多实施例中，使用解混和图像和/或一个或更多个复合图像可以导致输入结点数量的减少，因而在分类未知样本的区域时的效率更高。在某些实施例中采用的神经网络的拓扑是双极的，尽管二叉类型或者其他神经网络类型也可以被有效地使用。使用反向传播(back propagation)方法训练神经网络，在训练算法中包括动量。在某些实施例中网络的激活函数是双极反曲函数；也可以使用其他的激活函数。
在实施例中，网络通常包括0、1或2个隐藏层，所述隐藏层是具有输入结点的第一层和具有输出结点的最后层之间的层，尽管额外的隐藏层是可能的。每个隐藏层任意从1到15个结点是常见的，尽管仍可以使用额外的结点。网络的输入层使用在样本图像上标识的空间和光谱构造特征作为输入。输出层包括许多输出结点，等于被标识的类别的数量Nc。
图11是示出可在这里公开的分类方法中使用的神经网络的例子的示意图。该网络包括输入层、一个隐藏层和输出层。神经网络的输入是特征向量fm，并且结点之间的耦合强度由γk，l值给定。神经网络的输出是和图像或者图像堆栈相关联的类别。
在组织样本图像的处理中使用的网络的典型拓扑参数包括一个具有5个结点的隐藏层、0.2的学习参数，以及0.5的动量因子。例如，在ChristopherM.Bishop的“Neural Networks for Pattern Recognition”(牛津大学出版社，1995)中描述了神经网络的结构。
再次参考图2，在选择了样本将被根据其分类的图像集合(“分类图像集合”)之后，步骤210包括使用来自分类图像集合的图像训练分类器。
在给出新类型的样本供分类分析时，神经网络被训练。例如，通过显示设备118，可以向系统操作员提供针对特定样本重新训练现有网络的选择。随后将更详细地讨论训练神经网络的过程。
在训练过基于神经网络的分类器之后，步骤212包括把分类图像集合提交给分类器。分类器一般根据分类图像集合中的样本图像上存在的构造和光谱特征分类样本的部分。后面给出在分类例程中涉及的步骤的细节。
最后，步骤214包括产生样本的分类输出。分类输出可以包括例如一个或更多个图像，所述图像被构建成示出样本被不同地分类的区域之间的对比度。另外，或者此外还有，分类输出可以包括指示样本中存在或不存在特定元素(即被染色或标记的结构)的警告声音或者消息。输出也可以包括指示在样本中存在的区域类型、其相对丰度以及描述样本的其他数字参数的数值数据。
训练神经网络
图3是流程图300，包括用于训练神经网络分类器的步骤。第一个步骤302包括确定在图像堆栈中寻找的类别的数量Nc。在很多实施例中，类别的数量被选择成对应于在样本内预期或者搜寻的不同状态的数量。这可以大于图像集合中的光谱平面的数量，或者它可以更小。例如，样本可以被利用三种不同的染料染色，或者利用三种不同的荧光标记来标记。在这样的样本中，人们可以根据样本的结构和性质寻求标识三个不同的类别Nc，或者两个，或者五个。基于样本的其他方面，例如信号强度、形状和构造，分类器能够解析比光谱平面的数量更多的类别Nc。
第二个步骤304包括在样本图像其中之一上针对每一个类别选择至少一个感兴趣的训练区域(region of interest，ROI)(假设从一个图像到下一个图像，每一个类别的ROI的像素空间坐标(x，y)相同)。训练ROI被已知对应于相应类别，并且为神经网络算法提供了参考来允许其确定每一个类别公有的特定光谱和空间特征，以便帮助分类判决。例如，在某些实施例中，通过经显示设备118和用户接口120与系统操作员的交互作用，动态地发生ROI的选择。
第三个步骤306包括选择子采样窗口尺寸。子采样窗口被用来以更精细的细节层次检查每一个被选择的ROI。在很多实施例中，子采样窗口尺寸被选择得小于所有ROI的平均长度和宽度，但是大于ROI内的单个像素。子采样窗口宽度也经常被选择成具有是2的倍数的宽度和长度，因为如果变量间隔是2的倍数，则在ROI的子采样区域上运算的傅立叶方法能够利用FFT算法。在实施例中，典型的子采样窗口尺寸包括4×4个像素、8×8个像素、16×16个像素和32×32个像素，尽管多种多样的窗口尺寸也是可能的，包括这里没有明确地列出的窗口尺寸。而且，虽然当前描述的实施例假设每一个图像的数据被针对二维的正方栅格表示，但是其他的实施例可以包括不同的数据表示和对应的窗口以及ROI尺寸。例如，数据可以被在六边栅格或者某个其他形状上表示。
接下来的一系列步骤涉及在每一个被标识的类别上进行的操作。按次序分析每一个类别。步骤308包括选择对应于当前选择的类别的ROI。步骤310包括通过利用选择的子采样窗口对ROI子采样来检查ROI。图4更详细地示出了子采样过程。被选择的ROI 400被子采样窗口402子采样，子采样窗口402在供分析的ROI 400内选择了部分图像像素。
返回图3，步骤312包括为ROI的每一个子采样区域计算并存储特征向量。特征向量包括从ROI的子采样像素计算的数的集合作为元素。每一个被计算的特征向量均对应于针对被适当地训练的神经网络将输出对应于被选择的类别的分类的特征向量。特征向量的元素一般对应于具体的构造分析特征，所述特征提供了样本图像内的区域的基础。
为了提供ROI的充分可区分的描述，可以计算很多不同的数值量。例如，在某些实施例中，对应于针对特定类别被选择的ROI的特征向量对于图像堆栈中的每一个图像可以包括10个不同的计算，从而导致了10Ni个元素，其中，Ni是图像堆栈中的图像的数量。所述10个计算中的前四个可以是从空间灰度阶依赖矩阵(spatial gray level dependency matrices，SGLDM)获取的构造分析特征，所述矩阵也被称为并发矩阵。例如，在R.M.Haralick、K.Shanmugam和I.Dinstein的“″Textural features for image classification”(IEEETrans.Syst，Man，Cybern.，vol.SMC-3，pp.610-621，1973)中描述了这种矩阵。SGLDM是图像(或其一部分)的空间直方图，它量化了图像内的灰度阶值的分布。例如，可以从二阶联合条件概率密度Sθ(I，j|d，θ)的估计计算SGLDM。这个条件概率密度的每一个值均表示具有灰度阶值i的像素在由θ描述的方向上距离具有灰度阶值j的像素d个像素。如果图像包括Ng个灰度阶，则可以生成Ni×Ni矩阵Sθ(i，j|d，θ)。作为选择，针对所选择的距离d，该矩阵可以被在一组方向θ上求和。例如，在某些实施例中，可以选择单个方向θ＝0。在其他的实施例中，可以采用例如四个方向：θ＝0、45°、90和135°。总的来说，对于特定ROI中的构造特征分析，可以选择任意数量的方向。
在某些实施例中，对于分析，距离d固定在特定值。例如，距离d可以固定在1个像素的值。在其他的实施例中，依赖于具体的构造特征的性质可以使用一系列距离。总的来说，距离d和方向θ可以被看作为了保证神经网络的更高准确性分类性能而被调整的参数。
例如，利用四个方向θ和一个像素的单个固定距离d，SGLDM可以被计算为每一个ROI中四个方向上并发矩阵之和。然后，可以从每一个SGLDM计算构造特征。例如，可以从每一个SGLDM计算的四个不同的构造特征包括能量(E)、熵(S)、局部均匀性(H)和惯量(R)。惯量值也被称作“对比度”。则在这个例子中，对于每一个ROI，角度θ集合的四个SGLDM特征可以如下计算：
E = Σ i = 0 Ng - 1 Σ j = 0 Ng - 1 [ S θ ( i , j | d ) ] 2 - - - ( 8 )
S = Σ i = 0 Ng - 1 Σ j = 0 Ng - 1 S θ ( i , j | d ) log [ S θ ( i , j | d ) ] - - - ( 9 )
H = Σ i = 0 Ng - 1 Σ j = 0 Ng - 1 1 1 + ( i - j ) 2 S θ ( i , j | d ) - - - ( 10 )
R = Σ i = 0 Ng - 1 Σ j = 0 Ng - 1 ( i - j ) 2 S θ ( i , j | d ) - - - ( 11 )
其中，Sθ(i，j|d)对应于针对距离d的SGLDM的第(i，j)个元素。对每一个图像片，所计算的值E、S、H和R可以被存储为对应于当前选择的类别的ROI的特征向量中的前4N个元素。
作为一个例子，在图9中示出了图像的2×2区域902。该区域包括4个像素，每一个像素均具有从1到4的整数强度级(即Ng＝4)。因此，二阶联合条件概率密度矩阵Sθ(i，j|d，θ)是4×4矩阵904。为了估算矩阵904的数值元素，可以选择特定的d和θ值。例如，选择θ＝0对应于沿着区域902的行估算概率。选择d＝1对应于估算区域902中被分隔开1个单元的元素(即相邻元素)的概率。在图9中示出了对于区域902选择θ＝0和d＝1，概率矩阵904的元素的值。
在区域902中，像素(1，1)具有强度值1。和像素(1，1)相关，在距离d＝1和角度θ＝0的是具有强度值3的像素(1，2)。因此，在矩阵904中位置(3，1)处的概率值是1。区域902中的像素(2，1)具有强度值1。和像素(2，1)相关，在距离d＝1和角度θ＝0的是具有强度值2的像素(2，2)。因此，在矩阵904中位置(2，1)处的概率值是1。在某些实施例中，针对ROI的特征向量中的每一个图像片的接下来的四个计算可以被从ROI的复数2D傅立叶变换的量值导出。例如，2D傅立叶变换可以被计算(例如，如果子采样窗口的宽度和长度是2的倍数，则使用2D FFT算法)，并且量值数据被存储在矩阵中，其中，DC频率分量由频域中坐标轴的原点表示。图5是子采样ROI的示意图，针对所述子采样ROI计算了2D傅立叶变换。然后，基于频率内容，2D傅立叶变换数据集合可以被划分为四个同心区域502、504、506和508。例如，最外面的区域502表示具有最高空间频率内容的样本图像部分。
每一个区域502、504、506和508中的空间频率的量值可以被积分，并对总信号量值归一化。积分的量值形成了ROI特征向量中接下来的四个元素，并且每一个均对应于一定空间频率范围内傅立叶变换信号的百分比。
总的来说，在实施例中，空间傅立叶变换数据可以被分割为任意数量的被选择频率区域(受空间Nyquist极限限制)并且这些区域的积分强度对应于图像的构造特征。这些构造特征中的一些或全部可以被包含在ROI的特征向量中。
在当前的确定特征向量的例子中剩余的两个计算可以被从一阶像素统计导出。例如，第九和第十个计算可以对应于ROI内的像素值的平均和标准差。总的来说，其他统计测量作为特征向量元素也可能是有用的。这些量可以被从一阶或者更高阶的统计测量导出(例如，从像素值的统计分布的二阶矩导出的像素值的方差)。
再次参考图3，计算对应于当前选择的类别的特征向量的每一个元素之后，特征向量被存储。接下来跟着是逻辑判决314。如果所有Nc个类别的特征向量已经被计算和存储，则采取后续的神经网络训练步骤，以步骤318开始。反之，如果特征向量还未被计算，则在步骤316中把类别指示器i递增，这等同于选择新类别及其相关联的ROI，并且在步骤308开始新选择的类别的分析。
当被标识类别的所有特征向量已经被计算，序列中接下来的步骤是步骤318，它包括选择所计算的特征向量序列用作对应于在步骤302中标识的Nc个类别的训练向量。训练向量集合可以包括对应于每一个类别的不同ROI的多个向量。但是，应该注意确保在步骤318中每一个被标识的类别向训练集合贡献相同数量的不同训练向量。为了确保针对样本图像中的不同的类别以公正的方式训练神经网络，平衡序列集合中不同训练向量的相对丰度很重要。
在步骤320中，训练向量集合被提交给基于神经网络的分类器供分类。向量以随机顺序被逐个分类，并且针对每一个向量，神经网络给出该向量属于什么类别的输出估计，并且这被与对应于该向量的实际已知类别对照。网络输出和实际类别之间的差别叫做误差。然后，网络被使用例如梯度下降反向传播或者其他的误差调整技术的方法进行调整，所述方法调整网络值并产生减小的误差值。当所有的训练ROI已经被网络分配，则在步骤322中可以由操作员人工地或者通过计算指示例如什么样百分比的ROI被正确分类的分数自动地确定分类准确性。
逻辑步骤324包括基于训练ROI的分类准确性的判决。如果准确性高于选择的阈值(例如在某些实施例中它可以被设置为100％准确性)，则神经网络被视为已被适当地训练，并且训练序列在步骤326完成。但是，如果准确性落在选择的阈值以下，则重复涉及训练ROI的分类的步骤。即，像在步骤318中那样准备训练向量，并且神经网络对这些ROI的测试分类再次开始。向量可以是在初始训练中使用的同一集合，或者可以是不同的向量集合。只要误差网络调整持续提高分类准确性，则单个集合上的重复训练是有成效的。在很多实施例中，在第一个训练ROI集合上实现100％准确性。但是，如果期望，则成功训练的阈值可以被设置得低于100％。如果针对训练ROI人们不具备类别识别的完善知识，或者如果样本自身高度可变并且采用了各种各样的训练ROI，则这可能发生。
优化神经网络
成功训练基于神经网络的分类器以后，作为选择，网络可以被针对用来分类样本图像的特征的数量优化。以这种方式优化网络能够提高分类操作的效率和速度。
图6是流程图600，它包括在优化训练过的神经网络时涉及的可选的一系列步骤。第一个步骤602包括产生随机的训练向量序列来测试神经网络的性能。和从前一样，训练向量序列被构建成对应于先前标识的Nc个类别存在相等数量的向量。
步骤604包括选择神经网络分类特征的数量Nf。一开始，Nf的值一般由针对所有图像平面计算的所有特征组成，它是特征向量中的元素的数量。优化序列的后续迭代可能根据神经网络的分类性能减小Nf的值。
在步骤606中，在步骤602中产生的随机的向量序列被提交给神经网络供分类。各个向量的分类由训练过的神经网络以符合前面讨论的方式执行。针对每一个ROI计算特征向量(例如基于ROI中的一个或更多个子采样窗口)，并且ROI被根据各种被标识类别的已知特征向量分配到特定类别。在步骤608中，通过视觉检查(例如由操作员)或者通过计算正确的分类结果的比例来确定分类准确性分数。
为了评估Nf个特征中每一个相对于神经网络性能的重要性，在步骤610中计算j个分类特征中的每一个的平均特征值μj。例如，平均特征值的计算可以通过计算对应于特定类别的特征向量中的元素的平均值来完成。在执行μj的计算时特征向量中的元素可以被同样地或不同地加权。
在进一步的步骤612中，神经网络考虑下的总共Nj个特征中的每一个特征j的加权贡献Wj被根据
W j Σ k = 1 N f μ j γ k - - - ( 12 )
计算，其中，γk值是神经网络中结点到结点耦合常数。使用等式(12)，可以估算每一个特征(它一般对应于类别)的加权贡献。在步骤614中，具有最小加权贡献Ws的分类特征s被标识为“最弱”分类特征，并被从神经网络所考虑的分类特征集合中去除。
在步骤616和618中，根据先前讨论的过程产生新的随机训练向量序列，并且训练向量被修改过的神经网络分类，所述神经网络现在包括少了一个的特征。在向量的分类以后确定分类准确性分数。
在逻辑步骤620中，分类准确性分数被与选择的准确性阈值对照。如果准确性分数高于该阈值，则认为被去除的特征足够不重要以至于它可以被从神经网络的考虑中永远去除。在步骤622中神经网络分类特征Nj的数量被减小1，并且逻辑流程返回步骤610，在步骤610中，针对神经网络中新减小的分类特征集合计算新的平均特征值。在某些实施例中，在逻辑流程返回步骤610之前，神经网络可以被重新训练以适应更小的特征数量。这个步骤不是必须的，但是在某些实施例中可以被采用以提高分类的准确性和/和速度。
如果准确性分数低于选择的阈值，则被去除的特征s被认为毕竟是重要的，并在步骤624中被重新导入神经网络。这在步骤626中完成了网络的优化，则网络准备好供在基于图像集合分类样本时使用。
如果在优化过程中去除了对应于给定输入图像平面的所有特征，则输入平面是冗余的，并且为了提供分类信号无需被获取。如果出于其他目的不需要该平面，则通过在进一步的测量中不获取这种平面能够获得进一步的效率上的提高。确定哪些图像平面是必须的可以在设计测量协议时被进行一次；或者，在例如样本变化性的因素可能导致什么样的图像平面在进行分类时是必须的或有帮助的设置中，在它可以在随时间发展的基础上被进行和/或复验。
使用训练过的神经网络分类
图7中示出了样本被根据其图像堆栈分类的过程。该图包括流程图700，它示出了分类过程中的一系列步骤。在步骤702中，选择样本的特定图像堆栈用于分类，并且在步骤704中，选择图像堆栈内区域的数量的Nr用于分析。在某些实施例中，被选择的区域是整个图像的子集。在其他的实施例中，可以选择整个图像用于分析。
被选择用于分析的图像堆栈可以包括一个或更多个图像。在图像堆栈中的图像可以包括一个或更多个原始频谱图像、一个或更多个复合图像，和/或一个或更多个解混和图像。例如，在某些实施例中，图像堆栈可以包括一个复合图像来提供光谱和空间信息以及一个灰度阶图像来提供空间信息。在其他的实施例中，例如，图像堆栈可以包括解混和图像集合。此外，在某些实施例中，例如，分类可以只被应用到只包含空间(没有光谱)信息的单个图像。在任何情况下，预料到被选择的图像堆栈的类型训练神经网络。
在步骤706中，选择子采样窗口的长度l和宽度w。如先前所讨论的那样，子采样窗口的长度和宽度一般被选择得小于被选择用于分析的Nj个区域中的每一个的平均长度和宽度。此外，步骤706包括选择窗口偏移增量Δl和Δw。偏移增量用来在样本图像的分类区域上平移子采样窗口以便确保区域中的每一个像素至少被分类一次。在某些实施例中，Δl和Δw的值分别都被选择得小于l和w，所以至少一些像素被多次分类，因为每一次把子采样窗口平移到新的位置均在新窗口内剩下部分前一窗口的像素。
在步骤708中，在步骤704中选择的区域其中之一被提交给训练过(作为选择，优化过)的神经网络用于分类。在步骤710中执行该窗区域中的像素的分类。分类过程是迭代的过程，其中，在被选择区域内的像素可以被临时多次分配到一个分类。如图8所示，该过程通过在被选择的区域800内定位子采样窗口802开始。子采样窗口802在x方向具有长度l，在y方向具有宽度w。偏移增量Δl和Δw分别小于子采样窗口的长度和宽度。
在子采样窗口的第一位置，使用先前讨论的方法，窗口内的每一个图像像素均被神经网络基于全部窗口区域的分类分配了临时分类。临时像素分类可以被存储在像素直方图中供将来参考。这对应于步骤710。再次参考图7，基于区域的子采样是否完成，下一个步骤是逻辑判定712。如果区域的子采样未完成，则子采样窗口被沿x和y方向分别平移了增量Δl和Δw，如步骤714中所示。然后，落入新的子采样窗口位置内的图像像素在步骤710中像从前一样被分类。
在图8的下面部分示意性地示出了该过程，其中，窗口802a表示子采样窗口的第一个位置，并且窗口802b表示平移以后窗口的第二个位置。然后像从前一样进行神经网络对第二窗口802b内的像素的分类。注意，落入阴影区域804内的像素被第二次分类，因为它们既位于窗口802a内也位于窗口802b内。图像像素的多次分类是这里所公开的方法的某些实施例的具体特征。
再次返回图7中的步骤710，各个像素的分类被再次存储在像素直方图中，然后，子采样窗口被再次平移，并且针对新的窗口位置分类过程重新开始。可以针对被选择的窗口平移数量指定重复由步骤710到步骤714组成的这个迭代过程，以建立像素分类直方图。
注意，虽然图8把和步骤714相关联的平移描绘为既具有增量Δl也具有增量Δw，但是这并非必要。例如，在某些实施例中，平移可以水平扫描，当跨过所选择区域的每一个水平扫描完成时，跟着是垂直平移，反之亦然。在某些实施例中，例如，每一个平移将对应于单个像素的步进，并且跨区域的平移一般将导致每一个像素被分类了采样窗口中的像素数量那么多次。此外，在其他的实施例中，平移无需是顺次的。例如，在选择的图像区域中，窗口平移可以是系统性的或者随机的，尽管在某些实施例中，在分类过程终止之前必须被满足的额外约束规定被选择区域内的所有像素至少应该被分类一次，并且最好是多次。但是，这样的约束是可选的，无需被强加。一旦被选择图像区域的子采样完成，则逻辑判决716基于是否样本图像堆栈的所有被选择区域已经被临时分类(例如，针对被选择图像堆栈的被选择区域中的每一个像素已经给出了临时分类的直方图)来确定动作的过程。如果有剩余的未被分类的区域，则在步骤718中递增计数器i(等同于选择未被分类区域其中之一)并且被选择区域的分类在流程图700的步骤708处开始。
另外，如果样本图像的每一个区域已经被临时分类，则初始分类过程完成并且控制转到步骤722，在步骤722中，基于每一个像素的累积直方图数据执行最终像素分类步骤。由于像素可以被多次分类的事实所致，特定像素的分类直方图中的记录可能不都相同，并且像素可以被临时分类到多于一个类别。
可以使用多种多样的算法从直方图数据为特定像素确立分类。例如，给定像素的最终分类可以是该像素最频繁地被分配到的类别。另外，可以使用直方图中的统计信息的更复杂的分析来分配最终分类。例如，像素的分类可以被确立为该像素的分类分布的平均值、中值或模。另外，更先进的统计方法，例如模糊逻辑或贝叶斯逻辑(Bayesian logic)，可以被应用于直方图数据以确定每一个图像像素的分类。
在某些实施例中，直方图(histogram)数据可被用来根据分类“标志”样本的特定区域。例如，如果特定像素的直方图数据甚至包括单个实例，其中，该像素被分类为属于特定类别，则可以采取步骤确保该像素被确定地标识。可以产生警告信息或者声音，或者，可以显示为方便识别将被标识像素高亮的样本图像。当针对例如病原或癌细胞的有害因子或结构的存在性检查组织样本时，标志技术可能特别有用。
最终步骤724包括基于步骤722的最终分类，或者更具体地，基于在较早步骤中产生的临时像素分类直方图数据产生样本的分类图。分类图可以包括例如被分类区域被高亮以提高对比度的样本图像。在某些实施例中，分类图可以包括样本的多个图像，其中，每一个图像属于被神经网络标识的特定类别的样本的那些部分。分类图也可以包括指定被分类样本区域的数值数据和诸如样本内各种类别的分布和相对丰度的统计信息。当被分类区域对应于样本内的不同结构、化学或生物实体时，这种信息特别有用。例如，分类图像图可以在显示设备118上显示，并且可以由电子控制系统114以电子形式存储在存储介质上。分类图的产生完成了分类过程，并且一般为多种多样的样本产生了准确的类别数据。
光学系统部件
系统100可以包括多种多样的用于捕获在后续分类算法中使用的样本图像的光学元件和设备。光源102可以是非相干光源，例如白炽灯、荧光灯，或者二极管。光源102也可以是相干源，例如激光源，并且相关源可以提供连续波(CW)或脉冲光。光源102可以包含用于产生具有一个范围波长的光的多个光源元件(例如多个二极管)。当由光源102产生的光是脉冲的时(即时间门控的)，可以根据从电子控制系统114通过通信线路132提供给光源102的控制信号操纵光脉冲的各种属性。光源102也可以包括各种光学元件，例如透镜、反射镜、波片和非线性晶体，它们都可以被用来产生具有所选择特性的光。总的来说，光源102包括被配置成提供具有期望的光谱、空间属性以及在某些实施例中的时间属性的光的光学元件和设备。
调光光学装置104和集光光学装置110可以包括各种光学元件，用于操纵入射在感兴趣的样本上和从其发射的光的属性。例如，调光光学装置104和集光光学装置110均可以包括光谱过滤器元件，用于从入射和被发射光中选择特定波长带。光谱过滤器元件可以包括例如安装在过滤器上的干涉过滤器。在某些实施例中，可以使用基于液晶掩模的可调过滤器元件来改变入射或被发射光的光谱属性。基于液晶的设备可以由电子控制系统114通过通信线路134和138控制。
调光光学装置104和集光光学装置110也可以包括例如空间光掩模、空间光调制器和光脉冲整形器的元件，以便操纵入射在样本上和从其发射的光的空间分布。空间光调制器和其他自适应设备也可以由电子控制系统114通过通信线路134和138控制。
最后，调光光学装置104和集光光学装置110可以包括其他的常见光学元件，例如反射镜、透镜、分束器、波片，等等，被配置成把所选择的特性传递到入射或被发射光。
总的来说，检测器112包括一个或更多个被配置成检测和捕获样本发射的光作为样本的多个图像的测量设备。检测器112可以包括例如CCD阵列和光电倍增管的设备以及其相应的控制系统，用于捕获图像。总的来说，检测器112中的自适应光学设备可以由电子控制系统114通过通信线路130控制。
软件
可以使用标准的编程技术把上面结合各种用于收集、处理、分析、解释和显示信息的方法描述的步骤实施在计算机程序中。这些成像被设计成在可编程计算机上或专门设计的集成电路上执行，所述计算机或专门设计的集成电路均包含电子处理器、数据存储系统(包括存储器和/或存储元件)、至少一个输入设备，以及至少一个输出设备，例如显示器或打印机。程序代码被应用于输入数据(例如来自检测器的图像)以执行这里描述的功能并产生输出信息(例如，示出样本图像的分类区域的图像，关于样本成分的统计信息，等等)，所述输出信息被应用于一个或更多个输出设备。每一个这种计算机程序均可以被实施在高层次过程或面向对象编程语言中，或者汇编语言或机器语言中。此外，语言可以是编译或解释语言。每一个这种计算机程序可以被存储在计算机可读存储介质上(例如CD-ROM或磁带)，所述介质在被计算机读取时能够导致计算机中的处理器执行这里描述的分析和控制功能。
例子
下面的例子旨在示范这里公开的系统和方法，决不应该被理解为限制后续权利要求的范围。
图10A示出了被根据本公开方法中的某一个分类的老鼠血液样本的例子。血液样本包括4个类别：背景1002、老鼠细胞1004、单核白细胞1006和多形核中性粒细胞(polymorphonuclear neutrophils，PMN)1008。对应于透射过样本的入射光的光谱图像集合被收集，并被从测量的强度变换为光密度(optical densities，OD)。作为结果的变换图像形成了图像数据的光谱立方。
光谱图像立方被解混和为对应于血液样本的红色成分1010和蓝色成分1012的单独图像，如图10B中所示。图10C和图10D示出了这个光谱解混和操作的结果。图10C示出了对应于红色成分1010的解混和图像的例子，并且图10D示出了对应于蓝色成分1012的解混和光谱图像的例子。
解混和步骤以后，由用作加权函数的线性斜坡函数产生复合平面，以使解混和平面和复合平面形成3-平面堆栈。接着，在图像堆栈上选择训练区域，并根据所选择的训练区域训练基于神经网络的分类器。图10E示出了叠加在样本图像上的被选择的训练区域。训练神经网络包括计算和被标识的训练区域相关的特征。在图10F中示出了这个用于训练区域的过程的扩展视图。图10F的左侧示出了包括被选择的训练区域的样本图像的扩展区域的视图。在图10F的右侧，被选择的训练区域已经被子采样，并且子采样窗口被叠加在区域上。
然后，使用基于训练过的神经网络的分类器分类图像的剩余区域。结果在图10G中示出。对应于背景类别1002、红细胞类别1004、单核白细胞类别1006和PMN类别1008的图像特征都被使用基于神经网络的分类器准确地确定和标识。
在另一个例子中，从光谱图像的同一图像立方产生了3-平面RGB图像，并且RGB图像的被选择区域被用来训练和优化神经网络。通过对蓝色中的所有光谱带求和形成蓝色平面、对绿色中的所有光谱带求和形成绿色平面和对红色中的所有光谱带求和形成红色平面，产生了这个RGB图像。结果模拟了如果场景被用常规RGB照相机成像将导致的内容。然后，使用被训练和优化过的神经网络分类复合图像的剩余部分。图10H示出了RGB图像，并且图10I示出了被执行的分类操作的结果。对应于背景类别1002、红细胞类别1004、单核白细胞类别1006和PMN类别1008的图像特征都被使用基于神经网络的分类器准确地确定和标识。
这里公开的自动化方法提供了用于分类血液样本的有效手段。
已经描述了本发明的许多实施例。尽管如此，将会理解不偏离本发明的精神和范围可以做出各种修改。因此，其他的实施例在下列权利要求的范围内。
本申请要求由Richard Levenson和Clifford C.Hoyt在2005年1月27日递交的名为“用于分类被标记的病理学和细胞学组织切片的方法”的No.60/647,729号美国临时专利申请的优先权，该申请的全部内容通过引用被包含于此。

Claims (42)

1.一种基于包含样本的一个或更多个图像的图像堆栈，把样本的不同区域分类到相应类别的方法，该方法包含：
在图像堆栈内定位采样窗口，以便选择图像堆栈的第一部分用于分类，所述第一部分包含多个像素；
把所述第一部分分类到几个类别其中之一，其中所述第一部分中的每一个像素均被临时分类为具有和所述第一部分相同的类别；
平移采样窗口以便选择图像堆栈的第二部分用于分类，并把第二部分分类到几个类别其中之一，其中，第二部分中的每一个像素均被临时分类为具有和第二部分相同的类别；
针对图像堆栈的除第一部分和第二部分之外的部分重复所述平移和分类，直到图像堆栈中的一个或更多个像素已经被多次临时分类为被采样窗口选择的不同部分的一部分为止；以及
基于多次临时分类把样本的各区域分类到相应类别其中之一，该样本的各区域对应于已经被多次临时分类的一个或更多个像素。
2.如权利要求1所述的方法，在分类之前还包含：
把样本的光谱图像集合分解为解混和图像集合，其中解混和图像集合的每一个成员对应于来自样本中不同成分的光谱贡献，
其中，用于分类的图像堆栈中的图像包含一个或更多个解混和图像。
3.如权利要求2所述的方法，其中用于分类的图像堆栈中的图像包含两个或更多个解混和图像。
4.如权利要求1所述的方法，其中被采样窗口选择的不同部分包含相同数量的像素。
5.如权利要求1所述的方法，其中被采样窗口选择的不同部分中的至少一些彼此重叠。
6.如权利要求1所述的方法，其中每一个像素的临时分类可以被表述为指示像素被临时分类到每一个类别的次数的直方图。
7.如权利要求1所述的方法，其中按照所述一个或更多个像素最经常被临时分类到的类别来对所述样本的各区域进行分类。
8.如权利要求1所述的方法，其中所述一个或更多个像素被临时分类的次数可以大于2并且不大于采样窗口中的像素数量。
9.如权利要求8所述的方法，其中所述一个或更多个像素被临时分类的次数等于采样窗口中的像素数量。
10.如权利要求1所述的方法，其中图像堆栈包含多于三个的光谱图像，并且，基于所述光谱图像而把所述样本的不同区域分类到相应类别，其中每一个区域对应于一个或更多个像素，使得每一个分类既涉及光谱信息也涉及空间信息。
11.如权利要求1所述的方法，在分类之前还包含：
基于样本的光谱图像集合产生复合图像，
其中，集合中的两个或更多个不同光谱图像的空间强度被不同地加权和组合以产生复合图像，和
其中，图像堆栈中的一个或更多个图像包含所述复合图像。
12.如权利要求11所述的方法，其中光谱图像集合包含n个图像，并且其中，用于分类的图像堆栈中的一个或更多个图像包含少于n个图像。
13.如权利要求11所述的方法，其中，通过根据随光谱波长单调地变化的函数对集合中的两个或更多个不同光谱图像的空间强度进行加权产生复合图像。
14.如权利要求1所述的方法，其中神经网络被用于分类。
15.如权利要求1所述的方法，其中图像堆栈中的一个或更多个图像包含一个或更多个光谱图像。
16.如权利要求15所述的方法，其中，基于从图像堆栈得出的光谱信息和空间信息而对图像堆栈的被选择部分进行分类。
17.如权利要求1所述的方法，其中图像堆栈只包含一个图像。
18.如权利要求1所述的方法，其中图像堆栈包含RGB图像。
19.如权利要求1所述的方法，还包含产生示出样本的被分类区域的输出图像。
20.如权利要求1所述的方法，还包含获取图像堆栈中的一个或更多个图像。
21.如权利要求20所述的方法，其中通过测量透射过样本或从样本反射的光来获取图像。
22.如权利要求20所述的方法，其中通过测量来自样本的荧光发射获取图像。
23.如权利要求15所述的方法，其中样本包含具有不同的吸收和发射光谱的成分。
24.如权利要求13所述的方法，其中加权函数是随着光谱波长线性变化的斜坡函数。
25.如权利要求11所述的方法，其中两个或更多个不同光谱图像的空间强度被根据随着光谱波长非单调变化的函数进行加权。
26.如权利要求25所述的方法，其中加权函数包含随着光谱波长单调变化的第一部分和随着光谱波长单调变化的第二部分，其中，加权函数的第一和第二部分的斜率具有相反的符号。
27.如权利要求26所述的方法，其中加权函数是高斯函数。
28.如权利要求11所述的方法，其中选择加权函数以便增强从两个或更多个不同的光谱图像贡献给复合图像的特征之间的对比度。
29.如权利要求11所述的方法，其中图像堆栈中的图像包含两个或更多个复合图像。
30.如权利要求1所述的方法，其中，样本是组织切片。
31.如权利要求15所述的方法，其中样本区域被分类的类别数量等于样本中不同的光谱贡献者的数量。
32.如权利要求31所述的方法，其中不同的光谱贡献者包括化学染料或者荧光标记。
33.如权利要求14所述的方法，其中把样本的各区域分类到几个类别包含：标识对应于所述几个类别中的每一个类别的图像堆栈的被选择区域，基于被选择的区域训练神经网络识别这些类别，和把训练过的神经网络应用于图像堆栈的除被选择区域之外的区域。
34.如权利要求14所述的方法，其中对神经网络的输入信息包括特征向量，该特征向量具有一个或更多个基于计算图像堆栈中对应的一个图像的至少一个空间灰度级依赖矩阵的元素。
35.如权利要求14所述的方法，其中对神经网络的输入信息包括特征向量，该特征向量具有一个或更多个基于计算图像堆栈中对应的一个图像的二维傅立叶变换的元素。
36.如权利要求15所述的方法，其中光谱图像是根据不同的用于发射的光谱指数的样本发射的图像。
37.如权利要求15所述的方法，其中光谱图像是根据不同的导致发射的样本的照射光谱指数的样本发射的图像。
38.一种将包含样本的一个或更多个图像的图像堆栈分类到相应类别的方法，该方法包含：
在图像堆栈内定位采样窗口，以便选择图像堆栈的第一部分用于分类，该第一部分包括多个像素；
把所述第一部分分类到几个类别其中之一，其中所述第一部分中的多个像素中的每一个像素均被临时分类为具有和所述第一部分相同的类别；
平移采样窗口以便选择图像堆栈的第二部分用于分类，该第二部分包括多个像素；
把所述第二部分分类到几个类别其中之一，其中所述第二部分中的多个像素中的每一个像素均被临时分类为具有和所述第二部分相同的类别；
针对图像堆栈的除第一部分和第二部分之外的部分重复所述平移和分类，直到图像堆栈中的一个或更多个像素已经被多次临时分类；以及
确定所述一个或更多个像素的最终类别，该最终类别对应于已经被多次临时分类的所述一个或更多个像素被分类到的几个类别其中之一。
39.一种基于包含样本的一个或更多个图像的图像堆栈，把样本的不同区域分类到相应类别的设备，该设备包含：
用于获取所述样本的一个或更多个图像的装置；和
电子处理器，用于分析所述图像堆栈，并且基于所述图像堆栈把所述样本的不同区域分类到相应类别，该电子处理器包括：
用于在图像堆栈内定位采样窗口，以便选择图像堆栈的第一部分用于分类的装置，被选择的部分包含多个像素；
用于把所述第一部分分类到几个类别其中之一的装置，其中所述第一部分中的每一个像素均被临时分类为具有和所述第一部分相同的类别；
用于平移采样窗口以便选择图像堆栈的第二部分用于分类，并把第二部分分类到几个类别其中之一的装置，其中，第二部分中的每一个像素均被临时分类为具有和第二部分相同的类别；
用于针对图像堆栈的除第一部分和第二部分之外部分重复所述平移和分类，直到图像堆栈中的一个或更多个像素已经被多次临时分类为被采样窗口选择的不同部分的一部分为止的装置；以及
用于基于多次临时分类把样本的各区域分类到相应类别其中之一的装置，该样本的各区域对应于已经被多次临时分类的一个或更多个像素。
40.如权利要求39所述的设备，其中用于获取样本的一个或更多个图像的装置包含用于从样本获取光谱分辨发射图像的装置。
41.如权利要求39所述的设备，其中用于获取样本的一个或更多个图像的装置包含用于从样本获取对应于样本的不同光谱照射的图像的装置。
42.如权利要求39-41中任一项所述的设备，其中：
用于获取样本的一个或更多个图像的装置获取样本的一个或更多个光谱图像，并且，其中，所述电子处理器基于所获取的光谱图像分析图像堆栈，并且基于该图像堆栈把样本的各区域分类到相应类别其中之一。
CN2006800101487A 2005-01-27 2006-01-27 对样本图像的特征进行分类的方法和设备 Active CN101151623B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US64772905P 2005-01-27 2005-01-27
US60/647,729 2005-01-27
PCT/US2006/003197 WO2006081547A1 (en) 2005-01-27 2006-01-27 Classifying image features

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2010101644826A Division CN101916359B (zh) 2005-01-27 2006-01-27 把样本的不同区域分类到相应类别的方法和设备

Publications (2)

Publication Number Publication Date
CN101151623A CN101151623A (zh) 2008-03-26
CN101151623B true CN101151623B (zh) 2010-06-23

Family

ID=36274076

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2010101644826A Active CN101916359B (zh) 2005-01-27 2006-01-27 把样本的不同区域分类到相应类别的方法和设备
CN2006800101487A Active CN101151623B (zh) 2005-01-27 2006-01-27 对样本图像的特征进行分类的方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2010101644826A Active CN101916359B (zh) 2005-01-27 2006-01-27 把样本的不同区域分类到相应类别的方法和设备

Country Status (5)

Country Link
US (5) US7555155B2 (zh)
EP (3) EP3444751A3 (zh)
CN (2) CN101916359B (zh)
AT (1) ATE527619T1 (zh)
WO (1) WO2006081547A1 (zh)

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002093143A2 (en) 2001-05-17 2002-11-21 Xenogen Corporation Method and apparatus for determining target depth, brightness and size within a body region
US7088872B1 (en) 2002-02-14 2006-08-08 Cogent Systems, Inc. Method and apparatus for two dimensional image processing
EP1376484A1 (en) * 2002-06-25 2004-01-02 Mars Incorporated Method and apparatus for processing signals in testing currency items
US7616985B2 (en) * 2002-07-16 2009-11-10 Xenogen Corporation Method and apparatus for 3-D imaging of internal light sources
US7599731B2 (en) * 2002-07-16 2009-10-06 Xenogen Corporation Fluorescent light tomography
WO2006081547A1 (en) * 2005-01-27 2006-08-03 Cambridge Research And Instrumentation, Inc. Classifying image features
US8219940B2 (en) * 2005-07-06 2012-07-10 Semiconductor Insights Inc. Method and apparatus for removing dummy features from a data structure
US8131477B2 (en) 2005-11-16 2012-03-06 3M Cogent, Inc. Method and device for image-based biological data quantification
US20070135999A1 (en) * 2005-12-13 2007-06-14 Applied Spectral Imaging Ltd. Method, apparatus and system for characterizing pathological specimen
EP1990630B1 (en) * 2006-02-23 2022-08-24 Nikon Corporation Spectrum image processing method, spectrum image processing program, and spectrum imaging system
EP1988383B1 (en) * 2006-02-23 2020-09-30 Nikon Corporation Spectrum image processing method, computer-executable spectrum image processing program, and spectrum imaging system
US10335038B2 (en) * 2006-08-24 2019-07-02 Xenogen Corporation Spectral unmixing for in-vivo imaging
US10775308B2 (en) 2006-08-24 2020-09-15 Xenogen Corporation Apparatus and methods for determining optical tissue properties
WO2008039758A2 (en) * 2006-09-25 2008-04-03 Cambridge Research & Instrumentation, Inc. Sample imaging and classification
US8244021B2 (en) * 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
EP2109856B1 (en) * 2007-02-05 2019-01-16 Siemens Healthcare Diagnostics Inc. System and method for cell analysis in microscopy
EP2143036A4 (en) * 2007-04-02 2012-01-18 Univ Pennsylvania MISCELLANEOUS IMAGE RECORDING OF A CHARACTERIZED ENSEMBLE
US8275179B2 (en) 2007-05-01 2012-09-25 3M Cogent, Inc. Apparatus for capturing a high quality image of a moist finger
US8411916B2 (en) * 2007-06-11 2013-04-02 3M Cogent, Inc. Bio-reader device with ticket identification
WO2009039450A1 (en) * 2007-09-21 2009-03-26 Aperio Technologies, Inc. Improved image quality for diagnostic resolution digital slide images
US8330087B2 (en) * 2007-10-16 2012-12-11 Cambridge Research & Instrumentation, Inc. Spectral imaging system with dynamic optical correction
US8224468B2 (en) * 2007-11-02 2012-07-17 Caterpillar Inc. Calibration certificate for virtual sensor network (VSN)
US8036764B2 (en) * 2007-11-02 2011-10-11 Caterpillar Inc. Virtual sensor network (VSN) system and method
US20090226059A1 (en) * 2008-02-12 2009-09-10 Richard Levenson Tissue Processing And Assessment
US8103081B2 (en) * 2008-03-10 2012-01-24 Cambridge Research & Instrumentation, Inc. Classification of samples
US8238639B2 (en) * 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
US8379944B2 (en) * 2008-04-29 2013-02-19 Siemens Healthcare Diagnostics Inc. Identification, classification and counting of targets of interest in multispectral image data
CN104939806B (zh) 2008-05-20 2021-12-10 大学健康网络 用于基于荧光的成像和监测的装置和方法
US8706188B2 (en) * 2008-06-04 2014-04-22 The Board Of Trustees Of The Leland Stanford Junior University Automatic segmentation of articular cartilage from MRI
US8199999B2 (en) 2008-06-17 2012-06-12 Cambridge Research & Instrumentation, Inc. Image classifier training
US20100014755A1 (en) * 2008-07-21 2010-01-21 Charles Lee Wilson System and method for grid-based image segmentation and matching
US8644580B2 (en) 2008-08-07 2014-02-04 Cambridge Research & Instrumentation, Inc. Detection of RNA in tissue samples
US7917333B2 (en) 2008-08-20 2011-03-29 Caterpillar Inc. Virtual sensor network (VSN) based control system and method
US8280134B2 (en) 2008-09-22 2012-10-02 Cambridge Research & Instrumentation, Inc. Multi-spectral imaging including at least one common stain
US20100329535A1 (en) * 2009-06-26 2010-12-30 Marc Macenko Methods, Systems and Computer Program Products for Analyzing Histology Slide Images
JP5220705B2 (ja) * 2009-07-23 2013-06-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US8457414B2 (en) * 2009-08-03 2013-06-04 National Instruments Corporation Detection of textural defects using a one class support vector machine
US9002077B2 (en) * 2009-08-10 2015-04-07 Cambridge Research & Instrumentation, Inc. Visualization of stained samples
FR2952217B1 (fr) * 2009-10-29 2011-12-30 Galderma Res & Dev Dispositif et procede de compensation de relief d'images hyper-spectrales.
FR2952216B1 (fr) * 2009-10-29 2011-12-30 Galderma Res & Dev Procede et dispositif d'analyse d'images hyper-spectrales
US10787701B2 (en) 2010-04-05 2020-09-29 Prognosys Biosciences, Inc. Spatially encoded biological assays
US20190300945A1 (en) 2010-04-05 2019-10-03 Prognosys Biosciences, Inc. Spatially Encoded Biological Assays
US8462981B2 (en) 2010-04-07 2013-06-11 Cambridge Research & Instrumentation, Inc. Spectral unmixing for visualization of samples
US9541504B2 (en) 2010-08-05 2017-01-10 Cambridge Research & Instrumentation, Inc. Enhancing visual assessment of samples
AU2012208912B2 (en) * 2011-01-18 2016-03-03 Holland Bloorview Kids Rehabilitation Hospital Method and device for swallowing impairment detection
ES2928897T3 (es) * 2011-03-04 2022-11-23 Lbt Innovations Ltd Método y software para analizar el crecimiento microbiano
EP2697737B1 (en) * 2011-04-12 2019-07-31 Tripath Imaging, Inc. Method for optimization of quantitative video-microscopy and associated system
GB201106254D0 (en) 2011-04-13 2011-05-25 Frisen Jonas Method and product
CN102293199A (zh) * 2011-04-27 2011-12-28 上海制皂(集团)如皋有限公司 一种消毒液及其制备方法
US8793004B2 (en) 2011-06-15 2014-07-29 Caterpillar Inc. Virtual sensor system and method for generating output parameters
JP6053272B2 (ja) * 2011-10-19 2016-12-27 オリンパス株式会社 顕微鏡装置
US9477664B2 (en) * 2011-10-31 2016-10-25 Nokia Technologies Oy Method and apparatus for querying media based on media characteristics
US11021737B2 (en) 2011-12-22 2021-06-01 President And Fellows Of Harvard College Compositions and methods for analyte detection
US9060685B2 (en) * 2012-03-26 2015-06-23 Nec Laboratories America, Inc. Whole tissue classifier for histology biopsy slides
US9593982B2 (en) 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
CN102722718B (zh) * 2012-05-22 2014-04-02 天津大学 一种细胞分类方法
US8908919B2 (en) 2012-05-29 2014-12-09 The Johns Hopkins University Tactical object finder
DE102012218382B4 (de) 2012-10-09 2015-04-23 Leica Microsystems Cms Gmbh Verfahren zum Festlegen eines Lasermikrodissektionsbereichs und zugehöriges Lasermikrodissektionssystem
US9322777B2 (en) * 2012-10-29 2016-04-26 Tokitae Llc Systems, devices, and methods employing angular-resolved scattering and spectrally resolved measurements for classification of objects
JP6235886B2 (ja) 2013-01-08 2017-11-22 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
CN105103190B (zh) 2013-01-10 2018-07-17 加利珀生命科学股份有限公司 全视野载玻片多光谱成像系统和方法
US10964001B2 (en) * 2013-01-10 2021-03-30 Akoya Biosciences, Inc. Multispectral imaging systems and methods
US9621760B2 (en) 2013-06-07 2017-04-11 Digimarc Corporation Information coding and decoding in spectral differences
DK3013984T3 (da) 2013-06-25 2023-06-06 Prognosys Biosciences Inc Metode til bestemmelse af spatiale mønstre i biologiske targets i en prøve
US9147132B2 (en) 2013-09-11 2015-09-29 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
US9412005B2 (en) 2013-10-25 2016-08-09 Gooch & Housego Plc Use of error image for unmixing artifact removal in linear spectral unmixing
EP3129896B1 (en) * 2014-04-09 2024-02-14 Entrupy Inc. Authenticating physical objects using machine learning from microscopic variations
US20170052106A1 (en) * 2014-04-28 2017-02-23 The Broad Institute, Inc. Method for label-free image cytometry
US20150331930A1 (en) * 2014-05-16 2015-11-19 Here Global B.V. Method and apparatus for classification of media based on metadata
CA2944831C (en) * 2014-05-30 2019-12-31 Ventana Medical Systems, Inc. An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
WO2016007739A1 (en) 2014-07-09 2016-01-14 Caliper Life Sciences, Inc. Pure spectrum extraction from biological samples
JP6769949B2 (ja) 2014-07-24 2020-10-14 ユニバーシティー ヘルス ネットワーク 診断目的のためのデータの収集および解析
US10311328B2 (en) 2014-07-29 2019-06-04 Hewlett-Packard Development Company, L.P. Method and apparatus for validity determination of a data dividing operation
US10113910B2 (en) * 2014-08-26 2018-10-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US10719727B2 (en) * 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
WO2016061586A1 (en) * 2014-10-17 2016-04-21 Cireca Theranostics, Llc Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
EP3227830B8 (en) * 2014-12-03 2020-07-01 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
US9779330B2 (en) * 2014-12-26 2017-10-03 Deere & Company Grain quality monitoring
CN104613944B (zh) * 2015-01-27 2017-01-18 电子科技大学 一种基于gwr和bp神经网络的分布式水深预测方法
US9916772B1 (en) * 2015-01-29 2018-03-13 Schell Games Llc Atomic and molecular modeling system
US10458990B1 (en) 2015-03-06 2019-10-29 Scanit Technologies, Inc. Spore state discrimination
CN105938558B (zh) * 2015-03-06 2021-02-09 松下知识产权经营株式会社 学习方法
US9933351B2 (en) 2015-03-06 2018-04-03 Scanit Technologies, Inc. Personal airborne particle monitor with quantum dots
US10684209B1 (en) 2015-03-06 2020-06-16 Scanit Technologies, Inc. Particle collection media cartridge with tensioning mechanism
ES2935860T3 (es) 2015-04-10 2023-03-13 Spatial Transcriptomics Ab Análisis de ácidos nucleicos múltiplex, espacialmente distinguidos de especímenes biológicos
US10074041B2 (en) * 2015-04-17 2018-09-11 Nec Corporation Fine-grained image classification by exploring bipartite-graph labels
WO2016201113A1 (en) * 2015-06-09 2016-12-15 Scanit Technologies, Inc. Personal airborne particle monitor with quantum dots
JP6870826B2 (ja) * 2016-01-28 2021-05-12 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 側方多視点から試料を定量化するように構成された方法及び装置
CN105651679A (zh) * 2016-02-04 2016-06-08 华中农业大学 一种基于高光谱成像技术对培养基上的细菌菌落进行快速分类的方法
WO2017189525A1 (en) 2016-04-25 2017-11-02 President And Fellows Of Harvard College Hybridization chain reaction methods for in situ molecular detection
US11352667B2 (en) 2016-06-21 2022-06-07 10X Genomics, Inc. Nucleic acid sequencing
US11035870B2 (en) * 2016-07-25 2021-06-15 Siemens Healthcare Diagnostics Inc. Systems, methods and apparatus for identifying a specimen container cap
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CA3039858C (en) 2016-10-20 2023-06-06 Optina Diagnostics, Inc. Method and system for detecting an anomaly within a biological tissue
US10806334B2 (en) 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
US9738937B1 (en) 2017-03-31 2017-08-22 Cellmax, Ltd. Identifying candidate cells using image analysis
US10909723B2 (en) * 2017-06-13 2021-02-02 X-Rite, Incorporated Hyperspectral imaging spectrophotometer and system
US10936921B2 (en) * 2017-06-15 2021-03-02 Spynsite Llc Machine learning and/or image processing for spectral object classification
CN107389638A (zh) * 2017-07-25 2017-11-24 潍坊学院 一种显微荧光光谱成像海洋浮游植物原位分类识别方法及装置
WO2019028004A1 (en) 2017-07-31 2019-02-07 Smiths Detection Inc. SYSTEM FOR DETERMINING THE PRESENCE OF A SUBSTANCE OF INTEREST IN A SAMPLE
CN107590472B (zh) * 2017-09-19 2024-04-05 中国科学院西安光学精密机械研究所 基于推扫式光谱成像仪的光谱分类器及分类方法
WO2019064040A1 (en) 2017-09-29 2019-04-04 Nanovare Sas DEVICES AND METHODS FOR ANALYZING MALE INFERTILITY
WO2019068880A1 (en) 2017-10-06 2019-04-11 Cartana Ab RNA MATRIX LIGATION
US10803984B2 (en) 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
US11422094B2 (en) * 2018-01-11 2022-08-23 Universiteit Hasselt Analysis of data obtained by fluorescence fluctuation microscopy from a plurality of dyes
US20210199643A1 (en) * 2018-01-16 2021-07-01 Hewlett-Packard Development Company, L.P. Fluid classification
CN108268667A (zh) * 2018-02-26 2018-07-10 北京小米移动软件有限公司 音频文件聚类方法及装置
EP3776342A4 (en) * 2018-03-30 2021-06-09 The Regents of the University of California METHOD AND SYSTEM FOR DIGITAL COLORING OF MARK-FREE FLUORESCENT IMAGES USING DEPTH LEARNING
WO2019213618A1 (en) 2018-05-03 2019-11-07 Akoya Biosciences, Inc. Multispectral sample imaging
US10957523B2 (en) * 2018-06-08 2021-03-23 Thermo Finnigan Llc 3D mass spectrometry predictive classification
WO2020019134A1 (zh) * 2018-07-23 2020-01-30 太平洋未来科技（深圳）有限公司 光照信息的优化方法、装置及电子设备
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
CN109034274B (zh) * 2018-08-30 2021-01-22 深圳大学 提升高光谱图像分类精度的方法、装置、设备及存储介质
US11197417B2 (en) * 2018-09-18 2021-12-14 Deere & Company Grain quality control system and method
US11818982B2 (en) 2018-09-18 2023-11-21 Deere & Company Grain quality control system and method
US20210350875A1 (en) * 2018-09-20 2021-11-11 The Trustees Of Princeton University High throughput method and system for mapping intracellular phase diagrams
EP3640837A1 (en) * 2018-10-15 2020-04-22 Koninklijke Philips N.V. System for co-registration of medical images using a classifier
US10963757B2 (en) * 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
US11346755B2 (en) 2019-01-10 2022-05-31 Travera, Inc. Calibration of a functional biomarker instrument
CN109871871B (zh) * 2019-01-16 2021-08-27 南方科技大学 基于光学神经网络结构的图像识别方法、装置及电子设备
CN110232166B (zh) * 2019-01-18 2023-01-31 华东理工大学 一种基于特征选择的皮带秤误差源分析方法
CN109740018B (zh) * 2019-01-29 2021-03-02 北京字节跳动网络技术有限公司 用于生成视频标签模型的方法和装置
US10753875B1 (en) 2019-01-31 2020-08-25 Rarecyte, Inc. Spectral unmixing of spectroscopic emission images
US10345237B1 (en) 2019-01-31 2019-07-09 Rarecyte, Inc. Spectral edge detection
WO2020163397A2 (en) 2019-02-04 2020-08-13 Akoya Biosciences, Inc. Analyte detection by selective labeling of biological samples
CN109903280B (zh) * 2019-02-27 2020-09-29 上海联影智能医疗科技有限公司 肿瘤确定系统、方法及存储介质
US11328422B2 (en) * 2019-03-22 2022-05-10 Becton, Dickinson And Company Spectral unmixing of fluorescence imaging using radiofrequency-multiplexed excitation data
WO2020240025A1 (en) 2019-05-31 2020-12-03 Cartana Ab Method of detecting target nucleic acid molecules
WO2021007808A1 (en) * 2019-07-17 2021-01-21 Shanghai United Imaging Healthcare Co., Ltd. System and method for synthesizing a projection image
CN110476826B (zh) * 2019-09-20 2021-08-27 成都泰盟软件有限公司 一种跟踪动物自转圈的方法
US11481584B2 (en) * 2020-01-15 2022-10-25 Vmware, Inc. Efficient machine learning (ML) model for classification
JP2023517309A (ja) * 2020-03-06 2023-04-25 ボストンジーン コーポレイション 多重免疫蛍光イメージングを使用する組織特性の決定
US11393182B2 (en) 2020-05-29 2022-07-19 X Development Llc Data band selection using machine learning
US11526785B2 (en) 2020-06-22 2022-12-13 Vmware, Inc. Predictability-driven compression of training data sets
AU2021314130A1 (en) 2020-07-20 2023-02-23 Akoya Biosciences, Inc. Processing and imaging tissue samples
JP2022062821A (ja) * 2020-10-09 2022-04-21 セイコーエプソン株式会社 画像解析装置、画像解析方法、及び画像解析プログラム
US20220155311A1 (en) 2020-11-18 2022-05-19 Akoya Biosciences, Inc. Multiplexed Imaging with Nanobody Probes
EP4006142A1 (en) 2020-11-25 2022-06-01 Pera Labs Medikal Arastirma ve Gelistirme Limited Sirketi Analysis of seminal samples, method and system
EP4005672A1 (en) 2020-11-25 2022-06-01 Pera Labs Medikal Arastirma ve Gelistirme Limited Sirketi A device for separating and analyzing seminal sample, system and method
CN112488939A (zh) * 2020-11-27 2021-03-12 深圳市中博科创信息技术有限公司 图像处理方法、终端设备及存储介质
US20230130371A1 (en) 2021-08-03 2023-04-27 Akoya Biosciences, Inc. RNA Detection by Selective Labeling and Amplification
US20230070945A1 (en) * 2021-09-03 2023-03-09 Travera, Inc. Cellular measurement calibration and classification
US11530974B1 (en) 2021-11-01 2022-12-20 Travera, Inc. Cellular measurement, calibration, and classification
WO2023086411A1 (en) * 2021-11-10 2023-05-19 University Of Washington Camera probe navigation within cavity
WO2023118440A1 (en) * 2021-12-23 2023-06-29 Radiometer Medical Aps Biological fluid analyser with light-setting-based cell classification

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4379233A (en) 1981-05-27 1983-04-05 Trebor Industries, Inc. Optical arrangement for quantitative analysis instrument utilizing pulsed radiation emitting diodes
US4519707A (en) 1983-01-31 1985-05-28 General Dynamics, Pomona Division Multi-spectral target detection system with common collecting means
US4669878A (en) 1984-06-29 1987-06-02 American Monitor Corporation Automatic monochromator-testing system
US4800279A (en) 1985-09-13 1989-01-24 Indiana University Foundation Methods and devices for near-infrared evaluation of physical properties of samples
FI77736C (fi) 1987-06-25 1989-04-10 Valtion Teknillinen Foerfarande foer reglering av straolkaella och reglerbar straolkaella.
SE8900612D0 (sv) 1989-02-22 1989-02-22 Jonas Johansson Vaevnadskarakterisering utnyttjande ett blodfritt fluorescenskriterium
DE3924060A1 (de) 1989-07-21 1991-01-24 Bodenseewerk Perkin Elmer Co Atomabsorptions-spektralphotometer fuer die multielementanalyse
US5042893A (en) 1990-11-09 1991-08-27 Hewlett-Packard Company Direct mount coupling to a spectrophotometer
US5137364A (en) 1991-01-31 1992-08-11 Mccarthy Cornelius J Optical spectral analysis apparatus
US5719024A (en) 1993-08-18 1998-02-17 Applied Spectral Imaging Ltd. Method for chromosome classification by decorrelation statistical analysis and hardware therefore
US5784162A (en) 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US5991028A (en) * 1991-02-22 1999-11-23 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for cell classification
US6198532B1 (en) 1991-02-22 2001-03-06 Applied Spectral Imaging Ltd. Spectral bio-imaging of the eye
CA2042075C (en) 1991-05-08 2001-01-23 Branko Palcic Endoscopic imaging system
US5424545A (en) 1992-07-15 1995-06-13 Myron J. Block Non-invasive non-spectrophotometric infrared measurement of blood analyte concentrations
US5433197A (en) 1992-09-04 1995-07-18 Stark; Edward W. Non-invasive glucose measurement method and apparatus
EP0767361B1 (en) 1993-07-22 2000-02-23 Applied Spectral Imaging Ltd. Method and apparatus for spectral imaging
US5912165A (en) * 1993-08-18 1999-06-15 Applied Spectral Imaging Ltd Method for chromosome classification by decorrelaiton statistical analysis and hardware therefore
US5995645A (en) 1993-08-18 1999-11-30 Applied Spectral Imaging Ltd. Method of cancer cell detection
US6690817B1 (en) 1993-08-18 2004-02-10 Applied Spectral Imaging Ltd. Spectral bio-imaging data for cell classification using internal reference
US5590660A (en) 1994-03-28 1997-01-07 Xillix Technologies Corp. Apparatus and method for imaging diseased tissue using integrated autofluorescence
US5567937A (en) 1995-07-10 1996-10-22 The United States Of America As Represented By The Secretary Of The Air Force Night vision device wavelength test pattern
US5608213A (en) 1995-11-03 1997-03-04 The United States Of America As Represented By The Secretary Of The Air Force Spectral distribution emulation
US5859700A (en) 1995-11-22 1999-01-12 Kairos Scientific, Inc. High resolution imaging microscope (HIRIM) and uses thereof
CA2236268A1 (en) * 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
ZA967500B (en) 1995-12-21 1998-03-05 Unilever Plc Device for the identification of acne, microcomedones, and bacteria on human skin.
US5838451A (en) 1995-12-22 1998-11-17 Accuracy Microsensors, Inc. Optoelectronic spectral analysis system
US5647368A (en) 1996-02-28 1997-07-15 Xillix Technologies Corp. Imaging system for detecting diseased tissue using native fluorsecence in the gastrointestinal and respiratory tract
FI103074B1 (fi) * 1996-07-17 1999-04-15 Valtion Teknillinen Spektrometri
US6466687B1 (en) * 1997-02-12 2002-10-15 The University Of Iowa Research Foundation Method and apparatus for analyzing CT images to determine the presence of pulmonary tissue pathology
JP3771344B2 (ja) 1997-02-13 2006-04-26 富士写真フイルム株式会社 蛍光電子内視鏡
US6008889A (en) 1997-04-16 1999-12-28 Zeng; Haishan Spectrometer system for diagnosis of skin disease
US6081740A (en) 1997-04-23 2000-06-27 Accumed International, Inc. Method and apparatus for imaging and sampling diseased tissue
US5999844A (en) 1997-04-23 1999-12-07 Accumed International, Inc. Method and apparatus for imaging and sampling diseased tissue using autofluorescence
US6251384B1 (en) 1997-04-28 2001-06-26 Anticancer, Inc. Metastasis models using green fluorescent protein (GFP) as a marker
US6232523B1 (en) 1997-04-28 2001-05-15 Anticancer, Inc. Metastasis models using green fluorescent protein (GFP) as a marker
US6235968B1 (en) 1997-04-28 2001-05-22 Anticancer, Inc. Metastasis models using green fluorescent protein (GFP) as a marker
US5834203A (en) 1997-08-25 1998-11-10 Applied Spectral Imaging Method for classification of pixels into groups according to their spectra using a plurality of wide band filters and hardwire therefore
WO1999013764A1 (fr) 1997-09-12 1999-03-25 Communaute Europeenne Detection et cartographie de zones enflammees de tissus vivants
US6051835A (en) 1998-01-07 2000-04-18 Bio-Rad Laboratories, Inc. Spectral imaging apparatus and methodology
US6289229B1 (en) 1998-01-20 2001-09-11 Scimed Life Systems, Inc. Readable probe array for in vivo use
US6364829B1 (en) 1999-01-26 2002-04-02 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
US6160618A (en) 1998-06-19 2000-12-12 Board Of Regents, The University Of Texas System Hyperspectral slide reader
US6142629A (en) 1998-08-30 2000-11-07 Applied Spectral Imaging Ltd. Spectral imaging using illumination of preselected spectral content
US6952499B1 (en) 1998-10-19 2005-10-04 The United States Of America As Represented By The Secretary Of The Air Force Aspire (autonomous spatial pattern identification and recognition algorithm)
US6272376B1 (en) 1999-01-22 2001-08-07 Cedars-Sinai Medical Center Time-resolved, laser-induced fluorescence for the characterization of organic material
US6236881B1 (en) 1999-04-26 2001-05-22 Contec Medical Ltd. Method and apparatus for differentiating and processing images of normal benign and pre-cancerous and cancerous lesioned tissues using mixed reflected and autofluoresced light
US6665438B1 (en) 1999-05-05 2003-12-16 American Gnc Corporation Method for hyperspectral imagery exploitation and pixel spectral unmixing
EP1200796A1 (en) 1999-07-02 2002-05-02 Cambridge Research & Instrumentation, Inc. Birefringement interferometer
USRE41333E1 (en) 1999-07-22 2010-05-11 Sensys Medical, Inc. Multi-tier method of developing localized calibration models for non-invasive blood analyte prediction
WO2001011343A1 (en) 1999-08-06 2001-02-15 Cambridge Research & Instrumentation Inc. Spectral imaging system
KR100868200B1 (ko) 2000-03-17 2008-11-12 안티캔서, 인코포레이티드 유전자 발현의 전신 광학 영상화 및 이를 사용하는 방법
US6958811B2 (en) 2000-06-29 2005-10-25 Carl Zeiss Jena Gmbh Method for the detection of dyes in fluorescence microscopy
US20060074282A1 (en) 2000-07-13 2006-04-06 Ward Kevin R Nitric-oxide detection using Raman spectroscopy
JP4133319B2 (ja) 2000-07-14 2008-08-13 ノバダック テクノロジーズ インコーポレイテッド コンパクトな蛍光内視鏡映像システム
JP3579638B2 (ja) 2000-08-08 2004-10-20 ペンタックス株式会社 内視鏡装置
GB0028491D0 (en) 2000-11-22 2001-01-10 Isis Innovation Detection of features in images
US20030123056A1 (en) 2001-01-08 2003-07-03 Barnes Donald Michael Apparatus having precision hyperspectral imaging array with active photonic excitation targeting capabilities and associated methods
US6954667B2 (en) 2001-06-28 2005-10-11 Chemimage Corporation Method for Raman chemical imaging and characterization of calcification in tissue
US6930773B2 (en) 2001-08-23 2005-08-16 Cambridge Research And Instrumentation, Inc. Spectral imaging
DE10151217B4 (de) * 2001-10-16 2012-05-16 Carl Zeiss Microlmaging Gmbh Verfahren zum Betrieb eines Laser-Scanning-Mikroskops
US6899675B2 (en) 2002-01-15 2005-05-31 Xillix Technologies Corp. Fluorescence endoscopy video systems with no moving parts in the camera
US20060241496A1 (en) 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
WO2003061711A2 (en) 2002-01-16 2003-07-31 Visen Medical, Inc. Chromophore probes for optical imaging
DE10202050A1 (de) 2002-01-18 2003-07-31 Siemens Ag Optisches Bildgebungsverfahren und Vorrichtung zur optischen Bildgebung
US7133547B2 (en) 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
US6776760B2 (en) * 2002-03-06 2004-08-17 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California Multi-mode processing for ultrasonic imaging
US6924893B2 (en) 2002-05-13 2005-08-02 Marine Biological Laboratory Enhancing polarized light microscopy
US6825930B2 (en) 2002-06-04 2004-11-30 Cambridge Research And Instrumentation, Inc. Multispectral imaging system
US7257437B2 (en) 2002-07-05 2007-08-14 The Regents Of The University Of California Autofluorescence detection and imaging of bladder cancer realized through a cystoscope
US7016717B2 (en) 2002-07-05 2006-03-21 The Regents Of The University Of California Near-infrared spectroscopic tissue imaging for medical applications
US7640140B2 (en) 2003-03-07 2009-12-29 Sensys Medical, Inc. Method of processing noninvasive spectra
US7151270B2 (en) 2003-05-02 2006-12-19 Leica Microsystems Cms Gmbh Method for classifying object image regions of an object to be detected using a scanning microscope
US20040225222A1 (en) 2003-05-08 2004-11-11 Haishan Zeng Real-time contemporaneous multimodal imaging and spectroscopy uses thereof
JP2006526783A (ja) 2003-05-30 2006-11-24 アンドリュー エム． ラビノビッチ、 色分解および組織試料内の対象となる領域の検出
US6993372B2 (en) 2003-06-03 2006-01-31 Orsense Ltd. Method and system for use in non-invasive optical measurements of blood parameters
US8634607B2 (en) 2003-09-23 2014-01-21 Cambridge Research & Instrumentation, Inc. Spectral imaging of biological samples
US7321791B2 (en) 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
US7711174B2 (en) 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells
US8548570B2 (en) 2004-11-29 2013-10-01 Hypermed Imaging, Inc. Hyperspectral imaging of angiogenesis
WO2006081547A1 (en) * 2005-01-27 2006-08-03 Cambridge Research And Instrumentation, Inc. Classifying image features
EP1860993B1 (en) 2005-03-01 2019-01-23 Masimo Laboratories, Inc. Noninvasive multi-parameter patient monitor
US7679740B2 (en) 2005-07-14 2010-03-16 Chemimage Corporation Method and apparatus for multimodal detection
US8154612B2 (en) 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
FR2891924B1 (fr) 2005-10-10 2007-12-28 Biospace Mesures Dispositif et procede d'imagerie en luminescence
US7945077B2 (en) 2005-11-30 2011-05-17 Lawrence Livermore National Security, Llc Hyperspectral microscope for in vivo imaging of microstructures and cells in tissues
US20070135999A1 (en) 2005-12-13 2007-06-14 Applied Spectral Imaging Ltd. Method, apparatus and system for characterizing pathological specimen
US9133506B2 (en) 2006-01-10 2015-09-15 Applied Spectral Imaging Ltd. Methods and systems for analyzing biological samples
US10335038B2 (en) 2006-08-24 2019-07-02 Xenogen Corporation Spectral unmixing for in-vivo imaging
US8019134B2 (en) 2006-11-16 2011-09-13 Definiens Ag Automatic image analysis and quantification for fluorescence in situ hybridization
US8244021B2 (en) 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
US7990532B2 (en) 2007-01-16 2011-08-02 Chemimage Corporation Method and apparatus for multimodal detection
US8103081B2 (en) * 2008-03-10 2012-01-24 Cambridge Research & Instrumentation, Inc. Classification of samples
US8116548B2 (en) 2008-06-04 2012-02-14 Siemens Aktiengesellschaft Method and system for detecting 3D anatomical structures using constrained marginal space learning
US8644580B2 (en) 2008-08-07 2014-02-04 Cambridge Research & Instrumentation, Inc. Detection of RNA in tissue samples

Also Published As

Publication number Publication date
US8639043B2 (en) 2014-01-28
EP1846869B1 (en) 2011-10-05
EP2237189B1 (en) 2018-08-01
US8280140B2 (en) 2012-10-02
US7555155B2 (en) 2009-06-30
CN101151623A (zh) 2008-03-26
EP2237189A3 (en) 2014-07-16
EP1846869A1 (en) 2007-10-24
EP2237189A2 (en) 2010-10-06
US20090297016A1 (en) 2009-12-03
US20110255753A1 (en) 2011-10-20
CN101916359A (zh) 2010-12-15
CN101916359B (zh) 2012-06-20
US20130077875A1 (en) 2013-03-28
ATE527619T1 (de) 2011-10-15
US20060245631A1 (en) 2006-11-02
US7953264B2 (en) 2011-05-31
US20140376824A1 (en) 2014-12-25
WO2006081547A1 (en) 2006-08-03
EP3444751A2 (en) 2019-02-20
EP3444751A3 (en) 2019-02-27

Similar Documents

Publication Publication Date Title
CN101151623B (zh) 对样本图像的特征进行分类的方法和设备
US11644395B2 (en) Multi-spectral imaging including at least one common stain
US20210366109A1 (en) Group sparsity model for image unmixing
CN103827658B (zh) 识别和测量网状细胞
CN108351289A (zh) 分析装置
US11410440B2 (en) Systems and methods for classifying activated T cells
CN102687007A (zh) 利用分层标准化切割的高处理量生物标志物分割
CN106023121A (zh) 一种贝叶斯显微成像方法
CN104820841B (zh) 基于低阶互信息和光谱上下文波段选择的高光谱分类方法
CN104616022B (zh) 一种近红外光谱的分类方法
Almendros-Abad et al. Youth analysis of near-infrared spectra of young low-mass stars and brown dwarfs
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
Lee et al. Statistical file matching of flow cytometry data
Pearl et al. Taxonomic classification of phytoplankton with multivariate optical computing, part III
Boldeanu et al. Automatic pollen classification using convolutional neural networks
Mu et al. Optimizing decision tree structures for spectral histopathology (SHP)
Dave A Multiple Input Multiple Output Framework for the Automatic OpticalFractionator-Based Cell Counting in Z-Stacks Using Deep Learning
US20240135532A1 (en) Group sparsity model for image unmixing
Wood Fusion of SAR and Electrooptical Imagery for Vehicle Classification Using Neural Networks
US20130126758A1 (en) Methods and systems for image data processing
Köhler Bioimage analysis linking information at protein and transcriptional level in tissues
CN112014378A (zh) 一种便携式血痕识别仪及其鉴别方法
Güzel Development of a unified analysis framework for multicolor flow cytometry data based on quasi-supervised learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant