CN111247417A - 通过利用类比例数据的卷积字典学习对对象群体进行分类 - Google Patents
通过利用类比例数据的卷积字典学习对对象群体进行分类 Download PDFInfo
- Publication number
- CN111247417A CN111247417A CN201880068608.4A CN201880068608A CN111247417A CN 111247417 A CN111247417 A CN 111247417A CN 201880068608 A CN201880068608 A CN 201880068608A CN 111247417 A CN111247417 A CN 111247417A
- Authority
- CN
- China
- Prior art keywords
- image
- class
- template
- objects
- total number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 84
- 210000004698 lymphocyte Anatomy 0.000 claims description 27
- 210000003714 granulocyte Anatomy 0.000 claims description 25
- 210000001616 monocyte Anatomy 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000001427 coherent effect Effects 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 abstract description 134
- 210000000265 leukocyte Anatomy 0.000 abstract description 54
- 210000004369 blood Anatomy 0.000 abstract description 37
- 239000008280 blood Substances 0.000 abstract description 37
- 238000009826 distribution Methods 0.000 abstract description 20
- 230000002159 abnormal effect Effects 0.000 abstract description 13
- 239000000203 mixture Substances 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 32
- 238000001514 detection method Methods 0.000 description 24
- 230000015654 memory Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 14
- 238000012706 support-vector machine Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 210000004460 N cell Anatomy 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 210000000601 blood cell Anatomy 0.000 description 6
- 210000003743 erythrocyte Anatomy 0.000 description 6
- 239000012530 fluid Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000001902 propagating effect Effects 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000004820 blood count Methods 0.000 description 3
- 239000012895 dilution Substances 0.000 description 3
- 238000010790 dilution Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000012472 biological sample Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 239000012139 lysis buffer Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000013442 Abnormal granulocyte count Diseases 0.000 description 1
- 210000003771 C cell Anatomy 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000009089 cytolysis Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 101150050759 outI gene Proteins 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
- G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
- G03H2001/0447—In-line recording arrangement
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/50—Nature of the object
- G03H2210/55—Having particular size, e.g. irresolvable by the eye
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/11—Electro-optic recording means, e.g. CCD, pyroelectric sensors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Chemical & Material Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Immunology (AREA)
- Dispersion Chemistry (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Vascular Medicine (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
披露了一种用于对图像中的对象(例如，细胞)进行分类和/或计数的方法，该图像包含若干种类型的对象的混合物。使用有关对象混合物的先验统计信息(类比例数据)来改善分类结果。本技术可以针对包含多种对象类型的混合物的图像使用生成模型，以便利用类比例数据和经分类的对象模板两者来推导出用于对细胞进行分类和/或计数的方法。该生成模型将图像描述为许多具有单个细胞的图像的总和，其中，每个细胞的类选自某一统计分布。本技术的实施例已经成功地用于对来自正常血液供体和异常血液供体两者的经裂解血液的图像中的白细胞进行分类。
Description
相关申请的交叉引用
本申请要求现在未决的于2017年11月14日提交的美国临时申请号62/585,872和2018年6月1日提交的美国临时申请号62/679,757的优先权，这些申请的披露内容通过援引并入本文。
技术领域
本披露涉及图像处理，并且具体地涉及图像(比如全息无透镜图像)中的对象分类和/或计数。
背景技术
许多领域受益于确定对象的类的能力、并且尤其是对图像中的对象进行分类和计数的能力。例如，生物样本图像中的对象检测和分类在诊断疾病和预测患者结果方面具有许多潜在的应用。然而，由于各种各样的可能的成像模态，生物数据可能潜在地会受到低分辨率图像或患者之间的显著生物变异性的影响。此外，计算机视觉中的许多现有技术的对象检测和分类方法需要大量的带注释的数据以进行训练，但是对于生物图像而言通常不容易获得此类注释，因为注释者必须是特定生物数据类型方面的专家。另外，许多现有技术的对象检测和分类方法是针对每个类包含少量对象实例的图像进行设计的，而生物图像可能包含成千上万个对象实例。
突显出这些挑战中的许多挑战的一个特定应用是全息无透镜成像(LFI)。由于LFI具有以最低限度的硬件要求产生具有较大视场(FOV)的细胞图像的能力，因此其常用于显微镜的医学应用。然而，关键的挑战在于，当FOV较大时，LFI的分辨率通常较低，从而使得难以对细胞进行检测和分类。由于细胞形态也可能因为人的不同而显著不同(尤其是在涉及疾病时)的事实，细胞分类的任务更加复杂。另外，对于图像中的各个细胞而言，通常无法获得注释，并且可能只能经由使用商业血液学血液分析仪来获得对各种细胞类的预期比例的估计。
在先前的工作中，LFI图像已经用于对荧光标记的白细胞(WBC)进行计数，但未用于将WBC分类为其各种子类型(例如，单核细胞、淋巴细胞和粒细胞)的更困难的任务。在先前的工作中，作者已经建议使用经染色WBC的LFI图像进行分类，但是他们没有提供量化的分类结果。关于WBC分类的现有工作使用来自常规显微镜的经染色细胞的高分辨率图像，并且尝试使用手工制作特征和/或神经网络对细胞进行分类。然而，在不进行染色和/或不具有高分辨率图像的情况下，不容易看到细胞细节(即，细胞核和细胞质)，从而使得对WBC进行分类的任务显著更加困难。此外，纯数据驱动的方法(比如，神经网络)通常需要大量带注释的数据才能成功，这些数据是WBC的无透镜图像不可获得的。
因此，长期以来感到需要一种用于在重建的无透镜图像中对对象(尤其是WBC)的各种子类别(例如，单核细胞、淋巴细胞和粒细胞)进行检测、计数和/或分类的方法，其中，每个图像可能具有每个对象类别数百到成千上万个实例，并且只能用图像中每个类的预期数量的对象实例来对每个训练图像进行注释。因此，一个关键的挑战在于，任何对象实例都没有边界框注释。
发明内容
本披露提供了一种用于除了通过模板字典编码的对象外观之外还使用类比例数据来对对象群体进行分类以更好地使所产生的对象群体的分类合理化的改进技术。在对血液样本(或血液样本的图像)中的血细胞进行分类时，由于血细胞混合物的变异性受到生理学的约束，因此使用当前披露的技术可以非常有利。因此，可以使用有关血细胞混合物的统计信息(类比例数据)来改善分类结果。
在一些实施例中，本披露是一种用于基于模板字典和类比例数据对至少一个对象的群体进行对象分类的方法。获得类比例数据以及包括至少一个对象类的至少一个对象模板的模板字典。获得图像，该图像中描绘有一个或多个对象。该图像可以是例如全息图像。确定该图像中的对象的总数。提取一个或多个图像补丁，每个图像补丁包含该图像中的相应对象。该方法包括基于该相应图像补丁与每个对象模板的匹配强度并且受该类比例数据的影响来确定每个对象的类。
在一些实施例中，提供了一种用于对样本和/或样本的图像中的对象进行分类的系统。该系统可以包括腔室，该腔室用于保持该样本的至少一部分。该腔室可以是例如流动腔室。提供了无透镜图像传感器用于获得位于该腔室中的该样本的该部分的全息图像。该图像传感器可以是例如有源像素传感器、CCD、CMOS有源像素传感器等。在一些实施例中，该系统进一步包括相干光源。处理器与该图像传感器通信。该处理器被编程用于执行本披露的方法中的任何一种。例如，该处理器可以被编程用于：获得其中描绘有一个或多个对象的全息图像；确定该图像中的对象的总数；获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；提取一个或多个图像补丁，每个图像补丁包含该图像中的相应对象；以及基于该相应图像补丁与每个对象模板的匹配强度并且受该类比例数据的影响来确定每个对象的类。
在一些实施例中，本披露是一种非暂态计算机可读介质，其上存储有用于指示计算机执行本文披露的方法中的任何一种方法的计算机程序。例如，该介质可以包括用于进行以下操作的指令：获得其中描绘有一个或多个对象的全息图像；确定该图像中的对象的总数；获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；提取一个或多个图像补丁，每个图像补丁包含该图像中的相应对象；以及基于该相应图像补丁与每个对象模板的匹配强度并且受该类比例数据的影响来确定每个对象的类。
在一些实施例中，本披露提供了图像的概率生成模型。以对象的总数为条件，该模型根据类比例的先验模型、针对每个类生成对象实例的数量。然后，该模型针对每个对象实例生成对象的位置以及描述对象的外观的卷积模板。然后，可以将图像生成为与所有的对象实例相关联的卷积模板的叠加。
给定模型参数，示出了可以将对新图像中的对象实例进行检测、计数和分类的问题表述为卷积稀疏编码问题的扩展，其可以类似于PCT/US2017/059933中示出的问题那样以贪婪的方式(greedy manner)解决。然而，与参考文献中披露的方法不同的是，本生成模型利用类比例先验知识，这除了针对贪婪方法(greedy method)提供用于确定对象数量的原则性停止准则之外，还大大增强了对多个对象实例进行共同分类的能力。本披露还解决了从已知的细胞类型比例中学习模型参数的问题，这被表述为卷积字典学习利用关于类比例的先验知识的扩展。
在人类血液样品的无透镜成像(LFI)图像上评估了当前披露的利用类比例先验知识的卷积稀疏编码方法的示例性实施例。针对估计WBC比例的任务的实验表明，本方法不仅明显地胜过标准卷积稀疏编码，而且还胜过支持向量机和卷积神经网络。此外，在来自健康供体和来自由于各种病症(这些病症在先验模型中为罕见事件)而导致WBC浓度异常的供体的血液样品上测试了本方法，从而证明本方法能够在广泛范围的生物变异性上并且针对在先验模型下不太可能先验的情况提供有希望的结果。
附图说明
为了更全面地理解本披露的性质和目的，应当参考以下结合附图的详细描述，在附图中：
图1是根据本披露的实施例的方法；
图2是根据本披露的另一个实施例的系统；
图3A是包含粒细胞、淋巴细胞和单核细胞的混合物的白细胞的示例性图像；
图3B是由白框标识的图3A的区域的放大视图，该白框表示属于不同类的细胞稀疏地分布的典型区域；
图4示出了白细胞的一组示例性已学习模板，其中，每个模板属于白细胞的以下类之一：粒细胞(在顶部区域)、淋巴细胞(中间区域)和单核细胞(底部区域)；
图5是示出了白细胞的三个类——粒细胞、淋巴细胞和单核细胞的类比例的直方图的图表，其中，这些直方图是从约300,000个患者的全血细胞计数(CBC)结果获得的；并且
图6是36个经裂解的血细胞样品的三部分差异(即，分类)的一组图表，其中，左列的图表示出了当前披露的方法与从标准血液分析仪外推的结果的比较，并且右列的图表示出了不使用类比例数据(即，λ＝0)的本技术变型的结果与从血液分析仪外推的结果的比较(数据是从正常供体和异常供体两者中获得的)。
图7A是包含粒细胞、淋巴细胞和单核细胞的混合物的WBC、以及经裂解的红细胞碎片的示例性图像。
图7B示出了在图7A的框中界定的细节的放大视图，该框是图像的典型区域，在该区域中，属于不同类的细胞稀疏地分布。
图8是示出了针对图像的生成模型的依赖性的图。
图9A是证明了贪婪细胞计数方案在f(N)的最小值处停止的曲线图。
图9B是证明了停止条件是类相关的曲线图。为了便于可视化，仅示出了两个WBC类：淋巴细胞(lymph.)和粒细胞(gran.)。停止条件在下面的等式20的右侧，并且平方系数为α2。尽管具有不同的系数值，但这两个类都在大约相同的迭代次数达到其停止条件。
图10A至图10C示出了WBC的示例性已学习模板，其中，每个模板属于WBC的以下类之一：粒细胞(图10A)、淋巴细胞(图10B)或单核细胞(图10C)。
图10D至图10E示出了从CBC数据集获得的统计训练数据。叠加的类比例直方图(图10D)表明大多数患者的粒细胞比单核细胞或淋巴细胞多得多。应当注意的是，WBC的浓度直方图(图10E)具有一条长尾。
图11A是示出了具有通过当前披露的方法的实施例产生的检测结果和分类结果的叠加图的图像的放大部分。
图11B示出了细胞计数的结果的曲线图。将通过各种方法估计的细胞计数与从血液分析仪外推的结果进行比较。所示出的方法是阈值化(浅色)、无先验知识的CSC(黑色)和本方法(中等色)。示出了针对20个正常血液供体(×)和12个异常临床丢弃物(○)的结果。
图12将通过各种方法预测到的粒细胞(中等色)、淋巴细胞(黑色)和单核细胞(最浅色)的百分比与来自血液分析仪的结果进行比较。方法是：在经由阈值化从图像提取的补丁上进行的SVM(上左)、无统计先验知识的CSC(上右)、在经由阈值化从图像提取的补丁上进行的CNN(下左)、以及当前披露的方法(下右)。示出了针对20个正常血液供体(×)和12个异常临床丢弃物(○)的结果。
具体实施方式
参考图1，本披露可以体现为一种用于使用模板字典和类比例数据进行对象分类的方法100。模板字典可以例如使用如国际申请号PCT/US2017/059933中披露的卷积字典学习来进行学习，该申请的披露内容通过援引并入本文。类比例数据可以是例如关于对象类型在群体的一组给定类中的预期分布的信息。例如，用于对血液样本的图像中的白细胞进行分类的类比例数据可以包括关于图像中细胞类型的预期分布的信息——例如，单核细胞、淋巴细胞和粒细胞的预期百分比。在一些实施例中，方法100可以用于对图像(比如全息图像)中的对象进行分类。在说明性示例中，方法100可以用于对样本中的细胞类型(例如，血液样本中的白细胞类型)进行分类。方法100包括获得103其中描绘有一个或多个对象的图像。在图3A和图3B中示出了示例性图像。所获得103的图像可以是传统的2D图像、全息图像、或3D图像或3D图像的表示(比如使用共焦显微镜或多光子显微镜等捕获的图像的3D堆叠)。
确定106图像中的对象的总数(N)。例如，使用血液样本中的白细胞的说明性示例来确定106图像中所描绘的白细胞的总数。可以以适合于手头图像的任何方式来确定106对象的数量。例如，可以使用如美国专利申请号62/417,720所披露的卷积字典学习来对对象进行检测和计数。用于对图像中的对象进行计数的其他技术——例如，边缘检测、斑点检测、霍夫变换等是已知的，并且这些技术可以在本披露的范围内使用。
方法100包括获得109类比例数据和具有至少一个类中的至少一个对象模板的模板字典。例如，模板字典可以在例如总共五个类中具有多个对象模板，使得每个对象模板被分类为五个类之一。使用血液样本的以上说明性示例，模板字典可以包括多个对象模板，每个对象模板都被分类为单核细胞、淋巴细胞或粒细胞。每个对象模板都是已知对象的图像。可以使用多于一个对象模板，并且可以在模板字典中使用较大数量的对象模板来改善对象分类。例如，每个对象模板可以是要检测的对象的(在对象模板中)唯一表示(例如，处于不同的对象取向、形态等的对象的表示)。在实施例中，对象模板的数量可以是2、3、4、5、6、10、20、50或更多，包括其间所有整数个对象。图4示出了具有总共25个对象模板的示例性模板字典，其中，顶部九个对象模板被分类为粒细胞，中间八个是淋巴细胞，并且底部八个是单核细胞。每个类具有多个模板可以有利于应对某一类中的对象的外观由于例如(以细胞为例)取向、病变或生物变异所引起的潜在的可变性。类比例数据是关于已知群体中的类中的对象分布的数据。模板字典和类比例数据中的每一个都可以被先验地确定。
方法100进一步包括提取112一个或多个图像补丁(图像的一个或多个子集)，该一个或多个图像补丁中的每个图像补丁包含图像的相应对象。每个所提取112的图像补丁都是图像中包括相应对象的那部分。可以将补丁尺寸选择为与图像内的感兴趣对象大约相同的尺寸。例如，可以将补丁尺寸选择为至少与图像中最大的感兴趣对象一样大。补丁可以是任何尺寸的；例如，补丁可以在长度和/或宽度上是3、10、15、20、30、50或100个像素，或其间的任何整数值或者更大。如以下在标题“进一步的讨论”下进一步描述的，基于相应图像补丁与模板字典中每个对象模板之间的匹配强度并且受类比例数据的影响来确定115每个对象的类。
在另一个方面，本披露可以体现为一种用于对样本和/或样本的图像中的对象进行分类的系统10。样本90可以是例如流体。在其他示例中，样本是生物组织或其他固体样本。系统10包括用于保持样本90的至少一部分的腔室18。在样本是流体的示例中，腔室18可以是流体移动穿过的流动路径的一部分。例如，流体可以移动穿过管或微流体通道，并且腔室18是将对其中的对象进行计数的管或通道的一部分。以作为组织的样本为例，腔室可以是例如显微镜载玻片。
系统10可以具有用于获得图像的图像传感器12。图像传感器12可以是例如有源像素传感器、电荷耦合装置(CCD)或CMOS有源像素传感器。在一些实施例中，图像传感器12是用于获得全息图像的无透镜图像传感器。系统10可以进一步包括光源16，比如相干光源。图像传感器12被配置为当图像传感器12被致动时，获得腔室18中流体的由来自光源16的光照射的部分的图像。在具有无透镜图像传感器的实施例中，图像传感器12被配置为获得全息图像。处理器14可以与图像传感器12通信。
处理器14可以被编程用于执行本披露的方法中的任何一种。例如，处理器14可以被编程用于获得腔室18中的样本的图像(在一些情况下是全息图像)。处理器14可以获得类比例数据和模板字典。处理器14可以被编程用于确定图像中的对象的总数，并且提取一个或多个图像补丁，每个图像补丁包含相应的对象。处理器14基于相应图像补丁与每个对象模板的匹配强度并且受类比例数据的影响来确定每个对象的类。在获得图像的示例中，处理器14可以被编程用于使得图像传感器12捕获腔室18中的样本的图像，并且处理器14然后可以从图像传感器12获得所捕获的图像。在另一个示例中，处理器14可以从存储装置获得图像。
处理器可以与存储器通信和/或包括存储器。存储器可以是例如随机存取存储器(RAM)(例如，动态RAM、静态RAM)、闪存、可移除存储器等。在一些实例中，与执行本文描述的操作相关联的指令(例如，操作图像传感器、生成重建图像)可以存储在存储器和/或存储介质(在一些实施例中，其包括存储指令的数据库)内并且这些指令在处理器处执行。
在一些实例中，处理器包括一个或多个模块和/或部件。由处理器执行的每个模块/部件可以是基于硬件的模块/部件(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP))、基于软件的模块(例如，存储在存储器和/或数据库中和/或在处理器处执行的计算机代码的模块)和/或基于硬件的模块和基于软件的模块的组合的任何组合。由处理器执行的每个模块/部件能够执行如本文描述的一个或多个特定功能/操作。在一些实例中，在处理器中包括和执行的模块/部件可以是例如过程、应用程序、虚拟机和/或某种其他硬件或软件模块/部件。处理器可以是被配置为运行和/或执行这些模块/部件的任何合适的处理器。处理器可以是被配置为运行和/或执行一组指令或代码的任何合适的处理装置。例如，处理器可以是通用处理器、中央处理单元(CPU)、加速处理单元(APU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP)等。
本文描述的一些实例涉及具有非暂态计算机可读介质(也可以称为非暂态处理器可读介质)的计算机存储产品，其上具有用于执行各种计算机实施的操作的指令或计算机代码。计算机可读介质(或处理器可读介质)在其本身不包括暂态传播信号(例如，在比如空间或电缆等传输介质上承载信息的传播电磁波)的意义上是非暂态的。介质和计算机代码(也可以称为代码)可以是设计和构造用于(一个或多个)特定目的的那些介质和计算机代码。非暂态计算机可读介质的示例包括但不限于：比如硬盘、软盘和磁带等磁存储介质；比如光盘/数字视频光盘(CD/DVD)、光盘只读存储器(CD-ROM)和全息装置等光存储介质；比如光盘等磁光存储介质；载波信号处理模块；以及被专门配置为存储和执行程序代码的硬件装置，比如专用集成电路(ASIC)、可编程逻辑装置(PLD)、只读存储器(ROM)和随机存取存储器(RAM)装置。本文描述的其他实例涉及计算机程序产品，该计算机程序产品可以包括例如本文讨论的指令和/或计算机代码。
计算机代码的示例包括但不限于微代码或微指令、机器指令(比如由编译器产生)、用于产生web服务的代码，以及包含由计算机使用注释器执行的更高级指令的文件。例如，可以使用Java、C++、.NET或其他编程语言(例如，面向对象的编程语言)和开发工具来实施实例。计算机代码的附加示例包括但不限于控制信号、加密代码和压缩代码。
在示例性应用中，本披露的方法或系统可以用于对全息样本中的对象进行检测和/或计数。例如，该系统的实施例可以用于对全血中的红细胞和/或白细胞进行计数。在这种实施例中，(多个)对象模板可以是处于一个或多个取向的红细胞和/或白细胞的表示。在一些实施例中，可以在使用当前披露的技术之前对生物样本进行处理。
在另一个方面，本披露可以体现为一种非暂态计算机可读介质，其上存储有用于指示计算机执行本文披露的任何方法的计算机程序。例如，非暂态计算机可读介质可以包括计算机程序，该计算机程序用于获得其中描绘有一个或多个对象的图像(比如全息图像)；确定该图像中的对象的总数；获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；提取一个或多个图像补丁，每个图像补丁包含该图像中的相应对象；以及基于该相应图像补丁与每个对象模板的匹配强度并且受该类比例数据的影响来确定每个对象的类。
进一步的讨论1
为了方便起见，以下讨论基于对血液样本的细胞进行分类的第一说明性示例。该示例并不旨在是限制性的，并且可以扩展为对其他类型的对象进行分类。
问题表述
令I为观察到的细胞混合物的图像，其中，每个细胞属于C个不同的细胞类之一。假设图像中每个类存在
个细胞，并且图像中细胞的总数是N＝∑cnc。每个类的细胞数量、细胞总数、每个细胞的类
以及图像中细胞的位置
都是未知的。但是，已知类的分布遵循某种统计分布。假设此分布是多项式分布，使得在给定图像中存在N个细胞的情况下，图像中的细胞在类
中的概率可以表示为：
其中，pc|N是在给定存在N个细胞的情况下某个细胞在类c中的概率。假设提供了K个细胞模板
其中，这些细胞模板捕获所有细胞类之中的变化，并且每个模板描述属于单个已知类的细胞。这些细胞模板可以用于将包含N个细胞的图像分解成N个图像的总和，每个图像包含单个细胞。具体地，图像可以表示为：
其中，
是δ(x-xi,y-yi)的简写，★是2D卷积算子，并且∈是高斯噪声。系数αi描述模板
表示第i个细胞的优良程度，并且class(ki)＝si。最后，假设噪声为具有标准偏差σI的零均值，使得在给定位置
处存在通过具有强度
的模板
描述的N个细胞的情况下，生成图像I的概率可以表示为：
其中，d是图像的尺寸。
通过利用类比例数据的卷积字典学习进行分类
现在假设图像中细胞的数量、每个细胞的位置以及描述每个细胞类的一组模板是已知的。给定图像I，目标是找到每个细胞的类
找到最佳近似每个细胞的模板
一旦知道了最佳近似第i个细胞的模板，则将该类指派为：
si＝class(ki) (4)
作为确定最佳近似细胞的模板的副产品，细胞与模板之间的匹配强度为(αi)。使用上述生成模型，问题可以表述为：
其中，λ是模型的超参数，该超参数控制重建(第一)项与类比例先验(第二)项之间的折衷。应当注意的是，这两个项是耦合的，因为
其中1(·)是指示符函数，如果其自变量为真，则该指示符函数为1，否则为0。
为了简化此问题，可以假设细胞不重叠。在一些实施例中，此假设是合理的，因为此类实施例的细胞位于单个平面中，并且两个细胞无法占据相同的空间。在其他实施例中，细胞的稀疏性使得细胞不太可能重叠。非重叠假设允许将等式重写为：
其中，ei是从以(xi，yi)为中心的I中提取的补丁(其与模板尺寸相同)。
对于固定的ki，问题在于αi是二次的。假设模板是归一化的，使得对于所有k，
则第i个的系数的解是
将其代入等式5，可以示出最佳近似第i个细胞的模板的解是：
训练细胞模板
现在考虑学习模板
的问题。为了针对C个细胞类中的每一类学习模板，期望具有已知真值(ground truth)类的图像。对于示例性白细胞图像，无法获得混合群体图像中各个细胞的真值分类。因此，使用仅包含单个细胞类的图像来训练细胞模板。根据生成模型，问题表述为：
其中，约束条件确保问题是适定的。因为训练图像中的所有细胞都属于同一类(这是先验已知的)，所以在对象模板训练期间等式5中的第二项是无关的。来自单一细胞群体的训练图像的模板是使用美国专利申请号62/417,720中描述的卷积字典学习和编码方法学习的。为了获得完整的一组K个模板，将从C个类中的每一类中学习的模板连结起来。
学习类比例概率
本文提出了多项式分布来描述图像中细胞的比例，并且假设一个细胞属于某一类的概率与图像中细胞的数量无关，或者pc|N＝pc。已经发现，此简单模型对于对经裂解血液的图像中的白细胞进行分类的示例性应用效果良好，但是当前披露的通过利用类比例先验知识的卷积字典学习进行分类的方法可以被扩展从而允许更复杂的分布。为了学习在说明性实施例的图像中观察到的血细胞类型的先验类比例pc，使用来自约翰霍普金斯(JohnsHopkins)医院的近300,000名患者的全血计数(CBC)结果的数据库。每个CBC结果包含属于白细胞的每个类的血细胞数量
(每单位体积)、以及血液样品中白细胞的总数N(每单位体积)。类c的先验比例pc是在所有CBC结果上的平均类比例<nc/N>。来自CBC数据库的类比例的直方图如图5所示。
细胞检测和计数
应当记得，作为本技术中的一个步骤确定对象的数量(找到N)，并且找到每个对象的位置(找到{xi,yi})，从而使得可以提取图像补丁。可以使用任何快速对象检测方法(例如，阈值化或卷积字典编码等)来计算输入图像的{xi,yi}和N，而不是对{ki,αi,xi,yi}和N进行共同优化。然后，可以提取相关补丁以便在当前描述的方法中使用。
说明性实施例的结果
使用经裂解血液的重建全息图像来测试本披露的技术。经裂解血液包含三种类型的白细胞：粒细胞、淋巴细胞和单核细胞。给定包含白细胞混合物的图像，目标是对图像中的每个细胞进行分类。图6示出了针对36个经裂解血液样品预测类比例与真值比例的比较(左列)。真值比例是从标准血液分析仪外推得到的，并且血液样品是从正常供体和异常供体两者中获得的。该图示出了粒细胞和淋巴细胞的预测与真值之间的良好相关性。对于单核细胞，相关性不那么好，但是除了一个异常值以外，预测比例与真值比例之间的绝对误差仍然很小。还示出了不使用类比例数据而获得的结果以进行比较(右列)。对于较容易区分的淋巴细胞类，在使用类比例数据和不使用类比例数据的情况下，结果是相当的，但是对于对粒细胞和单核细胞进行分类的更困难情况，先验项显著地减少了分类误差。
进一步的讨论2
为了方便起见，以下讨论基于对血液样本的细胞进行分类的第二说明性示例。该示例并不旨在是限制性的，并且可以扩展为对其他类型的对象进行分类。
细胞图像的生成模型
令I为观察到的包含N个WBC的图像，其中，每个细胞属于C个不同的类之一。通过描述每个类内的细胞变异性的K个类模板
的集合来描述来自所有类的细胞。图7A示出了在裂解溶液中稀释的人类血液的非典型LFI图像，该裂解溶液使得红细胞破裂，从而仅主要留下WBC和红细胞碎片。应该注意的是，这些细胞在空间上相对分散，因此假设每个细胞都不与相邻细胞重叠，并且一个细胞可以通过单个细胞模板来很好地近似，每个细胞模板与单个已知的类相对应。因此，这些细胞模板可以用于将包含N个细胞的图像分解为N个图像的总和，每个图像包含单个细胞。具体地，像素(x，y)处的图像强度被生成为：
其中，(xi，yi)表示第i个细胞的位置，
是δ(x-xi,y-yi)的简写，★是2D卷积算子，ki表示与第i个细胞相关联的模板的索引，系数αi缩放模板
以表示第i个细胞，并且噪声
被假定为在每个像素(x，y)处具有标准偏差σI的独立同分布的零均值高斯噪声。在此模型下，在给定位置
处存在通过具有索引
和强度
的K个模板描述的N个细胞的情况下，通过多变量高斯给出生成图像I的概率：
其中，PI表示图像I中的像素的数量。
为了完成该模型，为图像中细胞的分布定义先验知识p(k,α,x,N)。为此，给定N的情况下，假设模板索引、强度和位置是独立的，即，
p(k，α，x，N)＝p(k|N)p(α|N)p(x|N)p(N)。 (11)
因此，为了定义先验模型，定义(11)右侧的每一项。应当注意的是，当细胞的大小相似并且整个FOV的光照条件相对均匀(我们的数据正是如此)时，这种条件独立性假设就很有意义。
为了在模板索引上定义先验模型，将每个模板dk建模为与C个类之一(表示为class(k))相对应。因此，给定ki和N，则第i个细胞的类si是模板索引的确定性函数，si＝class(ki)。接着，假设与一个类相关联的所有模板对于描述该类中的细胞的可能性是同等的。即，假设在给定类的情况下模板的先验分布是均匀的，即，
其中，tc是类c的模板的数量。然后，假设一个细胞属于某一类的先验概率与图像中细胞的数量无关，即，p(si＝c|N)＝p(si＝c)。在此，将一个细胞属于类c的概率表示为：
p(si＝c)＝μc， (13)
其中，
接着，假设每个细胞的类彼此独立，并且因此，通过模板k描述并且属于类
的所有细胞的联合概率可以表示为：
其中，
是类c中的细胞的数量。上面的等式与约束class(k)＝s一起完成了将p(k|N)定义为：
为了定义关于细胞检测结果的强度α的先验知识，假设它们是独立的并且以参数η呈指数分布，
并且应当注意的是，这是在假设检测参数为正并且具有均值η的情况下检测结果的最大熵分布。
为了定义关于细胞位置分布的先验知识，假设在空间上的均匀分布，即，
为了定义关于图像中细胞的数量的先验知识，假设具有均值λ的泊松分布，即，
这两种假设都是适当的，因为所成像的细胞被稀释、处于悬浮液中且彼此不相互作用。
总而言之，生成模型的所有变量(变量之间的依赖性参见图8)的联合分布可以被写为如下：
细胞检测、分类和计数的推断
给定图像，对所有细胞进行检测、计数和分类，并且然后预测细胞比例。为了执行此推断任务，使对数似然值最大化，
假设所建模的分布的参数是已知的，则推断问题等效于：
细胞检测和分类
现在假设图像中细胞的数量N是已知的。为了进行细胞检测和分类，需要解决等式(21)中关于x、k和α的推断问题。不是在一次迭代中解决对所有N个细胞的检测和分类，而是采用了使用N次迭代的贪婪方法，其中，每次迭代解决单个细胞的检测和分类。
开始于将迭代i次时的残差图像进行如下定义：
最初，残差图像等于输入图像，并且当检测到每个细胞时，从残差图像中删除该细胞的近似。在每次迭代时，针对x、k和α的优化问题可以在残差方面表示为：
给定xi、yi和ki，针对
的解给出如下：
其中，
是收缩阈值算子，并且⊙是相关性算子。然后，可以通过在表达式中插入
并且化简来求解(23)中的其余变量，这导致：
应当注意的是，尽管乍一看求解等式(25)似乎是有些挑战性的，因为它需要在所有对象位置和模板上进行搜索，但实际上可以通过采用最大堆(max-heap)数据结构并且在每次迭代时仅对最大堆进行本地更新(如先前工作中所讨论的)来非常高效地解决该问题。
细胞计数
细胞计数相当于在(21)中找到图像中细胞的数量N的最佳值。每次迭代时N的目标函数(如图9A中绘制的)是：
应当注意的是，在f(N)的表达式中，残差的范数
应当随着每次迭代而减小，因为细胞被检测到并从残差图像中移除。还应当注意的是，αi为正，并且
因此假设ηPI>λ(这通常很容易满足)，f(N)的表达式中除残差项以外的所有项都应当随着N增大。这表明在f(N)开始增大(即，f(N)>f(N-1))时停止搜索细胞。
以上条件可以表示为：
而且，如果
则从(24)得出
将其代入(27)会导致以下停止准则：
即，应当在检测强度的平方减小到停止条件以下时停止细胞计数。应当注意的是，停止条件是类相关的，因为μc和tc两者都将取决于选择哪个类c来描述第N个细胞。尽管不同类的停止准则可能不在同一范围内，但是直到完成所有类的检测后迭代过程才会终止。例如，在图9B中应当注意到尽管一个类的系数大于第二个类的系数，但是这两个细胞类在大约相同的迭代次数达到他们相应的停止条件。
与标准的卷积稀疏编码相比，类相关的停止条件是本模型的主要优点。实际上，应当注意，如果从(26)中消除了类比例先验项，则(28)中的停止准则就不会取决于类，因为在不失一般性的情况下，可以假设字典原子是单位范数，即，‖dk‖＝1结果是，贪婪程序将倾向于选择具有较大细胞的类，因为他们会更多地减少残差项
本模型减轻了此问题，因为当μ较小时，(28)中的阈值增大，并且因此我们的方法停止从类c中选择细胞。
总而言之，由等式(22)、(25)描述的用于对细胞进行检测和分类的贪婪方法以及等式(28)中的针对细胞计数的停止条件共同为在新图像中进行推断提供了一种完整的方法。
参数学习
在上一节中，描述了一种可以用于在给定图像I的情况下推断在(19)中的本生成卷积模型的潜在变量{α,k,x,N}的方法。然而，在可以对新图像进行推断之前，首先学习模型的参数
在典型的对象检测和分类模型中，这通常是通过访问训练数据来完成的，该训练数据提供了许多潜在变量的手动注释(例如，对象位置和对象类)。然而，我们的应用程序所面临的独特挑战在于我们无法访问手动注释，因此我们替代地使用两个数据集来学习模型参数：(1)约翰霍普金斯医院系统的大约300,000名患者的全血计数(CBC)数据库、以及(2)从来自通过实验净化血液样品以从单个子类中分离细胞而获得的仅一个WBC子类的细胞获取的LFI图像。
群体参数。首先，为了学习与预期细胞数量和各个子类的比例相对应的模型参数，利用较大的CBC数据库，该数据库提供了WBC的总数以及数据集中大约300,000名患者中每个患者的WBC的每个子类(即，单核细胞、粒细胞和淋巴细胞)的比例。据此，将λ和
估计为：
其中，Jcbc≈300,000是数据集中的患者记录的数量，并且
分别是患者j的WBC的总数和类c的WBC的数量(适当进行缩放以匹配我们利用LFI系统成像的血液的体积和稀释度)。
成像参数。有了这些固定的群体参数，现在剩下的任务是学习特定于LFI图像
的其余的模型参数。为了完成此任务，我们采用了使用经净化样品的LFI图像的最大似然方案，这些样品包含来自多个子类中的仅一个的WBC。具体地，因为样品是经净化的，所以知道图像中所有的细胞都来自相同的已知类，但是不知道其他潜在变量，所以为了使用最大似然方案，我们需要通过将潜在变量{α,k,x,N}边缘化来将关于模型参数θ的对数似然值最大化，
其中，J表示经净化样品的图像的数量。
然而，由于需要对潜在变量{α,k,x,N}进行积分，因此从(30)直接求解参数
较为困难。相反，我们使用近似期望最大化(EM)技术，通过在给定参数的情况下更新潜在变量与给定潜在变量的情况下更新参数之间交替来找到最佳参数。具体地，应当注意的是，在给定当前参数θ的情况下，新参数θ的确切EM更新步骤是：
这可以通过利用差量函数
进行近似来简化，如在先前的工作中一样，其中：
以上的假设导致近似值：
使用此近似EM框架，然后我们在给定旧参数的情况下更新潜在变量与给定潜在变量的情况下更新参数之间交替：使得
并且
应当注意的是，(34)中的潜在变量推断与上述推断等效，区别在于，因为使用了经净化的样品而导致图像中所有细胞的类sj都是已知的，所以先验知识p(k|N)替换为模板类的约束条件。
不幸的是，在等式(35)中经由近似值获得的优化问题并未很好的限定，因为当η→0并且
并且模板
的范数趋于∞时，目标将趋于无穷。为了解决这些问题，将
的信噪比(SNR)固定为常数，并且将模板的
范数约束为相等，以迫使无论类的类型如何，所有细胞的像素的均值都是相同的。(在图像为非负的情况下，模板更新方案将具有始终为非负的模板。结果是，
范数与模板的平均像素值成比例。)在这些约束条件下，通过下式求解(35)而得到η和模板：
其中，
和
是从以
为中心的Ij提取的、与模板尺寸相同的补丁。然后，将模板归一化以获得单位
范数，并且基于固定的信噪比
来设置σI，其中，SNR被估计为图像的背景补丁与包含细胞的补丁之间的
范数之比。应当注意的是，因为所有字典更新都是通过训练图像来解耦的，并且每个训练图像仅包含一个细胞类，所以我们的程序等效于针对每个细胞类独立地学习单独的字典。
在一些实施例中，提供了一种用于对样本和/或样本的图像中的对象进行检测、分类和/或计数的系统。该系统可以包括腔室，该腔室用于保持该样本的至少一部分。该腔室可以是例如流动腔室。提供了传感器(比如无透镜图像传感器)用于获得位于该腔室中的该样本的该部分的全息图像。该图像传感器可以是例如有源像素传感器、CCD、CMOS有源像素传感器等。在一些实施例中，该系统进一步包括相干光源。处理器与该图像传感器通信。该处理器被编程用于执行本披露的方法中的任何一种。在一些实施例中，本披露是一种非暂态计算机可读介质，其上存储有用于指示计算机执行本文披露的方法中的任何一种方法的计算机程序。
处理器可以与存储器通信和/或包括存储器。存储器可以是例如随机存取存储器(RAM)(例如，动态RAM、静态RAM)、闪存、可移除存储器等。在一些实例中，与执行本文描述的操作相关联的指令(例如，操作图像传感器、生成重建图像)可以存储在存储器和/或存储介质(在一些实施例中，其包括存储指令的数据库)内并且这些指令在处理器处执行。
在一些实例中，处理器包括一个或多个模块和/或部件。由处理器执行的每个模块/部件可以是基于硬件的模块/部件(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP))、基于软件的模块(例如，存储在存储器和/或数据库中和/或在处理器处执行的计算机代码的模块)和/或基于硬件的模块和基于软件的模块的组合的任何组合。由处理器执行的每个模块/部件能够执行如本文描述的一个或多个特定功能/操作。在一些实例中，在处理器中包括和执行的模块/部件可以是例如过程、应用程序、虚拟机和/或某种其他硬件或软件模块/部件。处理器可以是被配置为运行和/或执行这些模块/部件的任何合适的处理器。处理器可以是被配置为运行和/或执行一组指令或代码的任何合适的处理装置。例如，处理器可以是通用处理器、中央处理单元(CPU)、加速处理单元(APU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP)等。
本文描述的一些实例涉及具有非暂态计算机可读介质(也可以称为非暂态处理器可读介质)的计算机存储产品，其上具有用于执行各种计算机实施的操作的指令或计算机代码。计算机可读介质(或处理器可读介质)在其本身不包括暂态传播信号(例如，在比如空间或电缆等传输介质上承载信息的传播电磁波)的意义上是非暂态的。介质和计算机代码(也可以称为代码)可以是设计和构造用于(一个或多个)特定目的的那些介质和计算机代码。非暂态计算机可读介质的示例包括但不限于：比如硬盘、软盘和磁带等磁存储介质；比如光盘/数字视频光盘(CD/DVD)、光盘只读存储器(CD-ROM)和全息装置等光存储介质；比如光盘等磁光存储介质；载波信号处理模块；以及被专门配置为存储和执行程序代码的硬件装置，比如专用集成电路(ASIC)、可编程逻辑装置(PLD)、只读存储器(ROM)和随机存取存储器(RAM)装置。本文描述的其他实例涉及计算机程序产品，该计算机程序产品可以包括例如本文讨论的指令和/或计算机代码。
计算机代码的示例包括但不限于微代码或微指令、机器指令(比如由编译器产生)、用于产生web服务的代码、以及包含由计算机使用注释器执行的更高级指令的文件。例如，可以使用Java、C++、.NET或其他编程语言(例如，面向对象的编程语言)和开发工具来实施实例。计算机代码的附加示例包括但不限于控制信号、加密代码和压缩代码。
第二说明性示例的结果
在经裂解血液的重建全息图像(比如图7A和7B所示的图像)上测试了当前披露的细胞检测、计数和分类方法，该经裂解血液包含WBC的三个亚群(粒细胞、淋巴细胞和单核细胞)以及经裂解的红细胞碎片。使用稀疏相位检索方法将记录的全息图重建为图像，并且将复杂重建图像的绝对值用于训练和测试两者。
训练结果
使用经净化的细胞图像，我们获知了图10A至图10C中所示的模板。应当注意的是，淋巴细胞模板比粒细胞模板和单核细胞模板小，这与已知的关于WBC的信息一致。由于利用无透镜成像获得的低分辨率、大视场的图像，因此模板具有低分辨率。为了学习先验类比例和每个图像的平均细胞数量，利用CBC结果的数据库。图10D至图10E除了示出WBC的总浓度的直方图之外还示出了根据CBC数据库的粒细胞、淋巴细胞和单核细胞类比例的直方图。
检测、计数和分类结果
在由32个供体的经裂解血液组成的数据集上测试了本方法的实施例的细胞检测、计数和分类。血液来自健康的志愿者供体和来自医院患者的临床丢弃物两者。选择临床丢弃物是为了获得异常粒细胞计数，由于各种病症，该计数通常也与异常的淋巴细胞、单核细胞以及WBC计数一致。因此，我们能够在借助于类比例的概率分布很好地描述的样品以及位于分布尾部的样品两者上测试当前披露的方法。
当前披露的方法示出了有希望的结果。图11A示出了叠加有通过本方法的实施例来预测的检测结果和分类结果的图像的较小区域。由于我们的测试数据中缺少各个细胞的真值检测结果和分类结果，因此我们转向针对细胞群体的计数和分类结果来评估本方法的性能。每个供体的血液被分为两部分——一部分被无透镜成像仪成像以产生至少20张图像，并且另一部分血液被送往标准血液分析仪进行分析。血液分析仪提供了每个供体的WBC的真值浓度以及粒细胞、淋巴细胞和单核细胞的真值细胞类比例。通过估计被成像的血液的体积和在裂解缓冲剂中血液的稀释度，我们从已知浓度外推出了每张图像的真值WBC计数。
图11B中示出了通过本方法获得的细胞计数与从血液分析仪获得的外推计数的比较。应当注意的是，所有正常的血液供体在每张图像中都具有小于1000个WBC，而异常供体的WBC计数范围更广。观察到来自血液分析仪的计数与通过本方法预测的计数之间存在明显的相关性。还应当注意的是，在估计被成像的血液的体积以及裂解缓冲剂中血液的稀释度时的误差可能会导致外推细胞计数的误差。
图12(下右)示出了对于正常血液供体和异常血液供体从本方法获得的类比例预测与真值比例之间的比较。如同之前一样，我们没有各个细胞的真值数据，但是有整个血液样品的真值数据。应当再次注意的是，异常供体的可能值的范围比正常供体的可能值的范围广得多。例如，正常供体至少包含15％的淋巴细胞，但异常供体包含低至2％的淋巴细胞。尽管异常供体具有与通过我们的模型获知的分布均值非常不同的WBC差异，但是我们仍然能够以有希望的准确性来预测其差异。最后，应当注意的是，WBC的形态可能因供体(尤其是在临床丢弃物之间)而不同。访问来自更广泛的供体的更纯净的训练数据可以提高我们对WBC进行分类的能力。
与其他方法的比较
为了量化本方法，将我们的方法的计数和分类能力与先前工作中描述的无先验的标准卷积稀疏编码(CSC)进行比较，并且与支持向量机(SVM)和卷积神经网络(CNN)分类器进行比较。SVM和CNN算法对从检测到的细胞提取的图像补丁进行操作，其中，经由阈值化来检测细胞，按大小对检测结果进行滤波(即，丢弃小于或大于典型细胞的对象)。
图11B示出了计数结果，并且图12示出了通过各个方法获得的分类结果。从经净化的WBC群体中训练在无先验知识的情况下用于CSC的模板，并且指派给每个检测到的细胞的类与最佳地描述该细胞的模板的类相对应。就总WBC计数而言，标准CSC与本方法的性能相似。这并不令人惊讶，因为这两种方法都迭代地检测细胞，直到检测的系数低于阈值为止。然而，重要的区别在于，对于标准CSC，此阈值是经由交叉验证步骤来选择的，而在本方法中，停止阈值是经由(28)以封闭形式提供的。同样地，与卷积编码方法相比，简单的阈值化也实现了非常相似但精确度略低的计数。
尽管在对每个图像的WBC的数量进行计数方面各种方法的性能相似，但是如可以在表1的分类结果中看出的，在方法如何对细胞类型进行分类方面观察到较大的性能差异。没有用于类比例的统计模型的CSC无法可靠地预测图像中的粒细胞、淋巴细胞和单核细胞的比例，而本方法的效果要好得多。对于仅正常的供体，本方法能够以低于5％的绝对平均误差对所有细胞群进行分类，而标准CSC对于粒细胞的平均误差高达31％。对于包含正常血液数据和异常血液数据两者的整个数据集，本方法实现了平均小于7％的绝对误差，而标准CSC方法导致高达30％的平均绝对误差。
表1：针对仅正常供体和针对所有供体示出了分类的真值数据与
预测结果之间的平均绝对误差。针对我们提出的方法、CSC、
SVM和CNN示出了这三个WBC类的分类结果。应当注意，结
果是针对群体比例的。
除了标准CSC之外，还使用来自阈值化的细胞检测结果以提取以检测结果为中心的细胞补丁，并且然后使用支持向量机(SVM)和卷积神经网络(CNN)来对所提取的细胞补丁进行分类。SVM使用从经净化样品获取的图像中提取的细胞补丁利用高斯核来执行一对多分类，以训练SVM。另外，我们实施了类似于先前工作中描述的CNN。具体地，我们保留了总体架构，但减小了滤波器和最大池化的大小，以应对较小的输入补丁，从而形成这样的网络：其中三个卷积层被馈入两个完全连接的层，并且最大池化层在第二卷积层与第三卷积层之间。每个卷积层使用了ReLU非线性和3×3的核大小，其中，每层中分别具有6、16和120个滤波器。最大池化层具有3×3的池化大小，并且中间的完全连接层具有84个隐藏单元。在来自单个供体的93个经净化细胞图像上使用交叉熵损失经由随机梯度下降法来训练网络。应当注意的是，与我们的仅需要少量训练图像的方法相比，CNN需要更多的训练数据。
SVM和CNN分类器两者的性能均比当前披露的方法差很多，其中，SVM产生的误差高达32％。与SVM和标准CSC方法相比，CNN实现了略好的性能，但是误差仍然高达29％。
尽管已经关于一个或多个特定实施例描述了本披露，但是应当理解，在不脱离本披露的精神和范围的情况下，可以做出本披露的其他实施例。
Claims (20)
1.一种用于基于模板字典和类比例数据对对象群体进行分类的方法，该方法包括：
获得其中描绘有一个或多个对象的图像；
确定该图像中对象的总数(N)；
获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；
提取一个或多个图像补丁(ei)，该一个或多个图像补丁中的每个图像补丁包含该图像中的相应对象(i)；以及
基于该相应图像补丁(ei)与每个对象模板的匹配强度(αi)并且受该类比例数据的影响来确定每个对象的类。
2.如权利要求1所述的方法，其中，该图像是全息图像。
3.如权利要求1所述的方法，其中，该匹配强度是根据
来确定的，其中，i是对象，
是第ki个对象模板的图像，并且ei是与第i个对象相对应的图像补丁。
4.如权利要求1所述的方法，其中，每个对象的类受在给定对象总数为N的情况下对象在类c中的概率pc|N的影响，并且其中，该概率pc|N基于该类比例数据。
5.如权利要求1所述的方法，其中，该类比例数据通过预定值(λ)进行加权。
6.如权利要求1所述的方法，其中，每个对象(i)的对象模板的索引(k)是根据
来确定的，其中，dj是第j个对象模板的图像，K是对象模板的总数，ei是与第i个对象相对应的图像补丁，c是类，C是类的总数，dj是第j个对象模板的图像，并且pc|N是在给定对象总数为N的情况下对象在类c中的概率，并且λ是预定的加权值。
7.如权利要求6所述的方法，其中，类c的比例是根据
来确定的，其中，N是对象总数，
是属于类c的对象的数量，
是第ki个对象模板的图像。
8.如权利要求1所述的方法，其中，该模板字典包括针对单核细胞、淋巴细胞和粒细胞中的一个或多个的图像模板。
9.一种用于对样本中的对象进行分类的系统，该系统包括：
腔室，该腔室用于保持该样本的至少一部分；
图像传感器，该图像传感器用于获得位于该腔室中的该样本的该部分的图像；以及
处理器，该处理器与该图像传感器通信，该处理器被编程用于：
获得其中描绘有一个或多个对象的图像；
确定该图像中对象的总数(N)；
获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；
提取一个或多个图像补丁(ei)，该一个或多个图像补丁中的每个图像补丁包含该图像中的相应对象(i)；以及
基于该相应图像补丁(ei)与每个对象模板的匹配强度(αi)并且受该类比例数据的影响来确定每个对象的类。
10.如权利要求9所述的系统，其中，该处理器被编程用于根据
来确定该匹配强度，其中，i是对象，
是第ki个对象模板的图像，并且ei是与第i个对象相对应的图像补丁。
11.如权利要求9所述的系统，其中，每个对象的类受在给定对象总数为N的情况下对象在类c中的概率pc|N的影响，并且其中，该概率pc|N基于该类比例数据。
12.如权利要求9所述的系统，其中，该处理器被编程用于通过预定值(λ)对该类比例数据进行加权。
13.如权利要求9所述的系统，其中，该处理器被编程用于根据
来确定每个对象(i)的索引(k)，其中，dj是第j个对象模板的图像，K是对象模板的总数，ei是与第i个对象相对应的图像补丁，c是类，C是类的总数，dj是第j个对象模板的图像，并且pc|N是在给定对象总数为N的情况下对象在类c中的概率，并且λ是该类比例的预定的加权值。
14.如权利要求13所述的系统，其中，该处理器被编程用于根据
来确定类c的比例，其中，N是对象总数，
是属于类c的对象的数量，
是第ki个对象模板的图像。
15.如权利要求9所述的系统，其中，该模板字典包括针对单核细胞、淋巴细胞和粒细胞中的一个或多个的图像模板。
16.如权利要求9所述的系统，其中，该腔室是流动腔室。
17.如权利要求9所述的系统，其中，该图像传感器是有源像素传感器、CCD或CMOS有源像素传感器。
18.如权利要求9所述的系统，其中，该图像传感器是用于获得全息图像的无透镜图像传感器。
19.如权利要求9所述的系统，进一步包括相干光源。
20.一种非暂态计算机可读介质，其上存储有用于指示计算机执行以下操作的计算机程序：
获得其中描绘有一个或多个对象的全息图像；
确定该图像中对象的总数(N)；
获得类比例数据和包括至少一个对象类的至少一个对象模板的模板字典；
提取一个或多个图像补丁(ei)，每个图像补丁包含该图像中的相应对象(i)；以及
基于该相应图像补丁(ei)与每个对象模板的匹配强度(αi)并且受该类比例数据的影响来确定每个对象的类。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762585872P | 2017-11-14 | 2017-11-14 | |
| US62/585,872 | 2017-11-14 | ||
| US201862679757P | 2018-06-01 | 2018-06-01 | |
| US62/679,757 | 2018-06-01 | ||
| PCT/US2018/061153 WO2019099592A1 (en) | 2017-11-14 | 2018-11-14 | Classification of a population of objects by convolutional dictionary learning with class proportion data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111247417A true CN111247417A (zh) | 2020-06-05 |
Family
ID=66540422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880068608.4A Pending CN111247417A (zh) | 2017-11-14 | 2018-11-14 | 通过利用类比例数据的卷积字典学习对对象群体进行分类 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20200311465A1 (zh) |
| EP (1) | EP3710809A4 (zh) |
| JP (1) | JP2021503076A (zh) |
| CN (1) | CN111247417A (zh) |
| AU (1) | AU2018369869B2 (zh) |
| CA (1) | CA3082097A1 (zh) |
| WO (1) | WO2019099592A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3992609B1 (en) * | 2019-06-28 | 2024-04-17 | FUJIFILM Corporation | Image processing apparatus, evaluation system, recording medium and image processing method |
| US11158398B2 (en) * | 2020-02-05 | 2021-10-26 | Origin Labs, Inc. | Systems configured for area-based histopathological learning and prediction and methods thereof |
| WO2022093906A1 (en) * | 2020-10-29 | 2022-05-05 | Paige Ai, Inc. | Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens |
| CN112435259B (zh) * | 2021-01-27 | 2021-04-02 | 核工业四一六医院 | 一种基于单样本学习的细胞分布模型构建及细胞计数方法 |
| CN116642881B (zh) * | 2023-03-07 | 2024-06-04 | 华为技术有限公司 | 成像系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007059629A1 (en) * | 2005-11-25 | 2007-05-31 | British Columbia Cancer Agency Branch | Apparatus and methods for automated assessment of tissue pathology |
| CN101490529A (zh) * | 2006-07-19 | 2009-07-22 | 海莫库公司 | 测量设备、方法和计算机程序 |
| CN104075981A (zh) * | 2013-03-29 | 2014-10-01 | 希森美康株式会社 | 血细胞分析装置及血细胞分析方法 |
| CN104115074A (zh) * | 2011-12-02 | 2014-10-22 | Csir公司 | 全息图处理方法和系统 |
| CN104136907A (zh) * | 2011-12-07 | 2014-11-05 | Imec公司 | 分析和分选流入对象 |
| WO2017001438A1 (en) * | 2015-06-30 | 2017-01-05 | Imec Vzw | Holographic device and object sorting system |
| CN106462746A (zh) * | 2014-06-16 | 2017-02-22 | 西门子医疗保健诊断公司 | 分析数字全息显微术数据以用于血液学应用 |
| US20170212028A1 (en) * | 2014-09-29 | 2017-07-27 | Biosurfit S.A. | Cell counting |
-
2018
- 2018-11-14 WO PCT/US2018/061153 patent/WO2019099592A1/en unknown
- 2018-11-14 EP EP18877995.3A patent/EP3710809A4/en not_active Withdrawn
- 2018-11-14 CA CA3082097A patent/CA3082097A1/en not_active Abandoned
- 2018-11-14 AU AU2018369869A patent/AU2018369869B2/en not_active Ceased
- 2018-11-14 JP JP2020524889A patent/JP2021503076A/ja active Pending
- 2018-11-14 CN CN201880068608.4A patent/CN111247417A/zh active Pending
- 2018-11-14 US US16/763,283 patent/US20200311465A1/en not_active Abandoned
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007059629A1 (en) * | 2005-11-25 | 2007-05-31 | British Columbia Cancer Agency Branch | Apparatus and methods for automated assessment of tissue pathology |
| US20080304733A1 (en) * | 2005-11-25 | 2008-12-11 | Macaulay Calum E | Apparatus and Methods for Automated Assessment of Tissue Pathology |
| CN101490529A (zh) * | 2006-07-19 | 2009-07-22 | 海莫库公司 | 测量设备、方法和计算机程序 |
| CN104115074A (zh) * | 2011-12-02 | 2014-10-22 | Csir公司 | 全息图处理方法和系统 |
| CN104136907A (zh) * | 2011-12-07 | 2014-11-05 | Imec公司 | 分析和分选流入对象 |
| CN104075981A (zh) * | 2013-03-29 | 2014-10-01 | 希森美康株式会社 | 血细胞分析装置及血细胞分析方法 |
| CN106462746A (zh) * | 2014-06-16 | 2017-02-22 | 西门子医疗保健诊断公司 | 分析数字全息显微术数据以用于血液学应用 |
| US20170212028A1 (en) * | 2014-09-29 | 2017-07-27 | Biosurfit S.A. | Cell counting |
| WO2017001438A1 (en) * | 2015-06-30 | 2017-01-05 | Imec Vzw | Holographic device and object sorting system |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2018369869B2 (en) | 2021-04-08 |
| AU2018369869A1 (en) | 2020-04-09 |
| EP3710809A1 (en) | 2020-09-23 |
| JP2021503076A (ja) | 2021-02-04 |
| WO2019099592A1 (en) | 2019-05-23 |
| EP3710809A4 (en) | 2021-08-11 |
| US20200311465A1 (en) | 2020-10-01 |
| CA3082097A1 (en) | 2019-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Almezhghwi et al. | Improved classification of white blood cells with the generative adversarial network and deep convolutional neural network | |
| Dov et al. | Weakly supervised instance learning for thyroid malignancy prediction from whole slide cytopathology images | |
| Janowczyk et al. | Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases | |
| CN111247417A (zh) | 通过利用类比例数据的卷积字典学习对对象群体进行分类 | |
| WO2022228349A1 (zh) | 基于弱监督学习的结直肠癌数字病理图像判别方法及系统 | |
| Smith et al. | Developing image analysis pipelines of whole-slide images: Pre-and post-processing | |
| Billah et al. | Bayesian convolutional neural network-based models for diagnosis of blood cancer | |
| Shah et al. | Pneumonia detection using convolutional neural networks | |
| Jameela et al. | Deep learning and transfer learning for malaria detection | |
| Amaral et al. | Classification and immunohistochemical scoring of breast tissue microarray spots | |
| US20240054639A1 (en) | Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework | |
| Manimegalai et al. | [Retracted] 3D Convolutional Neural Network Framework with Deep Learning for Nuclear Medicine | |
| Maurya et al. | Computer-aided diagnosis of auto-immune disease using capsule neural network | |
| Hossain et al. | Leukemia detection mechanism through microscopic image and ML techniques | |
| Kousalya et al. | Comparative analysis of white blood cells classification using deep learning architectures | |
| Khadangi et al. | CardioVinci: building blocks for virtual cardiac cells using deep learning | |
| Scheithe et al. | Monitoring acute lymphoblastic leukemia therapy with stacked denoising autoencoders | |
| Kolokolnikov et al. | Comparative study of data augmentation strategies for white blood cells classification | |
| Marini et al. | Semi-supervised learning with a teacher-student paradigm for histopathology classification: a resource to face data heterogeneity and lack of local annotations | |
| Balasubramanian et al. | Classification of white blood cells based on modified U‐Net and SVM | |
| Yellin et al. | Multi-cell detection and classification using a generative convolutional model | |
| US20220172370A1 (en) | Method for detecting white matter lesions based on medical image | |
| Leo et al. | Improving colon carcinoma grading by advanced cnn models | |
| EP4264484A1 (en) | Systems and methods for identifying cancer in pets | |
| Priyanka Pramila et al. | Automated skin lesion detection and classification using fused deep convolutional neural network on dermoscopic images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200605 |
|
| WD01 | Invention patent application deemed withdrawn after publication |