CN108426994B - 分析数字全息显微术数据以用于血液学应用 - Google Patents

分析数字全息显微术数据以用于血液学应用 Download PDF

Info

Publication number
CN108426994B
CN108426994B CN201810094733.4A CN201810094733A CN108426994B CN 108426994 B CN108426994 B CN 108426994B CN 201810094733 A CN201810094733 A CN 201810094733A CN 108426994 B CN108426994 B CN 108426994B
Authority
CN
China
Prior art keywords
red blood
cell
dhm
image
blood cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810094733.4A
Other languages
English (en)
Other versions
CN108426994A (zh
Inventor
N.埃尔-泽希里
孙善辉
B.乔治斯库
L.拉迪克
A.卡门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of CN108426994A publication Critical patent/CN108426994A/zh
Application granted granted Critical
Publication of CN108426994B publication Critical patent/CN108426994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G01N15/1433—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/487—Physical analysis of biological material of liquid biological material
    • G01N33/49—Blood
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G01N2015/016—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Abstract

一种用于分析数字全息显微术（DHM）数据以用于血液学应用的方法包括接收使用数字全息显微术系统获取的DHM图像和标识DHM图像中的一个或多个红细胞。针对包括在所述一个或多个红细胞中的每个相应红细胞，使用参数模型来估计相应红细胞的细胞厚度值，并且使用细胞厚度值为相应红细胞计算细胞体积值。

Description

分析数字全息显微术数据以用于血液学应用
本案为分案申请。其母案的发明名称为“分析数字全息显微术数据以用于血液学应用”，申请日为2015年6月16日，申请号为201580032575.4。
相关申请的交叉引用
本申请要求2014年6月16日提交的美国临时申请序号62/012,636的权益，所述美国临时申请被整体地通过引用结合到本文中。
技术领域
本公开一般地涉及分析数字全息显微术（DHM）以用于血液学应用。本文中描述的各种系统、方法以及装置可以应用于例如红血细胞（RBC）体积测量和白血细胞（WBC）区分（differential）（细胞类型分类）应用。
背景技术
数字全息显微术（DHM）（也称为干涉相位显微术）是一种成像技术，其提供了定量地跟踪透明样品中的亚纳米量级光学厚度改变的能力。不同于其中仅捕捉关于样品的强度（振幅）信息的传统数字显微术，DHM捕捉相位和强度两者。作为全息图捕捉的相位信息可以用来使用计算机算法来重构关于样品的扩展形态信息（诸如深度和表面特性）。现代的DHM实现提供若干附加益处，诸如快速扫描/数据获取速度、低噪声、高分辨率和用于无标签样本获取的潜力。
诸如体积测量和分类之类的常规细胞分析技术依赖于缺少拓扑信息的二维细胞图像。因此，虽然这些技术可以基于诸如强度之类的信息来分析细胞，但其准确度由于缺少细胞的尺寸和形状的知识而被限制。因此，期望提供适用于提供关于细胞结构的更详细信息的成像模式（诸如DHM）的细胞分析技术。
发明内容
通过提供与分析数字全息显微术（DHM）以用于血液学应用相关的方法、系统以及装置，本发明的实施例解决并克服了上面的不足和缺点中的一个或多个。另外，如在本公开中进一步详细地解释的那样，本文中描述的技术也可以应用于其他临床应用。
DHM以潜在无标记的方式用扩展深度和形态信息来实现高分辨率、宽视野成像的能力使本技术定位于供在若干临床应用中使用。例如，在血液学领域中，DHM可以被用于红血细胞（RBC）体积测量、白血细胞（WBC）区分（细胞类型分类）。针对尿沉渣分析，DHM虑及扫描层中的微流体样本以重构沉渣（可能不等待沉淀）；提高沉渣组分的分类准确度。DHM还可以通过DHM的扩展形态/对比（例如以在新鲜组织中在不标记的情况下将癌细胞与健康细胞区别开）的利用而被用于组织病理学应用。类似地，针对罕见细胞检测应用可以利用DHM的扩展形态/对比（例如，以区别罕见细胞，诸如循环肿瘤/上皮细胞、干细胞、受感染细胞等）。
根据本发明的一个方面，如在某些实施例中所述，一种用于分析数字全息显微术（DHM）数据以用于血液学应用的方法包括接收使用数字全息显微术系统获取的DHM图像。在多个DHM图像中的每个中标识一个或多个连接分量。根据一个或多个连接分量生成一个或多个训练白血细胞图像，并且使用一个或多个训练白血细胞图像来训练分类器以标识白血细胞类型。当接收到新的DHM图像时，从DHM图像提取新的白血细胞图像。于是然后可以将分类器应用于新的白血细胞图像以确定概率值，其中每个相应的概率值对应于白血细胞类型中的一个。然后可以在图形用户界面中呈现新的白血细胞图像和多个概率值。在某些实施例中，可以使用该概率值来执行全血细胞（CBC）测试。
在本发明的不同实施例中可以对前述做出各种增强、修改或添加。例如，在某些实施例中，在标识一个或多个连接分量之前，对多个DHM图像中的每个应用定阈值（thresholding）以突出每个相应的DHM图像中的亮点。然后可以移除具有在预定阈值以下的尺寸的分量（即，小的连接分量）。在某些实施例中，分类器是K最近邻（K-NN）分类器。此类分类器可以使用从多个DHM图像中的每个提取的基于纹理基元的纹理特征来将新的DHM图像分类。在其他实施例中，分类器是使用分层k均值和尺度不变特征变换（SIFT）描述符作为局部图像特征训练的视觉词汇词典（例如，词汇直方图）。例如，可以从多个DHM图像中的每个提取稠密SIFT描述符并将其用来构造表示词汇词典结构的二元查找树。然后可以基于二元查找树来生成视觉词汇词典。可以将一对一n个标记支持向量机（SVM）用于标识DHM图像中的多个白血细胞类型中的一个或多个。在其他实施例中，分类器是使用自动编码器卷积神经网络（CNN）训练的深度学习分类器。
另外，在前述方法的某些实施例中，对白血细胞图像应用数字染色技术。例如，在一个实施例中，确定光学密度与和染色协议相关联的着色之间的映射。还确定与新的白血细胞图像相关联的光学密度信息。在呈现新的白血细胞图像之前，使用映射和光学密度信息将新的白血细胞图像着色。
根据本发明的另一方面，如在某些实施例中所述，一种用于分析数字全息显微术（DHM）数据以用于血液学应用的制品包括非瞬时有形计算机可读介质，其保存用于执行前述方法的计算机可执行指令。该制品可以进一步包括针对上面关于前述方法讨论的任何附加特征的指令。
在本发明的其他实施例中，一种用于分析数字全息显微术（DHM）数据以用于血液学应用的系统包括联网组件、建模处理器以及图形用户界面。联网组件被配置成与数字全息显微术系统通信以检索训练DHM图像和测试DHM图像。建模处理器被配置成：标识每个训练DHM图像中的一个或多个连接分量、根据一个或多个连接分量生成一个或多个训练白血细胞图像，以及使用一个或多个训练白血细胞图像来训练分类器以标识白血细胞类型。建模处理器被进一步配置成从测试DHM图像提取测试白血细胞图像，以及将分类器应用于测试白血细胞图像以确定概率值，其中每个相应的概率值对应于白血细胞类型中的一个。图形用户界面被配置成呈现测试白血细胞图像和概率值。
根据参考附图进行的说明性实施例的以下详细描述，将使得本发明的附加特征和优点显而易见。
附图说明
当结合附图来阅读时，根据以下详细描述最佳地理解本发明的前述及其他方面。出于说明本发明的目的，在图中示出了当前优选的实施例，然而，应理解的是本发明不限于公开的特定手段。包括在图中的是以下各图：
图1提供了根据某些实施例的用于处理DHM图像以用于红细胞体积计算的框架的图示；
图2提供了如可以在某些实施例中执行的光程差DHM（OPD-DHM）图像中的红细胞的分割的示例图示；
图3示出了如可以在某些实施例中利用的正常红细胞的几何模型；
图4提供了图示出规则化的红细胞的参数建模的示例；
图5提供了根据某些实施例的用于计算细胞体积的过程的图示；
图6提供了如可以在某些实施例中应用其的用于将白血细胞分类的预处理框架的图示；
图7示出了根据某些实施例的在训练和测试中使用的白血细胞的样本；
图8A提供了如可以在某些实施例中使用的示出了可以用于针对每个细胞类型进行训练和测试的数据集的示例的表格；
图8B示出了如可以根据某些实施例获得的针对本样本情况使用纹理基元特征和KNN分类器获得的成对分类结果；
图9提供了如可以在某些实施例中应用其的局部图像特征采样的示例；
图10示出了表示词汇词典结构的完整二元查找树结构；
图11提供了如可以在某些实施例中应用的用于从局部图像特征（稠密SIFT描述符）到全局图像特征（词汇直方图）的变换的工作流程的可视化；
图12示出了根据某些实施例获得的使用SIFT和SVM分类的成对分类结果；
图13示出了可以在某些实施例中利用的具有一个隐藏层的前馈神经网络的结构；
图14示出了根据某些实施例的提供结果可视化并促进用户交互和校正的GUI；
图15图示出在其内可以实现本发明的实施例的示例性计算环境。
具体实施方式
以下公开根据针对与分析数字全息显微术（DHM）以用于血液学及其他临床应用相关的方法、系统以及装置的若干实施例来描述本发明。简要地，本文中讨论的技术包括可以在本文中描述的各种实施例中以不同配置应用的三个原则想法。首先，在某些实施例中，使用红细胞的参数建模来执行红血细胞（RBC）体积估计以将原始DHM数据规则化以匹配红细胞的物理模型，在尝试中消除在图像获取过程期间引起的任何畸变。其次，在某些实施例中，使用机器学习算法来执行由DHM捕捉的白血细胞（WBC）的无标记区别，所述机器学习算法从WBC的每个子类型（即，单核细胞、嗜中性粒细胞、嗜碱性粒细胞、淋巴细胞、嗜酸性粒细胞）的训练样本DHM图像的集合提取特性拓扑改变。该机器学习算法然后基于学习的基于DHM图像的特征自动地将新细胞分类成种类中的一个。第三，在某些实施例中，执行细胞的被分类的DHM图像的“数字染色”或“假着色”以类似于常规染色技术。本文中描述的数字染色方法使用一组细胞的DHM和染色图像的匹配对，并且学习回归函数以映射DHM图像像素（将细胞组分的拓扑表示成常规染色技术的RBG色彩方案）。
图1提供了根据某些实施例的用于处理DHM图像以用于红细胞体积计算的框架100的图示。简要地，使用DHM系统105来获取一个或多个输入图像。数字全息显微术系统105可以是能够获取DHM图像的本领域中已知的任何系统。图像分割组件110在获取的输入图像中执行红细胞的分割。接下来，参数建模组件115（例如，使用卡西尼卵形线）开发红细胞的模型。然后，参数建模组件120计算每个红细胞的厚度信息，其进而可以被用来确定红细胞的体积。
可以将各种分割技术应用于输入图像以将红细胞分割。例如，在某些实施例中，由图像分割组件110执行的分割问题被制定为能量最小化问题，其使在组合优化框架中的分段恒定Mumford-Shah能量泛函最小化。可以如下描述分割能量。给定图像u和感兴趣图像u：Ω→R，其中Ω是包括若干连接分量Ωi且以封闭边界
Figure 173992DEST_PATH_IMAGE001
为边界的R2中的开放有界子集，找到分段恒定近似使得u在组件Ωi内是恒定的并且在跨边界C的过渡中是陡峭的。这被用公式表示为：
Figure 91133DEST_PATH_IMAGE002
（1）
其中xp是指示特定像素p = (x, y)是属于细胞还是属于背景的二元变量。针对每个像素
Figure 605291DEST_PATH_IMAGE003
设置二元变量xp，使得
Figure 157757DEST_PATH_IMAGE004
（2）
常数c1和c2表示输入DHM图像的分段恒定近似，wpq表示欧几里德长度规则化的权重，并且μ是定义长度规则化对分割能量的贡献的加权系数。可以使用用于mu的相对高的值以避免将细胞的核与其余部分分离。
图2提供了光程差DHM（OPD-DHM）图像中的红细胞的分割的示例图示。图像205示出了输入图像，而图像210示出了对图像205强加的红细胞边界的描绘（用点线表示）。
正常红细胞一般地被成形为双凹盘形以实现大的表面积与体积比。例如，图3示出了正常红细胞的几何模型300。存在影响细胞的形状的四个主要参数（在图3中示出）：细胞的直径（D）、最小凹陷厚度（t）、最大厚度（h）和确定最大厚度的圆的直径（d）。
使用在图3中呈现的几何理解，存在用于红细胞表面表示的若干双凹模型，其可以被参数建模组件120应用以表征每个红细胞的形状和几何结构。例如，某些实施例利用一般地在本领域中已知的Evans-Fung模型技术，其利用以下等式：
Figure 237709DEST_PATH_IMAGE005
（3）
其中R是细胞的半径（R = D/2），并且ρ是距细胞中心的水平距离。为了估计模型参数c0、c1和c2，我们使如根据参数模型估计的深度图与根据DHM观察的深度之间的误差平方和最小化。厚度轮廓的误差平方和被表达为：
Figure 932608DEST_PATH_IMAGE006
（4）
在某些实施例中，细胞的参数建模将细胞表面规则化以匹配红细胞的物理模型并消除在图像获取过程期间引起的任何畸变。图4提供了图示出规则化的红细胞的参数建模的示例。在图像405中，描绘了如从DHM图像观察的细胞表面。图像410示出了如由Evans-Fung模型表征的细胞表面。
在针对每个细胞执行分割和参数建模之后，可以计算每个RBC的体积。然后可以使用RBC体积本身作为临床测量结果，或者可以将其用来导出附加临床有效值。例如，可以在确定平均细胞体积（MCV）（其继而是全血细胞计数（CBC）中的关键参数）中使用RBC体积的计算。
图5提供了根据某些实施例的用于计算细胞体积的过程500的图示。在步骤505处，接收红细胞的OPD-DHM图像。接下来，在步骤510处，将DHM图像分割以从背景提取所有红细胞。可以例如使用组合分段恒定Mumford-Shah能量泛函或在本领域中一般地已知的任何类似技术来执行分割。在步骤515处，对分割掩码（mask）应用连接分量分析以标记独立的红细胞。
继续参考图5，在步骤520-530处，针对每个红细胞执行测量过程。在步骤520处，例如使用Evans-Fung技术来近似细胞表面。优化等式4中的差平方和并计算模型参数C0、C1和C2。接下来，在步骤525处，使用模型来使用等式3估计更新的细胞厚度z(ρ)。然后，在步骤530处，使用更新的细胞厚度来计算细胞体积。过程500的输出是每个红细胞的体积。
可以将过程500扩展成还提供细胞的平均血红蛋白含量。为此，可以将常规血液分析仪用于校准平均细胞体积和将基于光学密度图的体积转换成平均血红蛋白含量。
区分血液测试测量血细胞样本中的白血细胞类型中的每个类型的百分比。标识每个类型的白血细胞对于被用来诊断疾病（诸如感染、贫血和白血病）的血液区分分析而言是关键的预备步骤。为了解决此步骤，可以应用本文中描述的系统以将不同的白血细胞类型区别开来。具体地，所描述的系统旨在区别五个不同类型的白血细胞，即：单核细胞、嗜碱性粒细胞、嗜中性粒细胞、嗜酸性粒细胞和淋巴细胞。简要地，处理白血细胞的管线包括以下三个步骤。第一步是其中标识并隔离各种类型的白血细胞的预处理。第二步是其中根据提取的细胞训练分类器的训练。第三步是其中使用分类器来将看不见的细胞分类的分类。现在将详细地讨论这些步骤中的每个。
图6提供了如可以在某些实施例中应用其的用于将白血细胞分类的预处理框架600的图示。在预处理步骤期间，使用管线来准备用于分类器训练步骤期间的训练块（patch）。最初，对输入图像605应用阈值以捕捉亮点（其非常有可能是细胞）。在定阈值之后，对定阈值的图像610应用连接分量分析。然后，如图像615中所图示，针对每个连接分量计算分量尺寸。如果分量的尺寸在预定义阈值t1和t2以下或以上，则拒绝该分量。从训练和测试排除被拒绝分量。包括剩余分量的块（块是包括连接分量的矩形框）被用来训练分类器（例如，K最近邻分类器）。
在预处理框架600之后，可以将各种机器学习算法用于对白血细胞的DHM图像执行五部分区分。例如，在某些实施例中，使用基于纹理基元的方法，其中使用细胞的DHM图像的纹理特性作为主要辨别特征。在其他实施例中，采用更加数据驱动的方法，其中学习图像块的词典并将其用来将整个图像表示为直方图。然后使用该直方图作为用于各种细胞子类型之间的分类的主要特征。在其他实施例中，分类基于具有多个层的卷积神经网络以用多层网络立刻执行特征提取、选择以及分类。下面详细地描述这些不同方法中的每个。
如在本领域中一般地理解的那样，使用代表性图像的数据集来训练图像分类算法。在图7中图示出训练数据集的一个示例。在本示例中，以四个种类中的一个来标记细胞图像：单核细胞、嗜碱性粒细胞、嗜中性粒细胞以及淋巴细胞。应注意的是此训练集仅仅是可以在训练分类器中使用的数据的一个示例。例如，在某些实施例中采用的其他训练集可以包括附加种类（例如，嗜酸性粒细胞）。另外（或替换地），种类可以具有更精细的粒度水平。
在其中基于纹理基元的方法被用于分类的实施例中，使用包括预处理的细胞图像的提取块来训练K最近邻（K-NN）分类器。该分类器利用从每个块提取的基于纹理基元的纹理特征。纹理基元是通过滤波器组响应的集合进行的小纹理特征的表示。基于纹理基元的纹理分类器使用纹理基元的直方图以通过与训练数据集的纹理基元相比特定的块中的纹理基元的频率来表征纹理。特别地，使用纹理基元特征，因为在病理上证明了细胞核的粒度在不同细胞类型中不同并且这可以使用纹理特征来捕捉。
为了说明基于纹理基元的方法，考虑基于纹理基元的纹理特征表示与简单的K-NN分类器的组合。图8A提供了示出可以被用于针对每个细胞类型进行训练和测试的数据集的示例的表格。在所有成对分类中针对本示例数据集获得的分类率从75%变化到95%。图8B示出了针对该样本情况使用纹理基元特征和KNN分类器获得的成对分类结果。
为了使用先前的成对分类来提供多标记分类器，可以使用投票将一个或多个成对分类器组合。理想地，四个分类器应对类别标签达成一致，并且6个分类器将提供随机标记。例如，如果10个分类器被表示为C1至C10，则可以将用于未知样本S的最后类别标记L表示为10个分类器的标记的模式（最频繁值）。换言之，针对多标记分类问题标记10个成对分类器的大多数投票。将所有成对分类组合到一个多标记分类器产生针对图8A中呈现的示例数据集集合的76.5%正确分类率。
在某些实施例中，可以使用视觉单词袋（BOW）方法来解决此基于多类别的图像分类问题。在BOW方法中，用视觉单词的出现计数的向量（基于局部图像特征的词汇词典上的直方图）来表示全局图像特征。这些全局图像特征然后被用于分类。可以将管线划分成三个阶段：离线词汇学习、图像分类训练和测试。在离线词汇学习阶段中，可以使用分层K均值和SIFT（尺度不变特征变换）描述符作为局部图像特征来训练视觉词汇词典。针对分类，可以利用一对一n个标记支持向量机（SVM）。为了避免过拟合问题，可以采用两个方法。首先，可以以随机程度扰乱每个训练图像。其次，可以使用对训练数据集的交叉验证而针对内核确定SVM参数。
SIFT描述符描述了不变局部图像结构和捕捉局部纹理信息。可以针对每个图像的每ns个像素计算稠密SIFT描述符（w×h），其中w和h分别是图像宽度和高度。例如，可以使用128维度SIFT描述符，并且因此每个图像存在约
Figure 871745DEST_PATH_IMAGE007
个局部图像特征。图9提供了如可以在某些实施例中应用其的局部图像特征采样的示例。在本示例中，每个白点表示计算128维度SIFT描述符的位置。
在某些实施例中，利用修改的词汇树结构来构造视觉词汇词典。词汇树使用分层k均值聚类来定义分层量化。图10示出了表示词汇词典结构的完全二元（k=2）查找树结构。节点1005是视觉集群中心。
Figure 70645DEST_PATH_IMAGE008
个叶节点最终被用作视觉词汇单词。nd是二叉树的深度。在词汇树学习阶段中，首先，初始k均值算法被应用到训练数据（从训练数据集导出的SIFT描述符的集合）且然后划分成2个组，其中每个组包括最接近于集群中心的SIFT描述符。该过程然后被循环地应用直至树深度达到nd。在在线阶段中，经由将该特征向量与2个集群中心相比较并选择最近的一个而使SIFT描述符（向量）沿着树按照每个级别向下传递。针对每个图像上的所有稠密SIFT描述符计算视觉单词直方图。
图11提供了用于从局部图像特征（稠密SIFT描述符）到全局图像特征（词汇直方图）的变换的工作流程的可视化。在图12中描绘了通过将SIFT特征与用于示例数据集的SVM分类组合而获得的结果。将这些成对分类器组合产生针对5类分类问题的84%正确分类率。
在某些实施例中，使用深度学习（DL）架构来执行5类分类。虽然主要针对二元分类来制定SVM，但DL固有地是多标记分类器。为了说明DL分类技术，针对多标记分类问题直接地训练卷积网络。500个细胞被用于训练，每个种类100个，并且细胞的其余部分被用于测试。
针对本示例DL应用，使用自动编码器卷积神经网络（CNN）来训练边缘空间学习（MSL）分类器。图13示出了具有一个隐藏层（也称为“AE”）的前馈神经网络的结构。忽视偏项（图13中标记为“+1”的节点），输入和输出层具有相同数目的节点。此类自动编码器的目标是学习输入层（表示图像的特征）与输出层（用于图像的标记）之间的传递函数。如果隐藏层具有等于或大于输入层的尺寸，则潜在地，AE可以学习恒定变换。为了防止此类平凡解，先前用具有比输入层少的节点的隐藏层来设立AE。最近，提出了去噪自动编码器（DAE）以学习输入的更有意义的表示。随机地挑选要被干扰的输入节点（例如，将值设置成零）的一定百分比（例如，50%），并且要求DAE考虑到受污染的观察来重构原始输入向量。用DAE，隐藏层可以具有比输入更多的节点以实现超完备表示。在训练AE之后，丢弃输出层并使用已训练的隐藏层的激活响应作为到新AE的输入来堆叠另一AE。可以重复此过程以逐层地训练和扩展网络。在预先训练之后，可以将隐藏层的输出示为高级图像特征以训练分类器。替换地，我们可以添加用于目标输出的再一个层，并且可以使用向后传播来细化整个网络。
在分类完成之后，可以在图形用户界面（GUI）中向病理学家呈现白血细胞的各种种类以用于最后确认。可以计算给定细胞属于某个子类型的概率，并且在最后检查期间将其以数值方式或以图形方式呈现给病理学家。
图14示出了根据某些实施例的提供结果可视化并促进用户交互和校正的GUI。如图14中所示，病理学家将具有基于细胞的DHM图像进行修改的机会。在显示每个血细胞类型的百分比和基于这些百分比的可能诊断的前两行1405处描绘了自动血液区分的结果。图1410的底部部分示出了用户可以如何修改结果。系统示出了用于用户交互的顶部细胞候选。这些细胞基于前两个概率的差而被选择和分类。该系统显示提取的细胞（由我们的预处理管线提取）并显示其属于每个WBC类型的概率。用户可以通过简单地标记复选框来接受标记或选择新标记。如果用户改变标记，则系统可以自动地更新计数、百分比和可能的诊断，这改变顶行并显示新的结果。
另外，为了使病理学家能够最好地回顾图像，在某些实施例中，利用假着色方案，其将DHM图像转换成具有与针对常规染色方法（诸如Wright和Giemsa方法）染色的细胞图像类似的彩色图案的图像。例如，Giemsa-Wright染色使用包括用于染色的曙红Y、天蓝色B以及亚甲蓝的解决方案。这些方案绑定到细胞的不同地包括核和颗粒的组分，并且从而提供对于细胞的目视检查必不可少的更明显的着色。从细胞的DHM图像，我们获得针对细胞组分的不同光学密度图案，并且其可以被用作用以执行着色的特征。我们设想的方法是基于具有分别地用DHM和Giemsa染色两者成像的细胞的匹配对。在某些实施例中，使用简单的回归函数，其可以使用机器学习技术来实现，诸如用以将光学密度图从DHM映射到与Giemsa-Wright染色协议一致RGB色彩方案的卷积神经网络。回归映射可以对单个像素或像素组（即，图像块）工作。另外，可以利用基于马尔可夫随机场的规则化来确保具有类似光学密度的相邻像素将被类似地着色。除Giemsa和Wright染色之外，可以基于细胞图像的匹配对的集合来学习其他染色协议，并且可以从DHM图像以数字方式再现染色版本。
在某些实施例中，可以将本文中描述的针对RBC的平均细胞体积计算和/或WBC五部分区分作为用于全血细胞计数（CBC）测试的关键测量。如在本领域中理解的，CBC测试评估个体的总体健康，并且可以被用在诸如贫血、感染和白血病之类的血液相关疾病的检测中。因此，例如，可以使用特定WBC计数中的异常增加或减少作为要求进一步评估的基础医学条件的指示符。
可以对本文中描述的技术做出或者向本文中描述的技术添加各种其他扩展、增强或其他修改以提供附加功能。例如，在某些实施例中，也在重构之前对原始干涉图案图像应用用于白血细胞子分类的五部分区分方法。为了增加RBC体积或者WBC分类的总体准确度，可以使用同一细胞的多个图像或者可以对结果求平均。本文中描述的系统和方法还可以应用于在细胞分类空间外部的临床应用。例如，可以扩展基于描述的方法的各种对象的尺寸计算和分类以用于尿分析应用，其中测量尿沉渣的尺寸并通过使用所描述的方法来分析DHM图像而标识各种种类。另外，考虑到DHM技术中的最近进步——特别是尺寸、复杂性和成本中的降低——可以在临床环境内或者在照护点处（以分散式方式）执行这些（及其他）应用。
图15图示出在其内可以实现本发明的实施例的示例性计算环境1500。例如，该计算环境1500可以被配置成执行框架100的组件中的一个或多个以用于处理图1中图示的DHM图像。另外（或替换地），该计算环境1500可以被配置成执行本文中描述的过程中的一个或多个（例如，图1中所示的用于计算细胞体积的过程500）。计算环境1500可以包括计算机系统1510，其是可以在其上面实现本发明的实施例的计算系统的一个示例。计算机和计算环境（诸如计算机系统1510和计算环境1500）为本领域那些技术人员已知，并且因此在这里进行简要描述。
如图15中所示，计算机系统1510可以包括诸如总线1521之类的通信机构或者用于在计算机系统1510内传送信息的其他通信机构。计算机系统1510进一步包括与总线1521耦合以用于处理信息的一个或多个处理器1520。处理器1520可包括一个或多个中央处理单元（CPU）、图形处理单元（GPU）或本领域中已知的任何其他处理器。
计算机系统1510还包括被耦合到总线1521的系统存储器1530，用于存储将由处理器1520执行的信息和指令。系统存储器1530可以包括以易失性和/或非易失性存储器（诸如只读存储器（ROM）1531和/或随机访问储器（RAM）1532）的形式的计算机可读存储介质。系统存储器RAM 1532可以包括（一个或多个）其他动态存储设备（例如，动态RAM、静态RAM以及同步DRAM）。系统存储器ROM 1531可包括（一个或多个）其他静态存储设备（例如，可编程ROM、可擦除PROM以及电可擦PROM）。另外，系统存储器1530可以被用于在由处理器1520执行指令期间存储瞬时变量或其他中间信息。可以在ROM 1531内存储包含帮助诸如在启动期间在计算机系统1510内的元件之间传输信息的基本例程的基本输入/输出系统（BIOS）1533。RAM1532可以包含可立即被处理器1520访问和/或当前被其操作的数据和/或程序模块。系统存储器1530可以另外包括例如操作系统1534、应用程序1535、其他程序模块1536和程序数据1537。
计算机系统1510还包括被耦合到总线1521以控制用于存储信息和指令的一个或多个存储设备的盘控制器1540，所述存储设备诸如硬盘1541和可移除介质驱动1542（例如，软盘驱动、压缩盘驱动、磁带驱动和/或固态驱动）。可使用适当的设备接口（例如，小的计算机系统接口（SCSI）、集成电子设备（IDE）、通用串行总线（USB）或火线）向计算机系统1510添加存储系统。
计算机系统1510还可包括被耦合到总线321以控制显示器1566（诸如阴极射线管（CRT）或液晶显示器（LCD））的显示器控制器1565，用于向计算机用户显示信息。计算机系统包括输入接口1560和一个或多个输入设备，诸如键盘1562和指示设备1561，用于与计算机用户交互并向处理器1520提供信息。指示设备1561例如可以是用于向处理器1520传送方向信息和命令选择并用于控制显示器1566上的光标移动的鼠标、轨迹球或指示杆。显示器1566可以提供触摸屏接口，其允许输入补充或替换由指示设备1561进行的方向信息和命令选择的传送。
计算机系统1510可以响应于处理器1520执行包含于存储器（诸如系统存储器1530）中的一个或多个指令的一个或多个序列而执行本发明的实施例的处理步骤的一部分或全部。此类指令可以被从另一计算机可读介质（诸如硬盘1541或可移除介质驱动1542）读取到系统存储器1530。硬盘1541可以包含被本发明的实施例使用的一个或多个数据仓库和数据文件。数据仓库内容和数据文件可被加密以提高安全性。还可以在多处理布置中采用处理器1520以执行包含于系统存储器1530中的指令的一个或多个序列。在替换实施例中，可以代替软件指令或与软件指令相组合地使用硬接线电路。因此，实施例不限于硬件电路和软件的任何特定组合。
如上面陈述的那样，计算机系统1510可包括用于保存根据本发明的实施例编程的指令且用于包含数据结构、表格、记录或本文中描述的其他数据的至少一个计算机可读介质或存储器。如本文中使用的术语“计算机可读介质”指参与向处理器1520提供指令以用于执行的任何介质。计算机可读介质可采取许多形式，包括但不限于非易失性介质、易失性介质以及传输介质。非易失性介质的非限制性示例包括光盘、固态驱动、磁盘以及磁光盘，诸如硬盘1541或可移除介质驱动1542。易失性介质的非限制性示例包括动态存储器，诸如系统存储器1530。传输介质的非限制性示例包括同轴线缆、铜线以及光纤，其包括构成总线1521的导线。传输介质还可采取声波或光波（诸如在无线电波和红外数据通信期间生成的那些）的形式。
计算环境1500可以进一步包括使用到一个或多个远程计算机（诸如远程计算机1580）的逻辑链接在联网环境中操作的计算机系统1510。远程计算机1580可以是个人计算机（膝上计算机或台式计算机）、移动设备、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括上面相对于计算机系统1510描述的元件中的许多或全部。当在联网环境中使用时，计算机系统1510可以包括用于通过网络1571（诸如因特网）来建立通信的调制解调器1572。调制解调器1572可经由用户网络接口1570或经由另一适当机构连接到总线1521。
网络1571可以是一般地在本领域中已知的任何网络或系统，包括因特网、内部网、局域网（LAN）、广域网（WAN）、城域网（MAN）、直接连接或连接的系列、蜂窝电话网或者能够促进计算机系统1510与其他计算机（例如，远程计算机1580）之间的通信的任何其他网络或介质。网络1571可以是有线的、无线的或其组合。可使用以太网、通用串行总线（USB）、RJ-11或一般地在本领域中已知的任何其他有线连接来实现有线连接。可使用Wi-Fi、WiMAX以及蓝牙、红外、蜂窝式网络、卫星或一般地在本领域中已知的任何其他无线连接方法来实现无线连接。另外，若干网络可单独地或相互通信地工作以促进网络1571中的通信。
作为示例性计算环境1500到本文中描述的技术的一个应用，考虑用于分析DHM数据以用于血液学应用的示例系统，其包括网络组件、建模处理器以及GUI。联网组件可以包括网络接口1570或提供类似功能的硬件和软件的某组合。联网组件被配置成与DHM系统通信以检索DHM图像。因此，在某些实施例中，联网组件可以包括用于与DHM系统通信的专门接口。建模处理器被包括在计算系统（例如计算机系统1510）中并被配置有指令，所述指令使得其能够针对存在于从经由联网组件接收到的DHM图像提取的细胞图像中的细胞类型训练分类器。建模处理器可以包括如在本公开中描述的附加功能以支持此任务（例如，分割、标识连接分量等）。建模处理器被进一步配置成使用分类器来确定新的细胞图像属于被用来训练分类器的类型中的一个的概率。然后可以在显示器（例如，显示器1566）上呈现GUI以供用户回顾。
可以用硬件和软件的任何组合来实现本公开的实施例。另外，可以将本公开的实施例包括在具有例如计算机可读的非瞬时介质的制品（例如，一个或多个计算机程序产品）中。介质具有在其中体现的例如用于提供和促进本公开的实施例的机制的计算机可读程序代码。该制品可以被包括作为计算机系统的部分或者被单独出售。
虽然在本文中公开了各种方面和实施例，但其他方面和实施例对于本领域那些技术人员而言将是显而易见的。在本文中公开的各种方面和实施例出于说明的目的且并不意图是限制性的，其中由以下权利要求来指示实际范围和精神。
如本文中使用的可执行应用包括用于例如响应于用户命令或输入而调节处理器以实现预定功能（诸如操作系统、上下文数据获取系统或其他信息处理系统的那些）的代码或机器可读指令。可执行程序是一段代码或机器可读指令、子例程或用于执行一个或多个特定过程的可执行应用的代码或部分的其他不同区段。这些过程可以包括接收输入数据和/或参数、对接收到的输入数据执行操作和/或响应于接收到的输入参数而执行功能以及提供结果得到的输出数据和/或参数。
如本文中使用的图形用户界面（GUI）包括由显示处理器生成且使得能够实现与处理器或其他设备的用户交互及关联的数据获取和处理功能的一个或多个显示图像。GUI还包括可执行程序或可执行应用。可执行程序或可执行应用调节显示处理器以生成表示GUI显示图像的信号。这些信号被供应给显示设备，所述显示设备显示图像以供由用户查看。处理器在可执行程序或可执行应用的控制下响应于从输入设备接收到的信号来操纵GUI显示图像。这样，用户可以使用输入设备与显示图像交互，使得能够实现与处理器或其他设备的用户交互。
本文中的功能和过程步骤可以被自动地或者完全或部分地响应于用户命令而执行。在没有用户直接发起活动的情况下响应于一个或多个可执行指令或设备操作而执行自动地执行的活动（包括步骤）。
图的系统和过程并不是排他性的。根据本发明的原理可以导出其他系统、过程和菜单以实现相同目标。虽然已参考特定实施例描述了本发明，但应理解的是本文中所示和描述的实施例和变化仅仅用于说明目的。在不脱离本发明的范围的情况下，可由本领域那些技术人员实现对当前设计的修改。如本文中描述的那样，可以使用硬件组件、软件组件和/或其组合来实现各种系统、子系统、代理、管理器和过程。不根据美国法典第35条112款第六段的条款来解释本文中的权利要求元件，除非使用短语“用于……的部件”明确地叙述该元件。

Claims (13)

1.一种用于分析数字全息显微术（DHM）数据以用于血液学应用的方法，方法包括：
接收使用数字全息显微术系统获取的DHM图像；
标识DHM图像中的一个或多个红细胞；
针对包括在所述一个或多个红细胞中的每个相应红细胞，
使用参数模型来估计所述相应红细胞的细胞厚度值，其中参数模型使用细胞直径值、最小凹陷厚度值、最大厚度值以及代表最大细胞厚度的圆直径值来表示所述一个或多个红细胞中的每个，以及
使用细胞厚度值来计算所述相应红细胞的细胞体积值，并提供所述相应红细胞的平均血红蛋白含量；
确定光学密度与和染色协议相关联的着色之间的映射；
确定与DHM图像相关联的光学密度信息；
使用所述映射和所述光学密度信息来将DHM图像着色；以及
在图形用户界面中呈现经着色的DHM图像和所述相应红细胞的细胞体积值。
2.权利要求1的方法，其中通过包括如下各项的过程来标记DHM图像中的所述一个或多个红细胞：
对DHM图像执行分割以生成包括针对所述一个或多个红细胞的边界的分割掩码；以及
对分割掩码执行连接分量分析以标记所述一个或多个红细胞。
3.权利要求2的方法，其中通过使组合优化框架中的分段恒定能量泛函最小化来执行分割。
4.权利要求1的方法，其中参数模型使用卡西尼卵形线来表示所述一个或多个红细胞中的每个。
5.权利要求1的方法，进一步包括：
使用与包括在所述一个或多个红细胞中的每个相应红细胞相关联的细胞厚度值和细胞体积值来执行全血细胞（CBC）测试。
6.权利要求1的方法，其中通过使根据参数模型估计的深度图与根据DHM图像观察到的深度之间的误差平方和最小化来确定参数模型中使用的参数。
7.一种用于分析数字全息显微术（DHM）数据以用于血液学应用的制品，制品包括非瞬时有形计算机可读介质，其保存计算机可执行指令以用于执行包括如下各项的方法：
接收使用数字全息显微术系统获取的DHM图像；
标识DHM图像中的一个或多个红细胞；
针对包括在所述一个或多个红细胞中的每个相应红细胞，
使用参数模型来估计所述相应红细胞的细胞厚度值，其中参数模型使用细胞直径值、最小凹陷厚度值、最大厚度值以及代表最大细胞厚度的圆直径值来表示所述一个或多个红细胞中的每个，以及
使用细胞厚度值来计算所述相应红细胞的细胞体积值，并提供所述相应红细胞的平均血红蛋白含量；
确定光学密度与和染色协议相关联的着色之间的映射；
确定与DHM图像相关联的光学密度信息；
使用所述映射和所述光学密度信息来将DHM图像着色；以及
在图形用户界面中呈现经着色的DHM图像和所述相应红细胞的细胞体积值。
8.权利要求7的制品，其中通过包括如下各项的过程来标记DHM图像中的所述一个或多个红细胞：
对DHM图像执行分割以生成包括针对所述一个或多个红细胞的边界的分割掩码；以及
对分割掩码执行连接分量分析以标记所述一个或多个红细胞。
9.权利要求8的制品，其中通过使组合优化框架中的分段恒定能量泛函最小化来执行分割。
10.权利要求7的制品，其中参数模型使用卡西尼卵形线来表示所述一个或多个红细胞中的每个。
11.权利要求7的制品，其中方法进一步包括：
使用与包括在所述一个或多个红细胞中的每个相应红细胞相关联的细胞厚度值和细胞体积值来执行全血细胞（CBC）测试。
12.权利要求7的制品，其中通过使根据参数模型估计的深度图与根据DHM图像观察到的深度之间的误差平方和最小化来确定参数模型中使用的参数。
13.一种用于分析数字全息显微术（DHM）数据以用于血液学应用的系统，系统包括：
联网组件，其被配置成与数字全息显微术系统通信以检索DHM图像；
建模处理器，其被配置成：
标识DHM图像中的一个或多个红细胞；
针对包括在所述一个或多个红细胞中的每个相应红细胞，
使用参数模型来估计所述相应红细胞的细胞厚度值，其中参数模型使用细胞直径值、最小凹陷厚度值、最大厚度值以及代表最大细胞厚度的圆直径值来表示所述一个或多个红细胞中的每个，以及
使用细胞厚度值来计算所述相应红细胞的细胞体积值，并提供所述相应红细胞的平均血红蛋白含量；
确定光学密度与和染色协议相关联的着色之间的映射；
确定与DHM图像相关联的光学密度信息；
使用所述映射和所述光学密度信息来将DHM图像着色；以及
显示器，其被配置成在图形用户界面中呈现经着色的DHM图像和所述相应红细胞的细胞体积值。
CN201810094733.4A 2014-06-16 2015-06-16 分析数字全息显微术数据以用于血液学应用 Active CN108426994B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462012636P 2014-06-16 2014-06-16
US62/012636 2014-06-16
CN201580032575.4A CN106462746B (zh) 2014-06-16 2015-06-16 分析数字全息显微术数据以用于血液学应用

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580032575.4A Division CN106462746B (zh) 2014-06-16 2015-06-16 分析数字全息显微术数据以用于血液学应用

Publications (2)

Publication Number Publication Date
CN108426994A CN108426994A (zh) 2018-08-21
CN108426994B true CN108426994B (zh) 2020-12-25

Family

ID=53488476

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810094733.4A Active CN108426994B (zh) 2014-06-16 2015-06-16 分析数字全息显微术数据以用于血液学应用
CN201580032575.4A Active CN106462746B (zh) 2014-06-16 2015-06-16 分析数字全息显微术数据以用于血液学应用

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580032575.4A Active CN106462746B (zh) 2014-06-16 2015-06-16 分析数字全息显微术数据以用于血液学应用

Country Status (5)

Country Link
US (3) US10706260B2 (zh)
EP (2) EP3155558A1 (zh)
JP (2) JP6503382B2 (zh)
CN (2) CN108426994B (zh)
WO (2) WO2015195609A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095901B (zh) * 2014-04-30 2019-04-12 西门子医疗保健诊断公司 用于处理尿液沉渣图像的待处理区块的方法和装置
CN105095921B (zh) * 2014-04-30 2019-04-30 西门子医疗保健诊断公司 用于处理尿液沉渣图像的待处理区块的方法和装置
US10614287B2 (en) 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
EP3155558A1 (en) * 2014-06-16 2017-04-19 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
EP2985719A1 (en) * 2014-08-15 2016-02-17 IMEC vzw A system and method for cell recognition
FR3030749B1 (fr) * 2014-12-19 2020-01-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Methode d'identification de particules biologiques par piles d'images holographiques defocalisees
US9721186B2 (en) * 2015-03-05 2017-08-01 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
KR101692634B1 (ko) * 2015-08-28 2017-01-03 연세대학교 산학협력단 2차원 영상의 3차원 변환 장치 및 방법
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
US10055839B2 (en) 2016-03-04 2018-08-21 Siemens Aktiengesellschaft Leveraging on local and global textures of brain tissues for robust automatic brain tumor detection
ES2944957T3 (es) * 2016-03-16 2023-06-27 Siemens Healthcare Gmbh Diferencial de 5 partes de alta exactitud con microscopía holográfica digital y leucocitos intactos de sangre periférica
US11151721B2 (en) 2016-07-08 2021-10-19 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
US10504004B2 (en) * 2016-09-16 2019-12-10 General Dynamics Mission Systems, Inc. Systems and methods for deep model translation generation
US11132529B2 (en) * 2016-11-16 2021-09-28 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
US10289925B2 (en) * 2016-11-29 2019-05-14 Sap Se Object classification in image data using machine learning models
CN108229508B (zh) * 2016-12-15 2022-01-04 富士通株式会社 用于训练图像处理装置的训练装置和训练方法
FR3060746B1 (fr) * 2016-12-21 2019-05-24 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de numeration de particules dans un echantillon par imagerie sans lentille
CN108537092B (zh) * 2017-03-02 2020-11-10 爱威科技股份有限公司 变异红细胞识别方法及装置
JP6873390B2 (ja) * 2017-03-02 2021-05-19 株式会社島津製作所 細胞解析方法及び細胞解析装置
US10365606B2 (en) * 2017-04-07 2019-07-30 Thanh Nguyen Apparatus, optical system, and method for digital holographic microscopy
EP3612981A1 (en) * 2017-04-19 2020-02-26 Siemens Healthcare GmbH Target detection in latent space
EP3623793B1 (en) * 2017-05-07 2022-09-07 Aipore Inc. Identification classification analysis method and classification analysis device
US10593082B2 (en) * 2017-07-18 2020-03-17 Becton, Dickinson And Company Dynamic display of multi-parameter quantitative biological data
CN107451994A (zh) * 2017-07-25 2017-12-08 宸盛科华（北京）科技有限公司 基于生成对抗网络的物体检测方法及装置
EP3669227B8 (en) 2017-08-15 2024-02-28 Siemens Healthineers AG Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks
CN111095360B (zh) * 2017-09-19 2023-09-05 美国西门子医学诊断股份有限公司 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色
ES2837438T3 (es) 2017-09-29 2021-06-30 Siemens Healthcare Gmbh Detección específica de malaria con microscopía óptica digital
GB2567155B (en) 2017-10-02 2022-03-02 Room4 Group Ltd Histopathological image analysis
EP3701260A4 (en) * 2017-10-26 2021-10-27 Essenlix Corporation IMAGE-BASED ANALYSIS SYSTEM AND METHODS USING MACHINE LEARNING AND CROF
FR3073047B1 (fr) * 2017-11-02 2021-01-29 Commissariat Energie Atomique Procede optique d'estimation d'un volume representatif de particules presentes dans un echantillon
CN107767384B (zh) * 2017-11-03 2021-12-03 电子科技大学 一种基于对抗训练的图像语义分割方法
CA3082097A1 (en) * 2017-11-14 2019-05-23 miDiagnostics NV Classification of a population of objects by convolutional dictionary learning with class proportion data
CN108197525B (zh) * 2017-11-20 2020-08-11 中国科学院自动化研究所 人脸图像生成方法及装置
CN108693097A (zh) * 2017-12-13 2018-10-23 青岛汉朗智能医疗科技有限公司 红细胞聚集检测方法及系统
KR102282722B1 (ko) * 2017-12-15 2021-07-29 주식회사 내일해 결함 검출 방법 및 장치
WO2019117453A1 (ko) * 2017-12-15 2019-06-20 주식회사 내일해 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치
EP3502660A1 (en) * 2017-12-22 2019-06-26 IMEC vzw Fast and robust fourier domain-based cell differentiation
JP7064720B2 (ja) * 2018-02-16 2022-05-11 株式会社ニコン 算出装置、算出プログラム及び算出方法
WO2019171453A1 (ja) * 2018-03-06 2019-09-12 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
JP2021517255A (ja) * 2018-03-07 2021-07-15 ヴァーディクト ホールディングス プロプライエタリー リミテッド 顕微鏡による生物学的物質の同定方法
JP7163955B2 (ja) * 2018-03-08 2022-11-01 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
EP3540631A1 (de) * 2018-03-15 2019-09-18 Siemens Healthcare GmbH In-vitro-verfahren zum markierungsfreien bestimmen eines zelltyps einer weissen blutzelle
CN108491809B (zh) * 2018-03-28 2023-09-22 百度在线网络技术（北京）有限公司 用于生成近红外图像生成模型的方法和装置
CN108629369A (zh) * 2018-04-19 2018-10-09 中南大学 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法
JP2019195304A (ja) * 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
EP3575773A1 (en) * 2018-05-28 2019-12-04 Universität für Bodenkultur Wien A method for determining a three-dimensional particle distribution in a medium
EP3575848A1 (de) * 2018-05-30 2019-12-04 Siemens Healthcare Diagnostics Inc. Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera
JP6627069B2 (ja) * 2018-06-01 2020-01-08 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
EP3805401B1 (en) * 2018-06-01 2023-09-27 Frontier Pharma, Inc. Image processing method, medicine sensitivity test method and image processing device
CN108804878B (zh) * 2018-06-16 2020-08-11 志诺维思（北京）基因科技有限公司 一种染色模拟方法及装置
US10929716B2 (en) * 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
CN109582562B (zh) * 2018-10-19 2021-04-30 北京航空航天大学 基于生成对抗网络的智能化软件测试及云平台构建方法
CN117782948A (zh) * 2018-11-19 2024-03-29 深圳迈瑞生物医疗电子股份有限公司 分析细胞的方法、细胞分析设备与计算机可读存储介质
JP7101809B2 (ja) * 2018-11-30 2022-07-15 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
KR102638267B1 (ko) 2018-12-03 2024-02-21 삼성전자주식회사 반도체 웨이퍼 불량 분석 시스템 및 그것의 동작 방법
GB2579797B (en) * 2018-12-13 2022-11-16 Room4 Group Ltd Classification of cell nuclei
CN109754398A (zh) * 2019-01-14 2019-05-14 武汉兰丁医学高科技有限公司 一种基于计算机的骨髓白细胞自动标记方法及系统
US10885631B2 (en) * 2019-02-01 2021-01-05 Essen Instruments, Inc. Label-free cell segmentation using phase contrast and brightfield imaging
CN114375477A (zh) * 2019-06-07 2022-04-19 徕卡显微系统Cms有限公司 用于处理生物学相关数据的系统和方法、用于控制显微镜的系统和方法及显微镜
KR102264612B1 (ko) * 2019-06-24 2021-06-14 국민대학교산학협력단 혈액영상을 이용한 백혈구 감별방법
CN110648309A (zh) * 2019-08-12 2020-01-03 平安科技（深圳）有限公司 基于条件生成对抗网络合成红细胞图像的方法及相关设备
KR102338050B1 (ko) 2019-08-30 2021-12-13 포항공과대학교 산학협력단 주사투과전자현미경 이미지에서의 원자 구조 해석 방법
JP2021064115A (ja) * 2019-10-11 2021-04-22 株式会社島津製作所 細胞画像解析方法及び細胞解析装置
KR102253227B1 (ko) 2019-12-02 2021-05-18 포항공과대학교 산학협력단 저차원 재료의 원자 이미지 분석 방법
CN112085841B (zh) * 2020-09-17 2024-04-02 西安交通大学 一种基于深度前馈神经网络的数字全息图生成系统及方法
CN115050024B (zh) * 2022-06-21 2023-08-22 广州医科大学 一种可解释性的粒细胞智能实时识别方法及系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4125828A (en) * 1972-08-04 1978-11-14 Med-El Inc. Method and apparatus for automated classification and analysis of cells
KR100303608B1 (ko) * 1997-05-22 2001-11-22 박호군 혈구세포자동인식방법및장치
US6350613B1 (en) * 1998-03-07 2002-02-26 Belton Dickinson & Co. Determination of white blood cell differential and reticulocyte counts
CN1906485B (zh) * 2003-11-26 2010-12-08 分离技术公司 用于超声波确定血细胞比容和血红蛋白浓度的方法和设备
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
SE528697C2 (sv) 2005-03-11 2007-01-30 Hemocue Ab Volymetrisk bestämning av antalet vita blodkroppar i ett blodprov
CN1945326A (zh) 2006-10-13 2007-04-11 江西特康科技有限公司 基于视觉形态的五分类全血细胞分析方法
EP2370951B1 (en) * 2008-11-27 2016-10-05 Koninklijke Philips N.V. Generation of a multicolour image of an unstained biological specimen
JP5438962B2 (ja) * 2008-12-25 2014-03-12 シスメックス株式会社 細胞画像表示装置
US8269827B2 (en) * 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
CN102812404A (zh) * 2010-02-09 2012-12-05 相位全息成像Phi有限公司 一种数字全息显微及成像技术用途及检测已标记细胞样本的方法
CA2807228C (en) * 2010-08-05 2016-02-16 Abbott Point Of Care, Inc. Method and apparatus for automated whole blood sample analyses from microscopy images
CN102278951B (zh) * 2010-09-14 2012-09-05 北京航空航天大学 一种基于数字全息的生物活体细胞动态三维显微观测装置
EP2649559A4 (en) 2010-12-07 2018-03-14 Life Technologies Corporation Virtual cellular staining
EP2676173B1 (en) 2011-02-16 2023-03-29 Phase Holographic Imaging Phi AB Determination of physical parameters associated with erythrocytes
WO2013011001A1 (en) * 2011-07-19 2013-01-24 Ovizio Imaging Systems N.V. A method and system for detecting and/or classifying cancerous cells in a cell sample
US20130046793A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Fast matching of image features using multi-dimensional tree data structures
US9164479B2 (en) * 2011-09-16 2015-10-20 University Of Massachusetts Systems and methods of dual-plane digital holographic microscopy
US20130094750A1 (en) * 2011-10-12 2013-04-18 Tolga Tasdizen Methods and systems for segmentation of cells for an automated differential counting system
JP2015505983A (ja) * 2011-12-02 2015-02-26 シー・エス・アイ・アールＣｓｉｒ 物質解析システム、方法、および装置
EP2602608B1 (en) * 2011-12-07 2016-09-14 Imec Analysis and sorting of biological cells in flow
JP6267687B2 (ja) * 2012-05-03 2018-01-24 メディアル リサーチ リミテッド 消化器癌のリスクを評価する方法およびシステム
US10032064B2 (en) 2012-08-21 2018-07-24 Cambridge Research & Instrumentation, Inc. Visualization and measurement of cell compartments
JP6343660B2 (ja) * 2013-03-11 2018-06-13 ロッシュ ダイアグノスティクス ヘマトロジー インコーポレイテッド 血球の撮像
US9135682B2 (en) 2013-03-15 2015-09-15 Indian Institute Of Technology Delhi Image recovery from single shot digital hologram
US9129189B2 (en) * 2013-08-14 2015-09-08 Qualcomm Incorporated Performing vocabulary-based visual search using multi-resolution feature descriptors
US9668699B2 (en) 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US10126709B2 (en) * 2013-12-02 2018-11-13 Imec Vzw Apparatus and method for performing in-line lens-free digital holography of an object
US10074006B2 (en) * 2014-03-17 2018-09-11 Carnegie Mellon University Methods and systems for disease classification
EP3155558A1 (en) 2014-06-16 2017-04-19 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
US20170328924A1 (en) * 2014-11-26 2017-11-16 Ronald Jones Automated microscopic cell analysis
US20180082104A1 (en) * 2015-03-02 2018-03-22 Siemens Aktiengesellschaft Classification of cellular images and videos
CN107408197A (zh) * 2015-03-11 2017-11-28 西门子公司 基于解卷积网络的细胞图像和视频的分类的系统和方法
US10641698B2 (en) * 2015-06-12 2020-05-05 Cytochip Inc. Methods for complete blood count measurement
WO2017027643A1 (en) * 2015-08-10 2017-02-16 Essenlix Corp. Bio/chemical assay devices and methods for simplified steps, small samples, accelerated speed, and ease-of-use
EP3353606B1 (en) 2015-09-22 2024-03-13 Siemens Healthineers AG Auto-referencing in digital holographic microscopy reconstruction
ES2944957T3 (es) 2016-03-16 2023-06-27 Siemens Healthcare Gmbh Diferencial de 5 partes de alta exactitud con microscopía holográfica digital y leucocitos intactos de sangre periférica
US11099175B2 (en) * 2016-05-11 2021-08-24 S.D. Sight Diagnostics Ltd. Performing optical measurements on a sample
KR20170141029A (ko) * 2016-06-14 2017-12-22 조선대학교산학협력단 형태학적 셀파라미터 기반 적혈구 검사 방법 및 이에 사용되는 디지털 홀로그래픽 현미경

Also Published As

Publication number Publication date
CN106462746B (zh) 2020-03-10
CN108426994A (zh) 2018-08-21
US20190087638A1 (en) 2019-03-21
US10706260B2 (en) 2020-07-07
WO2015195609A1 (en) 2015-12-23
US10671833B2 (en) 2020-06-02
EP3364341A1 (en) 2018-08-22
US10176363B2 (en) 2019-01-08
WO2015195642A1 (en) 2015-12-23
JP6704005B2 (ja) 2020-06-03
CN106462746A (zh) 2017-02-22
JP6503382B2 (ja) 2019-04-17
US20170132450A1 (en) 2017-05-11
JP2018119969A (ja) 2018-08-02
US20180144182A1 (en) 2018-05-24
JP2017519985A (ja) 2017-07-20
EP3155558A1 (en) 2017-04-19

Similar Documents

Publication Publication Date Title
CN108426994B (zh) 分析数字全息显微术数据以用于血液学应用
Pan et al. Accurate segmentation of nuclei in pathological images via sparse reconstruction and deep convolutional networks
Man et al. Classification of breast cancer histopathological images using discriminative patches screened by generative adversarial networks
Joseph et al. Improved multi-classification of breast cancer histopathological images using handcrafted features and deep neural network (dense layer)
Ranzato et al. Automatic recognition of biological particles in microscopic images
Di Ruberto et al. A leucocytes count system from blood smear images: Segmentation and counting of white blood cells based on learning by sampling
Abas et al. A YOLO and convolutional neural network for the detection and classification of leukocytes in leukemia
Sridhar et al. Content-based image retrieval of digitized histopathology in boosted spectrally embedded spaces
Ates et al. An image-processing based automated bacteria colony counter
Bhaskar et al. A methodology for morphological feature extraction and unsupervised cell classification
Sertel et al. An image analysis approach for detecting malignant cells in digitized H&E-stained histology images of follicular lymphoma
Gamarra et al. A study of image analysis algorithms for segmentation, feature extraction and classification of cells
Pan et al. A review of machine learning approaches, challenges and prospects for computational tumor pathology
Mueller et al. Hierarchical graph-based discovery of non-primitive-shaped objects in unstructured environments
Rathore et al. A novel approach for ensemble clustering of colon biopsy images
Wu et al. Target recognition by texture segmentation algorithm
Pan et al. Segmentation of blood and bone marrow cell images via learning by sampling
Gamarra et al. Cell identification using image analysis: A literature survey
Uddin et al. Practical analysis of macromolecule identity from cryo-electron tomography images using deep learning
Khare et al. Predicting Unknown Classes on Hyperspectral Image Data Using Deep Learning Techniques
Wang et al. Multi features combination for automated zooplankton classification
Khorrami Cancer Detection from Histopathology Images
Martins et al. Ensemble of Algorithms for Multifocal Cervical Cell Image Segmentation
Lefebvre et al. Nellie: Automated organelle segmentation, tracking, and hierarchical feature extraction in 2D/3D live-cell microscopy
Seesawad et al. PseudoCell: Hard Negative Mining as Pseudo Labeling for Deep Learning-Based Centroblast Cell Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant