CN110462627A - 图像分析系统和相关方法 - Google Patents

图像分析系统和相关方法 Download PDF

Info

Publication number
CN110462627A
CN110462627A CN201880021008.2A CN201880021008A CN110462627A CN 110462627 A CN110462627 A CN 110462627A CN 201880021008 A CN201880021008 A CN 201880021008A CN 110462627 A CN110462627 A CN 110462627A
Authority
CN
China
Prior art keywords
gray
image
adaptive
scale intensity
candidate target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880021008.2A
Other languages
English (en)
Other versions
CN110462627B (zh
Inventor
卡里·理查德·钱普林
查尔斯·德拉汉特
马修·P·霍宁
胡黎明
肖恩·K·麦圭尔
克洛西·墨哈尼安
克莱·马修·汤普森
本杰明·K·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuoqitai Co Ltd
Original Assignee
Tuoqitai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/433,656 external-priority patent/US10061972B2/en
Application filed by Tuoqitai Co Ltd filed Critical Tuoqitai Co Ltd
Publication of CN110462627A publication Critical patent/CN110462627A/zh
Application granted granted Critical
Publication of CN110462627B publication Critical patent/CN110462627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification

Abstract

本文所披露的实施例涉及用于确定生物样本中的分析物的存在和量的系统和方法。用于确定分析物的存在的所述系统和方法利用样本载玻片的多个图像,所述图像在其中包括具有多个焦平面的多个视野。所述系统和方法利用被配置成用于平衡所述多个图像的颜色和灰度强度并且基于此确定所述多个图像在其中是否含有所述分析物的算法。

Description

图像分析系统和相关方法
在主题与本文不矛盾的情况下,优先权申请的所有主题均通过引用并入本文。
背景技术
显微镜技术用于诊断若干种疾病、血液学状况等。一些显微镜技术需要专门的显微镜或其他设备来达到足够的分辨率以进行适当的诊断。
显微镜可以用于使用涂片(诸如厚血液涂片)来检测分析物(诸如疟疾)。典型地,显微镜包括具有相对浅的景深的油浸透镜,以实现检测引起疟疾的寄生原虫所需的分辨率。透镜典型地呈现仅几微米、约一微米或小于一微米的景深。典型地,对涂片的整个厚度进行成像,以最终诊断由分析物的存在指示的状况。然而,涂片的厚度大于几微米,这可能具体取决于图像的焦平面而导致诊断问题。为了确保分析整个涂片,可以减小或增大样本与透镜之间的距离,以捕获涂片中每个视野(FoV)的多个焦平面。
典型的显微镜包括被配置成以微米位移增大或减小透镜与样本之间的距离的常规聚焦系统。然而,这种常规聚焦系统可能昂贵且复杂,这使得常规聚焦系统不适用于疟疾最普遍的区域,诸如在贫困地区。典型的诊断措施包括雇用人类技术人员扫描显微镜中的载玻片以在视觉上确定分析物是否存在。然而,限制人类显微镜工作者的敏感性和稳定性的因素包括人与人之间和人本身的变数、注意力不集中、眼疲劳、疲劳和缺乏训练。缺乏训练在资源匮乏的环境中尤其明显,其中与诸如疟疾等疾病的负担相比,高素质的显微镜工作者可能供应不足。另外,人类技术人员可能无法识别或量化样本载玻片中浓度特别低的分析物(例如,低寄生虫血症)。
因此,显微镜的开发者和使用者继续寻求用于确定分析物的存在的显微镜和诊断技术的改进。
发明内容
本文所披露的实施例涉及用于诊断、识别和量化生物样本中生物分析物的系统和方法。在实施例中,披露了一种用于确定血液中的分析物的存在的系统。所述系统包括至少一个存储器存储介质,所述至少一个存储器存储介质被配置成用于存储样本载玻片的多个图像。所述多个图像包括多个视野,每个视野包括所述样本载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有所述样本载玻片的唯一z坐标。所述系统包括至少一个处理器,所述至少一个处理器可操作地耦合到所述至少一个存储器存储介质。所述至少一个处理器被配置成用于确定白平衡变换并将其应用于所述多个图像中的每一者,以有效地产生多个经颜色校正的图像。所述至少一个处理器被配置成用于确定自适应灰度变换并将其应用于所述多个图像中的每一者,以便为所述多个图像中的每一者提供自适应灰度强度图像。所述至少一个处理器被配置成用于检测并识别所述多个经颜色校正的图像和所述自适应灰度强度图像中的一个或多个候选对象。所述至少一个处理器被配置成用于至少部分地基于所述一个或多个候选对象的一个或多个特性对所述一个或多个候选对象进行提取和评分,至少部分地基于所述得分来过滤所述一个或多个候选对象,并且针对每个过滤得到的候选对象输出一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块。所述至少一个处理器被配置成用于从所述经颜色校正的图像块和所述自适应灰度强度图像块中提取一个或多个特征向量,并输出所述一个或多个特征向量。所述至少一个处理器被配置成用于将每个特征向量分类为对应于伪影或分析物。所述至少一个处理器被配置成用于确定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
在实施例中,披露了一种确定血液中的分析物的存在的方法。所述方法包括接收样本载玻片的多个图像。所述多个图像包括多个视野,每个视野包括所述样本载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有所述样本载玻片的唯一z坐标。所述方法包括将白平衡变换应用于所述多个图像中的每一者,以有效地产生多个经颜色校正的图像。所述方法包括将自适应灰度变换应用于所述多个图像中的每一者,以便为所述多个图像中的每一者提供自适应灰度强度图像。所述方法包括检测并识别所述多个经颜色校正的图像和所述自适应灰度强度图像中的一个或多个候选对象。所述方法包括至少部分地基于得分来过滤所述一个或多个候选对象,所述得分至少部分地基于所述一个或多个候选对象的一个或多个特性,并且针对每个过滤得到的候选对象输出一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块。所述方法包括从所述经颜色校正的图像块和所述自适应灰度强度图像块中提取一个或多个特征向量,并输出所述一个或多个特征向量。所述方法包括将每个特征向量分类为对应于伪影或分析物。所述方法包括确定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
在实施例中,披露了一种用于确定血液中的疟疾寄生虫的存在的系统。所述系统包括显微镜,所述显微镜被配置成用于捕获血液载玻片的多个图像。所述多个图像中的每一者包括多个视野,每个视野包括所述血液载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有所述血液载玻片的唯一z坐标。所述系统包括至少一个存储器存储介质,所述至少一个存储器存储介质被配置成用于存储所述血液载玻片的所述多个图像。所述系统包括至少一个处理器,所述至少一个处理器可操作地耦合到所述至少一个存储器存储介质。所述至少一个处理器被配置成用于确定白平衡变换并将其应用于所述多个图像中的每一者,以有效地产生多个经颜色校正的图像。所述至少一个处理器被配置成用于确定自适应灰度变换并将其应用于所述多个图像中的每一者,以便为所述多个图像中的每一者提供自适应灰度强度图像。所述至少一个处理器被配置成用于检测并识别所述多个经颜色校正的图像和所述自适应灰度强度图像中的一个或多个候选对象。所述至少一个处理器被配置成用于对所述一个或多个候选对象的一个或多个特性进行提取和评分,至少部分地基于所述得分来过滤所述一个或多个候选对象。所述至少一个处理器被配置成用于提取所述一个或多个过滤得到的候选对象的经颜色校正的图像块和自适应灰度强度图像块并针对每个过滤得到的候选对象输出一个或多个特征向量。所述至少一个处理器被配置成用于将每个特征向量分类为伪影或分析物。所述至少一个处理器被配置成用于确定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
在实施例中,披露了一种用于确定血液中的分析物的存在的系统。所述系统包括至少一个存储器存储介质,所述至少一个存储器存储介质被配置成存储样本载玻片的多个图像,所述多个图像包括多个视野,每个视野包括所述样本载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有所述样本载玻片的唯一z坐标。所述系统包括至少一个处理器,所述至少一个处理器可操作地耦合到所述至少一个存储器存储介质。所述系统的所述至少一个处理器被配置成用于确定白平衡变换并将其应用于所述多个图像中的每一者,以有效地产生多个经颜色校正的图像。所述系统的所述至少一个处理器被配置成用于确定自适应灰度变换并将其应用于所述多个图像中的每一者,以便为所述多个图像中的每一者提供自适应灰度强度图像。所述系统的所述至少一个处理器被配置成用于检测并识别经颜色校正的图像和自适应灰度强度图像中的一个或多个候选对象。所述系统的所述至少一个处理器被配置成用于对所述自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象。所述系统的所述至少一个处理器被配置成用于将所述一个或多个检测到的候选对象集群成包括每集群一个或多个相邻候选对象的集群,并将指示一个或多个相邻候选对象的集群是单一候选对象的检测到的候选对象的集群相关联,并且输出所述一个或多个相邻候选对象的集群的位置,所述位置包括含有所述一个或多个相邻候选对象的一个或多个图像块。所述系统的所述至少一个处理器被配置成用于针对每个单一候选对象定位具有最佳焦点的所述焦平面。所述系统的所述至少一个处理器被配置成用于针对每个单一候选对象确定具有所述最佳焦点的所述焦平面中的每个单一候选对象的属性。所述系统的所述至少一个处理器被配置成用于至少部分地基于一个或多个确定的属性来过滤每个单一候选对象。所述系统的所述至少一个处理器被配置成用于提取并输出各自含有所述一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块。
在实施例中,披露了一种用于确定血液中的分析物的存在的方法。所述方法包括接收样本载玻片的多个图像,所述多个图像包括多个视野,每个视野包括所述样本载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有所述样本载玻片的唯一z坐标。所述方法包括将白平衡变换应用于所述多个图像中的每一者,以有效地产生多个经颜色校正的图像。所述方法包括将自适应灰度变换应用于所述多个图像中的每一者,以便为所述多个图像中的每一者提供自适应灰度强度图像。所述方法包括检测并识别所述多个经颜色校正的图像和所述自适应灰度强度图像中的一个或多个候选对象。所述方法的所述检测并识别一个或多个候选对象包括对所述自适应灰度强度图像执行自适应阈值化操作,并基于此输出一个或多个候选对象。所述方法的所述检测并识别一个或多个候选对象包括将所述一个或多个检测到的候选对象集群成包括每集群一个或多个候选对象的集群,并将指示一个或多个相邻候选对象是单一候选对象的检测到的候选对象的集群相关联,并且输出所述一个或多个相邻候选对象的集群的位置,所述位置包括含有所述一个或多个相邻候选对象的集群的一个或多个图像块。所述方法的所述检测并识别一个或多个候选对象包括针对每个单一候选对象识别具有最佳焦点的所述焦平面。所述方法的所述检测并识别一个或多个候选对象包括针对每个单一候选对象确定具有所述最佳焦点的所述焦平面中的每个单一候选对象的属性。所述方法的所述检测并识别一个或多个候选对象包括至少部分地基于一个或多个确定的属性来过滤每个单一候选对象。所述方法的所述检测并识别一个或多个候选对象包括提取并输出各自含有所述一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块。
来自所披露实施例中的任一个实施例的特征可以彼此结合地使用,但不限于此。此外,通过考虑以下详细描述和附图,本披露内容的其他特征和优点对于本领域的普通技术人员将变得清楚。
上述发明内容仅仅是说明性的,并且不旨在以任何方式进行限制。除以上描述的这些说明的方面、实施例和特征之外,其他的方面、实施例和特征通过参照附图和以下详细说明将变得清楚。
附图说明
图1是疟疾生命周期的图示。
图2A和图2B是环状体寄生虫的示意图。
图2C是根据实施例的多个图像的示意图。
图3A是根据实施例的用于自动地检测并量化样本中的一种或多种分析物的系统的多个模块的示意图。
图3B和图3C是根据实施例的输入到图3A的系统的模块中的多个图像的示意图。
图4是根据实施例的图3A的系统的图像预处理模块的详细示意图。
图5是根据实施例的红色、绿色和蓝色轴线的颜色值空间中的各种向量之间的关系的图示。
图6A和图6B是根据不同实施例的各种灰度图像的各种像素的灰度强度直方图。
图7是根据实施例的具有多个焦平面的不同FoV的图像的并排比较,其中一个FoV包括寄生虫而另一个FoV在其中包括伪影。
图8A是根据实施例的图3A的系统的候选对象检测模块的详细示意图。
图8B是根据实施例的图3A和图8A的候选对象检测模块的斑点检测子模块的示意图。
图8C是根据实施例的图8B的斑点检测子模块的FoV输入图像。
图8D是根据实施例的已被修改的图8C的FoV输入图像。
图8E是根据实施例的图8C的FoV图像的像素的灰度强度直方图。
图8F是根据实施例的穿过图8C的FoV图像的路径的图示。
图8G是根据实施例的反转灰度强度随图8F的路径上的位置变化的曲线图。
图9是根据实施例的图3A的系统的特征提取模块的详细示意图。
图10A和图10B分别是通过简单透镜和具有消色差校正的透镜折射到不同焦平面的光线的图示。
图10C是图10A和图10B所示的简单透镜和具有消色差校正的透镜的焦点对波长曲线的曲线图。
图11是根据实施例的吉姆萨(Giemsa)染色的DNA样本的吸收光谱的曲线图。
图12是根据实施例的用于确定样本中的分析物的存在的系统的示意图。
图13是根据实施例的用于确定样本中的分析物的存在的方法的流程图。
图14是根据实施例的用于确定样本中的分析物的存在的方法的流程图。
具体实施方式
本文所披露的实施例涉及图像分析系统及其使用方法。本文所披露的图像包括采用任何计算机可读格式的图像,诸如png、jpeg、gif、tiff、bmp或任何其他合适的文件类型。本文的图像分析系统和相关方法可以贯穿载玻片上的样本涂片(例如,厚血液涂片)的竖直厚度(例如,基本上平行于显微镜上的光轴或z轴)和横向区段(例如,基于x和y轴的维度)分辨和分析图像。本文的系统和方法可以识别不同焦平面(z水平)中的对象,这些对象实际上是同一对象,但是由于不同的焦点深度而看起来不同或者由于相机抖动而具有不同的x-y坐标。如下文更详细地解释,可以使用限定血液涂片的离散横向(子)区段的多个视野(FoV)以及遍及血液涂片的厚度限定离散(竖直堆叠的)平面的多个焦平面来分析血液涂片。本文的图像分析系统可以准确地识别样本中寄生虫或其他分析物的存在,并且在一些实施例中,识别寄生虫或其他分析物的种类或阶段。本文所披露的系统和方法可以在等于或优于训练有素的人类显微镜工作者的性能水平上提供对生物试样中的一种或多种分析物的自动诊断和量化中的一者或多者。如本文所用,术语“分析物”并非旨在限于特定化学种类,而是旨在至少延伸至以下一者或多者:寄生虫(例如,疟疾等)、血液成分、或样本中的针对其实施分析的其他对象。本文所披露的系统和方法提供了综合机器学习框架,其使用计算机视觉和机器学习技术(包括支持向量机(SVM)和卷积神经网络(CNN))来检测分析物。
本文的图像分析系统和相关方法包括多个模块(例如,程序或算法),所述多个模块被配置成用于实施不同的功能以便即使在低浓度(例如,低寄生虫血症)下也能准确地确定样本中感染或病症的存在而无需人类观察。多个模块可以包括预处理模块、候选检测模块、特征提取模块、分类模块和诊断模块。虽然为了清楚起见在此描述为单独的“模块”,但是“模块”中的每一者可以是一个或多个算法、或基于算法的机器可读程序、存储在至少一个存储器存储装置中并且可以由可操作地耦合到至少一个存储器存储装置的处理器执行。多个模块可以包括存储在至少一个控制器(例如,计算机)的存储器存储介质中或存储在其中的一个或多个处理器中的离散编程模块和子模块,每个处理器具有被配置成用于实施相关模块的功能的程序。术语“模块”和“子模块”用于区分算法或系统的部件和子部件,并且可以根据上下文互换使用。例如,子模块也可以称为模块,诸如当没有相对于子模块的父模块讨论子模块时。
通常,每个模块被配置成用于致使控制器或处理器执行下文描述的功能。虽然为了便于理解,在下文总体地描述了功能的高级概述,但是下文更详细地披露了每个模块的特定方面。
图像预处理模块可以自适应地生成多个图像的白平衡彩色图像和自适应灰度强度图像,包括样本载玻片的多个FoV和多个焦平面(例如,多个焦平面中的每一者基本上垂直于光轴)。候选检测模块可以至少部分地基于图像中的候选对象的一个或多个属性(例如,强度、颜色类型、焦点水平或其他属性)来识别一个或多个候选对象、基于所述属性来识别并排除一个或多个伪影(例如,非分析物对象,诸如样本中包括白血细胞的非寄生对象)、并且可以提取含有每个候选对象的经颜色校正的图像块和自适应灰度强度图像块。特征提取模块可以识别并输出特定图像中的候选对象的一个或多个数据集(例如,特定FoV和其焦平面的一个或多个向量)。特征提取模块可以基于手动特征进行所述识别,所述手动特征包括候选对象的最佳焦点得分、FoV中的焦平面上的焦点得分的标准偏差(或其他离差的度量)、或红移得分中的一者或多者。特征提取模块可以另外地或替代性地至少部分地基于阳性样本、阴性样本或这两者的一个或多个自动特征来识别并输出一个或多个图像,所述自动特征包括计算机学习的特征(例如,由卷积神经网络学习的一个或多个向量)。分类模块可以被配置成用于至少部分地基于从已知的阳性样本和阴性样本学习的权重(例如,包括寄生虫的存在、类型、阶段或种类)来确定所提取的特征是否具有高概率得分(指示存在分析物或伪影)并且确定样本中的分析物浓度的估计值(例如,寄生虫血症)。
以下数学符号将在贯穿本披露内容所披露的算法中所使用的等式中使用。斜体的小写或大写字母表示标量值(例如,k)。粗体斜体的小写字母表示列向量(例如,ξ)。粗体斜体的大写字母表示矩阵(例如,A)。上标T代表矩阵转置(例如,ξT)。图像平面坐标被称为<x,y>,并且竖直方向上(即,平行于光轴)的坐标被称为<z>。
本披露内容的图像分析系统接收从高分辨率图像捕获装置(例如,高分辨率显微镜)获取的生物试样的一系列图像作为输入,并且产生关于生物试样的相对于一种或多种分析物(例如,诸如寄生虫的病原体或诸如血液成分的天然存在的成分)的存在、种类和计数的状态的诊断信息作为输出。
在实施例中,生物试样包括样本的显微镜载玻片(例如,血液涂片),并且本文的图像分析系统分析一个或多个获取的样本载玻片图像以确定其中的一种或多种分析物(例如,疟疾寄生虫)的存在或不存在。本文的图像分析系统针对分析物的存在、计数和种类识别来分析样本载玻片。虽然本文所披露的系统和方法不限于与血液涂片一起使用,但是贯穿本披露内容将使用血液涂片作为实施例以说明概念,并且应当理解,本披露内容适用于其他生物样本而没有限制。
在实施例中,先用吉姆萨染色剂对血液涂片进行染色,然后再对其中的一种或多种分析物(诸如疟疾)进行组织病理学诊断。吉姆萨染色剂是亚甲蓝、伊红Y和天蓝B的组合;它将红细胞(红血细胞,以下简称“RBC”)染成粉红色并将白细胞核(白血细胞,以下简称“WBC”)染成深品红色。疟疾寄生虫核也将染成品红色,但在外观上不像白细胞核那么暗。疟疾寄生虫细胞质将染成浅蓝色至中蓝色。虽然本文所披露的系统和方法不限于检测疟疾,但是贯穿本披露内容将使用疟疾作为示例实施例以说明概念,并且应当理解,本披露内容适用于其他分析物而没有限制。此外,可以使用与要测试的分析物互补色的其他染色剂和染色方法。例如,合适的染色剂可以包括菲尔德染色剂、杰司皮(JSB)染色剂、雷氏曼染色剂等。
在实施例中,本文的系统和方法可以用于至少部分地基于分析物的形状、颜色或大小中的一者或多者来检测样本中的分析物并量化分析物的量。在一些实施例中,分析物可以具有多于一种的形态或外观。本文的系统和方法可以被配置成用于检测或量化分析物的一种或多种形态、类型或种类。作为示例实施例,人类疟疾寄生虫属于疟原虫属的五种不同种类:恶性疟原虫、间日疟原虫、卵形疟原虫、三日疟原虫和诺氏疟原虫。这些种类中的每一种的个体在其生命周期中经历一系列复杂的阶段。在每个阶段,寄生虫呈现不同的物理外观,并且本文的系统和方法可以检测并识别来自五种不同种类中的每一种的寄生虫。
图1是经由国家过敏和传染病研究所提供的疟疾生命周期图。图1的右侧显示在蚊子体内发生的疟疾寄生虫生命周期的阶段。图的左侧显示受感染人体内的阶段。在蚊子体内,疟疾寄生虫起初是配子体,包括雄性和雌性。配子体繁殖形成配子,配子最终发育并繁殖成子孢子。子孢子迁移到蚊子唾液腺。当蚊子叮咬人类时,子孢子进入体内循环的血液并行进至肝脏并感染肝细胞(肝脏细胞)。子孢子繁殖成裂殖子、破坏受感染宿主的肝脏细胞、并返回体内循环的血液。单独的裂殖子感染红血细胞并发育成环状体,环状体是未成熟的滋养体。环状体发育成更成熟的滋养体并最终发育成裂殖体。每个裂殖体将分裂成多个裂殖子,每个裂殖子寻找自己的红血细胞进行感染。以这种方式,繁殖周期的无性部分自身重复,由图1左上方所示的人类血细胞周期指示。一些裂殖子可以发育成配子体,配子体如果被叮咬的蚊子摄取则将继续寄生虫生命周期。
不同的种类具有不同的生命周期持续时间,并且即使在相同的生命周期阶段,也具有不同的物理外观。由于治疗方案因疟疾种类而异,因此重要的是在进行组织病理学疟疾诊断时区分这些种类。本披露内容的系统和方法可以自动地区分不同的疟疾阶段或种类(或分析物)。
图2A和图2B是环状体寄生虫的示意图。环状体寄生虫常见于外周血液中。环状体寄生虫的物理外观差异很大。环状体寄生虫典型地由一个(图2A)或两个(图2B)染色质点201表征,所述染色质点含有寄生虫的核物质。染色质点201在吉姆萨染色剂下染成品红色,如上所述。环状体寄生虫还由细小的细胞质202表征,所述细胞质在吉姆萨下染成浅蓝色至中蓝色,如上所述。染色质点201的直径典型地为约1μm,并且整个环状体的直径为约3μm。本文的系统和方法可以用于识别或量化约200nm或更大的分析物,诸如约200nm至约100μm、约500nm至约10μm、约1μm至约5μm、或小于约50μm。在实施例中,为了获得这种小的对象的高质量图像,使用具有高分辨率透镜的显微镜。例如,合适的高分辨率显微镜可以包括数值孔径大于或等于约1.2的油浸100x物镜。显微镜可以配备有数字图像捕获装置,诸如相机。在此的高放大倍率光学系统的景深可以是约0.35μm或更小(例如,0.3μm、0.2μm、0.1μm、或在前述任意者之间的范围),而血液涂片可以比这厚若干倍。在实施例中,针对每个FoV捕获多个焦平面,以捕获可能竖直地位于血液涂片的底部与顶部之间的任何地方的寄生虫的焦点内图像。每个FoV捕获的焦平面的数量被指定为nz
图2C是根据实施例的多个图像301的示意图。多个图像301安排成多个行和列。图像的行和列共同限定血液涂片或其他样本载玻片。例如,血液涂片可以基本上完全通过以y行、x列和z焦平面的集合安排的多个图像来捕获。所捕获FoV的数量被指定为nxy。每个FOV的横向范围(例如,x和y范围)受透镜的放大倍率或成像装置的图像传感器大小中的一者或多者限制。出于本文的目的,给定大小的血液涂片可能需要多个FoV以提供合适的图像分辨率。每个FoV可以具有与此相对应的多个焦平面图像。例如,多个图像中的对应于x,y坐标的FoV可以包括与在相应FoV处捕获图像的焦平面的数量相对应的z焦平面图像。也就是说,对应于FoV的特定图像可以由唯一的x和y坐标指定,并且焦平面可以由FoV中的唯一z坐标指定。每个图像(例如,特定FoV和焦平面)可以在其中含有多个图像块。图像块是FoV(在特定焦平面处)的横向子区段,其中具有一个或多个候选对象并且限定血液载玻片的甚至更小的子区段。本文所披露的系统和方法利用包括nxy个FoV和nz个焦平面的多个图像来识别并量化样本中的分析物。
在一些实施例中,由本文的显微镜捕获的FoV的大小可以是大约10,000μm2或更大,诸如10,000μm2至约20,000μm2。在一些实施例中,由本文的显微镜捕获的FoV的大小可以小于约10,000μm2,诸如1,000μm2至约10,000μm2。约10,000μm2的FoV对应于厚涂片血液样本中约3x10-4μL的血液。具有100个寄生虫/μL的寄生虫血症的疟疾患者的血液涂片的FoV中的寄生虫数量将是泊松分布、每FoV平均具有3×10-2个寄生虫。
在一些实施例中,可以捕获300个或更多个FoV来实现足够的统计,以便对低寄生虫血症的寄生虫进行可靠检测和计数。例如,可以捕获约300至2000个FoV,或者可以捕获约500至1000个FoV。在一些实施例中,可以捕获300个或更少的FoV来实现足够的统计,以便对低寄生虫血症的寄生虫进行可靠检测和计数。例如,可以捕获约10至300个FoV,或者可以捕获约50至200个FoV。特定分析物的最低可检测寄生虫血症水平称为检测极限(LoD)。一般来说,捕获的FoV数量越大,LoD将越低。
前面的段落提供了对用作本文所披露的图像分析系统的输入的图像的特性的概述。
图3A是根据实施例的用于自动地检测并量化样本中的一种或多种分析物的系统300的多个模块的示意图。模块可以是算法或包括算法(例如,电子地存储在其中)的控制器,所述算法和控制器共同地被配置成用于确定样本中寄生虫的存在。图3B和图3C分别是输入到系统300的模块的多个图像301和模块的输出图像311的示意图。
参考图3A,一个或多个模块包括图像预处理模块310、候选对象检测模块320、特征提取模块330、对象分类器模块340和诊断模块350。如上所述,本文的模块和子模块可以指存储在至少一个存储器存储装置(例如,计算机硬盘驱动器)中的一个或多个算法和机器可读程序,并且可由可操作地耦合到至少一个存储器存储装置的至少一个处理器执行。本文所描述的模块和子模块同样可以指自动地检测并量化样本中的一种或多种分析物的方法中的动作。
对系统的输入301可以包括样本载玻片的一个或多个FoV图像。存在nxy个FoV,每个FoV包括nz个焦平面,其中每个焦平面包括红色、绿色和蓝色通道图像(如图3B所示)。
在图3A所示的实施例中,系统300可以在图像预处理模块310处接收多个图像301作为输入。多个图像301可以包括多个FoV和用于每个FoV的多个焦平面。图像预处理模块310可以输出多个输出图像311,包括经颜色校正的图像和自适应灰度强度图像。可以在候选对象检测模块320和特征提取模块330处接收多个经颜色校正的图像和自适应灰度强度图像作为输入。候选对象检测模块320接收经颜色校正的图像和自适应灰度强度图像,并且输出包含候选对象及其所有nz个焦平面的经颜色校正的R,G,B图像块321。特征提取模块330接收经颜色校正的R,G,B图像块321作为输入(基于输出图像311中的多个经颜色校正的图像和自适应灰度强度图像)。特征提取模块330提取并输出经颜色校正的R,G,B图像块321和自适应灰度强度图像块中的候选对象的特征向量331。特征向量是表示对象的数字特征的多维向量。换句话说,特征向量是包括描述对象的一个或多个特性(例如,颜色、大小、位置等)的一个或多个变量的向量表示。对象分类器340接收特征向量331作为输入,并输出与每个候选对象的分类相对应的经分类对象数据341作为分析物或伪影。在诊断模块350处接收经分类对象数据作为输入,其确定并提供对样本的诊断。诊断模块可以输出诊断351和分析物(例如,寄生虫血症)的相对浓度。下文详细描述图像分析系统模块310、320、330、340和350中的每一者。
A.图像预处理模块
组织学染色(例如,用吉姆萨染色剂)的显微镜载玻片典型地在载玻片内(载玻片内)和在来自不同试样的载玻片之间(载玻片间)显示颜色变化。这种颜色变化可以由染色剂的pH差异和染色过程的持续时间引起。未经校正的这些色差会降低图像分析系统的性能,所述图像分析系统的目的是检测图像中感兴趣的对象并进行分类。
可以使用白平衡技术来使图像中的颜色标准化。白平衡技术可以计算线性颜色变换,如下。计算图像中最亮像素的平均颜色,并将其表示为红绿蓝列向量:
其中R,G,B分别是红色、绿色和蓝色通道像素值。在最亮像素上取得总和,并且N是总和中所包括的像素的数量。
对角变换矩阵A计算如下:
通过等式1限定的线性变换来获得像素的经颜色校正的值ξ′:
其中选择b使得经颜色校正的像素值在范围[0,k]内;k通常被选择为1或255。在本披露内容中从这里开始,应当理解,在意指经颜色校正的值的情况下,为简化符号,将舍弃撇号ξ′和R′,G′,B′而使用ξ和R,G,B。
如上所述,在一些实施例中,对于每个血液样本,可以捕获大约至少300个FoV。并非所有这些图像都将含有白色部分,且因此,对每个单独的FoV图像进行白平衡可能会导致颜色失真。为了解决这个问题,可以通过单独地获取显微镜载玻片的白色部分上的一个或多个图像来确定白平衡变换。然而,这会在工作流程中引入额外的扫描步骤。
本文的系统和方法避免了通过强制每个FoV根据其自己最亮的像素进行白平衡而引入的颜色失真。本文的系统和方法还避免了需要另外扫描载玻片的清晰区域作为额外步骤。
图3A中的图像预处理模块310可以被配置成用于通过在多个FoV上累积最亮像素来确定样本的白平衡变换。图4示出了图像预处理模块310的框图。在实施例中,在子模块400处随机选择全部输入FoV图像301的子集401。FoV图像子集401中的FoV的数量足够大,使得在像素集合中包括清晰区域的概率接近一。由子模块410使用由等式2中的公式限定的经颜色校正的红色、绿色和蓝色通道像素值的加权和来将FoV图像子集401转换为标准灰度强度图像411:
φs=0.299R+0.587G+0.114B 等式2
其中φs是像素的标准灰度强度值。
使用灰度强度值;由子模块450选择对子集411中最亮像素451的采样的红色、绿色和蓝色值,并存储在数据存储(例如,存储器存储介质)中。子模块460根据来自对最亮像素451的每个采样的存储的红色、绿色和蓝色值计算白平衡变换461。白平衡变换参数461可以保存在数据存储中。子模块470将白平衡变换应用于输入图像301以产生经颜色校正的FoV图像471。在此详细描述了白平衡变换算法及其相关联参数。
图像预处理模块允许等式1中的变换矩阵的一般仿射矩阵。
在实施例中,仿射矩阵A是旋转矩阵(也被标记为A)。
如上所述,向量是对最亮像素451的采样的平均颜色。在图5中的红色、绿色、蓝色像素值空间中示出这些像素。白色由白色向量ω=[k k k]T表示。白平衡变换由使向量围绕垂直于白色向量ω和平均颜色向量两者的轴向量n旋转到向量ω的旋转限定。图5是红色、绿色和蓝色轴线的颜色值空间中的向量ω与n之间的关系的图示。旋转轴向量n可以由系统使用交叉乘积计算:
旋转矩阵A可以由系统使用下面的等式3计算:
在等式3中,是在旋转轴线n的方向上的单位向量,其中||·||表示标准L2范数。向量与ω之间的角度θ的余弦可以经由点积cosθ=来计算,其中
再次参考图3A,图像预处理模块310可以补偿输入图像301中的颜色变化,如上所述,并且输出多个输出图像311,包括经颜色校正的FoV图像和自适应灰度强度图像,每个图像在其中包括一个或多个焦平面。图像分析系统300的处理流水线中的下一阶段是候选对象检测模块320。候选对象检测模块320被配置成用于发现可能是分析物(例如,疟疾寄生虫)的图像位置。为了发现此类潜在分析物位置,候选对象检测模块320可以使用多个输出图像311中的多个自适应灰度变换图像和多个经颜色校正(例如,经白平衡变换)的图像。包括多个自适应灰度变换图像和多个经颜色校正的图像的多个输出图像311可以由图像预处理模块310确定并输出。
可以通过将暗度阈值应用于经由等式2所示的加权和计算的标准灰度强度图像来检测候选寄生虫核。这个加权和可以被视为先前介绍并在图5中示出的红色、绿色和蓝色像素空间中的投影。投影在由等式4限定的向量的方向上:
通过将像素的红色、绿色和蓝色值表示为列向量ξ,等式2中的灰度投影可以写为φs=ws Tξ。为了检测候选寄生虫核,可以将暗度阈值应用于每个像素的标准灰度强度图像强度φs,之后可以将面积、颜色和形状过滤器中的一者或多者应用于通过应用暗度阈值检测到的斑点(例如,候选对象集群)。标准暗度阈值是至少部分地基于候选对象的每个像素的灰度强度与样本中存在的背景或其他非分析物像素的灰度强度之间的确定的差异而起作用的过滤器。因此,标准暗度阈值可以用于过滤(选择或删除)不超过(例如,高于)暗度阈值的像素。
用于检测候选寄生虫核的上述技术的敏感性和特异性性能是有限的。尽管一般趋势是寄生虫核较暗且背景较亮,但寄生虫核与背景灰度像素值之间存在大量重叠。图6A示出了背景像素601、WBC核像素602和寄生虫核像素603的灰度强度直方图。寄生虫核与背景灰度强度值之间的重叠在图6A中显示为交叉阴影区域604。
最小化寄生虫核与背景灰度强度值之间的重叠增强了本文的检测算法的敏感性和特异性性能。本文的系统和方法确定(例如,学习)并应用自适应灰度投影向量wa,所述自适应灰度投影向量取代在等式4中限定的标准灰度投影向量ws。可以使用机器学习技术来完成这种确定。这种应用可以提供对应于白血细胞核和分析物(例如,疟疾寄生虫)像素的灰度强度值与对应于背景像素的灰度强度值的更大分离。
本文所披露的重叠的最小化利用血液成分的存在,所述血液成分在标准灰度强度图像中容易检测到并且类似于寄生虫核物质那样染色。
在吉姆萨染色剂下,环状体寄生虫的核物质染成品红色,如上所述。特别地,核物质一般比周围的背景物质更暗,背景物质由已经在吉姆萨染色过程中使用的水的作用下被溶解的红血细胞(RBC)物质以及诸如血小板的其他血液成分组成。这种背景物质可以染成从浅粉色到中蓝色的广泛颜色范围。除了寄生虫(如果血液被如此感染)、溶解的RBC和血小板之外;WBC在血液涂片中无处不在。如上所述,WBC核在吉姆萨下染成深品红色,与寄生虫核物质颜色相同,但染色的WBC核大部分比染色的寄生虫核更暗,因为它们更大并且吸收更多光。WBC核相对容易检测和分类,因为它们大、形状规则且颜色为深品红色。因此,在一些实施例中,WBC核可以用作寄生虫核的易于检测的类似物。本文的系统和方法将暗度阈值应用于标准灰度强度图像,接着是面积、颜色或形状过滤器中的一者或多者以在足够高的敏感性和特异性下获得WBC核。
再次参考图4中的图像预处理模块的示意图,使用上面概述的直接WBC检测算法将WBC检测器子模块420应用于灰度FoV图像子集411,从而产生指示哪些图像像素是WBC核的一部分的一系列二值图像421。子模块430累积检测到的WBC核像素431的R,G,B值的随机样本,并将它们存储在数据存储中。并非WBC的一部分的像素被归类为潜在的背景像素。从背景像素中排除暗像素以避免使用寄生虫核像素(因为太小而未被WBC检测器检测到)或来自对应于染色伪影(例如,RBC、血小板等)的暗区的像素污染背景像素。本文的系统和方法可以包括子模块440,所述子模块可以累积合格背景像素441的随机样本、将其存储在数据存储中。
WBC核像素值431和背景像素值441可以由机器学习算法(或模块)用来确定优化WBC核与背景之间的分离的自适应灰度投影向量wa(在红色、绿色、蓝色像素值空间中)。在实施例中,可以使用脊回归技术(例如,通过至少一个处理器,如存储在至少一个存储器存储介质中)来学习最佳向量wa。在一些实施例中,可以通过堆叠WBC核和背景像素的红色、绿色和蓝色值来构建设计矩阵X,诸如根据以下矩阵:
其中N是WBC核像素的数量,并且M是累积的背景像素的数量。对应的目标变量η向量可以被构造为:N个一堆叠在M个零之上,诸如根据以下矩阵:
在一些实施例中,脊回归旨在发现最小化随后的L2正则化优化问题的具有由下面的等式5限定的公式的向量wa
其中C是适当选择的正则化常数。本文的方法和系统可以使用自适应灰度方向向量wa来经由具有公式φa=wa Tξ的投影计算自适应灰度强度φa
如图6B所示,与在标准灰度强度图像中发现的分离相比,使用自适应灰度强度图像代替标准灰度强度图像导致WBC核与背景灰度强度值之间更大的分离,并且因此也导致寄生虫核与背景灰度强度值之间更大的分离。用于自适应灰度强度图像的背景像素611、WBC核像素612和寄生虫核像素613的灰度强度直方图在图6B中示出,其中可以看出,与图6A中的使用标准灰度强度图像确定的重叠区域604相比,重叠区域614显著减小。
在一些实施例中,可以使用多项式回归来代替如上所述的线性回归。多项式回归是线性回归的扩展,并且允许目标变量η向量与预测变量(例如,ξ)之间的非线性关系。例如,本文的方法和系统可以使用多项式回归来发现目标变量η与二阶多项式预测变量ζ之间的线性关系。在一个实施例中,二阶多项式预测变量ζ可以由下面的等式6限定。
ζ=[R G B R2 G2 B2 RG RB GB]T 等式6
在一些实施例中,高阶多项式可以结合到用于确定自适应灰度强度的回归中,以提供自适应灰度强度图像。这个概念可以进一步概括为包括作为R、G和B值的有理函数的预测变量分量。在一个实施例中,24-分量预测变量ζ可以用于确定自适应灰度强度,以提供具有背景像素与WBC和分析物像素之间的强度值的更大分离的自适应灰度强度图像。在实施例中,24分量预测变量ζ可以具有由下面的等式7限定的公式:
其中∈是适当选择的常数,以防止比率的分母等于零。在其他实施例中,使用R、G和B分量的其他非线性函数。引入目标与预测变量之间的非线性关系用于进一步增强自适应灰度强度图像中的寄生虫核像素与背景像素之间的分离。某种形式的正则化用于上文所披露的回归计算。正则化用于抵消预测变量ζ的分量之间的多重共线性的负面后果。在各种实施例中,正则化回归技术选自以下各项:脊回归、套索回归、主成分回归,以及偏最小二乘回归。
再次参考图4,子模块480计算预测变量ξ或ζ与目标变量η之间的回归模型。回归模型481的参数可以存储在数据存储中并由子模块490使用,连同输入图像301一起来计算自适应灰度强度图像491。经颜色校正的图像471以及自适应灰度强度图像491是图像预处理模块310的输出图像311(图3A和图3C)。输出图像311包括nxy个FoV,每个FoV包括nz个焦平面,每个焦平面包括经颜色校正的红色、绿色和蓝色分量图像以及自适应灰度强度图像,如图3C所示。
如前所述,位于FoV中的寄生虫的最佳焦点可以在捕获的nz个焦平面中的任一者中。图7是具有多个焦平面的FoV的并排比较,一个FoV包括分析物(例如,寄生虫),而另一个FoV在其中包括伪影(例如,血小板)。本文的图像分析系统被配置成用于检查每个输入FoV的所有焦平面以发现潜在的寄生虫位置。寄生虫的外观在每个焦平面图像中将是不同的。每个FoV可以包括1个或更多个焦平面,诸如1个、2个、3个、4个、5个、6个、7个、8个、9个或多于9个焦平面。图7的左列示出了在具有nz=7个焦平面(例如,七个不同焦平面)的实施例中含有寄生虫的FoV的一小部分。在一些实施例中,在寄生虫附近的一个或多个焦平面中可以检测到指示候选对象(例如,斑点)的一个或多个像素集群,诸如通过对每一个焦平面的自适应灰度强度图像应用阈值。以相同的方式,可以在比背景更暗的伪影附近检测到候选对象,例如在血小板附近。图7的右列示出了含有不是寄生虫而是伪影(例如,它可以是血小板或染色剂聚集)的候选对象的FoV的一小部分。
B.候选对象检测模块
图8A是也在图3A中示出的候选对象检测模块320的示意图。输出图像311(例如,经颜色校正的RGB和自适应灰图像集)输入到候选对象检测模块310。候选对象检测模块310可以包括各自如下所述地配置的多个子模块。子模块810可以对自适应灰图像执行阈值化操作并输出一个或多个检测掩模811。子模块820可以被配置为将检测到的指示彼此接近(在<x,y>图像坐标中)的候选对象(在下文中称为“斑点”)的像素集群相关联为一个候选对象的一部分,并且输出对象集群821的位置。子模块830可以被配置为通过为含有检测到的候选对象的图像块确定具有最高焦点得分的焦平面(例如,其中具有候选对象的FoV的子区段)来发现每个候选对象或其一部分的最佳焦点831的平面。子模块830可以针对每个候选对象确定、选择和输出具有最高焦点得分831的焦平面。在实施例中,可以使用布兰诺(Brenner)得分来发现最佳焦点831的平面,其由z*表示。在其他实施例中可以使用其他焦点得分。在图7所示的实施例中,z*=5是其中左列中的候选对象(寄生虫)的最佳焦平面。图7的右列中的候选对象(伪影)的最佳焦平面是z*=4。子模块830还识别最佳焦平面中的最暗斑点并且认为(例如,确定、假设或至少临时指定)这个斑点表示感兴趣的候选对象。在另一个实施例中,分配最圆的斑点来表示感兴趣的候选对象。更圆的斑点可以更接近地对应于疟疾寄生虫或其部分,诸如细胞质或核。在各种实施例中,使用其他属性或属性组合来选择代表性斑点。斑点中心分别由图7的两列中的交叉十字标记,z*=5和z*=4。
参考图8A,子模块840被配置为针对每个候选对象确定(例如,计算)主要斑点的属性841。诸如面积、圆度、灰度强度等的属性由子模块840计算。子模块850可以被配置为至少部分地基于所确定的属性来过滤候选对象。至少部分地基于所确定的属性来过滤候选对象减少了候选对象集合中的伪影的数量,如851处所指示。子模块850可以被配置作为或包括伪影分类器,所述伪影分类器被配置为至少部分地基于一个或多个属性对候选对象进行评分。子模块850可以被配置为基于本文披露的任何确定的属性中的一者或多者来确定候选对象的得分,诸如与至少部分地基于一个或多个候选对象的一个或多个特性(强度、颜色、形状、大小等)而确定候选对象是分析物的概率相关的得分。子模块850可以被配置为丢弃具有低于阈值得分的得分的候选对象。
子模块850的伪影分类器可以用对象的图像进行预训练,通过注释过程得知所述对象的基础事实身份(作为分析物或非分析物),由此寄生虫由人类专家提前标记。注释过程存储大量寄生虫的<x,y>位置和最佳焦平面<z>。与已知寄生虫位置接近的候选对象被认为表示寄生虫。不接近已知寄生虫位置的候选对象被认为表示伪影。已知寄生虫和伪影的属性和基础事实类别用于预先训练伪影分类器850。在一个实施例中,伪影分类器被配置为非线性核SVM。在其他实施例中,使用其他分类器。子模块860可以被配置为提取并输出过滤得到的候选对象的图像块861。图像块861是经颜色校正的RGB图像和含有候选对象的自适应灰度强度图像的小区段。这些图像块861(图3A中的321)输出到特征提取模块,其在图3A中被示为框330。
候选对象检测模块的附加方面在下面关于(图8B至图8G)公披露。例如,本披露内容的系统和方法可以用于检测非常小且包括图像中总像素的可忽略不计部分(例如,10%或更少、5%或更少、或2%或更少)的对象。本披露内容的系统和方法可以计算空间变化/自适应阈值(对于灰度强度),所述空间变化/自适应阈值通过越过噪声基底来避免高噪声区域中的误报检测,并且通过降低灰度强度阈值来响应于低噪声区域,以在低噪声区域中实现最大灵敏度。本文披露的系统和方法不依赖于从中推断出合理阈值的诸如WBC的大型暗对象(或明亮对象)的存在;而同时考虑到诸如WBC的已知大型暗对象(或明亮对象),以避免它们使空间变化的噪声基底的计算失真。候选对象检测模块的附加方面在下面关于(图8B至图8G)公披露。
图8B是图3A和图8A的候选对象检测模块320的斑点检测子模块810的示意图。斑点检测子模块810可以接收一个或多个输出图像311(例如,来自图像预处理模块310的自适应灰度强度图像)作为输入;以及一个或多个二值图像421(例如,来自图像预处理模块310),诸如WBC检测输入(例如,掩模)。输出图像311和二值图像421的自适应灰度强度图像由斑点检测子模块810的阈值确定子模块812接收。阈值确定子模块812可以基于对自适应灰度强度图像和二值图像421执行的许多操作而输出图像的每个图像块和/或FOV的自适应灰度(强度)阈值。从阈值确定子模块812输出的自适应灰度(强度)阈值可以帮助确定斑点是候选对象、WBC、背景还是图像的任何其他方面。然后,由斑点识别子模块814应用自适应灰度强度阈值,以检测和定位从斑点识别子模块814输出的斑点(例如,候选对象集群)作为一个或多个(候选对象)检测掩模811。
灰度强度图像或其部分(例如,FoV或图像块)的典型背景可以包括染色剂和其他噪声(例如,诸如血小板、部分溶解或未溶解的红细胞、染色剂聚集等伪影)。候选寄生虫核(例如,候选对象)一般比来自染色载玻片的图像中的背景更暗。因此,可以通过将暗度阈值应用于灰度强度图像,或者等效地,通过将亮度阈值应用于反转灰度强度图像来检测它们。这些暗度和/或亮度阈值可以表示为灰度强度阈值。贯穿本披露内容,可以采用反转灰度强度图像的惯例。因此,可以将亮阈值应用于反转灰度强度图像以检测潜在的寄生虫位置。
灰度强度阈值的值对于图像分析系统或技术实现的检测灵敏度来说可能是关键的。然而,整个图像、FOV和/或图像块的单个灰度强度阈值可以导致误报和遗漏的寄生虫(例如,不容易与背景区分开的寄生虫)。此类误报和/或遗漏的寄生虫可能是由于图像、FoV或图像块的特性和内容的局部变化(例如,背景的颜色或灰度强度中的一者或多者的变化,或WBC和/或RBC的存在)。
具有选定值的局部灰度(强度)阈值可以有效地将图像像素划分为两个类别之一;具有处于或低于阈值的灰度强度的像素,或具有高于阈值的灰度强度的像素。取决于图像的亮度是否已被反转,处于、低于或高于阈值的灰度强度可以指示像素是背景或候选对象的一部分。此外,在图像或FoV的总灰度强度的计算中考虑到WBC时,所计算的灰度强度阈值可能太暗或太亮而不能提供可靠的候选对象检测,尤其是在目标寄生虫的低群体水平下。
在本文披露的图像分析应用和系统中,高噪声区域可以受益于高灰度强度阈值以便避免可能由区域中的伪影触发的误报。然而,低噪声区域可以受益于低灰度强度阈值(例如,低于高灰度强度阈值)以提供对候选对象(例如,寄生虫)的相对较高敏感性。应用于图像的所有FoV或图像块的单个全局阈值可以是图像中对高噪声区域与低噪声区域的冲突需求之间的折衷。应用于图像、FOV或图像块的单个全局阈值可能由于候选对象和伪影周围的局部敏感性的丧失而导致一些误报和遗漏的候选对象(例如,寄生虫)。
一些阈值化技术假设FoV或图像块中的像素的双峰分布,诸如高于阈值的类别或群体以及低于阈值的类别或群体,并且基于双峰群体来计算阈值。此类技术可以最小化类别内灰度强度方差的加权平均值,或者等效地,最大化平均灰度强度的类别间差异(下文中称为“简单双峰技术”),但是与本文披露的技术相比,当被检测的寄生虫构成图像的一小部分(例如,小于10%、小于5%、小于2%、小于1%、或小于0.5%)时不准确。例如,此类简单双峰技术是基于相对平衡的图像内容(例如,两类像素的相对紧密的分割,诸如70%:30%至50%:50%或甚至80%:20%),当要检测的对象表示图像中总像素群体的一小部分时(例如,小于10%、小于5%、小于2%、小于1%或小于0.5%)损失准确性或者无法识别对象。当要在血液涂片的灰度强度图像中检测可能构成血液样本的相对小部分的小疟疾寄生虫(与WBC相比)时,可能发生这种准确性损失。
一些阈值化技术可以分别在阈值或阈值以下或者阈值以上利用高斯分布对像素的双峰类别中的每个类别进行建模,所述高斯分布的比例、均值和方差是根据类别中的像素计算的(下文中称为“高斯双峰技术”)。此类高斯双峰技术可以选择最小化所建模的分布与根据灰度强度图像本身计算的经验灰度强度分布之间的误差的阈值。然而,当类别的不平衡达到极端时,高斯双峰技术仍然无法识别将对象与背景分离的灰度强度阈值,诸如当一个类别仅包括小于10%、小于5%、小于2%、小于1%、或小于0.5%的总像素时,如可能是血液涂片图像上的疟疾寄生虫的情况。在WBC和寄生虫出现在相同FoV中的情况下,如果其中的群体相对平衡,则高斯双峰技术可以计算合理的阈值。然而,高斯双峰技术依赖于WBC的存在来提供类别中的一些像素,并且WBC在每个图像、FoV或图像块中不出现并且不能指望出现。因此,由高斯双峰技术确定的阈值可能不可靠。
上述两种阈值化技术(简单和高斯双峰技术)仅计算整个FoV的单个恒定灰度强度阈值。在许多FoV中,可能存在伪影密集(高噪声基底)的区域和具有极少伪影(低噪声基底)的区域。在这个背景下的词语“噪声”用于表示不感兴趣的图像元素(例如,诸如血小板、部分溶解或未溶解的红细胞、染色剂聚集等伪影)。噪声在本披露内容中也可以称为背景。这与大多数图像处理应用稍微相反,其中词语“噪声”是指图像中的小的不需要元素(例如,丢失像素),并且目的是降低噪声并保留背景。“噪声基底”可以是窗口、图像块或FoV的局部中值灰度强度值(不考虑WBC),如下面更详细地解释。
本文披露的系统和方法两者确定每个FoV中的一个或多个窗口、图像块或区域的灰度强度阈值,并且这样做时不需要在确定中结合不感兴趣的对象(例如,WBC)的像素信息或特性。例如,通过用替换中值灰度强度值替换WBC像素的灰度强度值来确定自适应灰度强度阈值(例如,FoV的多个图像块(例如,区域)中的每一者的单独且唯一灰度强度阈值),所述替换中值灰度强度值可以是来自整个自适应灰度强度图像的像素的中值或平均灰度强度(例如,随机采样具有足够大群体以确保像素的平均灰度强度的准确性)。在这样的替换之后,使用来自整个窗口的像素的中值灰度强度来计算自适应灰度强度阈值,包括用于代替WBC像素值的替换内侧灰度强度值。局部自适应阈值可以包括在每个窗口中计算的局部中值灰度强度值,或者可以包括从其偏离选定量的某个值(例如,比局部中值灰度强度值亮或暗10%的值)。下面进一步描述局部中值灰度强度值和基于此的局部自适应阈值的计算。
图8B是根据实施例的图3A和图8A的候选对象检测模块的斑点检测子模块的示意图。图8B中所示的阈值确定子模块812可以计算局部中值灰度强度值(其可以在窗口、FoV和/或图像块之间变化)的准确局部阈值,即使当要检测的对象表示图像中的像素的微小部分时(例如,10%或更少、5%或更少、2%或更少、1%或更少、或0.5%或更少)也是如此。阈值确定子模块812不依赖于FoV中WBC的存在来计算准确或有效阈值。FoV中的WBC的存在也不会影响如本文所披露的阈值确定(例如,阈值确定计算)。阈值确定子模块812计算空间变化阈值(例如,局部自适应阈值),从而在高噪声区域中选择高阈值由此避免这些区域中的高误报率,同时在低噪声区域中选择低阈值由此在这些区域中也实现高灵敏度。阈值确定子模块812可以通过局部估计噪声基底来计算空间变化(例如,局部自适应)阈值。
斑点检测子模块810可以包括并对图像执行多个操作以识别其中的斑点。在图8C至图8D中描绘了由斑点检测子模块810执行的操作的示意图。阈值确定子模块812可以确定图像的局部自适应灰度强度阈值,如下所述。
图8C是输入到图8B的斑点检测子模块中的视野图像。图8C示出了血液涂片的图像的FoV 870。FoV 870可以被提供为来自输出图像311的自适应灰度强度图像和/或二值图像421中的一者。图8C所示的输入FoV 870含有四个疟疾寄生虫876、878、882和886。输入FoV870还含有三个WBC 872、874和880。输入FoV 870具有伪影884(例如,血小板或染色剂聚集)。此外,输入FoV 870具有高噪声区域871以及低噪声区域881。
阈值确定子模块812可以通过局部地确定图像(例如,自适应灰度强度图像)中的一个或多个窗口890上的中值灰度强度值来估计噪声基底。阈值确定子模块812可以确定FoV或窗口890的全图像或局部(例如,FoV中的一个或多个离散窗口)中值灰度强度值。例如,阈值确定子模块812可以计算(例如,确定)图8C所示的窗口890的中值灰度强度值。图像(例如,窗口)中的某一位置的中值灰度强度值可以提供局部自适应阈值的值,在处于或低于该局部自适应阈值时,来自窗口内的像素强度值可以指示候选对象或其集群的存在(例如,斑点)。
图8D是已被修改的图8C的视野输入图像。图8D示出了血涂片的图像的经校正的FoV 870′。阈值确定模块812可以从WBC检测掩模输入(例如,二值图像421)接收关于FoV870中的WBC 872、874和884的存在的信息。如果输入FoV 870含有一个或多个WBC 872、874和884,则阈值确定模块812可以用来自整个图像的中值灰度像素强度(例如,整个图像或其一个或多个部分的中值灰度强度,或排除具有WBC的像素的中值灰度像素强度)替换属于WBC 872、874和880的像素以产生经校正的FoV 870′。这在图8D中示意性地描绘,其中图8C的属于WBC 872、874和880的像素的灰度强度已经分别用对象892、894和896中示出的全图像中值灰度像素强度值替换。在经校正的FoV 870′中的WBC像素被中值灰度像素强度替换的情况下,噪声基底或阈值估计(例如,窗口的中值像素强度估计)将不会通过在WBC附近提高阈值来响应WBC。考虑WBC将具有减小对WBC附近的寄生虫的敏感性的不期望效果。换句话说,在确定窗口的中值像素强度估计(例如,局部噪声基底估计)时考虑WBC将会使噪声基底估计偏向倾向于降低对寄生虫(例如,诸如在灰度强度上与WBC相似的疟疾等寄生虫)的敏感性的阈值。因此,阈值确定子模块812可以通过局部地确定图像中的一个或多个窗口上的中值灰度强度值同时不考虑由于WBC的存在而引起的中间像素灰度强度的任何变化来估计噪声基底。WBC的位置是已知的并且在WBC检测掩模中提供。在一些实施例中,至少一些窗口可以在其中含有一个或多个候选对象(例如,斑点),并且当进行噪声基底估计时,来自候选对象的像素有助于计算窗口的中值像素强度。例如,在计算中值灰度强度或局部噪声基底时会考虑候选对象中的像素的灰度强度值,因为与迄今未知的候选对象或其集群相对应的像素并不对应于WBC并且因此在计算中使用。在一些实施例中,窗口中的候选对象的量可以表示非常小(例如,小于10%、小于5%、小于2%)的像素群体,所述像素群体使得由此确定的自适应灰度阈值不会偏离而提供不准确结果。局部噪声基底可以用于设置或确定局部自适应灰度(强度)阈值。例如,局部噪声基底可以用作局部自适应灰度阈值,或者高于或低于局部噪声基底的某个灰度强度值可以用作局部自适应灰度阈值。
回到图8C,可以在图像中的多个窗口890中的一者或多者上确定中值灰度强度值(针对像素)。窗口890可以在所谓的“滑动窗口过滤器”中以规则图案定位(例如,平铺或放置)在图像(例如,FoV)中/上方。虽然可以应用滑动窗口方法来减少图像中的噪声;但在本披露内容中,滑动窗口过滤器用于估计FoV或窗口890中的噪声(例如,背景)。可以选择窗口890的大小以提供期望的噪声基底估计样本大小或空间分辨率。例如,较大的窗口可以导致更稳健的噪声基底估计,但也会扩大噪声基底估计的空间尺度,这可能导致丢失小的低噪声区域。相反,较小的窗口可以允许更好的空间分辨率,但在噪声基底估计中可能不太稳健。在一些实施例中,窗口890的大小可以具有至少约10个像素的至少一个维度(例如,宽度和/或高度),诸如约10个像素到约100,000个像素、约100个像素到约10,000个像素、约10个像素到约1000个像素、小于约10,000个像素、或小于约100,000个像素。
可以选择滑动窗口过滤器的“步幅”(例如,窗口过滤器的连续应用之间的距离)以提供选定的分辨率或计算负担。例如,滑动窗口过滤器可以通过一个像素的步幅进行计算,使得当在窗口890上计算中值灰度强度值时,然后窗口890向右移动一个像素并且再次计算中值灰度强度值,依此类推。在实施例中,每个局部中值灰度强度值(例如,通过替换WBC像素来计算)可以与从中确定它们的对应窗口相关。一个像素的步幅可能以与原始图像相同的分辨率计算中值过滤灰度强度图像,但计算负担可能非常高(例如,高达两个像素的步幅的四倍)。在实施例中,步幅可以是两个或更多个像素,诸如至少两个像素、至少五个像素、至少10个像素、至少50个像素、至少100个像素、至少1000个像素或至少10,000个像素。这可以减少计算负担,但降低过滤得到的图像的分辨率,从而可能降低噪声基底估计的保真度。在一些实施例中,当滑动窗口步幅大于一个像素时,可以内插中值过滤图像,直到输入图像的原始分辨率。在一些实施例中,可以响应于特别选择的分辨率或计算负担来选择不同的步幅。
在一些实施例中,一个或多个窗口890可以用于确定图像的每个部分的中值灰度强度值(例如,用于自适应灰度阈值的噪声基底估计),诸如图像的每个部分的局部变化/自适应中值灰度强度(例如,噪声基底)。在一些实施例中,FoV或其中的窗口的全图像灰度强度值或局部变化的中值灰度强度值可以用于替换图像中的WBC像素以确定局部自适应灰度阈值。这种技术可以通过减小由于诸如WBC的已知非分析物引起的变化的影响而允许更接近图像中的实际背景(例如,噪声)。例如,与窗口中的已知WBC相对应的像素可以用针对窗口确定的中值灰度强度值或用全图像中值灰度强度值替换。如上所述,中值灰度强度的值可以在图像或其部分上变化。同样地,所确定的局部自适应灰度(强度)阈值可以在图像或其部分上变化。因此,用于检测诸如血液的流体中的分析物的系统和方法可以将多个局部自适应灰度(强度)阈值应用于图像的对应窗口,以便产生图像或其部分中的噪声基底的空间变化/自适应估计(例如,背景和候选对象的中值灰度强度值)。
可以针对FoV中的每个窗口、整个FoV或整个图像来估计(例如,通过阈值确定模块812)噪声基底,并且噪声基底可以根据所讨论的图像的部分而空间变化。中值过滤灰度强度图像或噪声基底图像是FoV或图像中的噪声基底的空间变化/自适应估计的图像。在大多数情况下,感兴趣对象的像素在其位于图像中的位置处可以具有高于噪声基底图像的中值灰度强度值(例如,局部自适应阈值)的灰度强度值。感兴趣对象可以包括寄生虫和WBC。可以通过从灰度强度图像中减去噪声基底图像并应用阈值来检测感兴趣对象。
斑点检测子模块814可以应用阈值(例如,局部自适应阈值)来识别FoV/图像中的任何感兴趣对象(例如,斑点)的存在和/或位置。局部自适应阈值可以包括超过或低于选定值(例如,噪声基底估计值或高于噪声基底估计值的量)的某个灰度或颜色强度值。例如,可以选择局部自适应阈值以识别高于噪声基底的灰度或颜色强度值或高于此的一些值。因此,噪声基底图像加上局部自适应阈值可以被认为是(空间变化/自适应)阈值图像。图像中的具有高于(例如,或低于,取决于图像是否为非反转灰度强度图像)阈值图像中的值的灰度强度的任何像素可以被认为是感兴趣对象。换句话说,可以通过从灰度强度图像中减去噪声基底图像并识别具有大于选定(灰度强度)阈值的灰度强度值的任何像素(例如,应用阈值)来识别或检测感兴趣对象(例如,斑点)。感兴趣对象的像素组或像素集群可以指示一个或多个斑点的存在。斑点检测模块814可以将一个或多个窗口、FoV和/或焦平面中的一个或多个像素组或像素集群识别为斑点,并输出表示诸如特定窗口、FoV和/或焦平面中的斑点位置的一个或多个检测位置掩模811。斑点检测模块814可以将一个或多个检测掩模811输出到图2的斑点集群子模块220。
图8E是图8C的视野图像的像素的灰度强度直方图900。图8E将图8C的FoV图像的灰度强度直方图900示出为实线904。直方图900描绘了反转灰度强度(表示为从0到1.0从右到左延伸的值,其中1是100%)相对于像素的数量(以任意单位)。背景的灰度强度从零延伸直到约0.75。直方图中的约0.9处的凸起908可以对应于图像870(图8C)中的WBC的灰度强度值。图像870(图8C)中的寄生虫的灰度强度值可以在约0.3至约0.8的范围内。因此,背景和寄生虫的灰度强度可能重叠。另外地,在寄生虫的直方图中没有明显的峰,因为与整个图像相比,像素的数量可忽略不计。
竖直线912对应于由简单双峰技术计算的(恒定)阈值。可以看出,将简单双峰技术阈值应用于灰度强度图像将导致大量误报检测(线912右侧的值),这可能会压倒图像分析系统。竖直线914对应于(恒定)高斯双峰技术阈值。如图8C和图8E所描绘的,高斯双峰技术阈值的应用将成功检测到高噪声区域中的一个寄生虫(例如,如图所示的由高于约0.76的阈值的灰度强度值(例如,高于0.76但低于约0.8)指示的对象),但将完全错过其他三个寄生虫(例如,低于约0.76的灰度强度范围内的对象)。
本文所披露的阈值化技术可以提供能够解析具有与图像特定区域中的背景相似的灰度强度的对象的局部变化阈值。例如,区域916对应于可以通过本披露内容的技术计算出的阈值范围。这些是上述阈值图像中的像素值。因此,高于上面计算的阈值图像中的像素值的任何值可以指示感兴趣对象或斑点(例如,寄生虫)的存在。
可以通过沿着通过图8C的图像870的路径检查灰度强度和阈值来获得这些结果的照明视图。图8F是横穿图8C的视野图像的路径的图示。图8F示出了通过图8C的图像870的路径899。窗口890(图8C)可以沿着路径899行进,以产生沿着路径899的像素的变化灰度强度阈值确定。路径899穿过WBC 874、寄生虫876、寄生虫878、寄生虫882、伪影884和寄生虫886。路径899穿过高噪声区域871和低噪声区域881。
局部自适应阈值可以取决于图像中的位置而变化。沿着图8F中的路径899的局部自适应阈值的值在图8G中被示为具有可变值的线917(例如,阈值分布)。图8G是反转灰度强度随图8F的路径899上的位置(以在路径899从左向右行进时与位置相关的任意单位)而变的曲线图950。在图8G中,高噪声区域871对应于曲线图950的在横坐标位置965左侧的部分,并且低噪声区域881对应于曲线图950的在横坐标位置965右侧的部分。图8G中的峰值974、976、978、982、984和986分别对应于WBC 874、寄生虫876、寄生虫878、寄生虫882、伪影884和寄生虫886(均在图8F中)。在图8G中,示出了简单双峰技术阈值912、高斯双峰技术阈值914、可变阈值(被示为线917处的阈值分布并且如本文所述那样计算的局部自适应阈值)和实际灰度强度960。可以看出,简单双峰技术阈值912具有可以识别WBC 874和所有四个寄生虫876、878、882和886的恒定值,如由在简单双峰技术阈值912上方延伸的实际灰度强度960的对应峰值974、976、978、982和986所证明。然而,许多误报检测也可以由简单双峰技术阈值912指示(例如,由于双峰群体中的像素类别的相应群体中的大不平衡),如前所述,这可能造成图像分析系统的问题。例如,对应于伪影884的峰值984可能被错误地识别为感兴趣对象。
还可以看出,高斯双峰技术阈值914具有恒定值,并且可以仅检测到如在高斯双峰技术阈值914上方延伸的峰值974和978所示的WBC 874和寄生虫878。使用高斯双峰技术阈值914可以致使寄生虫876、882和886(均在图8F中)未被检测到,因为对应峰值976、982和986低于高斯双峰技术阈值914。
沿着图8F的路径899的局部自适应(灰度强度)阈值(例如,阈值图像的灰度强度)在图8G中示为虚点线(线917的阈值分布)示出。图像的特定路径、线或窗口的局部自适应阈值可以在区域916(图8E)的任何值之间自适应地变化。沿着路径899的阈值图像的灰度强度值对应于线917处的阈值分布。如图所示,线917处的阈值分布(以及本文所述的用于确定和应用阈值的技术)可以提供可变或自适应阈值以识别原本使用简单高斯双峰技术阈值914未检测到的感兴趣对象(例如,斑点)并且防止包括过度的阈值双峰技术阈值912(防止误报);同时允许排除伪影884(图8F)和/或其他非分析物(例如,非寄生虫)作为感兴趣对象。
虽然设置在线917处的阈值分布检测到所有期望的对象(即,WBC 874和所有四个寄生虫876、878、882和886),但它也不检测大量误报,因为它越过噪声基底。也就是说,设置在线917处的阈值分布粗略地跟踪图像中的局部平均灰度强度。例如,可以看出,在高噪声区域871中,设置在线917处的阈值分布的值一般高于实际灰度强度值960(例如,除了在对应于感兴趣对象的峰值处之外),使得在高噪声区域871中避免误报。在低噪声区域881中,响应于该区域中较低的噪声水平,设置在线917处的阈值分布的值相对较低,但仍然一般高于实际灰度强度值960(例如,除了对应于感兴趣对象的峰值)。设置在线917处的阈值分布可以在峰值984处越过伪影884(例如,在其上方延伸),因为伪影884不存在于图8B的二值图像421的WBC检测输入掩模中(例如,伪影884未被识别为WBC)。来自二值图像421的WBC输入检测掩模的这种缺失将致使伪影884在确定含有伪影884的窗口的灰度强度阈值时被视为背景,由此导致越过伪影884的灰度强度值的灰度强度阈值。与显著较小的寄生虫(例如,比伪影884小至少50%、75%或90%)不同,伪影884的相对大小可以使灰度强度阈值确定偏离足够远以使得设置在线917处的阈值分布(例如,局部自适应阈值)超过伪影灰度强度。发明人目前认为,在大多数情况下,某些寄生虫(例如,环状体疟疾寄生虫)不够大到致使阈值确定模块812(图8B)使局部灰度强度阈值确定偏离到足以致使阈值分布越过寄生虫。这种确定可以取决于窗口以及其中的伪影和/或寄生虫的相对大小。例如,具有对应于伪影的大像素百分比(例如,50%或更多)的窗口可以产生越过其中的任何寄生虫的自适应阈值。相反,仅具有含有寄生虫的微量像素(例如,小于10%、5%、2%、1%)的窗口可能不会导致高于与寄生虫相对应的像素的强度的计算自适应阈值。因此,可以选择窗口的大小以提供能够在检测寄生虫时越过伪影884的自适应(灰度强度)阈值。
回到图8B并且根据图8G,斑点识别模块814可以用于识别实际灰度强度960的超过设置在线917处的阈值分布(或局部自适应阈值)的一个或多个峰值的存在。实际灰度强度960的超过设置在线917处的阈值分布的一个或多个峰值可以被斑点识别子模块814识别为感兴趣对象(例如,斑点)并且作为检测掩模811输出。斑点识别子模块814可以将检测掩模811输出到斑点集群子模块820(图8A),如本文所述。
C.特征提取模块
图9是也在图3A中示出的特征提取模块330的示意图。特征提取模块330被配置成用于将每个候选对象表示为特征向量并输出所述特征向量。特征向量可以被图3A的对象分类器模块340分类为寄生虫(甚至是寄生虫的种类或阶段)或伪影。特征提取模块330被配置成用于计算两种类型的特征中的至少一种,如图9所示。特征可以是手动特征或自动特征。特征提取模块330具有两组输入,一组是手动特征提取并且另一组是自动特征提取。特征提取模块330可以在两种模式(手动特征提取打开或手动特征提取关闭)中的一种模式下操作。在各种实施例中,手动特征提取可以打开或关闭,而自动特征提取始终打开。
第一种特征提取方法是计算机视觉领域中的手动特征提取或特征工程。这些是有意设计成测量候选对象的特定属性的特征,并且严重依赖于学习的(例如,先前已知或预编程的)领域知识。
用于手动特征的输入901是含有候选对象及其所有nz个焦平面的经颜色校正的R,G,B图像块。特征提取模块330的子模块910将三个手动特征911促成特征向量。
第一手动特征是候选对象的最佳焦点得分(例如,布兰诺得分)。返回参考图7,在nz个焦平面中的每一者的图像块区域上计算焦点得分,并且最佳焦平面是具有最高焦点得分的焦平面。第二手动特征是在其中具有候选对象特征的FoV的焦平面上的焦点得分的标准偏差(和/或其他离差度量)。这背后的动机在于,一些伪影(比如试样上的气泡和灰尘颗粒)将在所有焦平面上具有相同的焦点得分,因为它们远离焦点,而环状体疟疾寄生虫(或其他分析物)将具有包围最佳焦平面的窄焦点得分分布,并且因此具有焦点得分的小标准偏差。
子模块910可以被配置成用于提取第三手动特征,其被称为红移得分(红移在此用作描述性术语并且与多普勒效应引起的红移现象无关)。红移得分有助于区分寄生虫和伪影。红移得分依赖于两个概念的汇合。第一个概念是光学色散,它是指根据波长的折射率变化。这意味着未校正的简单透镜将不同波长的光聚焦在不同的焦平面(例如,远离透镜的不同长度)。
图10A和图10B分别是通过简单透镜和具有消色差校正的透镜折射到不同焦平面的光线的图示。在图10A中,示出了光谱的红色、绿色和蓝色部分中的三个代表性波长的光线分别聚焦在平面1001、1002和1003处。当光穿过简单透镜1010时,红色、绿色和蓝色波长折射到不同的焦平面。在图10C中示出了简单透镜的焦点相对于波长曲线1030,并且在1001、1002和1003处聚焦的光线的代表性焦平面分别由曲线1030上的1031、1032和1033处的点指示。
具有消色差校正的透镜有助于限制由色散引起的色差量。经消色差校正的透镜在图10B中示出,以及光谱的红色、绿色和蓝色部分中的三个代表性波长。经消色差校正的透镜可以包括例如安装或粘结到凹形的消色差部件1020(例如,火石玻璃部件)的凸形的简单透镜部件1010(例如,冕牌玻璃部件)。经消色校正的透镜被设计成使两个波长在相同平面聚焦,诸如图10B所示的平面1005。如图所示,在一些实施例中,两个波长处于光谱的红色和蓝色部分。
消色差透镜的焦点相对于波长曲线在图10C中示为曲线1040,并且在1004和1005聚焦的光线的代表性焦平面分别由曲线1040上的点1044和1045指示。可以在图10C中看到,曲线1040在光谱的红色区域(640至700nm)中的部分比曲线1040在蓝色区域(450至500nm)中的部分更平缓地向上倾斜。因此,当设置在显微镜上的焦点朝向曲线图的上部移动时,蓝光将比红光更快地散焦。当显微镜焦点向上移位时,绿光不会像光的红色或蓝色分量那样快地失焦。这可以从图10C中的曲线1040的底部的相对平坦(其位于光谱的绿色区域中)看出。在调整显微镜焦点时,第一个概念依赖于光焦平面的这种移位。
红移得分所依赖的第二个概念是分析物(例如,DNA)在被染色(诸如用吉姆萨)时的光吸收特性。图11是吸收光谱1101的曲线图,其示出了光谱的绿色区域中的峰值吸收。在存在DNA的情况下,亚甲蓝和曙红Y的缀合物对绿光的吸收被放大。这意味着显微镜载玻片上含有DNA的物质(例如细胞核)将主要吸收绿光并透射红光和蓝光,这是其在透射光显微镜中呈品红色的原因。伪影对象不含DNA并且因此倾向于在光谱的绿色部分中吸收较少。因此,伪影在图像中不呈现品红色。
基于向上改变显微镜的焦平面将使蓝色波长比红色波长更快地散焦的上述观察,由此推断品红色对象将显得更红,因为光的蓝色分量将扩散到更大的空间区域,与红色光相比更是如此。这是红移得分的基础,红移得分测量检测到的候选对象的最暗部分的红色增加,对于真正的疟疾寄生虫来说,所述候选对象是寄生虫细胞的核。更均匀地透射红光、绿光和蓝光的伪影在显微镜的焦点向上移位时将不会变得更红,这抵消了如上所述的红色和蓝色分量的红移效应。因此,红移得分为区分寄生虫和伪影提供了基础。
本文所披露的系统和方法被配置成用于分析候选对象图像的红移并基于此提供得分。手动特征提取子模块910(和相关联的显微镜)可以被配置成用于确定红移得分,如上所述。虽然提供了DNA、疟疾寄生虫和红色作为示例,但红移评分的概念可以应用于不同的颜色和分析物而没有限制。
由特征提取模块提取的第二类特征是自动特征,所述自动特征可以由包括至少一个存储器存储装置和至少一个处理器的系统(诸如卷积神经网络(CNN))自动地学习。CNN是学习多层次表示的深度学习模型(由计算机系统应用)。以原始输入层开始,每个连续层(例如,卷积层、池化层、子采样层或完全连接层)以略微更抽象的层次表示图像中的信息。使用诸如误差的反向传播(反传)的标准学习规程来学习每个层中的权重(滤波器)。在CNN中,(计算的)每个层由不同的多个神经元(处理模块)执行,并且每个卷积层中的神经元不与系统的相邻层中的所有神经元完全互连。相反,卷积层中的神经元仅选择与相邻卷积层的连接,以减小对后续卷积层进行的输入量。在每个卷积层处,卷积核限定与前一层中的神经元的连接区域。卷积核有时被称为卷积层中的神经元的感受野。CNN中的一个或多个最终层是完全连接层,其具有与前一层的完全连接、基于由其提供的数据(所述数据贯穿各层反复地抽象化)有效地执行高级推理。在一些实施例中,基础事实(例如,含有已经由人类专家识别的基础事实对象的图像块)可以用于经由学习规程来训练CNN的权重。CNN可以存储在具有一个或多个处理器(例如,中央处理单元(CPU)或图形处理单元(GPU))的计算机上并由其执行。基础事实图像或图像块可以包括已知的阳性样本(例如,对于CNN被识别为具有感兴趣分析物)和已知的阴性样本(例如,对于CNN被识别为其中没有分析物,或者其中仅具有已知的伪影或其他非分析物对象)。因此,CNN可以从已知分析物和非分析物种类两者来学习权重,所述权重可以用于在样本中识别所述分析物和非分析物种类。
在实施例中,可操作地耦合到数字记录器的计算机视觉系统(诸如显微镜)可以可操作地耦合到CNN。此类系统在准确性方面可以超过人类水平性能。自动特征提取子模块920可以被配置成用于至少部分地基于权重、池化和非线性操作的前馈应用来执行特征提取。
由于模型的丰富性,因此需要大量数据来训练CNN。如果可用于训练的数据不足,则可能会发生过度拟合,从而导致泛化性能较差。在一些实施例中,本文的系统和方法可以通过至少部分地基于训练数据本身生成人工数据来增加训练数据的量。这个过程被称为扩充。扩充可以采用应用于训练图像的一个或多个随机变换的形式。扩充变换的示例是平移、旋转、缩放、反射和颜色失真。
一种颜色失真技术包括以下步骤。首先,计算R,G,B颜色空间中的训练图像的主分量变换。分别将特征向量表示为具有对应特征值λ1,λ2,λ3的p1,p2,p3。从有界分布(例如,具有零均值和标准偏差0.1的高斯分布)中对三个随机数r1,r2,r3采样。为了生成扩充图像,将以下数量添加到图像中的每个像素:
[p1 p2 p3][r1λ1 r2λ2 r3λ3]T
在CNN训练期间,每次图像呈现对随机数r1,r2,r3进行一次采样。
上述颜色失真技术可能导致图像具有不切实际的颜色。期望引入生成具有真实颜色的图像而同时提供足够的颜色失真以避免CNN的过度拟合的颜色失真方法(以及用于执行方法的系统)。由于染色剂从一个样本到另一个样本的颜色变化,这种颜色失真可以帮助使图像中的颜色变化归一化。例如,在吉姆萨染色剂中,染色样本中存在的嗜碱性蓝和嗜酸性曙红(红色)的相对量取决于染色剂的pH,pH在现场变化。通过本文的失真方法进行的颜色归一化可以帮助实现更准确的诊断。在本披露内容的第二颜色扩充方法中,图像的红色、绿色和蓝色通道(例如,分量)中的每一者可以通过伽马非线性发生失真,这也被称为伽马校正,但在这种情况下,它用于变换图像的颜色而不是校正颜色。伽马校正由等式8中的以下非线性变换限定:
其中ψ是输入值,是输出值并且是0<γ<∞非线性的指数,并且α是缩放常数。当输入值ψ在范围[0,1]内时,缩放常数α=1。本披露内容的颜色扩充方法从具有零均值和标准偏差σ的高斯分布对四个随机数r1,r2,r3,r4进行采样。然后,经由关系计算γ中的四个值,其中e是自然对数的基数。扩充的红色、绿色、蓝色和自适应灰色通道/分量图像分别由等式9生成,如下:
每次扩充时,每个图像对随机数r1,r2,r3,r4进行一次采样。因此,R、G、B和强度φ通道中的每一者可以被单独地和共同地扩充以提供更大的数据采样,以训练适用于本文的系统和方法的CNN。
再次参考图9,图像块921是CNN特征提取器930的输入。在一些实施例中,已经使用数据扩充方案进行扩充的基础事实图像块的扩充集可以用于训练CNN来识别分析物或非分析物对象。也就是说,使用平移、旋转、缩放、反射和基于伽马的颜色失真来扩充原始图像或其部分(诸如图像块),如上所述。在一些实施例中,至少一个处理器(与CNN相关联)被配置成用于至少部分地基于以下一者或多者来学习一组权重:基础事实图像块的扩充集、经颜色校正的图像块、或已根据本文所披露的任何方法扩充的灰度强度图像块。例如,可以通过数据扩充方案来扩充基础事实图像块,所述数据扩充方案包括对基础事实图像块的红色、绿色、蓝色或灰度强度分量中的一者或多者的随机伽马校正。在一些实施例中,针对CNN训练呈现每个候选对象的处于最佳焦平面的图像块。在其他实施例中,针对CNN训练呈现所有焦平面的图像块。在一些实施例中,至少一个处理器被配置成用于使用扩充方案来扩充经颜色校正的图像块和自适应灰度强度图像块。在一些实施例中,输出经颜色校正的图像块和自适应灰度强度图像块可以包括使用扩充方案来扩充经颜色校正的图像块和自适应灰度强度图像块。在一些实施例中,在CNN特征提取器的测试阶段期间,不执行扩充。在其他实施例中,在测试阶段期间执行扩充,并且如图3A中的框340所示的分类器模块的输出在每个测试样本的扩充版本上进行平均。在一些实施例中,至少一个处理器被配置成用于在与经颜色校正的图像块和自适应灰度强度图像块中的每一者的扩充版本相对应的特征向量上对机器学习分类器的输出进行平均。
CNN特征提取子模块930的输出是特征向量的CNN分量931。在使用手动特征和CNN特征两者的实施例中,手动特征911和CNN特征931可以被级联以形成完整输出特征向量941。在没有手动特征的实施例中,不执行手动特征提取子模块910,并且对于输出特征向量941不预先考虑手动特征911。
返回图3A中的系统图,特征提取模块330的输出是候选对象的特征向量331。
D.对象分类器模块
对象分类器模块340被配置成用于将特征向量331分类为对应于分析物(例如,寄生虫)或伪影。对象分类器模块340被配置成用于使用机器学习分类器将特征向量331或来自特征向量提取模块330的输出分类为寄生虫或伪影。机器学习分类器可以是存储在一个或多个存储器存储介质中的程序,所述程序可由一个或多个处理器执行,诸如在计算机系统或网络中。可以使用如上文所披露的寄生虫基础事实数据来训练对象分类器模块340,如上文所披露。对象分类器模块340的不同实施例可包括不同类型的分类器。在实施例中,对象分类器模块340被配置为线性支持向量机。例如,线性支持向量机可以包括被配置成用于执行线性支持向量分类的计算装置。在各种实施例中,对象分类器模块340可以被配置为以下类型的分类器中的一者或多者:非线性内核支持向量机、神经网络、逻辑回归、随机森林决策树、梯度提升决策树、AdaBoost或朴素贝叶斯(Naive Bayes)分类器。
对象分类器模块340的输出可以包括候选对象是寄生虫(例如,分析物)或伪影的校准概率。对象分类器模块340被配置成用于输出分类的对象数据341(图3A)。分类的对象数据341可以包括与基础事实对象和候选对象之间的相似性相对应(例如,指示相似程度)的得分。相似性可以表示为候选对象(或其一个或多个方面)是诸如寄生虫(或其一个或多个方面)的分析物的概率。在一些实施例中,对象分类器模块340(机器学习分类器)可以被配置成用于通过对在对应于输入图像块中的每一者的扩充版本的特征向量上对机器学习分类器的输出(例如,概率)进行平均来将一个或多个特征向量分类。
E.诊断模块
诊断模块350(图3A)可以被配置成用于至少部分地基于分类的对象数据341确定并输出对样本(例如,血液载玻片)的诊断351,即,阳性(样本确实含有疟疾寄生虫)或阴性(样本不含有疟疾寄生虫)。诊断351可以包括对寄生虫血症的估计(如下面的等式10中所使用的)。在一些实施例中,诊断模块350可以被配置成用于确定寄生虫血症。在一些实施例中,诊断模块被配置成用于运行诊断算法,所述诊断算法对对象分类器得分高于某个阈值Θc的候选对象的数量Nc进行计数。在一些实施例中,可以一次对多于一种类型的候选对象(例如,环状体疟疾寄生虫和晚期寄生虫对象)进行计数。随后,具有高于Θc的对象分类器得分的候选对象的数量在某个级别ΘN进行阈值化。换句话说,如果Nc>ΘN,则样本被标记为阳性,否则为阴性。阈值Θc和ΘN可以在已知诊断的验证集上通过人类专家的显微镜检查或诸如聚合酶链反应(PCR)的分子检测进行优化。优化至少部分地基于验证集的给定目标,诸如最大化平衡准确度,或在固定的特异性水平下最大化灵敏度。
本文所披露的图像分析系统是真实世界系统,可以具有一些残余噪声基底,所述残余噪声基底取决于应用于对象分类器得分的阈值。换句话说,在某些对象分类器阈值,一些非寄生虫对象将具有高于所述阈值的得分。在一些实施例中,在验证集中的阴性样本上根据对象分类器得分阈值Θq来计算中值对象级假阳性率同时,在验证集中的阳性样本上来同一分类器阈值Θq计算中值对象级灵敏度率然后使用等式10计算估计的寄生虫血症,如下:
其中Nq是具有高于阈值Θq的分类器得分的候选对象的数量。应当理解,是对象分类器得分阈值Θq的函数。通过在验证集上优化给定目标(诸如均方寄生虫血症误差)来确定分类器得分阈值Θq
F.系统硬件
图12是根据实施例的用于确定样本中的分析物的存在的系统1200的示意图。在一些实施例中,系统1200可以被配置成用于执行本文所披露的任何算法或其他操作中的一者或多者。系统可以包括计算装置1202。在一些实施例中,计算装置1202可以包括至少一个存储器存储介质1210和至少一个处理器1220。在一些实施例中,计算装置1202可以包括用户界面1230。系统1200可以包括可操作地耦合到其上的成像装置1240。下文更详细地描述系统部件的方面。
在一些实施例中,计算装置1202可以包括个人计算机、计算机网络、一个或多个服务器、膝上型计算机、平板计算机或蜂窝电话中的一者或多者。在一些实施例中,计算装置1202的一个或多个部件可以集成到显微镜(成像装置)中。在一些实施例中,计算装置的一个或多个部件可以远离成像装置定位。在此类实施例中,计算装置1202的一个或多个部件可以通过有线或无线连接1206可操作地耦合到成像装置1240。在一些实施例中,计算装置的一个或多个部件可以被配置成用于诸如通过盘、闪存驱动器、电子邮件或其他手段间接地接收由成像装置捕获的图像。
至少一个存储器存储介质1210可以包括硬盘驱动器、固态驱动器、盘或任何其他有形的非暂时性存储器存储装置中的一者或多者。至少一个存储器存储介质1210可以包括本文中披露为存储在其上的机器可读和可执行程序的任何模块或子模块。在一些实施例中,系统1200可以包括多个存储器存储介质1210,每个存储器存储介质具有存储在其上的一个或多个模块或子模块。
至少一个处理器1220可以被配置成用于读取并执行存储在至少一个存储器存储介质1210中的一个或多个程序。例如,至少一个处理器1220可以被配置成用于读取并执行本文所披露的任何模块或子模块中的一者或多者。在一些实施例中,至少一个处理器1220可以包括多个处理器。在此类实施例中,多个处理器中的每一者可以被配置成用于读取并执行存储在至少一个存储介质1220上的一个或多个模块或子模块。在一些实施例中,多个处理器1220中的每一者可以可操作地耦合到多个存储器存储介质1220中的对应一者,并且专用于并被配置成用于仅运行本文的模块或子模块中的一者。
在一些实施例中,用户界面1230可以包括以下一者或多者:显示屏、键盘、触摸屏、一个或多个指示器(例如,灯、蜂鸣器、扬声器等)、或一个或多个按钮(例如,电源或启动按钮)。在一些实施例中,用户界面可以物理地连接到计算装置。在一些实施例中,用户界面1230可以被配置成用于显示来自本文所披露的任何模块或子模块的输出或输入。例如,用户界面1230可以被配置成用于显示诊断、寄生虫血症或本文所披露的任何数据或图像中的一者或多者。在一些实施例中,用户界面可以被配置成用于接受来自用户的输入,诸如经由键盘、USB端口等。用户界面1230可以经由有线或无线连接可操作地耦合到计算装置。在一些实施例中,用户界面1230可以远离计算装置1202定位,诸如定位在远离计算装置1202的计算机、平板计算机或蜂窝电话上。在此类实施例中,可从用户界面1202远程地执行一个或多个模块。
在一些实施例中,计算装置1202可以包括电源1208。电源1208可以包括电池(例如,锂离子电池、铅酸电池、镍镉电池或任何其他合适的电池)、太阳能电池或电插头(例如,墙壁插头)中的一者或多者。电源1208可以可操作地耦合到系统1200的任何部件并被配置成用于向其提供电力。
成像装置1240可以包括显微镜,诸如在其上包括数字图像记录器的高倍显微镜。数字成像装置1240可以被配置成用于在其上固持样本载玻片1250。数字成像装置1240可以包括高倍透镜和数字图像记录器,以捕获样本载玻片的一个或多个高分辨率图像。一个或多个高分辨率图像可以包括一个或多个FoV的图像以及样本载玻片1250的每个FoV的一个或多个焦平面的图像。成像装置可以直接耦合(例如,有线或无线连接)或间接耦合(例如,经由计算机网络)到计算装置(例如,耦合到计算装置的存储器存储介质、处理器或用户界面中的一者或多者)。在此类实施例中,成像装置1240可以被配置成用于将一个或多个样本图像输出到至少一个存储器存储介质1210或至少一个处理器1220。在一些实施例中,成像装置1240可以被配置成用于响应来自计算装置(或其部件,诸如处理器)的一个或多个指令。在此类实施例中,成像装置1240可以至少部分地基于存储在至少一个存储器存储介质1210中并由至少一个处理器1220执行的操作指令进行操作。例如,成像装置1220可以至少部分地基于来自计算装置1202的指令而改变焦平面或FoV之间的距离或数量。
本文所披露的单独模块或子模块中的任一者可以存储在如本文所披露的机器学习装置或计算机上或包括所述机器学习装置或计算机或使用其来应用。
在一些实施例中,用于确定血液中分析物的存在的计算机系统可以包括至少一个存储器存储介质,所述至少一个存储器存储介质被配置成用于存储样本载玻片的多个图像。所述多个图像可以包括多个视野,每个视野包括样本载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有样本载玻片的唯一z坐标。存储器存储介质可以包括存储在其中的操作指令(例如,一个或多个模块)。计算机系统可以包括至少一个处理器,所述至少一个处理器可操作地耦合到至少一个存储器存储介质。至少一个处理器可以执行存储在存储器存储介质中的一个或多个机器可读指令。一个或多个机器可读指令可以包括如本文所披露的一个或多个模块或子模块,所述一个或多个模块或子模块可以由单一处理器执行或各自由专用于所述模块的单独处理器执行。至少一个处理器可以确定白平衡变换并将其应用于多个图像中的每一者,以有效地产生多个经颜色校正的图像,如本文所披露。至少一个处理器可以确定自适应灰度变换并将其应用于多个图像中的每一者,以便为多个图像中的每一者提供自适应灰度强度图像,如本文所披露。至少一个处理器可以检测并识别经颜色校正的图像和自适应灰度强度图像中的一个或多个候选对象,如本文所披露。至少一个处理器可以对自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象,如本文所披露。至少一个处理器可以将一个或多个检测到的候选对象集群成包括每集群一个或多个相邻候选对象的集群,并将指示一个或多个相邻候选对象的集群是单一候选对象的检测到的候选对象的集群相关联(例如,聚合),并且输出一个或多个相邻候选对象的集群的位置。所述位置可以包括含有一个或多个相邻候选对象的一个或多个图像块,如本文所披露。至少一个处理器可以针对每个单一候选对象定位具有最佳焦点的焦平面,如本文所披露。至少一个处理器可以针对每个单一候选对象确定具有最佳焦点的焦平面中的每个单一候选对象的属性(例如,颜色、圆度、形状),如本文所披露。至少一个处理器可以至少部分地基于一个或多个确定的属性来过滤每个单一候选对象,如本文所披露。至少一个处理器可以提取并输出各自含有一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块,如本文所披露。
本文所披露的系统可以在其中包括候选对象检测模块和斑点检测模块(例如,具有阈值确定子模块和斑点识别子模块),以通过局部估计自适应灰度强度图像中的一个或多个窗口的噪声基底来确定自适应灰度图像中的多个视野和多个焦平面中的多个窗口中的至少一些窗口的局部自适应灰度强度阈值,如本文所披露。候选对象检测模块(例如,其中的斑点识别模块)可以至少部分地基于局部自适应阈值来识别自适应灰度强度图像中的一个或多个斑点,如本文所披露。
本文所披露的计算机系统可以包括用于指示本文所披露的动作中的任一者的机器可读程序(并且系统可以执行所述动作)。系统可以包括一个或多个成像装置(例如,配备有相机的显微镜)。此类系统可以在远低于目前使用的浓度的浓度下提供对样本中的寄生虫(例如,疟疾)的自动化检测。此类系统可以允许早期检测(例如,在低寄生虫血症时)和疾病(例如,疟疾)的早期治疗,这在以前用自动化系统是不可能实现的。本文的系统允许在不存在受过训练的人类显微镜工作者的情况下对寄生虫进行可靠的早期检测。
G.诊断分析物的方法
图13是根据实施例的用于确定样本中的分析物的存在的方法1300的流程图。用于诊断样本中分析物的方法和单独动作也在上文相对于本文所披露的模块和子模块中的每一者进行描述,并且为了简洁起见,不再关于方法1300逐字重复。方法1300包括使用样本载玻片的多个图像来确定样本中的分析物的存在。方法1300可以包括诸如利用存储器存储介质或处理器接收样本载玻片的多个图像的动作1305。多个图像可以包括多个FoV,每个FoV包括样本载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有样本载玻片的唯一z坐标。方法1300可以包括使用系统1200的一个或多个部件来执行本文所披露的动作中的任一者。
方法1300可以包括将白平衡变换应用于多个图像中的每一者以有效地产生多个经颜色校正的图像的动作1310。方法1300可以包括将自适应灰度应用于多个图像中的每个图像以便为多个图像中的每一者提供自适应灰度强度图像的动作1320。方法1300可以包括检测并识别多个经颜色校正(例如,白平衡)的图像和自适应灰度强度图像中的一个或多个候选对象的动作1330。方法1300可以包括至少部分地基于候选对象的一个或多个特性的得分来过滤一个或多个候选对象并且输出一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块的动作1340。方法1300可以包括从经颜色校正的图像块和自适应灰度强度图像块中提取一个或多个特征向量并输出一个或多个特征向量的动作1350。方法1300可以包括将每个特征向量分类为对应于伪影或分析物的动作1360。方法1300可以包括确定分类的特征向量是高于还是低于与阳性诊断相关联的阈值水平的动作1370。在下文更详细地讨论动作1310至1370中的每一者。
将白平衡变换应用于多个图像中的每个图像以有效地产生多个经颜色校正的图像的动作1310可以使用关于上文所披露的图像预处理模块310所披露的任一技术来实施。例如,动作1310可以包括从所选择的多个图像的子集中选择多个最亮像素,使得位于子集中的清晰像素的存在概率接近(基本上为)1,如本文所披露。动作1310可以包括计算并应用图像子集中的每个像素的标准灰度强度,以确定多个图像的子集中的每个图像中的多个最亮像素,如本文所披露。动作1310可以包括确定多个最亮像素中的每一者的红色值R、绿色值G和蓝色值B,如本文所披露。动作1310可以包括计算由多个最亮像素的平均颜色限定的平均颜色向量,如本文所披露。动作1310可以包括确定白色向量并且确定与平均颜色向量和白色向量垂直并根据其交叉积计算的轴向量。动作1310可以包括从轴向量以及白色向量与平均颜色向量之间的角度计算仿射变换矩阵;以及将仿射变换矩阵应用于多个图像中的每个图像中的每个像素以提供多个经颜色校正的图像。
将自适应灰度变换应用于多个图像中的每个图像以提供多个图像中的每一者的自适应灰度强度图像的动作1320可以使用关于上文所披露的图像预处理模块310所披露的任一技术来实施。例如,动作1320可以包括接收多个经颜色校正的图像和标准灰度强度图像作为输入,并且在所选择的暗度阈值处对标准灰度强度图像进行阈值化以检测可能是白血细胞核的斑点。动作1320可以包括通过属性(例如,颜色、面积或形状过滤器)来过滤可能的白血细胞核斑点以识别白血细胞核,如本文所披露。动作1320可以包括输出来自其中含有白血细胞核的输入经颜色校正的图像的一个或多个像素的红色值R、绿色值G和蓝色值B作为白血细胞向量数据。动作1320可以包括输出多个合格背景像素的红色值R、绿色值G和蓝色值B作为背景向量数据,所述多个合格背景像素是根据对灰度强度比经颜色校正的图像中的暗度阈值更亮的像素进行随机采样而确定的。动作1320可以包括根据白血细胞向量数据和背景向量数据来确定自适应灰度投影向量。动作1320可以包括输出多个自适应灰度强度图像。
检测并识别多个经颜色校正的图像和自适应灰度强度图像中的一个或多个候选对象的动作1330可以使用关于上文所披露的候选对象检测模块320所披露的任一技术来实施。例如,检测并识别一个或多个候选对象可以包括基于多个经颜色校正的图像或多个自适应灰度强度图像中的一者或多者来确定一个或多个潜在分析物位置。动作1330可以包括确定多个FoV中的哪个FoV在其中包括一个或多个候选对象。动作1330可以包括:将其中的一个或多个候选对象集群以提供由其中的相邻(例如,附近或重叠)候选对象限定的候选对象集群。至少部分地基于候选对象之间的接近度或距离进行集群。动作1330可以包括针对一个或多个候选对象中的每个候选对象确定具有最佳焦点得分的焦平面,如本文所披露。
至少部分地基于候选对象的一个或多个特性的得分来过滤一个或多个候选对象并且输出一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块的动作1340可以使用关于上文所披露的候选对象检测模块320所披露的任一技术来实施。动作1340可以包括输出一个或多个候选对象中的每一者的一个或多个特性的得分,所述一个或多个特性包括面积、灰度强度、形状或颜色中的至少一者。动作1340可以包括至少部分地基于得分来过滤候选对象,所述得分至少部分地基于一个或多个特性。过滤一个或多个候选对象可以包括将至少部分地基于一个或多个候选对象的一个或多个特性的得分与至少部分地基于一个或多个特性的阈值得分进行比较。过滤候选对象可以包括输出得分高于阈值得分的一个或多个候选对象作为潜在分析物位置,并且拒绝得分低于阈值得分的一个或多个候选对象。动作1340可以包括输出自适应灰度和经颜色校正的图像块以及其中具有潜在分析物位置的相关联焦平面。
从经颜色校正的图像块和自适应灰度强度图像块中提取一个或多个特征向量并且输出一个或多个特征向量的动作1350可以使用关于上文所披露的特征提取模块330所披露的任一技术来实施。例如,动作1350可以包括接收与多个图像中的一个或多个潜在分析物位置相对应的多个经颜色校正的图像块和多个自适应灰度强度图像块作为输入,并且输出各自表示潜在分析物的一个或多个特征向量。动作1350可以包括接收一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块,并且至少部分地基于一个或多个基础事实图像块向CNN教示一组权重。在一些实施例中,教示一组权重包括使用数据扩充方案来扩充一个或多个基础事实图像(例如,图像块)。数据扩充方案可以包括对基础事实图像块的红色、绿色、蓝色或灰度强度分量中的一者或多者的随机伽马校正。在一些实施例中,向CNN教示一组权重可以包括接受基础事实样本中的分析物的一个或多个注释图像以及基础事实样本中的伪影的一个或多个注释图像作为基础事实。注释图像可以包括已知的分析物和伪影,所述已知的分析物和伪影被配置成用于训练CNN来识别其特性。在一些实施例中,接受基础事实样本中的分析物的一个或多个注释图像以及基础事实样本中的伪影的一个或多个注释图像作为基础事实可以包括至少部分地基于一个或多个基础事实图像块来向机器学习分类器教示一组权重。动作1350可以包括确定并提取与一个或多个潜在分析物位置相对应的多个经颜色校正的图像和多个自适应灰度强度图像中的一个或多个候选对象的一个或多个特征(例如,手动特征或自动特征中的一者或多者)。动作1350可以包括将一个或多个提取的特征表示为一个或多个特征向量。
将每个特征向量分类为对应于伪影或分析物的动作1360可以使用关于上文所披露的对象分类器模块340所披露的任一技术来实施。例如,动作1360可以包括接收候选对象的一个或多个特征向量作为输入,并将所述一个或多个特征向量分类为对应于伪影或分析物中的一者。可以通过用机器学习分类器对特征向量进行评分来实施分类,所述机器学习分类器已经用一组基础事实图像或相关联向量进行训练,如上文所披露,其中高分(例如,高概率)被分类为分析物并且低分(例如,低概率)被分类为除分析物之外的某物,诸如背景或伪影。在一些实施例中,将一个或多个特征向量分类可以包括在与经颜色校正的图像块和自适应灰度强度图像块中的每一者的扩充版本的特征向量上对机器学习分类器的得分进行平均。在一些实施例中,所述方法可以包括输出其中含有候选对象(例如,分类为分析物或伪影)的一个或多个图像块以供人类用户检查。此类图像块可以输出到用户界面,诸如计算机屏幕。
确定分类的特征向量是高于还是低于与阳性诊断相关联的阈值水平的动作1370可以使用关于上文所披露的诊断模块350所披露的任一技术来实施。例如,确定分类的分析物是高于还是低于与阳性诊断相关联的阈值水平可以包括确定分析物是否存在,并且基于被分类为分析物的一个或多个特征向量的量或者其与阈值或背景噪声值的关系而给出分析物存在或不存在的指示。在实施例中,方法1300可以包括输出诊断或分析物浓度,诸如输出到用户界面(例如,显示分析物浓度的诊断)。
在一些实施例中,方法1300可以包括从受试者获得样本的动作,诸如获得血液样本。在一些实施例中,方法1300可以包括将样本涂抹在样本载玻片上。在一些实施例中,方法1300可以包括拍摄样本载玻片的多个图像。多个(样本)图像可以包括多个FoV和焦平面。在实施例中,方法1300可以包括从图像装置输出多个(样本)图像。方法1300可以包括在计算装置处接收多个(样本)图像。
在一些实施例中,方法1300可以包括确定样本中的分析物(例如,寄生虫血症)的浓度或量。在一些实施例中,分析物可以包括寄生虫,诸如疟疾、罗阿丝虫、包柔氏螺旋体、蠕虫、结核病、锥虫病或任何其他寄生虫。在一些实施例中,本文的系统和方法可以用于基于寄生虫的一个或多个特性来检测特定寄生虫(例如,疟疾)形态或种类。
简而言之,检测样本中的分析物的方法可以包括接受来自某一地理位置的生物样本中的分析物(例如,疟疾寄生虫)的一组注释图像作为基础事实。所述方法可以包括从自动化显微镜装置接受一组未表征图像,所述未表征图像是从在该地理位置拍摄的生物样本获得的。所述方法可以包括对所述一组未表征图像进行预处理以创建具有一致颜色外观的一组图像。所述方法可以包括对具有一致颜色外观的所述一组图像进行候选位置分类以生成一组候选对象图像。所述方法可以进一步包括部分地基于基础事实对所述一组候选对象图像进行寄生虫检测分类,以生成一组标记对象。所述方法可以包括对所述一组标记对象进行分割分析,从而描绘所述一组标记对象中的每一者的结构(例如,细胞核和细胞质)。所述方法可以包括对所述一组标记对象中的每一者执行特征提取分析。所述方法可以进一步包括使用与分析物(例如,疟疾寄生虫)存在于每个标记对象中的概率相关的分类器得分对每个标记对象进行分类。在一些实施例中,方法1300可以包括至少部分地基于与地理位置、季节或与样本相关联的其他标准中的一者或多者相对应的元数据来从存储器存储导入与一个或多个候选寄生虫种类相关联的基础事实数据,并且使用所述数据来确定或识别样本中的寄生虫的种类、阶段或类型,如上文所披露。
图14是用于确定样本中的分析物的存在的方法1400的流程图。用于诊断样本中分析物的方法和单独动作也在上文相对于本文所披露的模块和子模块中的每一者进行描述,并且为了简洁起见,不再关于方法1400逐字重复。方法1400可以包括接收样本载玻片的多个图像的动作1410,所述多个图像包括多个视野,每个视野包括样本载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有样本载玻片的唯一z坐标。方法1400包括将白平衡变换应用于多个图像中的每一者以有效地产生多个经颜色校正的图像的动作1420。方法1400包括将自适应灰度变换应用于多个图像中的每一者以便为多个图像中的每一者提供自适应灰度强度图像的动作1430。方法1400包括检测并识别多个经颜色校正的图像和自适应灰度强度图像中的一个或多个候选对象的动作1440。动作1440包括对自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象。动作1440包括将一个或多个检测到的候选对象集群成包括每集群一个或多个候选对象的集群,将指示一个或多个相邻候选对象是单一候选对象的检测到的候选对象的集群相关联,并且输出一个或多个相邻候选对象的集群的位置,所述位置包括含有一个或多个相邻候选对象的集群的一个或多个图像块。动作1440包括针对每个单一候选对象识别具有最佳焦点的焦平面;针对每个单一候选对象确定具有最佳焦点的焦平面中的每个单一候选对象的属性。动作1440包括至少部分地基于一个或多个确定的属性来过滤每个单一候选对象。动作1440包括提取并输出各自含有一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块。在实施例中,方法1400的一个或多个动作可以被省略或以与上面提供的顺序不同的顺序执行。例如,可以省略动作1410。
方法1400可以包括接收样本载玻片的多个图像的动作1410,所述多个图像包括多个视野,每个视野包括样本载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有样本载玻片的唯一z坐标。在实施例中,接收样本载玻片的多个图像可以包括从与计算机视觉系统(诸如系统1200或本文所披露的任何系统)相关联的显微镜接收多个图像。在实施例中,接收样本载玻片的多个图像可以包括在图像预处理模块处接收多个图像。
方法1400包括将白平衡变换应用于多个图像中的每一者以有效地产生多个经颜色校正的图像的动作1420。将白平衡变换应用于多个图像中的每一者以有效地产生多个经颜色校正的图像的动作1420在一个或多个方面可以与上文所披露的动作1310类似或相同。例如,将白平衡变换应用于多个图像中的每一者以有效地产生多个经颜色校正的图像的动作1420可以使用关于图像预处理模块310所披露的任一技术来实施。例如,动作1420可以包括从所选择的多个图像的子集中选择多个最亮像素,使得位于子集中的清晰像素的存在概率接近(基本上为)一,如本文所披露。动作1420可以包括计算并应用图像子集中的每个像素的标准灰度强度,以确定多个图像的子集中的每个图像中的多个最亮像素,如本文所披露。动作1420可以包括确定多个最亮像素中的每一者的红色值R、绿色值G和蓝色值B,如本文所披露。动作1420可以包括计算由多个最亮像素的平均颜色限定的平均颜色向量,如本文所披露。动作1420可以包括确定白色向量并且确定与平均颜色向量和白色向量垂直并根据其交叉积计算的轴向量。动作1420可以包括从轴向量以及白色向量与平均颜色向量之间的角度计算仿射变换矩阵;以及将仿射变换矩阵应用于多个图像中的每个图像中的每个像素以提供多个经颜色校正的图像。在实施例中,应用白平衡变换可以包括将白平衡变换应用于由其中的红色值R、绿色值G和蓝色值B限定的多个图像的每个像素的颜色向量,并基于此输出经颜色校正的图像。
方法1400包括将自适应灰度变换应用于多个图像中的每一者以便为多个图像中的每一者提供自适应灰度强度图像的动作1430。将自适应灰度变换应用于多个图像中的每个图像以提供多个图像中的每一者的自适应灰度强度图像的动作1430可以使用本文关于图像预处理模块310所披露的任一技术来实施。例如,动作1430可以包括接收多个经颜色校正的图像和标准灰度强度图像作为输入;在暗度阈值处对标准灰度强度图像进行阈值化以检测一个或多个斑点;过滤所检测到的一个或多个斑点的颜色、面积或形状中的至少一者,以便以高灵敏度和特异性定位并识别白血细胞核;输出来自其中含有白血细胞核的经颜色校正的图像的一个或多个像素的红色值R、绿色值G和蓝色值B作为白血细胞向量数据;输出多个合格背景像素的红色值R、绿色值G和蓝色值B作为背景向量数据,所述多个合格背景像素是根据对灰度强度比经颜色校正的图像中的暗度阈值更亮(或者灰度强度比非反转灰度强度图像的亮度阈值更暗)的像素进行随机采样而确定的;或者根据白血细胞向量数据和背景向量数据来确定自适应灰度投影向量。动作1430可以包括将自适应灰度变换应用于多个图像中的一者或多者或其部分,以提供一个或多个自适应灰度强度图像。在实施例中,将自适应灰度变换应用于多个图像可以包括输出多个自适应灰度强度图像,诸如输出到候选对象检测模块(或其中的阈值确定子模块)。
在实施例中,应用自适应灰度变换可以包括使用多个白血细胞像素、多个合格背景像素和回归(例如,使用本文所披露的任一回归技术)来确定并应用自适应灰度投影向量。在实施例中,应用自适应灰度变换可以包括计算自适应灰度投影向量并将其应用于多个经颜色校正的图像中的每一者,以有效地提供多个自适应灰度强度图像。应用自适应灰度变换可以包括接收多个经颜色校正的图像和标准灰度强度图像作为输入,并且确定其一个或多个部分(例如,窗口、FoV、图像块)的局部自适应灰度强度。动作1430可以包括使用局部自适应灰度强度来确定图像的自适应灰度变换。
动作1430可以包括通过属性(例如,颜色、面积或形状过滤器)来过滤潜在的WBC核斑点以识别WBC核,如本文所披露。通过属性过滤潜在的WBC核斑点可以包括以暗度阈值对标准灰度强度图像进行阈值化以检测出可能是WBC核的斑点。动作1430可以包括输出来自其中含有WBC核的输入经颜色校正的图像的一个或多个像素的红色值R、绿色值G和蓝色值B作为WBC向量数据。动作1430可以包括输出多个合格背景像素的红色值R、绿色值G和蓝色值B作为背景向量数据,所述多个合格背景像素是根据对灰度强度比经颜色校正的图像中的暗度阈值更亮的像素进行随机采样而确定的。动作1430可以包括根据WBC向量数据和背景向量数据来确定自适应灰度投影向量。动作1430可以包括输出多个自适应灰度强度图像和WBC检测掩模。
方法1400包括检测并识别多个经颜色校正的图像和自适应灰度强度图像中的一个或多个候选对象的动作1440。动作1440可以包括对自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象。动作1440可以包括将一个或多个检测到的候选对象集群成包括每集群一个或多个候选对象的集群,将指示一个或多个相邻候选对象是单一候选对象的检测到的候选对象的集群相关联(例如,聚合),并且输出一个或多个相邻候选对象的集群的位置,所述位置包括含有一个或多个相邻候选对象的集群的一个或多个图像块。动作1440可以包括针对每个单一候选对象识别具有最佳焦点的焦平面,以及针对每个单一候选对象确定具有最佳焦点的焦平面中的每个单一候选对象的属性。动作1440可以包括至少部分地基于一个或多个确定的属性来过滤每个单一候选对象。动作1440可以包括提取并输出各自含有一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块。
对自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象集群(斑点)检测掩模可以包括确定FoV或图像的一个或多个窗口的自适应阈值(例如,有别于自适应灰度图像的局部自适应灰度强度阈值)。例如,执行自适应阈值化操作可以包括使用本文关于图8A至图8G所披露的任一阈值化技术来确定自适应阈值。例如,执行自适应阈值化操作可以包括确定图像或其部分的自适应(灰度强度)阈值,并且应用自适应阈值以确定任何像素是否超过或达不到自适应阈值,此类像素指示感兴趣对象(例如,候选对象和/或斑点)的存在。
在实施例中,执行自适应阈值化操作可以包括接收一个或多个自适应灰度强度图像并且接收WBC检测掩模,所述WBC检测掩模包括关于多个视野和多个焦平面中的WBC的位置的信息。此外,执行自适应阈值化操作可以包括使用一个或多个自适应灰度强度图像和WBC检测掩模来确定自适应灰度强度图像中的一个或多个区域的局部自适应灰度强度阈值。例如,确定自适应灰度强度图像中的一个或多个区域的局部自适应灰度强度阈值可以包括通过局部估计至少一些窗口的噪声基底来确定自适应灰度图像中的多个视野和多个焦平面中的多个窗口中的至少一些窗口的局部自适应(灰度强度)阈值,所述至少一些窗口包括其中含有一个或多个候选对象的至少一些窗口。确定自适应阈值可以包括确定窗口、图像块或FoV的噪声基底并基于此选择自适应阈值。自适应阈值可以设置在噪声基底、或者高于或低于噪声基底的某个值(例如,噪声基底加上高于其的某个增量灰度强度)。
局部估计至少一些窗口的噪声基底可以使用上文关于图8A至图8G所披露的估计技术来实施。例如,局部估计至少一些窗口的噪声基底可以通过确定至少一些窗口中的每一者中的像素的中值灰度强度来实施。在实施例中,局部估计至少一些窗口的噪声基底可以包括确定自适应灰度强度图像中的至少一些窗口中的每一者中的中值像素灰度强度值而不考虑归因于WBC的存在而引起的中值像素灰度强度值的任何变化,诸如通过用全图像、全FoV或全窗口中值灰度强度值替换WBC的像素值。例如,确定自适应灰度强度图像中的至少一些窗口中的每一者中的中值像素灰度强度值可以包括接收记录多个视野中的一个视野的一个或多个识别窗口内的WBC的存在和位置的信息(例如,来自WBC检测掩模)。当WBC被指示为存在时,确定中值像素灰度强度值可以包括用从视野中的所有像素确定的替换中值灰度像素强度值来替换在视野的一个或多个识别窗口的特定区域中含有WBC的像素。在实施例中,确定自适应灰度强度图像中的至少一些窗口中的每一者中的中值像素灰度强度值可以进一步包括在WBC像素被替换中值灰度强度值替换之后,确定一个或多个识别窗口中的每一者中的所有像素的局部中值像素灰度强度值。这个中值灰度强度是噪声基底。噪声基底可以被设置为局部自适应(灰度强度)阈值,或者可以按灰度强度的某个增量进行修改以将自适应阈值设置成高于或低于噪声基底。在实施例中,确定自适应灰度强度图像中的至少一些窗口中的每一者中的中值像素灰度强度值可以进一步包:输出一个或多个识别窗口中的每一者的局部自适应阈值。窗口、图像块或FoV的局部自适应阈值可以基于其中的局部中值灰度强度值。例如,局部自适应阈值可以是局部中值灰度强度值(例如,噪声基底)或者高于其或低于其的某个值。
在实施例中,方法1400可以进一步包括将局部自适应阈值应用于自适应灰度强度图像的至少一些窗口中的每一者。在实施例中,将局部自适应阈值应用于多个视野的对应图像块包括确定对应图像块中的一个或多个候选对象的存在,一个或多个候选对象具有高于或低于局部自适应阈值的灰度强度,这取决于图像块的灰度强度是否被反转。例如,将局部自适应阈值应用于自适应灰度强度图像的至少一些窗口中的每一者并且确定对应图像块中的一个或多个候选对象的存在可以包括确定至少一些窗口中的任何像素是否具有低于(或高于,对于反转的灰度强度)局部自适应阈值的灰度强度值。具有低于(或高于,对于反转的灰度强度图像)局部自适应阈值的灰度强度值的像素可以指示所述像素处的感兴趣对象(例如,候选对象)的存在。例如,确定对应图像块中的一个或多个候选对象的存在可以包括确定具有低于局部自适应阈值的灰度强度的一个或多个候选对象的存在(如由与此相对应的像素的灰度强度值指示)。在实施例中,确定具有低于局部自适应阈值的灰度强度的一个或多个候选对象的存在可以包括基于自适应灰度强度图像的暗度阈值来确定每个图像块中的低于局部自适应阈值的一个或多个候选对象的存在(例如,低于暗度阈值的像素指示感兴趣对象)。在实施例中,所述方法可以包括将自适应灰度强度图像的亮度反转以产生多个反转的灰度强度图像;基于多个反转的灰度强度图像来确定局部自适应阈值;以及基于多个反转的灰度图像的亮度阈值来确定每个图像块中的高于局部自适应阈值的一个或多个候选对象的存在(例如,更亮像素指示感兴趣对象)。具有更高(或更低,这取决于灰度强度是否反转)值的像素可以输出为感兴趣对象(例如,候选对象)。
在实施例中,将自适应灰度变换应用于多个图像中的每一者以便为多个图像中的每一者提供自适应灰度强度图像;对自适应灰度强度图像执行自适应阈值化操作以及基于此输出一个或多个候选对象集群检测掩模(例如,检测掩模811,图8B)可以由斑点检测子模块执行,如本文所披露。
在实施例中,方法1400可以包括将一个或多个检测到的候选对象集群成包括每集群一个或多个候选对象的集群,并且将检测到的候选对象的集群相关联(例如,分组)以指示一个或多个相邻候选对象的集群是单一候选对象。在实施例中,方法1400可以包括输出一个或多个相邻候选对象(例如,斑点)的集群的位置,所述位置包括含有一个或多个相邻候选对象的集群的一个或多个图像块。在实施例中,将指示一个或多个相邻候选对象是单一候选对象的检测到的候选对象的集群相关联并输出一个或多个相邻候选对象的集群的位置可以包括确定多个视野中的哪个视野在其中包括一个或多个候选对象,并且至少部分地基于视野中的一个或多个候选对象的相邻候选对象之间的距离来将一个或多个候选对象集群,以提供由其中的相邻候选对象限定的候选对象集群。
在实施例中,针对每个单一候选对象识别具有最佳焦点的焦平面可以包括针对具有每个单一候选对象的每个图像块确定具有最高焦点得分的焦平面。在实施例中,所述方法可以进一步包括针对每个候选对象(自动地)选择并输出具有最高焦点得分的相应焦平面,诸如输出到子模块840(例如,用于斑点属性提取)。
在实施例中,方法1400可以包括针对每个单一候选对象确定具有最佳焦点的焦平面中的每个单一候选对象的属性。针对每个单一候选对象确定具有最佳焦点的焦平面中的每个单一候选对象的属性可以包括针对每个单一候选对象确定具有最佳焦点的焦平面中的每个单一候选对象的面积、圆度、形状或灰度强度中的一者或多者。在实施例中,确定每个单一候选对象的属性可以包括:基于其一个或多个确定的属性或特性来识别(例如,具有最高焦点得分的焦平面中的)一个或多个斑点。例如,方法1400可以包括针对每个单一候选对象来识别具有最高焦点得分的焦平面中的最暗斑点,并且将最暗斑点指定为感兴趣候选对象。在实施例中,方法1400可以包括针对每个单一候选对象识别具有最高焦点得分的焦平面中的最圆斑点,并且将最圆斑点指定为感兴趣候选对象。在实施例中,方法1400可以包括:输出每个单一候选对象的一个或多个确定的属性(在针对每个单一候选对象的具有最佳焦点的焦平面中),并且基于一个或多个确定的属性来将每个单一候选对象分类为伪影或候选对象。
在实施例中,方法1400包括至少部分地基于一个或多个确定的属性来过滤每个单一候选对象。例如,至少部分地基于一个或多个确定的属性来过滤每个单一候选对象可以包括使用伪影分类器,所述伪影分类器被配置成用于至少部分地基于一个或多个确定的属性来对每个单一候选对象进行评分。在实施例中,方法1400可以包括基于一个或多个确定的属性来确定每个单一候选对象的得分,如本文所披露。例如,确定得分可以包括基于对应于已知分析物的已知属性来对一个或多个确定的属性进行评分。已知属性可以被伪影过滤子模块(例如,子模块850)用作模板或标准,诸如以设定一个或多个属性的阈值得分。例如,至少部分地基于一个或多个确定的属性来过滤每个单一候选对象可以包括基于训练到存储器存储介质中并由至少一个处理器访问的基础事实对象的属性来确定阈值得分,并且基于确定的属性相对于阈值得分的得分来过滤每个单一候选对象。在实施例中,至少部分地基于一个或多个确定的属性来过滤每个单一候选对象可以包括丢弃具有低于阈值得分的得分的单一候选对象,并且保留具有高于阈值得分的得分的单一候选对象。所保留的单一候选对象的一个或多个图像块可以包括视野和焦平面的经颜色校正的红色、蓝色和绿色图像以及自适应灰度强度图像的含有至少一个单一候选对象的小区域。
在实施例中,方法1400可以包括提取并输出各自含有一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块。例如,提取并输出可以包括提取并输出被保留的(例如,基于具有高于阈值得分的得分的单一候选对象而保留的)单一候选对象的一个或多个图像块。在实施例中,提取并输出可以包括输出被保留的单一候选对象的一个或多个图像块,以便对其中的单一候选对象(例如,被保留的单一候选对象)进行特征提取。
在实施例中,方法1400可以包括至少部分地基于得分来过滤一个或多个候选对象,所述得分至少部分地基于一个或多个单一候选对象的一个或多个特性,并且针对每个过滤得到的候选对象输出一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块。方法1400可以包括从经颜色校正的图像块和自适应灰度强度图像块中提取一个或多个特征向量并输出一个或多个特征向量。在实施例中,从经颜色校正的图像块和自适应灰度强度图像块中提取一个或多个特征向量可以包括接收与多个图像中的一个或多个潜在分析物位置相对应的多个经颜色校正的图像块和多个自适应灰度强度图像块作为输入,并输出各自表示潜在分析物的一个或多个特征向量。在实施例中,从经颜色校正的图像块和自适应灰度强度图像块中提取一个或多个特征向量可以包括确定并提取与一个或多个潜在分析物位置相对应的多个经颜色校正的图像块和多个自适应灰度强度图像块中的一个或多个候选对象的一个或多个特征,并将与一个或多个候选对象相关联的一个或多个特征表示为一个或多个特征向量。
在实施例中,确定并提取一个或多个候选对象的一个或多个特征(例如,属性)包括从一个或多个候选对象提取一个或多个自动学习的特征。提取自动学习的特征可以包括至少部分地基于其中具有一个或多个基础事实对象的基础事实图像块来向机器学习模块教示一组权重。一个或多个基础事实对象可以包括分析物样本和/或伪影样本。机器学习模块包括卷积神经网络或任何其他机器学习模块。在实施例中,教示机器学习模块可以包括接受基础事实样本中的分析物的一个或多个注释图像以及基础事实样本中的伪影的一个或多个注释图像作为基础事实。在实施例中,至少部分地基于基础事实图像块来向机器学习模块教示一组权重可以包括使用数据扩充方案来扩充基础事实图像块。例如,数据扩充方案包括对基础事实图像块的红色、绿色、蓝色或灰度强度分量中的一者或多者的随机伽马校正,如本文所披露。
在实施例中,从经颜色校正的图像块和自适应灰度强度图像块中提取一个或多个特征向量可以包括至少部分地基于最佳焦点得分来确定含有一个或多个候选对象的多个经颜色校正的图像块和自适应灰度强度图像块中的每个图像块的最佳焦平面。最佳焦点得分可以包括来自其中具有候选对象的图像块中的多个焦平面的多个焦点得分的最高得分。从经颜色校正的图像块和自适应灰度强度图像块中提取一个或多个特征向量可以包括确定其中具有候选对象的每个图像块的所有多个焦平面上的焦点得分的标准偏差,并且至少部分地基于每个图像块中的多个焦平面之间的候选对象的最暗部分的红色偏移来确定每个图像块的红移得分。
方法1400可以包括将每个特征向量分类为对应于伪影或分析物。在实施例中,将每个特征向量分类为对应于伪影或分析物可以包括接收候选对象的一个或多个特征向量作为输入,并将一个或多个特征向量分类为对应于伪影或分析物中的一者。方法1400可以包括确定被分类为分析物的特征向量是高于还是低于与阳性诊断相关联的阈值水平。在实施例中,将每个特征向量分类为对应于伪影或分析物可以包括使用机器学习分类器,所述机器学习分类器输出指示一个或多个候选对象的一个或多个特征向量中的每一者对应于分析物的得分。
在实施例中,输出经颜色校正的图像块和自适应灰度强度图像块可以包括使用数据扩充方案来扩充经颜色校正的图像块和自适应灰度强度图像块,并且对一个或多个特征向量进行分类可以包括在与经颜色校正的图像块和自适应灰度强度图像块中的每一者的扩充版本相对应的特征向量上对机器学习分类器的输出进行平均。可以使用本文所使用的任何数据扩充方案,诸如经颜色校正的图像块或自适应灰度强度图像块的经颜色校正的红色、绿色、蓝色或自适应灰度强度分量中的一者或多者的随机伽马校正。
在实施例中,确定被分类为对应于分析物的特征向量是高于还是低于与阳性诊断相关联的阈值水平可以包括确定分析物是否存在并基于被分类为分析物(例如,寄生虫)的一个或多个特征向量的量而输出分析物存在或不存在的指示。在实施例中,本文的方法可以包括至少部分地基于候选对象的包括形状、大小或颜色中的一者或多者的一个或多个图像特性(例如,确定候选对象的属性)来识别一个或多个候选对象的种类。
在实施例中,本文所披露的方法可以包括利用显微镜记录一个或多个样本载玻片(诸如血液载玻片)的一个或多个图像。
在实施例中,本文所披露的方法可以使用包括一个或多个模块和/或子模块的至少一个存储器存储介质来实施,如本文所披露。例如,本文所披露的方法可以使用以下每一者来实施:存储在存储器存储介质中作为计算机可读程序的图像预处理模块、候选对象检测模块、特征提取模块、分类模块以及诊断模块,所述计算机可读程序可由可操作地耦合到至少一个存储器存储介质的至少一个处理器执行。在实施例中,候选对象检测模块可以包括候选对象集群(例如,斑点)检测子模块、候选对象(例如,斑点)集群子模块、最佳焦点检测子模块、候选对象集群属性提取子模块、伪影过滤子模块以及缩略图提取子模块,如上文所披露。在实施例中,候选对象检测集群子模块可以包括阈值确定子模块和斑点识别子模块,如关于图8A至图8G所披露。
在实施例中,一种用于确定血液中的分析物的存在和/或浓度的方法可以包括接收样本载玻片的多个图像,所述多个图像包括多个视野,每个视野包括样本载玻片的唯一x和y坐标;以及多个焦平面,每个焦平面具有样本载玻片的唯一z坐标。所述方法可以包括将白平衡变换应用于多个图像中的每一者,以有效地产生多个经颜色校正的图像。所述方法可以包括将自适应灰度变换应用于多个图像中的每一者,以便为多个图像中的每一者提供自适应灰度强度图像。所述方法可以包括检测并识别多个经颜色校正的图像和自适应灰度强度图像中的一个或多个候选对象,包括对自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象集群。执行自适应阈值化操作可以包括接收一个或多个自适应灰度强度图像并且接收白血细胞检测掩模,所述白血细胞检测掩模包括关于多个视野和多个焦平面中的白血细胞的位置的信息。执行自适应阈值化操作可以包括使用一个或多个自适应灰度强度图像和白血细胞检测掩模来确定自适应灰度强度图像中的一个或多个区域的局部自适应灰度强度阈值。确定局部自适应阈值可以包括通过局部估计至少一些窗口的噪声基底来确定自适应灰度图像中的多个视野和多个焦平面中的多个窗口中的至少一些窗口的局部自适应阈值,所述至少一些窗口包括其中含有一个或多个候选对象的至少一些窗口,所述局部估计是通过确定自适应灰度强度图像中的至少一些窗口中的每一者的中值灰度强度值而不考虑归因于白血细胞的存在而引起的中值像素灰度强度值的任何变化来进行的。确定自适应灰度强度图像中的至少一些窗口中的每一者的中值灰度强度值包括接收记录多个视野中的一个视野的一个或多个识别窗口内的白血细胞的存在和位置的信息。确定自适应灰度强度图像中的至少一些窗口中的每一者的中值灰度强度值包括:当白血细胞被指示为存在时,用从视野中的所有像素确定的替换中值灰度像素强度值来替换在视野的一个或多个识别窗口的特定区域中含有白血细胞的像素。确定自适应灰度强度图像中的至少一些窗口中的每一者中的中值灰度强度值包括在含有白血细胞的像素被替换中值灰度像素强度值替换之后,确定一个或多个识别窗口中的每一者中的所有像素的局部中值灰度强度值。确定自适应灰度强度图像中的至少一些窗口中的每一者中的中值灰度强度值包括基于其中的局部中值灰度强度值来输出一个或多个识别窗口中的每一者的局部自适应阈值。检测并识别多个经颜色校正的图像和自适应灰度强度图像中的一个或多个候选对象包括将指示一个或多个相邻候选对象是单一候选对象的检测到的候选对象的集群相关联,并且输出一个或多个相邻候选对象的集群的位置,所述位置包括含有一个或多个相邻候选对象的一个或多个图像块。检测并识别多个经颜色校正的图像和自适应灰度强度图像中的一个或多个候选对象包括针对每个单一候选对象识别具有最佳焦点的焦平面,以及针对每个单一候选对象确定具有最佳焦点的焦平面中的每个单一候选对象的属性。检测并识别多个经颜色校正的图像和自适应灰度强度图像中的一个或多个候选对象包括至少部分地基于确定的属性来过滤每个单一候选对象,并且提取并输出各自含有一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块。所述方法包括至少部分地基于得分来过滤一个或多个候选对象,所述得分至少部分地基于一个或多个候选对象的一个或多个特性,并且针对每个过滤得到的单一候选对象输出一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块。所述方法包括从经颜色校正的图像块和自适应灰度强度图像块中提取一个或多个特征向量,并输出一个或多个特征向量。所述方法包括将每个特征向量分类为对应于伪影或分析物。所述方法包括确定被分类为分析物的特征向量是高于还是低于与阳性诊断相关联的阈值水平。
本文所披露的任何动作、系统部件、模块或子模块可以与本文所披露的任何实施例一起使用。
阅读者将认识到,现有技术已经发展到系统各方面的硬件和软件实现方式之间几乎没有区别的程度;硬件或软件的使用通常是设计上的选择,代表了在成本与效率之间的权衡折衷(但并非总是如此,因为在某些情况下,选择硬件还是选择软件可能变得很重要)。阅读者将了解,存在可以实现在此描述的过程和/或系统和/或其他技术所借助的各种载具(例如,硬件、软件、和/或固件),并且优选的载具将随着其中部署了过程和/或系统和/或其他技术的背景而改变。例如,如果实施者确定速度和准确性最为重要,则可以选择主要的硬件和/或固件载具;替代性地,如果灵活性最为重要,那么实施者可以选择主要的软件实现方式;或者,再一次替代性地,实施者可以选择硬件、软件和/或固件的某种组合。因此,存在可以实现在此描述的过程和/或装置和/或其他技术所借助的若干可能的载具,这些载具中的任一者并不固有地优于其他者,原因在于,将利用的任何载具是一个选择,该选择取决于将在其中部署载具的背景以及实施者的特定关注(例如,速度、灵活性、或可预测性),这些背景以及特定关注中的任一者可能会改变。阅读者将认识到,实现方式的光学方面将典型地采用面向光学的硬件、软件、和或固件。
前述详细描述已经经由方框图、流程图和/或示例的使用而阐述了装置和/或过程的多个不同实施例。至此,这些框图、流程图和/或示例含有一个或多个功能和/或操作,本领域的技术人员将理解,可以通过广泛的硬件、软件、固件、或者实际上其任何组合来个别地和/或共同地实施在这些框图、流程图或者示例内的每个功能和/或操作。在实施例中,本文所述主题的几个部分可以经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式来实施。然而,本领域的技术人员将认识到,在此披露的多个实施例的一些方面可以全部或部分地作为在一个或多个计算机上运行的一个或多个计算机程序(例如,作为在一个或多个计算机系统上运行的一个或多个程序)、作为在一个或多个处理器上运行的一个或多个程序(例如,作为在一个或多个微处理器上运行的一个或多个程序)、作为固件、或者作为其实际上任何组合而被等效地实施于集成电路中,而且鉴于本披露内容,针对软件和或固件来设计电路和/或编写代码将合适地在本领域的技术人员的技能内。另外,阅读者将了解,本文描述的主题的机制能够以多种形式作为程序产品进行分布,而且本文描述的主题的说明性实施例适用,而不管用于实际上实施所述分布的信号承载介质的特定类型如何。承载信号介质的示例包括但不限于以下各项:可记录型介质,诸如软盘、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)、数字磁带和计算机存储器等;以及传输型介质,诸如数字和/或模拟通信介质(例如,光纤电缆、波导、有线通信链路、无线通信链路等)。
在一般意义上,本文描述的各种实施例可以通过各种类型的机电系统单独地和/或共同地实现,所述机电系统具有各种电气部件,诸如硬件、软件、固件或它们的几乎任何组合;以及范围广泛的可以施加机械力或运动的部件,诸如刚体、弹簧或扭转体、液压装置和电磁致动装置或它们的几乎任何组合。因此,如在此所使用的“机电系统”包括但不限于:可操作地耦合至换能器(例如,致动器、电机、压电晶体等)的电路系统、具有至少一个分立电路的电路系统、具有至少一个集成电路的电路系统、具有至少一个专用集成电路的电路系统、形成由计算机程序配置的通用计算装置(例如,由至少部分地执行本文所述的过程和/或装置的计算机程序配置的通用计算机,或者由至少部分地执行本文所述的过程和/或装置的计算机程序配置的微处理器)的电路系统、形成存储器装置(例如,随机存取存储器形式))的电路系统、形成通信装置(例如,调制解调器、通信交换机、或光电设备)的电路系统和任何非电子的类似物,诸如光学或其他类似物。本领域的技术人员还将认识到,机电系统的示例包括但不限于各种消费电气系统、以及其他系统,诸如机动化交通系统、工厂自动化系统、安全系统和通信/计算系统。本领域的技术人员将认识到,如本文所用,机电不一定限于具有电致动和机械致动两者的系统,除非上下文另有规定。
在一般性意义上,本文所述的可以通过广泛范围的硬件、软件、固件、或其任何组合来单独地和/或共同地实现的不同方面可以看作由不同类型的“电路系统”组成。因此,如本文所用,“电路系统”包括但不限于具有至少一个分立电路的电路系统、具有至少一个集成电路的电路系统、具有至少一个专用集成电路的电路系统、形成由计算机程序配置的计算装置(例如,由至少部分地执行本文所述的过程和/或装置的计算机程序配置的通用计算机,或者由至少部分地执行本文所述的过程和/或装置的计算机程序配置的微处理器)的电路系统、形成存储器装置(例如,随机存取存储器形式)的电路系统、以及/或者形成通信装置(例如,调制解调器、通信交换机、或光电设备)的电路系统。本文描述的主题可以用模拟或者数字方式或者其某一组合来实施。
已经参考各种示例性实施例进行了本披露内容。然而,本领域技术人员将认识到,在不脱离本披露内容的范围的情况下可以对这些实施例进行改变和修改。例如,各种操作步骤以及用于执行操作步骤的部件可以根据具体应用或者考虑到与系统的操作相关联的任何数量的成本功能以替代的方式来实现,例如,步骤中的一个或多个可以被删除、修改或与其他步骤组合。
此外,如本领域技术人员将理解,本披露内容的原理(包括部件)可以被反映在计算机可读存储介质上的计算机程序产品中,该计算机可读存储介质具有体现在存储介质中的计算机可读程序代码手段。可以使用任何有形的非暂时性计算机可读存储介质,包括磁存储装置(硬盘、软盘等)、光存储装置(CD-ROM、DVD、蓝光光盘等)、闪存存储器和/或诸如此类。这些计算机程序指令可以被加载到通用计算机、专用计算机或其他可编程数据处理设备上以产生机器,使得在计算机或其他可编程数据处理设备上执行的指令创建实现指定功能的手段。这些计算机程序指令还可以被存储在计算机可读存储器中,该计算机可读存储器可以指导计算机或其他可编程数据处理设备以特定方式运行,使得存储在计算机可读存储器中的指令产生制造物品,包括实现指定功能的装置。计算机程序指令也可以被加载到计算机或其他可编程数据处理设备上,以使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的过程,使得在计算机或其他可编程设备上执行的指令提供用于实现指定功能的步骤。
在实施例中,本文所披露的打印系统可以按特定方式集成使得打印系统作为专门为打印(例如,三维打印)的功能而配置的独特系统来操作,并且打印系统的任何相关联的计算装置作为用于所要求保护的系统的特定用途的计算机,而不是通用计算机来操作。在实施例中,打印系统的至少一个相关联的计算装置作为用于所要求保护的系统的特定用途的计算机,而不是通用计算机来操作。在实施例中,打印系统的至少一个相关联的计算装置与特定的ROM硬连线以指导至少一个计算装置。在实施例中,本领域技术人员认识到,打印装置和打印系统至少在三维打印的技术领域中实现了改进。
本文所述的部件(例如,步骤)、装置和对象以及伴随它们的讨论被用作示例以使概念清楚。因此,如本文所用,所阐述的具体示例以及所伴随的讨论旨在表示这些示例更一般的类别。一般来说,本文中任何特定示例的使用也旨在代表其类别,并且不应将不包括此类特定部件(例如,步骤)、装置和对象视为表示期望限制。
关于本文中使用基本上任何复数和/或单数术语,阅读者可以在上下文和/或应用适当的情况下从复数转变为单数和/或从单数转变为复数。为了清楚起见,多个不同单数/复数置换在本文中未明确阐述。
本文描述的主题有时说明不同的其他部件内含有的不同部件或者与不同的其他部件连接的不同部件。应当理解,这些所描绘的架构仅仅是示例性的,而且实际上可以实施实现相同功能性的许多其他架构。在概念的意义上,用于实现相同功能的任何部件布置都被有效地“关联”,以实现期望的功能。因此,在本文中结合以实现特定功能的任何两个部件可以被看作彼此“关联”以实现期望的功能,而不论架构或中间部件是怎样的。同样地,如此关联的任何两个部件也可以被看作是彼此“可操作地连接”或“可操作地耦合”以实现期望的功能,并且能够如此关联的任何两个部件也可以被看作是彼此“可操作地耦合”以实现期望的功能。可操作地可耦合的具体示例包括(但不限于)物理地可配合的和/或物理地进行交互的部件,和/或可无线地交互的和/或无线地进行交互的部件,和/或逻辑地进行交互和/或可逻辑地交互的部件。
在一些情况下,一个或多个部件在本文中可以称为“被配置成用于”。阅读者将认识到“被配置成用于”通常可以包含活动状态部件和/或非活动状态部件和/或备用状态部件,除非上下文另有要求。
虽然已示出并且描述了在本文中描述的本主题的特定方面,但本领域的技术人员将明白,基于本文中的教导内容,在不脱离在本文中描述的主题及其更广方面的情况下可以做出改变以及修改,并且因此,所附权利要求将在其范围内涵盖处于在本文中描述的此主题真正的精神以及范围内的所有这些改变以及修改。此外,应理解的是,本发明由所附权利要求限定。一般来说,本文中特别是在所附权利要求(例如,所附权利要求的主体)中使用的术语通常作为“开放”术语(例如,术语“包括”应被解释为“包括但不限于”,术语“具有”应被解释为“至少具有”,术语“包含”应被解释为“包含但不限于”等)。本领域内的人员将进一步理解,如果所介绍的权利要求叙述的特定数字是有意图的,那么将在所述权利要求中明确地叙述此意图,并且在不存在此叙述的情况下,不存在此意图。例如,为了帮助理解,以下所附权利要求可以包含引入性短语“至少一个”和“一个或多个”的使用以引入权利要求陈述。然而,这种短语的使用不应被解释为暗示由不定冠词“一种”或“一个”引入的权利要求陈述将包含这种引入的权利要求陈述的任何特定权利要求限制为仅包含一个这种陈述的发明,即使当同一权利要求包括引入性短语“一个或多个”或“至少一个”以及不定冠词诸如“一种”或“一个”(例如,“一种”和/或“一个”应典型地被解释为表示“至少一个”或“一个或多个”)时也是如此;这同样适用于用来介绍权利要求陈述的定冠词的用法。另外,即使具体数量的引入的权利要求陈述确实被明确陈述,这种陈述应典型地被解释为表示至少陈述的数量(例如,不带其他修饰语地仅陈述“两个陈述项”典型地表示至少两个陈述项,或者两个或更多个陈述项)。此外,在使用类似于“A、B和C等中的至少一者”的惯例的那些情况下,一般来说,这种结构旨在表示惯用法(例如,“具有A、B和C中的至少一者的系统”将包括但不限于系统仅具有A、仅具有B、仅具有C、同时具有A和B、同时具有A和C、同时具有B和C和/或同时具有A、B和C等的系统)。在使用类似于“A、B或C等中的至少一者”的惯用法的那些情况下,一般来说这种结构旨在表示惯用法(例如,“具有A、B或C中的至少一者的系统”将包括但不限于仅具有A、仅具有B、仅具有C、同时具有A和B、同时具有A和C、同时具有B和C和/或同时具有A、B和C等的系统)。无论是在说明书、权利要求还是附图中,呈现两个或更多个替代性术语的几乎任何分隔性词语和/或短语都应当被理解为考虑到了包括术语中的一者、术语中的任一者或这两个术语的可能性。例如,短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。
关于所附权利要求,其中所陈述的操作一般可以按照任何顺序执行。这些替代排序的示例可以包含重叠的、交错的、中断的、重排序的、递增的、预备的、补充的、同时的、颠倒的或者其他不同的排序,除非上下文另有规定。相对于上下文,甚至术语如“响应于”、“与......有关”或其他过去时态的形容词通常不意图排除此类变体,除非上下文另有规定。
虽然已在本文披露各种方法和实施例,但本文所披露的各个方面以及实施例是为了说明的目的,而不旨在是限制性的,其中真实的范围和精神由所附权利要求来指示。

Claims (86)

1.一种用于确定血液中的分析物的存在的系统,所述系统包括:
至少一个存储器存储介质,所述至少一个存储器存储介质被配置成用于存储样本载玻片的多个图像,所述多个图像包括:
多个视野,每个视野包括所述样本载玻片的唯一x和y坐标;以及
多个焦平面,每个焦平面具有所述样本载玻片的唯一z坐标;
至少一个处理器,所述至少一个处理器可操作地耦合到所述至少一个存储器存储介质,所述至少一个处理器被配置成用于:
确定白平衡变换并将其应用于所述多个图像中的每一者,以有效地产生多个经颜色校正的图像;
确定自适应灰度变换并将其应用于所述多个图像中的每一者,以便为所述多个图像中的每一者提供自适应灰度强度图像;
检测并识别所述经颜色校正的图像和所述自适应灰度强度图像中的一个或多个候选对象,并且所述至少一个处理器进一步被配置成用于:
对所述自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象;
将所述一个或多个检测到的候选对象集群成包括每集群一个或多个相邻候选对象的集群,并将指示一个或多个相邻候选对象的集群是单一候选对象的检测到的候选对象的集群相关联,并且输出所述一个或多个相邻候选对象的集群的位置,所述位置包括含有所述一个或多个相邻候选对象的一个或多个图像块;
针对每个单一候选对象定位具有最佳焦点的所述焦平面;
针对每个单一候选对象确定具有所述最佳焦点的所述焦平面中的每个单一候选对象的属性;
至少部分地基于一个或多个确定的属性来过滤每个单一候选对象;以及
提取并输出各自含有所述一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块。
2.如权利要求1所述的系统,进一步包括:
阈值确定模块,所述阈值确定模块被配置成用于确定所述自适应灰度强度图像中的一个或多个区域的局部自适应灰度强度阈值并且可操作地耦合到:
图像预处理模块,所述图像预处理模块被配置成用于从所述阈值确定模块接收一个或多个自适应灰度强度图像;以及
白血细胞检测模块,所述白血细胞检测模块被配置成用于从所述阈值确定模块接收白血细胞检测掩模,所述白血细胞检测掩模包括关于所述多个视野和所述多个焦平面中的白血细胞的位置的信息。
3.如权利要求2所述的系统,其中,所述阈值确定模块被配置成用于:
通过局部估计至少一些窗口的噪声基底来确定所述自适应灰度图像中的所述多个视野和所述多个焦平面中的多个窗口中的至少一些窗口的所述局部自适应灰度强度阈值,所述至少一些窗口包括其中含有一个或多个候选对象的至少一些窗口。
4.如权利要求3所述的系统,其中,所述阈值确定模块被配置成用于通过确定所述自适应灰度强度图像中的至少一些窗口中的每一者中的中值灰度强度值而不考虑归因于白血细胞的存在而引起的所述中值灰度强度值的任何变化来局部估计所述窗口中的至少一些窗口的所述噪声基底,以产生所述至少一些窗口中的每一者中的所述局部自适应阈值。
5.如权利要求4所述的系统,其中,所述阈值确定模块被配置成用于:
接收记录所述多个视野中的一个视野的一个或多个识别窗口内的白血细胞的存在和位置的信息;
当白血细胞被指示为存在时,用从所述视野中的所有像素确定的替换中值灰度强度值替换在所述视野的所述一个或多个识别窗口的特定区域中含有所述白血细胞的像素;
在用所述替换中值灰度强度值替换含有白血细胞的像素之后,确定所述一个或多个识别窗口中的每一者中的所有像素的局部中值灰度强度值;以及
基于其中的所述局部中值灰度强度值来输出所述一个或多个识别窗口中的每一者的所述局部自适应阈值。
6.如权利要求5所述的系统,其中,所述阈值确定子模块可操作地耦合到斑点识别子模块,所述斑点识别子模块被配置成用于接收所述局部自适应阈值并将其应用于与所述至少一些窗口相对应的所述自适应灰度强度图像中的每一者。
7.如权利要求2所述的系统,进一步包括斑点识别子模块,所述斑点识别子模块可操作地耦合到所述阈值确定子模块,所述斑点识别子模块被配置成用于从所述阈值确定子模块接收一个或多个局部自适应阈值。
8.如权利要求7所述的系统,其中,所述斑点识别子模块被配置成用于将所述局部自适应阈值应用于所述多个视野的对应图像块并且确定所述对应图像块中的一个或多个候选对象的存在,所述一个或多个候选对象具有低于所述局部自适应阈值的灰度强度。
9.如权利要求7所述的系统,其中,所述斑点识别子模块被配置成用于基于其暗度阈值而确定每个图像块中的低于所述局部自适应阈值的所述一个或多个候选对象的存在。
10.如权利要求1所述的系统,进一步包括斑点检测子模块,其中所述斑点检测子模块被配置成用于:
将所述自适应灰度强度图像的亮度反转,以产生多个反转的灰度强度图像;
基于所述多个反转的灰度强度图像来确定所述局部自适应灰度强度阈值;以及
基于所述多个反转的灰度强度图像的亮度阈值来确定每个图像块中的高于所述局部自适应阈值的所述一个或多个候选对象的存在。
11.如权利要求1所述的系统,其中,所述至少一个处理器进一步被配置成用于针对具有每个单一候选对象的每个图像块确定具有最高焦点得分的所述焦平面。
12.如权利要求11所述的系统,其中,所述至少一个处理器被配置成用于针对每个候选对象选择并输出具有所述最高焦点得分的相应焦平面。
13.如权利要求11所述的系统,其中,所述至少一个处理器被配置成用于针对每个单一候选对象识别具有所述最高焦点得分的所述焦平面中的最暗斑点,并将所述最暗斑点指定为感兴趣候选对象。
14.如权利要求11所述的系统,其中,所述至少一个处理器被配置成用于针对每个单一候选对象识别具有所述最高焦点得分的所述焦平面中的最圆斑点,并将所述最圆斑点指定为感兴趣候选对象。
15.如权利要求1所述的系统,其中,所述至少一个处理器被配置成用于确定每个单一候选对象的面积、圆度或灰度强度中的一者或多者。
16.如权利要求1所述的系统,其中,所述至少一个处理器被配置成用于针对每个单一候选对象输出具有所述最佳焦点的所述焦平面中的每个单一候选对象的确定的属性,以基于所述一个或多个确定的属性来将每个单一候选对象分类为伪影或候选对象。
17.如权利要求16所述的系统,其中,所述至少一个处理器进一步被配置为或包括伪影分类器,所述伪影分类器被配置成用于至少部分地基于一个或多个确定的属性对每个单一候选对象进行评分。
18.如权利要求17所述的系统,其中,所述至少一个处理器被配置成用于基于所述确定的属性中的一者或多者来确定候选对象的得分。
19.如权利要求18所述的系统,其中,所述至少一个处理器被配置成用于丢弃具有低于阈值得分的得分的单一候选对象,并且保留具有高于所述阈值得分的得分的每个单一候选对象。
20.如权利要求19所述的系统,其中,所述至少一个处理器被配置成用于提取并输出被保留的每个单一候选对象的一个或多个图像块。
21.如权利要求20所述的系统,其中,被保留的每个单一候选对象的所述一个或多个图像块包括视野和焦平面的经颜色校正的红色、蓝色和绿色图像以及自适应灰度强度图像的含有至少一个单一候选对象的小区域。
22.如权利要求21所述的系统,其中,所述至少一个处理器被配置成用于输出被保留的每个单一候选对象的所述一个或多个图像块,以便对被保留的每个单一候选对象进行特征提取。
23.如权利要求1所述的系统,其中,所述至少一个处理器被配置成用于:
确定白平衡变换并将其应用于所述多个图像中的每一者,以有效地产生多个经颜色校正的图像;
确定自适应灰度变换并将其应用于所述多个图像中的每一者,以便为所述多个图像中的每一者提供自适应灰度强度图像;
至少部分地基于所述一个或多个候选对象的一个或多个特性对所述一个或多个图像块中的所述一个或多个候选对象进行提取和评分,至少部分地基于所述得分来过滤所述一个或多个候选对象,并且针对每个过滤得到的候选对象输出一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块;
从所述经颜色校正的图像块和所述自适应灰度强度图像块中提取一个或多个特征向量,并输出所述一个或多个特征向量;
将所述一个或多个特征向量中的每一者分类为对应于伪影或分析物;以及
确定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
24.如权利要求23所述的系统,其中,所述至少一个存储器存储介质包括存储在其中作为可由所述至少一个处理器执行的计算机可读程序的图像预处理模块、候选对象检测模块、特征提取模块、分类模块以及诊断模块。
25.一种用于确定血液中的分析物的存在的方法,所述方法包括:
接收样本载玻片的多个图像,所述多个图像包括:
多个视野,每个视野包括所述样本载玻片的唯一x和y坐标;以及
多个焦平面,每个焦平面具有所述样本载玻片的唯一z坐标;
将白平衡变换应用于所述多个图像中的每一者,以有效地产生多个经颜色校正的图像;
将自适应灰度变换应用于所述多个图像中的每一者,以便为所述多个图像中的每一者提供自适应灰度强度图像;
检测并识别所述多个经颜色校正的图像和所述自适应灰度强度图像中的一个或多个候选对象,包括:
对所述自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象;
将所述一个或多个检测到的候选对象集群成包括每集群一个或多个候选对象的集群,并将指示一个或多个相邻候选对象是单一候选对象的检测到的候选对象的集群相关联,并且输出所述一个或多个相邻候选对象的集群的位置,所述位置包括含有所述一个或多个相邻候选对象的集群的一个或多个图像块;
针对每个单一候选对象识别具有最佳焦点的所述焦平面;
针对每个单一候选对象确定具有所述最佳焦点的所述焦平面中的每个单一候选对象的属性;
至少部分地基于一个或多个确定的属性来过滤每个单一候选对象;以及
提取并输出各自含有所述一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块。
26.如权利要求25所述的方法,其中,对所述自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象包括:
接收一个或多个自适应灰度强度图像并接收白血细胞检测掩模,所述白血细胞检测掩模包括关于所述多个视野和所述多个焦平面中的白血细胞的位置的信息;以及
使用所述一个或多个自适应灰度强度图像和所述白血细胞检测掩模来确定所述自适应灰度强度图像中的一个或多个区域的局部自适应灰度强度阈值。
27.如权利要求26所述的方法,其中,确定所述自适应灰度强度图像中的一个或多个区域的局部自适应灰度强度阈值包括通过局部估计至少一些窗口的噪声基底来确定所述自适应灰度图像中的所述多个视野和所述多个焦平面中的多个窗口中的至少一些窗口的所述局部自适应阈值,所述至少一些窗口包括其中含有一个或多个候选对象的至少一些窗口。
28.如权利要求27所述的方法,其中,局部估计所述窗口中的至少一些窗口的所述噪声基底包括确定所述自适应灰度强度图像中的所述至少一些窗口中的每一者中的中值灰度强度值而不考虑归因于白血细胞的存在而引起的所述中值灰度强度值的任何变化。
29.如权利要求28所述的方法,其中,确定所述自适应灰度强度图像中的所述至少一些窗口中的每一者中的中值灰度强度值包括:
接收记录所述多个视野中的一个视野的一个或多个识别窗口内的白血细胞的存在和位置的信息;
当白血细胞被指示为存在时,用从所述视野中的所有像素确定的替换中值灰度强度值替换在所述视野的所述一个或多个识别窗口的特定区域中含有所述白血细胞的像素;
在用所述替换中值灰度强度值替换含有白血细胞的像素之后,确定所述一个或多个识别窗口中的每一者中的所有像素的局部中值灰度强度值;以及
基于其中的所述局部中值灰度强度值来输出所述一个或多个识别窗口中的每一者的所述局部自适应阈值。
30.如权利要求29所述的方法,进一步包括将所述局部自适应阈值应用于所述自适应灰度强度图像的所述至少一些窗口中的每一者。
31.如权利要求26所述的方法,进一步包括将所述局部自适应阈值应用于所述多个视野的对应图像块并且确定所述对应图像块中的一个或多个候选对象的存在,所述一个或多个候选对象具有低于所述局部自适应阈值的灰度强度。
32.如权利要求31所述的方法,其中,确定所述对应图像块中的一个或多个候选对象的存在包括基于所述自适应灰度强度图像的暗度阈值来确定每个图像块中的低于所述局部自适应阈值的所述一个或多个候选对象的存在,所述一个或多个候选对象具有低于所述局部自适应阈值的灰度强度。
33.如权利要求31所述的方法,进一步包括:
将所述自适应灰度强度图像的亮度反转,以产生多个反转的灰度强度图像;
基于所述多个反转的灰度强度图像来确定所述局部自适应阈值;以及
基于所述多个反转的灰度图像的亮度阈值来确定每个图像块中的高于所述局部自适应阈值的所述一个或多个候选对象的存在。
34.如权利要求25所述的方法,其中,针对每个单一候选对象识别具有最佳焦点的所述焦平面包括针对具有每个单一候选对象的每个图像块确定具有最高焦点得分的所述焦平面。
35.如权利要求34所述的方法,进一步包括针对每个候选对象选择并输出具有所述最高焦点得分的相应焦平面。
36.如权利要求34所述的方法,进一步包括针对每个单一候选对象识别具有所述最高焦点得分的所述焦平面中的最暗斑点,并将所述最暗斑点指定为感兴趣候选对象。
37.如权利要求34所述的方法,进一步包括针对每个单一候选对象识别具有所述最高焦点得分的所述焦平面中的最圆斑点,并将所述最圆斑点指定为感兴趣候选对象。
38.如权利要求25所述的方法,其中,针对每个单一候选对象确定具有最佳焦点的所述焦平面中的每个单一候选对象的属性包括针对每个单一候选对象确定具有所述最佳焦点的所述焦平面中的每个单一候选对象的面积、圆度、形状或灰度强度中的一者或多者。
39.如权利要求25所述的方法,进一步包括针对每个单一候选对象输出具有所述最佳焦点的所述焦平面中的每个单一候选对象的一个或多个确定的属性,并且基于所述一个或多个确定的属性来将每个单一候选对象分类为伪影或候选对象。
40.如权利要求39所述的方法,其中,至少部分地基于一个或多个确定的属性来过滤每个单一候选对象包括使用伪影分类器,所述伪影分类器被配置成用于至少部分地基于所述一个或多个确定的属性对每个单一候选对象进行评分。
41.如权利要求40所述的方法,进一步包括基于所述一个或多个确定的属性来确定每个单一候选对象的得分。
42.如权利要求41所述的方法,其中,确定得分包括基于对应于已知分析物的已知属性对所述一个或多个确定的属性进行评分。
43.如权利要求41所述的方法,其中,至少部分地基于一个或多个确定的属性来过滤每个单一候选对象包括丢弃具有低于阈值得分的得分的单一候选对象,并且保留具有高于所述阈值得分的得分的所述单一候选对象。
44.如权利要求43所述的方法,进一步包括提取并输出被保留的所述单一候选对象的一个或多个图像块。
45.如权利要求44所述的方法,其中,被保留的所述单一候选对象的所述一个或多个图像块包括视野和焦平面的经颜色校正的红色、蓝色和绿色图像以及自适应灰度强度图像的含有至少一个单一候选对象的小区域。
46.如权利要求43所述的方法,进一步包括输出被保留的所述单一候选对象的所述一个或多个图像块,以便对被保留的所述单一候选对象进行特征提取。
47.如权利要求25所述的方法,进一步包括:
至少部分地基于得分来过滤所述一个或多个候选对象,所述得分至少部分地基于所述一个或多个候选对象的一个或多个特性,并且针对每个过滤得到的候选对象输出一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块;
从所述经颜色校正的图像块和所述自适应灰度强度图像块中提取一个或多个特征向量,并输出所述一个或多个特征向量;
将每个特征向量分类为对应于伪影或分析物;以及
确定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
48.如权利要求47所述的方法,其中,使用至少一个存储器存储介质来实施所述方法,所述至少一个存储器存储介质包括存储在其中作为计算机可读程序的图像预处理模块、候选对象检测模块、特征提取模块、分类模块和诊断模块中的每一者,所述计算机可读程序可由可操作地耦合到所述至少一个存储器存储介质的至少一个处理器执行。
49.如权利要求48所述的方法,其中,所述候选对象检测模块包括候选对象集群检测模块、候选对象集群模块、最佳焦点检测模块、候选对象集群属性提取模块、伪影过滤模块以及缩略图提取模块。
50.如权利要求49所述的方法,其中,所述候选对象集群检测模块包括强度阈值确定子模块和斑点识别子模块,所述斑点识别子模块被配置成用于识别具有与阈值灰度强度不同的灰度强度的候选对象集群。
51.如权利要求47所述的方法,其中,将白平衡变换应用于所述多个图像包括使用所述多个图像中的多个最亮像素。
52.如权利要求51所述的方法,其中,应用白平衡变换包括确定所述白平衡变换,确定所述白平衡变换包括:
从随机选择的所述多个图像的子集中选择多个最亮像素,使得其中存在清晰像素的概率基本上为1;
计算并应用所述多个图像的所述子集中的每个像素的标准灰度强度,以确定所述多个图像的所述子集中的每一者中的所述多个最亮像素;
确定所述多个最亮像素中的每一者的红色值R、绿色值G和蓝色值B;
计算由所述多个最亮像素的平均颜色限定的平均颜色向量;
确定白色向量;
确定与所述平均颜色向量和所述白色向量都垂直并根据其交叉积计算出的轴向量;以及
确定从所述轴向量以及所述平均颜色向量与所述白色向量之间的角度计算的仿射变换矩阵。
53.如权利要求52所述的方法,其中,应用所述白平衡变换包括将所述白平衡变换应用于由其中的所述红色值R、所述绿色值G和所述蓝色值B限定的所述多个图像的每个像素的颜色向量,并基于此输出所述经颜色校正的图像。
54.如权利要求47所述的方法,其中,将自适应灰度变换应用于所述多个图像包括输出多个自适应灰度强度图像。
55.如权利要求54所述的方法,其中,应用自适应灰度变换包括:
接收多个经颜色校正的图像和标准灰度强度图像作为输入;
以暗度阈值对所述标准灰度强度图像进行阈值化以检测一个或多个斑点;
过滤所检测到的一个或多个斑点的颜色、面积或形状中的至少一者,以便以高灵敏度和特异性定位并识别白血细胞核;
输出来自其中含有白血细胞核的所述经颜色校正的图像的一个或多个像素的红色值R、绿色值G和蓝色值B作为白血细胞向量数据;
输出多个合格背景像素的红色值R、绿色值G和蓝色值B作为背景向量数据,所述多个合格背景像素是根据对灰度强度比所述经颜色校正的图像中的所述暗度阈值更亮的像素进行随机采样而确定的;以及
根据所述白血细胞向量数据和所述背景向量数据来确定自适应灰度投影向量。
56.如权利要求54所述的方法,其中,应用自适应灰度变换包括使用多个白血细胞像素、多个合格背景像素和回归来确定并应用自适应灰度投影向量。
57.如权利要求56所述的方法,其中,使用回归包括使用脊回归、套索回归、主成分回归或偏最小二乘回归中的一者或多者。
58.如权利要求54所述的方法,其中,应用自适应灰度变换包括计算自适应灰度投影向量并将其应用于所述多个经颜色校正的图像中的每一者,以有效地提供多个自适应灰度强度图像。
59.如权利要求54所述的方法,其中,应用自适应灰度变换包括使用二阶或更高阶多项式预测变量矩阵来计算并应用多项式回归。
60.如权利要求54所述的方法,其中,应用自适应灰度变换包括使用具有红色值R、绿色值G和蓝色值B的有理函数的预测变量矩阵来计算并应用多项式回归。
61.如权利要求47所述的方法,其中,检测并识别一个或多个候选对象包括基于多个经颜色校正的图像或多个自适应灰度强度图像中的一者或多者来确定一个或多个潜在分析物位置。
62.如权利要求47所述的方法,其中,将指示一个或多个相邻候选对象是单一候选对象的检测到的候选对象的集群相关联并输出所述一个或多个相邻候选对象的集群的位置包括:
确定所述多个视野中的哪个视野在其中包括一个或多个候选对象;
至少部分地基于视野中的所述一个或多个候选对象的相邻候选对象之间的距离来将一个或多个候选对象集群,以提供由其中的所述相邻候选对象限定的候选对象集群。
63.如权利要求47所述的方法,其中,至少部分地基于一个或多个确定的属性来过滤每个单一候选对象包括基于训练到存储器存储介质中并由至少一个处理器访问的基础事实对象的属性来确定阈值得分。
64.如权利要求47所述的方法,其中,从所述经颜色校正的图像块和所述自适应灰度强度图像块中提取所述一个或多个特征向量包括:
接收与所述多个图像中的一个或多个潜在分析物位置相对应的多个经颜色校正的图像块和多个自适应灰度强度图像块作为输入;以及
输出一个或多个特征向量,每个特征向量表示潜在分析物。
65.如权利要求64所述的方法,其中,从所述经颜色校正的图像块和所述自适应灰度强度图像块中提取所述一个或多个特征向量包括:
确定并提取与所述一个或多个潜在分析物位置相对应的所述多个经颜色校正的图像块和所述多个自适应灰度强度图像块中的一个或多个候选对象的一个或多个特征;以及
将与所述一个或多个候选对象相关联的一个或多个特征表示为一个或多个特征向量。
66.如权利要求65所述的方法,其中,确定并提取所述一个或多个候选对象的一个或多个特征包括提取一个或多个自动学习的特征。
67.如权利要求66所述的方法,其中,提取所述自动学习的特征包括至少部分地基于其中具有一个或多个基础事实对象的基础事实图像块来向机器学习模块教示一组权重,其中所述一个或多个基础事实对象包括所述分析物的样本和伪影样本。
68.如权利要求67所述的方法,其中,所述机器学习模块包括卷积神经网络。
69.如权利要求68所述的方法,其中,至少部分地基于基础事实图像块来向所述机器学习模块教示一组权重包括使用数据扩充方案来扩充所述基础事实图像块。
70.如权利要求69所述的方法,其中,所述数据扩充方案包括对所述基础事实图像块的红色、绿色、蓝色或灰度强度分量中的一者或多者的随机伽马校正。
71.如权利要求64所述的方法,其中,从所述经颜色校正的图像块和所述自适应灰度强度图像块中提取所述一个或多个特征向量包括:
至少部分地基于最佳焦点得分来确定含有所述一个或多个候选对象的多个经颜色校正的图像块和自适应灰度强度图像块中的每个图像块的最佳焦平面,所述最佳焦点得分包括来自其中具有候选对象的图像块中的所述多个焦平面的多个焦点得分的最高得分;
确定其中具有所述候选对象的每个图像块的所有所述多个焦平面上的焦点得分的标准偏差;以及
至少部分地基于每个图像块中的所述多个焦平面之间的候选对象的最暗部分的红色偏移来确定每个图像块的红移得分。
72.如权利要求47所述的方法,其中,将每个特征向量分类为对应于伪影或分析物包括接收候选对象的一个或多个特征向量作为输入,并将所述一个或多个特征向量分类为对应于所述伪影或所述分析物中的一者。
73.如权利要求72所述的方法,其中,将每个特征向量分类为对应于伪影或分析物包括使用机器学习分类器,所述机器学习分类器输出指示所述一个或多个候选对象的所述一个或多个特征向量中的每一者对应于分析物的得分。
74.如权利要求73所述的方法,其中,所述经颜色校正的图像块和所述自适应灰度强度图像块的所述输出包括使用数据扩充方案来扩充所述经颜色校正的图像块和所述自适应灰度强度图像块,并且对所述一个或多个特征向量进行分类包括在与所述经颜色校正的图像块和所述自适应灰度强度图像块中的每一者的扩充版本相对应的所述特征向量上对所述机器学习分类器的输出进行平均。
75.如权利要求74所述的方法,其中,所述数据扩充方案包括对所述经颜色校正的图像块或所述自适应灰度强度图像块的经颜色校正的红色、绿色、蓝色或自适应灰度强度分量中的一者或多者的随机伽马校正。
76.如权利要求47所述的方法,进一步包括接受基础事实样本中的分析物的一个或多个注释图像以及基础事实样本中的伪影的一个或多个注释图像作为基础事实。
77.如权利要求76所述的方法,其中,接受基础事实样本中的所述分析物的一个或多个注释图像以及基础事实样本中的伪影的一个或多个注释图像作为基础事实包括至少部分地基于一个或多个学习的基础事实样本图像块来向机器学习分类器教示一组权重。
78.如权利要求77所述的方法,其中,所述机器学习分类器包括卷积神经网络,并且至少部分地基于所述一个或多个基础事实样本图像块来向所述机器学习分类器教示一组权重包括将基础事实样本中的所述分析物的所述一个或多个注释图像以及基础事实样本中的伪影的所述一个或多个注释图像加载到所述卷积神经网络中。
79.如权利要求78所述的方法,其中,至少部分地基于所述一个或多个基础事实样本图像块来向所述机器学习分类器教示一组权重包括使用数据扩充方案来扩充所述一个或多个基础事实样本图像块。
80.如权利要求79所述的方法,其中,所述数据扩充方案包括对所述一个或多个基础事实样本图像块的红色、绿色、蓝色或灰度强度分量中的一者或多者的随机伽马校正。
81.如权利要求47所述的方法,其中,确定被分类为对应于分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平包括确定所述分析物是否存在并基于被分类为所述分析物的一个或多个特征向量的量而给出所述分析物存在或不存在的指示。
82.如权利要求47所述的方法,进一步包括至少部分地基于包括形状、大小或颜色中的一者或多者的一个或多个图像特性来识别一个或多个候选对象的种类。
83.如权利要求47所述的方法,其中,所述分析物包括寄生虫。
84.如权利要求83所述的方法,其中,所述寄生虫包括疟疾寄生虫。
85.如权利要求47所述的方法,进一步包括用显微镜记录一个或多个样本载玻片的一个或多个图像。
86.一种用于确定血液中的分析物的存在的方法,所述方法包括:
接收样本载玻片的多个图像,所述多个图像包括:
多个视野,每个视野包括所述样本载玻片的唯一x和y坐标;以及
多个焦平面,每个焦平面具有所述样本载玻片的唯一z坐标;
将白平衡变换应用于所述多个图像中的每一者,以有效地产生多个经颜色校正的图像;以及
将自适应灰度变换应用于所述多个图像中的每一者,以便为所述多个图像中的每一者提供自适应灰度强度图像;
检测并识别所述多个经颜色校正的图像和所述自适应灰度强度图像中的一个或多个候选对象,包括:
对所述自适应灰度强度图像执行自适应阈值化操作并基于此输出一个或多个候选对象集群,包括:
接收一个或多个自适应灰度强度图像并接收白血细胞检测掩模,所述白血细胞检测掩模包括关于所述多个视野和所述多个焦平面中的白血细胞的位置的信息;
使用所述一个或多个自适应灰度强度图像和所述白血细胞检测掩模来确定所述自适应灰度强度图像中的一个或多个区域的局部自适应灰度强度阈值,包括:
通过局部估计至少一些窗口的噪声基底来确定所述自适应灰度图像中的所述多个视野和所述多个焦平面中的多个窗口中的至少一些窗口的局部自适应阈值,所述至少一些窗口包括其中含有一个或多个候选对象的至少一些窗口,所述局部估计是通过确定所述自适应灰度强度图像中的所述至少一些窗口中的每一者中的中值灰度强度值而不考虑归因于白血细胞的存在而引起的所述中值灰度强度值的任何变化来进行的;
其中确定所述自适应灰度强度图像中的所述至少一些窗口中的每一者中的中值灰度强度值包括:
接收记录所述多个视野中的一个视野的一个或多个识别窗口内的白血细胞的存在和位置的信息;
当白血细胞被指示为存在时,用从所述视野中的所有像素确定的替换中值灰度强度值替换在所述视野的所述一个或多个识别窗口的特定区域中含有所述白血细胞的像素;
在用所述替换中值灰度强度值替换含有白血细胞的像素之后,确定所述一个或多个识别窗口中的每一者中的所有像素的局部中值灰度强度值;以及
基于其中的所述局部中值灰度强度值来输出所述一个或多个识别窗口中的每一者的所述局部自适应阈值;
将指示一个或多个相邻候选对象是单一候选对象的检测到的候选对象的集群相关联,并且输出所述一个或多个相邻候选对象的集群的位置,所述位置包括含有所述一个或多个相邻候选对象的一个或多个图像块;
针对每个单一候选对象识别具有最佳焦点的所述焦平面;
针对每个单一候选对象确定具有所述最佳焦点的所述焦平面中的每个单一候选对象的属性;
至少部分地基于一个或多个确定的属性来过滤每个单一候选对象;以及
提取并输出各自含有所述一个或多个候选对象中的至少一个过滤得到的单一候选对象的一个或多个图像块,
至少部分地基于得分来过滤所述一个或多个候选对象,所述得分至少部分地基于所述一个或多个候选对象的一个或多个特性,并且针对每个过滤得到的单一候选对象输出一个或多个经颜色校正的图像块和一个或多个自适应灰度强度图像块;
从所述经颜色校正的图像块和所述自适应灰度强度图像块中提取一个或多个特征向量,并输出所述一个或多个特征向量;
将每个特征向量分类为对应于伪影或分析物;以及
确定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
CN201880021008.2A 2017-02-15 2018-02-14 图像分析系统和相关方法 Active CN110462627B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/433,656 US10061972B2 (en) 2015-05-28 2017-02-15 Image analysis systems and related methods
US15/433,656 2017-02-15
PCT/US2018/018113 WO2018152157A1 (en) 2017-02-15 2018-02-14 Image analysis systems and related methods

Publications (2)

Publication Number Publication Date
CN110462627A true CN110462627A (zh) 2019-11-15
CN110462627B CN110462627B (zh) 2023-09-01

Family

ID=63169640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021008.2A Active CN110462627B (zh) 2017-02-15 2018-02-14 图像分析系统和相关方法

Country Status (5)

Country Link
EP (1) EP3583544A4 (zh)
CN (1) CN110462627B (zh)
TW (1) TWI756365B (zh)
WO (1) WO2018152157A1 (zh)
ZA (1) ZA201906008B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526366A (zh) * 2020-04-28 2020-08-11 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质
CN113205518A (zh) * 2021-07-05 2021-08-03 雅安市人民医院 医疗车图像信息处理方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3064358A1 (en) 2017-05-22 2018-11-29 La Trobe University Image contrast enhancement for optical microscopy
KR102172213B1 (ko) * 2018-06-04 2020-10-30 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
JP7175158B2 (ja) * 2018-10-29 2022-11-18 アークレイ株式会社 情報処理装置、測定システム、及びプログラム
TWI687898B (zh) 2018-11-23 2020-03-11 宏碁股份有限公司 影像正規化方法及影像處理裝置
TWI664582B (zh) * 2018-11-28 2019-07-01 靜宜大學 細胞檢測方法、裝置與系統
AU2019390733A1 (en) * 2018-11-29 2021-06-10 La Trobe University Automated method of identifying a structure
TWI694414B (zh) * 2018-12-18 2020-05-21 國立成功大學 卷積神經網路分析方法、電腦程式產品與電子裝置
CN109872312B (zh) * 2019-02-15 2022-12-20 腾讯科技(深圳)有限公司 医学图像分割方法、装置、系统及图像分割方法
CN112215880B (zh) * 2019-07-10 2022-05-06 浙江商汤科技开发有限公司 一种图像深度估计方法及装置、电子设备、存储介质
WO2021061613A1 (en) * 2019-09-24 2021-04-01 Applied Materials, Inc. Interactive training of a machine learning model for tissue segmentation
TWI719696B (zh) * 2019-11-01 2021-02-21 財團法人工業技術研究院 臉部影像重建方法與系統
TWI719713B (zh) * 2019-11-14 2021-02-21 緯創資通股份有限公司 物件偵測方法、電子裝置與物件偵測系統
KR102419738B1 (ko) * 2021-08-31 2022-07-12 주식회사 별하늘친구 인공지능을 이용하는 얼룩검사 학습을 위한 이미지 데이터를 생성하는 방법
WO2023081446A1 (en) * 2021-11-05 2023-05-11 Thread Robotics Inc. System and method for automated cell positioning

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2083739A1 (en) * 1991-12-06 1993-06-07 James W. Bacus Blood cell analyzer
CA2236268A1 (en) * 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
WO2001006446A1 (en) * 1999-07-09 2001-01-25 Chromavision Medical Systems, Inc. Automated method for image analysis of residual protein
WO2001057785A1 (en) * 2000-02-01 2001-08-09 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6718053B1 (en) * 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
WO2012061669A2 (en) * 2010-11-05 2012-05-10 Cytognomix,Inc. Centromere detector and method for determining radiation exposure from chromosome abnormalities
CA2970129A1 (en) * 2015-01-31 2016-08-04 Ventana Medical Systems, Inc. Systems and methods for area-of-interest detection using slide thumbnail images
US20160350914A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6172349B1 (en) * 1997-03-31 2001-01-09 Kla-Tencor Corporation Autofocusing apparatus and method for high resolution microscope system
US7236623B2 (en) * 2000-04-24 2007-06-26 International Remote Imaging Systems, Inc. Analyte recognition for urinalysis diagnostic system
US7706606B1 (en) * 2006-05-31 2010-04-27 Adobe Systems Incorporated Fast, adaptive color to grayscale conversion
US8103102B2 (en) * 2006-12-13 2012-01-24 Adobe Systems Incorporated Robust feature extraction for color and grayscale images
DE102010063965A1 (de) * 2010-12-22 2012-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bestimmung von Objekten einer Farbaufnahme
US20130094750A1 (en) * 2011-10-12 2013-04-18 Tolga Tasdizen Methods and systems for segmentation of cells for an automated differential counting system
AU2014292179B2 (en) * 2013-07-18 2017-12-07 Ventana Medical Systems, Inc. Auto-focus methods and systems for multi-spectral imaging

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2083739A1 (en) * 1991-12-06 1993-06-07 James W. Bacus Blood cell analyzer
CA2236268A1 (en) * 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6718053B1 (en) * 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
WO2001006446A1 (en) * 1999-07-09 2001-01-25 Chromavision Medical Systems, Inc. Automated method for image analysis of residual protein
WO2001057785A1 (en) * 2000-02-01 2001-08-09 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
WO2012061669A2 (en) * 2010-11-05 2012-05-10 Cytognomix,Inc. Centromere detector and method for determining radiation exposure from chromosome abnormalities
CA2970129A1 (en) * 2015-01-31 2016-08-04 Ventana Medical Systems, Inc. Systems and methods for area-of-interest detection using slide thumbnail images
US20160350914A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526366A (zh) * 2020-04-28 2020-08-11 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质
CN111526366B (zh) * 2020-04-28 2021-08-06 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质
CN113205518A (zh) * 2021-07-05 2021-08-03 雅安市人民医院 医疗车图像信息处理方法及装置

Also Published As

Publication number Publication date
EP3583544A1 (en) 2019-12-25
WO2018152157A1 (en) 2018-08-23
CN110462627B (zh) 2023-09-01
EP3583544A4 (en) 2020-08-12
ZA201906008B (en) 2021-02-24
TWI756365B (zh) 2022-03-01
TW201832181A (zh) 2018-09-01

Similar Documents

Publication Publication Date Title
CN110462627A (zh) 图像分析系统和相关方法
CN107646115A (zh) 图像分析系统及相关方法
US10061972B2 (en) Image analysis systems and related methods
Mehanian et al. Computer-automated malaria diagnosis and quantitation using convolutional neural networks
Quinn et al. Deep convolutional neural networks for microscopy-based point of care diagnostics
Chen et al. Identification of plant disease images via a squeeze‐and‐excitation MobileNet model and twice transfer learning
Horstmeyer et al. Convolutional neural networks that teach microscopes how to image
Pennekamp et al. Implementing image analysis in laboratory‐based experimental systems for ecology and evolution: a hands‐on guide
Sun et al. Deep learning‐based single‐cell optical image studies
CN108596046A (zh) 一种基于深度学习的细胞检测计数方法及系统
Quinn et al. Automated blood smear analysis for mobile malaria diagnosis
JP5394485B2 (ja) 印環細胞検出器及び関連する方法
Bhowmik et al. Eye disease prediction from optical coherence tomography images with transfer learning
Memeu A rapid malaria diagnostic method based on automatic detection and classification of plasmodium parasites in stained thin blood smear images
Schlapp et al. Development of 3D architecture of uropathogenic Proteus mirabilis batch culture biofilms—A quantitative confocal microscopy approach
Wang et al. Vision-based in situ monitoring of plankton size spectra via a convolutional neural network
Richmond et al. Deadnet: Identifying phototoxicity from label-free microscopy images of cells using deep convnets
Coelho-Caro et al. Mussel classifier system based on morphological characteristics
Paul et al. A review on computational methods based on machine learning and deep learning techniques for malaria detection
Sujith et al. Malaria Detection Using Convolutional Neural Network
Suraksha et al. Classification of Malaria cell images using Deep Learning Approach
Smal Particle filtering methods for subcellular motion analysis
Christian Ramarolahy et al. Classification and generation of microscopy images with plasmodium falciparum via artificial neural networks
Govindaraju Application of convolutional neural network for leukocyte quantification from a smartphone based microfluidic biosensor
Mohana et al. Diagnosis of Malaria from Peripheral Blood Smear Images using Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40016410

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant