CN110383038B - 用于对空气样本进行自动分析的系统和方法 - Google Patents

用于对空气样本进行自动分析的系统和方法 Download PDF

Info

Publication number
CN110383038B
CN110383038B CN201780078170.3A CN201780078170A CN110383038B CN 110383038 B CN110383038 B CN 110383038B CN 201780078170 A CN201780078170 A CN 201780078170A CN 110383038 B CN110383038 B CN 110383038B
Authority
CN
China
Prior art keywords
image
sample
membrane filter
microscope
optically transparent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780078170.3A
Other languages
English (en)
Other versions
CN110383038A (zh
Inventor
乔丹·加拉格尔·格鲁伯
加博尔·兹雅托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Frontier Pty Ltd
Original Assignee
First Frontier Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2016904291A external-priority patent/AU2016904291A0/en
Application filed by First Frontier Pty Ltd filed Critical First Frontier Pty Ltd
Publication of CN110383038A publication Critical patent/CN110383038A/zh
Application granted granted Critical
Publication of CN110383038B publication Critical patent/CN110383038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06Investigating concentration of particle suspensions
    • G01N15/0606Investigating concentration of particle suspensions by collecting particles on a support
    • G01N15/0618Investigating concentration of particle suspensions by collecting particles on a support of the filter type
    • G01N15/0625Optical scan of the deposits
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0042Investigating dispersion of solids
    • G01N2015/0046Investigating dispersion of solids in gas, e.g. smoke

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

描述了一种用于自动分析从用于对诸如石棉和合成矿物纤维的空气中可吸入纤维进行采样的空气质量监测装置获得的膜过滤器的系统和方法。该系统包括捕获膜过滤器的宏观图像和使用计算机视觉方法分析宏观图像,以确定膜过滤器的可计数区域和膜过滤器的可计数区域内的一个或多个排除区域。这些排除区域包括膜过滤器网格线、气泡和大颗粒物质。然后将载玻片放置在数字相位对比显微镜的机器人XY台子上,该显微镜用于在位于过滤器构件上的20个或更多个样本位置中的每一个处捕获至少一个放大的相位对比图像。选择样本位置使得每个样本位置处的视场不包含排除区域。使用计算机视觉方法分析放大的相位对比图像以识别和计数视场中的纤维数量,然后报告纤维的总数。

Description

用于对空气样本进行自动分析的系统和方法
优先权文件
本申请要求于2016年10月21日提交的标题为“SYSTEM AND METHOD FORPERFORMING AUTOMATED ANALYSIS OF AIR SAMPLES(用于对空气样本进行自动分析的系统和方法)”的澳大利亚临时专利申请第2016904291号的优先权,其内容通过引用全部并入本文。
技术领域
本公开涉及监测空气质量。在特定形式中,本公开涉及用于分析空气样本是否存在诸如石棉纤维或合成矿物纤维(SMF)的可吸入纤维的自动化系统。
背景技术
诸如石棉或合成矿物纤维(SMF)的空气中可吸入纤维代表健康危害,并且职业健康和安全指南和/或法律通常要求将空气质量监测装置安装在可能存在纤维的位置附近。这些空气质量监测装置包括泵送系统,该泵送系统以特定的流速通过过滤器抽吸空气,并且在为了诸如石棉纤维的可吸入纤维而对空气进行采样之后,可以将过滤器移除并送到实验室以转换到用于对石棉纤维进行计数的膜过滤器。通常,过滤器是混合纤维素酯(MCE)过滤器,其孔径为约0.8微米。在澳大利亚,目前接受和推荐的用于分析对石棉纤维进行采样的膜过滤器的方法被称为膜过滤法(MFM)。膜过滤法最初由澳大利亚国家健康与医学研究委员会于1976年制定。国家职业健康与安全委员会(NOHSC)于1988年发布了一份指导说明,并于2005年再次更新并作为“关于用于估算空气中石棉纤维的膜过滤法的指导说明(Guidance Note on the Membrane Filter Method for Estimating Airborne AsbestosFibres)[NOHSC:3003(2005)]”公布。本指导说明定义了样本采集方法、膜过滤法的详细信息和报告要求,并且本指导说明的全部内容通过引用合并于此。在其他司法管辖区存在类似的参考文献或指导说明,例如OHSA 1994说明:29CFR 1910.1001b职业安全和健康标准:石棉采样和分析的详细程序——非强制性的。华盛顿特区:美国劳工部,职业安全与健康管理局。
如指导说明中所述,MFM用于帮助监测用于防止暴露于空气中石棉纤维的控制措施的有效性,以及用于帮助确定工人暴露于空气中石棉纤维。膜过滤法需要熟练的操作者通过相位对比显微镜手动检查膜过滤器上的大量(例如100个)格线区域(点),并计算网格视场中可计数的可吸入纤维的数量。计数要求操作者将纤维与公布的参考形状匹配,并且他们必须排除在膜过滤器网格线、气泡和大颗粒物质在格线视场内或靠近格线视场的位置的计数,因为气泡会在纤维被推到气泡边缘时产生洗涤效果。操作者对“可计数的可吸入纤维”进行计数,可计数的可吸入纤维是与公布的参考形状(例如指导说明)匹配的纤维。这是可计数的纤维,是符合指导说明(或类似参考)定义的几何要求的一种。根据这个定义,几乎所有的石棉纤维都是可计数的可吸入纤维,但必须注意的是,并非所有可计数的可吸入纤维都必定是石棉纤维。尽管如此,可计数的可吸入纤维的数量被用作空气样本中的石棉纤维数量的量度(或代理)。如指导说明中所述,“经验表明,当不同的实验室和不同的工人使用时,这种方法并不总能产生可比较的结果。由于采样、载玻片的制备、光学计数、结果的计算和其他影响因素的变化而导致可能会出现差异。只有就方法的所有细节达成协议,实验室间粉尘测量结果的比较才是可行的”。因此,尽管膜过滤法仍然是测量空气中石棉纤维的推荐方法,但它仍然是耗时且主观的测量方法。此外,该方法的有效性依赖于操作者严格遵守指南并努力识别要排除的区域,并在膜过滤器的整个表面上正确地识别和计数纤维。当操作者处于时间或成本压力之下时,仍然存在可能牺牲严格遵守指南的风险,因此膜过滤法的安全性和可靠性受到损害。
因此,需要提供用于分析从用于测量空气中石棉纤维的空气质量监测装置获得的膜过滤器的改进的系统和方法,或者至少提供现有系统和方法的一种有用的替代方案。
发明内容
根据第一方面,提供了一种用于自动分析从用于对空气中可吸入纤维进行采样的空气质量监测装置获得的膜过滤器的方法,所述方法包括:
捕获支撑并固定在光学透明支撑件上的膜过滤器的至少样本部分的至少一个宏观图像;
使用计算机视觉方法分析所述至少一个宏观图像,以确定膜过滤器的可计数区域和膜过滤器的可计数区域内的一个或多个排除区域,排除区域包括膜过滤器网格线、气泡和大颗粒物质中的一种或多种;
将支撑样本部分膜过滤器的光学透明支撑件插入数字相位对比显微镜的机器人XY台子中,数字相位对比显微镜还包括被配置为捕获数字相位对比显微镜的像平面的图像的图像传感器;
使用数字相位对比显微镜的图像传感器在位于过滤器构件的可计数区域上的N个样本位置中的每一个处捕获至少一个放大的相位对比图像,其中N至少为20,并且所述N个样本位置被选择使得每个样本位置的视场不包含排除区域;
使用计算机视觉方法分析在所述N个样本位置中的每一个处的所述至少一个放大的相位对比图像,以识别和计数每个样本位置处的视场的计数区域内的可计数的可吸入纤维的数量;以及
对在膜过滤器的可计数区域中计数的可计数的可吸入纤维的总数进行计数并报告。
在一种形式中,使用计算机视觉方法分析所述至少一个宏观图像还包括:针对一组预定义的样本质量标准执行膜过滤器的样本部分的质量评估,该质量评估包括识别膜过滤器中的一个或多个撕裂,检测盖玻片外部的膜过滤器的一部分,检测膜过滤器的变色,以及由气泡覆盖的膜的百分比超过预定阈值;以及如果样本未通过质量评估,则终止该方法。
在一种形式中,在所述N个样本位置中的每一个处捕获至少一个放大的相位对比图像包括:
a)选择可计数区域内的点;
b)确定视场是否包含排除区域;
c)如果视场包含排除区域,则返回到步骤a);
d)如果视场不包含排除区域,则指示机器人XY台子到所选择的点并捕获至少一个放大的相位对比图像,并递增计数器;
e)如果计数器小于N,则返回到步骤a),否则终止捕获步骤。
在另一种形式中,选择点的步骤是随机进行的。在又一种形式中,分析至少一个宏观图像还包括在可计数区域上定义2D映射网格,并且通过在所述2D映射网格中顺序选择网格点来进行选择点的步骤。
在一种形式中,所述方法还包括:
使用位于光学透明支撑件下方的样本放置模版将过滤器部分放置在载玻片上,样本放置模版指示过滤器部分的优选位置;
处理过滤器部分以形成膜过滤器;以及
使用盖玻片将膜过滤器固定到载玻片上。
在一种形式中,分析至少一个宏观图像包括:识别载玻片边界并使用预定的已知的载玻片尺寸在载玻片上定义2D映射网格,识别并存储盖玻片、膜过滤器上的网格线、膜过滤器上的气泡以及包括灰尘的任何其他大颗粒物质的网格位置。
在一种形式中,捕获至少一个宏观图像包括捕获相对于灰色背景的载玻片的图像;
并且使用计算机视觉方法分析至少一个宏观图像还包括:
使用2D映射网格分析图像,以识别载玻片上的多个参考点、膜过滤器的边缘和位于可计数区域内的膜过滤器上的多个网格线;以及
使用2D映射网格分析图像,以识别可计数区域内的气泡的位置。
在一种形式中,捕获至少一个宏观图像包括:捕获相对于暗背景的载玻片的至少一个暗图像,并捕获相对于亮背景的载玻片的至少一个亮图像;
并且使用计算机视觉方法分析至少一个宏观图像还包括:
通过对至少一个亮图像应用特征检测以检测载玻片、盖玻片、膜过滤器和网格线的相交处的特征,使用2D映射网格来分析至少一个亮图像以识别载玻片上的多个参考点、膜过滤器的边缘和位于可计数区域内的膜过滤器上的多个网格线,并且使用检测到的特征来锚定几何形状,以使用盖玻片的四边形形状、膜过滤器的圆弧以及网格线的相交直线来识别盖玻片的边缘、膜过滤器和网格线的相交处;
通过在膜过滤器的位置周围裁剪暗图像,应用对比度调整以及将一个或多个轮廓拟合到对比度调整的图像以基于对比度变化识别开放和闭合的气泡,使用2D映射网格分析至少一个暗图像以识别可计数区域内的气泡的位置。
在一种形式中,在所述N个样本位置中的每一个处捕获至少一个放大的相位对比图像的步骤包括在每个样本位置处捕获一组Z个放大的相位对比图像,每个相位对比图像是在不同的焦平面处捕获的,并在所述N个样本位置中的每一个处分析至少一个放大的相位对比图像包括对该组Z个放大的相位对比图像进行Z-堆叠以获得单个堆叠图像,并且计算机视觉方法分析单个堆叠图像以识别并计数单个堆叠图像的视场的计数区域内的可计数可吸入纤维的数量。
在一种形式中,用于识别和计数每个样本位置处的视场的计数区域内的可计数可吸入纤维的数量的计算机视觉方法包括:
识别一个或多个关注区域,每个关注区域都包括对象;
将针对可吸入纤维的参考图像组训练的一个或多个机器学习分类器应用于每个关注区域,以识别与参考图像匹配的一个或多个候选关注区域;
将几何过滤器应用于每个候选关注区域,以识别具有与可吸入纤维匹配的几何形状的对象;以及
对可计数的可吸入纤维的数量进行计数。
在另一种形式中,可吸入纤维和可计数的可吸入纤维是石棉纤维,并且应用几何过滤器包括使用过滤标准将常规石棉纤维几何过滤器应用于每个候选关注区域,该过滤标准要求候选关注区域中的对象的最大宽度小于3微米,长度大于5微米,长宽比大于3:1,并且看起来不接触候选关注区域内的任何其他对象,并且满足过滤标准的每个对象被计数为单个可计数纤维。
在另一种形式中,应用几何过滤器还包括使用过滤标准将成束的石棉纤维几何过滤器应用于每个候选关注区域,该过滤标准要求候选关注区域中的对象的最大宽度小于3微米,长度大于5微米,长宽比大于3:1,并且看起来不接触具有定义为其他对象的两个维度中的较小维度且大于3微米的最大宽度的任何其他对象,并且,其中计数可计数的可吸入纤维的数量包括计数任何可单独区分的纤维,或者如果不能区分单根纤维,则将该束作为单个可计数的纤维计数。
在另一种形式中,用于识别和计数视场的计数区域内的可计数可吸入纤维的数量的计算机视觉方法还包括:针对一组预定义的质量标准执行至少一个放大的相位对比图像的视场的质量评估;以及如果至少一个放大的相位对比图像的视场未通过质量评估,则在该样本位置处终止进一步的分析。
在另一种形式中,N是2016年10月21日官方石棉采样标准或官方指导说明所要求的样本位置的数量。在另一种形式中,N在20和100之间,并且当在至少20个样本位置上计数了总共100个可计数的可吸入纤维时终止捕获步骤。
在另一种形式中,所述至少一个放大的相位对比图像中的每一个的总放大率在40倍和2000倍之间,更优选地在100倍和600倍之间。
在一种形式中,可计数的可吸入纤维是石棉纤维或合成矿物纤维。
在另一种形式中,光学透明支撑件是显微镜载玻片,并且所述方法还包括将多个显微镜载玻片加载到计算机控制的自动加载机中,每个显微镜载玻片支撑样本部分膜过滤器,该自动加载机被配置为在机器人XY台子中加载或卸载一个或多个显微镜,并且使用自动加载机将支撑样本部分膜过滤器的显微镜载玻片插入机器人XY台子,并且其中每个显微镜载玻片包括唯一标识符,并且所述方法还包括捕获标识符的表示,并为每个加载的显微镜执行捕获分析和报告步骤,其中报告还报告显微镜的唯一标识符。
根据第二方面,提供了一种用于自动分析从用于测量空气中可吸入纤维的空气质量监测装置获得的膜过滤器的系统,所述装置包括:
样本成像装置,其包括:
至少一个光学透明支撑件保持器,用于接收光学透明支撑件,该支撑件在使用中包括膜过滤器的样本部分;
样本数字照相机,当位于光学透明支撑件保持器中时具有至少包括至少一个载玻片的样本部分的视场;
机器人显微镜平台,其包括:
相位对比显微镜;
电动XY台子,用于接收光学透明支撑件;
电动Z轴聚焦驱动器;
位于像平面中的图像传感器;和
至少一个计算装置,其可操作地连接到样本成像装置和机器人显微镜平台,所述至少一个计算装置包括至少一个处理器和可操作地连接到处理器的存储器,并且计算装置被配置为执行第一方面的方法。
在一种形式中,所述至少一个计算装置包括本地计算装置和至少一个远程计算装置,本地计算装置或者直接连接到样本成像装置和机器人显微镜平台,或者连接在本地网络上,并且其中本地计算装置被配置为执行捕获步骤,并通过网络连接将在N个样本位置中的每一个处捕获的至少一个宏观图像和至少一个放大的相位对比图像提供给至少一个远程计算装置,并且远程计算被配置为执行分析步骤以及计数和报告步骤。
在一种形式中,样本成像装置还包括:
位于光学透明支撑件保持器的基部中的颜色改变面板,支撑件保持器用于支撑光学透明支撑件,其中颜色改变面板具有暗表面以为被支撑的光学透明支撑件提供暗背景,并且还包括可切换光源以为被支撑的光学透明支撑件提供亮背景。
在一种形式中,样本成像装置还包括位于颜色改变面板上并由颜色改变面板支撑的样本放置模版,其支撑光学透明支撑件保持器,以指示膜过滤器的优选位置。
在一种形式中,所述系统还包括显微镜自动加载机,用于存储多个显微镜载玻片,并被配置为在电动XY台子中加载和卸载一个或多个显微镜载玻片。
根据第三方面,提供了一种在第二方面的系统中使用的样本成像装置。
至少一个光学透明支撑件保持器,用于接收光学透明支撑件,该支撑件在使用中包括膜过滤器的样本部分;
样本数字照相机,当位于光学透明支撑件保持器中时具有至少包括至少一个载玻片的样本部分的视场;
至少一个计算装置,其可操作地连接到样本成像装置,并且包括至少一个处理器和可操作地连接到处理器的存储器,计算装置被配置为:
捕获支撑并固定在光学透明支撑件上的膜过滤器的至少样本部分的至少一个宏观图像;
使用计算机视觉方法分析所述至少一个宏观图像,以确定膜过滤器的可计数区域和膜过滤器的可计数区域内的一个或多个排除区域,排除区域包括膜过滤器网格线、气泡和大颗粒物质中的一种或多种。
在一种形式中,样本成像装置还包括:
位于光学透明支撑件保持器的基部中的颜色改变面板,支撑件保持器用于支撑光学透明支撑件,其中颜色改变面板具有暗表面以为被支撑的光学透明支撑件提供暗背景,并且还包括可切换光源以为被支撑的光学透明支撑件提供亮背景。
在一种形式中,样本成像装置还包括位于颜色改变面板上并由颜色改变面板支撑的样本放置模版,其支撑光学透明支撑件保持器,以指示膜过滤器的优选位置。
附图说明
下面将参照附图讨论本公开的实施例,在附图中:
图1是根据实施例的用于自动分析从空气质量监测装置获得的膜过滤器是否存在石棉颗粒的方法的流程图;
图2是根据实施例的图1中示出的方法中的分析步骤的流程图;
图3是根据实施例的样本成像装置的示意图;
图4A是根据实施例的相对于亮背景拍摄的显微镜载玻片的对比度调整的宏观图像,其中膜过滤器的样本部分被支撑并固定到显微镜载玻片上;
图4B是根据实施例的相对于暗背景拍摄的图4A的显微镜载玻片的对比度调整的宏观图像;
图5A是显示根据实施例的尺寸的显微镜载玻片、盖玻片和膜过滤器样本的示意图;
图5B是映射到图5A的显微镜载玻片的2D网格的示意图;
图6A是根据实施例的相对于亮背景拍摄的显微镜载玻片的原始宏观图像,其中膜过滤器的样本部分被支撑并固定到显微镜载玻片上;
图6B是在应用特征检测算法之后的图6A的图像;
图6C是根据实施例的在使用特征检测算法匹配几何形状以识别载玻片、盖玻片、膜过滤器和网格线之后的图6A的图像;
图7A是根据实施例的裁剪到图6C中识别的膜过滤器周围的区域的相对于暗背景拍摄的显微镜载玻片的原始宏观图像,其中膜过滤器的样本部分被支撑并固定到显微镜载玻片;
图7B是在转换为黑白并应用对比度调整之后的图7A的图像;
图7C是根据实施例的在拟合轮廓以识别气泡之后的图7B的图像;
图8A是示出了根据实施例的网格线和排除区域的膜过滤器的示意图;
图8B是示出根据实施例的排除区域和样本位置的部分网格的特写镜头;
图9是根据实施例的膜过滤器的样本位置的放大的相位对比图像;
图10是显示根据实施例的计数格线的总放大率为400倍的膜过滤器的样本位置的相位对比图像;
图11是根据实施例的在跨越样本的垂直(z)深度的不同焦平面处拍摄的一组Z个放大的相位对比图像和Z堆叠的合成图像的示意图;
图12是根据实施例的图2中所示的流程图的示意图;
图13是根据实施例的成束的纤维的计算机视觉处理的示意图;
图14是根据实施例的用于从空气质量监测装置获得的膜过滤器的自动分析系统的示意图;
图15A是根据实施例的用于对多个载玻片进行成像的样本成像装置的示意图;以及
图15B是根据实施例的机器人显微镜平台的示意图。
在以下描述中,贯穿附图,相同的附图标记表示相同或相应的部分。
具体实施方式
现在参照图1,示出了用于自动分析膜过滤器的方法的流程图100,该膜过滤器是从用于测量空气中可吸入纤维(例如石棉和合成矿物纤维)的空气质量监测装置获得的。图2是根据实施例的图1所示的方法中的分析步骤的流程图。图3是根据实施例的样本成像装置的示意图,并且图15A是根据实施例的用于对多个载玻片进行成像的样本成像装置的示意图。图14是根据实施例的用于从空气质量监测装置获得的膜过滤器的自动分析系统的示意图。图15B是根据实施例的机器人显微镜平台的示意图。膜过滤器可用于捕获一系列纤维,并且一个特别重要的应用是用于石棉纤维的检测和计数,因为这些仍然是严重的健康问题。因此,以下说明将集中于石棉纤维的检测和计数。然而,虽然该系统设计用于测量石棉纤维,但是显而易见的是,该系统可适用于测量空气样本中的其他纤维,例如合成矿物纤维(SMF)、二氧化硅纤维、羊毛纤维和木纤维。
该系统包括:机器人显微镜平台2;样本成像装置3,例如,如图3所示;以及至少一个计算装置4,其可操作地连接到样本成像装置3和机器人显微镜平台2。为清楚起见,空气质量监测器(或空气采样器)包括可移除的过滤器,对该过滤器进行处理和转换以形成透明膜(通常在显微镜载玻片上,但可以使用另一个光学透明的支撑表面),并且将该透明的已处理的过滤器称为膜过滤器。这种过滤器可用于捕获一系列纤维,例如石棉纤维、合成矿物纤维(SMF)、二氧化硅纤维、羊毛纤维和木纤维。
参照图1,方法100以开始分析步骤102开始。这启动样本成像阶段110,其包括图像捕获步骤112,在图像捕获步骤112中捕获被支撑并固定在光学透明支撑件的膜过滤器350的至少一个宏观图像。通常,光学透明支撑件是显微镜载玻片,并且为了便于理解,以下讨论通常将显微镜载玻片用作光学透明支撑件。然而,应当理解的是,诸如玻璃片、培养皿、玻璃盘、或者塑料载玻片或由合适材料或化学涂布形成以便不受样本固定过程的影响的碟形的其它光学透明支撑件,。该宏观图像可以是未放大或低放大率(例如,小于5或10倍)的图像。宏观图像可以是样本载玻片的完整图像,或者仅是支撑并固定在位于光学透明支撑件保持器320上的光学透明支撑件330(例如显微镜载玻片保持器上的显微镜载玻片)上的膜过滤器350的样本部分。用于捕获图像的样本成像装置的实施例在图3中示出并在下面描述。如下所述,膜过滤器可以是完整的膜过滤器,或膜过滤器的一部分。一种常用的过滤器是圆形的,大于显微镜载玻片,通常切成两半,一半转换成膜过滤器并进行分析,另一半被储存。
一旦捕获了宏观图像,就可以使用计算机视觉方法对其进行分析,以确定膜过滤器的可计数区域和膜过滤器的可计数区域内的一个或多个排除区域。可计数区域是膜过滤器的一个区域,在该区域内进行计数。它可以是固定在载玻片上并由膜过滤器边缘限定的完整的膜过滤器。排除区域包括膜过滤器网格线、气泡和大颗粒物质中的一种或多种。分析可以作为一系列步骤进行。例如,第一分析步骤114可以包括在膜过滤器的可计数区域上定义2D映射网格并且映射网格线、气泡和大颗粒物质的位置以确定用于后续分析的排除区域(基于指导说明)。排除区域可以基于检测特征并在检测到的特征周围应用误差范围,因此排除区域包含检测到的特征。第二分析可以包括针对一组预定义的样本质量标准执行膜过滤器的样本部分的质量评估116。如果样本未通过质量评估117,则终止分析118。
图3是根据实施例的样本成像装置3的示意图。样本成像装置3提供捕获样本载玻片(或其他光学透明支撑件)的一致图像的装置,使得可以进行样本质量评估。样本成像装置3包括显微镜载玻片保持器320和样本照相机310,显微镜载玻片保持器320用于接收保持至少一个载玻片的显微镜载玻片保持器,样本照相机310在位于显微镜载玻片保持器320中时具有至少包括至少一个载玻片330的样本部分的视场312。如上所述,也可以使用任何合适的光学透明支撑件和光学透明支撑件保持器。样本照相机优选为数字照相机,但是可以使用模拟照相机,并且扫描和数字化图像。用于对多个载玻片进行成像的样本成像装置2的另一个实施例在图15A中示出。在该实施例中,该装置包括基部302和上壳体304。电源开关303设置在基部中,并且上壳体304的顶部包括可移除的帽部分306,以提供对数字照相机或成像传感器310的接入。基部304还包括呈拉伸形式的显微镜载玻片保持器320,其可以滑入和滑出基部302。在该实施例中,显微镜载玻片保持器320包括4个槽或隔间,用于接收4个显微镜载玻片330。样本成像装置可以是独立的装置,或者它可以集成到从平台接收一个或多个载玻片的机器人显微镜平台。
在空气采样或监测装置中使用的典型空气过滤器是25mm直径的圆形过滤器,然而一些空气采样器使用较小的13mm直径的圆形过滤器。其他采样器可以使用其他几何形状,但这不影响如本文所述的方法。过滤器350如下安装在显微镜载玻片上。将过滤器置于显微镜载玻片上并加入诸如丙酮-三乙酸甘油酯的溶剂以溶解或熔化过滤器以在载玻片上产生透明膜,然后使用盖玻片360将其固定至显微镜载玻片。较小的13mm直径的圆形过滤器可以直接放置在显微镜载玻片330上,但是必须首先切割直径为25mm的圆形过滤器以形成样本部分。通常将过滤器切成两半以形成两个半圆,其中一个放置在显微镜载玻片330上并转换成透明膜过滤器350,另一个保留用于储存。
如图3所示,样本成像装置包括显微镜载玻片保持器320。在该实施例中,该装置还包括位于用于支撑显微镜载玻片330的显微镜载玻片保持器的基部中的颜色改变面板。颜色改变面板具有暗表面380,以为被支撑的显微镜载玻片330提供暗背景,并且颜色改变面板还包括可切换光源390,以为被支撑的显微镜载玻片提供亮背景。在一个实施例中,暗表面380由LED照明面板位于其下方的半透明黑色面板提供。样本放置模版370也可以位于颜色改变面板上并由颜色改变面板支撑,并且其支撑显微镜载玻片保持器以指示过滤器部分的优选位置。处理过滤器部分以形成透明膜过滤器,并且用盖玻片360覆盖膜过滤器部分350,以将膜过滤器固定或粘附到显微镜载玻片330上,显微镜载玻片330由模版370(如果存在)和颜色改变面板支撑。可以使用其他布置来提供可改变颜色的背景。例如,可以(手动地或优选地通过机器人)交换两个彩色面板(一个暗,一个亮)。也可以使用其他光学/照明布置,其包括在载玻片上方使用光投射系统来控制载玻片的照明量(或亮度)。在另一个实施例中,省略了颜色改变背景,并且提供单个灰色背景并收集灰度图像。
在一个实施例中,为了帮助识别载玻片特征和要排除的区域,捕获相对于暗背景的载玻片的至少一个暗图像,并且捕获相对于亮背景的载玻片的至少一个亮图像。图4A是根据实施例的相对于亮背景拍摄的显微镜载玻片330的对比度调整的宏观图像410,其中膜过滤器350的样本部分被支撑并固定到显微镜载玻片上。盖玻片360也可以与膜过滤器上的网格线一起被看到。诸如条形码的载玻片标识符也可以存在于载玻片上并被扫描,或者在载玻片上打印或写入字母数字字符串并拍摄图像,然后通过光学字符识别(OCR)程序以检测载玻片标识符,使得捕获的图像可以与载玻片标识符相关联。图4B是根据实施例的相对于暗背景拍摄的图4A的显微镜载玻片的对比度调整的宏观暗图像420。在该暗图像420中,载玻片330、膜过滤器350、盖玻片360可以与气泡422一起被看到,气泡422在膜过滤器固定/粘附到载玻片期间被俘获。
分析宏观图像以使用预定的已知的载玻片尺寸在可计数区域上定义2D映射网格。图5A是根据实施例的显微镜载玻片330、盖玻片360和膜过滤器样本350的示意图500,其显示了载玻片、盖玻片和膜过滤器的已知(或测量)的尺寸。定义载玻片边界502并且在左上角定义原点参考点(0,0)512。图5B是映射到图5A的显微镜载玻片的2D网格的示意图。行和列间隔距离用于定义映射网格,该网格定义一系列网格单元。这些可以通过网格单元内的对象来表征。例如,网格单元(6,2)包括显微镜载玻片514,网格单元(15,1)包括显微镜载玻片和盖玻片516,并且网格单元(18,3)包括显微镜载玻片、盖玻片和膜过滤器样本518。对载玻片尺寸和盖玻片尺寸的了解允许使用映射网格来确定用于指示机器人XY台子的真实世界载玻片坐标。网格的分辨率可以基于机器人XY台子的能力,并且可以以高分辨率(例如600倍)或更高的分辨率与视场匹配。捕获宏观图像并基于载玻片坐标定义区图,允许识别有效的样本位置,并且可以在稍后捕获高分辨率图像期间避免排除区域。注意,机器人(或电动)XY台子也可以是机器人(或电动)XYZ台子。为清楚起见,将包括使用XY来至少指定X轴和Y轴的机器人控制,并且也不排除对Z轴的控制(即,XY=至少XY)。
使用计算机视觉方法分析一个宏观图像包括:使用2D映射网格分析亮图像,以识别载玻片上的多个参考点、膜过滤器的边缘和位于可计数区域内的膜过滤器上的多个网格线;并然后使用2D映射网格分析暗图像以识别可计数区域内的气泡的位置。
如图6A至图6C所示,分析至少一个亮图像包括将特征检测算法应用于至少一个亮图像以检测载玻片、盖玻片、膜过滤器和网格线的相交处的特征。特征检测算法包括在合适的图像处理库中可用的角点检测、边缘检测、线路检测等。例如http://opencv.org上可获得的开源计算机视觉库OpenCV包括OpenCV的“imageproc”图像处理库的特征检测部分下的一组合适的特征检测算法。图6A是相对于亮背景拍摄的显微镜载玻片330的原始宏观图像610,其中膜过滤器350的样本部分被支撑并固定到显微镜载玻片上。图6B是在应用特征检测算法之后的图6A的图像。特征检测算法检测载玻片的角部、盖玻片624、膜过滤器边缘626和网格线622的相交处。
如图6C所示,检测到的角和已知的载玻片尺寸用于锚定几何形状以识别图像630中的盖玻片634的边缘、膜过滤器636和网格线632的相交处。对于盖玻片634使用四边形形状,对于膜过滤器636使用椭圆形(或圆弧形),并且对于网格线636使用相交直线。
在分析亮图像(或多个亮图像)之后,可以分析暗图像以识别气泡。图7A至7C示出了根据实施例的这种分析。分析暗图像包括在膜过滤器的位置周围裁剪暗图像。裁剪区域可以对应于盖玻片360或者是不同的区域。图7A是根据实施例的裁剪到图6C中识别的膜过滤器周围的区域的相对于暗背景拍摄的显微镜载玻片330的原始宏观图像710,其中膜过滤器350的样本部分被支撑并固定到显微镜载玻片上。然后对裁剪后的图像应用对比度调整,以提高气泡检测的精度。为了进一步提高精度,可以首先将图像转换为黑白图像(或灰度图像)。图7B是在转换为黑白并应用对比度调整之后的图7A的图像720。在左手侧可以看到大的气泡,其可以基于对比度差异来识别。然后将轮廓拟合到对比度调整的图像,以基于对比度变化识别开放和闭合的气泡。在一个实施例中,阈值对比度水平用于定义气泡边界,或者可以使用基于参照图像的一组预定义轮廓水平,例如通过寻找强烈的梯度或对比度的快速空间变化(即,紧密接近轮廓)。在一个实施例中,通过检测气泡的边缘,然后扩展或延伸边缘以使排除区域具有比检测到的气泡更大的区域,来获得排除区域。图7C是根据实施例在拟合轮廓(圆形段)以识别气泡732之后的图7B的图像730。
在其他实施例中,可以在亮图像之前分析暗图像(在这种情况下,不执行裁剪并且将轮廓拟合到整个图像)。在其他实施例中,使用单个灰色背景,并且捕获和分析单个宏观图像(而不是分离的黑白图像)。捕获的图像可以是彩色图像或灰度图像。在该实施例中,背景在255级上具有60和195之间的RGB或灰度值。通过首先应用特征检测算法来检测载玻片、盖玻片、膜过滤器和网格线的相交处的特征,然后检测气泡或诸如灰尘的大颗粒物质,可以使用上面讨论的计算机视觉技术来分析合适的图像。
其他图像过滤技术和方法可用于识别气泡或大颗粒物质,例如灰尘。例如,诸如形态学打开或关闭技术的计算机视觉技术可用于识别气泡并绘制其边缘。还可以使用机器学习技术,例如,可以使用在包括气泡的图像参考组上训练的分类器。一旦检测到诸如网格线、膜边缘、气泡、灰尘颗粒等的特征,这些特征就用于限定排除区域。在一个实施例中,检测到的特征边缘用于限定包括检测到的特征的排除区域的边缘。在另一实施例中,将附加缓冲区域添加到特征的检测边缘,因此排除区域具有大于(并包括)检测到的特征的区域(即,排除区域包括特征和缓冲区域)。添加的缓冲区域的大小可以取决于特征的类型。例如,在膜的外边界的情况下,排除区域可以从检测到的边缘向内延伸2-5mm。在网格线或气泡的情况下,可以使用诸如5%的百分比。此外,排除区域可以逐个像素地或逐个网格单元地限定。也就是说,一旦限定了映射网格,就可以为网格中的每个单元分配二进制排除状态(包括或排除)。可以为包含检测到的特征的任何网格单元分配排除状态,然后在X和Y两个方向上将缓冲区域定义为下一n个相邻网格单元,这些网格单元也被指定为排除状态。
一旦分析了宏观图像以确定2D网格并识别排除区域,就相对于一组预定义的样本质量标准可以执行膜过滤器的样本部分的质量评估(步骤117),并且如果样本未通过质量评估,则可以终止该方法(118)。例如,质量标准可以包括指示过滤器已经损坏、制备不当或被严重污染的标准,并且如果检测到这些条件(或质量标准)中的一个或多个,则样本未通过质量评估。例如,合适的质量标准包括在膜过滤器中存在一个或多个撕裂,检测盖玻片外部的膜的一部分(指示制备不当),膜的变色指示丙酮过饱或样本上的高比例的气泡和/或颗粒。例如,可以使用25%或50%的气泡和/或颗粒覆盖百分比(可用的膜过滤区域的百分比)的阈值百分比。可以使用图像分析来评估这些标准,例如以检测撕裂状结构,或像素颜色的直方图,或者通过使用2D网格对污染的单元进行分类并然后计数。
图8A是根据实施例的膜过滤器的示意图800,其示出了过滤器边缘802、网格线804和排除区域。在该实施例中,排除区域包括网格线812、气泡814和诸如灰尘的大颗粒物质816周围的区域。保存排除区域的位置(例如网格坐标)。
返回到图1,如果样本已通过质量评估,并且排除区域已被映射和存储,则下一阶段是高分辨率扫描和纤维计数阶段120。这广泛地包括将支撑样本部分膜过滤器的显微镜载玻片插入数字相位对比显微镜的机器人XY台子中。如上所述,机器人XY台子可以仅是机器人XY台子或机器人XYZ台子。机器人XY台子也可以配置为支撑多个载玻片。在这种情况下,按顺序分析由XY台子保持的每个载玻片。包括图像传感器或照相机的数字相位对比显微镜被配置为捕获数字相位对比显微镜的像平面的图像。图9是根据实施例的膜过滤器的样本位置的放大的相位对比图像900。从图9中可以看出,图像包括各种对象902,904,906和908,它们可以是石棉纤维(或可计数的可吸入纤维)。
扫描和纤维计数阶段120包括使用数字相位对比显微镜的图像传感器在位于跨过滤器构件的可计数区域的N个样本位置中的每一个处捕获至少一个放大的相位对比图像。选择N个样本位置,使得每个样本位置处的视场不包含排除区域。N通常至少为20,并且可以是官方石棉(或其他纤维)采样标准或官方指导说明所要求的样本位置数量,或者根据当前版本或截至2016年10月21日公布的版本的此类标准或说明定义的范围,所述标准或说明例如为“关于用于估算空气中石棉纤维的膜过滤法的指导说明[NOHSC:3003(2005)]”,或者29CFR 1910.1001b职业安全和健康标准:石棉采样和分析的详细程序——非强制性的。华盛顿特区:美国劳工部,职业安全与健康管理局(OHSA 1994)。在一个实施例中,N在20和100之间,并且当在至少20个样本位置上计数总共100个可计数的可吸入纤维时终止捕获步骤。在其他实施例中,N可以高得多,例如1000或更高。在一个实施例中,选择不包含排除区域的跨样本的可计数区域的每个位置,即扫描整个样本,或者扫描可计数区域的至少所有可计数部分。扫描和纤维计数阶段120还包括使用计算机视觉方法分析在N个样本位置中的每一个处的至少一个放大的相位对比图像,以识别和计数每个样本位置处的视场的计数区域内的可计数的可吸入纤维的数量。在一个实施例中,计数区域由计数格线限定,计数格线例如为在显微镜的光路中设置的Walton-Beckett格线(并因此在图像中捕获)。图10显示了带有Walton-Beckett格线的图像。可替代地,视场的计数区域可以是诸如圆形或正方形的区域,其具有基于图像的总放大率的预定义尺寸或面积。在另一个实施例中,计数区域可以是整个视场。一旦获得足够的样本位置,就执行结果生成步骤130,该步骤报告在膜过滤器的可计数区域中计数的纤维总数以及任何其他相关信息(日期,时间,位置,质量评估,样本ID等),并且终止分析132。如所讨论的,可计数的可吸入纤维是具有与石棉纤维(或目标可吸入纤维)匹配的几何形状的纤维。虽然大多数石棉纤维具有与可计数纤维相匹配的几何形状,但可计数的可吸入纤维不能保证是石棉纤维。因此,可计数的可吸入纤维的数量用作样本中石棉(或目标可吸入的)纤维的数量的可接受的量度或代理。
在一个实施例中,扫描和纤维计数阶段120循环地执行。该步骤包括移动到下一个有效分析点122,例如不包括排除区域的视场。也就是说,有效的分析点是与样本边缘的周长足够远,不在气泡内且不是在网格线上或被灰尘颗粒或类似物污染的分析点。一旦处于有效位置,就捕获聚焦范围中的一个或多个放大的相位对比图像124,然后使用计算机视觉技术对捕获的图像进行纤维计数126。如果存在任何分析点128,则移动XY台子到下一个有效分析点122并重复该循环。
在一个实施例中,这可以通过首先a)选择可计数区域内的点并且b)确定视场是否包含排除区域(基于宏观图像的分析)来执行。如果视场包含排除区域,则返回到步骤a)。如果视场不包含排除区域,则向机器人XY台子提供指令以将载玻片移动到所选择的点(122)并捕获至少一个放大的相位对比图像(124)。计数器递增。如果计数器小于N,则通过返回到步骤a)来重复该循环,否则终止捕获步骤。在另一种形式中,选择点的步骤是随机进行的。例如,选择随机X值和随机Y值(x,y),并且一旦选择了,就进行检查以确定以该(x,y)点为中心的视场是否落入排除区域内。如果此时的视场确实包含排除区域,则选择新的随机点,或者尝试找到要使用的附近点,例如通过以小偏移(例如等于一个视场)扰动随机位置,并测试这个扰动的点,看它是否包含排除区域。在另一种形式中,分析至少一个宏观图像还包括在可计数区域上定义2D映射网格。网格具有恒定的行和列间距(不一定相同),并且通过顺序地选择2D映射网格中的下一个网格点并确定该网格点是否是有效点(即,该视场是否包含排除区域)来选择点。
这在图8B中示出,图8B是图8A的部分网格区域810的特写镜头,其示出了根据实施例的排除区域和样本位置。该实施例示出了从区域i开始到区域i+7的第一行候选样本区域820,以及从区域j开始到区域j+7的第二行候选样本区域822。在该实施例中,候选样本点沿着行具有恒定的间距,并且行820和822是偏移的,但是在其他实施例中,它们可以是对齐的,或者可以使用非恒定的间距。每个候选样本点表示预定放大率的显微镜的视场。在区域810中,存在气泡814和大灰尘颗粒816以及网格边缘812。因此,有效的样本点是点i,i+3,i+4,i+6,j+1,j+2,j+3,j+4和j+5。由于在其视场中存在气泡814的排除区域,所以候选样本点i+1和i+2无效(被拒绝),由于在其视场中存在灰尘颗粒816的排除区域,所以候选样本点i+5,j+6和j+7无效,并且由于接近网格线——即它们在其视场中包括网格线周围的排除区域812,所以候选样本点i+7和j无效。
在每个样本位置处,捕获一个或多个图像。是否捕获一个或多个图像将取决于显微镜的放大率以及该放大率下的景深是否足以捕获显微镜载玻片和盖玻片之间的过滤器上的所有颗粒(即,膜过滤器的物理厚度超过该放大率下的景深)。尽管可以使用更低的放大率,例如40或50倍(人类分辨率的极限),或更高的放大率,例如2000倍(光学显微镜的极限),但是典型的放大率在100到600倍之间(例如200,400或450倍)。在高达200的总放大率下,景深通常足以捕获膜过滤器上的所有可计数的可吸入纤维或颗粒。图10是膜过滤器的样本位置在400倍总放大率下的相位对比图像1000。还显示了计数格线1010。在该实施例中,计数格线是Walton Beckett格线。在景深小于显微镜载玻片和盖玻片之间的垂直距离的情况下,可以使用称为聚焦堆叠的技术来识别所有可能的颗粒。这有效地将Z图像在垂直深度(z)上组合成单个图像进行分析。在其他实施例中,可以使用替代方法,例如在跨越样本的垂直(z)深度的Z个多个图像上对纤维的特征跟踪(即,单独分析Z图像)。
在聚焦堆叠中,在跨越样本的垂直(z)深度的不同焦平面处捕获一组Z个放大的相位对比图像。这通过保持载玻片的XY位置恒定,但改变显微镜聚焦驱动器的Z轴(使得在样本的垂直(z)深度上捕获不同焦平面上的图像)来实现。这可以使用电动或机器人Z轴聚焦驱动器来执行。该组的Z个放大的相位对比图像被Z堆叠以获得单个堆叠图像进行分析。图11是根据实施例的在跨越样本的垂直深度的不同焦平面处拍摄的Z个放大的相位对比图像1102、1104、1106、1008、1110的组1112和Z堆叠的合成图像1114的示意图。Z堆叠在计算机视觉库中实现,并通过如下来操作:使用特征检测(例如边缘检测,角点检测等)和/或傅里叶分析来检测每个图像的对焦区域,然后将对焦补片混合在一起生成最终的合成图像。然后分析最终的合成或单个堆叠图像以识别和计数单个堆叠图像的视场的计数区域内的可计数的可吸入纤维的数量。在替代实施例中,多个图像不被组合成单个图像,而是使用颗粒检测方法来跟踪存在于多个焦平面中的颗粒。在该实施例中,在每个图像中记录颗粒的位置,并在其他图像上进行搜索,以确定其他图像中的颗粒是否是该颗粒的复制品,或者先前未可见的新颗粒。这可以通过定义搜索区域来执行,该搜索区域可以是颗粒位置加上某一误差范围,并且对于每个其他图像,确定另一颗粒是否落入搜索区域内。这可能要求整个新颗粒落入搜索区域内,或者新颗粒的区域必须在搜索区域内(例如,基于像素计数和/或比较)具有预定义的阈值百分比(例如,50%,75%,90%,95%)。可以施加附加标准,例如要求复制颗粒跨越(垂直)相邻图像连接。
一旦在样本位置处获得单个图像(原始或合成的Z堆叠图像)或垂直深度上的一组Z图像,就使用计算机视觉方法分析它以识别和计数在视场的计数区域内的可计数的可吸入纤维的数量。
图2是根据实施例的图1中示出的方法中的分析步骤126的流程图。在步骤210,开始通过计算机视觉进行纤维计数。在步骤220,如果需要,则执行图像组的焦点堆叠,并且可以使用计算机视觉技术执行视场质量评估。这包括将焦点堆叠图像与一组预定义质量标准进行比较,并且如果放大的相位对比图像的视场未通过质量评估232,则在样本位置处终止进一步分析234。质量评估标准包括灰尘加载量,其通过针对所有视场从背景中简单地过滤所有颗粒并计算平均强度来计算。如果平均值太高(例如灰尘超过15%),则过滤器太杂乱并且结果被认为是无效的(即拒绝该样本位置)。其他质量测量可以包括分析颗粒加载量/分布,以检测指示性能不佳的采样设备的不均匀的颗粒加载量/分布,或者可指示质量差的异常图像属性(例如,亮度范围,颜色范围等)。例如,如上所述,膜的变色可以指示样本制备期间丙酮的过饱和,因此可以执行像素颜色分布的分析以检测变色,例如通过确定某一预定的变色范围内的像素的数量(或百分比)。在使用格线的实施例中,可以使用诸如由纤维和/或颗粒的聚集体覆盖的格线区域的八分之一(12.5%)以上的标准。可以使用其他基于面积的阈值,例如计数区域的至少10%、15%或20%的覆盖率。可以基于参考组的良好和/或差质量的载玻片来使用机器学习方法。
如果放大的相位对比图像通过质量评估(或者不执行),则下一步骤240是识别视场中的关注区域。下一步骤250是应用计算机视觉方法,例如在参考组的石棉纤维的图像上训练的一个或多个机器学习分类器,以识别与已知的石棉纤维图像匹配的关注区域。在步骤260处,应用几何过滤器,并且对视场中的可计数的可吸入纤维的数量进行计数270。在步骤280处,对计数结果进行总计(序列化)和报告,并终止分析290。对于其他纤维,这样的分析可以通过用适当的一组期望纤维的训练图像替换石棉训练图像来改变。严格地说,该系统不能确定目标纤维类型(例如石棉纤维)。确切地说,它检测出与目标(或期望的)纤维的已知图像类似的对象,对这些对象进行计数并将其用作样本中目标纤维数量的代理度量。
图12是根据实施例的图2中所示的流程图的示意图。该方法包括可选地堆叠图像1210。然后,对于每个堆叠图像,识别一个或多个关注区域1220。每个关注区域包括可以是石棉颗粒(或可计数的纤维)的对象。图12示出了在合成图像1210中识别的两个关注区域1222和1224。
下一步是将每个关注区域与参考图像库1230进行比较。这可以对每个关注区域1222、1224使用在参考组的目标可吸入纤维(例如石棉纤维)1232的图像上训练的一个或多个机器学习分类器来执行,以识别与参考图像匹配的一个或多个候选关注区域。在该实施例中,两个关注区域与参考图像匹配并且被认为是候选关注区域。接下来,将几何过滤器1240应用于每个候选关注区域,以识别物体是否具有与目标可吸入纤维(例如石棉纤维)匹配的几何形状。如图12所示,第一关注区域1222包括具有通过几何过滤器的几何形状的对象,但是第二关注区域1224未通过几何过滤器并被排除。通过几何过滤器的关注区域中可计数的可吸入纤维的数量被计数和报告。
在一个实施例中,几何过滤器包括常规石棉纤维几何过滤器。这使用过滤标准,其要求候选关注区域中的对象具有小于3微米的最大宽度,大于5微米的长度和大于3:1的长宽比,并且其看起来不接触候选关注区域内的任何其他对象。满足该过滤标准的每个对象作为单个可计数的纤维被计数。对于其他可吸入纤维类型,这些参数可以改变。尽管大多数其他关注的纤维倾向于具有比石棉纤维更大的直径,但是大多数其他关注的可吸入纤维具有相似的长宽比(即2:1,3:1,4:1)。
在一些情况下,关注区域包括成束的纤维。图13是根据实施例的成束的纤维的计算机视觉处理的示意图。因此,在一个实施例中,应用成束石棉纤维几何过滤器。这使用过滤标准,其要求候选关注区域中的对象具有小于3微米的最大宽度,大于5微米的长度和大于3:1的长宽比,并且其看起来不接触具有大于3微米的最大宽度的其他任何对象,该最大宽度被定义为其他对象的两个维度中的较小者。对成束的纤维的计数更加困难。在这种情况下,计数可计数的可吸入纤维的数量包括对任何可单独区分的纤维进行计数,或者如果不能区分单根纤维,则将该束作为单根纤维计数。可以使用单根纤维标准识别可单独区分的纤维,其限制是它可以接触另一个对象。可替代地,可以使用另一种更复杂的基于形状的计算机视觉技术来识别束是否是不同的纤维。可替代地,可以由操作者目视检查成束的纤维并手动计数。
在另一种形式中,用于识别和计数视场的计数区域内的可计数可吸入纤维的数量的计算机视觉方法还包括:针对一组预定义的质量标准执行至少一个放大的相位对比图像的视场的质量评估;以及如果至少一个放大的相位对比图像的视场没有通过质量评估,则在该样本位置处终止进一步的分析。
图14是根据实施例的用于从空气质量监测装置获得的膜过滤器的自动分析系统的示意图。该系统包括:机器人显微镜平台2;样本成像装置3,例如,如上所述并在图3中示出;以及至少一个计算装置4,其可操作地连接到样本成像装置3和机器人显微镜平台2。样本成像装置3包括用于接收显微镜载玻片保持器的显微镜载玻片保持器320和样本数字照相机310,样本数字照相机310在位于显微镜载玻片保持器320中时具有至少包括至少一个载玻片330的样本部分的视场312。机器人显微镜平台2在图15B中进一步示出,并且包括相位对比显微镜10、用于接收显微镜载玻片的电动XY台子12、电动Z轴聚焦驱动器13以及位于像平面14中的图像传感器16。相位对比显微镜可以是单目、双目或三目显微镜。如上所述,电动(或机器人)XY台子可支撑多个载玻片。在这种情况下,可以顺序地处理载玻片,例如在捕获下一张载玻片的图像之前获得的载玻片的所有图像。可替代地,可以并行捕获载玻片的图像。例如,对于给定的焦距,可以捕获所有载玻片的图像。一旦捕获了所有图像,就可以将它们分成每个载玻片的图像组,然后进行分析。图像传感器可以是具有与显微镜集成的光学器件的照相机,或者诸如CMOS传感器芯片和支持电子器件的图像传感器。该系统包括至少一个计算装置4,其可操作地连接到样本成像装置3和机器人显微镜平台3。在一个实施例中,该至少一个计算装置包括本地计算装置20和基于远程、网络或云的计算装置30。每个计算装置包括至少一个处理器和可操作地连接到处理器的存储器,并且计算装置4被配置为执行本文描述的方法。
该系统是包括至少一个计算装置4的计算机实现的系统。该计算装置包括至少一个处理器22,32和可操作地连接到至少一个处理器(或者处理器中的一个)的至少一个存储器23,33,并且可以包括附加设备或装置,例如显示设备以及输入和输出设备/装置(术语设备和装置将可互换使用)。存储器可以包括使处理器执行本文描述的方法的指令。处理器存储器和显示设备可以包括在标准计算装置中,所述标准计算装置例如为台式计算机、便携式计算装置(例如膝上型计算机或平板电脑),或者它们可以包括在定制装置或系统中。计算装置可以是单一计算或可编程装置,或包括通过有线或无线连接可操作地(或功能地)连接的若干部件的分布式装置。计算装置可以包括中央处理单元(CPU),其包括输入/输出接口、算术和逻辑单元(ALU)以及通过输入/输出接口与输入和输出设备通信的控制单元和程序计数器元件。输入和输出设备可以包括显示器、键盘、鼠标、机器人(或电动)XY台子、样本成像照相机和机器人显微镜照相机(或图像传感器)。在一个实施例中,可以使用OASIS-Glide XY(或XYZ)台子并使用由英国剑桥的Objective Imaging(http://www.objectiveimaging.com/)制造的OASIS-Blue或OASIS-4i PCIE控制器进行控制该台子。也可以使用其他类似的产品。
输入/输出接口还可以包括网络接口和/或通信模块,用于使用预定义的通信协议(例如,蓝牙,Zigbee,IEEE 802.15,IEEE 802.11,TCP/IP,UDP等)与另一装置或设备中的等效通信模块通信。还可以包括图形处理单元(GPU)。显示装置可以包括平板显示器(例如LCD,LED,等离子,触摸屏等)、投影仪、CRT等。计算装置可以包括单个CPU(核)或多个CPU(多核),或多个处理器。计算装置可以使用并行处理器、矢量处理器或者是包括基于云的服务器的分布式计算装置。存储器可操作地耦合到(一个或多个)处理器,并且可以包括RAM和ROM部件,并且可以在装置内部或外部提供。存储器可用于存储操作系统和附加软件模块或指令。(一个或多个)处理器可以被配置为加载和执行存储在存储器中的软件模块或指令。
在一个实施例中,例如如图14所示,计算装置4包括本地计算装置20和至少一个远程计算装置30。本地计算装置20例如通过诸如USB电缆的有线连接器,或者通过根据诸如蓝牙或Wi-Fi Direct的协议的无线连接,直接连接到样本成像装置3和机器人显微镜平台2。可替代地,本地计算装置20、样本成像装置3和机器人显微镜平台2可以形成局域网,并且每个都通过有线或无线连接连接到同一路由器,以允许不同的装置交换消息或数据。
例如,如图14所示,本地计算20包括至少一个处理器22和存储器23以及桌面应用24,并且远程计算装置30包括至少一个处理器32和存储器33以及网络应用34。本地计算装置可以是膝上型计算机,并且远程计算装置可以是网络服务器或云托管服务器。网络应用34提供系统用户界面以及许可、用户帐户、作业协调、分析审查界面、报告生成、存档功能等。网络应用34和本地桌面应用14交换系统消息35,例如以启动扫描作业,或接收已完成作业的通知。桌面应用24用于控制样本成像装置和机器人显微镜,并使用控制消息28启动图像捕获,并接收捕获的图像29进行分析。接收的图像29可以由本地应用预处理,然后上载29到主图像服务器36,主图像服务器36可以是安全的云服务器。图像分析模块37可以是基于云的或基于服务器的分析模块,其执行如本文所述的图像分析,并向网络应用34提供结果或结论以进行报告。
桌面应用24包括样本成像控制器模块25、显微镜控制器模块26以及诸如校准、网络通信、错误报告的支持操作,并提供本地用户界面以允许本地控制桌面应用。样本成像控制器模块25将定位和捕获命令28发送到样本成像装置3,并从照相机310接收捕获的宏观图像29,宏观图像29存储在主图像服务器36中并提供给图像分析模块37以进行质量评估和识别排除区域。显微镜控制器模块26向电动台子控制器12和电动Z轴聚焦驱动器13提供定位命令28,并且通过位于显微镜的像平面14处的图像传感器(或照相机)16启动图像捕获,并接收捕获的放大的相位对比图像。然后将这些图像存储在主图像服务器36中并提供给分析模块37,以便识别和计数可计数的可吸入纤维。在一个实施例中,分析模块37可以在本地提供作为桌面应用的一部分。在其他实施例中,分析模块可以是分布式模块,其中一些功能在本地计算装置20上执行,一些功能由远程计算装置30执行。例如,可以在本地提供图像质量评估,并且远程提供详细的图像分析。在另一个实施例中,本地地执行来自样本成像装置的宏观图像的分析,并且远程地执行来自显微镜的放大的相位对比图像的分析。在另一个实施例中,本地地执行宏观图像和放大的相位对比度图像的分析。也就是说,分析模块37是桌面应用24的一部分。然后将分析的结果序列化并发送到网络应用37和/或主图像存储器36。
使用诸如C++或JAVA和Qt v5.7框架的高级语言来开发和构建桌面和网络应用。在一个实施例中,图像分析模块37实现诸如OpenCV 3.1的计算机视觉库。在一个实施例中,样本成像装置3和机器人显微镜2都通过到运行桌面应用24的本地膝上型计算机的相应的USB连接被控制。在一个实施例中,机器人XY台子是由Objective Imaging提供的OasisImagingGlide-S2电动台子,Objective Imaging还提供C++动态链接库(此处为DLL)和应用编程接口(此处为API)。API允许精确定位XY台子轴和Z聚焦轴。API还提供用于图像拼接、焦点图生成和预测聚焦的实用程序。
上述实施例使用计算机视觉方法来确定宏观图像中的膜过滤器的可计数区域,并识别和计数在覆盖膜的整个深度的样本位置处捕获的高分辨率图像的视场的计数区域内的可计数的可吸入纤维的数量。在本说明书的上下文中,计算机视觉方法是用于基于已知参考或训练数据集分析图像的自动方法,并且包括使用包括测试集和训练集的参考数据集来构建(一个或多个)分类器的机器学习或监督学习方法的使用,其包括使用多层分类器和/或多个神经网络的深度学习方法。分类器可以使用各种图像处理技术和统计技术,例如特征提取、检测/分割、数学形态学方法、数字图像处理、目标识别、特征向量等来构建分类器。可以使用各种算法,其包括线性分类器、回归算法、支持向量机、神经网络、贝叶斯网络等。计算机视觉或图像处理库提供可用于构建分类器的功能,例如计算机视觉系统工具箱、MATLAB库、OpenCV C++库、ccv C++CV库或ImageJ Java CV库。
在一个实施例中,深度学习方法用于计算机视觉分析的像素提取器和/或特征提取器步骤。深度学习方法使用多层分类器或其他特征提取模块的分层级联,其中前一层的输出形成下一层的输入。通常,深度学习需要非常大的训练图像集来训练系统。例如,可以使用一组200x和400x放大率的10000+显微镜图像作为训练集。然后从图像中提取包含单根纤维、分组纤维和无纤维的关注区域(ROI)。软件工具允许人们标记关注区域并计数图像中的纤维和/或图像中的高纤维像素。例如,可以在Amazon Mechanical Turk市场上提供人类智能任务(HIT)模板,以允许人们标记关注区域(例如,参见https://blog.mturk.com/tutorial-annotating-images-with-bounding-boxes-using-amaz on-mechanical-turk-42ab71e5068a)。然后,这些标记图像用于配置深度学习训练过程以创建一个或多个分类器。一系列深度学习软件库(如TensorFlow和Caffe)可用于深度学习实现(例如,参见http://www.wolfib.com/Image-Recognition-Intro-Part-1/)。
深度学习过程包括使用训练数据(图像)来创建初始的一组模型/分类器。可以创建多个分类器,例如:能够识别作为一个或多个可计数的可吸入纤维的一部分的各个像素的分类器;能够识别所有的单根纤维的分类器;和/或能够识别和估算分组中的纤维的数量的分类器。然后启动迭代深度学习过程。该迭代过程开始于模型/分类器分析它们之前未见过(即未经过训练)的输入ROI图像。通过比较纤维计数和/或与人类标记结果相比较的纤维像素精度来评估每个分类器的性能。可替代地,在评估步骤之后选择性能最佳的模型/分类器,并且通过对最佳性能分类器的随机改变来创建一组新的模型/分类器。重复分析新图像、评估、选择和修改分类器的迭代深度学习步骤,直到达到可接受的性能(即通过阈值精度)。例如,如果分类器与人类标记结果相比达到99.5%精度的计数结果,则可以(在评估步骤期间)终止迭代深度学习过程。一旦深度学习解决方案被训练(即通过阈值精度),深度学习解决方案可以部署在云计算环境中,其中显微镜捕获的图像被发送到深度学习解决方案以从其接收到的图像中的ROI识别和计数。
在上述实施例中,样本成像装置和机器人显微镜是分开的装置,并且需要操作者将具有固定样本的显微镜转移到显微镜的XY台子。在另一个实施例中,该转移操作可以是自动化的或被消除。例如,可以改变显微镜载玻片保持器的设计,以允许其使用机械臂或传送器和致动器移动并在XY台子中自动加载和卸载。在一些实施例中,载玻片自动加载机可用于储存预先制备的显微镜载玻片40—用于将载玻片加载到样本成像装置、显微镜或两者中。自动加载机包括:多个载玻片支撑件,其可以是单独的支撑托盘或盒式布置;用于读取条形码或载玻片标识符的扫描器;以及用于移除载玻片并将其放置在XY台子上用于图像捕获(并在捕获图像后将其放回自动加载机中)的机器人臂或类似布置。自动加载机处于计算机控制下(例如,通过样本成像控制器模块25和/或显微镜控制器模块26,或另一个控制器)并逐渐将一个或多个载玻片加载到机器人XY台子上,然后可以拍摄宏观和/或放大的相位对比图像。在一些实施例中,可以使用两个自动加载机——一个用于样本成像装置,第二个用于显微镜。以这种方式,可以收集一批宏观图像,并且可以分别(同时)收集一批放大的图像。将图像提供给图像分析模块。当每批完成后,来自宏观自动加载机的载玻片被移动到显微镜自动加载机(如果载玻片装入盒子中,则可以只移动盒子)。如果宏观图像分析结果(即已知的排除区域)可用或者预计很快就会可用(即,在载玻片加载到显微镜之前),或者一旦宏观图像的分析完成(即确定排除区域)就可以加载它们,则这样可以立即完成批次完成。自动加载机的使用允许在大批显微镜载玻片上自动进行图像捕获,然后可以将捕获的图像发送到计算装置进行分析。此外,所需的操作者技能要低得多,因为他们只需要将样本固定到显微镜载玻片上并将它们放入自动加载机(或用于自动加载机的盒)中。
在另一个实施例中,XY台子可以适于向载玻片提供明暗背景,并且在显微镜照相机和XY台子之间设置两条光路以允许捕获显微镜的未放大的图像(在XY台子中加载时)和标准放大光路。可替代地,第二照相机可以安装在机器人上,并且设置在加载到XY台子中时捕获显微镜载玻片的图像的光路。例如,机器人控制的镜子可以通过机器人插入XY台子上方的位置,或者使用XY台子的视图以允许拍摄宏观图像,然后可以撤回或移动镜子以允许显微镜的光路观察XY台子中的显微镜载玻片。在另一个实施例中,具有视场812的样本照相机17安装在显微镜上,并且显微镜载玻片保持器安装在机器人XY台子上,使得它可以使用电机控制器移动。载玻片控制器在样本成像装置的照相机的视场812内移动并捕获宏观图像,并且将载玻片移动到显微镜光路中以捕获多个放大的相位对比图像。这在图15B中示出,其中虚线示出了安装在显微镜的光路中的第一数字照相机(或图像传感器)16附近的第二数字照相机17的位置以及该第二数字照相机17的视场812。机器人XY台子可以将载玻片移动到该视场内以捕获宏观质量评估图像。在另一个实施例中,显微镜可以具有带有可切换放大级(或可切换光学组件)的光路,其可以在计算机控制下改变,以允许同一图像传感器用于捕获宏观图像和高分辨率图像。在该实施例中,可切换放大级(或光学组件)被预设为低分辨率(例如1倍至5倍),并且高分辨率级至少为40倍。
在以上实施例中,样本成像系统被配置用于支撑和捕获单个显微镜载玻片和膜过滤器的图像。在另一个实施例中,样本成像系统用于支持多个显微镜载玻片。在该多载玻片实施例中,照相机可以用于捕获一个图像中的所有载玻片的图像,或者它可以顺序地捕获每个载玻片的图像。这可以通过使用机器人台子将照相机移动到捕获每个载玻片的位置和/或方向来实现,或者可以固定照相机并且使用机器人XY台子将每个载玻片移动到照相机的固定视场中。可以在本地计算装置的控制下执行图像捕获的控制。可替代地,可以使用专用的微控制器装置。
本文描述的方法和系统的实施例提供了用于实现标准膜过滤法的改进,所述标准膜过滤法用于分析从用于测量空气中的可吸入纤维浓度的空气质量监测装置获得的膜过滤器。如上所述,该系统特别适用于估算石棉纤维浓度,但是,应当注意,该系统可用于检测空气样本中的其他空气中可吸入纤维,例如二氧化硅纤维、合成矿物纤维(SMF)、羊毛纤维和木质纤维。这些纤维倾向于具有相似的长宽比,其直径略大于石棉纤维。在每种情况下,可以例如通过获得包含用于训练计算机视觉方法(例如机器学习分类器)的所需纤维的合适训练图像集和/或基于典型的纤维性质(即尺寸分布)确定合适的几何过滤器参数(或维度)来调整该方法。严格来说,该系统不能识别纤维类型。确切地说,它识别具有与期望目标纤维类似的性质的纤维的浓度(例如,它识别类似于石棉的纤维)。通常,这些样本将被固定在显微镜载玻片上,但应理解的是,样本可固定在光学透明支撑件上,例如,固定在玻璃板、培养皿或塑料片或盘或任何其它合适的光学透明支撑材料上。
自动样本捕获和分析使计算机视觉技术能够用于评估载玻片质量控制和在高分辨率扫描之前要排除的区域的检测。此外,一旦扫描正在进行,机器人显微镜系统就可以快速地获取所有需要的图像、控制XY台子、Z聚焦和图像捕获。然后可以将图像发送到分析模块,该模块使用计算机视觉技术快速可靠地识别和计数可计数的可吸入纤维并生成适当的报告。因此,与现有的手动方法和系统相比,这使得自动化系统能够快速且严格地遵守用于实现标准膜过滤器法的指南。这样允许更高的生产量,由此降低操作成本,从而实现更低的测试成本。
例如,高技能的操作者需要8-30分钟来扫描和分析每个样本的多达100个样本位置,并且每天可以处理8-12个样本。结果不确定性高,实验室间可靠性低,由于主观性而导致分析不可重复。相比之下,本文描述的自动化系统可以在1-2分钟内扫描和分析样本,并且可以容易地每天处理100个样本或更多。所需的操作者技能要低得多,因为他们仅需要将样本固定到显微镜载玻片上并在样本成像装置和显微镜的机器人XY台子之间转移显微镜载玻片。此外,该转移任务可以通过使用自动加载机来自动化,从而进一步加快处理时间。此外,结果不确定性相对较低,实验室间可靠性更高,并且可重复分析。该系统还提供良好的可追溯性。分析的图像可以与诸如颗粒的绝对位置、排除区域、质量测量结果等分析信息一起存储在网络服务器上。
在整个说明书和随后的权利要求书中,除非上下文另有要求,否则词语“包括”和“包含”及其变体将被理解为暗示包含所述整数或整数组,但不排除任何其他整数或整数组。
本说明书中对任何现有技术的参考不是也不应视为承认任何形式的建议,即此类现有技术形成公共常识的一部分。
本领域技术人员将理解,可以使用各种技术和技艺中的任何一种来表示信息和信号。例如,在以上描述中可以参考数据、指令、命令、信息、信号、位、符号和芯片,可以由电压、电流、电磁波、磁场或粒子、光场或粒子或其任何组合来表示。
所属领域的技术人员将会进一步认识到,与这里公开的实施例结合描述的各种示范性的逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或指令或其组合。为了清楚地说明硬件和软件的这种可互换性,各种示范性的部件、块、模块、电路和步骤通常用其功能在上文中被描述了。这种功能被实现为硬件还是软件取决于具体的应用和在总系统上施加的设计约束。技术人员可以针对每一种具体的应用用不同的方式来实现描述的功能,但是,这种实现决定不应该被解释为导致脱离于本发明的范围。
结合本文中所公开的实施例而描述的方法或算法的步骤可直接实施于硬件中,由处理器执行的软件模块中或两者的组合中。对于硬件实现,可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于执行本文所述功能的其他电子单元或其组合内实现处理。软件模块,也称为计算机程序,计算机代码或指令,可以包含多个源代码或目标代码段或指令,并且可以驻留在任何计算机可读介质中,例如RAM存储器、闪速存储器、ROM存储器、EPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、DVD-ROM、蓝光盘或任何其他形式的计算机可读介质。在一些方面,计算机可读介质可以包括非暂时性计算机可读介质(例如,有形介质)。另外,对于其他方面,计算机可读介质可以包括暂时性计算机可读介质(例如,信号)。上述的组合也应该被包括在计算机可读介质的范围内。在另一方面,计算机可读介质可以是处理器的组成部分。处理器和计算机可读介质可以驻留在ASIC或相关设备中。软件代码可以存储在存储器单元中,并且处理器可以配置为执行它们。存储器单元可以在处理器内或处理器外部实现,在这种情况下,存储器单元可以通过本领域已知的各种装置通信地耦合到处理器。
此外,应当理解,可以由计算设备下载和/或以其他方式获得用于执行本文描述的方法和技术的模块和/或其他适当装置。例如,这种设备可以耦合到服务器以便于传送用于执行本文所述方法的装置。可替代地,可以经由存储装置(例如,RAM,ROM,诸如光盘(CD)或软盘等的物理存储介质)提供本文描述的各种方法,使得计算设备可以在将存储装置耦合到或提供给该设备时获得各种方法。此外,可以使用用于将本文描述的方法和技术提供给设备的任何其他合适的技术。
在一种形式中,本发明可以包括用于执行本文给出的方法或操作的计算机程序产品。例如,这样的计算机程序产品可以包括具有在其上存储(和/或编码)的指令的计算机(或处理器)可读介质,该指令可由一个或多个处理器执行以执行本文描述的操作。对于某些方面,计算机程序产品可包括封装材料。
本文公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下,方法步骤和/或动作可以彼此互换。换句话说,除非指定了特定的步骤或动作顺序,否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。
如本文所用,术语“分析”涵盖各种各样的动作。例如,“分析”可以包括运算、计算、处理、推导、调查、查找(例如,在表格、数据库或其他数据结构中查找)、确定等。此外,“分析”可以包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)等。此外,“分析”可以包括解析、选择、挑选、建立等。
本领域技术人员将理解,本公开在其用于所描述的一个或多个特定应用时不受限制。本公开在其优选实施例中对于本文描述或描绘的特定元件和/或特征也没有限制。应该理解的是,本公开不限于所公开的一个或多个实施例,而是能够进行许多重新布置、修改和替换而不脱离如下述权利要求所阐述和限定的范围。

Claims (27)

1.一种用于自动分析膜过滤器的方法,所述膜过滤器从用于对空气中可吸入纤维进行采样的空气质量监测装置获得,所述方法包括:
捕获支撑并固定在光学透明支撑件上的膜过滤器的至少样本部分的至少一个宏观图像;
使用计算机视觉方法分析所述至少一个宏观图像,以确定膜过滤器的可计数区域和膜过滤器的可计数区域内的一个或多个排除区域,所述排除区域包括膜过滤器网格线、气泡和大颗粒物质中的一种或多种;
将支撑样本部分膜过滤器的光学透明支撑件插入数字相位对比显微镜的机器人XY台子中,数字相位对比显微镜还包括被配置为捕获数字相位对比显微镜的像平面的图像的图像传感器;
使用数字相位对比显微镜的图像传感器在位于所述膜过滤器的可计数区域上的N个样本位置中的每一个处捕获至少一个放大的相位对比图像,其中N至少为20,并且所述N个样本位置被选择使得每个样本位置的视场不包含排除区域;
使用计算机视觉方法分析在所述N个样本位置中的每一个处的所述至少一个放大的相位对比图像,以识别和计数每个样本位置处的视场的计数区域内的可计数的可吸入纤维的数量;以及
对在膜过滤器的可计数区域中计数的可计数的可吸入纤维的总数进行计数并报告。
2.如权利要求1所述的方法,其中,使用计算机视觉方法分析所述至少一个宏观图像还包括:针对一组预定义的样本质量标准执行膜过滤器的样本部分的质量评估,该质量评估包括识别膜过滤器中的一个或多个撕裂,检测盖玻片外部的膜过滤器的一部分,检测膜过滤器的变色,以及由气泡覆盖的所述膜过滤器的百分比超过预定阈值;以及如果样本未通过质量评估,则终止该方法。
3.如权利要求1所述的方法,其中,在所述N个样本位置中的每一个处捕获至少一个放大的相位对比图像包括:
a)选择可计数区域内的点;
b)确定视场是否包含排除区域;
c)如果视场包含排除区域,则返回到步骤a);
d)如果视场不包含排除区域,则指示机器人XY台子到所选择的点并捕获至少一个放大的相位对比图像,并递增计数器;
e)如果计数器小于N,则返回到步骤a),否则终止捕获步骤。
4.如权利要求3所述的方法,其中,选择点的步骤是随机进行的。
5.如权利要求3所述的方法,其中,分析至少一个宏观图像还包括在可计数区域上定义2D映射网格,并且通过在所述2D映射网格中顺序选择网格点来进行选择点的步骤。
6.如权利要求1所述的方法,其中所述光学透明支撑件是显微镜载玻片,所述方法还包括:
使用位于光学透明支撑件下方的样本放置模版将过滤器放置在显微镜载玻片上,样本放置模版指示过滤器的优选位置;
处理过滤器以形成膜过滤器;以及
使用盖玻片将膜过滤器固定到显微镜载玻片上。
7.如权利要求1所述的方法,其中,所述光学透明支撑件是显微镜载玻片,分析至少一个宏观图像包括:识别载玻片边界并使用预定的已知的载玻片尺寸在载玻片上定义2D映射网格,识别并存储盖玻片、膜过滤器上的网格线、膜过滤器上的气泡以及包括灰尘的任何其他大颗粒物质的网格位置。
8.如权利要求7所述的方法,其中,捕获至少一个宏观图像包括相对于灰色背景捕获显微镜载玻片的图像;
并且使用计算机视觉方法分析至少一个宏观图像还包括:
使用2D映射网格分析图像,以识别显微镜载玻片上的多个参考点、膜过滤器的边缘和位于可计数区域内的膜过滤器上的多个网格线;以及
使用2D映射网格分析图像,以识别可计数区域内的气泡的位置。
9.如权利要求7所述的方法,其中,捕获至少一个宏观图像包括:捕获相对于暗背景的显微镜载玻片的至少一个暗图像,并捕获相对于亮背景的显微镜载玻片的至少一个亮图像;
并且使用计算机视觉方法分析至少一个宏观图像还包括:
通过对至少一个亮图像应用特征检测以检测显微镜载玻片、盖玻片、膜过滤器和网格线的相交处的特征,使用2D映射网格来分析至少一个亮图像以识别显微镜载玻片上的多个参考点、膜过滤器的边缘和位于可计数区域内的膜过滤器上的多个网格线,并且使用检测到的特征来锚定几何形状,以使用盖玻片的四边形形状、膜过滤器的圆弧以及网格线的相交直线来识别盖玻片的边缘、膜过滤器和网格线的相交处;
通过在膜过滤器的位置周围裁剪暗图像,应用对比度调整以及将一个或多个轮廓拟合到对比度调整的图像以基于对比度变化识别开放和闭合的气泡,使用2D映射网格分析至少一个暗图像以识别可计数区域内的气泡的位置。
10.如权利要求1所述的方法,其中,在所述N个样本位置中的每一个处捕获至少一个放大的相位对比图像的步骤包括在每个样本位置处捕获一组Z个放大的相位对比图像,每个相位对比图像是在不同的焦平面处捕获的,并在所述N个样本位置中的每一个处分析至少一个放大的相位对比图像包括对该组Z个放大的相位对比图像进行Z-堆叠以获得单个堆叠图像,并且计算机视觉方法分析单个堆叠图像以识别并计数单个堆叠图像的视场的计数区域内的可计数可吸入纤维的数量。
11.如权利要求1所述的方法,其中,用于识别和计数每个样本位置处的视场的计数区域内的可计数可吸入纤维的数量的计算机视觉方法包括:
识别一个或多个关注区域,每个关注区域都包括对象;
将针对可吸入纤维的参考图像组训练的一个或多个机器学习分类器应用于每个关注区域,以识别与参考图像匹配的一个或多个候选关注区域;
将几何过滤器应用于每个候选关注区域,以识别具有与可吸入纤维匹配的几何形状的对象;以及
对可计数的可吸入纤维的数量进行计数。
12.如权利要求11所述的方法,其中,可吸入纤维和可计数的可吸入纤维是石棉纤维,并且应用几何过滤器包括使用过滤标准将常规石棉纤维几何过滤器应用于每个候选关注区域,该过滤标准要求候选关注区域中的对象的最大宽度小于3微米,长度大于5微米,长宽比大于3:1,并且看起来不接触候选关注区域内的任何其他对象,并且满足过滤标准的每个对象被计数为单个可计数纤维。
13.如权利要求12所述的方法,其中应用几何过滤器还包括使用过滤标准将成束的石棉纤维几何过滤器应用于每个候选关注区域,该过滤标准要求候选关注区域中的对象的最大宽度小于3微米,长度大于5微米,长宽比大于3:1,并且看起来不接触具有定义为其他对象的两个维度中的较小维度且大于3微米的最大宽度的任何其他对象,并且,其中计数可计数的可吸入纤维的数量包括计数任何可单独区分的纤维,或者如果不能区分单独纤维,则将该束作为单个纤维计数。
14.如权利要求1所述的方法,其中,用于识别和计数视场的计数区域内的可计数可吸入纤维的数量的计算机视觉方法还包括:针对一组预定义的质量标准执行至少一个放大的相位对比图像的视场的质量评估,该质量评估包括检测膜过滤器的变色,并且由纤维和/或颗粒的团块所覆盖的计数区域的百分比超过预定阈值;以及如果至少一个放大的相位对比图像的视场未通过质量评估,则在该样本位置处终止进一步的分析。
15.如权利要求1所述的方法,其中,N是2016年10月21日官方石棉采样标准或官方指导说明所要求的样本位置的数量。
16.如权利要求1所述的方法,其中,N在20和100之间,并且当在至少20个样本位置上计数了总共100个可计数的可吸入纤维时终止捕获步骤。
17.如权利要求1所述的方法,其中,所述至少一个放大的相位对比图像中的每一个具有40倍和2000倍之间的总放大率。
18.如权利要求1所述的方法,其中,可计数的可吸入纤维是石棉纤维或合成矿物纤维。
19.如权利要求1所述的方法,其中光学透明支撑件是显微镜载玻片,并且所述方法还包括将多个显微镜载玻片加载到计算机控制的自动加载机中,每个显微镜载玻片支撑样本部分膜过滤器,该自动加载机被配置为在机器人XY台子中加载或卸载一个或多个显微镜,并且使用自动加载机将支撑样本部分膜过滤器的显微镜载玻片插入机器人XY台子,并且其中每个显微镜载玻片包括唯一标识符,并且所述方法还包括捕获标识符的表示,并为每个加载的显微镜执行捕获分析和报告步骤,其中报告还报告显微镜的唯一标识符。
20.一种用于自动分析从用于对空气中可吸入纤维进行采样的空气质量监测装置获得的膜过滤器的系统,所述装置包括:
样本成像装置,其包括:
至少一个光学透明支撑件保持器,用于接收光学透明支撑件,该支撑件在使用中包括膜过滤器的样本部分;
样本数字照相机,当位于光学透明支撑件保持器中时具有至少包括至少一个载玻片的样本部分的视场,并且被配置为捕获膜过滤器的至少样本部分的至少一个宏观图像;
机器人显微镜平台,其包括:
相位对比显微镜;
电动XY台子,用于接收光学透明支撑件;
电动Z轴聚焦驱动器;
位于像平面中的图像传感器,被配置为捕获至少一个放大的相位对比图像;和
至少一个计算装置,其可操作地连接到样本成像装置和机器人显微镜平台,所述至少一个计算装置包括至少一个处理器和可操作地连接到处理器的存储器,并且计算装置被配置为执行权利要求1-19中任一项所述的方法。
21.如权利要求20所述的系统,其中所述至少一个计算装置包括本地计算装置和至少一个远程计算装置,本地计算装置或者直接连接到样本成像装置和机器人显微镜平台,或者连接在本地网络上,并且其中本地计算装置被配置为执行捕获步骤,并通过网络连接将在N个样本位置中的每一个处捕获的至少一个宏观图像和至少一个放大的相位对比图像提供给至少一个远程计算装置,并且远程计算被配置为执行分析步骤以及计数和报告步骤。
22.如权利要求20所述的系统,其中,样本成像装置中的光学透明支撑件保持器还包括:
位于光学透明支撑件保持器的基部中的颜色改变面板,支撑件保持器用于支撑光学透明支撑件,其中颜色改变面板具有暗表面以为被支撑的光学透明支撑件提供暗背景,并且还包括可切换光源以为被支撑的光学透明支撑件提供亮背景。
23.如权利要求22所述的系统,其中,样本成像装置中的光学透明支撑件保持器还包括:
位于颜色改变面板上并由颜色改变面板支撑的样本放置模版,其支撑光学透明支撑件保持器,以指示膜过滤器的优选位置。
24.如权利要求20所述的系统,还包括:
显微镜自动加载机,用于存储多个显微镜载玻片,并被配置为在电动XY台子中加载和卸载一个或多个显微镜载玻片。
25.一种样本成像装置,包括:
至少一个光学透明支撑件保持器,用于接收光学透明支撑件,该支撑件在使用中包括膜过滤器的样本部分;
样本数字照相机,当位于光学透明支撑件保持器中时具有至少包括至少一个载玻片的样本部分的视场;
至少一个计算装置,其可操作地连接到样本成像装置,并且包括至少一个处理器和可操作地连接到处理器的存储器,计算装置被配置为:
捕获被支撑并固定在光学透明支撑件上的膜过滤器的至少样本部分的至少一个宏观图像;
使用计算机视觉方法分析所述至少一个宏观图像,以确定膜过滤器的可计数区域和膜过滤器的可计数区域内的一个或多个排除区域,排除区域包括膜过滤器网格线、气泡和大颗粒物质中的一种或多种。
26.如权利要求25所述的样本成像装置,其中,光学透明支撑件保持器还包括:
位于光学透明支撑件保持器的基部中的颜色改变面板,支撑件保持器用于支撑光学透明支撑件,其中颜色改变面板具有暗表面以为被支撑的光学透明支撑件提供暗背景,并且还包括可切换光源以为被支撑的光学透明支撑件提供亮背景。
27.如权利要求25或26所述的样本成像装置,其中,光学透明支撑件保持器还包括:
位于颜色改变面板上并由颜色改变面板支撑的样本放置模版,其支撑光学透明支撑件保持器,以指示膜过滤器的优选位置。
CN201780078170.3A 2016-10-21 2017-10-20 用于对空气样本进行自动分析的系统和方法 Active CN110383038B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2016904291 2016-10-21
AU2016904291A AU2016904291A0 (en) 2016-10-21 System and method for performing automated analysis of air samples
PCT/AU2017/000227 WO2018071958A1 (en) 2016-10-21 2017-10-20 System and method for performing automated analysis of air samples

Publications (2)

Publication Number Publication Date
CN110383038A CN110383038A (zh) 2019-10-25
CN110383038B true CN110383038B (zh) 2022-09-23

Family

ID=62018637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780078170.3A Active CN110383038B (zh) 2016-10-21 2017-10-20 用于对空气样本进行自动分析的系统和方法

Country Status (9)

Country Link
US (1) US11079585B2 (zh)
EP (1) EP3529586B1 (zh)
JP (1) JP6975474B2 (zh)
CN (1) CN110383038B (zh)
AU (1) AU2017344741B2 (zh)
CA (1) CA3041103A1 (zh)
RU (1) RU2019115141A (zh)
WO (1) WO2018071958A1 (zh)
ZA (1) ZA201903150B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3067112B1 (fr) * 2017-06-02 2019-07-26 Xrapid France Procede et systeme de comptage automatise de fibres microscopiques dans un echantillon
CN109253954B (zh) * 2017-07-14 2022-12-23 株式会社堀场制作所 分析装置、系统、分析方法及存储介质
WO2019204854A1 (en) 2018-04-24 2019-10-31 First Frontier Pty Ltd System and method for performing automated analysis of air samples
DE102018217901A1 (de) * 2018-10-18 2020-04-23 Leica Microsystems Cms Gmbh Optimierung von Arbeitsabläufen von Mikroskopen
US10928297B2 (en) 2019-01-09 2021-02-23 University Of Washington Method for determining detection angle of optical particle sizer
WO2020210871A1 (en) * 2019-04-17 2020-10-22 Swinburne University Of Technology Chemical identification system
US11328485B2 (en) * 2019-08-23 2022-05-10 Tencent America LLC Method and apparatus for displaying an augmented-reality image corresponding to a microscope view
WO2021041082A1 (en) * 2019-08-23 2021-03-04 Nantcell, Inc. Performing segmentation based on tensor inputs
JP6995093B2 (ja) * 2019-09-05 2022-01-14 日本電子株式会社 試料プレートホルダ
CN111024696B (zh) 2019-12-11 2022-01-11 上海睿钰生物科技有限公司 藻类分析方法
CN110866918B (zh) * 2019-12-11 2022-04-05 上海睿钰生物科技有限公司 酵母分析方法
CN113570650B (zh) * 2020-04-28 2024-02-02 合肥美亚光电技术股份有限公司 景深的判断方法、装置、电子设备和存储介质
CN111781113B (zh) * 2020-07-08 2021-03-09 湖南九九智能环保股份有限公司 一种粉尘网格化定位方法及粉尘网格化监测方法
CN111766694A (zh) * 2020-07-20 2020-10-13 深圳市创能亿科科技开发有限公司 显微镜切片位置的采集方法和系统
JP7454706B2 (ja) * 2020-12-24 2024-03-22 シンテゴンテクノロジー株式会社 気泡識別装置、気泡識別方法及び異物検出システム
JPWO2023022117A1 (zh) * 2021-08-18 2023-02-23
CN113820184B (zh) * 2021-08-25 2022-06-14 中国科学院大气物理研究所 一种新型大气颗粒物采样器
GB2612829A (en) * 2021-11-12 2023-05-17 Ethos Enviromental Ltd A system for taking and analysing air samples

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4618938A (en) * 1984-02-22 1986-10-21 Kla Instruments Corporation Method and apparatus for automatic wafer inspection
US5205155A (en) * 1991-03-28 1993-04-27 Envirometrics, Inc. Air monitoring cassette
JP2007218641A (ja) * 2006-02-14 2007-08-30 Horiba Ltd アスベスト検出装置
EP1986155A2 (en) * 2007-04-25 2008-10-29 Riken Specimen analysis and acicular region analyzer
CN102313982A (zh) * 2010-07-02 2012-01-11 索尼公司 显微镜及区域确定方法
KR20120075836A (ko) * 2010-12-29 2012-07-09 국민대학교산학협력단 석면섬유 자동계수를 위한 고효율 현미경법 및 이에 사용되는 장치
KR20120129383A (ko) * 2011-05-20 2012-11-28 국민대학교산학협력단 석면섬유 자동계수 장치, 방법 및 그에 사용되는 슬라이드
CN104704416A (zh) * 2012-08-15 2015-06-10 卢西德股份有限公司 用于对组织进行成像的系统和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1316752A (en) * 1970-02-12 1973-05-16 Atomic Energy Authority Uk Apparatus for analysing suspended particles
US4940327A (en) * 1988-10-25 1990-07-10 Trc Companies Inc. Method and apparatus for real time asbestos aerosol monitoring
US5566249A (en) 1994-09-20 1996-10-15 Neopath, Inc. Apparatus for detecting bubbles in coverslip adhesive
EP1184659A1 (en) 2000-09-01 2002-03-06 ZAMBON GROUP S.p.A. Method and apparatus for the automatic detection and recognition of pollens
US7418118B2 (en) 2000-11-10 2008-08-26 Furnas Steven J Method and apparatus for diagnosing pathogenic or allergenic microorganisms or microparticles at a remote location
DE10355529A1 (de) 2003-11-21 2005-07-07 Carl Zeiss Jena Gmbh Stereomikroskop
US20050251347A1 (en) 2004-05-05 2005-11-10 Pietro Perona Automatic visual recognition of biological particles
US8254696B2 (en) 2007-03-07 2012-08-28 Drs Sustainment Systems, Inc. Systems and methods for detection of an airborne contaminant
CN104732199B (zh) 2008-07-17 2018-06-05 卢米耐克斯公司 用于配置分类矩阵中的分类区域的方法和存储介质
JP2011033472A (ja) * 2009-07-31 2011-02-17 Yukio Yanagisawa アスベスト繊維種同定装置、アスベスト繊維種同定方法、およびアスベスト繊維種同定プログラム
US8331620B2 (en) 2009-11-11 2012-12-11 Liberty Standard, Llc Apparatus, system, and method for automatic airborne contaminant analysis
US8558960B2 (en) 2010-09-13 2013-10-15 Semiconductor Energy Laboratory Co., Ltd. Liquid crystal display device and method for manufacturing the same
WO2016023009A1 (en) 2014-08-07 2016-02-11 Wake Forest University Health Sciences Compositions and methods for clearing a biological sample
US9851299B2 (en) * 2014-10-25 2017-12-26 Isle Management Co. Method of analyzing air quality

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4618938A (en) * 1984-02-22 1986-10-21 Kla Instruments Corporation Method and apparatus for automatic wafer inspection
US5205155A (en) * 1991-03-28 1993-04-27 Envirometrics, Inc. Air monitoring cassette
JP2007218641A (ja) * 2006-02-14 2007-08-30 Horiba Ltd アスベスト検出装置
EP1986155A2 (en) * 2007-04-25 2008-10-29 Riken Specimen analysis and acicular region analyzer
CN102313982A (zh) * 2010-07-02 2012-01-11 索尼公司 显微镜及区域确定方法
KR20120075836A (ko) * 2010-12-29 2012-07-09 국민대학교산학협력단 석면섬유 자동계수를 위한 고효율 현미경법 및 이에 사용되는 장치
KR20120129383A (ko) * 2011-05-20 2012-11-28 국민대학교산학협력단 석면섬유 자동계수 장치, 방법 및 그에 사용되는 슬라이드
CN104704416A (zh) * 2012-08-15 2015-06-10 卢西德股份有限公司 用于对组织进行成像的系统和方法

Also Published As

Publication number Publication date
WO2018071958A1 (en) 2018-04-26
US20190258046A1 (en) 2019-08-22
RU2019115141A (ru) 2020-11-23
US11079585B2 (en) 2021-08-03
EP3529586A1 (en) 2019-08-28
CA3041103A1 (en) 2018-04-26
JP6975474B2 (ja) 2021-12-01
AU2017344741B2 (en) 2019-06-20
CN110383038A (zh) 2019-10-25
JP2020502490A (ja) 2020-01-23
EP3529586B1 (en) 2024-03-20
AU2017344741A1 (en) 2019-05-23
EP3529586A4 (en) 2020-06-10
ZA201903150B (en) 2023-11-29

Similar Documents

Publication Publication Date Title
CN110383038B (zh) 用于对空气样本进行自动分析的系统和方法
US11774735B2 (en) System and method for performing automated analysis of air samples
JP6810505B2 (ja) 教師データ作成方法及び装置並びに欠陥検査方法及び装置
JP6767490B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
JP2019510963A (ja) マルチビューの特徴付けのための方法及び装置
CN105021628A (zh) 一种用于光纤倒像器表面缺陷的检测方法
CN106661764B (zh) 血凝抑制分析(hai)的自动化成像和分析
CN103698333B (zh) 一种自动定量分析煤岩光片裂隙的系统和方法
JP2022507678A (ja) 自動目視検査プロセスにおけるセットアップ段階の最適化
WO2020079694A1 (en) Optimizing defect detection in an automatic visual inspection process
AU2018101327B4 (en) System and method for performing automated analysis of air samples
Etzold et al. A novel approach towards standardizing surface quality inspection
CN108760755A (zh) 一种灰尘颗粒检测方法及装置
CN105928952B (zh) Aoi控制系统及其控制方法
KR101704690B1 (ko) 세포 분석 장치 및 방법
TW201809592A (zh) 自動化三維量測
Kos et al. Detection, localization and recognition of objects using LabVIEW
JP7440975B2 (ja) 撮像装置と識別方法
Kos et al. DETEKCIJA, LOKALIZACIJA I RASPOZNAVANJE OBJEKATA POMOĆU PROGRAMSKOG ALATA LABVIEW.
TW201632857A (zh) 曲面鏡片檢測方法
TW201606293A (zh) 檢測可透光材質表面圖像之方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant