CN108475328B - 用于实时化验监测的系统和方法 - Google Patents

用于实时化验监测的系统和方法 Download PDF

Info

Publication number
CN108475328B
CN108475328B CN201680077133.6A CN201680077133A CN108475328B CN 108475328 B CN108475328 B CN 108475328B CN 201680077133 A CN201680077133 A CN 201680077133A CN 108475328 B CN108475328 B CN 108475328B
Authority
CN
China
Prior art keywords
assay
sample
specimen
fluid
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680077133.6A
Other languages
English (en)
Other versions
CN108475328A (zh
Inventor
J.A.P.塞普维达
Y-H.程
S.杜吉特
L.A.钟斯
C-C.林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ventana Medical Systems Inc
Original Assignee
Ventana Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ventana Medical Systems Inc filed Critical Ventana Medical Systems Inc
Publication of CN108475328A publication Critical patent/CN108475328A/zh
Application granted granted Critical
Publication of CN108475328B publication Critical patent/CN108475328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G01N1/31—Apparatus therefor
    • G01N1/312—Apparatus therefor for samples mounted on planar substrates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Plasma & Fusion (AREA)
  • Vascular Medicine (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Sampling And Sample Adjustment (AREA)

Abstract

一种实时化验监测的系统和方法可以用于：针对补液控制监测化验中的试剂体积、实时监测化验以获得质量控制信息、在开发期间实时监测化验以检测可以用于缩短化验时间的饱和度、以及在所述化验完全使得反射测试能够自动开始之前提供化验结果。所述监测系统可以包括具有用于捕捉所述化验的图像的相机和光的实时成像系统。捕捉到的图像然后可以用于监测和控制化验中的着色过程的质量、提供早期化验结果和/或测量所述化验内的现场试剂体积。

Description

用于实时化验监测的系统和方法
相关申请
本公开要求2015年12月30日提交的美国临时专利申请No. 62/273,232和2016年12月6日提交的美国临时专利申请No. 62/430,826的权益，该两个美国临时专利申请通过引用并入本文中。
技术领域
本公开一般涉及用于实时化验监测的系统和方法。更特别地，本公开涉及用于在完成样本制备之前利用针对质量控制、重复测试和反射测试的实时化验监测的系统和方法。
背景技术
化验是可以被执行以测量与生物标本（例如以及分子阵列，组织切片或细胞制备）相关联的一个或多个性质的分析过程。在一些化验中，可以通过将一个或多个流体应用到标本来处理该标本以用于分析。例如，支撑生物标本的显微镜载玻片可以用一个或多个染料或试剂来处理以为原本透明或不可见的细胞或细胞组分增加颜色和对比度。免疫组织化学（IHC）和原位杂交（ISH）化验着色过程可以用于处理组织标本以及提供关于样本中的特定分子的存在、位置和/或数目的信息。
化验和平台开发以及商业化验测试在时间和资源方面可能是昂贵的，特别是当测试失败并且必须重复测试时。就目前来说，正在经历化验的标本的组织着色质量仅在完成该化验之后由病理学家来评价，并且在标本离开化验处理平台前，该病理学家不能对载玻片进行任何访问。对于ISH化验该过程花费多达13个小时。在化验和平台开发期间，可以重复执行相同的实验条件以产生结果，该结果然后仅在完成该化验之后再次由病理学家来评价以确保针对该化验的一致的成果。关于着色过程中的任何失败是在何地和何时发生的信息对病理学家来说是未知的，并且由平台开发者来运行整个一套化验以便找出需要被校正的失败的根源。
实验室可以使用在样本处理期间解决着色质量控制信息的有限可用性的解决方案，使得万一问题出现，可以开始新的测试或可以通过执行一些补救过程来挽救珍贵的样本。附加地，如果可以监测化验使得它们不比所需要的运行更长的时间，或者甚至更好的是如果可以在化验完成之前得到可用的初步结果将是有利的。初步结果不仅可以允许实验室通过仅以在所需要的时间来运行测试以提高效率，还可以允许实验室（或医疗保健提供者）命令/开始由这种初步测试结果指示的附加测试。依赖于完整测试结果来诊断他们的状况的患者还会感激比第一次结果更快的时间，并感谢避免了需要提供用于测试的额外样本（假设这甚至是可能的）。
发明内容
本公开针对提供化验成果和着色质量的电子结果的数字病理工具，在一些实施例中，在化验早期提供的化验成果和着色质量的电子结果使得可以比需要由病理学家读取样本以确定测试质量的情况快的多地解决问题和/或开始新的样本。在一个实施例中，数字病理工具可以包括具有自动化评分的实时监测系统，该自动化评分可以对来自化验的载玻片进行评分。在特定的实施例中，实时监测系统可以提供“饱和指数”，该饱和指数是与信号强度分数相关联的分数。通过实时提供饱和指数，实时监测系统可以用于在化验正在发生的同时实时评价化验质量。在实时监测系统中饱和指数的生成可以是自动化的，并用于各种化验监测应用，诸如，当化验正在发生的同时利用各种方案对化验进行监测。附加地，在化验完成之前可以实时获得化验成果的结果（载玻片是“盖有盖玻片的”），并且然后由病理学家检查。
附图说明
本专利或申请文件包含以彩色执行的至少一个附图。具有（一个或多个）彩色附图的本专利或专利申请公开的拷贝将根据请求和必要费用的支付由官方来提供。
图1示意性地示出了实时化验监测系统的实施例。
图2示出了针对由图1描绘的实时化验监测系统的成像系统和样本处理系统的实施例。
图3示意性地示出了针对由图1描绘的实时化验监测系统的控制器的实施例。
图4示出了针对边界检测而使用的示例性图像。
图5示出了针对边界检测而使用的另一个示例性图像。
图6示出了用于确定针对化验的调整流体的量的过程的实施例。
图7A示出了针对图2的系统中的流体的第一位置。
图7B示出了针对图2的系统中的流体的第二位置。
图7C示出了针对图2的系统中的流体的第三位置。
图7D示出了针对图2的系统中的流体的第四位置。
图8示出了由实时调整系统显示的图形用户界面（GUI）的示例性屏幕截图。
图9示出了用于监测化验的过程的实施例。
图10示出了HSV颜色模型的实施例。
图11示出了具有所选择的感兴趣的区的捕捉到的图像的实施例。
图12示出了与图11中的感兴趣的区相对应的矩阵值的实施例。
图13示出了信号强度分数与饱和指数之间的关联的示例性曲线图。
图14示出了信号强度分数与明度指数（value index）之间的关联的示例性曲线图。
图15示出了随着时间的标本的饱和指数的示例性曲线图。
图16示出了随着时间的标本的饱和指数的另一个示例性曲线图。
图17示出了用于监测系统中的着色的图像分析过程的实施例。
图18示出了针对随后转换到灰度的颜色空间转换的若干不同方案的结果的示例。
图19示出了随后转换到灰度的颜色空间转换的若干方案的比较。
图20示出了利用通过视觉病理评分的强度评分使用用于基于饱和度的着色强度评分的所公开的自动化实时方法而获得的结果的比较。
图21示出了利用通过视觉病理评分的强度评分使用用于基于颜色空间转换和灰度转换的着色强度评分的所公开的自动化实时方法而获得的比较结果。
图22示出了所公开的灰度强度指数与抗体孵育时间的关系。
图23示出了用于针对CD20 IHC化验的阳性细胞百分比的实时计算的所公开的自动化方法。
图24示出了用于多重化验中的不同着色颜色的实时分离的所公开的自动化方法。
尽可能地遍及附图而使用相同的参考编号以指代相同或相似的部分。
具体实施方式
本申请一般涉及实时化验监测系统（RTAMS），该实时化验监测系统可以监测化验中的流体体积以用于体积调节控制、实时监测着色过程质量和/或实时输出测试结果。在一个实施例中，所公开的系统包括用于获得正在经历处理步骤（诸如，着色、脱色、发蓝或分化）的样本的图像以计算与信号强度分数相关的饱和指数的实时成像系统。RTAMS可以使用经计算的饱和指数以实时监测化验的信号强度并在完成化验成果之前监测化验成果。RTAMS中的成像系统可以用于利用样本来测量现场流体体积以控制该系统克服在化验过程中可能发生的任何流体蒸发问题。还可以应用RTAMS中的成像系统以例如通过跟踪（一个或多个）组织颜色和其他基于图像的特性中的变化来检测化验，以便预测化验成果或结果。利用在化验正在进行的同时监测化验的能力，RTAMS可以是用于开发新的试剂、化验或平台的开发工具。还可以针对质量保证来实时跟踪组织、载玻片和着色质量，以及在该过程早期被警告的用户使得可以采取补救措施。此外，RTAMS可以充当诊断工具，从而实现和支持在完成化验之前提早对患者结果进行数字报告，并且甚至如他们所开发的那样基于该结果命令重复或反射测试。RTAMS还可以充当数字病理工具以支持提早对化验结果进行电子报告，并且在一些实施例中可以替代用于分析所完成的化验结果的扫描仪的使用。
所公开的系统和方法的某些实施例的一个方面是通过监测和控制化验成果来确保着色质量。
所公开的系统和方法的某些实施例的另一个方面是这样的能力：在完成化验之前实时提供更快的着色质量结果，以及允许通过警告用户可能的质量问题来补救任何质量问题，或甚至自动命令第二测试以使得命令这种测试不要求时间上的延迟以便病理学家由于完成的化验中明显的质量问题而读取测试结果并请求测试。
所公开的系统和方法的某些实施例的另一个方面是优化新开发的试剂、化验和平台以提供花费更少时间或可以在被充分地开发时自动停止从而缩短“运行中”的化验时间的化验方案的能力。
所公开的系统和方法的各种实施例的其他特征和优势将根据经识别的实施例的以下更详细的描述连同以示例的方式示出本公开的原理的附图而显而易见。
图1示出了实时化验监测系统10的实施例。系统10包括可以用于控制成像系统15和样本处理系统21的控制器12。在一个实施例中，样本处理系统21可以使用具有低流体体积的薄膜技术，然而，在其他实施例中，样本处理系统21可以使用其中试剂可以被直接应用到组织或细胞样本可以被放置在其上的诸如载玻片之类的基底上的“水坑”技术。在如图1中所示出的一个实施例中，一个控制器12可以用于控制成像系统15和样本处理系统21的所有组件。然而，在其他实施例中，控制器12可以包括控制成像系统15和/或样本处理系统21的一个或多个组件的多于一个的控制器。控制器12（以及其他分布式控制器）可以通过网络连接到成像系统15（其可以包括相机14、以及一个或多个前光源16和后光源18）和样本处理系统21（其可以包括例如一个或多个流体运动机构20、流体交换系统22和流体分配系统24）。在一个实施例中，将控制器12与成像系统15和样本处理系统21连接的网络可以是使用以太网协议以通过网络进行通信的局域网（LAN）。然而，在其他实施例中，该网络可以是互联网、内联网、广域网（WAN）或当使用互联网时使用诸如传输控制协议/互联网协议（TCP/IP）之类的一个或多个通信协议的任何其他类型的通信网络。在进一步的实施例中，相机14可以使用GigE视觉接口连接到控制器12，但是在其他实施例中，相机14可以使用诸如USB视觉或相机链接接口之类的其他类型的接口连接到控制器12。还有在另一个实施例中，控制器12可以与其他控制器和工作流程控制软件系统解决方案连接，例如连接到用户警报系统26或自动化测试命令系统26。控制器12可以进一步与其他互联网应用和成像应用连接和接合。
图2示出了图1的实时化验监测系统10的成像系统15和样本处理系统21的特定实施例。成像系统15可以包括如图2中所示出的相机14以及前光源16和后光源18。然而，在其他实施例中，成像系统15可以包括多于一个的相机14、多于一个的前光源16以及多于一个的后光源18。在一个实施例中，成像系统15的组件中的一些或全部可以安装在样本处理系统21上。成像系统15可以用于照亮或捕捉样本处理系统21中的一个或多个样本的图像。样本处理系统21可以包括用于移动样本和流体交换系统22中的流体的流体运动机构20，流体交换系统22具有用于向样本添加流体的流体分配器24（见图1，图2中未示出）和用于从样本中移除流体的流体移除设备（未示出），流体分配器24和流体移除设备一起充当流体交换系统22（如图1中所描绘的）。在一个实施例中，流体运动机构20可以包括滚轴。然而，在其他实施例中，样本处理系统可以不包括流体运动机构20。流体运动机构20（在图2中示意性地示出）可以包括具有正在经历化验的一个或多个样本50的一个或多个着色盒（未示出）。在其他实施例中，样本处理系统21可以包括多于一个的流体运动机构20和多于一个的流体交换系统22。可以与本申请一起使用的样本处理系统的示例在下述文献中进行了描述：在2015年11月12日公开的标题为“Specimen Processing Systems and Methods for HoldingSlides”的共同转让的美国专利申请公开No. 2015/0323776以及在2014年11月11日授权的标题为“Apparatus and Method for Biological Sample Processing”的共同转让的美国专利No. 8,883,509，其通过引用并入本文。
由样本处理系统21中的盒所保持的样本50中的每一个可以包括保持要由化验来分析的一个或多个标本54的载玻片52。图2中的示出的样本50是用于示出样本中的组分的化验样本的示意性表示，并且不意图提供关于该组分的相对大小的任何细节。可以利用流体交换系统22将诸如试剂和/或着色剂之类的一个或多个流体56应用到标本54和/或将其从标本54移除。在一个实施例中，试剂和/或着色剂56可以包括但不限于：抗体稀释液、蛋白酶3、反应缓冲液、系统流体、HRP（辣根过氧化酶）抑制剂、抗体、HQ连接物、HRP多聚体、过氧化氢、DAB（3,3'二氨基联苯胺）、铜试剂、苏木精（HTX）、探针试剂和发蓝剂。然后，盖子58可以被放置在标本54和试剂和/或着色剂56的上面。在一个实施例中，盖子58可以是透明或半透明的固体塑料或丙烯酸，但是可以具有不同的颜色色彩，例如在其他实施例中的黄色色彩。在进一步的实施例中，盖子58还可以是透明的流体。
相机14可以被放置在样本50上面的预定距离（d）处，使得样本50处于相机14的视场（FOV）内。在一个实施例中，相机14可以是具有全局快门以防止运动目标（即，试剂和/或着色剂56）的失真的区域扫描相机。然而，可以在其他实施例中使用其他类型的相机。
相机14可以是具有35mm固定焦距镜头的1600×1200像素（200万像素，2MP）的相机，其具有988×740mm的视场与大约61.25μm/pixel的分辨率。然而，在其他实施例中，相机14可以具有多于或少于200万的像素、多于或少于35mm的固定焦距镜头、多于或少于988×740mm的视场、和/或多于或少于约61.25μm/pixel的分辨率。还有在另一个实施例中，相机14可以具有0.16mm或更低的像素尺度（或分辨率）。在进一步的实施例中，相机14可以使用具有较小的FOV而不是更的高分辨率的50mm固定焦距镜头。
在针对样本50上面的相机14的放置的预定距离可以基于相机14的分辨率和在相机14的视场中要捕捉的样本50的数目。在一个实施例中，预定距离可以是19.5英寸以捕捉三个样本50。然而，可以在其他实施例中使用其他预定距离。在另一个实施例中，如果要捕捉多于三个样本50，则相机14可以使用具有增加的尺寸的像素阵列和具有减少的焦距的镜头以维持相同的图像质量。
前光源16和后光源18可以各自生成用于照亮样本50的白光。在一些实施例中，前光源16和/或后光源18可以被组装到灯中以用于与照明器材一起使用。作为示例，光源可以由白炽灯泡、发光二极管（LED）或荧光灯来实现。然而在其他实施例中，其他类型的光源和其他类型的光是可能的。如图2的实施例中所示出的，前光源16可以定位在相机14视场中并且直射光（L1）朝向样本50的一侧，而后光源18可以定位在相机14的视场之外并且直射光（L2）朝向样本50相对侧。在其他实施例中，前光源16和后光源18中的一个或两者可以处于相机14的视场内或相机14的视场之外。
图3示出了控制器12的实施例。控制器12可以包括本文中被称作“控制器逻辑”的逻辑31，逻辑31一般用于控制包括与成像系统15和样本处理系统21进行通信的控制器12的操作。控制器12还包括用于确定与样本50一起使用的流体（例如，试剂和/或着色剂56）的量的体积估计器37、用于分析来自成像系统15的图像的图像分析器33、以及用于基于来自体积估计器37的信息而利用流体交换系统22来确定要将多少试剂和/或着色剂56应用于样本50的分配器体积计算器35。控制器逻辑31、图像分析器33、分配器体积计算器35和体积估计器37可以在软件、硬件、固件或其任何组合中实现。在图3中示出的控制器12中，控制器逻辑31、图像分析器33、分配器体积计算器35和体积估计器37以软件方式实现且被存储在控制器12的存储器38中。要注意的是，当以软件方式实现时，控制器逻辑31、图像分析器33、分配器体积计算器35和体积估计器37可以在任何非暂时性计算机可读介质上存储或传输，以用于由可以取得和执行指令的指令执行装置来使用或与该指令执行装置连接。
控制器12可以包括至少一个常规处理元件40，其具有用于执行存储在存储器38中的指令的处理硬件。作为示例，处理元件40可以包括中央处理单元（CPU）或数字信号处理器（DSP）。处理元件40经由可以包括至少一个总线的本地接口42来与控制器12内的其他元件进行通信并驱动控制器12内的其他元件。此外，输入接口44（例如，小键盘、键盘或鼠标）可以用于输入来自控制器12的用户的数据，并且输出接口46（例如，打印机、监视器、液晶显示器（LCD）或其他显示装置）可以用于向用户输出数据。进一步地，通信接口48可以用于通过一个或多个网络与例如前光源16、后光源18、相机14、流体运动机构20和流体交换系统22交换数据。
成像系统15可以用于获得样本50的质量图像以用于图像分析、体积计算和化验感测。在一个实施例中，相机14可以具有足够的分辨率（或每像素距离）和对比度来捕捉样本50中的标本54和流体边缘。在其他实施例中，相机14可以具有更高的分辨率（即，更低的每像素距离），以及具有更小的视场以更详细地捕捉样本50的图像的镜头。成像系统15可以用于流体体积感测。当感测或测量流体体积时，成像系统15可以使用前光源16和后光源18以使流体边界明亮，以使得控制器12即使在标本54具有与其相关的颜色时可以把流体（例如，试剂和/或着色剂56）与背景中的标本54区分开。在如图2中示出的实施例中，后光源18可以被放置在相机14的视场之外以提供暗场成像，以使样本50中是流体边界或边缘明亮，因此流体边缘或边界具有暗背景与正常背景的强烈的对比度。附加地，通过使用暗场成像，还可以解决若干其他问题，诸如来自阴影或阻挡光源的移液管的干扰。在另一个实施例中，前光源16和后光源18定位在样本50周围以提供对样本50的均匀照明，使得由控制器12使用来自成像系统15的图像进行的任何确定不由于灯光而有偏差或歪斜。在进一步的实施例中，可以由成像系统15通过在相机14的视场中放置前光源16来使用亮场成像。
实时化验监测系统10可以作为实时流体调整系统（RTFAS）而使用，以跟踪样本50中的流体（例如，试剂和/或着色剂）体积并确定要由流体交换系统22（如果有的话）向样本50添加或从样本50中移除的流体的量。RTFAS可以使用成像系统15、图像分析器33、体积估计器37、分配器体积计算器35、流体交换系统22和来自流体运动机构20的位置信号。当流体运动机构20发信号通知控制器12是进行测量的时候时，控制器12将对来自成像系统15的（一个或多个）图像执行帧检查并向流体交换系统22建议来自分配器体积计算器35的调整量，从而形成反馈控制回路。在另一个实施例中，可以向用户界面提供来自分配器体积计算器35的调整量并且用户然后可以控制流体交换系统22以向样本50提供试剂和/或着色剂56。
在RTFAS的一个实施例中，基于运动的前景检测用于监测透明流体的边界，以及颜色阈值化前景检测用于检测着色剂或有色试剂（例如，苏木精）的边界。由RTFAS使用的边界检测方法论可以使用流体（目标）的明显的特征以用于边界检测以及诸如改变标本颜色或标本54中随机组织图案的存在之类的各种条件下的工作。
针对透明流体，运动可以是最明显的特征，这是因为透明流体是仅有的在视场中移动的部分。在一个实施例中，高斯混合模型前景检测算法可以由RTFAS使用以用于透明流体的边界检测。图4示出了由用于边界检测的高斯混合模型前景检测算法生成的示例性图像。在高斯混合模型前景检测算法中，可以提取位于液滴的右边和左边的流体液滴（图2的56）的两个边界以计算流体体积。
为了识别着色剂或有色试剂（例如，苏木精）的边缘或边界，由于流体独特的颜色特征，可以使用颜色阈值化前景检测算法。颜色阈值化前景检测算法可以用于边界检测，即使标本54在着色过程期间可以得到与试剂和/或着色剂56相似的颜色，这是因为试剂和/或着色剂56的强度仍远强于标本54，使得该算法可以把试剂和/或着色剂56与标本54的经着色的组织区分开。颜色阈值化前景检测算法可以将从成像系统15捕捉到的图像转变为HSV（色调、饱和度以及明度）彩色图（见图12）以用于选择适当的色调范围以提取试剂和/或着色剂56的区。图5示出了由用于甚至在流体56和（图2的）组织样本54具有相似的颜色时对（图2的）流体56进行边界检测的颜色阈值化前景检测算法生成的示例性图像。使用颜色阈值化前景检测算法，可以提取试剂的区域并且可以从所提取的区域计算流体体积。
参考回到图1，控制器12可以连接到相机14以从相机14中接收所获得或所捕捉的图像。控制器12还可以连接到与流体运动机构20相关联的数字I/O设备以接收着色盒中的样本50的样本位置的数字信号指示。利用图像和位置信号，RTFAS可以执行图像分析、误差校验以及用于建议适当的调整体积的体积计算。在一个实施例中，以在相同的样本位置处捕捉来自相机14的图像并且然后对其进行分析以实现一致的结果。在另一个实施例中，可以在彩色或灰度图像上执行图像分析。
图6示出了用于利用RTFAS确定调整流体的量的过程的实施例。该过程由通过设置诸如曝光、亮度和增益之类的参数来配置相机14（步骤102）而开始。然后可以配置I/O设备（步骤104）。在已经配置了相机14和I/O设备之后，从相机14获得图像（步骤106）。可以由图像分析器33将前景检测算法应用于捕捉到的图像（步骤108）以识别流体边界。在一个实施例中，为了通过机器学习来识别图像背景，可以持续地向图像分析器33提供图像或视频。图像分析器33（见图3）可以从所处理的图像中移除任何噪声（步骤110）。然后做出I/O信号检查以确定是否已接收到指示用以进行流体测量的适当的样本位置的信号（步骤112）。如果适当的I/O信号还未被接收，该过程返回至步骤106以获得另一个信号。
每一次在步骤106中获得用以识别样本50（见图2）中的试剂和/或着色剂56的位置的图像或帧时，可以获得如由I/O信号提供的样本位置。可以由（图1的）流体运动机构20中的步进电机位置来确定样本位置，流体运动机构20移动着色盒和样本50并从而移动样本50中的试剂和/或着色剂56。在一个实施例中，步进电机位置和对应的样本位置可以离中心位置+4500左右（这指示了与载波片50的右端处的试剂和/或着色剂56相对应的一个端部位置（见图7B））和-4500左右（这指示了与载玻片50的左端处的试剂和/或着色剂56相对应的另一个端部位置（见图7A））。用于进行测量的适当的样本位置可以是当试剂和/或着色剂56位于载玻片52的中心处时的位置。图7C示出了当试剂和/或着色剂56在图7C中从右向左移动时处于与中心位置相对应的样本位置0处的试剂和/或着色剂56，其中样本位置不与处于载玻片52中心的试剂和/或着色剂56相对应。由于试剂和/或着色剂56在样本50中移动，取决于试剂和/或着色剂56的行程方向和粘性，适当的样本位置将处于相对于载玻片中心（其对应于样本位置0）的预定位置。在如图7D中所示出的一个实施例中，当试剂和/或着色剂56在样本50中从右向左移动时，试剂和/或着色剂56处测量点处（即，试剂和/或着色剂56处于载玻片的中心，在样本位置-300处）。图7A-7D所示出的实施例是用于示出相对于样本位置的试剂和/或着色剂56的位置的示意性表示，并且不意图提供关于组件的相对大小的任何细节。
如上面所描述的，试剂和/或着色剂56可以落在样本位置中心的后面，所以应当在稍微偏离样本位置的中心点进行该测量。例如，当获得流体运动机构20的中心点处的图像时，当试剂和/或着色剂56向右行进时，试剂和/或着色剂56的大部分可以处于中心点的左手边；当试剂和/或着色剂56向左行进时，试剂和/或着色剂56的大部分可以处于中心点的右手边。在一个实施例中，RTFAS可以用于表征流体运动机构20与试剂和/或着色剂56的运动之间的关系，以便理解试剂和/或着色剂56是怎样以不同的滚动速度和滚动体积而滚动的，以及以便研究在滚动操作期间具有不同粘度的不同试剂是怎样表现的，因为RTFAS可以获得某些样本位置处的图像，。
在一个实施例中，RTFAS可以周期性地检查样本位置。生成I/O信号的流体运动机构20中的检测机构可以确定当从样本位置+4500移动时该样本位置是否经过样本位置-300。如果样本位置处于-300与+4500之间，则检测机构可以将I/O信号调整到“1”并且在其他位置时将I/O信号调整到“0”。RTFAS可以记录或存储I/O信号，并且如果先前的I/O信号等于1且当前的I/O信号改变为0，则RTFAS知晓试剂和/或着色剂56正从+4500的样本位置移动且刚刚跨过-300的样本位置，其对应于正处于针对测量的适当的位置中的试剂和/或着色剂56。在另一个实施例中，检测机构可以发送对应于样本位置的信号，并且RTFAS可以评价来自检测机构的信号以确定来自该信号的对应样本位置是否处于样本位置的预定位置的预定范围内。例如，如果当试剂和/或着色剂56在样本50中从左向右移动时样本位置处于约-200与-400之间，则RTFAS可以指示正I/O信号。
参考回到图6，如果接收到指示适当的样本位置的I/O信号，则流体体积由体积估计器37来计算（步骤114）。在一个实施例中，试剂和/或着色剂56的体积可以基于系统（或“ARC”）几何和所测量的流体带宽或长度（即，所检测的流体边界之间的距离）来计算。在一个实施例中，经计算的体积可能必须要被校准以计及在体积计算中使用的假设和/或可能影响计算精确度的其他可能的问题。然后执行帧检查（步骤116）以确定该帧和对应的体积计算是否是可接受的。帧检查可以检查诸如过多的体积变化之类的差错并检查诸如阻挡视场的移液管之类的其他异常帧条件。如果该帧或体积计算是不可接受的，即存在与该帧或体积计算相关联的差错或异常，则该过程返回至步骤106以获得另一个图像。如果该帧和体积计算是可接受的，则由分配器体积计算器35来计算调整量（步骤118），并且该过程返回至步骤106以获得另一个图像。
在一个实施例中，仅当根据具有如可以由图3的图像处理分析器33评判的透明流体边界的满意的图像或帧完成体积计算时，才应当确定调整量。在着色过程期间，可以发生若干不同类型的事件，该若干不同类型的事件可以影响体积估计的精确度并从而影响调整量的计算。例如，在移液管臂行进通过视场的情况下的帧可以产生过度计算的体积。为了克服关于精确体积估计的问题中的一些，计算帧中的明亮像素的比例作为步骤116中的帧检查的部分，以确保当明亮像素表示多于该帧的50%时不计算调整量。换言之，可接受的帧在该帧中具有少于50%的明亮像素。
在另一个实施例中，当流体边界的一部分不在视场中时，精确的体积计算不能发生。例如，当试剂和/着色剂56具有更大的体积（诸如，200μL或更多）并正以高速（诸如，大于100mm/s）移动时，流体边界可能超出范围（即，不在视场中）。在进一步的实施例中，当步骤108的前景分析不能提供正确的流体边界时，精确的体积计算不能发生。在上面两个实施例中，RTFAS可以将先前的体积与当前的体积进行比较。如果两个体积之间存在大的差距，RTFAS可以等待直到下一个测量点以确定当前的体积。换言之，当两个所计算的体积之间存在较的差距时，步骤116中的帧检查可以拒绝体积测量并将该过程返回至步骤106以获得新的图像。
在一个实施例中，RTFAS可以为用户提供用户界面以监测图6的过程。图8示出了由RTFAS显示的用户界面的示例性屏幕截图。由RTFAS显示的用户界面140可以包括用于在图6的过程中向用户提供信息的四个面板。第一面板142示出了由相机14获得的当前图像。第二面板144示出了使用高斯混合模型或颜色阈值化方法检测的前景。第三面板146示出了基于所检测的前景的经计算的（随着时间的）当前体积。第四面板148示出了基于用户输入目标体积、偏移体积和测量体积的（随着时间的）经计算的调整量。如图8的第三面板146中所示出的，由于在120秒的滚动期间试剂和/或着色剂56的蒸发，可以观察到大约8μL的所测量的体积的减少。
RTFAS可以针对试剂和/或着色剂56中的气泡的形成进行检测并且可以针对步骤114中的体积计算中的气泡的存在进行补偿。如果体积计算未针对气泡的存在进行补偿，则该体积计算可能被高估，这是因为在试剂和/或着色剂56中形成的气泡将增加所测量的流体带宽。在一个实施例中，当在样本50中正使用抗体稀释剂时，可能在试剂和/或着色剂56中形成气泡。
在一个实施例中，流体内部的气泡的圆形形状可以用于针对气泡的存在进行检测，以及然后针对气泡进行补偿。循环检测方案可以用于识别所获得的图像的所检测的前景中的任何气泡。通过计算图像中的气泡的数目并针对气泡给出适当的体积补偿，可以在试剂和/或着色剂56中存在气泡的情况下更精确地测量试剂和/或着色剂56的体积。
在一个实施例中，RTFAS可以在大约0.06秒内执行图像获取、样本位置获取和图像分析，并将具有大约每秒16帧的帧速率。处理时间可以基于用于执行图像分析的编程语言和用于执行图像分析的计算机的性能。通过使用更有效率的编程语言或更好的执行计算机，可以获得处理时间上的改进。
实时化验监测系统10还可以用于针对化验来计算饱和指数，该饱和指数对应于由化验完成时利用显微镜分析化验结果的病理学家给出的信号强度分数。诸如饱和指数之类的经计算的指数可以从组织标本上的颜色中的变化中获得。在其中色原颜色在反应期间（例如，在DAB沉积期间）沉积在样本标本上并且其他颜色吸收（例如在多重化验中使用的例如染料和荧光团）的反应期间捕捉颜色中的变化。因此，系统10可以实时监测并测量反应的指数。此外，经计算的饱和指数可以用于实时监测针对样本50的着色过程。在2013年11月14日公开的标题为“Hematoxylin Staining Method”的共同转让的美国专利申请公开No.2013/0302852中描述了可以与本申请一起使用的着色过程的示例，该申请通过引用并入本文。
图9示出了用于监测化验的着色过程的过程的实施例。该过程由通过设置诸如曝光、亮度和增益之类的参数来配置相机14（步骤182）而开始。在已经配置了相机14之后，从相机14中获得图像（步骤184）。每个所获得的图像可以由具有表示针对每个像素的颜色的值的矩阵组成。在一个实施例中，可以使用HSV（色调、饱和度、明度）颜色模型。然而，在其他实施例中，可以使用诸如RGB（红、绿、蓝）、L*A*B*或YCbCr之类的不同颜色模型。针对HSV颜色模型，色调指数以数字的形式提供关于标本54的颜色的信息，饱和指数提供关于着色的深和浅的信息，明度指数（有时被叫做亮度指数）还提供关于着色的明/暗信息。图10示出了HSV颜色模型的实施例。如图10中所示出的，色调指数（或值）表示颜色，接近0的饱和指数（或值）指代接近白色的非常浅的颜色，以及接近0的明度指数（或值）指代接近黑色的非常暗的颜色。当饱和指数和明度指数各自均到达峰值时，获得“纯色”。
参考回到图9的过程，可以在捕捉到的图像中选择感兴趣的区（ROI）（步骤186）。如图11中所示出的，盒202可以被定位以对应于针对所获得的图像中的感兴趣的区（ROI）而选择的。在一个实施例中，可以在正由用户或由系统10自动着色的组织的区中选择ROI。在另一个实施例中，可以针对来自一个样本50的每个所获得图像来选择相同或不同的ROI。在ROI内，图像具有表示针对如图11中所示出的每个像素的局部强度的数字或指数。与ROI中的像素相对应的不同强度的阵列可以被分析并彼此进行比较。在一个实施例中，可以根据已被放置在不同载玻片上的组织活检的相同位置而建立ROI。来自不同载玻片的ROI的阵列可以在化验过程之前或在化验过程期间彼此进行比较以提供基线。一旦建立了基线，所处理的样本的ROI的阵列之间的任何差异和基线被引导到化验过程的结果。可以计算针对所选择的ROI的饱和指数和信号强度分数（步骤188）。可以使用预定义的关联将经计算的饱和指数转换成信号强度分数。图13示出了信号强度分数与饱和指数之间的关联的曲线图。在一个实施例中，通过利用不同的抗体和DAB孵育时间执行着色过程并就在着色过程结束之前针对每个着色过程记录饱和指数，可以实验性地产生信号强度分数与饱和指数之间的关联。可以针对信号强度分数然后向病理学家提供每个着色过程的结果，该信号强度分数然后与所记录的饱和指数相关联。
在另一个实施例中，可以使用明度指数而不是饱和指数以生成信号强度分数。图14示出了信号强度分数与明度指数之间的关联的曲线图。在一个实施例中，通过利用不同的抗体和DAB孵育时间执行着色过程并就在着色过程结束之前针对每个着色过程记录明度指数，可以在实验上得到信号强度分数与明度指数之间的关联。然后可以针对信号强度分数向病理学家提供每个着色过程的结果，该信号强度分数然后与所记录的明度指数相关联。还有在另一个实施例中，饱和指数和明度指数两者都可以用于生成对应的信号强度分数。在进一步的实施例中，当通过多重着色过程来使用多个颜色以区分相同标本中的多个化验目标时，色调指数可以用于颜色检测，因为相似的颜色被编码成在数值上彼此接近。
经计算的信号强度分数可以用于评估标本的着色（步骤189）。在着色过程仍在进行中时，经计算的信号强度分数可以用于确定着色过程是否如所期望的那样继续进行。然后可以做出关于化验是否已经完成或是否应当停止或被修改的确定（步骤190）。如果因为指定的孵育时间已经过去因此化验已完成，或者如果因为信号强度分数指示关于着色过程的问题因此化验应当停止或被修改，则该过程结束，否则该过程返回至步骤184以获得另一个图像。
在一个实施例中，实时化验监测系统10可以用于确保组织着色均匀性。系统10可以将标本区域分割成不同的ROI并比较它们的饱和指数。如果存在饱和指数减少或增加的趋势，则可能存在着色信号强度的梯度（这出现在非均匀着色样本的情况下）。当执行饱和指数比较时，可以将饱和指数值归一化到载玻片背景以确保不会从局部照明条件中的差异中获得饱和指数差异。
在另一个实施例中，实时化验监测系统10可以用于优化化验方案。例如，实时化验监测系统10可以针对抗体孵育时间优化以大约每分钟一帧/或更少来实时监测饱和指数，同时维持针对每个样本的DAB孵育时间相同。如图15中所示出的，16分钟的抗体孵育时间导致饱和指数在DAB颜色反应期间的两分钟后处于0.7以上，这指示16分钟的抗体孵育时间导致了用于着色质量测量优化的所期望的信号强度。如果抗体孵育时间被缩短到8分钟，则DAB颜色反应期间的饱和指数仅可以在0.68左右饱和。进一步地，如果抗体孵育时间被缩短到3分钟，饱和指数仅可以达到0.66左右。在另一个示例中，实时化验监测系统10还可以针对DAB/H2O2孵育时间优化以大约每分钟一帧来实时监测饱和指数，同时维持针对每个样本的抗体孵育时间相同。如图16中所示出的，针对仅一分钟的DAB孵育示出了饱和指数刚好在饱和指数处于急剧增加的区域中时停止，如由其他样本所证实的那样。针对15分钟的DAB孵育，饱和指数在6分钟之后上升到0.7以上，并且可以指示额外几分钟的DAB孵育时间是不必要的。最后，6-8分钟的DAB孵育时间可以提供更好的结果，这是因为允许信号随着时间饱和并且还存在大约2-4分钟的时间余量以确保信号饱和。来自不同化验方案的饱和指数中的差异示出了实时化验监测系统10可以用于优化诸如抗体孵育时间和/或DAB孵育时间之类的化验方案。
在一个实施例中，系统10可以辨别并测量化验色原反应期间颜色中的变化。系统10可以辨别颜色的存在和缺失，从而确定颜色的类型并区分强度和亮度。通过测量化验色原反应期间颜色中的变化，系统10可以用于化验和平台开发，并扩展到质量控制监测和工作流程监测。
在另一个实施例中，系统10可以被装备成实时提供着色质量的评分评估。在完成化验之前，着色质量分数提供化验性能和着色结果的洞察。随着系统10计算从数字图像中获得的结果，可以出于各种目的来电子地存储和/或报告初步分数。初步分数可以通过提供着色质量的评估、化验的初始结果、以及测试情况的初步诊断评估来帮助病理学家和技术人员。因此，系统10可以作为数字病理工具而使用，该数字病理工具实现并支持在化验过程完成之前向病理学家提早数字报告患者结果。此外，遍及化验过程而收集的数据还可以被存储为载玻片的条形码的部分，作为工作流程解决方案的部分。系统10可以用于维持保持在着色平台之外的基于云的工作流程软件上可访问化验工作流程的记录。
在进一步的实施例中，系统10可以作为化验和试剂开发工具而使用。作为开发工具，系统10可以基于针对色原、试剂或抗体开发的实验性测试来测量并简档化与颜色变化相联系的测量参数。测量结果可以有助于基于病理学家评分准则来确定最佳的试剂、抗体、色原和复染孵化时间。由系统10提供的测量结果使得能够确定抗体、色原检测和复染试剂孵化的哪些实验性条件针对化验的开发和验证中的最佳化验性能是实时足够和必要的。取决于具有允许在适当波长下的进行视觉检查的滤波器，系统10可以被应用到荧光和非荧光色原两者。此外，因为系统10允许颜色分离，因此系统10可以在多重IHC（免疫组织化学）期间同时分离多个不同的荧光团和亮场色原颜色。因此验证和着色的多重表征可以被实现并由利用系统10获得的定量参数而容易地优化。此外，系统10可以用于实现包括散装试剂的评估的任何实验性操纵以及利用评分算法来测试它们对着色质量的影响。
还有在另一个实施例中，由系统10使用的评分算法还使得能够进行质量监测和平台性能的评价。例如，实时化验监测的实现可以允许评估着色质量，其将潜在的平台设计变化或平台相关的测试与对主要着色平台和高级着色平台两者的着色质量的潜在影响相联系。
在附加的实施例中，系统10可以与市场平台一起使用以监测其中全球消费者在着色强度和色调方面具有不同的偏好的情况下所需的着色质量中的一致性。因此，系统10可以使消费者能够诸如通过触摸屏基于定量尺度来对着色偏好和色调进行编程。定量尺度可以充当用于实时监测和评价质量控制方法中的着色偏好的度量。监测系统10可以提供无偏的定量参数以区分可以由病理学家验证的那些设置。
现在转到图17，其示出了针对DAB信号强度的图像分析的过程300的实施例，该过程可以用于监测可以触发用户警报的着色过程进展（例如，针对质量控制或化验开发）或用于提供可以触发对反射测试的自动命令以研究可以帮助患者诊断的相关生物标志物的化验（诸如，具有特定生物标志物的细胞的阳性的百分比阈值）的早期结果。一旦系统的控制器触发302图像获取304，图像分析系统则通过基本配准306、边缘检测308、对噪声的滤波310、二进制掩码312的形成（可以包括如图18中所示出的膨胀、填充和图像腐蚀的过程）以及经裁剪的图像314的产品的过程来识别组织。然后进一步分析经裁剪的图像314以由例如K均值聚类316、RGB阈值化318、ROI的选择320以及正信号图像的生成322来分割图像中不同的颜色。然后通过首先进行颜色空间转换324、到灰度的转换326以及平均分数的生成328来在该实施例中对正信号图像322进行评分。
图18的面板A示出了在视觉上图示如关于图17的过程所描述的组织识别的过程的图像。图18的面板B在视觉上证明了如图17中所描述的颜色分割和评分的过程，而进一步图示了可能是可替换方案的颜色空间转换的若干实施例。
图19图示了平均灰度和饱和分数的附加类型，该平均灰度和饱和分数可以根据所公开的系统和方法的附加实施例来生成，并且可以用于评估着色过程进展和质量。
当着色系统是与图2的薄膜着色系统相反的“水坑”系统时，研究病理学家的信号强度分数之间的关联。两个指数被考虑用于针对RTAMS中的经着色的组织的信号强度分数的评分方法：一个是从RGB颜色空间转换的灰度强度，以及另一个是HSV颜色空间中的饱和指数，其在薄膜着色环境中被成功使用。
灰度图像包含黑色和白色之间的多个灰色阴影。选择灰度指数是因为在从RGB颜色空间或另一个颜色空间进行比色转换之后，每个像素仅携带强度信息。应用从RBG颜色空间转换的8比特灰度指数格式。该指数从作为强度绝对缺失的黑色（255中的0）变化为作为强度绝对存在的白色（255中的255），并从而与由病理学家提供的强度分数成反比，这是由于更暗的信号将从病理学家得到更高的强度分数而从灰度得到更低的指数值。如图17和18中所描述和示出的，边缘检测用于创建分离包含来自全部所获得的图像的组织的截面的二进制掩码，该全部所获得的图像包括一些图像膨胀和腐蚀。接着，颜色分割用于按颜色将着色剂分离，其为正信号、复染信号和背景。不同的颜色分割策略已经被测试，但是用于设置RGB颜色空间的阈值的k均值聚类针对水坑环境中的CD20化验有效。
为了证明用于监测水坑环境中的化验进展的作为RTAMS分数的灰度和饱和度的效用，建立了两个指数到病理学家的强度分数的关联。选择CD20抗体和苏木精的各种孵育时间以遵循标准DAB检测方案（美国亚利桑那州图森市Ventana医疗系统有限公司的UltraView DAB）来创建扁桃体组织上的正信号和复染信号的不同强度级别，如下面的表1中所示出的那样。在每一组实验性条件下对两个载玻片进行着色。在DAB检测试剂被分配到载玻片上的时刻开始由RTAM系统以0.5fps来捕捉化验过程图像。
Figure 214245DEST_PATH_IMAGE001
如上面所提及的，饱和指数可以被利用以用于图2的薄膜着色环境，并且与病理学家的强度评分比较已经达到了R2=0.89的相关性（见图13）。
图20示出了水坑环境中的病理学家的分数和饱和值之间的关联。此R2值低于薄膜环境中所见的R2值。相反地，如图21中所示出的，8比特灰度指数的生成证明了与由病理学家所给出的强度分数的杰出的相关性（R2=0.94），并从而展示了由计算机实时监测CD20化验的可行性，该计算机由RTAMS提供以监测CD20化验的化验着色过程。此外，这些测试证明了该系统可以在化验结束前提供解释性的结果，这是由于RTAMS计算苏木精被分配到组织样本上之前的时刻处的分数，而在载玻片已经经历了完整的化验方案之后才产生病理学家的分数。
RTAMS可以实时监测化验开发的进一步证据可以由其中仅有抗体孵育时间是变化的但是DAB检测时间保持恒定的实验来获得。下面的表2中示出了针对该测试的实验性条件，并且图22中示出了结果，其清楚地证明了RTAMS灰度分数与抗体孵育时间之间的关联。
Figure 396965DEST_PATH_IMAGE002
RTAMS还可以用于根据图23的实施例来计算CD20中的阳性细胞的百分比。在CD20化验中，三种颜色在图像中是明显的：如图23的面板A中所示出的，针对DAB信号的棕色、针对复染信号的浅蓝色以及白色的背景。如图23的面板B中所图示的，HSV颜色空间中的K均值聚类可以用于将棕色与其他颜色分离。然后，RGB颜色空间中的阈值设置用于将蓝色与白色背景分开。该特定示例基于像素而不是细胞来计算指数，其中通过将棕色像素的数目除以棕色和蓝色像素的总和并乘以100来计算阳性细胞的百分比。该方法的可能的可替换方案是利用机器学习方法以建立分类器以便分离经着色的细胞和未着色的细胞并得到细胞的百分比。由于对阳性细胞的百分比的这种测量可以在化验期间获得，因此提供逻辑模块作为图1的自动化测试命令系统28的部分是可能的，其中如果针对给出的测试样本中的预定数目的细胞针对特定标记为阳性，则在第一测试结束前自动命令第二（以及可能的第三、第四或更多）测试。可替换地，一旦阳性细胞的数目到达预定值，就可以立即从控制器12中输出测试结果（例如，依据其可以做出特定治疗决定的结果）。
所公开的实时化验系统和方法的另一个实施例包括用于分离由DAB（棕色）和红色色原着色的样本图像的部分的系统和方法。设置RGB通道中的阈值不再是用于颜色检测的适当的方法，这是由于棕色和红色两者都包含针对DAB/红色化验的R通道中的主要强度。因此，测试了包括RGB、HSV和L*a*b*的各种颜色空间中的k均值聚类。因此，发现了RGB颜色空间中的k均值聚类是针对DAB/红色化验中的颜色检测的最佳解决方案。图24中示出了该实施例的总体方案。
然而，该策略可以如针对具有不同颜色的其他化验所需的那样更改阈值化、分割、聚类和颜色空间的其他组合。尽管本文中的附图可以示出方法步骤的具体次序，但是步骤的次序可以与所描绘的不同。而且，可以同时或部分同时地执行两个或更多的步骤。步骤执行中的变型可以取决于软件和硬件系统选择以及取决于设计者的选择。所有这种变型处于本申请的范围内。可以利用标准编程技术、利用用于实现各种连接步骤、处理步骤、比较步骤和决定步骤的基于规则的逻辑和其他逻辑来完成软件实现。
应当理解的是，仅通过示例的方式来提供所识别的实施例。在不脱离本申请的范围的情况下，可以在实施例的设计、操作条件和布置方面做出其他替代、修改、改变和省略。相应地，本申请不限于特定实施例，但是扩展到仍然落在本申请的范围内的各种修改。还应当理解的是，本文中采用的措辞和术语仅出于描述的目的，并且不应当被视为限制。
如本文中使用的，单数术语“一个”、“一个”和“该”包括复数指示物，除非上下文清楚地以其他方式指示。同样地，单词“或”意图包括“和”，除非上下文清楚地以其他方式指示。
术语“包括”、“包含”、“具有”等等可互换地使用并且具有相同的意义。同样地，“包括”、“包含”、“具有”等等可互换地被使用并且具有相同的意义。具体地，每个术语的定义都与普通美国专利法对“包括”的定义一致，并且因此被解释成意指“至少以下内容”的开放式术语，并且还被解释成不排除附加的特征、限制、方面等。因此，例如“具有组件a、b和c的设备”意味着该设备至少包括组件a、b和c。同样地，短语：“涉及步骤a、b和c的方法”意味着该方法至少包括步骤a、b和c。此外，尽管本文中可以以特定的次序概述步骤和过程，但本领域技术人员将认识到，对步骤和过程的排序可以变化，除非由上下文清楚地指示特定次序。

Claims (30)

1.一种化验监测系统，包括：
样本处理系统，包括具有正在经历化验的至少一个标本的至少一个样本；
成像系统，被定位在所述样本处理系统附近，所述成像系统被配置成在所述化验期间捕捉所述至少一个样本的图像；以及
控制器，通信地耦合到所述成像系统以从所述成像系统接收捕捉到的所述至少一个样本的图像，所述控制器被配置成处理所述捕捉到的图像以便基于经处理的图像来确定与所述化验相关联的至少一个属性，以及以便响应于所确定的至少一个属性而控制所述样本处理系统。
2.如权利要求1所述的系统，其中所确定的所述至少一个属性包括以下各项中的一项或多项：在所述至少一个样本中的流体的量或针对所述标本的信号强度分数。
3.如权利要求2所述的系统，其中针对所述标本的所述信号强度分数是从源自所述经处理的图像的饱和指数获得的。
4.如权利要求2所述的系统，其中针对所述标本的所述信号强度分数是从源自所述经处理的图像的灰度值获得的。
5.如权利要求1所述的系统，其中所述成像系统包括：
至少一个光源，被定位成照亮所述至少一个样本；以及
相机，被定位在离所述至少一个样本的预定距离处，使得所述至少一个样本处于所述相机的视场内。
6.如权利要求5所述的系统，其中所述至少一个光源被定位在所述相机的视场之外以向所述至少一个样本提供暗场成像。
7.如权利要求1所述的系统，其中：
所述样本处理系统包括：被配置成在所述化验期间移动所述至少一个样本中的流体的流体运动机构，以及被配置成确定所述流体运动机构的位置的设备；以及
所述控制器通信地耦合到所述样本处理系统以从所述样本处理系统接收确定的位置。
8.如权利要求7所述的系统，其中所述控制器被配置成：响应于从所述样本处理系统接收的位置正处于预定位置范围内而处理从所述成像系统接收的图像。
9.如权利要求1所述的系统，其中所述成像系统被配置成：在所述化验期间以预定间隔来重复捕捉所述至少一个样本的图像。
10.一种监测正在经历化验的标本的计算机实现的方法，所述方法包括：
利用成像系统捕捉正在经历化验的标本的图像；
选择捕捉到的图像的区，所述区包括正在经历所述化验的所述标本的至少一部分；
针对所述捕捉到的图像的选择的区来计算指数值；
将经计算的指数值转换成信号强度分数；以及
使用所述信号强度分数评价正在经历所述化验的所述标本；以及
基于所述标本的所述评价来控制所述化验。
11.如权利要求10所述的方法，其中：
所述捕捉到的图像包括矩阵，所述矩阵具有表示每个像素的颜色的值，其中所述每个像素的颜色由HSV颜色模型定义；以及
所述计算指数值包括基于所述HSV颜色模型来计算饱和指数值或明度指数值中的至少一个。
12.如权利要求10所述的方法，进一步包括：在所述化验期间以预定间隔重复进行所述捕捉所述图像、所述选择所述区、所述计算所述指数值、所述转换所述经计算的指数值以及所述评价所述标本。
13.如权利要求12所述的方法，其中所述选择区包括：针对每个预定间隔选择在基本相似的位置处的所述区。
14.如权利要求10所述的方法，其中：
所述选择所述区包括选择所述捕捉到的图像的多个区；
所述计算所述指数值包括针对所述多个区中的每个区计算相应的指数值；
所述方法进一步包括比较针对所述多个区中的每个区计算的指数值；以及
响应于所述比较的结果指示在所述经计算的指数值中存在差异，确定正在经历所述化验的非均匀标本。
15.如权利要求10所述的方法，其中所述评价所述标本包括：使用所述信号强度分数评价所述标本的着色过程。
16.如权利要求10所述的方法，其中：
所述捕捉到的图像包括矩阵，所述矩阵具有表示每个像素的颜色的值，其中所述每个像素的颜色由RGB颜色模型定义；以及
所述计算所述指数值包括从所述颜色模型计算灰度值。
17.如权利要求15所述的方法，其中使用所述信号强度分数评价所述标本的着色过程包括确定是否达到所述分数的预定值。
18.如权利要求17所述的方法，进一步包括以下步骤中的至少一个：警告用户在预定时间量内未达到所述预定值；如果在预定时间量内未达到所述预定值则自动命令重复测试；以及如果在预定时间量期间达到了所述预定值则自动命令不同的第二测试。
19.一种监测正在经历化验的样本中的流体体积的方法，所述方法包括：
利用成像系统捕捉正在经历化验的样本的图像；
确定所述样本的位置，所述样本的所述位置对应于所述样本中的流体位置；
响应于确定的所述样本的位置正处于预定位置中，基于捕捉到的图像来计算所述样本的流体体积；
基于经计算的流体体积来确定流体的调整量；以及
基于所述调整量来调整所述样本中的流体的量。
20.如权利要求19所述的方法，其中所述样本被保持在流体运动机构中，并且其中所述确定所述样本的位置包括确定所述流体运动机构的位置。
21.如权利要求20所述的方法，其中所述预定位置是从所述流体运动机构的中心位置的偏移。
22.如权利要求19所述的方法，其中所述计算所述流体体积包括从捕捉到的图像中确定所述流体的至少一个边界。
23.如权利要求22所述的方法，其中所述确定所述至少一个边界包括将前景检测算法应用到所述捕捉到的图像。
24.如权利要求19所述的方法，其中所述确定所述样本的位置包括：确定所述样本中的流体的运动方向。
25.一种监测正在经历化验的标本的计算机实现的方法，所述方法包括：
利用成像系统捕捉正在经历化验的标本的图像；
选择捕捉到的图像的区，所述区包括正在经历所述化验的所述标本的至少一部分；
将所述图像分割成颜色空间内的一个或多个颜色；
在所述图像中识别与特定类型细胞相对应的像素；
在所述图像中识别与不是所述特定类型细胞的细胞相对应的像素；以及
计算包括所述特定类型细胞的所述标本的百分比。
26.如权利要求25所述的方法，其中在完成所述化验前完成所有步骤。
27.如权利要求25或26所述的方法，进一步包括：在完成所述化验前基于包括所述特定类型细胞的所述标本的所述百分比来自动命令第二测试。
28.一种监测正在经历化验的标本的计算机实现的方法，所述方法包括：
利用成像系统捕捉正在经历化验的标本的图像；
选择捕捉到的图像的区，所述区包括正在经历所述化验的所述标本的至少一部分；
针对所述捕捉到的图像的选择的区来计算指数值；将经计算的指数值转换成信号强度分数；
确定在预定时间量内是否达到所述分数的预定值：以及
a) 警告用户在所述预定时间量内未达到所述预定值，
b) 如果在所述预定时间量内未达到所述预定值则自动命令重复测试，或
c) 如果在所述预定时间量期间达到了所述预定值则自动命令不同的第二测试。
29.如权利要求28所述的方法，进一步包括：使用一个或多个指数值和一个或多个信号强度分数来计算根据所述化验为阳性的细胞的百分比。
30.如权利要求1所述的系统，其中所述控制器被配置成执行权利要求10至29所述的方法中的任一项。
CN201680077133.6A 2015-12-30 2016-12-22 用于实时化验监测的系统和方法 Active CN108475328B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562273232P 2015-12-30 2015-12-30
US62/273232 2015-12-30
US201662430826P 2016-12-06 2016-12-06
US62/430826 2016-12-06
PCT/EP2016/082377 WO2017114749A1 (en) 2015-12-30 2016-12-22 System and method for real time assay monitoring

Publications (2)

Publication Number Publication Date
CN108475328A CN108475328A (zh) 2018-08-31
CN108475328B true CN108475328B (zh) 2022-05-03

Family

ID=57796310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680077133.6A Active CN108475328B (zh) 2015-12-30 2016-12-22 用于实时化验监测的系统和方法

Country Status (7)

Country Link
US (3) US11320348B2 (zh)
EP (2) EP3397951B1 (zh)
JP (1) JP6843867B2 (zh)
CN (1) CN108475328B (zh)
AU (1) AU2016382837B2 (zh)
CA (2) CA3007159C (zh)
WO (1) WO2017114749A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3449234B1 (en) * 2016-04-27 2020-09-02 Ventana Medical Systems, Inc. System and method for real-time volume control on microscope slides
WO2018026725A1 (en) * 2016-08-01 2018-02-08 Genprime, Inc. System and method to interpret tests that change color to indicate the presence or non-presence of a compound
CN117058415A (zh) 2016-10-28 2023-11-14 贝克曼库尔特有限公司 物质准备评估系统
EP3644044B1 (en) * 2018-10-24 2020-12-23 Leica Biosystems Imaging, Inc. Camera exposure control when acquiring fluorescence in situ hybridization images
CN112666047B (zh) * 2021-01-14 2022-04-29 新疆大学 一种液体粘度检测方法
CN114397929B (zh) * 2022-01-18 2023-03-31 中山东菱威力电器有限公司 一种可以改善冲洗水初始温度的智能马桶盖控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633595A (zh) * 2002-05-13 2005-06-29 松下电器产业株式会社 生物样本的活动信号测量装置和测量方法
CN1653192A (zh) * 2002-05-14 2005-08-10 香港中文大学 通过对核酸的检测与分级分离来评价疾病状态的方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625706A (en) * 1995-05-31 1997-04-29 Neopath, Inc. Method and apparatus for continously monitoring and forecasting slide and specimen preparation for a biological specimen population
US6195451B1 (en) * 1999-05-13 2001-02-27 Advanced Pathology Ststems, Inc. Transformation of digital images
US20020155587A1 (en) * 2001-04-20 2002-10-24 Sequenom, Inc. System and method for testing a biological sample
AU2002322033A1 (en) * 2001-06-04 2002-12-16 Ikonisys Inc. Method for detecting infectious agents using computer controlled automated image analysis
US6589180B2 (en) * 2001-06-20 2003-07-08 Bae Systems Information And Electronic Systems Integration, Inc Acoustical array with multilayer substrate integrated circuits
US20040033163A1 (en) * 2001-11-26 2004-02-19 Lab Vision Corporation Automated tissue staining system and reagent container
US7193775B2 (en) * 2002-05-30 2007-03-20 Dmetrix, Inc. EPI-illumination system for an array microscope
US6800249B2 (en) * 2002-06-14 2004-10-05 Chromavision Medical Systems, Inc. Automated slide staining apparatus
US20060073074A1 (en) * 2004-10-06 2006-04-06 Lars Winther Enhanced sample processing system and methods of biological slide processing
US20050136549A1 (en) * 2003-10-30 2005-06-23 Bioimagene, Inc. Method and system for automatically determining diagnostic saliency of digital images
US20080225072A1 (en) * 2007-03-15 2008-09-18 Jena Marie Klees Calibration of drop detector and acquisition of drop detect data for nozzles of fluid-ejection mechanisms
ES2435666T3 (es) 2007-07-10 2013-12-20 Ventana Medical Systems, Inc. Aparato y método para el tratamiento de muestras biológicas
CA2604317C (en) * 2007-08-06 2017-02-28 Historx, Inc. Methods and system for validating sample images for quantitative immunoassays
EP2217132B1 (en) * 2007-11-02 2013-05-15 The Trustees of Columbia University in the City of New York Insertable surgical imaging device
US20100144055A1 (en) * 2008-11-07 2010-06-10 Nanosphere, Inc. Assays For Clinical Assessments of Disease-Associated Autoantibodies
US8150668B2 (en) * 2009-02-11 2012-04-03 Livermore Software Technology Corporation Thermal fluid-structure interaction simulation in finite element analysis
JP5753489B2 (ja) * 2009-04-10 2015-07-22 株式会社日立メディコ 超音波診断装置、および、超音波診断装置の作動方法
TWI390970B (zh) * 2009-07-22 2013-03-21 Altek Corp Use motion detection to adjust the digital camera's shooting settings
JP5378271B2 (ja) 2010-03-11 2013-12-25 シスメックス株式会社 塗抹標本染色装置、塗抹標本作製装置、塗抹標本処理システム、及び染色条件の決定方法
US8462388B2 (en) * 2010-06-08 2013-06-11 Xerox Corporation Identifying a color separation wherein a banding defect originates
US8673643B2 (en) * 2010-11-30 2014-03-18 General Electric Company Closed loop monitoring of automated molecular pathology system
US8521495B2 (en) * 2010-12-10 2013-08-27 The Boeing Company Calculating liquid levels in arbitrarily shaped containment vessels using solid modeling
EP2663852A1 (en) 2011-01-10 2013-11-20 Ventana Medical Systems, Inc. Hematoxylin staining method
AU2013258519B2 (en) * 2012-05-11 2016-03-03 Agilent Technologies, Inc. Method and apparatus for image scoring and analysis
DE102012216336B4 (de) 2012-09-13 2018-12-13 Leica Biosystems Nussloch Gmbh Verfahren zum Färben einer histologischen Probe und Färbeautomat
US9989448B2 (en) 2012-12-26 2018-06-05 Ventana Medical Systems, Inc. Specimen processing systems and methods for holding slides
US9366493B2 (en) * 2014-01-08 2016-06-14 Trackingpoint, Inc. Precision guided handgun and method
JP6246030B2 (ja) * 2014-03-12 2017-12-13 東芝メディカルシステムズ株式会社 病理染色装置及び病理染色方法
JP5968944B2 (ja) * 2014-03-31 2016-08-10 富士フイルム株式会社 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP2015198866A (ja) * 2014-04-10 2015-11-12 セイコーエプソン株式会社 流体噴射装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633595A (zh) * 2002-05-13 2005-06-29 松下电器产业株式会社 生物样本的活动信号测量装置和测量方法
CN1653192A (zh) * 2002-05-14 2005-08-10 香港中文大学 通过对核酸的检测与分级分离来评价疾病状态的方法

Also Published As

Publication number Publication date
JP2019507329A (ja) 2019-03-14
WO2017114749A1 (en) 2017-07-06
AU2016382837A1 (en) 2018-06-14
EP3397951B1 (en) 2023-05-24
US11320348B2 (en) 2022-05-03
CN108475328A (zh) 2018-08-31
CA3007159C (en) 2022-08-23
US20190094116A1 (en) 2019-03-28
CA3161884A1 (en) 2017-07-06
EP3397951A1 (en) 2018-11-07
EP4235598A3 (en) 2023-09-13
US20220148175A1 (en) 2022-05-12
AU2016382837B2 (en) 2019-08-08
CA3007159A1 (en) 2017-07-06
JP6843867B2 (ja) 2021-03-17
US11854196B2 (en) 2023-12-26
US20220090995A1 (en) 2022-03-24
EP4235598A2 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
CN108475328B (zh) 用于实时化验监测的系统和方法
US11016006B2 (en) System and method for real-time volume control
JP6594294B2 (ja) 顕微鏡画像の画像品質評価
JP5407015B2 (ja) 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム
KR20220110589A (ko) 다중 형광 인시튜 하이브리드화 이미지들의 획득 및 프로세싱을 위한 시스템 및 방법
BRPI0610115A2 (pt) métodos para a análise de imagem baseada em separação de cromógenos
KR102652419B1 (ko) 생물학적 샘플에서 분석물 및/또는 단백질을 측정하기 위한 방법
RU2504777C2 (ru) Способ клеточного анализа пробы при помощи виртуальной аналитической пластинки
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US8963105B2 (en) Image obtaining apparatus, image obtaining method, and image obtaining program
US20220406080A1 (en) Automatic calibration using machine learning
CN114236804A (zh) 用于生成概览图像的显微镜系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant