CN109477848B - 用于识别样品容器盖的系统、方法和设备 - Google Patents
用于识别样品容器盖的系统、方法和设备 Download PDFInfo
- Publication number
- CN109477848B CN109477848B CN201780046038.4A CN201780046038A CN109477848B CN 109477848 B CN109477848 B CN 109477848B CN 201780046038 A CN201780046038 A CN 201780046038A CN 109477848 B CN109477848 B CN 109477848B
- Authority
- CN
- China
- Prior art keywords
- sample
- container
- different
- images
- sample container
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/55—Specular reflectivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
- B01L3/54—Labware with identification means
- B01L3/545—Labware with identification means for laboratory containers
- B01L3/5453—Labware with identification means for laboratory containers for test tubes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
- G01N2035/0401—Sample carriers, cuvettes or reaction vessels
- G01N2035/0406—Individual bottles or tubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
Abstract
确定样品容器盖的特征以识别容器盖的基于模型的方法。该方法包括:提供包括容器盖的样品容器;采集以不同的曝光时长且使用多个不同标称波长获得的容器盖的背光图像;从以每个标称波长以不同曝光时长获得的图像选择最佳曝光像素,以生成每个标称波长的最佳曝光图像数据;将最佳曝光像素分类为至少是管、标签或者盖中的一者;以及基于被分类为是盖的最佳曝光像素和每个标称波长的图像数据来识别容器盖的形状。描述了适于执行该方法的品质检查模块和样品测试设备,还描写了许多其他方面。
Description
相关申请的交叉引用
本发明要求2016年7月25日提交的且名称为“Systems, Methods And ApparatusFor Identifying A Specimen Container Cap(用于识别样品容器盖的系统、方法和设备)”的美国临时专利申请62/366,350号的优先权,该文献为所有目的通过引用特此并入。
本发明还涉及2017年1月24日提交的且名称为“Methods And Apparatus AdaptedTo Identify A Specimen Container From Multiple Lateral Views(适于从多个侧面视图识别样品容器的方法和设备)”的PCT/US2017/014773且要求其优先权,该文献为所有目的通过引用特此并入。
技术领域
本发明涉及用于在生物样品测试中使用的预分析方法和设备,且更特别地,涉及用于确定样品容器盖的配置的方法和设备。
背景技术
自动化测试系统可以使用一种或多种试剂进行化验或临床分析,以识别在诸如尿液、血液血清、血液血浆、间质液、脑脊液等的样品中的分析物或其他组分。出于方便和安全的原因,这些样品几乎普遍被包含在样本容器(例如,血液收集管)内,该样本容器可以用容器盖来加盖。化验/测试反应生成各种变化,其可以被读取和/或操纵,以确定在样品中包含的分析物或其他组分的浓度,该浓度在一些实施例中可以指示患者的疾病状态。
自动化测试技术中的改进已经伴随着预分析样本制备和处理操作(诸如分拣、批制备、对样本容器离心以分离样本组分、盖移除)中的对应的进步,以有助于通过被称为实验室自动化系统(LAS)的自动化系统进行流体存取、样本容器输送等。LAS可以将在样品容器中的样品自动运输至一个或多个预分析样本处理站,以便在执行分析之前能够对其执行各种操作。
这些LAS可以处理在标准的、贴条形码标签的样本管中包含的多种不同样品。条形码标签可以包含编号,该编号可以与人口(demographic)信息相关,人口信息可以连同测试安排和其他期望的信息一起被输入到医院的实验室信息系统(LIS)中。操作员可以将贴标签的样品容器放置到LAS系统上,LAS系统可以自动地分拣和按路线传送样品容器,以用于预分析操作,诸如离心、去盖和等份(aliquot)制备等等,并且所有这些都在样品实际上经受通过也可以是LAS的部分的一个或多个分析仪进行的临床分析之前。
在测试系统中,所呈送的用于分析的样品容器可以具有不同大小,诸如,具有不同的高度和不同的直径,且还可以包含不同的材料,诸如,分离胶(gel separator)、凝结剂(诸如,粉末状玻璃凝结活化剂(clot activator)或基于凝血酶的活化剂)、抗凝结剂(诸如,乙二胺四乙酸(EDTA))、肝素钠或者肝素锂、或枸橼酸葡萄糖(ACD)、抗糖分解添加剂(诸如,氟化钠和草酸钾)。盖颜色可以被用于识别不同添加剂,且可以指示要对样品运行的测试类型或者仅仅指示管类型。例如,红颜色的盖有时用于指代血清收集管,其可以通常包括诸如凝结活化剂的凝结剂,且还可包括分离胶。橙色盖可包括基于凝血酶的凝结活化剂,且可用于信号转导及转录激活因子(stat)测试,其中需要迅速的凝结。诸如紫色的抗凝盖颜色可包括EDTA,且可以识别用于测试血液类型和对细胞计数的基础血液学管。淡蓝色盖颜色可以识别用于凝固和血小板功能测试的柠檬酸钠的添加。绿色盖可以识别用于血浆测试的包括肝素锂/肝素钠的管。黄色可包括聚茴香脑磺酸钠,且被用于细菌生长和微生物学测试。
因为人类误差的倾向,期望不使用通过实验室技术员的视觉检查、而是经由自动化方法来评估包括盖的样品容器的大小和类型。进一步地,样品容器可包括直接粘附至样品容器的条形码标签。一个或多个标签可能会局部地遮蔽样品,使得可能不存在清楚地视觉观察样品的血清或血浆部分的机会。诸如在Miller的美国专利公布2012/0140230中所描述的那些的其他系统描述了使样本容器旋转以发现未被标签阻挡的观察窗口,并且然后使用光学成像系统测量样品容器的相对大小和盖类型。然而,这种系统可能会更不倾向于容易自动化。
因为在确定样品容器和盖的大小或类型时所遇到的困难,所以存在对于作为预筛查过程的部分的适于容易地确定大小和类型的方法和设备的未得到满足的需求。执行预筛查的方法和设备不应当明显地负面地影响得到分析测试结果的速度,即,不应当明显地减慢总体测试过程。此外,该方法和设备应当能够甚至在被贴标签的样本容器上使用,且不需要被贴标签的样本容器的旋转。
发明内容
根据一些方面,提供了识别样品容器盖的方法。该方法包括:提供包括容器盖的样品容器;采集以不同的曝光时长且使用多个不同标称波长获得的容器盖的背光(backlit)图像;从以每个标称波长以不同曝光时长获得的图像选择最佳曝光像素,以生成每个标称波长的最佳曝光图像数据;将最佳曝光像素分类为至少是管、标签或者盖中的一者;以及基于被分类为是盖的最佳曝光像素和每个标称波长的图像数据,来识别容器盖的形状。
根据其他方面,提供了适于识别样品容器盖的品质检查模块。品质检查模块包括多个相机和联接到多个相机的计算机,所述多个相机围绕适于接收包括盖的样品容器的成像位置布置在多个视角处,多个相机中的每个被配置成从多个视角使用不同波长的光以不同曝光时长采集样品容器盖的至少一部分的多个背光图像,所述计算机被配置成和可操作以:从以每个标称波长以不同曝光时长获得的图像选择最佳曝光像素,以生成每个标称波长的最佳曝光图像数据;将最佳曝光像素分类为至少是管、标签或者盖中的一者;以及基于被分类为是盖的最佳曝光像素和每个标称波长的图像数据,来识别容器盖的形状。
在又其他方面中,提供了测试设备。测试设备包括:轨道、可在轨道上移动的样品载体,该样品载体被配置成承载包括容器盖的样品容器;以及品质检查模块,其布置在轨道上且适于识别容器盖,该品质检查模块包括:多个相机和联接到多个相机的计算机,所述多个相机围绕成像位置布置在多个视角处,所述成像位置适于接收包括容器盖的样品容器,多个相机中的每个被配置成从多个视角使用不同标称波长且以不同曝光时长采集样品容器盖的多个背光图像,所述计算机被配置成和可操作以:从以每个标称波长以不同曝光时长获得的图像选择最佳曝光像素,以生成每个标称波长的最佳曝光图像数据;将最佳曝光像素分类为至少是管、标签或者盖中的一者;以及基于被分类为是盖的最佳曝光像素和每个标称波长的图像数据,来识别容器盖的形状。
通过示出多个示例实施例和实施方式、包括所想到的用于执行本发明的最佳模式,本发明的又其他方面、特征和优点可以从下文的描述容易地显而易见。本发明还可以能够有其他和不同的实施例,并且其多个细节可以在各种方面中被修改,所有这些都在不脱离本发明的范围的情况下。因此,附图和说明书将被视为本质上是说明性的,而不是限制性的。本发明将覆盖落入所附权利要求的范围内的所有修改、等同物和替代物。
附图说明
在下文中描述的附图仅仅用于说明目的,且并非必然按照比例绘制。附图不意图以任何方式限制本发明的范围。贯穿附图,使用类似的附图标记来表示类似的元件。
图1示出根据一个或多个实施例的样品测试设备的顶视图,其包括一个或多个品质检查模块和一个或多个分析仪(临床化学或化验仪器)。
图2示出根据一个或多个实施例的贴标签的样品容器的侧视图,其包括可以通过尺寸量化方法来量化的经分离的样品。
图3示出根据一个或多个实施例的贴标签的样品容器的侧视图,其包括可以通过尺寸量化方法来量化的经分离的样品。
图4A示出根据一个或多个实施例的品质检查模块的示意顶视图(其中,顶部壳体部分被移除以有助于说明),该品质检查模块被配置成采集和分析多个图像。
图4B示出根据一个或多个实施例的图4A的品质检查模块的示意侧视图(其中,侧部壳体部分被移除以有助于说明)。
图4C示出根据一个或多个实施例的替代性品质检查模块的示意顶视图(其中,顶部壳体部分被移除以有助于说明),该品质检查模块被配置成采集和分析多个图像。
图4D示出根据一个或多个实施例的图4C的品质检查模块的示意侧视图(其中,侧部壳体部分被移除以有助于说明)。
图5示出根据一个或多个实施例的品质检查模块的功能组成部分的流程图,该品质检查模块适于量化样品容器。
图6示出根据一个或多个实施例的适于量化样品容器的宽泛成像(broadimaging)方法的流程图。
图7示出根据一个或多个实施例的量化样品容器的方法的流程图。
图8示出根据一个或多个实施例的使用白光以不同曝光时长获得的包括第一示例容器盖的容器的示例系列图像。
图9示出根据一个或多个实施例的使用红光以不同曝光时长获得的包括第一示例容器盖的容器的示例系列图像。
图10示出根据一个或多个实施例的使用绿光以不同曝光时长获得的包括第一示例容器盖的容器的示例系列图像。
图11示出根据一个或多个实施例的使用蓝光以不同曝光时长获得的包括第一示例容器盖的容器的示例系列图像。
图12示出根据一个或多个实施例的使用白光以不同曝光时长获得的包括第二示例容器盖的容器的示例系列图像。
图13示出根据一个或多个实施例的使用红光以不同曝光时长获得的包括第二示例容器盖的容器的示例系列图像。
图14示出根据一个或多个实施例的使用绿光以不同曝光时长获得的包括第二示例容器盖的容器的示例系列图像。
图15示出根据一个或多个实施例的使用蓝光以不同曝光时长获得的包括第二示例容器盖的容器的示例系列图像。
具体实施方式
在第一宽泛的方面中,本发明的实施例提供成像方法和设备,其被配置成且能够被操作(可操作)以确定样品容器盖的物理属性,诸如,样品容器盖在外部和内部两者的形状和几何结构。在一个或多个实施例中,方法可以确定盖的存在,可以基于盖的内部和外部结构的形状识别盖类型,和/或可以识别盖颜色。在一个或多个实施例中,还可以识别样品容器的保持器,以便能够消除或者至少最小化保持器对表征的影响。
在临床实验室自动化程序期间的任务是样本器皿(即,样品容器)的整体表征;特别地,样本器皿类型(即,容器盖类型和样品容器类型本身的分类)的稳健确定对于自动化诊断和稳健的决策来说非常重要。举例来说,其给出关于在分析期间的期望的流体结构的重要信息。通常样品容器被层设有各种纸质签条(例如,制造商纸质签条、带有条形码的签条以及其他)。这种真实世界的设置使得分类有挑战性,因为与样品容器类型相关的特征被遮蔽,且因此不可见,且不能用于准确的辨别。RGB照片(例如,在白光照明下采集)可以被用于执行基于颜色和/或形状信息的分类。可以利用不同特征表示来进行辨别:基于颜色或基于梯度的特征可以提供用于使用充分研发的机器学习技术(即,SVM、决策树、神经网络等)进行分类的基础。然而,在不同的样品容器类型和容器盖类型之间的可见偏差有时是微小的,且因此难以稳健地分类。此外,诸如被纸质签条遮蔽的真实世界条件使得该任务在使用常规照明(例如,环境照明或者前方照明(front illumination))的情况下是有挑战性的。
本发明的实施例通过如下来提供用于稳健地表征样品容器和容器盖的光学、自动和无接触方法:(1)将可见的容器盖分类成从容器盖类型的预先限定和训练的池提取的独特类型,以及(2)将样品容器类型分类成独特类型的训练的样品容器。容器盖的池可包括三十种或更多种不同类型(例如,加盖的样品容器、TTSC(管顶样本杯)或者平常的样品容器等),它们在其外观上可以不同,例如,在盖颜色(单颜色或者双颜色模式)和几何形状上不同。经常,在各种容器盖类型之间的辨别能够是相对直截了当的,然而,一些类型仅可以通过考虑精细的细节(例如,在一般的(前方)照明下不可见的内部结构)来辨别。样品容器类型本身可以在材料和结构方面不同。通常,使用一般的样品容器,但是毛细管样品容器和活底样品容器也可以被呈送至系统。在一些实施例中,假设在识别样品容器之前,所有的样品容器类型都是已知的。
本发明的实施例使用被处于不同标称波长和/或波长范围(例如,白光)的高强度(intensity)照明穿透达不同曝光时长的样品容器材料的物理性质。因为照明源被放置在样品容器后方,所以在所采集的图像中的每个容器盖像素编码了在限定的曝光时间段(即,时长)和波长下通过容器盖材料的光的量。样品容器的内部结构将生成独特的印记(甚至通过类似纸质签条的纤维材料),且因此,能够被用于在基于机器学习的程序期间进行辨别。
通常,当光(包括多个波长)击中材料时,光的分量可以通过材料被透射、被散射或被吸收。给定固定的照明源,该效果的表现由所使用的材料来控制。使得光能够通过它们透射的材料是光学透明的,即,被用于TTSC(管顶样本杯)或去盖样品容器的类似玻璃的材料。不透明的材料不允许任何光波频率的透射,即,深色和实心的盖或者一定数目的覆盖的纸质签条。大部分材料包括在其对特定光频率的吸收方面具有选择性(即,其吸收光谱的部分)的材料(即,存在不同样品容器盖的主要组(例如,基于彩色塑料的材料)、变型的主要组以及纤维材料(例如,纸质签条))。
如将在下文中更详细地示出地,对于特定曝光时长,内部样品容器结构是可见的(例如,甚至穿过纸质签条),且因此能够被用于在包括容器盖类型的不同的样品容器类型之间的辨别。特别地,本发明的实施例在识别活底样品容器(其中,纸质签条可能会遮蔽样品容器的主要部分)方面具有很大益处。因此,到达用于照明的特定量的光能可以使得能够实现辨别内部结构的可视化,其还提供特定模式,该特定模式取决于对于不同材料颜色的波长特定响应。样本器皿被以不同曝光时间和波长的背后照明(back illumination)穿透。以长曝光时间采集的小块(patch)清楚地支持甚至穿过纸质签条的内部盖结构的可视化。能够使用白光照明,但是也能够使用来自使用不同标称波长的照明的响应的合成物。具有多个颜色响应能够帮助辨别样品容器类型的不同颜色。在一些实施例中,使用不同的曝光时间来利用一个或多个相机传感器收集足够的光能。
使用通过适于采集包括容器盖的样品容器的全面的360度视图的系统获取的图像来执行样品容器表征。该布置向系统提供单独的但是略微重叠的图像。单独的图像示出从不同视角的包括容器盖的样品容器的侧面视图,从而避免任何盲点。在一些实施例中,通过LCD板控制照明。样品容器被放置在相机与LCD板之间。另外,在本发明的方法的一些实施例中,不存在所要求的关于样品容器的可能的位置或者取向的假设。具有可用的样品容器的360度观察使得能够实现关于遮蔽的一致分类,且还产生冗余的样品容器观察(即,重叠区域),以改善来自多个视图的决策。例如,能够从三个不同的视角和对三个观察整合的结果来执行单独的分类(例如,后期融合)。在一些实施例中,能够在单个分类过程期间以组合的方式一起使用三个视图(例如,早期融合)。
对于样品容器类型分类,本发明的实施例能够使用以限定的曝光时长采集的多光谱(multispectral)影像的堆叠。多光谱图像可以包括以不同波长(以及相对小的带宽)响应于对应的颜色(即,表示红色、绿色、蓝色部分)(吸收和反射)收集的图像。还可以利用产生常规的RGB图像(例如,3层信息)的白光配置来收集可能的输入图像。
在一些实施例中,从预处理步骤,采取二值图像,其遮挡样本器皿的样品容器部分,留下容器盖部分。可以通过使用参考图像和示出样本的观察来生成该掩模。基本差异和阈值计算可以产生二值掩模。二值掩模驱动矩形2D小块的提取,该矩形2D小块仅描绘了例如容器盖。可能的标准化图像小块大小可以具有200×200像素的大小。图像小块大小可以影响在测试期间的处理时间。例如,能够实现在每个图像大致100 ms或更少的范围中的响应时间。对于样品容器类型分类,能够使用整个二值掩模来代替尝试提取相关的区域。
对于容器盖类型和样品容器类型分类两者,能够使用监督式机器学习方法。该方法包括训练阶段和测试阶段。由于分类中的效率和有前景的现有技术结果,能够应用基于“深度学习”的分类技术,其中,第一层获取标准化图像小块作为输入,且输出层提供类别标签,即,对于容器盖类型或样品容器类型中的一者的决定。在一些实施例中,考虑W×H×3的大小的图像小块,其中,三层信息从白光照明直接生成,或者包括表示R、G、B颜色的三个不同波长响应。
在一些实施例中,使用卷积神经网络(CNN)。例如,在与样品容器相关的识别的背景中,扩展版本的“LeNet”能够用于图像分类。“深度学习”的另一优点是在训练过程期间处理大量数据、因此避免对数据抽样的能力。
在从所考虑的训练数据直接生成辨别性特征表示的方面,“深度学习”已经示出了出众的性能。因此,不存在预先设计特定特征描述符的需求。特别地,对于样品容器分类的任务,这是有帮助的,因为通过使用背后照明的样品容器而被可视化的精细结构可以提供辨别能力。
在训练阶段期间,分类器使用目标真实标签。可以在样本器皿的水平处生成这些标签,这意味着,对于每个样本,系统采取对应于描述容器盖的类型的单个独特标签。在训练过程期间,使用网络参数(即,权重)的梯度下降优化来使损失函数最小化,例如,在考虑真实训练标签的情况下,使通过网络形成的误差最小化。在测试/分类阶段期间,通过网络解析每个图像小块,且最后为每个特定容器盖类别或样品容器类型类别指定置信度值。可以通过使置信度值集合通过自变量最大化(arg-maximizing)来提取最终对象类别。可以考虑对多个视图的整合,以生成用于样品容器观察的最终决定。
本发明的实施例提供:用于辨别大量不同的容器盖类型(例如,类型的数目能够大于30或更多)的基于图像且无接触的分类;用于辨别复杂的样品容器类型的基于图像且无接触的分类;使用利用不同波长的背后照明的容器盖类型的基于自动软件的分类;使用利用不同波长的背后照明的样品容器类型的基于自动软件的分类;使用由于高能照明而被可视化的内部结构的容器盖类型的基于自动软件的分类;使用由于高能照明而被可视化的内部结构的样品容器类型的基于自动软件的分类;基于样品容器材料的物理性质的辨别;以及,学习用于样品容器和容器盖类型的高效分类的数据特定特征表示。
知道样品容器的宽度(W)能够被用于样品的各种部分的进一步量化(例如,体积或深度),诸如,血清或血浆部分、沉淀的血液部分或两者的量化。盖类型和/或盖颜色可以与来自LIS的测试请求相关,以核实适当的样品容器已经被用于已经安排的测试和/或以确保所安排的测试将不会被样品容器中存在的任何添加剂负面地影响。样品容器的高度(HT)可以被机器人系统使用,以建立用于吸取系统的移液器的原位高度,以使样品容器-移液器碰撞最小化。进一步地,可以使用HT以使得任何机器人夹持件可以适当地抓持样品容器。
如本文中所描述地,样品可以被收集在诸如血液收集管的样品容器中,且在分离(例如,通过离心分离)之后可包括沉淀的血液部分以及血清和血浆部分。沉淀的血液部分由诸如白血细胞(白血球)、红细胞(红血球)和血小板(凝血细胞)的血细胞形成,其通常通过经历离心而被聚集且从血清或血浆部分分离。沉淀的血液部分通常在样品容器的底部部分处被发现。血清或血浆部分是血液的液体成分,其不是沉淀的血液部分的部分。其通常在沉淀的血液部分上方被发现。
血浆和血清在凝固成分(主要是纤维蛋白原)的含量方面不同。血浆是未凝结的液体,然而血清指代已经被允许在诸如内源酶或外源成分的凝结剂的影响下凝结的血液血浆。取决于是否暴露于凝结剂,血清或血浆部分将由血清或血浆制成。在一些情形中,血液样品可以暴露于抗凝结剂。在一些样品容器中,可以使用小的分离胶,在离心期间,分离胶本身通常定位在沉淀的血液部分与血清或血浆部分之间。其用作在两个部分之间的分离屏障。
根据一个或多个实施例,方法可以作为预分析测试方法来执行,即,作为在临床分析仪或化验仪器上执行分析之前的预筛查方法来执行。在一个或多个实施例中,方法可以在量化样品之前执行或者与量化样品同时执行,其针对后生物(artifact)(例如,凝结物、气泡或者泡沫)的存在和/或干扰物质(例如,溶血现象、黄疸、或脂血(HIL))的存在进行表征。因此,在一个或多个实施例中,本发明提供包括盖的样品容器的尺寸的有用的表征,以用于在品质检查模块处针对物理尺寸被预检查之后的分析测试或用于进一步的预分析测试。
在一个或多个实施例中,方法使用高动态范围(HDR)图像处理,以有助于确定样品容器盖的物理结构。当然,在一些实施例中,还可以使用HDR图像处理来进行血清或血浆部分和/或其他血液成分的各种物理边界的位置的识别。
在一些实施例中,提供被配置成执行尺寸表征方法的品质检查模块。品质检查模块可以被提供在这样的区域中:其中机器人或运输机构可以将被包含在这种样品容器中的样品运输至品质检查模块。在一些实施例中,品质检查模块可以被设置在传送轨道上,其中传送轨道将样品承载至远程位置以用于分析(例如,分析测试或者化验)。可以在合适的分析仪上进行化学分析或化验。如在本文中所使用地,术语“分析仪”意味着临床化学分析仪和/或化验仪器等等。在一些实施例中,品质检查模块可以被设置在轨道上,以使得当样品容器驻留在轨道上时,诸如在输入道上或者在轨道上的别处时,样品容器可以针对尺寸被表征。
在一个或多个实施例中,经处理的HDR数据可被用于尺寸表征,但是也可用于体积量化、后生物检测和/或HIL检测。由本文中的尺寸量化方法所使用的所有所采集的图像是包含多个像素的像素化图像。如在本文中所使用的像素意味着单个像素或者像素的组,诸如超像素。已发现具有11个单独像素乘11个单独像素的大小的超像素对于扫描和处理是效果良好的。可以使用其他合适大小的超像素。
在本发明的一个或多个实施例的另一方面中,能够使用从尺寸表征得到的关于样品容器的宽度(W)的数据,连同从分割(segmentation)得到的边界信息,以确定血清或血浆部分的深度或体积,并且还甚至可能确定沉淀的血液部分的深度或体积。
包括HDR处理的表征方法可包括在品质检查模块处以多个曝光(例如,曝光时长)、在通过具有不同标称波长的多种不同的光照明时、且甚至从多个视角采集多个图像。在一些实施例中,可以利用布置在品质检查模块内的多个相机采集图像。如在本文中使用的“相机”意味着能够采集图像(例如,数字图像)以用于分析的任何装置。
通过多个相机采集的图像然后通过计算机被处理以确定容器盖的形状和几何结构,且还可以被用于量化样品的深度和/或体积。在分割过程期间,对于在每个图像中的每个像素,对于所使用的每个波长展现最佳图像强度(即,最佳曝光)的像素可以被选择,且与来自其他像素位置的其他最佳像素被组合在一起,以生成合并的图像数据集。结果是多个标准化的合并的图像数据集(例如,红色(R)、绿色(G)、蓝色(B)),其中所有像素是最佳曝光的(例如,每种颜色(例如,R、G和B)一个图像数据集)。
来自标准化的合并的颜色数据集的数据可以经受统计分析,以确定对于其每个像素的统计数据(例如,平均值和协方差矩阵)。“协方差”是诸如强度的像素属性中的两个或更多个的相关程度的量度。能够然后通过多类别分类器对呈一个或多个数据矩阵的形式的该统计数据进行操作。由此,可以对样品容器盖的形状进行分类。特别地,可以识别容器盖的外部形状和结构。进一步地,还可以确定容器盖的内部形状和结构、容器盖的类型以及容器盖的颜色。
多类别分类器可以被用于执行分割任务。分类器可以是支持向量机(SVM)或随机决策树,例如,其已经从多个训练集被训练。然而,可以使用其他类型的分类器。
可以基于来自分割过程的输出确定包括容器盖的样品容器的尺寸。也可通过分类器限定液体区域(即,血清或血浆部分),且边界数据连同通过尺寸表征方法得到的宽度(W)一起可以被用于确定液体区域(例如,血清或血浆部分)的体积。
在本文中,将参考图1至图15描述本发明的尺寸表征方法、品质检查模块和包括品质检查模块的样品测试系统的进一步细节。
图1示出样品测试设备100,其能够且可操作以在通过一个或多个分析仪(例如,分别围绕样品测试设备100布置的第一、第二和第三分析仪106、108、110)分析之前自动地处理样品容器102中的多个样品容器,样品容器102可以被包含在被提供在装载区域105处的一个或多个架104中。应当显而易见的是,能够使用更多或更少数目的分析仪。分析仪可以是一个或多个临床化学分析仪和/或一个或多个化验仪器等,或者是其组合。样品容器102可以是任何通常透明或者半透明的容器,诸如,血液收集管(见图2)。
通常,要被自动处理的样品212(图2)可以在样品容器102中被提供至样品测试设备100,样品容器102可以用盖214(图2,另外被称为塞子)来加盖。盖214可以具有不同形状、外部结构、内部结构和颜色(例如,红色、品蓝色、淡蓝色、绿色、灰色、黄褐色、黄色或者其他颜色)。颜色提供关于要执行的测试、或者在一些情形中在样品容器102中提供的添加剂的有用信息。样品容器102中的每个可包括管212T,管212T可以被提供有诸如条形码、字母标记、数字标记或字母数字标记或者其组合的识别信息215,识别信息215可以在围绕样品测试设备100的各个位置处是机器可读的。例如,识别信息215可以指示患者的身份(identification)以及可能地指示对样品212执行的测试。识别信息215还可以与实验室信息系统(LIS)147配合,以提供关于所安排的测试等的额外信息。这种识别信息215通常可以被提供在标签218上,标签218被粘附至样品容器102或者以其他方式被提供在样品容器102的侧部上。标签218通常不一直围绕样品容器102的周长或者一直沿着样品容器102的长度延伸。因此,尽管标签218可能遮蔽样品212的一些部分,但是样品212的一些部分可以仍然是可观察到的。在一些实施例中,可能存在多个略微重叠的标签218。在一些实施例中,架104可以具有在其上的额外的识别信息,其可用于追踪。
在分离(fractionation)之后,样品212可包括被包含在管212T内的血清或血浆部分212SP、沉淀的血液部分212SB。在血清和血浆部分212SP上方可以提供空气212A,且在空气212A与血清或血浆部分212SP之间的线或界线在本文中被限定为液体-空气界面(LA)。在血清或血浆部分212SP与沉淀的血液部分212SB之间的界线的线在本文中被限定为血清-血液界面(SB)。在空气212A与盖214之间的界面在本文中被称为管-盖界面(TC)。管的高度(HT)被限定为从管212T的物理最底部部分到盖214的底部的高度。血清或血浆部分212SP的高度(HSP)被限定为从沉淀的血液部分212SB的顶部至血清或血浆部分212SP的顶部(即,从SB至LA)的高度。沉淀的血液部分212SB的高度(HSB)被限定为从沉淀的血液部分212SB的底部至沉淀的血液部分212SB的顶部的高度。在其中使用分离胶313的一些实施例中,诸如图3,存在在血清或血浆部分212SP与分离胶313之间的界面(SG)。同样地,存在在沉淀的血液部分212SB与分离胶313之间的界面(BG)。在该情形中,HTOT是HSB加HSP。W是管212T的宽度。
更详细地,样品测试设备100可包括基部120(例如,框架或其他结构),轨道121可以被安装或支撑在该基部上。轨道121可以是有轨轨道(例如,单轨轨道或者多轨轨道)、一组传送带、链条、可移动平台或者其他合适的传送机构。轨道121可以具有圆形的、蜿蜒的或其他的形状,且在一些实施例中可以是闭合的(即,没有尽头的)轨道。轨道121可以运输可以在载体122中被承载在轨道121上的样品容器102中的单独的样品容器,或者在一些实施例中,可以运输样品容器102中的多个样品容器。样品容器102可以适于被接收在可在轨道121上移动的载体122的接收器中。
在一个或多个实施例中,载体122可以是被配置成承载单个样品容器102的盘(puck)。在一些实施例中,载体122可包括机载(onboard)驱动马达,诸如线性马达,其被配置成使样品容器102围绕轨道121移动,同时根据编程的指令停止和起动。载体122可以各自包括保持器122H,其适于将样品容器102保持和紧固在限定的直立位置中。保持器122H可包括三个或更多个薄的叶片弹簧或者指状件。
在一些实施例中,载体122可以从装载区域105离开,在装载区域处具有一个或多个架104。装载区域105可以提供如下双重功能:还允许在处理之后从载体122卸载样品容器102。机器人124可以被提供在装载区域105处,且可被配置成从一个或多个架104抓持样品容器102,以及将样品容器102移动和装载到载体122上,诸如,移动和装载到轨道121的输入道上。输入道可以是轨道121的主要部分的部分,或者可以是来自于其的分支。机器人124还可被配置成在完成测试之后从载体122移除样品容器102。机器人124可包括能够进行X和Z、Y和Z、X、Y和Z、或r和θ运动的一个或多个(例如,至少两个)机器臂或部件,其中,机器人124可以配备有机器人夹持指状件,机器人夹持指状件适于拾取和放置样品容器102。然而,可以使用任何合适类型的机器人124。
在通过机器人124被装载到轨道121上之后,通过载体122承载的样品容器102可以前进到离心机125(例如,被配置成执行样品212的分离的自动化离心机),且在一些实施例中可以通过入流道126被转移至离心机125。在被离心之后,样品容器102可以在出流道128上离开,且在轨道121上继续。在一些实施例中,载体122可以继续移动到品质检查模块130,品质检查模块130将在本文中参考图4A-图4D进一步描述。可选地,离心可以预先发生,且被包含在样品容器102中的样品212可以被直接装载到被定位在装载区域105(诸如,输入道的部分)处的品质检查模块130内。
品质检查模块130被配置成且适于自动地确定/表征包含待通过样品测试设备100处理的样品212(包括盖214)的样品容器102的物理属性。表征可包括表征管大小、盖类型和/或盖颜色。一旦被表征,样品212可以进一步被表征,以确定样品212的深度和/或体积、针对HIL和/或一个或多个后生物的存在进行筛查。如果发现不包含HIL和/或没有(一个或多个)后生物,则样品212可以在轨道121上继续,并且然后在将每个样品容器102返回至装载区域105以用于卸载之前,可以在一个或多个分析仪(例如,第一、第二和第三分析仪106、108和/或110)中分析样品212。
在一些实施例中,可以在品质检查模块130处进行包括容器盖214的样品容器102的物理属性的量化(即,确定HT、盖颜色、盖类型、TC、管类型和/或W)。在一些实施例中,样品212的量化也可以在品质检查模块130处进行,且可以涉及HSB、HSP、HTOT的确定,以及可以确定SB、LA、SG和/或BG的竖直位置。如将显而易见地,还可以识别保持器122,但是当稍后处理各种图像时,可以忽略保持器122。
另外,可以通过自动化样品测试设备100来服务远程站132,即使远程站132不直接联结至样品测试设备100的轨道121。举例来说,独立的机器人133(以虚线示出)可以将样品容器102承载至远程站132,且在测试/处理之后将其返回。可选地,样品容器102可以被手动地移除和返回。远程站132可以被用于测试某些组分,诸如,溶血现象水平,或者可被用于进一步的处理,诸如,通过额外处理来降低脂血水平,或者移除在样品212中发现的后生物,诸如,例如凝结物、气泡或泡沫。可以在远程站132处实现其他测试或处理。
样品测试设备100可包括在围绕轨道121的一个或多个位置处的多个传感器116。传感器116可以被用于借助于如下来检测样品容器102沿着轨道121的位置:读取被放置在样品容器102上的识别信息215(图2)、或被提供在每个载体122上的类似信息(未示出),诸如,条形码。可以使用用于追踪载体122的位置的其他器件。所有传感器116与计算机143对接,以使得每个样品容器102和样品212的位置始终是已知的。计算机143可以以已知的方式与LIS 147对接和通信。
离心机125和分析仪106、108、110中的每个通常可以配备有被配置成从轨道121移除载体122的机器人机构和/或入流道(例如,入流道126、134、138、144),以及被配置成使载体122重新进入轨道121的机器人机构和/或出流道(例如,出流道128、136、141和146)。
可以通过计算机143来控制样品测试设备100,计算机143可包括基于微处理器的中央处理单元CPU,其具有合适的存储器、软件和合适的调节电子器件和驱动器以用于操作各种系统部件。计算机143可以作为样品测试设备100的基部120的部分被容纳,或者与样品测试设备100的基部120分离。计算机143可以操作以控制载体122进出装载区域105的移动、围绕轨道121的运动、进出离心机125的运动、离心机125的操作、进出品质检查模块130的运动、以及品质检查模块130的操作、和进出每个分析仪106、108、110的运动,以及在一些情况中,可能地控制执行各种类型的测试(例如,化验和/或临床化学)的每个分析仪106、108、110的操作。
对于除了品质检查模块130之外,计算机143可以根据诸如在由纽约州塔里敦的西门子医学诊断产品股份有限公司销售的Dimension®临床化学分析仪上使用的那些的软件、固件和/或硬件命令或电路来控制样品测试设备100,且对于基于计算机的机电控制编程的领域的技术人员来说,这种控制是典型的,且将不在本文中进一步描述。然而,可以使用用于控制样品测试设备100的其他合适的系统。还可以通过计算机143但是根据本发明的基于模型的方法来提供用于表征样品容器和盖的品质检查模块130的控制,如将在本文中详细地描述地。可选地,其可通过联接到计算机143的分离的计算机来提供。
可以使用计算机接口模块(CIM)145来实施本发明的实施例,计算机接口模块(CIM)145允许用户容易地且迅速地访问多种控制和状态显示屏。这些控制和状态屏可以描述用于样品212的制备和分析的多个相关自动化装置的一些或所有方面。可以采用CIM145以提供关于多个相关的自动化装置的操作状态的信息、以及描述任何样品212的位置的信息、以及要对样品212执行的或者正在对样品212执行的筛查或测试的状态。CIM 145可以适于有助于在操作员与样品测试设备100之间的交互。CIM145可包括显示屏,其适于显示包括图标、滚动条、框和按钮的菜单,通过该显示屏,操作员可以与样品测试设备100对接。菜单可以包括多个功能按钮,其被编程以显示样品测试设备100的功能方面。
参考图4A-图4B,示出和描述了品质检查模块130的第一实施例。品质检查模块130可以被配置成和适于自动地表征包括容器盖214的样品容器102的物理结构(例如,大小)。在通过分析仪106、108、110中的一个或多个被自动地处理之前,尺寸和结构的表征方法可以通过品质检查模块130来执行。以该方式,对于任何随后的处理,样品容器的大小和容器盖的形状和结构是已知的。品质检查模块130可以被用于量化样品容器102,即,量化样品容器102的某些物理尺寸特征,诸如,样品容器102的TC的位置、HT和/或W和/或Wi,和/或容器盖214的颜色、内部结构、外部结构和/或类型。品质检查模块130可以被用于量化保持器122H,使得当稍后处理图像时,可以忽略保持器122H。
除了样品容器和容器盖量化方法之外,可以在品质检查模块130处对被包含在样品容器102中的样品212进行其他检测方法。例如,品质检查模块130可以被用于量化样品212,即,确定样品212的某些物理尺寸特征,例如,LA、SB、SG和/或BG的物理位置,和/或HSP、HSB和/或HTOT的确定,和/或血清或血浆部分的体积(VSP)和/或沉淀的血液部分的体积(VSB)。
再次参考图1、图4A和图4B,品质检查模块130可包括多个相机(例如,两个或更多、三个或更多、四个或更多)。相机可以是常规的数码相机(例如,彩色相机或单色相机)、电荷耦合装置(CCD)、光电探测器阵列、两个或更多CMOS传感器等。例如,三个相机440A、440B、440C在图4A中示出,且可被配置成从三个不同视角采集在成像位置处的图像。可以使用其他数目的相机。每个相机440A、440B、440C可以是能够在成像位置处采集数字图像(即,像素化图像)的装置。例如,每个图像的图像分辨率可以是大约0.5 MP至3 MP。可以使用其他像素分辨率。每个相机440A、440B、440C可以被配置成且可操作以采集在成像位置处的样品容器102和容器盖214的至少一部段或侧面部分的侧面图像,以及采集样品212的至少一部分的侧面图像,以及可能地采集标签218的一部分。图像可以略微重叠。最终,从多个图像,能够开发容器盖214和在样品容器102中的样品212的复合图像。在一些实施例中,最终的复合图像可以是基于来自多个相机440A、440B、440C的图像的在成像位置处的样品容器102、容器盖214和所包含的样品212的3D图像。
在所示出的实施例中,多个相机440A、440B、440C可以围绕被定位在成像位置处的样品212布置,且被配置成从多个视角采集侧面图像。该视角可以以距彼此大致相等的间隔径向地间隔开。如所描绘地,当使用三个相机440A、440B、440C时,间隔可以是距彼此大约120度。在所示出的示例实施例中,相机440A、440B、440C可以围绕轨道121的侧部布置。可以使用多个相机440A、440B、440C的其他布置。以这种方式,当样品容器102驻留和被保持在轨道121上的载体122中时,可以在成像位置处获得样品容器102、容器盖214和样品212的图像。
在一个或多个实施例中,载体122可以在品质检查模块130中的预定成像位置处被停止,诸如,在其中来自相机440A、440B、440C中的每个的法向量相交的点处被停止。在一些实施例中,可以提供门以使载体122停止,以便可以采集高品质图像。在采集一系列图像之后,门可以释放载体122。在其他实施例中,载体122可包括线性马达,其被配置和被编程以使载体122在期望的位置处、诸如在品质检查模块130处起动和停止。可以使用用于停止载体122的其他合适的器件。
相机440A、440B、440C可以被提供成紧密接近图像窗口,且被瞄准和/或聚焦以采集图像窗口,所述图像窗口即,包括样品容器102和容器盖214的表面的预期位置的区域,其中,样品容器102和/或容器盖214可以被大致定位在图像窗口的中心中。如所配置的,相机440A、440B、440C能够采集包括血清或血浆部分212SP的部分、沉淀的血液部分212SB的部分和容器盖214的全部的图像。在所采集的图像内,可能存在一个或多个参考基线(datum)。参考基线可以有助于样品212、样品容器102和/或容器盖214的进一步量化。参考基线可以是TC或样品容器102的最底部表面或者两者。可选地,样品容器102本身可包括被提供在其上的能够从任何视角观察的标志或其他定位标记。
在操作中,可以响应于触发信号来触发并采集通过品质检查模块130采集的图像中的每个。触发信号可以通过计算机143生成,且在联接到计算机143的通信线路443A、443B、443C中被提供。可以根据在本文中提供的方法的一个或多个实施例来处理所采集的图像中的每个。特别地,HDR图像处理可以被用于采集和处理多个图像。
更详细地,以多个不同曝光(例如,曝光时长)且在通过具有不同标称波长的一个或多个不同光源照明时采集样品容器102的多个图像。例如,每个相机440A、440B、440C可以使用具有不同标称波长的一个或多个光源以不同的曝光时长获得大约4-8个或更多个图像。可以采取其他数目的多个曝光。
可以通过多个不同方法来实现多个图像的采集。在一些实施例中,可以使用不同颜色的光源444A-444C来采集多个图像。光源444A-444C可以从背后照射(backlight)样品容器102和容器盖214(如在图4A-图4B中所示出),且可被实现为例如光板。光源444A-444C可以提供围绕成像位置441的背后照射(back lighting)。光源444A-444C可以是光板。光板可在其中包括不同颜色的灯的阵列,或者在其中另外包括用于激励(pump)不同颜色的光的器件。在一些实施例中,可以结合光源544A-544C使用光漫射器(Light diffuser)。板可以提供期望的光谱颜色或波长范围的均匀照射。在该实施例中,相机440A-440C可以是数码单色相机。光源444A-444C可以以具有相对窄的大约+/-35 nm的带宽的各种光谱采集图像。在一些实施例中,光源444A-444C可以例如分别具有在大致634 nm(红色)、537 nm(绿色)和455 nm(蓝色)处的标称发射峰。然而,可以使用其他标称波长,且可以使用多于或者少于三个光源。可以然后通过相机440A-440C中的每个从不同视角采集多波长、多曝光时长的图像。一个接一个地以各种曝光时长(例如,4-8种或更多种曝光,每个曝光时长可以比在先的曝光时长更长大致8 ms至大致64 ms)采集彩色图像(通过具有一些相对窄的波长带的标称波长来表示)中的每个。能够使用其他曝光时长。图像可以以任何次序获得,诸如,以多个曝光时长的红色、以多个曝光时长的绿色和以多个曝光时长的蓝色。对于该检测方法,可以计算透射图像,其中,从最佳曝光图像和参考图像计算每个透射图像(对于R、G、B照明中的每者),如将从下文显而易见地。可以通过其相应的逐像素强度来使最佳曝光图像标准化。
在可选的实施例中,如在图4C和图4D中最佳示出地,样品容器102可以在品质检查模块130A中诸如通过包括光源444D、444E和444F被前光照明(front lit),光源444D、444E和444F布置成邻近于相机440A、440B、440C,即,在相机的上方、下方、侧面或者组合,但是与相应的相机440A-440C在样品容器102的相同侧上。在该实施例中,相机440A-440C可以是分别具有大致634 nm、537 nm和455 nm的RGB峰的数码彩色相机,但是其中,与在上文的带有单色相机的实施例中使用的离散的源相比较,RGB颜色中的每个具有相对更宽的波长范围。在该实施例中,光源444D、444E和444F可以各自是白光源。例如,光源444D-444F可以发射大约400 nm至大约700 nm的波长范围,且可以被用于照明样品212。可以通过每个相机440A-440C获得以不同曝光时长获得的多个图像。所采集的每个白光图像可以被分离成在多个n标称波长处的两个或更多个色谱分量,所述标称波长包括在大约400 nm与大约700 nm之间的至少两个标称波长。例如,可以通过计算机143从图像分离出RGB光谱分量,以生成多光谱、多时间曝光图像。可以经由在线路443A-443C中来自计算机143的信号来采集图像。
在一些实施例中,品质检查模块能够包括包含容器盖214的样品容器102的前方和背后照射两者,使得能够采集前光和背光图像两者。例如,在一些实施例中,能够采集使用白光的前光图像,能够采集使用白光的各自以不同曝光时长获得的一系列背光图像,能够采集使用红光的前光图像,能够采集使用红光的各自以不同曝光时长获得的一系列背光图像,能够采集使用绿光的前光图像,能够采集使用绿光的各自以不同曝光时长获得的一系列背光图像,能够采集使用蓝光的前光图像,并且能够采集使用蓝光的各自以不同曝光时长获得的一系列背光图像。
根据第一实施例,为了以第一波长采集图像,三个红光源(大约634 nm的标称波长峰,具有大约+/-35 nm的光谱带宽)可以被用于同时照明样品212。当通过每个相机440A-440C(诸如,同步地)采集以不同曝光时长获得的多个图像(例如,4-8个或更多个图像)时,通过光源444A-444C进行的红色照明可以继续。在一些实施例中,曝光时间可以在大约0.1ms与256ms之间。可以使用其他曝光时间。例如,曝光时间可以在8 ms,另一个在32 ms,另一个在64 ms,以及另一个在128 ms。其他数目的曝光和时间间隔可以被用于采集多个曝光时间图像。红光源444A-444C可以被打开足够长时间以采集多个红色的背光图像,并且然后可以被关闭。
在使用红光源444A-444C采集图像之后,其可以被关闭,且另一颜色的灯,例如,两个或更多绿光源444A-444C可以被打开(大约537 nm的标称波长峰,具有大约+/-35 nm的光谱带宽),且可以在该光谱处通过布置在不同视角处的每个相机440A-440C采集以不同曝光时长获得的多个图像(例如,4-8个或更多个图像)。对于每个相机440A-440C,可以利用两个或更多蓝光源444A-444C(大约455 nm的标称波长峰,具有大约+/-35 nm的光谱带宽)来重复该步骤。因此,结果是以不同曝光时长、不同光谱和以不同视角采集的多个图像。可以可选地或另外地使用其他光谱、曝光时间数目或视角。可以经由如下来实现不同波长光源444A-444C:例如,使用可更换的滤色器,或者例如,能够被选择性地打开和关闭的成排(bank)的不同窄带颜色的RGB光源。可以使用用于有效背后照射的其他器件。同样地,可以使用除了RGB之外的其他颜色。
为了根据第二实施例采集图像,三个白光源444D-444F可以被用于同时照明容器盖214。当通过光源444D-444F照明时,可以通过每个相机440A-440C(诸如,同步地)采集以不同曝光时间获得的多个图像(例如,4-8个或更多个图像)。在一些实施例中,曝光时间可以例如在大约0.1 ms与256 ms之间。可以使用其他曝光时间。例如,一个曝光可以在8ms,另一个在32ms,另一个在64ms,以及另一个在128ms。其他数目的曝光和时间间隔可以被用于采集多个曝光时间图像。多个曝光图像可以通过计算机143进一步处理,以提取单独的RGB图像(例如,在较低的像素密度下),并且在每个曝光时间和视角处。因此,结果是每个相机以不同曝光时长和利用具有不同标称波长的不同光源照明获得的多个图像。
对于每个实施例,可以快速接连地得到对于每个相应波长或波长范围(例如,白光)以多个曝光时长获得的所有这些多光谱图像,使得例如可以在小于2s中得到来自多个视角的容器盖214(和样品212)的图像的整个收集。
为了示出针对每个样品212采集的图像的数目的示例,提供如下示例。根据第一实施例,使用RGB光源以及对于每个波长的4个不同曝光时间图像、且在三个视角处提供单色相机将导致4曝光×3颜色×3视角=36个图像。根据第二实施例,使用白光源以及4个不同曝光时长图像、且在三个视角处提供彩色相机将导致4曝光×3视角=12个图像。然而,这些12个图像然后通过计算机143被分离成RGB图像,使得最终得到36个图像,然而,这些图像的像素密度是第一实施例的方法的近似1/3。在每种情形中,多曝光图像可以被存储在计算机143的存储器中,且可以随后由此被处理。根据第三实施例,首先使用白光源用于第一曝光的前方照射,并且然后使用白光源用于以用于采集图像的3个不同曝光时长背后照射,且提供在三个视角处的相机,并且然后对于R、G和B光源中的每个重复,将导致4曝光×4波长(或波长光谱(例如,白光))×3视角=48个图像。
在一个或多个实施例中,品质检查模块130可包括壳体446,其可以至少部分地围绕或覆盖轨道121,且提供用于图像采集的封闭或半封闭环境。在每次图像采集期间,样品容器102可以被定位在壳体446内部。壳体446可包括一个或多个门446D,以允许载体122进入和/或离开壳体446。在一些实施例中,顶板可包括开口446O,以允许样品容器102通过包括可移动机器人指状件的机器人(例如,机器人124)从上方被装载到停留在壳体446内部的载体122中,诸如,在品质检查模块130被定位在装载区域105处时。在其中使用前方照射的情形中(图4C-图4D),品质检查模块130可包括挡壁(backstop wall)447,以提供改善的图像对比度。挡壁447可以是任何合适的颜色,诸如,不同于容器盖214的颜色的预期范围。在一些实施例中,可以使用黑颜色的材料。
在一方面,多波长、多曝光时长图像的数据的处理可以涉及首先确定样品212的分割,以使得可以识别管212T和容器盖214。分割还可以识别液体部分(例如,血清或血浆部分212SP)。处理可以涉及例如从对于每个相机以不同曝光时间且以每个波长获得的多个采集的图像中的每个选择最佳曝光像素,以便生成对于每个相机440A-440C对于每个波长的最佳曝光图像数据集。在本文中,这被称为“图像合并”。在图像合并期间,对于每个光谱颜色,将在不同曝光时间图像中的每个的对应位置中的像素进行比较,且仅展现最佳图像强度的像素可以从不同曝光时间图像中的每个被选择。在一个实施例中,例如,最佳图像强度像素可以是落入预定强度范围内的像素(例如,在0-255的尺度上在180-254之间)。在另一实施例中,例如,最佳图像强度可以在0-255的尺度上的16-254之间。其他非最佳像素由于曝光不足或者过度曝光被丢弃。可以使用其他尺度和最佳范围。如果在两个图像的对应位置中多于一个像素是最佳曝光的,则可以选择两个像素中的更高强度的像素。然后按照曝光时间将最佳曝光像素强度中的每个标准化。结果是对于每个相机440A-440C的多个标准化且合并的光谱图像数据集(例如,红色、绿色、蓝色),其中所有像素是最佳曝光的(例如,每个光谱(例如,红色、绿色、蓝色)一个图像数据集)。
作为品质检查模块130的校准过程的部分,可以获得没有样品容器102的参考图像。可以在样品容器102和载体122进入到品质检查模块中之前,通过每个相机440A-440C、且以稍后将在图像采集期间使用的所有曝光时间和照射条件来获得(一个或多个)参考图像。以这种方式,通过从每个图像数据集可选地减去背景(即,在样品容器102之外的区域)从而仅留下前景图像,可以最小化计算机143的计算负担。在本文中,这被称为“背景移除”。
对于包括标准化且最佳曝光的像素的每个光谱图像数据集,进行分割过程,以对在图像数据集内的每个像素分类。样品容器102、容器盖214和样品212的各个部段可以被表征,即,可以确定其各种类别和边界中的每者。这可以被用于识别管212T(即,透明或半透明区域)和容器盖214。这还可以被用于识别液体部分(例如,血清或血浆部分212SP)、分离胶313(如果存在的话)、沉淀的血液部分212SB和在成分之间的界线的线(例如,LA、SB、SG、BG)。背景和载体212也可以被分割。分割可以基于将在最佳曝光图像数据中的像素分类为属于基于分类器模型的类别(图5)。分类器模型可以基于从多个训练集生成的多类别分类器515。多类别分类器515可以例如包括支持向量机(SVM)或随机决策树。可以使用其他类型的多类别分类器。
为了执行分类,首先,可以对于处于不同波长(例如,红色、绿色、蓝色)的最佳曝光像素中的每个以及对于每个相机440A-440C计算统计数据。统计数据可包括平均值和多达二阶的方差。一旦生成,则统计数据被呈现至多类别分类器515,且通过多类别分类器515对其操作,多类别分类器515可以将图像中的像素分类为属于多个独特的类别标签中的一个,所述类别标签诸如:1-血清或血浆部分、2-沉淀的血液部分、3-盖、4-标签、5-样品容器、6-空气、7-分离胶(如果使用的话)、8-管(例如、透明区域)。载体122也可以被分类。从该分割,可以识别构成管212T和容器盖214的像素。
多类别分类器515的操作的结果是识别属于类别3-盖和类别8-管的所有像素。在图5中示出样品容器表征方法的简单流程图。首先,在502中,在品质检查模块130处提供由载体122承载的包括样品212的样品容器102。在504处,采集多个曝光图像;多个曝光图像是如上文所描述的以多个不同曝光时间且以多个不同光谱(和/或波长范围)获得的多光谱图像。多个图像可以然后被存储在计算机143的存储器中。从这些图像,可以可选地在508的背景移除阶段中减去背景,以降低计算负担。通过减去在510中获得的参考图像来实现背景减除,参考图像可以在将载体122和样品容器102提供在成像位置441处之前作为校准的部分或作为方法的部分被获得。
在图像采集和可能的背景移除之后,如在511中所示出,对于每个相机440A-440C,可以对多个曝光、多个波长数据集实现分割过程。在511中的分割过程可包括图像合并阶段,其可以在512中进行。在512中的图像合并期间,每个颜色(例如,标称波长)的各种图像被逐像素地审查,以用于确定最佳曝光的那些像素。对于每个对应的像素位置,任何最佳曝光像素中的最佳者被选择,且被包括在最佳曝光图像数据集中。通过曝光时间将每个像素强度值标准化。因此,在512中的图像合并之后,对于每个标称波长或波长范围(例如,颜色)产生了一个标准化且最佳曝光的图像数据集。
在512中的图像合并之后,或者可能与其同时地,在514中进行统计生成过程,其中,针对每个像素生成统计,诸如,平均值和/或协方差矩阵。在516中,然后通过多类别分类器515对来自标准化和最佳曝光的数据集的该统计数据和强度信息进行操作,以提供对于在图像数据集中的所有像素的像素类别的识别。从516的该分类过程,在相机440A-440C中的每个的合并的图像中的每个像素被给予作为如上文中列出的多个分类类型中的一个的分类。在分类期间,图像被扫描,且对于每个像素位置,通过使用多类别分类器得到类别标签。在一些实施例中,围绕像素位置的小的超像素小块被用于形成相对于相机440A-440C的噪声水平更稳健的统计描述(例如,11×11像素)。
由此,作为管212T和容器盖214的像素被识别。被分类为容器盖214的所有像素被收集在一起。由此,在531中,可以通过例如blob或其他合适的形状分析技术,通过将所识别的形状与存储在计算机143的存储器中的参考盖内部和外部形状的数据库(诸如,在查找表531L或其他数据库中)进行比较,来识别盖214的形状(例如,容器盖214的内部和外部结构两者的形状)。在531中,容器盖214的内部和外部形状识别盖类型。容器盖214的内部和外部形状可以指示在样品容器中存在的材料的类型,诸如,尿液、痰、粪便以及容器是否处于真空下。容器盖214的内部和外部形状还可以指示样品容器是否已经被抽空。在一些实施例中,除了形状分析之外或者作为其替代,能够从被识别为表示盖的像素确定容器盖214的尺寸(例如,高度、宽度、直径、厚度等)。
已经被识别为表示容器盖214的像素的相同集合可以针对平均R、G和B水平或聚类方法(在多颜色盖的情况中)被量化,且从该RGB数据,在533中,可以基于被存储在查找表533L中的用于已知的盖颜色的单独的RGB值范围的比较,来识别盖214的颜色。对于经识别的盖区域,可以提取实际颜色值。可以在测试之前的任何期望时间处发生颜色校准。每个实际颜色值或多个颜色值将与数据库条目匹配(例如,经由查找表或其他关联),在数据库条目中表示了所有盖颜色。
可以通过将在516中被识别为是管类别的各种像素收集在一起来量化管212T。在518中,然后将在管212T的像素的大致竖直地对齐的相应最外部线之间的在像素空间中的位置相减,以计算和提取宽度(W)。宽度(W)可以被计算为在对应的高度处的对应像素之间的距离的平均。在518中测量的像素可以是在管-盖界面TC下方的那些像素,而忽略在样品容器102的底部的弯曲部分处的像素。
然后在520中提取高度(HT)。在被分类为管212T的最底部像素与管-盖界面TC之间测量高度 (HT) 。在529中,该高度(HT)值可以连同宽度(W)一起被用于识别和表征来自可能大小的列表(其可以例如被存储在查找表529L中)的样品容器102的大小(例如,10.25×47、10.25×64、10.25×84、13×75、16×100、13×100,所有单位都是mm×mm)。可以列出其他标准大小。
从这些值,可以在535中确定估计的内部宽度(Wi)。该内部宽度(Wi)可被用于计算血清或血浆部分212SP的体积和/或沉淀的血液部分212SB的体积。可以基于用于每个大小的每个样品容器102的实际测量的或估计的壁厚度(Tw)来估计内部宽度(Wi)。这些内部宽度(Wi)值可以被存储在存储器上,诸如,存储在查找表535L中,且一旦识别了管大小则可用于体积测量。
图6示出更宽泛的表征方法600的流程图,其中,包含样品212的样品容器102(包括容器盖214)的表征仅仅是可以通过更宽泛的方法600使用品质检查模块130表征或者分类的许多项目中的一者。根据方法600的一个或多个实施例,采集图像,诸如,通过多个相机(示出了相机540A)来采集。然而,其他相机540B、540C可以被用于从其他视角采集图像。将描述的用于在相机540A上采集的图像的处理同样用于在其他视角处的其他相机540B、540C,且其在线路605中的输入可以被用于开发样品212的3D模型。如上文所讨论的,通过相机540A和其他相机540B、540C采集的图像可以是多光谱和多曝光图像。特别地,对于在604A中使用的每个光波长,可以采用多个曝光(例如,4-8个或更多个曝光)。如在图4A-图4B中描述地,可以同时使用单色相机和背后照射光源544A-544C得到每个相机540A-540C的以每个曝光获得的相应图像。可选地,可以在604B中使用彩色相机得到使用白光源544D-544F的前方照明多曝光图像。
如上文中在可选的背景移除方法中所描述的,然后可以在508中处理图像,以使用参考图像510移除背景。然后在511中以上文描述的方式进一步处理图像以确定分割。在一些实施例中,来自604B的来自前光相机540A-540C(见图4C-图4D)的图像可以最佳地用于在511中的分割。同样地,在604A中采集的图像可以最佳地用于在621中的HILN的表征。然而,显然,在604B中采集的图像可用于在511中的分割。
在511中的分割之后,还可以执行在623中的液体的识别和量化。在623中的量化液体可以涉及样品212的诸如LA、SB、SG和/或BG的物理位置的某些物理尺寸特征的确定,和/或HSP、HSB和/或HTOT和/或血清或血浆部分的体积(VSP)和/或沉淀的血液部分的体积(VSB)的确定。如上文中描述地,可以从样品容器表征627得到内部宽度(Wi)。可以通过选择在这些界线区域处的像素并且平均其在像素空间中的位置值以得到用于LA、SB或SPG的值来实现识别。从该信息,可以确定血清或血浆部分212SP的体积。可以通过使用任何合适的校准以将像素校准至mm来实现从像素空间至机械测量的相关。
为了提供可用的血清或血浆部分212SP的实际体积的甚至更接近的测量,可以在622中采用后生物检测方法,以识别凝结物、气泡、或泡沫的存在。可以从上文中确定的血清或血浆部分212SP的估计体积减去存在的一个或多个后生物的相应估计体积,以得到更好的体积估计。在622中然后可以使用后生物分类器处理图像以确定在血清或血浆部分212SP中后生物的存在或缺失。在621中,在后生物检测622中被识别的包括后生物的那些像素然后可以被HILN分类忽略。在一些实施例中,后生物的检测还可以启动纠正。
在511中的分割结果还能被用于识别标签,标签可包括诸如条形码的识别信息215。在625中可以读取条形码。一旦在511中通过分割识别了标签218,则可以使用常规的条形码读取软件。如果该图像不包含足够的要被读取的条形码,则能够从由外部相机得到的其他图像读取条形码。
还可以根据更宽泛的方法600实现样品容器102的进一步的表征。在529中的管类型、在531中的盖类型和在533中的盖颜色的表征可以在635中被馈送至3D推理(reasoning),以核实基于处理来自每个相机的图像实现了相同表征。如果得到略微不同的值,则值可以被平均。来自在621中的HILN分类、在623中的液体量化、在622中的后生物检测以及在627中的样品容器检测的所有这些输出可以在735中被馈送到3D推理中,且可以被用于生成3D模型。
图7示出根据一个或多个实施例的确定包括容器盖214的样品容器102的特征的方法的流程图。方法700包括在702中提供样品容器(例如,样品容器102,诸如,加盖的血液收集管)。接下来,方法700包括在704中以不同曝光时长以及以不同波长采集样品容器和容器盖的图像。例如,在一些实施例中,可以采用4至8个或更多个不同曝光。一些图像可以使用用于前方照射的白光采集,且一些可以使用作为背光光源544A-544C的多个单波长峰的窄带光源(诸如,红色、蓝色和绿色)采集。如上文所讨论的,白光图像可以被计算机143分解为如同所采集的R、G和B图像。在每个情形中,可以通过多个相机540A-540C从多个视角获得图像。
如在706中所示出,方法700可以可选地包括背景减除以减去背景,以便降低计算负担。可以通过从所采集的样品图像减去参考图像来实现背景减除,可以作为校准过程的部分获得参考图像。参考图像可以与样品容器102的样品图像以相同曝光时间、光谱和照射条件获得,但是可以在没有样品容器102或载体122的情况下采集。
在710中,方法700包括从以每个波长以不同曝光时间获得的图像选择最佳曝光像素,以生成在每个波长处的最佳曝光图像数据。对于在特定光谱处的每个图像中的每个对应的像素,选择最佳曝光像素(没有曝光不足或者过度曝光)。最佳曝光范围可以是如上文所讨论的。该选择最佳曝光像素发生在图像合并阶段中(例如,图像合并512)。因此,对于RGB光谱中的每个,生成最佳曝光像素的数据集。
接下来,方法700包括,在714中,将最佳曝光像素分类为是管212T、标签218、或容器盖214。可以通过如下来实现分类:计算在不同波长处的最佳曝光像素的统计数据以生成统计数据,并且然后对最佳曝光像素的统计数据操作以识别管212T、标签218、或容器盖214中的至少一者。还可以通过分割来识别其他类别(例如,血清或血浆部分212SP、沉淀的血液部分212SB、分离胶313和/或空气212A)。
在一个或多个实施例中,多类别分类器可以是支持向量机(SVM),其是线性的抑或是基于核函数的。可选地,多类别分类器可以是增强分类器,诸如自适应增强分类器(例如,AdaBoost、LogitBoost等)、任何人造神经网络、基于树的分类器(例如,决策树、随机决策森林)、作为分类器的逻辑回归等。对于在液体(例如,血清或血浆部分212SP)和非液体(诸如盖、管、或标签)之间的分类,SVM可以是特别有效的。SVM是监督式学习模型,其带有分析数据和识别模式的相关联的学习算法。SVM用于分类和回归分析。
如上文所讨论的,多个训练示例集用于训练多类别分类器,并且然后,通过多类别分类器对像素进行操作,且像素被标记为属于多个类别中的一者。训练算法构建多类别分类器,且将任何新的示例指定到类别中的一者中。因此,在一些实施例中,多类别分类器可以是非概率线性分类器。SVM模型将示例表示为空间中的点,所述点被映射成使得分离的类别的示例被尽可能宽的清楚的缝隙分开。来自最佳曝光图像数据集的像素可以被映射到该相同特征空间中,且基于其落在哪里被预测为属于特定的类别。在一些实施例中,SVM能够使用所谓的核技巧(例如,基于核函数的SVM分类器)有效地执行非线性分类,从而隐含地将其输入映射到高维特征空间中。也可使用SVM和增强。可以使用其他类型的多类别分类器。
可以通过用图形描绘在具有各种管大小和/或盖类型和颜色和标签218的样品容器102的多个示例中的各种区域(例如,管212T、容器盖214、空气212A和标签218)的轮廓来训练多类别分类器。多达500或者更多的图像可被用于训练多类别分类器。每个训练图像可以被手动地描绘轮廓,以识别和教导多类别分类器哪些区域属于每个类别。可以使用其他训练方法。
最后,方法700包括,在714中,基于每个波长的最佳曝光图像数据来识别样品容器的宽度、高度、或宽度和高度。
在一些实施例中,一旦已经给予样品容器102大小的表征(诸如,来自高度和宽度、样品212的体积),则可以得到样品容器102的内部宽度(Wi)。在716中,可以确定内部宽度(Wi),诸如,通过基于样品容器102的大小使用查找表来实现。内部宽度(Wi)可以被用于准确地计算血清或血浆部分212SP的体积和/或沉淀的血液部分212SB的体积。
因此,基于前文所述,应当显而易见的是,通过品质检查模块130执行的基于模型的样品容器表征方法700可以引起样品容器102的物理属性的快速表征,所述物理属性诸如管大小、盖类型和盖颜色的。基于该信息,可以确定准确的体积、在所安排的测试与所使用的样品容器之间进行交叉检查、以及核实所存在的添加剂与所安排的测试相容。
虽然在图1中品质检查模块130已经被示出为定位成使得,在离心机125上离心之后立即执行预筛查,但是在一些实施例中,可能有利的是,包括直接在分析仪(例如,分析仪106、108和/或110)上或者在别处的品质检查模块130。例如,不连接至自动化样品容器处理系统的独立分析仪可使用品质检查模块130,以在分析之前确认样品212。此外,在一些实施例中,可以在将架104装载到装载区域105中之前执行离心,以使得在一些实施例中,品质检查模块130可以被定位在装载区域105处,且一旦机器人124将样品容器102装载到载体122中,就能够执行品质检查。用于品质检查模块130的其他位置也是可能的。
现在转向图8至图11和图12至图15,示出了两个示例图像集。如在图8至图11的第一示例集的第一组800图像中所示出,白光(例如,范围从大致390 nm至大致700 nm的可见光光谱)能够被用于采集第一前光图像802,以及被用于采集各自以不同曝光时长(例如,8ms、16 ms和32 ms)获得的一系列背光图像804、806、808。如能够看到地,背光图像的曝光时长越长,则通过各种不同密度的容器盖的光透射率越高,且因此,容器盖的相对致密的内部结构变得越可见,而相对不那么致密的部分变得褪色(washed out)。同样,如在图8至图11的第一示例集的第二组900图像中所示出,红光(例如,具有大致634 nm的标称波长)能够被用于采集第一前光图像902,以及被用于采集各自以不同曝光时长(例如,8 ms、16 ms和32ms)获得的一系列背光图像904、906、908。同样,如在图8至图11的第一示例集的第三组1000图像中所示出,绿光(例如,具有大致537 nm的标称波长)能够被用于采集第一前光图像1002,以及被用于采集各自以不同曝光时长(例如,8 ms、16 ms和32 ms)获得的一系列背光图像1004、1006、1008。同样,如在图8至图11的第一示例集的第四组1100图像中所示出,蓝光(例如,具有大致455 nm的标称波长)能够被用于采集第一前光图像1102,以及被用于采集各自以不同曝光时长(例如,8 ms、16 ms和32 ms)获得的一系列背光图像1104、1106、1108。
在图12至图15中的第二图像集中描绘了不同的示例容器盖,以进一步示出利用不同波长的光照明容器盖达不同曝光时长的益处。如在图12至图15的第二示例集的第一组1200图像中所示出,白光(例如,范围从大致390 nm至大致700 nm的可见光光谱)能够被用于采集第一前光图像1202,以及被用于采集各自以不同曝光时长(例如,8 ms、16 ms和32ms)获得的一系列背光图像1204、1206、1208。如能够看到地,背光图像的曝光时长越长,则通过各种不同密度的容器盖的光透射率越高,且因此,容器盖的相对致密的内部结构变得越可见,而相对不那么致密的部分变得褪色。同样,如在图12至图15的第二示例集的第二组1300图像中所示出,红光(例如,具有大致634 nm的标称波长)能够被用于采集第一前光图像1302,以及被用于采集各自以不同曝光时长(例如,8 ms、16 ms和32 ms)获得的一系列背光图像1304、1306、1308。同样,如在图12至图15的第二示例集的第三组1400图像中所示出,绿光(例如,具有大致537 nm的标称波长) 能够被用于采集第一前光图像1402,以及被用于采集各自以不同曝光时长(例如,8 ms、16 ms和32 ms)获得的一系列背光图像1404、1406、1408。同样,如在图12至图15的第二示例集的第四组1500图像中所示出,蓝光(例如,具有大致455 nm的标称波长)能够被用于采集第一前光图像1502,以及被用于采集各自以不同曝光时长(例如,8 ms、16 ms和32 ms)获得的一系列背光图像1504、1506、1508。
两个示例图像集(在图8至图11中示出的管1,以及,在图12至图15中示出的管2)示出本发明的方法和设备更清楚地描绘在容器盖中的差异的程度。管1具有红颜色容器盖,且结构的几乎每个部分对于红光是吸收的。在暴露于红光(例如,处于450nm的标称波长)16ms之后获得的背光图像904最清楚地示出管1的容器盖的内部结构。管2具有绿颜色容器盖,且如能够看到地,绿光谱部分变得透明。在暴露于绿光(例如,处于560 nm的标称波长)64ms之后获得的背光图像1408最清楚地示出管2的容器盖的内部结构。在两个容器盖的图像之间的差异清楚地指示被用于构造容器盖的材料是不同的。特别地,相比于管1的红色盖,管2的绿色盖密度更致密。
在一些实施例中,被用于背后照明容器盖的照射能够具有足够的强度,使得对于标称波长中的至少一个,在所采集的图像中的至少一些中揭示容器盖的内部结构和形状。换言之,在一些实施例中,能够选择用于背后照射的强度,使得至少一些光将穿透要被识别的已知的容器盖类型。在一些实施例中,能够使用具有在大致2 W/m2至大致4 W/m2的范围中的强度的背光源,且在一些实施例中,使用具有大致3 W/m2的强度的背光源。能够使用具有其他强度水平的背后照射。因为不同颜色的容器盖对不同标称波长的吸收不同,所以通过使用多个标称波长(例如,至少三个不同标称波长),与在使用白光或使用单个标称波长的情况下将需要的相比,更低总体强度的光能够被用于采集揭示容器盖的内部结构的图像。要注意的是,在其中期望使用更低功率(例如,更低强度)的照射的实施例中,能够使用更长的曝光时长。进一步地,在其中期望更快成像的实施例中,更高功率(例如,更高强度)的照射能够用于减少曝光时长。
虽然本发明容易有各种修改和替代形式,但是,其特定设备实施例和方法已经以示例的方式在附图中示出且在本文中详细地描述。然而,应当理解的是,不意图使本发明限制于所公开的特定设备或方法,而是相反,意图是覆盖落入本发明的范围内的所有修改、等同物和替代物。
Claims (20)
1.一种确定样品容器的特征的方法,所述方法包括:
提供包括容器盖的样品容器;
采集以不同的曝光时长且使用多个不同标称波长获得的所述容器盖的背光图像;
从以每个标称波长以不同曝光时长获得的所述图像选择最佳曝光像素,以生成每个标称波长的最佳曝光图像数据;
通过如下来将所述最佳曝光像素分类:计算在不同波长的最佳曝光像素中的每个的统计数据以生成统计数据,并且然后对所述最佳曝光像素的统计数据操作以将其识别为管、标签或者盖中的一者;以及
通过将被分类为是盖的像素的形状与参考盖内部和外部形状的数据库进行比较,来识别所述容器盖的形状。
2.根据权利要求1所述的方法,所述方法还包括:基于所识别的所述容器盖的形状,识别所述样品容器的盖类型。
3.根据权利要求1所述的方法,其中,采集所述容器盖的背光图像包括从多个不同视角获得多个图像。
4.根据权利要求3所述的方法,其中,所述多个不同视角包括三个或者更多个不同视角。
5.根据权利要求1所述的方法,其中,所述最佳曝光像素的分类基于从多个训练集生成的多类别分类器。
6.根据权利要求5所述的方法,其中,所述多类别分类器包括支持向量机。
7.根据权利要求1所述的方法,其中,所述多个不同标称波长包括三个或者更多个不同标称波长。
8.根据权利要求7所述的方法,其中,所述多个不同标称波长包括在红光、绿光和蓝光光谱中的标称波长。
9.根据权利要求1所述的方法,其中,在所述不同曝光中的至少一些中使用的光的强度和持续时间足以揭示所述容器盖的内部结构。
10.一种适于识别样品容器的品质检查模块,所述品质检查模块包括:
多个相机,所述多个相机围绕成像位置布置在多个视角处,所述成像位置适于接收包括容器盖的样品容器,所述多个相机中的每个被配置成从多个视角以不同的曝光时长且使用多个不同标称波长采集所述容器盖的多个图像;以及
联接到所述多个相机的计算机,所述计算机被配置成且能够操作以:
从以每个标称波长以不同曝光时长获得的所述图像选择最佳曝光像素,以生成每个标称波长的最佳曝光图像数据;
通过如下来将所述最佳曝光像素分类为管、标签或者盖中的一者:计算在不同波长的最佳曝光像素的统计数据以生成统计数据,并且然后对所述最佳曝光像素的统计数据操作以将其识别为管、标签或者盖中的一者;以及
基于被分类为是所述盖的所述最佳曝光像素和每个标称波长的所述图像数据,来识别所述容器盖的形状;
其中,通过将所识别的形状与参考盖内部和外部形状的数据库进行比较,来识别所述容器盖的形状。
11.根据权利要求10所述的品质检查模块,所述品质检查模块包括围绕所述成像位置的壳体。
12.根据权利要求10所述的品质检查模块,所述品质检查模块包括围绕所述成像位置的背光源。
13.根据权利要求10所述的品质检查模块,所述品质检查模块包括围绕所述成像位置的前光源。
14.根据权利要求10所述的品质检查模块,其中,所述成像位置在轨道上,且所述样品容器适于被接收在能够在所述轨道上移动的载体的接收器中。
15.根据权利要求10所述的品质检查模块,其中,所述计算机还能够操作,以基于所识别的所述容器盖的形状来识别所述样品容器的盖类型。
16.根据权利要求10所述的品质检查模块,其中,所述最佳曝光像素的分类基于从多个训练集生成的多类别分类器。
17.根据权利要求16所述的品质检查模块,其中,所述多类别分类器包括支持向量机。
18.根据权利要求10所述的品质检查模块,其中,所述多个不同标称波长包括三个或者更多个不同标称波长,并且其中,所述多个不同标称波长包括在红光、绿光和蓝光光谱中的标称波长。
19.根据权利要求10所述的品质检查模块,其中,在所述不同曝光中的至少一些中使用的光的强度和持续时间足以揭示所述容器盖的内部结构。
20.一种样品测试设备,所述样品测试设备包括:
轨道;
能够在所述轨道上移动的样品载体,所述样品载体被配置成承载包括容器盖的样品容器;以及
根据权利要求10-19中任一项所述的品质检查模块,所述品质检查模块布置在所述轨道上。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662366350P | 2016-07-25 | 2016-07-25 | |
US62/366350 | 2016-07-25 | ||
PCT/US2017/014773 WO2017132167A1 (en) | 2016-01-28 | 2017-01-24 | Methods and apparatus adapted to identify a specimen container from multiple lateral views |
USPCT/US2017/014773 | 2017-01-24 | ||
PCT/US2017/041226 WO2018022280A1 (en) | 2016-07-25 | 2017-07-07 | Systems, methods and apparatus for identifying a specimen container cap |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109477848A CN109477848A (zh) | 2019-03-15 |
CN109477848B true CN109477848B (zh) | 2023-07-18 |
Family
ID=61017188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780046038.4A Active CN109477848B (zh) | 2016-07-25 | 2017-07-07 | 用于识别样品容器盖的系统、方法和设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11035870B2 (zh) |
EP (1) | EP3488249A4 (zh) |
JP (1) | JP6858243B2 (zh) |
CN (1) | CN109477848B (zh) |
WO (1) | WO2018022280A1 (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108139320B (zh) * | 2015-02-17 | 2023-12-22 | 西门子医疗保健诊断公司 | 用于对试样中的干扰物进行分类的基于模型的方法和装置 |
WO2017132167A1 (en) * | 2016-01-28 | 2017-08-03 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus adapted to identify a specimen container from multiple lateral views |
KR102586862B1 (ko) | 2016-10-28 | 2023-10-11 | 베크만 컬터, 인코포레이티드 | 물질 준비 평가 시스템 |
EP3538839B1 (en) * | 2016-11-14 | 2021-09-29 | Siemens Healthcare Diagnostics Inc. | Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen |
IT201700032261A1 (it) * | 2017-03-23 | 2018-09-23 | Antares Vision S R L | Macchina ispezionatrice |
WO2018191295A1 (en) | 2017-04-13 | 2018-10-18 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for label compensation during specimen characterization |
EP3610269A4 (en) * | 2017-04-13 | 2020-04-22 | Siemens Healthcare Diagnostics Inc. | METHODS AND APPARATUS FOR DETERMINING THE NUMBER OF MARKERS DURING A SAMPLE CHARACTERIZATION |
JP7055818B2 (ja) | 2017-04-13 | 2022-04-18 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド | 畳み込みニューラルネットワークを用いたhiln評価方法及び装置 |
US11037032B2 (en) * | 2017-10-06 | 2021-06-15 | Wisconsin Alumni Research Foundation | Methods, systems, and media for detecting the presence of an analyte |
JP7324757B2 (ja) | 2018-01-10 | 2023-08-10 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置 |
DE102018104640A1 (de) * | 2018-02-28 | 2019-08-29 | Als Automated Lab Solutions Gmbh | Kalibriervorrichtung und Verfahren zur Ermittlung der räumlichen Ausrichtung einer an einer Halterung gehaltenen Kapillare |
EP3572996B1 (en) * | 2018-05-21 | 2022-11-30 | Automatizacion y Sistemas de Inspeccion en Linea Global, S.L. | Device and method for containers classification |
JP7089071B2 (ja) * | 2018-06-15 | 2022-06-21 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け |
US11927736B2 (en) * | 2018-06-15 | 2024-03-12 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for fine-grained HIL index determination with advanced semantic segmentation and adversarial training |
WO2020061369A1 (en) * | 2018-09-20 | 2020-03-26 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for hiln determination with a deep adaptation network for both serum and plasma samples |
EP3853583A4 (en) * | 2018-09-20 | 2021-11-24 | Siemens Healthcare Diagnostics, Inc. | VISUALIZATION ANALYSIS AND VISUAL LEARNING PROCESSES |
EP3853616A4 (en) * | 2018-09-20 | 2021-11-17 | Siemens Healthcare Diagnostics, Inc. | HYPOTHESIS AND VERIFICATION NETWORKS AND PROCEDURES FOR SAMPLE CLASSIFICATION |
JP7273542B2 (ja) * | 2019-03-01 | 2023-05-15 | 富士レビオ株式会社 | 分析装置、検体前処理装置、訓練装置、プログラム、情報処理方法、学習モデルおよび学習モデルの生成方法 |
CN110427861A (zh) * | 2019-07-26 | 2019-11-08 | 上海秒针网络科技有限公司 | 容器状态的确定方法及装置 |
EP4051998A4 (en) * | 2019-10-31 | 2022-12-14 | Siemens Healthcare Diagnostics, Inc. | METHODS AND APPARATUS FOR CALIBRATION OF FOREGROUND ILLUMINATION FOR CHARACTERIZATION OF A SAMPLE CONTAINER |
CN114585926A (zh) | 2019-10-31 | 2022-06-03 | 美国西门子医学诊断股份有限公司 | 标识管组件类型的设备和方法 |
WO2021086725A1 (en) * | 2019-10-31 | 2021-05-06 | Siemens Healthcare Diagnostics Inc. | Apparatus and methods of training models of diagnostic analyzers |
CN111582014A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 容器识别方法、设备及计算机可读存储介质 |
EP3882849A1 (en) * | 2020-03-16 | 2021-09-22 | F. Hoffmann-La Roche AG | Method for determining characteristics of a sample vessel in an in-vitro diagnostics system, analyzing device, and in-vitro diagnostics system |
EP3979131A1 (en) | 2020-10-02 | 2022-04-06 | Roche Diagnostics GmbH | A method for determining at least one state of at least one cavity of a transport interface configured for transporting sample tubes |
JP2023018822A (ja) * | 2021-07-28 | 2023-02-09 | パナソニックIpマネジメント株式会社 | 検査方法および検査装置 |
LU102902B1 (en) * | 2022-01-19 | 2023-07-19 | Stratec Se | Instrument parameter determination based on sample tube identification |
EP4216170A1 (en) | 2022-01-19 | 2023-07-26 | Stratec SE | Instrument parameter determination based on sample tube identification |
TWI804204B (zh) * | 2022-02-21 | 2023-06-01 | 財團法人國家實驗研究院 | 用以提供機器學習判讀一生物樣品的取樣方法與裝置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916359A (zh) * | 2005-01-27 | 2010-12-15 | 剑桥研究和仪器设备股份有限公司 | 把样本的不同区域分类到相应类别的方法和设备 |
CN104020556A (zh) * | 2009-10-19 | 2014-09-03 | 文塔纳医疗系统公司 | 成像系统和技术 |
CN104081001A (zh) * | 2012-01-19 | 2014-10-01 | 哈里伯顿能源服务公司 | 化石识别装置、系统和方法 |
CN104364636A (zh) * | 2012-06-22 | 2015-02-18 | 霍夫曼-拉罗奇有限公司 | 用于检测体液中的分析物的方法和器件 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09169392A (ja) * | 1995-12-20 | 1997-06-30 | Mitsubishi Heavy Ind Ltd | 画像式打栓状態検査装置 |
KR100877656B1 (ko) | 2005-01-24 | 2009-01-08 | 올림푸스 가부시키가이샤 | 생화학 검사 장치 및 생화학 검사 방법 |
US8170271B2 (en) * | 2008-06-25 | 2012-05-01 | Jadak Llc | System and method for test tube and cap identification |
JP2010107400A (ja) | 2008-10-30 | 2010-05-13 | Sysmex Corp | 検体処理システム及び検体容器仕分け装置 |
JP5208868B2 (ja) * | 2008-10-31 | 2013-06-12 | シスメックス株式会社 | 検体処理装置 |
AU2010282784C1 (en) | 2009-08-13 | 2014-03-13 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for ascertaining interferents and physical dimensions in liquid samples and containers to be analyzed by a clinical analyzer |
EP2473102B1 (en) * | 2009-09-04 | 2018-05-23 | The Johns Hopkins University | Multimodal laser speckle imaging |
EP2776844B1 (en) * | 2011-11-07 | 2020-09-30 | Beckman Coulter, Inc. | Specimen container detection |
WO2013070756A2 (en) * | 2011-11-07 | 2013-05-16 | Beckman Coulter, Inc. | System and method for processing samples |
CA2882339C (en) | 2012-08-20 | 2020-08-18 | Siemens Healthcare Diagnostics Inc. | Ascertaining specimen container characteristics while in transit |
BR112015008363A2 (pt) * | 2012-10-16 | 2017-07-04 | Beckman Coulter Inc | disposição de calha de escoamento com recurso removedor |
US10145857B2 (en) * | 2013-03-14 | 2018-12-04 | Siemens Healthcare Diagnostics Inc. | Tube tray vision system |
JP2015026910A (ja) | 2013-07-24 | 2015-02-05 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN103413285A (zh) * | 2013-08-02 | 2013-11-27 | 北京工业大学 | 基于样本预测的hdr和hr图像重建方法 |
CN103413286B (zh) * | 2013-08-02 | 2017-05-03 | 北京工业大学 | 一种基于学习的高动态范围与高分辨率图像联合重建方法 |
JP2015144339A (ja) | 2014-01-31 | 2015-08-06 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6890373B2 (ja) * | 2014-07-10 | 2021-06-18 | アイエムエス ナノファブリケーション ゲーエムベーハー | 畳み込みカーネルを使用する粒子ビーム描画機における結像偏向の補償 |
EP3149492B1 (en) * | 2014-07-21 | 2020-06-24 | Beckman Coulter Inc. | Methods and systems for tube inspection and liquid level detection |
US10816538B2 (en) | 2016-01-28 | 2020-10-27 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for detecting an interferent in a specimen |
WO2017132167A1 (en) * | 2016-01-28 | 2017-08-03 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus adapted to identify a specimen container from multiple lateral views |
JP6870826B2 (ja) | 2016-01-28 | 2021-05-12 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 側方多視点から試料を定量化するように構成された方法及び装置 |
US10746665B2 (en) | 2016-01-28 | 2020-08-18 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for classifying an artifact in a specimen |
EP3408641B1 (en) | 2016-01-28 | 2021-05-26 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for multi-view characterization |
CN108770364A (zh) | 2016-01-28 | 2018-11-06 | 西门子医疗保健诊断公司 | 用于使用多个曝光来对样品容器和/或样品进行成像的方法和装置 |
EP3408646A4 (en) | 2016-01-28 | 2019-03-06 | Siemens Healthcare Diagnostics Inc. | METHOD AND DEVICE FOR CHARACTERIZING A SAMPLE CONTAINER AND SAMPLE |
EP3610269A4 (en) * | 2017-04-13 | 2020-04-22 | Siemens Healthcare Diagnostics Inc. | METHODS AND APPARATUS FOR DETERMINING THE NUMBER OF MARKERS DURING A SAMPLE CHARACTERIZATION |
-
2017
- 2017-07-07 US US16/320,198 patent/US11035870B2/en active Active
- 2017-07-07 WO PCT/US2017/041226 patent/WO2018022280A1/en unknown
- 2017-07-07 CN CN201780046038.4A patent/CN109477848B/zh active Active
- 2017-07-07 EP EP17834942.9A patent/EP3488249A4/en active Pending
- 2017-07-07 JP JP2019504121A patent/JP6858243B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916359A (zh) * | 2005-01-27 | 2010-12-15 | 剑桥研究和仪器设备股份有限公司 | 把样本的不同区域分类到相应类别的方法和设备 |
CN104020556A (zh) * | 2009-10-19 | 2014-09-03 | 文塔纳医疗系统公司 | 成像系统和技术 |
CN104081001A (zh) * | 2012-01-19 | 2014-10-01 | 哈里伯顿能源服务公司 | 化石识别装置、系统和方法 |
CN104364636A (zh) * | 2012-06-22 | 2015-02-18 | 霍夫曼-拉罗奇有限公司 | 用于检测体液中的分析物的方法和器件 |
Also Published As
Publication number | Publication date |
---|---|
JP2019531463A (ja) | 2019-10-31 |
US11035870B2 (en) | 2021-06-15 |
CN109477848A (zh) | 2019-03-15 |
EP3488249A1 (en) | 2019-05-29 |
WO2018022280A1 (en) | 2018-02-01 |
JP6858243B2 (ja) | 2021-04-14 |
US20190271714A1 (en) | 2019-09-05 |
EP3488249A4 (en) | 2019-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109477848B (zh) | 用于识别样品容器盖的系统、方法和设备 | |
EP3408640B1 (en) | Methods and apparatus adapted to identify a specimen container from multiple lateral views | |
EP3408653B1 (en) | Methods and apparatus adapted to quantify a specimen from multiple lateral views | |
CN108738336B (zh) | 用于多视图表征的方法和装置 | |
EP3408652B1 (en) | Methods and apparatus for classifying an artifact in a specimen | |
CN108738338B (zh) | 用于检测样本中的干扰物的方法和装置 | |
US11313869B2 (en) | Methods and apparatus for determining label count during specimen characterization | |
JP6879366B2 (ja) | 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール | |
US11238318B2 (en) | Methods and apparatus for HILN characterization using convolutional neural network | |
CN110520737B (zh) | 用于在试样表征期间进行标签补偿的方法和装置 | |
US20210341504A1 (en) | Visualization analysis apparatus and visual learning methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40000280 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |