CN107003124A - 抽屉视觉系统 - Google Patents

抽屉视觉系统 Download PDF

Info

Publication number
CN107003124A
CN107003124A CN201580039713.1A CN201580039713A CN107003124A CN 107003124 A CN107003124 A CN 107003124A CN 201580039713 A CN201580039713 A CN 201580039713A CN 107003124 A CN107003124 A CN 107003124A
Authority
CN
China
Prior art keywords
image
test tube
pallet
block
tube
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580039713.1A
Other languages
English (en)
Other versions
CN107003124B (zh
Inventor
W·吴
张耀仁
D·刘
B·波拉克
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics GmbH Germany
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of CN107003124A publication Critical patent/CN107003124A/zh
Application granted granted Critical
Publication of CN107003124B publication Critical patent/CN107003124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G01N35/00732—Identification of carriers, materials or components in automatic analysers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B21/00—Systems involving sampling of the variable controlled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B21/00—Systems involving sampling of the variable controlled
    • G05B21/02—Systems involving sampling of the variable controlled electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/04—Details of the conveyor system
    • G01N2035/0401—Sample carriers, cuvettes or reaction vessels
    • G01N2035/0418—Plate elements with several rows of samples
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/04—Details of the conveyor system
    • G01N2035/0496—Other details
    • G01N2035/0498—Drawers used as storage or dispensing means for vessels or cuvettes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

用于检测实验室环境中的样品试管的性质的方法和系统包括可以被训练和校准的抽屉视觉系统。分析由至少一个相机捕获的试管托盘的图像以提取图像块，其允许处理器自动地确定试管狭槽是否被占用、试管是否具有盖、以及试管是否具有管顶杯。可以使用随机森林技术和多个训练图像块来训练处理器。可以使用可以被插入到抽屉中的三维校准目标来校准相机。

Description

抽屉视觉系统
本申请要求2014年6月10日提交的美国临时申请序列号62/010,370的优先权，其通过引用以其整体被并入在本文中。
技术领域
本发明一般地涉及表征被包含在试管(tube)托盘中的试管，并且更特别地涉及训练和校准用于捕获试管托盘的图像的系统以确定被保持在托盘内的试管的特性。
背景技术
体外诊断(IVD)允许实验室基于对病人流体样品执行的化验来辅助疾病的诊断。IVD包括可以通过分析从病人的体液或脓肿取得的液体样品而执行的与病人诊断和治疗相关的各种类型的分析测试和化验。典型地用包含病人样品的试管或药瓶已经被加载到其中的自动化临床化学分析仪(分析仪)来实施这些化验。由于在现代IVD实验室中需要的各种化验，以及操作实验室所必需的大量测试，常常在单个实验室中采用多个分析仪。在分析仪之间和之中，还可以使用自动化系统。可以将样品从医生的办公室运输到实验室、存储在实验室中、放置到自动化系统或分析仪中以及存储用于随后的测试。
典型地使用托盘来完成分析仪之间的存储和运输。托盘典型地是被存储在试管中的若干病人样品的阵列。这些托盘常常是可堆叠的并且促进多个样品从实验室的一部分到另一部分的容易承载。例如，实验室可以从医院或诊所接收用于测试的病人样品的托盘。病人样品的该托盘可以被存储在实验室的致冷机中。病人样品的托盘还可以被存储在抽屉(drawer)中。在一些自动化系统中，分析仪可以接受病人样品的托盘并且相应地对样品进行处理，而一些分析仪可以要求由操作者将样品从托盘移除并且在进一步地处理之前将其放置到承载器(诸如圆盘)中。托盘一般是允许承载样品并且在某些情况下允许以有序关系布置样品的被动设备。
一般地，不知道关于被存储在托盘中的样品试管的信息直到操作者或样品处理机构与每个试管交互。例如，样品处理机器人手臂可以拾取试管、将其从托盘移除并且将其放置到承载器中。承载器然后可以行进到开瓶器站以移除任何可能的盖并且经过条形码读取器使得试管的侧面上的条形码可以被读取以揭露试管的内含物(content)。在许多现有技术的样品处理机构中，不知道试管的身份直到将试管从托盘移除之后。以该方式，托盘中的所有试管将常常被以相同方式处理直到将试管放置到自动化系统中的承载器上之后。
一些系统允许操作者将托盘插入到抽屉中并且自动地旋转试管以辅助稍后的评估和标识。然而，此类系统仍依赖于常规的自动化系统来将样品试管从托盘移动到条形码读取站并且执行很少的或不执行样品试管的表征直到将试管从试管托盘移除之后。这可以导致对所使用的各种试管的实际约束，因为样品处理机(handler)不能计及高度、宽度、形状方面的极大程度的变化，以及是盖还是管顶杯(tube top cup)被放置在试管上。
相应地，大部分现有技术的试管托盘抽屉和工作流程缺少智能系统以在试管托盘被放置到仪器中时自动地表征其中的试管，代替依赖于一旦它们被从试管托盘移除就对试管进行的后加载处理或工作流程中的更多手动表征。
发明内容
期望的是确定与以下有关的各种信息片段：托盘、试管和试管在托盘内的位置，诸如例如包含试管的试管狭槽；试管的中心点、直径和高度；托盘在抽屉内的方位；试管被覆盖有盖还是管顶杯。期望的是在没有昂贵装备的情况下且在没有处理或触摸试管的情况下快速地获得这些和其他信息片段。相应地，进一步期望的是具有用于由可以实现这些上面的目标的抽屉视觉系统(DVS)使用的相机和图像处理的高效训练和校准方案。
本发明的实施例通过经由捕获托盘的图像和相关的校准和训练方案而提供对试管托盘的表征来解决上面的需要。
根据实施例，一种用于检测样品试管的性质的方法，包括如下步骤：从至少一个相机接收托盘的一系列图像；从每个图像提取多个图像块；以及使用处理器根据所述多个图像块的第一子集自动地确定多个狭槽中的每个是否包含样品试管，其中每个块与所述托盘中的多个狭槽中的一个对应。针对包含样品试管的那些多个狭槽，所述处理器根据所述多个图像块的第二子集自动地确定每个样品试管是否具有盖，其中每个块与所述样品试管的顶部对应。针对不具有盖的那些试管，所述处理器根据所述多个图像块的所述第二子集自动地确定每个样品试管具有管顶杯还是光管。
根据一些实施例的一方面，所述系列图像包括托盘抽屉中的预定位置处的托盘的图像。在一些实施例中，使用所述托盘表面上的基准标记的集合来确定与所述托盘中的多个狭槽中的一个对应的每个块。根据一些实施例的一方面，自动地确定多个狭槽中的每个是否包含样品试管的步骤包括：a.针对每个狭槽标识与所述狭槽对应的所述系列图像中的至少一个图像中的块；以及针对每个经标识的块，确定所述狭槽被样品试管占用的概率。
根据一些实施例的一方面，自动地确定每个样品试管是否具有盖的步骤包括：针对每个样品试管标识与所述样品试管的顶部对应的所述系列图像中的至少一个图像中的块；以及针对每个经标识的块，确定所述样品试管具有盖的概率。根据一些实施例的一方面，自动地确定每个样品试管是否具有管顶杯的步骤包括：针对每个样品试管标识与所述样品试管的顶部对应的所述系列图像中的至少一个图像中的块；以及针对每个经标识的块，确定所述样品试管具有管顶杯的概率。
根据一些实施例的一方面，处理器针对每个样品试管确定如下中的至少一个：试管类型；试管高度；试管直径；试管偏移；盖颜色；以及流体类型。根据一些实施例的一方面，处理器根据所述系列图像自动地标识托盘类型。
根据一些实施例的一方面，处理器使用具有多个唯一的数字标记的3D目标来校准被配置成捕获所述多个图像的至少一个相机。根据一些实施例的一方面，软件使用随机森林技术和多个训练图像来训练所述处理器执行确定步骤
根据一个实施例，一种供在体外诊断环境中使用的视觉系统，包括：抽屉，其被配置成安放托盘，所述托盘包括多个狭槽，每个狭槽被配置成安放样品试管；以及至少一个相机，其被配置成在所述抽屉移动时捕获所述托盘的一系列图像。处理器被配置成执行以下步骤：从相机接收所述托盘的所述系列图像；从每个图像提取多个图像块；根据所述多个图像块的第一子集自动地确定多个狭槽中的每个是否包含样品试管，其中每个块与所述托盘中的多个狭槽中的一个对应；针对包含样品试管的那些多个狭槽，根据所述多个图像块的第二子集自动地确定每个样品试管是否具有盖，其中每个块与所述样品试管的顶部对应；以及针对不具有盖的那些试管，根据所述多个图像块的第二子集自动地确定每个样品试管是否具有管顶杯。
根据一些实施例的一方面，所述系列图像包括所述抽屉中的预定位置处的所述托盘的图像。根据一些实施例的一方面，使用所述托盘的表面上的基准标记的集合来确定与所述托盘中的多个狭槽中的一个对应的每个块。根据一些实施例的一方面，在确定多个狭槽中的每个是否包含样品试管时，针对每个狭槽标识与所述狭槽对应的所述系列图像中的至少一个图像中的块，以及针对每个经标识的块，确定所述狭槽被样品试管占用的概率。
根据一些实施例的一方面，在确定每个样品试管是否具有盖时，处理器针对每个样品试管，标识与所述样品试管的顶部对应的所述系列图像中的至少一个图像中的块，以及针对每个经标识的块，确定所述样品试管具有盖的概率。根据一些实施例的一方面，在自动地确定每个样品试管是否具有管顶杯时，处理器针对每个样品试管标识与所述样品试管的顶部对应的所述系列图像中的至少一个图像中的块，以及针对每个经标识的块，确定所述样品试管具有管顶杯的概率。
根据一些实施例的一方面，处理器被进一步配置成针对每个样品试管自动地确定如下中的至少一个：试管类型、试管高度、试管直径、试管偏移、盖颜色以及流体类型。根据一些实施例的一方面，处理器被配置成执行根据所述系列图像自动地标识托盘类型的步骤。根据一些实施例的一方面，处理器被配置成执行使用具有多个唯一的数字标记的3D目标来校准所述至少一个相机的步骤。根据一些实施例的一方面，处理器被配置成执行使用随机森林技术和多个训练图像来训练处理器执行确定步骤的步骤。
附图说明
当结合附图阅读时，根据以下详细描述最佳地理解本发明的上述和其他方面。出于说明本发明的目的，在绘图中示出目前优选的实施例，然而，应理解本发明不限于所公开的具体手段。在绘图中包括的是以下图：
图1是根据实施例的用于通过图像分析来表征被保持在抽屉中的试管托盘和试管的系统的表示；
图2A-2F提供根据实施例的在捕获一行试管的示例性图像时的工作包封(envelope)的图示；
图3图示根据实施例的用于通过图像分析来表征被保持在抽屉中的试管托盘和试管的系统的框图表示；
图4示出在图3中示出的系统的控制器的框图表示；
图5是供一些实施例使用的校准目标的透视图；
图6是供一些实施例使用的样品图像和图像块的摄影视图；
图7是供一些实施例使用的试管分类方案的流程图；
图8是图示创建供一些实施例使用的DVS数据库的数据流；
图9是创建供一些实施例使用的DVS图像数据库的流程图；
图10是供一些实施例使用的分类器训练的流程图；
图11是供一些实施例使用的使用校准目标来校准相机的示例性方法的流程图；以及
图12是供一些实施例使用的用来操作DVS的数据和处理模块的流程图。
具体实施方式
与一些实施例相关联的术语和概念
分析仪：自动化临床分析仪(“分析仪”)包括临床化学分析仪、自动化免疫测定分析仪或任何其他类型的体外诊断(IVD)测试分析仪。一般地，分析仪对多个病人样品执行一系列自动化IVD测试。病人样品可以被(手动或经由自动化系统)加载到分析仪中，所述分析仪然后可以对每个样品执行一个或多个免疫测定、化学测试或其他可观察到的测试。术语分析仪可以指代但不限于被配置为模块化分析系统的分析仪。模块化分析系统包括集成且可扩展系统，所述集成且可扩展系统包括通过诸如自动化轨道之类的自动化表面以线性或其他几何配置互连的多个模块的任何组合(其可以包括相同类型的模块或不同类型的模块)。在一些实施例中，自动化轨道可以被配置为在其上独立承载器被用来在模块之间移动病人样品和其他类型的材料的整体运输系统。一般地，模块化分析系统中的至少一个模块是分析仪模块。模块可以被专门化或使之冗余以允许对病人样品的分析任务的较高吞吐量。
分析仪模块：分析仪模块是模块化分析仪内的被配置成执行IVD测试的模块，所述IVD测试诸如对病人样品的免疫测定、化学测试或其他可观察到的测试。典型地，分析仪模块从样品容器提取液体样品并且在反应比色杯或试管(一般被称为反应容器)中将样品与试剂组合。在分析仪模块中可用的测试可以包括但不限于电解质、肾或肝功能、代谢、心脏、矿物、血液紊乱、药物、免疫测定或其他测试的子集。在一些系统中，分析仪模块可以被专门化或使之冗余以允许较高的吞吐量。分析仪模块的功能还可以由不利用模块化方案的独立分析仪来执行。
承载器：承载器是可以被用来在自动化系统中移动样品容器(以及，通过扩展，移动流体样品)或其他物品的运输单元。在一些实施例中，承载器可以是简单的，比如传统的自动化圆盘(例如，被动设备，其包括用于连接(engage)试管或物品的支持物、用以允许自动化轨道中的外部传送带提供动力的摩擦表面、以及允许由自动化轨道中的墙或铁轨引导圆盘以允许轨道将圆盘传送到其目的地的多个侧面)。在一些实施例中，承载器可以包括主动组件，诸如处理器、运动系统、引导系统、传感器等。在一些实施例中，承载器可以包括允许在自动化系统中的点之间自引导承载器的机载智能。在一些实施例中，承载器可以包括提供动力的机载组件，而在其他实施例中，动力可以由诸如轨道之类的自动化表面提供。在一些实施例中，承载器沿着将运动限制到决策点之间的单个方向(例如，从头到尾)的自动化轨道移动。承载器可以按照IVD环境中的给定有效负载被专门化，诸如具有用以连接和承载样品试管的试管座，或可以包括适合于承载在自动化系统周围的不同物品的安装表面。承载器可以被配置成包括一个或多个狭槽(例如，承载器可以支持样品容器中的一个或多个)。
承载器/托盘/支架：承载器可以与托盘可区分，所述托盘可以通常指代不沿着自动化轨道行进(例如，由操作者携带)并且被配置成支持多个有效负载(例如，样品试管)的设备。支架是用以描述被配置成支持多个有效负载(例如，样品试管)的设备的一般术语。支架可以指代被配置成承载多个有效负载的托盘(当自动化轨道外部使用时)或承载器(当被配置成横过自动化轨道时)。在一些实施例中，支架可以指代狭槽的一维或二维阵列。
体外诊断(IVD)：体外诊断(IVD)是可以检测疾病、状况、感染、代谢指标或者量化身体物质/体液的各种成分的测试。在病人的身体外部，在实验室、医院、医师办公室或其他健康专业设置中执行这些测试。IVD测试一般地利用意图的医疗设备来根据在试管或其他样品容器中的、或更一般地在活有机体外部的受控环境中的化验来执行诊断。IVD包括基于对病人流体样品执行的化验来测试和诊断疾病或者量化身体物质/体液的各种成分。IVD包括可以通过分析从病人的体液或脓肿取得的液体样品而执行的与病人诊断和治疗相关的各种类型的分析测试和化验。典型地用包含病人样品的试管或药瓶已经被加载到其中的分析仪来实施这些化验。IVD可以指代在本文中描述的IVD功能的任何子集。
实验室自动化系统：实验室自动化系统包括可以自动地(例如，应操作者或软件的请求)样品容器或其他物品使实验室环境内往复运动(shuttle)的任何系统。关于分析仪，自动化系统可以将容器或其他物品自动地移动到分析仪中的站、从分析仪中的站移动、在分析仪中的站之中或之间移动。这些站可以包括但不限于模块化测试站(例如，可以专门进行某些类型的化验或可以以其他方式向较大分析仪提供测试服务的单元)、样品处理站、存储站或工作单元。
模块：模块执行模块化分析系统内的具体的(一个或多个)任务或(一个或多个)功能。模块的示例可以包括：预分析模块，其准备用于分析测试的样品(例如，开瓶器模块，其移除样品试管顶部上的盖)；分析仪模块，其提取样品的一部分并且执行测试或化验；后分析模块，其在分析测试之后准备用于存储的样品(例如，再压盖机(recapper)模块，其重新密封样品试管)；或样品处理模块。样品处理模块的功能可以包括出于存货管理的目的而管理样品贮存器/容器、对它们分类、将它们移动到自动化轨道(其可以包括整体运输系统)上或者使它们离开所述自动化轨道、将样品贮存器/容器移动到分离的实验室自动化轨道上或者使其离开所述分离的实验室自动化轨道，以及将样品贮存器/容器移动到托盘、支架、承载器、圆盘和/或存储位置中或者将其移出所述托盘、支架、承载器、圆盘和/或存储位置。
处理器：处理器可以指代一个或多个处理器和/或相关的软件及处理电路。这可以包括单或多核处理器、嵌入式系统或分布式处理架构，酌情用于实现每个实施例中的叙述的处理功能。
试管/样品容器/流体贮存器：可以在诸如试管或其他适合的容器之类的容器中承载样品，以允许承载器在不污染承载器表面的情况下运输样品。
示例性实施例
本发明的实施例涉及捕获试管托盘的图像，所述试管托盘被配置成适合在抽屉内并且在被以行和列的阵列布置的狭槽中保持多个试管，并且更特别地涉及训练和校准用于该任务的系统。由观看试管托盘的相机捕获的图像被用来表征托盘以及在托盘上保持的试管。特别地，根据实施例，通过分析图像，可以确定试管的各种特征，诸如例如试管的高度、直径和中心点、试管具有盖还是管顶杯、条形码在试管的顶表面上(例如，盖上)还是在托盘上，并且标识包含试管的托盘狭槽。始终讨论可以经由这些图像确定的样品试管的其他特征。该信息在其中样品处理机处理试管并且将试管移动到分析仪用于测试和分析的IVD环境中是有价值的。本发明的实施例特别良好地适合于但决不限于IVD环境。
供本文中公开的方法使用的示例性系统是在共有的PCT申请号PCT/US14/27217中讨论的抽屉视觉系统，所述PCT申请号PCT/US14/27217通过引用以其整体被并入在本文中。图1是根据实施例的系统100的表示，其中通过获得和分析其图像来表征被包含在其上的试管托盘120和试管130。一个或多个抽屉110可在打开和关闭位置之间移动，并且被提供在用于样品处理机的工作包封105中。一个或多个试管托盘120可以被加载到抽屉110中或可以是抽屉110的永久部件。每个试管托盘120具有其中可以容纳试管130的狭槽的行和列的阵列(如在示例性托盘121中描绘的那样)。
根据可以与本文中公开的概念一起使用的成像系统的一些实施例，拍摄试管托盘120的图像；分析图像以确定试管托盘120和试管130的特性。根据本文中提供的实施例，使用移动的托盘/固定的相机方案来捕获图像用于对其分析。当例如通过手动地或自动地推入抽屉110将试管托盘120移动到工作包封105中时，使用图像捕获系统140来拍摄试管托盘120和包含在其上的试管130的图像。根据实施例，图像捕获系统140包括被定位在工作包封105的入口处或附近的一个或多个相机。该一个或多个相机可以被定位在试管托盘120的表面之上。例如，可以将相机放置在表面之上三到六英寸以捕获试管托盘120的高分辨率图像。取决于相机的特征和所期望的视角和图像质量，还可以使用其他距离和/或定位。可选地，图像捕获系统140可以包括一个或多个照明源，诸如LED闪光灯。当已经要求试管托盘120滑动到工作包封105中时，添加固定的图像捕获系统140不向工作包封105添加过量的成本或复杂度。图像捕获系统140还包括用来执行图像捕获算法的一个或多个处理器，如下面进一步描述的。
根据实施例，每当一行试管托盘120被移动到中心位置或基本上定心在该一个或多个相机下面的位置中时，图像捕获系统140捕获图像。多于一行试管130可以被捕获在该图像中，其中一行被定心或基本上定心在图像捕获系统140下方，而邻近行被从某个斜角捕获在相同图像中。通过一次捕获多于一行，从多个视角捕获多行试管130，提供针对每个试管130的将在图像中捕获的深度和视角信息。
根据实施例，当在多个图像中捕获一行试管130时，捕获该行试管130的三视觉视角(tri-scopic perspective)。例如，当前一行定心或基本上定心在图像捕获系统140下方时，单个行可以出现在图像的底部中(从某个斜视角)；当该行试管其本身定心或基本上定心在图像捕获系统140下方时，该单个行然后可以基本上定心在图像中而出现(从基本上自顶向下的视角)；并且当后一行试管定心或基本上定心在图像捕获系统140下方时，并且该单个行可以出现在图像的顶部中(从另一斜视角)。在另一实施例中，随着在图像捕获系统140定心或基本上定心在两个邻近行之间的点之上(允许每行以两个斜视角出现在两个图像中)时拍摄图像，可以捕获一行试管的立体视角。类似地，行可以以多于三个视角出现在多于三个图像中，允许从多个图像搜集关于每个试管的更多三维信息。本发明不限于该行试管130的三视觉视角和立体视角；替代地，取决于相机的特征和图像捕获系统140相对于工作包封105的定位，可以获得附加的视角。
图2A-2F提供在捕获一行试管130的示例性图像时的工作包封105的图示。随着该行前进到工作包封105中，图像捕获系统140捕获该行试管130的多个视角。如在图2A-2C中示出的那样，随着行10移动到工作包封105中(即，抽屉110滑动到工作包封105中)，直接或几乎直接在所述一个或多个相机下捕获行10的图像，允许行10基本上出现在图像的中心中(例如，如图在2C中示出的那样)。在该示例中，使用两个相机，右和左相机。图2A图示这些相机在行10的图像处的视野。在一些实施例中，这些相机的视野可以重叠。图2B示出允许图像被捕获的示例性情形。随着抽屉110关闭，行130经过图像捕获系统140的视野，允许连续图像被拍摄。图2C示出可以被捕获的示例性灰度图像，其示出行7的顶图像和行6和8的斜图像。随着抽屉关闭，可以在行6和8头顶上捕获类似图像。图2D-2F图示在行7进一步前进到工作包封105中时并且在行8定心或基本上定心在所述一个或多个相机下方时捕获的行7的(例如，如在图2F中示出的)后一斜视角图像(和行8的顶图像，以及行9的斜视角图像)。图2A-2F的系列图示从图像获得的信息的深度，使得能够确定以下特性：集合中的每个试管130的中心点(例如，由对应于试管座的相关图像特征确定的x-y位置)；每个试管130的高度(例如，与两个邻近图像之间的试管的顶部的像素距离相关)；每个试管的直径(例如，通过观察在每个试管的顶部处形成的圆形或椭圆形的像素大小或通过每个图像中的试管的每侧之间的像素距离)；试管130在其顶表面上具有盖还是管顶杯；试管130上的标识信息(即，放置在试管130的盖上的标识符，诸如条形码)；或对于普通技术人员而言将显而易见的其他特性。
在一些实施例中，可以将一维或二维条形码/QR码放置在试管盖上或托盘的表面上。可以处理经由图像捕获系统140捕获的图像以读取该信息。这可以揭露包含在样品试管中的样品的身份或关于样品的性质的信息，诸如所包含的体液的类型或样品是否是高优先级。在一些实施例中，盖的颜色可以指示优先级、类型或其他状态信息，被可以通过处理由图像捕获系统捕获的图像来确定。在一些实施例中，由图像捕获系统观察到的颜色或标签可以指示样品试管包含校准流体或控制。
在一些实施例中，可以使用多个类型的托盘。例如，较大的托盘可以用来运输较大数量的样品试管，而较小的托盘可以用来运输较小数量的样品，这在运输诸如校准物和STAT样品之类的专用样品试管时可以是有用的。可以经由托盘上的光学标志比如QR码将托盘的类型传送到图像捕获系统140。QR码或其他光学标志还可以将托盘方位、托盘优先级、身份/编号、大小、物理性质(诸如狭槽的数量、版本等)传送到图像捕获系统。通过分析标志的所捕获的图像，抽屉视觉系统可以快速地预测托盘的范围，并且在一些实施例中通过使用基于从光学标志接收的信息的托盘的模型更好地分析试管的图像。
在一些实施例中，当样品试管缺少盖时，可以处理经由图像捕获系统140捕获的图像以在过程中的早期确定关于样品的质量和样品试管或托盘的任何缺陷或异常特性的信息。例如，样品试管侧面上的剥离标签可以引起关于随后处理的问题。剥离标签可以在自顶向下的图像中可见，或者在斜图像中可见，如果它不平放在试管表面上的话。如果试管是湿的或具有冷凝，则其可以引起关于紧握的问题。如果足够严重，则冷凝液滴可以作为折射或反射珠可观察到。如果试管具有裂缝或其他物理缺陷，则这可以是可观察到的并且在自顶向下或斜图像的图像分析期间被检测到。图像分析还可以检测试管相对于其他试管倾斜，这可能在样品处理机器人手臂与试管交互时定位所述样品处理机器人手臂方面是有用的。
如果样品已经被误处理，则其可能发泡或起泡。这可以影响稍后的读数并且可以经由图像分析而检测到。如果状况足够严重，则发泡或起泡可以在自顶向下或斜图像中可检测出，并且系统可以警告操作者可能需要新样品。在一些实施例中，还可以检测到样品的异常质量。例如，异质图像或试管中的异质对象可以指示碎片或样品污染，如果其足够严重到出现在图像中的话。还可以观察到其他品质。还可以通过对自顶向下或斜图像的图像分析来确定流体高度的估计，其可以提供可能需要附加的流体量的早期警告。在一些实施例中，可以经由对自顶向下或斜图像的图像分析来确定关于托盘的状况的错误。例如，如果观察到光辉或其他光学异常，则可以确定托盘上的狭槽中的溢出物的存在。类似地，如果未观察到正常与试管或空狭槽一致的图案而是观察到异常内含物，则可以确定碎片或对象的存在。此外，如果托盘中的标志或结构超出所预期图案(诸如条形码或QR码或定位标记)的范围，则这可以指示托盘被磨损或损坏。如果任何这些状况存在，则可以警告操作者。
在没有与试管130、试管托盘120或抽屉110的接触的情况下获得这些特性。替代地，通过获得在不同的视角中的图像，可以对图像执行立体分析。例如，可以通过比较试管顶部的中心在随后的图像之间移动多少来确定试管130的高度。以类似的方式，可以确定试管130和试管托盘120的各种其他特性。
利用顶置相机来以本文中描述的任何方式表征试管托盘中的试管的系统可以被称为抽屉视觉系统(DVS)。图3示出根据实施例的用于通过图像分析来表征在抽屉110中保持的试管托盘120和被包含在其上的试管130的示例性DVS系统500的框图表示。根据实施例，图像捕获系统140包括两个相机，左相机542和右相机544。取决于抽屉110和试管托盘120的大小以及所期望的图像质量和图像视角，可以包括附加的或更少的相机。光源546和图像捕获控制器548也是图像捕获系统140的部分。
在实施例中，为了准确地捕获图像并且考虑到抽屉110/试管托盘120正在移动，相机542、544使用快到足够实质上产生停格摄影(stop motion photography)的快门速度来捕获图像。在一些实施例中，光源546可以与相机542、544的触发同步以在帮助闪光或停格摄影。在其他实施例中，光源546可以持续开着，或者可以在第一次检测到抽屉110/试管托盘120的运动时被触发打开。在一些实施例中，使用容许250微秒曝光时间的相机。在其他实施例中，取决于例如照明、抽屉110/试管托盘120的速度以及所期望的图像质量，可以使用具有其他能力的相机。
进一步参考图3，诸如正交编码器之类的编码器510用来确定试管托盘120的行何时移动到所述一个或多个相机542、544下方的中心或基本上中心的位置中。在检测到与试管托盘120的新行移动到所述一个或多个相机542、544下方的中心或基本上中心的位置对应的试管托盘120的移动时，编码器510向图像捕获控制器548发射信号(即，脉冲)。检测基于编码器510根据指示抽屉110和/或试管托盘120已经移动一行的槽口(notch)递增。信号充当用于图像捕获控制器548在接收到信号时命令相机542、544拍摄图像的指令。如上面描述的那样，在一些实施例中，编码方案可以对应于其他移动，诸如例如抽屉110/试管托盘120移动两行或者抽屉110/试管托盘120移动到在两行之间居中的位置中。在其中抽屉110/试管托盘120被移动到工作包封105中的时间段期间，图像捕获控制器548管理由相机542、544拍摄的图像的存储。该时间段还可以包括抽屉110/试管托盘120被移出工作包封105(例如，抽屉110/试管托盘120可以被推入到工作包封105中，被部分地拉出工作包封105，然后被推回到工作包封105中)。一个或多个内部或外部存储器设备可以与图像捕获控制器548相关联，诸如存储器540。在一个实施例中，一个或多个存储器设备中的一个包括其中存储表的随机存取存储器(RAM)，该表包含由相机542、544拍摄的图像。图像捕获系统140可以在每个抽屉110/试管托盘120的开端和末端处捕获附加的图像行以便确保从相同数量的视角看到托盘中的所有行(否则，在末端处的行将不被从一侧捕获)。另外，图像捕获系统140可以捕获针对所有行的额外的图像行以便生成关于每个试管的附加的视角并且以便帮助确定某些特征。图像捕获系统140还可以捕获额外的图像行以便检测样品处理机工作包封105中的特征，以便将托盘120定位在工作包封105内并且按照样品处理机的坐标系自动校准托盘120。图像捕获系统140在与托盘120和样品处理机工作包封105的特征具有固定关系的预定位置处捕获固定数量的图像行。
图像捕获系统140可以捕获和存储与托盘的预定成像位置的每个成像对应的单个图像。例如，如果托盘具有10行，并且每行应该在三个邻近图像中出现以提供每行的两个斜视角和一个基本上中心的视角，则可以存储在十二个连续成像位置处拍摄的托盘的十二个图像。当捕获给定行的特定视角的新图像时，重写与该成像位置对应的先前存储的图像。例如，考虑以下场景：当行10推入到抽屉110中并且定心或基本上定心在图像捕获系统140的相机542、544下方时捕获图像。如果随后抽屉110被拉出并且然后推入使得行10再次定心或基本上定心在图像捕获系统140下方，则拍摄该视角的第二图像。该第二图像重写第一图像。该实现导致固定量的存储以及固定量的处理时间。
在一些实施例中，图像可以被缓冲直到抽屉完全关闭。缓冲图像直到抽屉110完全关闭和触发固定位置上的相机542、544可以克服与随机抽屉移动相关联的挑战。特别地，不获取图像，除非抽屉110的固定位置定心或基本上定心在所述一个或多个相机542、544下方，使抽屉110的轻微运动，诸如偶然碰撞被图像捕获系统忽视。作为结果，在相对于抽屉的预定成像位置处拍摄的图像的集合可用于随后的处理以确定试管和抽屉的特性。
控制器520被提供用于管理对由相机542、544拍摄的图像的图像分析。在检测到抽屉110的关闭时，图像捕获控制器548将图像提供给控制器520用于下载和处理。根据实施例，控制器520是样品处理机的部分，其在IVD环境中用来处理试管托盘120和试管130以及使其在存储位置(诸如工作包封105)到分析仪之间移动。由控制器520执行的图像分析用于关于试管托盘120和试管130的各种确定的特性命令样品处理机，从而允许样品处理机相应地处置和处理试管托盘120和试管130。
所述一个或多个存储器设备540与控制器520相关联。所述一个或多个存储器设备540可以在控制器520内部或外部。一个或多个抽屉传感器530可以被连接到控制器520以指示抽屉110何时完全关闭和/或抽屉110何时完全打开。根据实施例，抽屉110完全关闭充当开始对所捕获和存储的图像进行图像处理的指示。当抽屉110完全关闭时，抽屉传感器530向控制器520发送信号。
图4提供根据实施例的控制器520的框图表示。抽屉管理器521管理在控制器520的各种模块之中的数据流。根据一些实施例可以是USB收发机的收发机522从图像捕获控制器548接收数据(即，所捕获的图像)。数字输入/输出(I/O)管理器523管理信号的接收以及信号在抽屉传感器530和控制器520之间的传输。当I/O管理器523从抽屉传感器530接收指示抽屉110完全关闭的信号时，I/O管理器523将该信号传送到抽屉管理器521，所述抽屉管理器521向收发机522发布下载图像的请求。抽屉管理器521将所下载的图像提供到图像处理器524用于对其进行处理。可以经由抽屉管理器521将由图像处理器524处理的数据发送到机器人手臂管理器525，所述数据包括试管托盘120和在其上的托盘130的特性。机器人手臂管理器525是控制器520的与处理和运输试管托盘120和试管130相关联的模块(即，样品处理机)。因此，机器人手臂处理器525利用由图像处理器524处理的数据。
根据实施例，图像处理器524基于先入先出算法处理图像。因此，机器人手臂管理器525可以在图像处理器524处理与第二行相关的图像同时处理/处置第一行的试管130。由于机器人手臂管理器525不同时要求所有特性数据，因此不要求图像处理器524在机器人手臂管理器525准备好开始其功能以前处理了所有图像数据。根据实施例，机器人手臂管理器525处理一行试管130所要求的时间近似3秒，从而允许由图像处理器524执行的图像分析花费多达每行3秒。因此，当图像捕获是实时的时，图像分析不是实时的。这极大地减小了图像处理器524的所要求的处理速度和能力。
为了提供DVS的功能，在处理图像的一个或多个处理器(诸如图像处理器524)上运行操作的软件需要被修整以处理在抽屉系统中看到的图像的类型。所期望的是校准软件以计及物理/光学相机性质并且进一步训练所述软件以从现实世界图像识别试管情形。
在一些实施例中，从软件立场来看，存在DVS的两个部分：在线部分和离线部分。在线指代在操作期间，即当系统处理由相机捕获的新图像时以及当系统在实验室中的操作期间正用于发现抽屉存货时，发生的那些部分。离线指代在正常实验室工作流程中的对样品进行操作之前进行的对DVS的任何训练和校准。一般地，离线步骤在制造时被执行并且可能偶尔在DVS的寿命期间被执行以维持校准。当DVS在处理样品的实验室中操作时频繁地执行在线步骤。
离线训练对确定不同的试管类型特别有用。一旦范围被限定成确定要用于系统的试管类型，那些试管的图像就可以限定用于训练的集合。针对训练，所期望的是具有允许DVS检测不同的试管类型的用于训练分类器组件的大量数据。可以在工厂处进行一次训练，并且可以或可以不在消费者的房屋处重复所述训练。关于房屋的训练将允许消费者将图像训练定制成在特定实验室中使用的试管类型和大小。在粗略的意义上，训练可以被认为是在制造商侧发生的某事。在一些实施例中，训练可以针对装运有DVS的所有实例的软件包发生一次，而在其他实施例中，可以按照DVS的每个实例修整训练。其他离线组件、校准可以发生在消费者的场所处或在DVS的每个实例的制造商处。然而，训练涉及解释由DVS的相机捕获的图像中的突出特征，校准涉及表征那些相机的物理和光学性质以辅助解释图像。因为每个DVS是分离的物理设备，所以每个可以具有足够的物理变化以保证对每个DVS设备的校准。因此，在一些实施例中，当每个DVS被安装在消费者场所处时或者在制造DVS之后，对所述每个DVS进行校准，同时可以预加载训练数据。在一些实施例中，还可以稍后执行再训练。
可以使用一系列标记来进行校准。图5示出可以用于校准DVS中的相机的示例性标记。校准目标600包括多个平面602。平面602中的每个包括形成较大光学图案的唯一标记的阵列。示例性的各个标记604包括西门子霍夫曼(Siemens Hoffmann)标记。平面602允许校准目标600呈现唯一标记604的3-D布置。西门子霍夫曼标记通过提供相对于图像平面的已知的2-D空间点而对于校准相机是有用的。每个标记604是唯一的编码块，其与每个平面602上的唯一位置相关。通过提供这些标记的多个平面，目标600呈现然后可以与每个相机的图像平面中的2-D点相关的多个已知3-D空间点。因为每个标记是唯一的，所以相机可以在仅平面的部分视图可用时标识每个平面上的网格位置。按常规，棋盘图案或西门子霍夫曼标记用在常常被以各种姿态(pose)和距离放置在在相机前面的单个2-D平面中。多个平面确保平面上的标记呈现用于相机校准的三维目标，这里在校准目标划过DVS中的相机时每个平面的姿态相对于每个相机变化。在一些实施例中，平面可以被以金字塔或其他形状布置以呈现用于相机校准的3-D目标。
平面602可以被安装在常规试管托盘的顶部上，允许校准目标600在训练期间以试管托盘将在运行时间被处理所用的相同方式由DVS处理。这允许运动机构相对于DVS中的相机来移动标记604。这进一步允许在DVS的运行时间操作期间，每个标记被以样品试管的突出特征将被定位在每个相机的图像平面中的大致相同的方式放置在每个相机的图像平面中的不同位置处。通过利用3-D平坦表面上的标记的阵列，通过使目标600滑动通过抽屉系统和捕获多个图像可以容易地测试多个3-D位置以用于校准。例如，这允许校准图像模拟不同的试管顶部高度。在一些实施例中，DVS包括在抽屉中的行中对齐的多个相机。该行的方向平行于该校准对象中的顶点。该校准对象与一个相机一起工作，也与多个相机一起工作，只要相机可以看到校准对象。
每个相机具有两个不同类型的性质。第一个被称作固有性质或参数，例如焦距。除了焦距之外，相机的固有参数还可以具有限定的主点，即关于图像的光学中心。第二个被称作外在性质，其包括取决于相机的使用而改变的性质，诸如姿态——相机关于预定义的坐标系定向并且面向何处。固有和外在性质应该被校准。
通过利用校准目标，诸如目标600，多个相机可以同时经历固有性质校准。另外，因为多个相机看到相同的唯一目标，所以还可以使用这些目标来计算相对于彼此的外在性质。例如，第一相机可以用作参考，允许关于第一相机来估计第二相机的姿态。同时，目标的位置可以用来确定固有参数，诸如每个相机的主点。目标600因此被设计成估计每个相机的固有参数。
典型地通过将平面放置在相机前面和改变相机或平面的姿态来进行校准。在DVS中，由于抽屉状的结构，空间受限。通过将校准目标安装在试管托盘或模拟试管托盘的对象上，本文中描述的目标可以用来校准受限空间中的DVS相机。理想地，出于校准的目的，仅要求具有非共面3D点的网格的一个图像。然而，在仅网格标记的子集在DVS相机的受限视野内可见的场合，情况常常是这样。另外，对放置在关于相机的不同位置处的网格的多个观察还极大地帮助提高校准的准确性。在固定的相机的情况下，抽屉和目标移动，允许相机拍摄多个图像，其进一步允许具有已知坐标的3-D目标在图像平面中四处移动。这导致目标相对于相机的多个姿态，允许充分的数据来校准每个相机。因为校准目标大到足够跨多相机可见，所以除了每个相机的固有性质之外，校准软件还可以导出相机的每对之间的相对姿态。
用于校准的软件经由已知3D点的集合{pj}和其在第i个图像上的2D对应来获得相机的固有和外在性质。这通过使2D投影与对应的被测量点之间的再投影误差最小化来实现。即
人们可以单独地分解R和t分量，导出旋转矩阵R和平移向量t。R可以被呈现为3x3矩阵，而t可以被呈现为3x1向量，这里f(.)是将点从相机的坐标系投影到其图像平面的3D到2D投影函数，Kc是包含相机的两个轴的焦距和歪斜(skew)以及图像上的主点的3x3固有校准矩阵，并且dc是其透镜畸变向量。Ri和ti是描述第i个图像中的相机的姿态的外在参数，其中R是旋转并且t是平移，其分别用3x3矩阵和3x1向量来表示。存在六个自由度来定向相机和评价相机。等式1要求每个标记的3-D位置的知识。因为每个标记在预配置的校准目标上的良好限定的平面上，所以可以容易地根据目标构造的知识导出每个标记的3D位置。可以通过使用诸如OpenCV API之类的常规软件工具来执行优化以导出相机的固有参数和由相机获取的每个图像的外在参数。
为了执行校准，一个人简单地使校准目标通过抽屉并且捕获图像。因为每个标记的位置在相对于托盘的3-D空间中是已知的，并且在抽屉关闭时的所述抽屉中的托盘的位置可以通过索引或其他手段容易地导出，所以这为等式1中的算法提供充分的信息以解释图像并且解K及t矩阵。因为每个标记是唯一的，所以即使在视野未捕获校准目标的平面的边缘时，也可以为由相机捕获的每个二维图像确定与标记对应的3-D空间中的点。已知的3D点PjPj被相对于托盘定位；点pjpj是2D图像中的点。因此，图像中的标记提供已知点P和p。
给定从同时拍摄的一对图像估计的相机A和B的姿态RA，tA和RB，tB，可以通过如下导出相机A和B之间的相对姿态：
一旦我们具有两个相机，就估计每个相机的校准参数。等式2和3仅告诉你如何导出相机A和B之间的相对姿态。这是导出相对姿态的常规方案。在这里RA被表征为RA -1，因为你需要将旋转逆转回到坐标然后再投影回到另一坐标系。其是矩阵的逆。
注意，基于具有已知3-D点的目标来执行上述校准，其可以通过目标上的每个校准点的3-D坐标来提供。当每个标记板上的校准点位于平坦表面的规则网格上时，其全局坐标可以被描述为其局部坐标的刚性变换。从具有整个校准目标在视野中的各种放置的单个相机拍摄的图像允许对这些3D坐标的校准。目标的这两个板之间的刚性变换然后可以经由非线性最小二乘优化导出以推断目标上的所有校准点的3D坐标。
一旦相机被校准，其就可以用来训练图像检测算法以利用这些参数来解释试管托盘中的样品试管的现实世界图像，从而允许对DVS系统中的每个试管托盘的内含物的光学表征。在一些实施例中，训练过程使用试管中的实际体液，而在其他实施例中，出于健康和安全的目的而使用模拟的体液。例如，可以使用与血液类似粘度的鲜红流体来模拟血液。可以捕获试管托盘中的示例性样品试管中的模拟的或真实的流体的图像。可以准备这些训练样品以通过改变试管的填充高度来模拟现实世界样品。所使用的样品试管可以具有将在实验室环境中出现的样品试管的相同类型，诸如高度、直径、材料等。可以使用各种流体类型，包括血清、血液和尿液，其每个都可以被模拟。在一些实施例中，较大比例的训练样品可以是血清，其可以更好地近似现实世界的使用。
可以使用包括示例性DVS系统的测试装具(harness)和包含各种训练样品试管的试管托盘来训练图像处理器。试管可以包括多种不同的试管位置，并且可以包括托盘上的标记，其可以对关于每个样品试管的特性的地面实况进行编码。这允许一个或多个训练托盘滑动到DVS中，从而允许相机从每个试管的各种角度捕获多个图像。试管的这些图像可以被划分成与每个试管对应的图像块，从而允许运行随机森林分类算法。
在一些实施例中，与每个试管对应的图像块被改变尺寸成64x64像素，以提供标准化的训练图像块。该标准化对于尺度图像而言可能是必要的，其中由于距离，图像的与样品试管对应的一部分小于与图像中心处的样品试管对应的图像的部分。已经在相机校准过程期间移除了畸变，因为解决了任何透镜畸变因素。一般地，用已经被分解出来的任何透镜畸变来捕获图像块。在一些实施例中，这些标准化的图像块可以进一步旋转90、180和270度以生成新块，其在训练期间可以用来添加数据变化。诸如被放置在试管托盘的表面上的白点之类的基准标志可以用来标识托盘内的每个试管的行和列位置。图像块中的基准标志可以标识托盘中的哪个狭槽与图像块对应或简单地通过提供参考点来对齐图像内的狭槽。该信息可以是有用的，因为相机不具有托盘内的每个狭槽的相同观看角度。例如，托盘的边缘附近的列中的狭槽可以不直接在相机下面经过，而托盘的中心附近的列中的狭槽可以直接在相机下面经过。相应地，与某些列或行对应的狭槽可以包括图像块中的较陡峭的观看角度。
图像块可以包括两个类型的图像块。第一类型的图像块与以每个训练试管的试管顶部为中心的图像的部分对应。可以通过对图像运行常规圆检测图像处理算法以标识可能的试管顶部来选择这些图像块。在一些实施例中，在训练算法用于检测盖或管顶杯的存在的场合，与试管顶部对应的图像块可以被缩放使得所有试管顶部在分类训练期间基本上大小相同。第二类型的图像块与试管可以被插入到其中的狭槽对应。通过标识托盘表面中的狭槽的位置，诸如通过理解相机的姿态校准，如本文中描述的那样，或者通过使用用以标识图像中的物理托盘狭槽的位置的基准标志或其他图像特征的辅助，可以选择与该托盘狭槽的范围对应的图像块。如果托盘狭槽未被占用，则该图像块可以示出与该狭槽对应的干净的圆形结构；如果托盘狭槽被占用，则该图像块可以示出包括样品试管的底部的阻塞的狭槽。
一旦收集了图像并且使用测试装具生成了训练图像块，处理器就可以着手特征提取。针对每个图像块，训练算法计算定向的梯度和方向可调(steerable)过滤特征的直方图。算法还可以计算强度值的平均和方差。在特征提取之后，由高维特征向量来表示每个图像块。
在一些实施例中，托盘包括被附接到托盘的末端以标识托盘和/或托盘类型的2-D条形码或数据标志。当托盘最初被插入到抽屉中时，在托盘的末端附近的条形码将出现在初始图像中并且可以通过用常规的图案匹配技术来标识以定位条形码，或者条形码可以被放置在每个托盘上的基本上统一的位置处。这些条形码可以包含关于托盘类型的信息，其可以将托盘标识为具有15或55个狭槽。在一些实施例中，抽屉被具体地设计成在前面部分上容纳一个55-狭槽托盘并且在后面部分上容纳一个55-狭槽托盘，或者在每个部分上容纳三个15狭槽托盘。相应地，如果标识条形码总是位于托盘的边缘，则在插入托盘时，仅捕获与托盘之间的那些边界对应、需要被搜索并且标识条形码的某些图像。此外，可以由处理器按照托盘的方位理解在这些图像中标识方位标记。维持托盘的定向和布局的适当模型可能对于在图像中标识试管狭槽的预期位置而言是重要的。
通过使用校准目标执行相机校准，处理器能够访问用于描述相机的透镜的径向畸变的参数。可以使用这些参数来补偿该径向畸变，使得3-D中的直线在未畸变的经补偿的图像中将出现为直线。对畸变的该补偿可以促进用于托盘级块(例如，试管狭槽块)和试管级块(例如，试管顶部块)两者的块提取的试管狭槽对齐。
一旦托盘定向类型已经被标识，图像处理器就可以将虚拟的托盘狭槽网格覆盖到图像的模型中。该网格可以包括附加的行和列以允许托盘表面上的任何基准标志的标识。例如，55-狭槽托盘将具有虚拟12x 6网格。可以通过标识托盘表面上的任何基准标志来将该网格与托盘表面对齐，这里基准标志被布置在表面上的网格中，诸如在每组四试管狭槽之间，并且在边缘处。该网格然后可以用于辅助标识与试管狭槽对应的图像块。网格允许适当地对齐托盘的图像以用于处理。为了唯一地标识基准标记，在托盘滑动到抽屉中时登记的行索引解码器可以标识托盘的物理平移。每个检测到的基准标记与最靠近的编码器标记相关联并且计算平均偏移。这允许即使当由于驻留在狭槽中的样品试管仅几个基准标记在图像中可用而没有闭合时，托盘狭槽网格与托盘图像可靠地对齐。
在覆盖托盘网格之后，算法修剪托盘狭槽块。用触发相机的编码器来捕获相机图像。如果在相机的视野中存在托盘，则所捕获的图像以特定行为中心。给定该信息以及托盘狭槽的行和列索引，该算法计算图像中的感兴趣的可能区域并且应用圆检测算法来检测试管顶部是否在狭槽中存在试管。如果发现圆，则其修剪试管顶层块。试管顶部块连同托盘狭槽块被用作空狭槽检测器和试管类型检测器的输入。块连同地面实况也被收集以离线训练检测器。
在图6中示出示例性图像和使用该技术提取的示例性图像块。图像610是可以在DVS中的相机的视野中捕获的示例性图像。一旦校准了相机，就针对图像畸变来补偿图像610。可以在图像中检测到白点并且使用其来定向托盘表面的网格覆盖。使用该网格，图像块与试管顶部612和试管狭槽614对应。在该示例中，所有试管具有盖，其可以使用用来导出图像块612的圆检测来标识。类似地，所有狭槽被占用，使得样品试管的部分使与试管狭槽的位置对应的图像块模糊。然而，通过相对于托盘表面来定向网格，图像处理，与所占用的试管狭槽对应的图像块614可以被导出以用于处理狭槽占用的标识。
图像块612和614连同对试管顶部和狭槽占用的地面实况的标识可以用于训练目的。类似地，在实验室中的运行时间期间，图像块612和614可以由DVS创建以用于处理试管顶部类型和狭槽占用的标识。
在提取试管顶部块中的托盘狭槽之后，可以经由软件中的检测流水线对其进行处理以将每个托盘狭槽分类为空或非空、将每个非空狭槽分类为具有盖或不具有盖，并且进一步将每个未加盖的试管分类为具有管顶杯或不具有管顶杯。在图7中示出基本决策树。方法620示出用于从图像块表征试管狭槽的内含物的基本过程。在步骤622处，图像处理器观看与试管狭槽对应的托盘级图像块并且确定该块指示狭槽为空还是被占用。如果被占用，则在步骤624处，处理器观看占用狭槽的试管的顶部的试管级块以确定盖是否存在。如果盖不存在，则在步骤626处，图像处理器根据试管级块确定管顶杯是否存在。以该方式，图像处理器使用与狭槽对应的托盘级和试管级块来将每个托盘狭槽分类为“空”和“非空”类别、并且将每个“非空”托盘狭槽分类成“具有盖的试管”、“具有管顶样品杯的试管”以及“光管”种类。
步骤622处的空托盘狭槽检测包括两个步骤。在第一步骤中，将来自每个输入图像的提取的托盘狭槽块馈送给使用空狭槽块和非空狭槽块训练的随机森林分类器。给定输出分数，将每个块分类成“空”种类(如果分数小于γEmpty的话)或者“非空”种类(如果分数大于γEmpty的话)。在第二步骤中，随时间过去融合相同托盘狭槽的块上的检测结果。这是因为在抽屉移动时在相机中多次看到托盘狭槽。在一个实施例中，在抽屉关闭动作内看到每个狭槽至少三次。算法计算来自每个块的预测分数的加权平均。如果平均分数小于则将狭槽分类为“空”，并且否则将狭槽分类为“非空”，从而允许处理进到步骤624。
在一些实施例中，在图像平面中存在三行试管，其在每个图像中被分析。最接近相机的图像中心的中心行包括在抽屉关闭时直接在相机下方的试管。顶部行包括抽屉中的已经滑过相机的试管狭槽，而底部行包括在抽屉关闭时DVS中的还未在相机下方经过的试管狭槽，或者反之亦然。因此，每个试管狭槽在其经过相机时可以被分析三次，从而在试管狭槽的三个连续图像中提供三个分离的相机角度。作为训练过程的部分，并且创建经优化的加权平均，从而允许将权重分配给三个试管狭槽位置中的每个。例如，与中心行中的试管狭槽相关联的图像块可以被给定较高权重，因为该狭槽在图像中的中心位置和基本上垂直的相机视图允许中心行图像块中的试管狭槽相比于顶部或底部行中的图像块而言较不模糊，由于拍摄这些图像块所用的斜角度。在一些实施例中，当优化检测时，可以将不同的权重分配给不同列中的试管狭槽。例如，在中心行中但不直接在相机下面的列中的试管可以由于在试管狭槽处被观察到所用的斜角度而对于相机而言在图像中不同地离开中心出现。通过利用加权平均，可以获得较高的置信水平以用于检测步骤。该加权平均方案可以应用于步骤622、624和626中的每个或本文中讨论的其他处理步骤中的任何处理步骤。
步骤624可以包括两个步骤。在第一步骤中，将来自每个输入图像的(根据步骤622分类的)提取的“非空”试管顶部块馈送到使用具有盖块和其他块的试管训练的随机森林分类器。给定输出分数，将每个块分类成“具有盖的试管”种类(如果分数小于γCap的话)或者“其他”种类(如果分数大于γCap的话)。在第二步骤中，通过对来自每个块的预测分数求平均来融合相同托盘狭槽的检测结果。如果平均分数小于则将该狭槽分类为“具有盖的试管”，并且否则将该狭槽分类为“未加盖的试管”。
类似于空狭槽检测，处理器可以利用基于块位置的试管预测。在方案中，处理器将试管块分类成三个种类使得中心行处的块(我们将在该数据集上训练的分类器称为CapCR)、较低行处的块(我们将在该数据集上训练的分类器称为CapLR)，以及较高行处的块(我们将在该数据集上训练的分类器称为CapUR)。因为闭合在试管顶层处不是问题，所以处理器收集三个位置块并且使用加权平均来融合预测。位置信息是可访问的，因为DVS具有在抽屉关闭时触发相机捕获某些位置处的图片的编码器设备。当托盘行中的每个在图像中心行处时，所述位置与抽屉位置对齐。该设计允许这是真的而不取决于托盘位置和类型。
在盖检测中针对行中的每个对三个分类器的训练使用随机森林技术。如下在运行时间计算对非空狭槽中的新试管块的预测：
PCap(tr，c)＝αCR*CapCR(tr，c)+αLR*CapLR(tr，c)+αUR*CapUR(tr，c) (等式4)
下标r，c指示试管的行和列索引。加权可以使用数的平均并且还可以使用高斯核对基于位置分类的序列加权。也可以从训练数据学习加权系数。
步骤626基本上类似于步骤624，这里分类器被训练以检测管顶杯而不是试管盖。
图像处理器还可以根据在试管狭槽经过时由相机捕获的图像来估计试管高度。为了估计试管高度，可以使用在试管相对于相机移动时的相同试管的连续图像。一旦校准了相机，就可以利用连续图像之间的试管顶部的图像内的位移来确定试管高度。通过假设相机的观看方向垂直于托盘表面，可以用简单的2-D投影模型来执行试管高度估计。2-D投影的位移与物理位移成正比并且与距相机中心的距离成反比。更正式地，其被通过以下透视投影模型来描述：
在等式5中，f是焦距，并且Z是3-D点到相机的光心之间的距离，Δx和ΔX分别是3-D点的2-D和3-D位移。当观察在垂直于相机的观看方向的方向上的相同距离中行进的两个3-D点的2-D位移时，它们到光心的相对距离与焦距无关。可以基于所捕获的连续图像之间的物理距离来确定行进的距离，其受在DVS抽屉系统中使用的编码影响。出于该目的，可以使用图像内的由基准标志移动的距离。即，
因此通过跟踪点标记在托盘表面上的位移Δxtray和试管的中心的位移Δxtube，试管高度可以由以下确定：
由图像处理器进行的图像分析还可以确定对所检测的试管的试管直径的估计。一旦估计了试管高度，就可以基于经校准的相机几何形状来近似每个所检测的试管的直径。通过以下关系使这成为可能。
diameter＝d*depth*2/(fx+fy) (等式9)
在等式9中，d是以像素计的试管顶部直径并且depth＝tray_to_camera_dist-tube_height。并且tube_height从前一步骤获得并且tray_to_camera_dist被离线测量和从配置文件获得。
此外，图像处理器可以估计试管中心偏移，其可能有助于确定试管是否倾斜得更多，以用于确定如果试管狭槽不具有定心弹簧来支持试管，则试管位于试管狭槽中的何处。通过计算3-D中的试管中心和3-D中的托盘狭槽中心之间的偏移来估计试管中心偏移。
Δd＝tube_center-slot_center (等式10)
tube_center＝tube_center_image*(tray_to_camera_dist-tube_height)(等式11)
slot_center＝slot_center_image*tray_to_camera_dist (等式12)
图像处理器还可以通过执行SVG颜色空间中的颜色分类来估计任何盖的颜色。针对与盖在图像中的地方对应的像素中的每个，处理器将所述像素映射到颜色空间中并且查找集群。在一些实施例中，图像处理器通过使类似颜色的一个集群或两个集群适合在盖圆(cap circle)内来估计盖的颜色。集群的紧凑性用来确定有一个还是两个颜色存在。例如，某些盖具有多个颜色以指示某些内含物类型。
图8描绘用以创建DVS图像数据库的数据流，其可以用于训练和测试用于DVS的图像处理系统。可以在训练会话之前创建该数据库。这可以在工厂处或在消费者场所处进行。应该使用各种数据测试情况来充分训练DVS系统。托盘类型/方位测试情况(case)702可以包括多个类型的托盘，诸如55位置托盘和15位置托盘，以及这些托盘可能在DVS抽屉中出现的各种方位。狭槽类型测试情况704包括为空的狭槽和包含样品试管的狭槽。流体类型测试情况706包括将在实验室中遭遇的各种样品类型，诸如血清、全血、尿液等。试管几何形状测试情况708包括将在实验室环境中利用的各种试管高度、试管直径和试管材料。测试情况708可以从自定义安装到消费者安装不等，或者所列举的可用试管几何形状的列表可以用来在工厂处训练试管几何形状的超集。试管形状测试情况710包括具有盖、管顶杯的试管和未装饰有盖或杯的演奏(playing)试管。针对具有盖的那些试管，盖颜色测试情况712可以包括单个和多个颜色。在一些实施例中，基于可以在测试情况702到712中选择的期望测试情况，处理器自动地生成对这些测试情况的所有可能组合的列举以使用数据配置生成器714创建训练样品计划。数据配置生成器714的输出是单个数据集配置716，其包括足够的测试实例来训练图像处理器处理测试情况中的每个。在步骤718处，技术员将准备具有与由处理器确定的数据集配置716一致的各种试管和流体的托盘。这些样品托盘然后通过作为消费者仪器的部分的DVS系统或DVS测试装具来准备与数据集716一致的多个测试图像。数据库720包括每个测试样品的地面实况，从而允许训练。
图9描绘用以使用DVS测试装具或DVS来创建DVS图像数据库数据的数据创建过程。一旦包括规定的测试情况场景的物理测试托盘被加载到DVS中，DVS就在步骤722处检测托盘方位。这可以经由用以检测角的存在的光学装置或通过检测插入到抽屉中的托盘的物理方位的物理装置进行。在步骤724处，检测在每个样品托盘的边缘处的条形码。这允许DVS处理器确定托盘类型，诸如图像将对应的55狭槽托盘。在步骤726处，检测托盘表面上的基准标记。这允许DVS处理器定向样品托盘的突出组件的物理位置。在步骤728处，处理器生成可以虚拟地覆盖到样品托盘的图像上的虚拟狭槽网格。该网格考虑两个DVS相机的相机校准数据。在步骤730处，处理器提取狭槽块，如本文中描述的那样通过标识狭槽相对于基准标志的位置。与那些狭槽对应的图像块变成可以被插入到DVS图像数据库720中的训练数据。具体地，训练数据是空比对非空数据库732，因为通过步骤730生成的来自所捕获的各种图像的狭槽块包括可以用于训练目的空和非空狭槽两者。在步骤734处，图像处理器生成试管顶层块提取区域。该提取区域可以是粗略地与每个狭槽的位置相关并且允许在该提取区域内标识试管顶部的搜索区域。在步骤736处，在提取区域内运行圆检测算法以标识每个试管顶部的图像内的精确位置。在步骤738处，标识在提取区域内的试管顶部圆。在步骤740处，图像处理器提取以所检测的图像顶部圆为中心的试管顶部块。这些块还可以被标准化成使得块的范围与试管顶部圆的范围相关。该处理导致两个数据库，盖比对无盖数据库742和杯对对平面试管数据库744，因为图像中的试管应该包括杯、盖和未加盖的样品。数据库742和744成为DVS图像数据库720的部分。以该方式，可以使用DVS测试装具或DVS系统来创建图像块的完整训练集。
图10描绘用于训练分类器以便检测图7中的任何状况的训练过程750。针对每个分类器创建训练数据的两个集合。积极训练数据752包含其中被分类的状况是积极的图像块，诸如具有盖的试管；消极训练数据753包含其中被分类的状况是消极的图像块，诸如缺少盖的试管。通过由处理器操作的处理器754生成分类器参数。这些参数可以是用于训练分类器的适当参数的最佳猜测起点并且导致参数集756。参数集756中的参数可以包括用来配置随机森林分类训练算法的参数，其诸如标识树的深度为10、叶特征(note)处的最小样品计数为5、活动变量的数量为100以及树的最大数量为100。参数还可以包括γEmpty、γCap、γCap、以及等式4中的加权系数。执行训练的处理器在步骤758处使用随机森林算法来训练分类器。这导致可以使用测试数据来被评估的经训练的分类器。测试数据可以是类似于训练数据的图像块。例如，使用图9的系统生成的样品图像块可以被划分成训练数据和用以充分评估分类器的测试数据。积极测试数据752A包括包含由分类器检测到的特点的图像块，而消极测试数据753A包括不包含由分类器检测到的特点的图像块。在步骤760处，训练处理器使用测试数据来评估分类器，这导致测试分类错误762。在步骤764处，训练处理器优化分类器参数并且选择适当参数使分类错误最小化。这导致经选择的参数集和经训练的分类器数据766。然后可以在运行时间使用该参数集和分类器以检测图7中的狭槽和试管状况中的每个。
图11示出用于利用校准目标(诸如图5中示出的校准目标)来校准相机的示例性方法700。使用先前校准的高分辨率相机，从DVS中的每个获取校准目标的多个图像772。这些图像包括目标的多个放置以提供充分的数据来估计标记在校准目标上的3-D坐标。在步骤774处，校准处理器估计校准目标的板与图像中的像素值之间的刚性变换。这导致在3-D空间中标识目标上的每个标记的角的3-D坐标776并且提供可以在等式1中使用的校准目标的3-D模型。一旦标记的3-D模型可用，被校准的DVS中的相机就可以捕获安装在托盘上并且插入在DVS抽屉中的校准目标的多个图像778。在步骤780处，校准处理器利用要被校准的DVS的图像778和3-D坐标776来校准抽屉的每个DVS相机。该步骤可以利用在本文中讨论的教导，诸如等式1。在步骤782处，校准处理器使用在本文中讨论的方法(诸如等式2和3)来计算DVS抽屉中的两个相机之间的相对姿态。这导致用于DVS系统中的每个相机的校准参数784。这允许训练DVS系统并且补偿相机伪像。
图12示出用于在运行时间操作抽屉视觉系统以处理来自抽屉视觉系统的图像并且表征样品托盘的内含物的示例性软件数据流800。图像802包含当插入抽屉时被抽屉视觉系统捕获的图像。这些图像可以包括当抽屉完全关闭或部分打开时抽屉中的样品托盘的部分的图像。软件模块804检测抽屉的内含物的托盘方位，如本文中讨论的那样。软件模块806检测样品托盘的表面上的条形码。这允许软件在步骤810处确定托盘类型和/或托盘的身份。软件模块812提供标记检测，从而标识托盘的表面上的基准标志(诸如白点)的位置。软件模块814基于这些基准标志的位置而将狭槽网络生成到图像上，如以上讨论的那样。模块814利用相机校准数据816来补偿捕获包含基准标志的图像的相机的光学性质。
软件模块816基于图像的网格覆盖提取与狭槽对应的图像块以确定图像中的狭槽的位置。这些狭槽图像块被提供给检测模块818的空狭槽。检测模块818利用先前已经被训练的空狭槽检测分类器820。利用与每个托盘狭槽对应的图像块以及检测分类器每20，检测模块818确定每个狭槽是否为空。如果狭槽被确定为空，则这导致空狭槽预测822，从而允许将狭槽被分类为空。软件模块824生成图像中的试管顶层块提取区域以约束对图像中的试管的顶部的搜索。在一些实施例中，模块824仅针对与非空狭槽对应的每个区域执行。软件模块826提供针对每个试管顶层提取区域的试管顶部检测。为了完成该任务，模块826执行步骤828以检测提取区域中的圆的存在，其与试管的顶部对应。软件模块830提取由模块826标识的试管顶部块，从而允许包含与试管的顶部对应的圆的图像块被进一步检查。
软件模块832通过检查由模块830提供的试管顶部块以及利用先前已经训练的盖提取分类器834来提供盖检测。如果盖检测模块832检测到盖，则这导致盖的存在的预测836。如果否，则软件模块838通过利用管顶杯检测分类器840分析试管顶部块来提供管顶杯检测，所述管顶杯检测分类器840可以如先前讨论的那样被训练。模块838的操作的结果是试管可以被标识为具有预测的杯(数据结构842)或被预测是光管(数据结构844)。软件模块846通过分析图像来提供如先前讨论的试管几何形状估计以标识高度估计、直径估计和中心偏移估计。软件模块848可以提供对托盘和试管的合计分析，从而标识特点清单。这可以包括：托盘ID的标识，其可以由条形码检测模块806提供；托盘的方位，其可以由托盘方位模块804提供；狭槽类型，其可以由数据结构822提供；试管类型，其可以由数据结构836、842和844提供；以及试管几何形状，其可以由试管几何形状估计模块846提供。
本发明的实施例可以与现有分析仪和自动化系统集成。应该领会到，可以以许多形状和大小来配置承载器，包括适合于供任何设想的分析仪或仪器使用的布局和物理配置。例如，在一些实施例中，承载器可以包括用于承载自动化轨道周围的多个样品的多个狭槽。一个实施例例如可以包括在一个或多个运输支架中具有多个狭槽的承载器的试管支持部分的物理布局。每个支架可以包括多个狭槽(例如，五或更多狭槽)，每个狭槽被配置成支持试管(例如，样品试管)。
尽管已经参考示例性实施例描述了本发明，但本发明不限于此。本领域技术人员将领会到，可以对本发明的优选实施例进行许多改变和修改并且可以进行这样的改变和修改而不脱离本发明的真实精神。因此意图是将所附权利要求解释为覆盖如落入本发明的真实精神和范围内的所有这样的等同变化。

Claims (20)

1.一种用于检测样品试管的性质的方法，包括如下步骤：
a.从至少一个相机接收托盘的一系列图像；
b.从每个图像提取多个图像块；
c.使用处理器根据所述多个图像块的第一子集自动地确定多个狭槽中的每个是否包含样品试管，其中每个块与所述托盘中的多个狭槽中的一个对应；
d.针对包含样品试管的那些多个狭槽，使用所述处理器根据所述多个图像块的第二子集自动地确定每个样品试管是否具有盖，其中每个块与所述样品试管的顶部对应；以及
e.针对不具有盖的那些试管，使用所述处理器根据所述多个图像块的所述第二子集自动地确定每个样品试管具有管顶杯还是光管。
2.权利要求1所述的方法，其中所述系列图像包括托盘抽屉中的预定位置处的托盘的图像。
3.权利要求1所述的方法，其中使用所述托盘表面上的基准标记的集合来确定与所述托盘中的多个狭槽中的一个对应的每个块。
4.权利要求1所述的方法，其中自动地确定多个狭槽中的每个是否包含样品试管的步骤包括：
a.针对每个狭槽，标识与所述狭槽对应的所述系列图像中的至少一个图像中的块；以及
b.针对每个经标识的块，确定所述狭槽被样品试管占用的概率。
5.权利要求1所述的方法，其中自动地确定每个样品试管是否具有盖的步骤包括：
a.针对每个样品试管，标识与所述样品试管的顶部对应的所述系列图像中的至少一个图像中的块；以及
b.针对每个经标识的块，确定所述样品试管具有盖的概率。
6.权利要求1所述的方法，其中自动地确定每个样品试管是否具有管顶杯的步骤包括：
a.针对每个样品试管，标识与所述样品试管的顶部对应的所述系列图像中的至少一个图像中的块；以及
b.针对每个经标识的块，确定所述样品试管具有管顶杯的概率。
7.权利要求1所述的方法，进一步包括针对每个样品试管使用所述处理器自动地确定如下中的至少一个的步骤：试管类型；试管高度，试管直径；试管偏移；盖颜色；以及流体类型。
8.权利要求1所述的方法，进一步包括使用所述处理器根据所述系列图像自动地标识托盘类型的步骤。
9.权利要求1所述的方法，进一步包括使用具有多个唯一的数字标记的3D目标来校准被配置成捕获所述多个图像的至少一个相机的步骤。
10.权利要求1所述的方法，进一步包括使用随机森林技术和多个训练图像来训练所述处理器执行确定步骤的步骤。
11.一种供在体外诊断环境中使用的视觉系统，包括：
抽屉，其被配置成安放托盘，其中所述托盘包括多个狭槽，每个狭槽被配置成安放样品试管；
至少一个相机，其被配置成在所述抽屉移动时捕获所述托盘的一系列图像；
处理器，其被配置成执行以下步骤：
a.从所述至少一个相机接收所述托盘的所述系列图像；
b.从每个图像提取多个图像块；
c.根据所述多个图像块的第一子集自动地确定多个狭槽中的每个是否包含样品试管，其中每个块与所述托盘中的多个狭槽中的一个对应；
d.针对包含样品试管的那些多个狭槽，根据所述多个图像块的第二子集自动地确定每个样品试管是否具有盖，其中每个块与所述样品试管的顶部对应；以及
e.针对不具有盖的那些试管，根据所述多个图像块的第二子集自动地确定每个样品试管是否具有管顶杯。
12.权利要求11所述的系统，其中所述系列图像包括所述抽屉中的预定位置处的所述托盘的图像。
13.权利要求11所述的系统，其中使用所述托盘的表面上的基准标记的集合来确定与所述托盘中的多个狭槽中的一个对应的每个块。
14.权利要求11所述的系统，其中自动地确定多个狭槽中的每个是否包含样品试管的步骤包括：
a.针对每个狭槽，标识与所述狭槽对应的所述系列图像中的至少一个图像中的块；以及
b.针对每个经标识的块，确定所述狭槽被样品试管占用的概率。
15.权利要求11所述的系统，其中自动地确定每个样品试管是否具有盖的步骤包括：
a.针对每个样品试管，标识与所述样品试管的顶部对应的所述系列图像中的至少一个图像中的块；以及
b.针对每个经标识的块，确定所述样品试管具有盖的概率。
16.权利要求11所述的系统，其中自动地确定每个样品试管是否具有管顶杯的步骤包括：
a.针对每个样品试管，标识与所述样品试管的顶部对应的所述系列图像中的至少一个图像中的块；以及
b.针对每个经标识的块，确定所述样品试管具有管顶杯的概率。
17.权利要求11所述的系统，进一步包括针对每个样品试管使用所述处理器自动地确定如下中的至少一个的步骤：试管类型；试管高度；试管直径；试管偏移；盖颜色；以及流体类型。
18.权利要求11所述的系统，其中所述处理器被配置成执行根据所述系列图像自动地标识托盘类型的步骤。
19.权利要求11所述的系统，其中所述处理器被配置成执行使用具有多个唯一的数字标记的3D目标来校准所述至少一个相机的步骤。
20.权利要求11所述的系统，其中所述处理器被配置成执行使用随机森林技术和多个训练图像来训练所述处理器执行确定步骤的步骤。
CN201580039713.1A 2014-06-10 2015-06-10 抽屉视觉系统 Active CN107003124B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462010370P 2014-06-10 2014-06-10
US62/010370 2014-06-10
PCT/US2015/035092 WO2015191702A1 (en) 2014-06-10 2015-06-10 Drawer vision system

Publications (2)

Publication Number Publication Date
CN107003124A true CN107003124A (zh) 2017-08-01
CN107003124B CN107003124B (zh) 2020-07-07

Family

ID=54834240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580039713.1A Active CN107003124B (zh) 2014-06-10 2015-06-10 抽屉视觉系统

Country Status (5)

Country Link
US (1) US10140705B2 (zh)
EP (1) EP3155368B1 (zh)
CN (1) CN107003124B (zh)
CA (1) CA2950296C (zh)
WO (1) WO2015191702A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111512162A (zh) * 2017-10-27 2020-08-07 拜克门寇尔特公司 样本容器识别
CN113646641A (zh) * 2019-04-08 2021-11-12 株式会社日立高新技术 图像处理装置、自动分析系统以及图像处理方法
TWI799012B (zh) * 2021-12-17 2023-04-11 王一互動科技有限公司 呈現立體空間模型的電子裝置及方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2976771C (en) 2015-02-17 2023-09-26 Siemens Healthcare Diagnostics Inc. Barcode tag detection in side view sample tube images for laboratory automation
EP3259737B1 (en) * 2015-02-18 2020-04-15 Siemens Healthcare Diagnostics Inc. Locality-based detection of tray slot types and tube types in a vision system
WO2016175755A1 (en) * 2015-04-28 2016-11-03 Siemens Healthcare Gmbh METHOD AND SYSTEM FOR SYNTHESIZING VIRTUAL HIGH DOSE OR HIGH kV COMPUTED TOMOGRAPHY IMAGES FROM LOW DOSE OR LOW kV COMPUTED TOMOGRAPHY IMAGES
CN109414826B (zh) 2016-07-14 2022-02-22 西门子医疗保健诊断公司 用于基于样品架成像数据的动态拾取和放置选择顺序的方法、系统和装置
CN109414811B (zh) 2016-07-14 2022-05-27 西门子医疗保健诊断公司 基于样品架成像数据的用于机器人夹持器动态位置调整的方法和装置
WO2018017771A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Diagnostics Inc. Automated clinical analyzer system and method
EP3944144A1 (en) 2016-10-28 2022-01-26 Beckman Coulter, Inc. Substance preparation evaluation system
EP3357842B1 (en) 2017-02-03 2022-03-23 Roche Diagnostics GmbH Laboratory automation system
EP3652674B1 (en) * 2017-07-11 2024-02-28 Siemens Healthcare Diagnostics, Inc. Image-based tube top circle detection with multiple candidates
WO2019013960A1 (en) * 2017-07-11 2019-01-17 Siemens Healthcare Diagnostics Inc. METHODS AND SYSTEMS FOR LEARNING BASED IMAGE EDGE IMPROVEMENT FOR HIGHER SAMPLE TUBE CIRCLES
CA3092560A1 (en) 2018-03-30 2019-10-03 Amgen Inc. Camera-based drug container inspection
CN108983306B (zh) * 2018-06-06 2019-11-19 浙江大华技术股份有限公司 一种物品边框平滑显示的方法及安检设备
CN112072634B (zh) * 2019-06-10 2022-06-24 浙大城市学院 一种基于潮流嵌入技术的潮流计算方法
EP3789772A1 (en) * 2019-09-05 2021-03-10 Roche Diagnostics GmbH Method for determining a position of a rack on a rack placement unit of a laboratory handling system and laboratory handling system
WO2021086723A1 (en) * 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Methods and apparatus providing calibration of foreground illumination for sample container characterization
CN114585443B (zh) * 2019-10-31 2023-11-03 美国西门子医学诊断股份有限公司 训练诊断分析仪模型的设备和方法
EP3839515A1 (en) 2019-12-18 2021-06-23 Roche Diagnostics GmbH Method and devices for assessing the suitability of a sample tube for use in a laboratory automation system
JP7313310B2 (ja) * 2020-03-31 2023-07-24 日本碍子株式会社 セラミックス製の柱状ハニカム構造体の検査方法及び検査装置
CN111986263B (zh) * 2020-06-28 2023-09-12 百度在线网络技术（北京）有限公司 图像处理方法、装置、电子设备及存储介质
EP3968027A1 (en) * 2020-09-14 2022-03-16 Eppendorf AG Method and device for identifying labware
EP3979131A1 (en) 2020-10-02 2022-04-06 Roche Diagnostics GmbH A method for determining at least one state of at least one cavity of a transport interface configured for transporting sample tubes
JP7163947B2 (ja) * 2020-10-22 2022-11-01 セイコーエプソン株式会社 投写領域の設定支援方法、設定支援システム、及びプログラム
US20240230694A9 (en) * 2021-02-11 2024-07-11 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to identify 3d center location of a specimen container using a single image capture device
CN118829873A (zh) * 2021-10-18 2024-10-22 H&T可充电方案有限公司 罐器检测装置以及测定罐器质量的方法
CN118302803A (zh) 2021-11-22 2024-07-05 豪夫迈·罗氏有限公司 操作实验室自动化系统的方法和系统
EP4231019A1 (en) * 2022-02-17 2023-08-23 Roche Diagnostics GmbH Laboratory system
US11877071B1 (en) 2022-09-22 2024-01-16 Apple Inc. Flicker and proximity detection in image sensors with embedded low power readout circuitry

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056958A1 (en) * 2006-09-01 2008-03-06 Dade Behring Inc. Identification system for a clinical sample container
US20090324032A1 (en) * 2008-06-25 2009-12-31 Jadak Llc System and Method For Test Tube and Cap Identification
US20100254589A1 (en) * 2007-12-04 2010-10-07 University College Dublin National University Of Ireland Method and system for image analysis

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK1075328T3 (da) * 1998-05-01 2006-03-27 Gen Probe Inc Automatiseret diagnostisk analysefremgangsmåde
US6977723B2 (en) * 2000-01-07 2005-12-20 Transform Pharmaceuticals, Inc. Apparatus and method for high-throughput preparation and spectroscopic classification and characterization of compositions
US20050169733A1 (en) * 2004-01-29 2005-08-04 Drynkin Alexander V. Automated tube handler system
US20060000296A1 (en) * 2004-07-02 2006-01-05 Salter Jason P Synchronization of sample and data collection
US7499581B2 (en) * 2005-02-10 2009-03-03 Forhealth Technologies, Inc. Vision system to calculate a fluid volume in a container
US20090154764A1 (en) * 2006-10-20 2009-06-18 Forhealth Technologies, Inc. Drug vial detection in an automated drug preparation system
CN102224260B (zh) * 2008-09-24 2015-11-25 施特劳斯控股公司 用于检测分析物的试剂盒和装置
DE102011005807B4 (de) 2011-03-18 2017-02-16 Anton Paar Gmbh Küvette und optische Messvorrichtung
CN107560907B (zh) * 2011-07-22 2021-01-29 罗氏血液诊断股份有限公司 流体样品制备系统及方法
US20160109406A1 (en) * 2012-03-15 2016-04-21 Advanced Analytical Technologies, LLC Pulse-field multiplex capillary electrophoresis system
US9135515B2 (en) * 2012-10-22 2015-09-15 Qiagen Gaithersburg, Inc. Automated pelletized sample vision inspection apparatus and methods
HU230739B1 (hu) * 2013-02-28 2018-01-29 3Dhistech Kft. Berendezés és eljárás tárgylemezek automatikus festésére, fedésére, digitalizálására integrált tárgylemez festő-fedő-digitalizáló automata berendezés segítségével
CA2904107C (en) * 2013-03-14 2021-09-07 Siemens Healthcare Diagnostics Inc. Tube tray vision system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056958A1 (en) * 2006-09-01 2008-03-06 Dade Behring Inc. Identification system for a clinical sample container
US20100254589A1 (en) * 2007-12-04 2010-10-07 University College Dublin National University Of Ireland Method and system for image analysis
US20090324032A1 (en) * 2008-06-25 2009-12-31 Jadak Llc System and Method For Test Tube and Cap Identification

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111512162A (zh) * 2017-10-27 2020-08-07 拜克门寇尔特公司 样本容器识别
CN113646641A (zh) * 2019-04-08 2021-11-12 株式会社日立高新技术 图像处理装置、自动分析系统以及图像处理方法
CN113646641B (zh) * 2019-04-08 2024-08-13 株式会社日立高新技术 图像处理装置、自动分析系统以及图像处理方法
TWI799012B (zh) * 2021-12-17 2023-04-11 王一互動科技有限公司 呈現立體空間模型的電子裝置及方法

Also Published As

Publication number Publication date
EP3155368B1 (en) 2020-07-29
EP3155368A4 (en) 2017-06-21
US20170124704A1 (en) 2017-05-04
EP3155368A1 (en) 2017-04-19
WO2015191702A1 (en) 2015-12-17
CA2950296C (en) 2022-12-13
CA2950296A1 (en) 2015-12-17
CN107003124B (zh) 2020-07-07
US10140705B2 (en) 2018-11-27

Similar Documents

Publication Publication Date Title
CN107003124A (zh) 抽屉视觉系统
JPWO2019189661A1 (ja) 学習データセット作製方法及び装置
CN111340126B (zh) 物品识别方法、装置、计算机设备和存储介质
CN1984756B (zh) 物品保持系统、机器人以及机器人控制方法
CN105637370B (zh) 样本检查自动化系统和生物试样检验模块以及生物试样的检验方法
CN109142371A (zh) 基于深度学习的高密度柔性基板外观缺陷检测系统与方法
Wells III Statistical object recognition
CN104949617B (zh) 用于对象包装的对象三维尺寸估测系统及方法
CN108738336A (zh) 用于多视图表征的方法和装置
CN108603835A (zh) 被适配成根据多个侧视图来量化试样的方法和装置
CN106780569A (zh) 一种人体姿态估计行为分析方法
CN102145763A (zh) 用于处理自动分配机中的包装的方法和设备
CN108520273A (zh) 一种基于目标检测的稠密小商品快速检测识别方法
CN109844784A (zh) 用于引导人类执行的库存任务的自适应过程
KR20200062207A (ko) 생검 조직 샘플 카세트 그리고 관련 시스템 및 방법
JP2021510201A (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
CN110178014A (zh) 用于使用图案照明表征样本的方法和设备
CN106415325A (zh) 对象中的物项探测
CN110520737A (zh) 用于在试样表征期间进行标签补偿的方法和装置
CN110163225A (zh) 一种基于云平台的混杂包裹检测和识别方法、装置及系统
Birbach et al. Rapid calibration of a multi-sensorial humanoid’s upper body: An automatic and self-contained approach
CA3093646C (en) Method and system for extraction of statistical sample of moving objects
CN110046566A (zh) 一种基于图形识别及物联网技术的实验室智能物料柜
CN110170346A (zh) 虚拟移液
JP7181272B2 (ja) 検査室自動化システムでの使用に対する、試料管の適合性を評価するための方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1235856

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant