CN110832502B - 具有多个候选者的基于图像的管顶圆检测 - Google Patents
具有多个候选者的基于图像的管顶圆检测 Download PDFInfo
- Publication number
- CN110832502B CN110832502B CN201880046201.1A CN201880046201A CN110832502B CN 110832502 B CN110832502 B CN 110832502B CN 201880046201 A CN201880046201 A CN 201880046201A CN 110832502 B CN110832502 B CN 110832502B
- Authority
- CN
- China
- Prior art keywords
- tube
- images
- candidates
- processor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000000338 in vitro Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 38
- 230000008569 process Effects 0.000 description 22
- 230000004044 response Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000013610 patient sample Substances 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003556 assay Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101150013568 US16 gene Proteins 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 238000012801 analytical assay Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/251—Colorimeters; Construction thereof
- G01N21/253—Colorimeters; Construction thereof for batch operation, i.e. multisample apparatus
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
- G01N2035/0401—Sample carriers, cuvettes or reaction vessels
- G01N2035/0418—Plate elements with several rows of samples
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
- G01N2035/0496—Other details
- G01N2035/0498—Drawers used as storage or dispensing means for vessels or cuvettes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
- Image Analysis (AREA)
Abstract
实施例提供了一种使用基于图像的基于多个候选者选择的管顶圆检测来定位输入图像中的管顶圆区域的方法。根据本文中提供的实施例,多候选者选择通过利用相同管的多个视图来提高管顶圆检测的鲁棒性来增强管圆检测的鲁棒性。借助从相同管的不同视点下的图像中提取的多个候选者,多候选者选择算法在候选者中选择最优组合,并提供更精确的管特性的测量。该信息在其中样本处置器正在处理管并将管移动到分析仪以用于测试和分析的IVD环境中是无价的。
Description
相关申请的交叉引用
本申请要求于2017年7月11日提交的美国临时申请系列号62/531,108的优先权,所述美国临时申请的内容通过引用以其整体被合并在本文中。
技术领域
本文中所公开的实施例一般地涉及捕获管托盘的图像以确定托盘内支持的管的特性,并且更特别地涉及使用具有多个候选者的基于图像的管顶圆检测以用于托盘内支持的管的特性的准确确定。
背景技术
体外(in vitro)诊断(IVD)允许实验室基于对患者流体样本执行的化验来帮助疾病的诊断。IVD包括与患者诊断和治疗有关的各种类型的分析测试和化验,其可以通过分析从患者的体液或脓肿取得的液体样本来执行。这些化验通常利用已经向其中装载包含患者样本的管或瓶的自动化临床化学分析仪(分析仪)来进行。由于在现代IVD实验室中所需要的化验的多样性,以及操作实验室所必要的测试的量,在单个实验室中通常采用多个分析仪。在分析仪之间和之中,还可以使用自动化系统。样本可以从医生的办公室被运输到实验室,存储在实验室中,放置到自动化系统或分析仪中,并且被存储以用于随后测试。
通常使用托盘来完成分析仪之间的运输和存储。托盘通常是存储在测试管中的若干患者样本的阵列。这些托盘通常可堆叠并且促进多个样本从实验室的一个部分到另一个的容易运载。例如,实验室可以从医院或诊所接收用于测试的患者样本的托盘。患者样本的该托盘可以被存储在实验室中的冰箱中。患者样本的托盘还可以被存储在抽屉中。在一些自动化系统中,分析仪可以接受患者样本的托盘并且相应地处置样本,而一些分析仪可能要求在进一步处置之前由操作者从托盘移除样本并且将其放置到置物架(诸如定位器(puck))中。托盘通常是无源设备,其允许样本被运载并且在一些情况下以有序关系来布置。
一般地,关于存储在托盘中的样本管的信息是未知的,直到操作者或样本处置机构与每个管交互为止。例如,样本处置机器人臂可以拾取管,将其从托盘移除,并且将其放置到置物架中。置物架然后可以行进到脱盖器站以移除任何可能的盖并且经过条形码读取器,使得可以读取管的侧面上的条形码以揭示管的内容。在许多现有技术样本处置机构中,管的身份是未知的,直到从托盘移除管之后。以该方式,托盘中的所有管将通常以相同方式被处置,直到在将管放置到自动化系统中的置物架上之后。
发明内容
实施例提供了一种使用基于图像的管顶圆检测的方法。实施例涉及基于图像的方法,以通过使用多候选者选择来进一步提高管圆检测的鲁棒性并处理更具挑战性的情况。
根据实施例,一种使用基于图像的管顶圆检测的方法,所述方法包括:从至少一个相机接收托盘的图像的系列,所述托盘包括多个管槽,每个管槽被配置成接收样本管,托盘的图像的系列经由至少一个相机来获取;使用处理器针对给定的样本管提取图像的系列的每个图像中的多个候选者;使用处理器计算多个一致性分数,所述多个一致性分数中的每个在跨来自多个候选者的可能组合的图像的系列中的图像的候选者之间;使用处理器来累积多个一致性分数;以及使用处理器,基于在跨图像的系列中的图像的候选者之间的最高一致性分数,针对图像的系列中的每个图像的给定样本管选择真实管顶圆。
在实施例中,计算多个一致性分数包括:使用处理器确定多个候选者的可能组合;使用处理器计算可能组合中的每个的属性,所述属性基于多个候选者中的相应的一个候选者的特性;以及使用处理器基于计算的属性来计算多个一致性分数。在实施例中,所述方法进一步包括将所计算的属性保存在查找表中。在实施例中,所述属性包括圆直径、圆中心位置、圆高度和圆中心偏移中的一个或多个。在另一个实施例中,所述属性包括跨图像块的形状、颜色和纹理中的一个或多个。
在实施例中,托盘被配置成适合于可在打开位置和闭合位置之间移动的抽屉的一部分内,并且当抽屉在打开和闭合位置之间移动时,经由至少一个相机获取托盘的图像。
根据实施例,图像的系列中的给定的样本管包括多个不同视点中的给定样本管。
在实施例中,所述方法进一步包括针对给定样本管来分析真实管顶圆,以确定管类别和管特性。
在附加的实施例中,一种用于在体外诊断环境中使用的视觉系统,包括:托盘,其包括以行和列的矩阵布置的多个管槽,每个管槽被配置成接收样本管;表面,其被配置成接收托盘;至少一个相机,其被配置成捕获托盘的图像的系列;以及处理器,其被配置成:针对给定的样本管提取图像的系列的每个图像中的多个候选者;计算多个一致性分数,所述多个一致性分数中的每个在跨来自多个候选者的可能组合的图像的系列中的图像的候选者之间;累积多个一致性分数;以及基于在跨图像的系列中的图像的候选者之间的最高一致性分数,针对图像的系列中的每个图像的给定样本管选择真实管顶圆。
将从参考附图进行的说明性实施例的以下详细描述使得本公开的附加特征和优点显而易见。
附图说明
当结合附图来阅读时,从以下详细描述中最好地理解本文中所公开的实施例的前述和其他方面。出于说明本文中所公开的实施例的目的,在附图中示出目前优选的实施例,然而,要理解的是,本文中所公开的实施例不限于所公开的特定手段。在附图中包括以下图:
图1A是根据实施例的用于通过图像分析来表征抽屉中支持的管托盘和管的系统的表示;
图1B示出了根据实施例的包括位于布置在抽屉上的管托盘上方的图像捕获系统的示例性抽屉视觉系统测试装置(harness);
图2示出了根据实施例的用于通过图像分析来表征在抽屉中支持的管托盘和包含在其上的管的系统的框图表示;
图3A-3H是根据本文中的实施例的样本管的示例性图像,其描绘了具有多个候选者的管圆检测的样本结果;
图4A和4B图示了基于具有单个候选者和多个候选者的管圆检测的管几何估计误差分布;
图5是图示了根据本文中的实施例的使用基于图像的管顶圆检测的方法的流程图;以及
图6图示了其内可以实现本发明的实施例的计算环境的示例。
具体实施方式
本申请涉及在PCT申请号PCT/US14/27217、PCT申请号PCT/US15/35092和PCT申请号PCT/US16/18109中描述的概念中若干个,所述PCT申请中的每个通过引用以其整体被合并在本文中。
实施例涉及一种基于图像的方法,以通过使用多候选者选择来进一步提高管圆检测的鲁棒性并处理更具挑战性的情况。这对于临床实验室自动化系统中的样本管分类和表征是至关重要的。
实施例包括用于在自动化视觉系统中确定在管托盘内支持的管的类别和特性的系统和方法,所述自动化视觉系统被配置成获取管托盘和管托盘内支持的管的图像。一些实施例包括获取在自动化系统中被手动放置和对准的托盘的图像。例如,自动化系统可以提供具有导轨的平坦表面并且允许操作者将托盘上的锁结装置(keying feature)手动对准到轨道并且将托盘推动到工作区域。
一些实施例可以包括自动化抽屉视觉系统(DVS),该自动化抽屉视觉系统(DVS)包括用于装载和卸载管托盘的抽屉,在所述管托盘上包含样本管。当抽屉在打开位置和闭合位置(例如工作区域位置)之间移动时,可以经由安装在抽屉的入口区域上方的一个或多个相机来获取托盘的图像。
根据实施例,分析获取的图像以确定管类别和管特性。实施例使用具有多候选者选择的基于图像的管顶圆检测来定位输入图像中的管顶圆区域。管顶圆区域可被用于确定在其外观中具有变化的管的类别和特性。
如PCT申请号PCT/US14/27217中所描述的,DVS的管托盘被配置成适合于在抽屉内并且在以行和列的阵列布置的槽中支持多个管。图像被用于表征托盘以及托盘上支持的管。特别地,根据实施例,通过分析图像,可以确定管的各种特征,诸如例如包含管的托盘槽;坐标系中的管的中心点、管的直径和高度;在抽屉内的托盘的取向;管是否是普通管(plain tube),管覆盖有盖或管顶样本杯;管盖的(一个或多个)颜色、托盘表面上的条形码;以及支持托盘的抽屉正在以其插入到或移除到工作环境中的速度。在没有昂贵的装备的情况下,并且在没有处置或触摸管的情况下,实施例快速地确定该信息和其他信息的片段。这样的知识允许对管的高效且简化的处理,以及允许降低的设置和维护成本。
根据本文中提供的实施例,多候选者选择通过利用相同管的多个视图来提高管顶圆检测的鲁棒性来增强管圆检测的鲁棒性。借助从相同管的不同视点下的图像中提取的多个候选者,多候选者选择算法在候选者中选择最优组合,并提供更精确的管特性的测量。该信息在其中样本处置器正在处理管并将管移动到分析仪以用于测试和分析的IVD环境中是有价值的。
图1A是根据实施例的示例性抽屉视觉系统100的表示,其中管托盘120和包含在其上的管130通过获得和分析其图像来表征。一个或多个抽屉110可在打开和闭合位置之间移动并且被提供在用于样本处置器的工作包封(envelope)105中。一个或多个管托盘120可以被装载到抽屉110中或者可以是抽屉110的永久装置。每个管托盘120具有其中可以支持管130的槽(如在示例性托盘121中所描绘)的行和列的阵列。
根据实施例,拍摄管托盘120的图像。分析图像以确定管托盘120和管130的特性。根据本文中所提供的实施例,使用移动托盘/固定相机方法来捕获图像以用于其分析。在通过例如手动或自动地推动到抽屉110中来将管托盘120移动到工作包封105中时,图像捕获系统140被用于拍摄管托盘120和包含在其上的管130的图像。
图像捕获系统140可以包括位于到工作包封105的入口处或靠近该入口的一个或多个相机(例如图2中所示的左相机242和右相机244)。在一些实施例中,一个或多个相机242、244可以位于管托盘120的表面上方。例如,相机242、244可以被放置在表面上方三至六英寸以捕获管托盘120的高分辨率图像。取决于相机242、244的特征和期望的视角和图像质量,还可以使用其他距离和/或定位。可选地,图像捕获系统140可以包括一个或多个照明源,诸如LED闪光灯。
图1B示出了可以与本文中所公开的实施例一起使用的示例性抽屉视觉系统的示例性测试装置。如图1B中所示,图像捕获系统140位于支持管130并且布置在抽屉110上的管托盘120的表面上方。在图1B处的实施例中所示的抽屉110被配置成支持两个55槽托盘或六个15槽托盘。然而,实施例可以包括被配置成支持具有不同数量的槽和具有不同大小的托盘的托盘。
图2示出了根据实施例的用于通过图像分析来表征在抽屉110中支持的管托盘120和包含在其上的管130的示例性系统200的框图表示。根据实施例,图像捕获系统140包括两个相机,左相机242和右相机244。取决于抽屉110和管托盘120的大小以及期望的图像质量和图像视角,可以包括附加的或更少的相机。光源246和图像捕获控制器248也是图像捕获系统140的部分。
编码器210(诸如正交编码器)可以被用于确定何时管托盘120的行被移动到一个或多个相机242、244下方的居中或基本上居中的位置。编码器210在检测到与管托盘120的新行移动到一个或多个相机242、244下方的居中或基本上居中的位置中相对应的管托盘120的移动时向图像捕获控制器248传输信号(即脉冲)。该信号用作用于图像捕获控制器248指示相机242、244在接收到该信号时拍摄图像的指令。
提供控制器220以用于管理对由相机242、244拍摄的图像的图像分析。在检测到抽屉110的闭合时,图像捕获控制器248向控制器220提供图像以用于下载和处理。根据实施例,控制器220是样本处置器的部分,所述样本处置器在IVD环境中被用于处置在存储位置(诸如工作包封105)之间的管托盘120和管130并将其移动到分析仪。由控制器220执行的图像分析用于指示关于管托盘120和管130的各种所确定的特性的样本处置器,从而允许样本处置器相应地处置和处理管托盘120和管130。
一个或多个存储器设备240与控制器220相关联。一个或多个存储器设备240可以在控制器220的内部或外部。
一个或多个抽屉传感器230可以被连接到控制器220以指示何时抽屉110完全闭合和/或何时抽屉110完全打开。根据实施例,完全闭合的抽屉110用作开始对所捕获和存储的图像的图像处理的指示。当抽屉110完全闭合时,抽屉传感器230向控制器220发送信号。
样本管130的相机的视图可能由于视角而被托盘120中的其他样本管130部分地遮挡或者自身遮挡。因为管130的顶圆比管130的其他部分更少可能地被遮挡,所以实施例基于管130的顶圆来确定管130的类别和/或特性。
如在PCT申请号PCT/US16/18109中所描述的那样,比如Canny边缘的边缘检测为基于图像的管圆检测和定位算法提供了基本线索。然而,当图像中有来自各种对象的许多圆形边缘时,管顶圆的边缘可能没有最强的响应。因此,限制管圆检测算法以输出单个检测结果可以消除选择正确圆的机会。根据本文中的实施例,多候选者选择的思想是在图像中针对每个样本管130保留多个候选者,并推迟选择过程,直到已经从多个图像中提取候选者为止。如果相同管130从不同的视点在例如两个或三个图像中是可见的,则然后可以通过从所有可能的组合中寻找最一致的对或三元组来从图像中的候选者中选择最优圆。以该方式,只要它在指定的一致性度量中胜过其他候选者,具有较弱边缘响应的管顶圆就更有可能选择。
根据实施例,基于以下属性中的一个或多个来计算一致性分数:圆直径(以像素为单位)、圆中心位置(以像素为单位)、圆高度(以公制单位)和圆中心偏移(以公制单位)。在实施例中,圆直径和圆中心位置可以直接从每个单个候选者的图像块中获得。在实施例中,可以根据来自两个图像的一对候选者来计算圆高度和圆中心偏移。根据实施例,可以根据来自两个图像的一对圆检测输出来计算高度、直径和管(或圆)中心偏移估计,如PCT申请号PCT/US16/18109中描述的那样。
根据实施例,其中通过三个视点/图像来观察每个样本管130,如果在每个图像中针对管130保留了n个候选者,则针对每个样本管130有n 3 个三元组。在这些n 3 个三元组中,可能只有3n个块和3n 2 个非重复对。在实施例中,针对每个块和每对的属性被计算并保存在查找表中。在每个三元组中,从三元组中涉及的三个块和对中累积一致性分数,并且选择具有最高一致性分数的一个一致性分数。
图3A-3H是根据本文中提供的实施例的样本管130的示例性图像,其描绘了具有多个候选者的管圆检测的八个样本结果310-380。每个样本集合310-380包括以三乘四网格布置的12个图像块。网格的每行包括来自样本管130的每个图像的前三个候选者,以及由矩形包围的候选者(例如,图3A中所示的集合310中的312、314和316;图3B中所示的集合320中的322、324、326等等)指示通过算法从三个候选者中选择的候选者。选择的候选者(例如,集合310中的312、314和316;集合320中的322、324和326)被提供在网格的最后列上。
观察到的是,虽然在集合310-380的网格的第一列上列出的第一个候选者似乎具有最强的边缘响应,但是该候选者并不总是最好选择,因为强边缘响应可能来自其他对象。从每个样本集合310-380的最后列,图示了所选择的候选者形成一致的三元组,其更有可能是真实的管顶圆。
定量地,如图4A和4B中所示(图4A检测具有单个候选者(410)和图4B检测具有多个候选者(420)),比较和说明基于具有和不具有多个候选者的管圆检测的管几何估计。从以毫米为单位的管高和直径误差的联合分布清楚地示出了具有多个候选者的联合分布胜过具有单个候选者的联合分布。
根据实施例,多候选者选择算法适用于如本文中描述的管顶圆检测和定位算法,并且也适用于可以针对每个观察图像中的相同管提供多个候选者的通用圆检测算法。
跨多个视图的候选者之间的一致性也可以通过其他图像特征来测量,所述图像特征例如但不限于跨图像块的形状、颜色和纹理。
由于所提出的抽屉视觉系统针对每个样本管130提供至少三个视图,因此使用所提出的算法来改进管顶圆检测和定位是有益的。
图5是图示根据本文中描述的实施例的使用具有多候选者选择的基于图像的管顶圆检测的方法的流程图500。
在510处,从至少一个相机接收托盘的图像的系列。在实施例中,托盘包括多个管槽,每个管槽被配置成接收样本管130,托盘的图像的系列经由至少一个相机来获取。
在520处,使用处理器针对给定的样本管提取图像的系列的每个图像中的多个候选者。
在530处,处理器计算多个一致性分数,所述多个一致性分数中的每个在跨来自多个候选者的可能组合的图像的系列中的图像的候选者之间。
在540处,处理器累积多个一致性分数。
在550处,处理器被用于基于跨图像的系列中的图像的候选者之间的最高一致性分数,针对图像的系列中的每个图像的给定样本管选择真实管顶圆。
图6图示了其内可以实现本发明的实施例的计算环境600的示例。计算环境600可以被实现为本文中所描述的任何组件的部分。计算环境600可以包括计算机系统610,其是其上可以实现本发明的实施例的计算系统的一个示例。如图6中所示,计算机系统610可以包括诸如总线621之类的通信机构或用于在计算机系统610内传送信息的其他通信机构。系统610进一步包括与总线621耦合以用于处理信息的一个或多个处理器620。处理器620可以包括一个或多个CPU、GPU或本领域中已知的任何其他处理器。
计算机系统610还包括耦合到总线621以用于存储要由处理器620执行的信息和指令的系统存储器630。系统存储器630可以包括以易失性和/或非易失性存储器的形式的计算机可读存储介质,诸如只读存储器(ROM)631和/或随机存取存储器(RAM)632。系统存储器RAM 632可以包括(一个或多个)其他动态存储设备(例如动态RAM、静态RAM和同步DRAM)。系统存储器ROM 631可以包括(一个或多个)其他静态存储设备(例如可编程ROM、可擦除PROM以及电可擦除PROM)。此外,系统存储器630可以被用于在由处理器620执行指令期间存储临时变量或其他中间信息。包含帮助在计算机系统610内的元件之间传递信息(诸如在启动期间)的基本例程的基本输入/输出系统(BIOS)633可以被存储在ROM 631中。RAM 632可以包含可立即访问和/或目前通过处理器620对其操作的数据和/或程序模块。系统存储器630可以附加地包括例如操作系统634、应用程序635、其他程序模块636和程序数据637。
计算机系统610还包括耦合到总线621以控制用于存储信息和指令的一个或多个存储设备(诸如磁性硬盘641和可移动介质驱动器642(例如软盘驱动器、压缩盘驱动器、带驱动器和/或固态驱动器))的盘控制器640。可以使用适当的设备接口(例如小型计算机系统接口(SCSI)、集成设备电子器件(IDE)、通用串行总线(USB)或火线(FireWire))将存储设备添加到计算机系统610。
计算机系统610还可以包括耦合到总线621以控制用于向计算机用户显示信息的显示器或监视器666(诸如阴极射线管(CRT)或液晶显示器(LCD))的显示控制器665。计算机系统610包括用于与计算机用户交互并且向处理器620提供信息的用户输入接口660和一个或多个输入设备,诸如键盘662和指向(pointing)设备661。指向设备661例如可以是用于向处理器620传送方向信息和命令选择以及用于控制显示器666上的光标移动的鼠标、跟踪球或指向棒。显示器666可以提供触摸屏接口,其允许输入以补充或替换通过指向设备661的方向信息和命令选择的传送。
计算机系统610可以响应于处理器620执行包含在诸如系统存储器630之类的存储器中的一个或多个指令的一个或多个序列而执行本发明的实施例的处理步骤中的部分或全部。这样的指令可以从诸如硬盘641或可移动介质驱动器642之类的另一个计算机可读介质被读取到系统存储器630中。硬盘641可以包含由本发明的实施例使用的一个或多个数据存储和数据文件。数据存储内容和数据文件可以被加密以改进安全性。处理器620还可以在多处理布置中采用以执行包含在系统存储器630中的指令的一个或多个序列。在替代实施例中,可以代替软件指令或与软件指令组合地使用硬连线电路。因此,实施例不限于硬件电路和软件的任何特定组合。
如以上所陈述的那样,计算机系统610可以包括用于保持根据本发明的实施例编程的指令和用于包含本文中所描述的数据结构、表、记录或其他数据的至少一个计算机可读介质或存储器。如本文中所使用的术语“计算机可读介质”是指参与向处理器620提供指令以供执行的任何非暂时性、有形介质。计算机可读介质可以采取许多形式,包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘和磁光盘,诸如硬盘641或可移动介质驱动器642。易失性介质的非限制性示例包括动态存储器,诸如系统存储器630。传输介质的非限制性示例包括同轴线缆、铜线和光纤,包括构成总线621的线。传输介质还可以采取声波或光波的形式,诸如在无线电波和红外数据通信期间生成的那些。
计算环境600可以进一步包括在使用到诸如远程计算机680之类的一个或多个远程计算机的逻辑连接的联网环境中操作的计算机系统610。远程计算机680可以是个人计算机(膝上型或台式)、移动设备、服务器、路由器、网络PC、对等设备或其他公共网络节点,并且通常包括以上相对于计算机610描述的元件中的许多或全部。当在联网环境中使用时,计算机610可以包括用于建立通过诸如因特网之类的网络671的通信的调制解调器672。调制解调器672可以经由网络接口670或经由另一适当机构被连接到系统总线621。
网络671可以是本领域中一般已知的任何网络或系统,包括因特网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或连接的系列、蜂窝电话网络或能够促进计算机系统610与其他计算机(例如远程计算系统680)之间的通信的任何其他网络或介质。网络671可以是有线的、无线的或其组合。有线连接可以使用以太网、通用串行总线(USB)、RJ-11或本领域中一般已知的任何其他有线连接来实现。无线连接可以使用WiFi、WiMAX和蓝牙、红外、蜂窝网络、卫星或本领域中一般已知的任何其他无线连接方法来实现。此外,若干网络可以单独工作或与彼此通信以促进网络671中的通信。
如本文中所使用的处理器是用于执行存储在计算机可读介质上的机器可读指令、用于执行任务的设备,并且可以包括硬件和固件中的任何一个或组合。处理器还可以包括存储可执行以用于执行任务的机器可读指令的存储器。处理器通过操纵、分析、修改、转换或传输信息以供可执行过程或信息设备使用和/或通过将信息路由至输出设备来作用于信息上。处理器可以使用或包括例如计算机、控制器或微处理器的能力,并且使用可执行指令来调节以执行没有由通用计算机执行的专用功能。处理器可以与任何其他处理器耦合(电地和/或作为包括可执行组件),使得能够实现其间的交互和/或通信。计算机程序指令可以被加载到计算机(包括而不限于通用计算机或专用计算机)或产生机器的其他可编程处理装置上,使得在计算机或其他可编程处理装置上执行的计算机程序指令创建用于实现在(一个或多个)流程图的(一个或多个)块中指定的功能的装置。用户接口处理器或生成器是包括电子电路或软件或二者的组合以用于生成显示元件或其部分的已知元件。用户接口(UI)包括使得能够实现与处理器或其他设备的用户交互的一个或多个显示元件。
如本文中所使用的那样,可执行应用包括用于调节处理器以例如响应于用户命令或输入而实现诸如操作系统、上下文数据获取系统或其他信息处理系统的那些之类的预定功能的代码或机器可读指令。可执行过程是代码或机器可读指令的段、子例程或用于执行一个或多个特定过程的代码的其他不同的区段或可执行应用的部分。这些过程可以包括接收输入数据和/或参数,对所接收到的输入数据执行操作和/或响应于所接收到的输入参数而执行功能,以及提供所得到的输出数据和/或参数。如本文中所使用的那样,图形用户接口(GUI)包括由显示处理器生成并且使得能够实现与处理器或其他设备的用户交互以及相关联的数据获取和处理功能的一个或多个显示元件。
UI还包括可执行过程或可执行应用。可执行过程或可执行应用调节显示处理器以生成表示UI显示图像的信号。这些信号被供应到显示设备,所述显示设备显示元件以供用户观看。可执行过程或可执行应用进一步从用户输入设备(诸如键盘、鼠标、光笔、触摸屏或允许用户向处理器提供数据的任何其他装置)接收信号。在可执行过程或可执行应用的控制下,处理器响应于从输入设备接收的信号而操纵UI显示元件。以该方式,用户使用输入设备与显示元件交互,从而使得能够实现与处理器或其他设备的用户交互。本文中的功能和过程步骤可以被自动执行或完全或部分地响应于用户命令而执行。自动执行的活动(包括步骤)响应于可执行指令或设备操作而执行,而无需用户直接发起活动。
如本文中所使用的,工作流处理器处理数据以确定要添加到任务列表或从任务列表移除的任务,或者修改合并在任务列表上的任务或者修改用于合并在任务列表上的任务,如例如在(一个或多个)程序中所指定的那样。任务列表是用于由工作者、设备的用户或设备或二者的组合执行的任务的列表。工作流处理器可以或可以不采用工作流引擎。如本文中所使用的,工作流引擎是响应于预定过程定义而执行的处理器,所述预定过程定义响应于事件和事件相关联的数据而实现过程。工作流引擎响应于事件相关联的数据而顺序地和/或同时地实现过程以确定任务以用于由设备和或工作者执行和用于更新设备和工作者的任务列表以包括所确定的任务。过程定义可由用户定义并且包括过程步骤的序列,其包括用于由例如设备和或工作者执行的开始、等待、决定和任务分配步骤中的一个或多个。事件是影响使用过程定义实现的过程的操作的发生。工作流引擎包括允许用户定义要遵循的过程的过程定义功能并且可以包括事件监视器。工作流引擎中的处理器根据过程定义而跟踪哪些过程正在运行,针对哪些患者、医师以及接下来需要执行什么步骤,并且可以包括用于通知医师要执行的任务的过程。
本文中呈现的图的系统和过程不是排他性的。依照本发明的原理可以得到其他系统、过程和菜单以实现相同的目的。尽管已经参考特定实施例描述了本发明,但是要理解的是,本文中所示出和描述的实施例和变型仅用于说明目的。在不脱离本发明的范围的情况下,可以由本领域技术人员实现对当前设计的修改。另外,在替代实施例中,过程和应用可以位于链接图6的单元的网络上的一个或多个(例如分布式)处理设备上。图中提供的功能和步骤中的任何功能和步骤可以以硬件、软件或二者的组合来实现。本文中没有权利要求要素要在35 U.S.C 112(f)的规定下解释,除非该要素使用短语“用于……的装置”明确记载。
尽管已经参考示例性实施例描述了本发明,但是本发明不限于此。本领域技术人员将领会到,可以对本发明的优选实施例做出许多改变和修改并且这样的改变和修改可以在不脱离本发明的真实精神的情况下做出。因此,旨在所附权利要求被解释成覆盖如落在本发明的真实精神和范围内的所有这样的等同变型。
Claims (10)
1.一种使用基于图像的管顶圆检测的方法,所述方法包括:
从至少一个相机接收托盘的图像系列,所述托盘包括多个管槽,每个管槽被配置成接收样本管,托盘的图像系列经由所述至少一个相机来获取;
使用处理器为给定样本管提取图像系列中每个图像的多个候选者;
使用处理器计算多个一致性分数,所述多个一致性分数中的每个是跨来自多个候选者的可能组合的图像系列中图像的候选者之间的一致性分数;
使用处理器来累积多个一致性分数;以及
使用处理器基于在跨图像系列中图像的候选者之间的最高一致性分数,针对图像系列中的每个图像的给定样本管选择真实管顶圆,其中,计算多个一致性分数包括:
使用处理器确定多个候选者的可能组合;
使用处理器计算可能组合中的每个的属性,所述属性基于多个候选者中的相应候选者的特性;以及
使用处理器基于计算的属性来计算多个一致性分数,
其中,所述属性包括圆直径、圆中心位置、圆高度和圆中心偏移中的一个或多个,或包括跨图像块中的一个或多个形状和纹理。
2.根据权利要求1所述的方法,进一步包括将所计算的属性保存在查找表中。
3.根据权利要求1所述的方法,其中,托盘被配置成适合于可在打开位置和闭合位置之间移动的抽屉的一部分内,并且当抽屉在打开和闭合位置之间移动时,经由所述至少一个相机获取托盘的图像。
4.根据权利要求1所述的方法,其中,图像系列中给定的样本管包括多个不同视点中的给定样本管。
5.根据权利要求1所述的方法,进一步包括针对给定样本管来分析真实管顶圆,以确定管类别和管特性。
6.一种用于在体外诊断环境中使用的视觉系统,包括:
托盘,其包括以行和列的矩阵布置的多个管槽,每个管槽被配置成接收样本管;
表面,其被配置成接收托盘;
至少一个相机,其被配置成捕获托盘的图像系列;以及
处理器,其被配置成:
针对给定的样本管提取图像系列的每个图像中的多个候选者;
计算多个一致性分数,所述多个一致性分数中的每个是跨来自多个候选者的可能组合的图像系列中的图像的候选者之间的一致性分数;
累积多个一致性分数;以及
基于在跨图像系列中的图像的候选者之间的最高一致性分数,针对图像系列中的每个图像的给定样本管选择真实管顶圆,其中,由处理器计算多个一致性分数包括:
确定多个候选者的可能组合;
计算可能组合中的每个的属性,所述属性基于多个候选者中的相应的一个候选者的特性;以及
基于计算的属性来计算多个一致性分数,
其中,所述属性包括圆直径、圆中心位置、圆高度和圆中心偏移中的一个或多个,或包括跨图像块中的一个或多个形状和纹理。
7.根据权利要求6所述的系统,其中,所述处理器被进一步配置成将所计算的属性保存在查找表中。
8.根据权利要求6所述的系统,其中,所述表面包括可在打开位置和闭合位置之间移动的抽屉的一部分,并且当抽屉在打开位置和闭合位置之间移动时,经由所述至少一个相机获取托盘的图像。
9.根据权利要求6所述的系统,其中,图像系列中的给定样本管包括多个不同视点中的给定样本管。
10.根据权利要求6所述的系统,其中,处理器被进一步配置成针对给定样本管来分析真实管顶圆,以确定管类别和管特性。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762531108P | 2017-07-11 | 2017-07-11 | |
US62/531108 | 2017-07-11 | ||
PCT/US2018/039283 WO2019013961A1 (en) | 2017-07-11 | 2018-06-25 | DETECTION OF TUBE TOP CIRCLES BASED ON IMAGES WITH MULTIPLE CANDIDATES |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110832502A CN110832502A (zh) | 2020-02-21 |
CN110832502B true CN110832502B (zh) | 2023-09-05 |
Family
ID=65001796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880046201.1A Active CN110832502B (zh) | 2017-07-11 | 2018-06-25 | 具有多个候选者的基于图像的管顶圆检测 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200232908A1 (zh) |
EP (1) | EP3652674B1 (zh) |
JP (1) | JP7087058B2 (zh) |
CN (1) | CN110832502B (zh) |
WO (1) | WO2019013961A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023066532A1 (en) * | 2021-10-18 | 2023-04-27 | H&T Marsberg Gmbh & Co. Kg | Inspection unit for cans and method for determining the quality of cans |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104364799A (zh) * | 2012-06-08 | 2015-02-18 | 高通股份有限公司 | 通过借由用户选择来减小相机图像的区域的快速特征检测 |
WO2016133924A1 (en) * | 2015-02-18 | 2016-08-25 | Siemens Healthcare Diagnostics Inc. | Image-based tube slot circle detection for a vision system |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3797686B2 (ja) * | 1995-09-07 | 2006-07-19 | 株式会社東芝 | 形状認識装置及びその方法 |
US7263220B2 (en) | 2003-02-28 | 2007-08-28 | Eastman Kodak Company | Method for detecting color objects in digital images |
US7988933B2 (en) * | 2006-09-01 | 2011-08-02 | Siemens Healthcare Diagnostics Inc. | Identification system for a clinical sample container |
JP2011100223A (ja) | 2009-11-04 | 2011-05-19 | Panasonic Electric Works Co Ltd | 画像処理装置および画像処理方法 |
DE112012001079T5 (de) * | 2011-03-03 | 2014-07-10 | Hitachi High-Technologies Corp. | Probendatenverarbeitungseinrichtung für Analysegeräte, Autosampler, Flüssigkeitschromatographen, Probendatenverarbeitungsverfahren und Analyseverfahren |
EP2686830B1 (en) * | 2011-03-15 | 2015-01-21 | Siemens Healthcare Diagnostics Inc. | Multi-view stereo systems and methods for tube inventory in healthcare diagnostics |
WO2012129105A1 (en) * | 2011-03-18 | 2012-09-27 | Siemens Healthcare Diagnostics Inc. | Methods and systems for calibration of a positional orientation between a sample container and nozzle tip |
CN107560907B (zh) * | 2011-07-22 | 2021-01-29 | 罗氏血液诊断股份有限公司 | 流体样品制备系统及方法 |
WO2013036941A2 (en) * | 2011-09-09 | 2013-03-14 | Gen-Probe Incorporated | Automated sample handling instrumentation, systems, processes, and methods |
BR112014011048A2 (pt) * | 2011-11-07 | 2017-05-02 | Beckman Coulter Inc | braço robótico |
BR112014011043A2 (pt) * | 2011-11-07 | 2017-06-13 | Beckman Coulter Inc | detecção de recipiente de espécime |
CA2904107C (en) * | 2013-03-14 | 2021-09-07 | Siemens Healthcare Diagnostics Inc. | Tube tray vision system |
CN107003124B (zh) * | 2014-06-10 | 2020-07-07 | 西门子医疗保健诊断公司 | 抽屉视觉系统 |
CN107110879B (zh) * | 2015-01-28 | 2019-04-05 | 株式会社日立高新技术 | 液面检查装置、自动分析装置以及处理装置 |
US9940731B2 (en) | 2015-09-04 | 2018-04-10 | International Business Machines Corporation | Unsupervised asymmetry detection |
JP6517652B2 (ja) | 2015-10-01 | 2019-05-22 | 日本電信電話株式会社 | 物体顕著性マップ算出装置、方法、及びプログラム |
EP3430410B1 (en) * | 2016-03-15 | 2022-04-27 | Abbott Molecular Inc. | Method for automated analysis |
-
2018
- 2018-06-25 JP JP2020500875A patent/JP7087058B2/ja active Active
- 2018-06-25 EP EP18832802.5A patent/EP3652674B1/en active Active
- 2018-06-25 WO PCT/US2018/039283 patent/WO2019013961A1/en unknown
- 2018-06-25 CN CN201880046201.1A patent/CN110832502B/zh active Active
- 2018-06-25 US US16/630,286 patent/US20200232908A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104364799A (zh) * | 2012-06-08 | 2015-02-18 | 高通股份有限公司 | 通过借由用户选择来减小相机图像的区域的快速特征检测 |
WO2016133924A1 (en) * | 2015-02-18 | 2016-08-25 | Siemens Healthcare Diagnostics Inc. | Image-based tube slot circle detection for a vision system |
Also Published As
Publication number | Publication date |
---|---|
WO2019013961A1 (en) | 2019-01-17 |
EP3652674A4 (en) | 2020-07-08 |
EP3652674B1 (en) | 2024-02-28 |
US20200232908A1 (en) | 2020-07-23 |
JP2020526759A (ja) | 2020-08-31 |
EP3652674A1 (en) | 2020-05-20 |
JP7087058B2 (ja) | 2022-06-20 |
CN110832502A (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10290090B2 (en) | Image-based tube slot circle detection for a vision system | |
JP6960980B2 (ja) | 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定 | |
CN107615336B (zh) | 视觉系统中托盘槽类型和试管类型的基于位置的检测 | |
CN103885168B (zh) | 用于显微镜装置的自校准的方法 | |
US20170061614A1 (en) | Image measuring apparatus and non-temporary recording medium on which control program of same apparatus is recorded | |
CN110832502B (zh) | 具有多个候选者的基于图像的管顶圆检测 | |
CN106525620A (zh) | 硬度测试设备和硬度测试方法 | |
US20180025211A1 (en) | Cell tracking correction method, cell tracking correction device, and storage medium which stores non-transitory computer-readable cell tracking correction program | |
RU2019105286A (ru) | Сканирование препаратов с оптимизированным рабочим процессом | |
CN102421367A (zh) | 医用图像显示装置及医用图像显示方法 | |
CN114513601A (zh) | 补偿镜头切换误差的方法和图像分析装置 | |
CN113758856A (zh) | 重定位涂片上的细胞的方法及细胞图像分析装置 | |
CN114125261A (zh) | 可移动装置运动校准的方法、图像分析装置和分析系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40015912 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |