CN107427835A - 来自用于实验室自动化的俯视图样品管图像的条码标签状况的分类 - Google Patents

来自用于实验室自动化的俯视图样品管图像的条码标签状况的分类 Download PDF

Info

Publication number
CN107427835A
CN107427835A CN201680010510.4A CN201680010510A CN107427835A CN 107427835 A CN107427835 A CN 107427835A CN 201680010510 A CN201680010510 A CN 201680010510A CN 107427835 A CN107427835 A CN 107427835A
Authority
CN
China
Prior art keywords
bar
code label
roi
sample cell
top view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680010510.4A
Other languages
English (en)
Other versions
CN107427835B (zh
Inventor
K.苏姆罗
张耀仁
S.克卢克纳
W.吴
B.波拉克
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of CN107427835A publication Critical patent/CN107427835A/zh
Application granted granted Critical
Publication of CN107427835B publication Critical patent/CN107427835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/54—Labware with identification means
    • B01L3/545—Labware with identification means for laboratory containers
    • B01L3/5453—Labware with identification means for laboratory containers for test tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L9/00—Supporting devices; Holding devices
    • B01L9/06—Test-tube stands; Test-tube holders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00594—Quality control, including calibration or testing of components of the analyser
    • G01N35/00613—Quality control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G01N35/00732—Identification of carriers, materials or components in automatic analysers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2200/00—Solutions for specific problems relating to chemical or physical laboratory apparatus
    • B01L2200/14—Process control and prevention of errors
    • B01L2200/143—Quality control, feedback systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00—Additional constructional details
    • B01L2300/02—Identification, exchange or storage of information
    • B01L2300/021—Identification, e.g. bar codes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00—Additional constructional details
    • B01L2300/08—Geometry, shape and general structure
    • B01L2300/0809—Geometry, shape and general structure rectangular shaped
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G01N35/00732—Identification of carriers, materials or components in automatic analysers
    • G01N2035/00742—Type of codes
    • G01N2035/00752—Type of codes bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Clinical Laboratory Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

实施例针对将来自俯视图图像的样品管上的条码标签状况进行分类以使高级诊所实验室自动化系统中的样品管操纵流线化。条码标签状况的分类导致有问题条码标签的自动检测，从而允许用户采取必要的措施来固定有问题条码标签。视觉系统被利用来执行来自俯视图图像的样品管上的条码标签状况的自动分类。来自俯视图图像的样品管上的条码标签状况的分类基于以下因素：（1）基于样品管检测的感兴趣的区（ROI）提取和修正方法；（2）基于从经过修正的ROI均匀采样的整体特征的条码标签状况分类方法；以及（3）基于以像素为基础的特征提取的有问题条码标签区域定位方法。

Description

来自用于实验室自动化的俯视图样品管图像的条码标签状况 的分类
对相关申请的交叉引用
本申请要求对2015年2月17日提交的题为“CLASSIFICATION OF BARCODE TAGCONDITIONS FROM TOP VIEW SAMPLE TUBE IMAGES FOR LABORATORY AUTOMATION”的美国临时申请序列号62/117,280的优先权保护，通过引用将其公开内容以其整体合并于此。
本申请涉及在美国专利申请公开号 US 2016/0025757和国际公开号 WO 2015/191702中描述的概念的一些，通过引用将它们以其整体合并于此。
技术领域
本发明总体上涉及条码标签的状况的检测，并且更特别地涉及利用俯视图样品管图像来对样品管上的条码标签的状况分类。
背景技术
条码标签被频繁用在诊所实验室自动化系统中的样品管上以唯一地识别并跟踪样品管，并且常常是将患者与特定样品管内部的样品相关联的唯一手段。经过正常的每天使用，条码标签的状况可能恶化，包括撕开、剥落、脱色以及其他变形。这样的恶化阻碍实验室自动化系统对样品管处理的流线化。
因此，存在对将样品管上的条码标签状况进行分类以使高级诊所实验室自动化系统中的样品管操纵流线化的需要。也存在对使这样的分类成为自动化、有效且不受觉察的需要。
发明内容
实施例针对将来自俯视图图像的样品管上的条码标签状况进行分类以使高级诊所实验室自动化系统中的样品管操纵流线化。
附图说明
当结合附图进行阅读时从下面的详细描述中更好地理解本发明的前述和其他方面。为了图示本发明的目的，在绘图中示出目前优选的实施例，然而，应该理解的是，本发明不限于所公开的具体仪器。包括在绘图中的是下面的图：
图1是根据一个实施例的用于对来自俯视图图像的样品管上的条码标签状况进行分类的示例性抽屉视觉系统的表示，在该示例性抽屉视觉系统中样品管被包含在其上；
图2图示根据一个实施例的对来自俯视图图像的样品管上的条码标签状况进行分类的方法的流程图；
图3图示根据一个实施例的关于从俯视图图像提取的样品管的特征的感兴趣的区（ROI）提取、修正和视觉化的样品的结果；
图4图示根据一个实施例的关于用于对来自俯视图图像的样品管上的条码标签状况进行分类的三个主要类别的分类结果；
图5图示根据一个实施例的针对用于对来自俯视图图像的样品管上的条码标签状况进行分类的十个子类别而获得的分类结果；
图6是图示根据一个实施例的用于对来自俯视图图像的样品管上的条码标签状况进行分类的分割过程的流程图；以及
图7示出根据一个实施例的关于来自俯视图图像的样品管的有问题区域定位的样品结果。
具体实施方式
实施例针对将来自俯视图图像的样品管上的条码标签状况进行分类以使高级诊所实验室自动化系统中的样品管操纵流线化。根据本文中提供的实施例的条码标签状况的分类有利地导致有问题条码标签的自动检测，从而允许系统或用户采取必要的措施来固定有问题条码标签。例如，具有有问题条码标签的被识别的样品管可被分派到与正常管操纵程序分开的单独工作流程以修正有问题条码标签。
根据一个实施例，视觉系统被利用来执行来自俯视图图像的样品管上的条码标签状况的自动分类。示例性视觉系统可包括用于装载和卸载将样品管包含在其上的管托盘的抽屉。根据一个实施例，每个管托盘都包括多个管槽，每个管槽都被配置成托住样品管。该示例性视觉系统进一步包括安装在抽屉的入口区域上方的一个或多个相机，从而允许随着抽屉被插入获取样品管的图像。根据一个实施例，每个样品管以自俯视图图像变化的视角被捕获在多个图像中。
图1是根据实施例的示例性抽屉视觉系统100的表示，在该示例性抽屉视觉系统100中管托盘120和被包含在其上的样品管130通过获得并分析其图像来表征。一个或多个抽屉110可在打开和闭合位置之间移动并且被提供在用于样品处理机的工作包封105中。一个或多个管托盘120可被装载到抽屉110中或者可以是抽屉110的永久特征。每个管托盘120都具有将管130托住在其中的（如在示例性托盘121中描绘的）槽的行和列阵列。
根据实施例，拍摄管托盘120的图像；该图像被分析以对样品管130的条码标签状况分类。根据本文中提供的实施例，使用移动托盘/固定相机方法来捕获图像以用于其分析。随着通过例如手动或自动推动到抽屉110中将管托盘120移动到工作包封105中，图像捕获系统140被用来拍摄管托盘120和包含在其上的管130的图像。根据实施例，图像捕获系统140包括位于工作包封105入口处或附近的一个或多个相机。该一个或多个相机可被定位在管托盘120的表面上方。例如，相机可被放置在该表面上方三到六英寸以捕获管托盘120的高分辨率图像。取决于相机的特征以及所期望的视角和图像质量，还可使用其他距离和/或定位。可选地，图像捕获系统140可包括一个或多个光源，诸如LED闪光灯。当已经要求管托盘120被滑入到工作包封105中时，添加固定图像捕获系统140不会对工作包封105添加额外的成本或复杂性。如下面进一步描述的，图像捕获系统140还包括用来执行图像捕获算法和后续分类分析的一个或多个处理器。
根据实施例，每当管托盘120的行移动到中心位置或一个或多个相机下面的基本上中心的位置时，图像捕获系统140捕获图像。可以在该图像中捕获多于一行的管130，其中一个行处于图像捕获系统140下方的中心或基本中心，而从斜角在同一图像中捕获相邻行。通过一次捕获多于一行，从多个视角捕获管130的行，从而为每个管130提供要被捕获在图像中的深度和视角信息。
根据实施例，随着在多个图像中捕获到管130的行，捕获管130的该行的三视觉透视图。例如，当单个行的后续行处于图像捕获系统140下方中心或基本中心时，单个行可能在图像的底部部分出现（从斜的视角来看）；当管130的行自身处于图像捕获系统140下方中心或基本中心时，该单个行然后可能在图像中的基本中心处出现（从基本上自上到下视角来看）；并且当管130的前一行处于图像捕获系统140下方中心或基本中心时，该单个行可能在图像的顶部部分中出现（从另一斜视角来看）。在另一实施例中，当图像捕获系统140处于两个相邻行之间的点上方中心或基本中心时（允许每个行在处于两个斜视角的两个图像中出现），可随着图像被拍摄来捕获管130的行的立体视觉透视图。类似地，行可出现在多于三个图像中，在多于三个视角中，从而允许从多个图像收集关于每个管的更多三维信息。本发明不限于管130的行的三视觉和立体视觉透视图；而是取决于相机的特征和图像捕获系统140关于工作包封105的定位，可获得附加透视图。
关于图1所述的示例性抽屉视觉系统100是在其中样品管可被布置用于如由本文中所述的实施例所提供的来自俯视图图像的样品管上的条码标签状况的分类的一种配置类型。本发明不限于抽屉配置和替代地可利用其他配置。例如，在另一实施例中，可提供具有引导轨的平坦表面。该配置允许操作员或系统将托盘上的键控特征对准到轨并且将托盘推动到工作区域。
根据本文中提供的实施例，来自俯视图图像的样品管上的条码标签状况的分类基于以下因素：（1）基于样品管检测的感兴趣的区（ROI）提取和修正方法；（2）基于从经过修正的ROI均匀采样的整体特征的条码标签状况分类方法；以及（3）基于以像素为基础的特征提取的有问题条码标签区域定位方法。
根据本文中所提供的实施例，条码标签状况被分组成三个主类别：良好、警告和差错。在主要类别的每一个内进一步导出子类别，诸如变形、剥落、折叠、撕开、标记太高等等。
图2图示根据实施例的对样品管上的条码标签状况进行分类的方法的流程图。在210处，获取管托盘的俯视图图像序列。例如，图像的获取可包括在抽屉的插入期间获得的包含图像的输入图像序列。
在220处，执行从每个输入图像的样品管的ROI提取和修正。根据实施例，该修正可包括修正到规范取向。
在230处，从经过修正的ROI提取特征，并且在240处，该特征被输入到分类器以便为样品管确定条码标签状况。条码标签状况的确定基于在250处提供的条码标签状况分类。
根据实施例，如果在260处识别到有问题的条码标签，则应用以像素为基础的分类器来定位有问题区域（270）。如果在260处没有识别到有问题的条码标签，则过程结束。
样品管130的ROI被定义为包含样品管的从其顶部到托盘表面区域的区加上从该管延伸出来的区（其可包含变形或折叠条码标签）。因为样品管可以仅停留在管槽中并且其高度和直径在某一范围内，所以可以利用相对于托盘表面的相机固有校准和外在姿态的知识来确定其貌似合理的二维投影。在貌似合理的区内，基于已知的鲁棒检测方法来检测管顶圆以确定图像中的确切样品管位置。该区在管的两侧处被进一步放大并且然后被修正成规范取向。
根据实施例，在经过修正的ROI内，各种特征被提取以表示样本管外观的特性。例如，已经观察到用来很好地表示样品管外观的潜在梯度和颜色特性的取向梯度直方图（HOG）和希格玛点。为了操纵特征向量的维度和代表性的能量之间的权衡，经过修正的ROI被分成用于特征提取的非重叠单元。这些局部特征被顺序连接起来以表示经过修正的ROI的特征。根据实施例，可以从来自所获取的图像序列的三个连续图像观察每个样品管。每个图像都提供样品管的具体透视图。从这些三个图像提取的特征被进一步连接起来以表示样品管的最终特征向量。
图3示出关于所提取的特征的ROI提取和修正以及视觉化的样品结果。（a）、（d）和（h）图示来自从三个不同视角查看的管托盘的不同列的样品管的貌似合理的区；（b）、（e）和（i）示出样品管的对应经过修正的ROI；以及（c）、（f）和（j）示出对于每个经过修正的ROI的特征视觉化。
基于所提取的特征向量，可以将各种类型的分类器应用于分类任务。根据实施例，广泛使用的支持向量机（SVM）被采用作为分类器，尽管本发明不会如此限于该特定类型的分类器。在一个实施例中，线性SVM被利用（归因于其简单性），并且还可使用更复杂的内核。除了别的之外，诸如随机决策树（例如随机森林）、决策树和概率推进树之类的其他分类器也可以被应用于分类任务。对于条码标签状况的分类，条码标签状况可被分组成三个主要类别：良好、警告和差错；或者它们可被分组成不同形式的变形，诸如剥落、撕开、折叠等等。图4图示关于三个主要类别的分类结果，并且图5图示针对十个子类别而获得的分类结果。
根据实施例，为了获得关于具有有问题子类别的区的详细信息，可训练以像素为基础的分类器来定位和分割具有可见变形的具体区域。图6是图示根据实施例的分割过程的流程图。可以利用能够操纵和区别变形的视觉特性的有效特征类型来执行分类任务。特别地，希格玛点已经示出该任务中的可靠性能，因为各种滤波器响应和颜色可以被紧紧地集成在紧凑特征表示内。连同随机决策树一起，可以通过使用整体结构来快速执行分类。
类似于状况分类（图2）中的预处理步骤，在610处，获取管托盘的图像序列；在620处，从输入图像提取每个样品管的ROI，并且在630处，从所提取的ROI提取特征。在ROI中的每个像素上执行以像素为基础的分类任务以确定该像素有多大可能属于对于该具体状况来说的有问题区域（640）。在条件随机场（CRF）框架等等中进一步改善该可能性，以便将平滑约束合并到输出上以使得附近的支离破碎的响应可以被混合并且嘈杂的异常可以被移除（650）。
图7示出关于有问题区域定位的样品结果。该信息被用来报告有问题的图像区以用于进一步决策作出或视觉化。
控制器被提供用于管理通过相机拍摄的图像的图像分析以便对来自俯视图图像的样品管上的条码标签状况进行分类。根据实施例，该控制器可以是在体外诊断（IVD）环境中使用以便操纵管托盘以及各存储位置（诸如工作包封）之间的管并将其移动到分析器的样品处理机的一部分。一个或多个存储器设备可与控制器相关联。该一个或多个存储器设备可在控制器内部或外部。
尽管已经参考示例性实施例描述了本发明，但是本发明不限于此。本领域技术人员将会认识到可对本发明的优选实施例作出许多改变和修改并且可在不偏离本发明的真实精神的情况下作出这样的改变和修改。因此，意图将所附权利要求解释成覆盖如落入本发明的真实精神和范围内的所有这样的等同变化。

Claims (18)

1.一种对在管托盘中托住的样品管上的条码标签状况进行分类的方法，该方法包括：
通过包括至少一个相机的图像捕获系统来获取管托盘的俯视图图像序列；以及
通过与图像捕获系统通信的一个或多个处理器来分析俯视图图像序列，该分析包括：对于每个样品管：
修正来自俯视图图像序列的每个输入图像的感兴趣的区（ROI）；
从经过修正的ROI提取特征；以及
将从经过修正的ROI提取的特征输入到分类器中以确定条码标签状况，该条码标签状况基于存储在分类器中的条码标签状况类别。
2.根据权利要求1所述的方法，其中由一个或多个处理器进行分析进一步包括：
如果所确定的条码标签状况包括有问题识别，则对有问题区域进行定位并且经由与一个或多个处理器通信的输出设备来发出警告。
3.根据权利要求1所述的方法，其中该管托盘被配置成安装在可在打开和闭合位置之间移动的抽屉的一部分内。
4.根据权利要求3所述的方法，其中该管托盘的俯视图图像序列包括该管托盘在抽屉中的预定位置处的图像。
5.根据权利要求1所述的方法，其中修正感兴趣的区（ROI）包括将ROI修正到规范几何取向。
6.根据权利要求1所述的方法，其中对于特定样品管的ROI包括包含特定样品管的从该特定样品管的顶部部分到管托盘的表面区域的区到从该特定样品管向外延伸的给定区，其中该给定区包括对于特定样品管的条码标签。
7.根据权利要求1所述的方法，其中该条码标签状况被分组成预定数目的主要类别，该主要类别的每一个都包括多个子类别。
8.根据权利要求1所述的方法，其中该分类器包括被训练成定位和分割具有可见变形的ROI的以像素为基础的分类器。
9.根据权利要求8所述的方法，其中在ROI中的每个像素上执行ROI的定位和分割以确定特定像素属于有问题区域的可能性。
10.一种用于在体外诊断环境中使用来对在管托盘中托住的样品管上的条码标签状况进行分类的视觉系统，该视觉系统包括：
表面，其被配置成容纳管托盘，其中该管托盘包括多个槽，每个槽都被配置成容纳样品管；
至少一个相机，其被配置成捕获位于该表面上的管托盘的俯视图图像序列；
与该至少一个相机通信的处理器，该处理器被配置成对于每个样品管执行以下步骤：
修正来自俯视图图像序列的每个输入图像的感兴趣的区（ROI）；
从经过修正的ROI提取特征；以及
将从经过修正的ROI提取的特征输入到分类器中以确定条码标签状况，该条码标签状况基于存储在分类器中的条码标签状况类别。
11.根据权利要求10所述的系统，其中该处理器被进一步配置成：
如果所确定的条码标签状况包括有问题识别，则对有问题区域进行定位并且经由与处理器通信的输出设备来发出警告。
12.根据权利要求10所述的系统，其中该表面包括可在打开和闭合位置之间移动的抽屉。
13.根据权利要求12所述的系统，其中该管托盘的俯视图图像序列包括该托盘在抽屉中的预定位置处的图像。
14.根据权利要求10所述的系统，其中修正感兴趣的区（ROI）包括将ROI修正到规范几何取向。
15.根据权利要求10所述的系统，其中对于特定样品管的ROI包括包含特定样品管的从该特定样品管的顶部部分到管托盘的表面区域的区到从该特定样品管向外延伸的给定区，其中该给定区包括对于特定样品管的条码标签。
16.根据权利要求10所述的系统，其中该条码标签状况被分组成预定数目的主要类别，该主要类别的每一个都包括多个子类别。
17.根据权利要求10所述的系统，其中该分类器包括被训练成定位和分割具有可见变形的ROI的以像素为基础的分类器。
18.根据权利要求17所述的系统，其中在ROI中的每个像素上执行ROI的定位和分割以确定特定像素属于有问题区域的可能性。
CN201680010510.4A 2015-02-17 2016-02-16 来自用于实验室自动化的俯视图样品管图像的条码标签状况的分类 Active CN107427835B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562117280P 2015-02-17 2015-02-17
US62/117280 2015-02-17
PCT/US2016/018096 WO2016133915A1 (en) 2015-02-17 2016-02-16 Classification of barcode tag conditions from top view sample tube images for laboratory automation

Publications (2)

Publication Number Publication Date
CN107427835A true CN107427835A (zh) 2017-12-01
CN107427835B CN107427835B (zh) 2020-06-05

Family

ID=56689314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680010510.4A Active CN107427835B (zh) 2015-02-17 2016-02-16 来自用于实验室自动化的俯视图样品管图像的条码标签状况的分类

Country Status (6)

Country Link
US (1) US10325182B2 (zh)
EP (1) EP3259069B1 (zh)
JP (1) JP6560757B2 (zh)
CN (1) CN107427835B (zh)
CA (1) CA2976774C (zh)
WO (1) WO2016133915A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119799A (zh) * 2019-05-11 2019-08-13 安图实验仪器(郑州)有限公司 样本架采血管条码视觉识别方法
CN110252034A (zh) * 2019-05-10 2019-09-20 太原理工大学 生物3d打印洁净室菌度控制与监测系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6791864B2 (ja) * 2015-02-17 2020-11-25 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 検査室自動化のためのサイドビューサンプルチューブ画像におけるバーコードタグ検出
JP6560757B2 (ja) * 2015-02-17 2019-08-14 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 検査室自動化のためのトップビューサンプルチューブ画像からのバーコードタグ状態の分類
CN110573883B (zh) 2017-04-13 2023-05-30 美国西门子医学诊断股份有限公司 用于在样本表征期间确定标签计数的方法和装置
EP3610240A4 (en) 2017-04-13 2020-04-22 Siemens Healthcare Diagnostics Inc. METHOD AND DEVICE FOR HILN CHARACTERIZATION USING A NEURONAL FOLDING NETWORK
JP7012746B2 (ja) 2017-04-13 2022-01-28 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 検体評価中にラベル補正する方法及び装置
US11796446B2 (en) * 2019-10-01 2023-10-24 National Taiwan University Systems and methods for automated hematological abnormality detection
EP4080515A1 (en) * 2021-04-19 2022-10-26 Roche Diagnostics GmbH A method for classifying an identification tag on a sample tube containing a sample and an automated laboratory system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120080515A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Barcode Recognition Using Data-Driven Classifier
US20130129166A1 (en) * 2011-11-07 2013-05-23 Beckman Coulter, Inc. Specimen container detection
US20140374480A1 (en) * 2012-02-03 2014-12-25 Siemens Healthcare Diagnostics Inc. Barcode reading test tube holder

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5153416A (en) * 1989-09-20 1992-10-06 Neeley William E Procedure and assembly for drawing blood
CN1575475A (zh) 2001-09-12 2005-02-02 长冈实业株式会社 用于差分细胞计数的方法以及用于执行该方法的相关装置和软件
JP4196302B2 (ja) * 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR100988960B1 (ko) * 2008-04-23 2010-10-20 한국도로공사 장애물 승월이 가능한 교량점검용 로봇
US8321055B2 (en) * 2009-11-03 2012-11-27 Jadak, Llc System and method for multiple view machine vision target location
WO2011098518A2 (en) * 2010-02-11 2011-08-18 Ablynx Nv Delivery of immunoglobulin variable domains and constructs thereof
US8451384B2 (en) * 2010-07-08 2013-05-28 Spinella Ip Holdings, Inc. System and method for shot change detection in a video sequence
EP2659316B1 (en) * 2011-03-18 2019-10-02 Siemens Healthcare Diagnostics Inc. Methods, systems, and apparatus for calibration of an orientation between an end effector and an article
WO2014152329A1 (en) 2013-03-14 2014-09-25 Siemens Healthcare Diagnostics Inc. Tube tray vision system
US9594983B2 (en) * 2013-08-02 2017-03-14 Digimarc Corporation Learning systems and methods
JP6560757B2 (ja) * 2015-02-17 2019-08-14 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 検査室自動化のためのトップビューサンプルチューブ画像からのバーコードタグ状態の分類

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120080515A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Barcode Recognition Using Data-Driven Classifier
US20130129166A1 (en) * 2011-11-07 2013-05-23 Beckman Coulter, Inc. Specimen container detection
US20140374480A1 (en) * 2012-02-03 2014-12-25 Siemens Healthcare Diagnostics Inc. Barcode reading test tube holder

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110252034A (zh) * 2019-05-10 2019-09-20 太原理工大学 生物3d打印洁净室菌度控制与监测系统
CN110252034B (zh) * 2019-05-10 2021-07-06 太原理工大学 生物3d打印洁净室菌度控制与监测系统
CN110119799A (zh) * 2019-05-11 2019-08-13 安图实验仪器(郑州)有限公司 样本架采血管条码视觉识别方法

Also Published As

Publication number Publication date
WO2016133915A1 (en) 2016-08-25
CA2976774A1 (en) 2016-08-25
JP2018512566A (ja) 2018-05-17
CN107427835B (zh) 2020-06-05
EP3259069A1 (en) 2017-12-27
US20180046883A1 (en) 2018-02-15
EP3259069B1 (en) 2019-04-24
US10325182B2 (en) 2019-06-18
JP6560757B2 (ja) 2019-08-14
EP3259069A4 (en) 2018-03-14
CA2976774C (en) 2023-02-28

Similar Documents

Publication Publication Date Title
CN107427835A (zh) 来自用于实验室自动化的俯视图样品管图像的条码标签状况的分类
EP3785021B1 (en) System and method for performing automated analysis of air samples
AU2020200835B2 (en) System and method for reviewing and analyzing cytological specimens
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
CN107206384B (zh) 用于实验室自动化的侧视样品管图像中的条形码标签检测
US9684960B2 (en) Automated histological diagnosis of bacterial infection using image analysis
JP2018512567A5 (zh)
Model et al. Comparison of Data Set Bias in Object Recognition Benchmarks.
CN108229281A (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN112150398B (zh) 图像合成方法、装置及设备
CN115690092B (zh) 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置
US11335007B2 (en) Method to generate neural network training image annotations
US20230186457A1 (en) Machine-learning device and machine-learning system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1241793

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant