CN110832508A - 用于样本管顶部圆形的基于学习的图像边缘增强的方法和系统 - Google Patents

用于样本管顶部圆形的基于学习的图像边缘增强的方法和系统 Download PDF

Info

Publication number
CN110832508A
CN110832508A CN201880046218.7A CN201880046218A CN110832508A CN 110832508 A CN110832508 A CN 110832508A CN 201880046218 A CN201880046218 A CN 201880046218A CN 110832508 A CN110832508 A CN 110832508A
Authority
CN
China
Prior art keywords
convolutional
image
size
layers
fully
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880046218.7A
Other languages
English (en)
Other versions
CN110832508B (zh
Inventor
张耀仁
S.克卢克纳
B.S.波拉克
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of CN110832508A publication Critical patent/CN110832508A/zh
Application granted granted Critical
Publication of CN110832508B publication Critical patent/CN110832508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G01N35/00732—Identification of carriers, materials or components in automatic analysers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/0099—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/026—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations having blocks or racks of reaction cells or cuvettes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

在自动化诊断分析系统中使用的用于基于图像检测样本管顶部的方法可以基于卷积神经网络来预处理样本管顶部的图像，以加强管顶部圆形边缘，同时抑制来自图像中可能出现的其他对象的边缘响应。由所述方法生成的边缘图可以用于各种基于图像的样本管分析、分类和/或样本管的表征，以控制与样本管相关的机器人。还描述了被配置为执行所述方法的图像处理和控制装置，以及其他方面。

Description

用于样本管顶部圆形的基于学习的图像边缘增强的方法和 系统
相关申请的交叉引用
本申请要求于2017年7月11日提交的美国临时申请序列号62/531,121的优先权，该美国临时申请的内容被在其整体上通过引用合并到本文中。
技术领域
本公开涉及在自动化诊断分析系统中使用的处理样本管的顶部的图像的方法和系统。
背景技术
体外诊断允许实验室基于在患者液体样本上执行的化验和/或化学分析来辅助疾病的诊断。体外诊断包括与患者诊断和治疗相关的各种类型的分析测试和化验，这些测试和化验可以通过对取自患者体液的流体样本进行分析来执行。这些化验通常在其中已经装载了包含患者样本的管或者瓶的自动化诊断分析系统的自动化分析仪中进行。由于可能需要各种各样的化验和分析，以及操作这样的实验室所必要的测试的体量，自动化诊断分析系统中通常包括多个自动化分析仪。
可以将许多患者样本从各个医生办公室运送到具有自动化诊断分析系统的实验室。最初可以将样品存储在一个位置处，放置在一个或多个自动化分析仪中，和/或随后在附加的测试之前存储在另一个位置处。在自动化分析仪和存储位置之间的存储和运送可以使用托盘来完成。托盘通常是存储在测试管或者瓶等(以下统称为“样本管”)中的若干个患者样本的阵列。这些托盘可以是可叠放的，并且可以便于将多个样品从实验室的一个部分容易地运载到另一个部分。在一些自动化诊断分析系统中，分析仪可以接受患者样本的托盘，并且相应地处置样本，而一些分析仪可能要求由操作员将样本从托盘移除，并且在进一步的处置之前将样本放置到载体中。在其他实施例中，包括末端执行器的机器人可以将样本管从托盘移除，并且将它们运送到载体或者自动化分析仪。
为了便于在自动化诊断分析系统中处置和处理大量样本管，现有的基于图像的管顶部检测方法和系统可以用于捕捉样本管顶部的图像，以便对每个样本管进行分类和/或表征(例如，管高度、直径以及从管托盘槽的中心偏移)。然而，一些现有的基于图像的检测方法和系统可能会错误地检测，并且提供对于可能出现在图像中的其他对象而不是管顶部的更强的边缘响应。例如，其他对象可以包括例如样本管条形码标签、管托盘槽圆形、和/或管托盘槽内部的管托盘金属弹簧。这可能会对在自动化诊断分析系统中处置和处理样本管产生不利影响。因此，需要在自动化诊断分析系统中使用的处理样本管顶部图像的改进的基于图像的检测方法和系统。
发明内容
根据第一实施例，提供了一种图像处理和控制装置。图像处理和控制装置包括：图像捕捉装置，其被配置为捕捉一个或多个相应样本管的一个或多个顶部的图像；机器人，其被配置为移动一个或多个相应的样本管；以及系统控制器，其包括处理器和存储器，该系统控制器被经由存储在存储器中的编程指令配置为通过将图像应用于卷积神经网络来处理一个或多个相应样本管的一个或多个顶部的图像，以加强图像中出现的样本管顶部边缘，抑制来自图像中出现的其他对象的边缘响应，生成一个或多个相应样本管的一个或多个顶部的图像的边缘图，并且基于所生成的边缘图来控制机器人移动一个或多个样本管。
根据另一个实施例，提供了一种非暂态计算机可读介质，其包括全卷积网络及其参数的计算机指令，所述指令能够在处理器中执行并且能够将全卷积网络和参数应用于样本管顶部的图像以生成边缘图，所述边缘图要被存储在非暂态计算机可读介质中，并且要由控制器可访问，以基于所述边缘图控制机器人。全卷积网络包括一个或多个卷积层和一个或多个最大池化层，随后是第一和第二全连接卷积层。
根据另一个实施例，提供了一种处理样本管顶部的图像并且基于此控制机器人的方法。该方法包括：接收一个或多个相应样本管的一个或多个顶部的输入图像；将具有一个或多个卷积层和一个或多个最大池化层以及随后的第一和第二全连接卷积层的全卷积网络应用于输入图像；响应于所述应用生成边缘图；基于所生成的边缘图确定样本管类别或者特征；以及基于所确定的样本管类别或者特征来控制机器人。
通过图示多个示例实施例和实现，还可以从以下详细描述中使本公开的其他方面、特征和优点变得显而易见，包括预期的用于执行本发明的最佳模式。本公开还能够具有其他并且不同的实施例，并且可以在各个方面对其若干细节进行修改。因此，附图和描述本质上被认为是说明性的，而不是限制性的。附图不一定按比例绘制。本公开将覆盖落入权利要求范围内的所有修改、等同物和替换。
附图说明
图1A和图1B分别图示了根据实施例的用于捕捉和处理样本管顶部的图像的图像处理系统的俯视图和局部透视图；
图2图示了根据实施例的图像处理系统的系统控制器和组件的框图；
图3图示了根据实施例的将输入图像转换成边缘图的图像处理模块；
图4图示了根据实施例的被配置为预处理样本管顶部的图像的全卷积网络；
图5A至图5C图示了根据实施例的样本管顶部的相应图像；
图6A至图6C图示了根据实施例的图5A至图5C的样本管顶部的相应边缘图；
图7图示了根据实施例的基于补片（patch）的卷积神经网络；
图8A图示了根据实施例的具有手动标注的中心补片的输入图像补片；
图8B图示了根据实施例的针对图8A的中心补片的真实数据边缘图；
图9A、9B和9C分别图示了根据实施例的输入图像补片、中心补片的对应真实数据边缘图以及从图6的基于补片的卷积神经网络生成的对应输出；
图10A、10B和10C还分别图示了根据实施例的输入图像补片、中心补片的对应真实数据边缘图以及从图6的基于补片的卷积神经网络生成的对应输出；
图11图示了根据实施例的利用图6的基于补片的卷积神经网络训练边缘检测模型的方法的流程图；
图12图示了根据实施例的测试所训练的模型的方法的流程图；
图13图示了根据实施例的应用边缘检测的流程图；
图14图示了根据实施例的处理样本管顶部的图像的方法的流程图。
具体实施方式
在自动化诊断分析系统中，基于图像的样本管顶部圆形检测允许自动地分析、分类并且表征各种样本管特征，诸如例如管高度、管直径和从管托盘槽的中心偏移。现有的基于图像的管顶部圆形检测方法和系统可能严重依赖于边缘检测作为预处理步骤。然而，在某些情况下，这些现有的基于图像的管顶部圆形检测方法和系统可能会错误地检测，并且提供对于图像中出现的其他对象而不是实际的管顶部圆形的更强的边缘响应。其他对象可以包括例如样本管条形码标签、管托盘槽圆形以及在管托盘槽内部的管托盘金属弹簧。改进管圆形检测性能的一种方式是区分来自管顶部圆形的边缘和来自图像中的其他对象的边缘。根据一个或多个实施例的方法和系统使用利用手动标注的圆形作为真实数据的基于补片的方法(如下所述)，包括基于学习的样本管顶部边缘增强的计算机实现的方法，该方法加强管顶部圆形边缘，同时抑制来自可能出现在图像中的其他对象的边缘响应。根据一个或多个实施例的方法和系统可以改进样本管顶部圆形检测的鲁棒性，并且可以正确地响应于更具挑战性的情况(即，具有出现在其中的其他物体的图像)。根据一个或多个实施例的方法和系统可以基于卷积神经网络，该卷积神经网络“学习”如何将输入图像转变成边缘图，在所述边缘图中样本管边缘被加强，而其他对象的边缘被抑制。下面将参照图1A至图14相关地描述本公开的实施例的这些和其他方面和特征。
图1A和图1B图示了根据一个或多个实施例的图像处理系统100，其被用于捕捉和处理样本管顶部的图像，以用于管的分类和管的表征。系统100可以包括：系统控制器102；机器人103；工作区域104；一个或多个抽屉106(仅标记了一个)，所述抽屉106被配置成从定位107可移动到工作区域104中，其中包括机器人103的样本处置器(未示出)可以进入所述工作区域104；一个或多个管托盘108(仅标记了两个)，所述管托盘108每个都被装载在抽屉106中，并且每个都被配置成接收和运载多个样本管110(仅标记了三个)，样本管110可以在管托盘108中按行和列排列；以及针对每个抽屉106配备一个的图像捕捉装置112。注意，在其他实施例中，每个管托盘108的样本管110的数量、每个抽屉106的管托盘108的数量和/或每个工作区域104的抽屉106的数量可以不同。机器人103可以由系统控制器102(或者另一个合适的控制器)控制，并且可以配置有末端执行器，以抓取并且移动单独的样本管110去往和来自工作区域104和自动化分析仪和/或系统100的其他工作区域(均未示出)。
在一些实施例中，随着管托盘108被手动或者自动地从定位107移动到工作区域104中，图像捕捉装置112可以捕捉管托盘108及其样本管110的顶部的图像。如在下面进一步描述的，图像可以由系统控制器102进行处理和分析。在一些实施例中，如图1B中所示出的，图像捕捉装置112可以定位在抽屉106进入工作区域104的入口处或者附近，并且在部署在抽屉106中并且运载样本管110的管托盘108的表面上方。图像捕捉装置112可以包括一个或多个相机(在图1A和图1B中未具体示出)或者任何其他合适的（多个）图像捕捉设备，所述相机或者图像捕捉设备可以定位在例如样本管110的顶部上方大约3至6英寸处，以捕捉样本管110的高分辨率图像。取决于所使用的（多个）相机/（多个）设备的特征以及想要的视角和图像质量，可以使用其他距离和/或定位。在一些实施例中，图像捕捉装置112可以可选地包括一个或多个照明源，诸如LED（发光二极管）闪光灯。
图2图示了根据一个或多个实施例的系统控制器202，其被配置为控制样本管顶部图像的捕捉和处理。可以与图1A的系统控制器102相同或者基本相似的系统控制器202可以包括系统处理器214、一个或多个存储器216(仅示出一个)、一个或多个抽屉传感器218(仅示出一个)、图像捕捉处理器220以及编码器222。注意，为了清楚起见，未示出诸如例如输入/输出设备、网络接口等的其他常规组件。系统控制器202可以耦合到图像捕捉装置212，图像捕捉装置212可以与图1A和图1B的图像捕捉装置112相同或者基本相似。
在一些实施例中，图像捕捉装置212可以包括光源224、第一相机225(例如，相对于管托盘108的中心定位在左边的相机)和第二相机226(例如，相对于管托盘108的中心定位在右边的相机)。取决于抽屉106和管托盘108的大小和/或想要的图像质量和图像视角，可以使用其他数量的相机或者其他图像捕捉设备。图像捕捉处理器220可以(经由编程指令)被配置成控制光源224、第一相机225和第二相机226的操作，包括例如向它们中的一些或者所有提供电力，并且可以接收由第一相机225和第二相机226拍摄的图像。在一些实施例中，图像捕捉处理器220可以是图像捕捉装置212的一部分，而不是系统控制器202的一部分。在其他实施例中，系统处理器214可以耦合到图像捕捉装置212，并且可以执行图像捕捉处理器220的功能，图像捕捉处理器220可以从系统控制器202中省略。
编码器222(在一些实施例中可以是正交编码器)可以用于确定何时将一行管托盘108移动到第一相机225和/或第二相机226下方的中心或者基本中心的定位。编码器222可以在检测到与新的一行样本管110移动到第一相机225和/或第二相机226下方的中心或者基本中心的定位相对应的管托盘108的移动时，向图像捕捉处理器220传输控制信号(例如，脉冲)。在接收到控制信号时，图像捕捉处理器220可以向第一相机225和/或第二相机226发信号，以拍摄新的一行样本管110的图像。
系统处理器214可以(经由编程指令)被配置成处理由第一相机225和/或第二相机226拍摄的图像，如在下面进一步与图3相关地描述的那样。在检测到包含其样本管110已经成像的管托盘108的抽屉106关闭时，图像捕捉处理器220可以将图像传输到系统处理器214以用于处理。所传输的图像也可以存储在存储器216中。除了处理图像之外，系统处理器214还可以被配置成控制管托盘108和样本管110在存储位置(诸如例如，工作区域104)和一个或多个自动化分析仪(未示出)之间的移动。由系统处理器214执行以确定各种样本管110的特性的图像处理和随后的分析可以有利地促进由机器人103对样本管110进行的处置、转移和处理。
存储器216可以耦合到系统处理器214，并且耦合成从例如图像捕捉处理器220接收和存储样本管110顶部的图像。存储器216可以是任何类型的非暂态计算机可读介质，诸如例如随机存取存储器(RAM)、硬盘、磁盘或者光盘、闪速存储器、和/或它们的组合。存储器216可以被配置成接收和存储由系统处理器214和/或图像捕捉处理器220可执行的程序(即，计算机可执行编程指令)。注意，系统处理器214和/或图像捕捉处理器220还可以被配置为执行被体现为固件的编程指令。
抽屉传感器218可以耦合到系统处理器214，并且可以被配置为指示抽屉106何时完全关闭在工作区域104中和/或抽屉106何时完全打开(例如，图1A中所示出的定位107)。在一些实施例中，当抽屉传感器218感测到对应的抽屉106已经移动到完全关闭定位中时，抽屉传感器218可以通过向系统处理器214发信号进行响应，以开始对存储在存储器216中的所捕捉的图像进行图像处理。
图3图示了根据一个或多个实施例的被包括在所述图像处理方法和系统中的图像处理模块300。图像处理模块300可以被配置为处理输入图像301，该输入图像301可以是样本管顶部的图像，并且生成那些样本管顶部的边缘图315，该边缘图315适用于输入到管圆形检测和定位方法，以使得能够实现管几何表征和管类型分类。图像处理模块300可以使用基于机器学习的方法，诸如具有训练模型310的卷积神经网络305，来处理输入图像301并且生成对应的边缘图315。边缘图315可以存储在非暂态计算机可读存储介质中，诸如例如图2的存储器216中。训练模型310包括用于在卷积神经网络305中处理图像的网络参数，并且可以包括核的权重、核的大小、步长值和填充值，其每个都在下面更详细地描述。
图4图示了根据一个或多个实施例的卷积神经网络的示例。卷积神经网络可以是全卷积网络405，并且可以通过使用在下面与图7至图10C相关地描述的训练程序从基于补片的卷积神经网络中导出。全卷积网络405的网络配置和训练模型310可以存储在例如存储器216中，并且可以是由图像处理系统100和/或系统控制器202执行的方法的一部分。
全卷积网络405可以包括多个层，包括第一卷积层CONV1 402、第一最大池化层POOL1 404、第二卷积层CONV2 406、第二最大池化层POOL2 408、全连接卷积层FC1-CONV410、非线性层RELU1 412和边缘卷积层EDGE-CONV 414。注意，在其他实施例中，卷积层和最大池化层的数量可以不同。对第一卷积层CONV1 402的输入可以是输入图像401，其可以是由例如图像捕捉装置112或者212捕捉的样本管顶部的图像。输入图像401例如可以是如在图5A至图5C中分别示出的样本管顶部图像501A、501B和501C中的任何一个。输入图像401可以是任意大小的图像，诸如例如32像素×32像素，或者例如480像素×480像素。输入图像401可以被以合适的文件格式接收，诸如例如JPEG或者TIFF等，并且在一些实施例中，可以是彩色、灰度或者黑白(单色)图像。输入图像401可以由全卷积网络405接收为像素值矩阵。
第一卷积层CONV1 402可以接收原始输入图像401作为输入，并且可以生成一个或多个输出激活图(即，输入图像401的表示)。第一卷积层CONV1 402可以被认为是被配置成检测例如简单边缘的低级特征检测器。第一卷积层CONV1 402可以基于为5的核的大小、为1的步长和为0的填充生成一个或多个输出激活图。将其参数存储在训练模型310中的核可以包括表示像素结构的数字(被称为“权重”)的矩阵，其被配置为标识输入图像401中的样本管顶部圆形的边缘或者曲线。核的大小可以被认为是应用于输入图像401的像素值矩阵的滤波器的大小。也就是说，核的大小指示输入图像的一部分(被称为“感受域”)，在该部分中，利用核的数字矩阵对其像素值进行数学运算(即，“滤波”)。数学运算可以包括将输入图像的像素值与核中的对应数字相乘，并且然后将所有相乘的值相加在一起以得出总数。总数可以指示想要的特征(例如，样本管顶部的边缘或者曲线的一部分)在感受域中的存在。在该第一卷积层中，核的大小是5，这意味着5像素×5像素大小的滤波器被应用于输入图像401。步长可以是核据其将定位进行移位以滤波下一个感受域的像素数。核继续围绕输入图像移位(“卷积”)步长，直到整个输入图像被滤波。填充可以指代要围绕输出激活图的边界添加的零像素值的行数和列数。在该第一卷积层中，填充为0，意味着不将零像素值的行和列添加到输出激活图的边界。因此，输出激活图可以包括基于核的大小、权重和输入图像的原始像素值计算的表示输入图像中像素强度的像素数字。
由第一卷积层CONV1 402生成的一个或多个激活图可以应用于具有核的大小为2、步长为2、填充为0的第一最大池化层POOL1 404。第一最大池化层POOL1 404可以生成具有在从第一卷积层CONV1 402接收的一个或多个激活图中出现的最大像素值的输出激活图。也就是说，将核的大小为2应用于输入激活图，每个感受域中所计算的像素值的最大值被包括在由第一最大池化层POOL1 404生成的输出激活图中。
由第一最大池化层POOL1 404生成的输出激活图可以被输入到第二卷积层CONV2406。第二卷积层CONV2 406可以被配置为检测例如与第一卷积层CONV1 402相比更多的圆形特征(例如半圆形)。第二卷积层CONV2 406可以基于被应用于从第一最大池化层POOL1404接收的输入激活图的核的大小为5、步长为1和填充为0来生成输出激活图。
由第二卷积层CONV2 406生成的激活图可以被应用于具有核的大小为2、步长为2、并且填充为0的第二最大池化层POOL2 408。第二最大池化层POOL2 408可以生成具有在从第二卷积层CONV2 406接收的激活图中出现的最大像素值的输出激活图，所述第二卷积层CONV2 406如在上面与第一最大池化层POOL1 404相关地描述的那样。
来自第二卷积层POOL2 408的输出激活图可以被输入到全连接卷积层FC1-CONV410。全连接卷积层FC1-CONV 410是从全连接层转换而来的卷积层。全连接卷积层FC1-CONV410可以被配置成检测例如与先前的层相比更高级的特征。全连接卷积层FC1-CONV 410可以基于核的大小为5、步长为1和填充为0来生成激活图。
非线性层RELU1 412(即，RELU——整流线性单元)可以应用于由全连接卷积层FC1-CONV 410生成的输出激活图。非线性层RELU1 412可以将非线性函数，诸如例如函数f(x) = max(0,x)应用于从FC1-CONV 410接收的激活图中的所有值。这可能造成例如所有负的激活值都被赋值为0。
从ReLU1返回的激活图可以被输入到边缘卷积层EDGE-CONV 414。类似于全连接卷积层FC1-CONV 410，边缘卷积层EDGE-CONV 414也是从全连接卷积层转换而来的卷积层。边缘卷积层EDGE-CONV 414可以基于核的大小为5、步长为1和填充为0来从中生成全帧管圆形边缘图415。边缘图415对应于输入图像401，并且可以存储在非暂态计算机可读存储介质中，诸如例如图2的存储器216中。
边缘图415可以是如在图6A至图6C中分别示出的全帧管圆形边缘图615A、615B和615C中的任何一个。边缘图615A、615B和615C分别对应于图5A至图5C的样本管顶部图像501A、501B和501C，并且可以被存储在非暂态计算机可读存储介质中，诸如例如图2的存储器216中。
根据一个或多个实施例，如在图7中所示出的，全卷积网络405可以从基于补片的卷积神经网络705中导出。基于补片的卷积神经网络705可以包括多个层，包括第一卷积层CONV1 702、第一最大池化层POOL1 704、第二卷积层CONV2 706、第二最大池化层POOL2708、第一全连接层FC1 710、非线性层RELU1 712和第二全连接层FC2 714。注意，在其他实施例中，卷积层和最大池化层的数量可以不同。对第一卷积层CONV1 702的输入可以是输入图像701。第一卷积层CONV1 702、第一最大池化层POOL1 704、第二卷积层CONV2 706、第二最大池化层POOL2 708和非线性层RELU1 712可以分别与全卷积网络405(图4)的第一卷积层CONV1 402、第一最大池化层POOL1 404、第二卷积层CONV2 406、第二最大池化层POOL2408和非线性层RELU1 412相同。如图8A中所示出的，输入图像701可以是固定大小的图像补片800A(例如，其可以是32像素× 32像素)。如图8B中所示出的，想要的输出可以是对应的真实数据边缘图800B的图像补片800A的中心补片801。真实数据边缘图800B可以是从手动标注中导出的例如8像素× 8像素。真实数据图像可以是其他图像(例如，来自图像处理方法)对照其进行比较的高精度图像。第一全连接层FC1 710可以具有500个节点，而第二全连接层FC2 714可以具有64个节点。第二全连接层FC2 714的64个节点可以对应于中心补片的边缘图715的64个像素(8像素× 8像素)。图9A至图9C和图10A至图10C示出了输入图像补片900A和1000A、真实数据边缘图900B和1000B以及从基于补片的卷积神经网络705生成的对应输出900C和1000C的示例。
为了生成针对整个图像的整个样本管边缘图作为输入，可以使用固定大小(例如，32像素× 32像素)的窗来扫描图像并且累积来自每个像素的边缘响应。然而，这可能是耗时的，因为可能牵涉许多不必要的重复计算。为了克服这个缺点，已经通过将第一全连接层FC1 710转换为全连接卷积层FC1-CONV 410，并且通过将第二全连接层FC2 714转换为边缘卷积层EDGE-CONV 414，来从基于补片的卷积神经网络705导出了全卷积网络405，如图4中所示出的那样。通过这种方式，任何任意大小的图像可以被输入到全卷积网络405，以在没有扫描窗口的情况下直接生成对应的边缘图。
图11图示了可以利用基于补片的卷积神经网络705来执行的训练的方法1100。首先，可以通过圆形标注工具来手动标注管圆形边缘，以针对每个对应的训练图像生成管圆形边缘图像。补片（其大小可以为32x32像素）是从每个图像中随机提取的，其中正补片包含至少一个边缘像素，负补片不包含边缘像素。所生成的补片被输入到图7的基于补片的卷积神经网络705中，以训练基于补片的边缘检测模型，该模型尝试将32×32像素灰度级图像转变成尽可能紧密地匹配真实数据边缘图中心补片的8×8像素边缘响应图。然后，基于补片的卷积神经网络705的全连接层和所训练的基于补片的模型1102被转换成如在上面描述的全卷积网络405的全卷积层，并且利用全尺寸输入灰度级图像来改善全卷积网络405，使得其输出尽可能紧密地匹配整个图像的边缘图。具有所训练的全帧边缘检测模型1104(包括网络参数)的改善的卷积神经网络405可以处置任意大小的图像作为输入，并且可以估计对应的边缘响应图作为输出。
图12图示了测试所训练的模型的方法1200。针对具有基于补片的边缘检测模型的基于补片的卷积神经网络，输入图像可以被均匀地划分成大小为32×32像素的补片。每个补片可以被输入到基于补片的边缘检测模型中，以估计大小为8×8像素的对应中心补片的边缘响应。然后在“边缘图融合”处，通过连结和归一化中心补片来融合来自多个补片的响应，以生成针对整个测试图像的估计边缘图。对于全帧边缘检测模型而言，可以提供任意大小的测试图像作为输入，卷积神经网络405将直接估计针对整个输入图像的对应边缘响应。因此，就计算而言，使用全帧边缘检测模型可以是更高效得多的。
如在图13中所示出的，根据实施例的边缘检测的应用1300可以作为针对更高级任务的预处理步骤。例如，基于所估计的边缘图执行全帧管圆形检测可以是更鲁棒的，因为真实的管圆形边缘被加强并且不相关的边缘被抑制。所检测到的管圆形可以用于管的表征，以估计管的高度、直径和从管托盘槽的中心偏移，这在自动化诊断分析系统中是有用的属性。
图14图示了根据一个或多个实施例的处理样本管顶部的图像并且基于此控制机器人的方法1400。方法1400可以由一个或多个控制器执行，诸如例如系统控制器102(图1A)或者202(图2)。在处理框1402处，方法1400可以包括接收一个或多个相应样本管的一个或多个顶部的输入图像。例如，输入图像可以是图4的输入图像401和/或样本管顶部图像501A、501B和501C中的一个。
在处理框1404处，方法1400可以包括将全卷积神经网络应用于输入图像，该全卷积神经网络具有第一和第二卷积层以及第一和第二最大池化层，随后是第一和第二全连接卷积层。例如，卷积神经网络可以是图4的卷积神经网络405，其具有第一卷积层CONV1 402、第一最大池化层POOL1 404、第二卷积层CONV2 406和第二最大池化层POOL2 408，随后是全连接卷积层FC1-CONV 410和边缘卷积层EDGE-CONV 414。
在处理框1406处，方法1400可以包括响应于在处理框1404处的应用，生成边缘图，诸如例如边缘图615A、615B或者615C中的任何一个。所生成的边缘图可以存储在非暂态计算机可读存储介质中，诸如例如图2的存储器216中。
在处理框1408处，方法1400可以包括基于所生成的边缘图来确定样本管类别或者特征。样本管类别或者特征可以包括管高度、管直径、图像中最短的管、图像中最长(最高)的管、从管托盘槽的中心偏移、管托盘槽是否为空(即其中没有样本管)和/或管类型(例如，普通管、具有顶帽的管、或者具有顶部样本杯的管)中的一个或多个。样本管类别或者特征可以存储在非暂态计算机可读存储介质中，诸如例如图2的存储器216中。
并且在处理框1410处，方法1400可以包括基于所确定的样本管类别或者特征来控制机器人、末端执行器或者一个或多个探针等。例如，基于所确定的样本管类别或者特征，图1A的系统控制器102(或者任何其他合适的控制器)可以控制机器人103(和/或耦合到机器人的末端执行器)的操作，以抓取和移动样本管110中的一个。例如，末端执行器的打开程度可以基于管的大小来设置。同样，如果管顶部在管托盘中偏移，则可以实现末端执行器从管托盘槽中心的对应偏移。进一步地，末端执行器的旋转方向可以取决于管顶部定位及其与其他周围管顶部的定位关系而改变。这样，可以最小化或者避免样本管110的管顶部和末端执行器之间的碰撞。探针在管内的放置(例如，通过机器人103)类似地可以基于所确定的样本管类别或者特征。
在一些实施例中，诸如例如可移动存储盘或者设备之类的非暂态计算机可读介质可以包括能够在诸如例如系统处理器214之类的处理器中执行并且能够执行方法1400的计算机指令。
由本文描述的系统和方法生成的边缘图有效地加强了样本管圆形的边缘，同时抑制了来自其他对象的边缘。所生成的边缘图可以有利地进一步用于各种基于图像的样本管分析和表征。例如，所生成的边缘图可以用作对现有管圆形检测和定位方法的输入，所述边缘图中的一个或多个可以存储在例如图2的系统控制器202的存储器216中，以使得能够实现管几何特征和管类型分类。由管圆形检测和定位方法确定的管几何特征和管类型分类可以由控制器(诸如系统控制器102或者202)使用，以控制机器人和/或末端执行器(诸如例如图1A的机器人103)，从而抓取和移动样本管(诸如例如图1A的样本管110)，并且还放置样本管。
已经示出了优选实施例，那些本领域技术人员应当认识到，将仍然在所要求保护的发明的范围内的许多变化是可能的。因此，意图是仅由所附权利要求书的范围所指示的那样来限制本发明。

Claims (20)

1.一种图像处理和控制装置，包括:
图像捕捉装置，被配置为捕捉一个或多个相应样本管的一个或多个顶部的图像；
机器人，被配置为移动所述一个或多个相应的样本管；以及
系统控制器，其包括处理器和存储器，所述系统控制器被经由存储在所述存储器中的编程指令配置成通过将所述一个或多个相应样本管的一个或多个顶部的图像应用于卷积神经网络来处理所述图像，以:
加强在所述图像中出现的样本管顶部边缘；
抑制来自在所述图像中出现的其他对象的边缘响应；
生成所述一个或多个相应样本管的一个或多个顶部的图像的边缘图；以及
控制所述机器人基于所生成的边缘图移动一个或多个样本管。
2.根据权利要求1所述的图像处理和控制装置，其中机器人包括末端执行器，所述末端执行器被配置为基于边缘图抓取并且移动一个或多个样本管。
3.根据权利要求1所述的图像处理和控制装置，进一步包括管托盘，所述管托盘被配置为在其中接收一个或多个样本管。
4.根据权利要求1所述的图像处理和控制装置，其中卷积神经网络是包括多个卷积层的全卷积网络。
5.根据权利要求4所述的图像处理和控制装置，其中全卷积网络包括一个或多个卷积层和一个或多个最大池化层，随后是一个或多个全连接卷积层。
6.根据权利要求5所述的图像处理和控制装置，其中，第一卷积层包括为5的核的大小、为1的步长和为0的填充，第二卷积层包括为5的核的大小、为1的步长和为0的填充，第一全连接卷积层包括为5的核的大小、为1的步长和为0的填充，第二全连接卷积层包括为1的核的大小、为1的步长和为0的填充。
7.根据权利要求1所述的图像处理和控制装置，其中卷积神经网络是基于补片的卷积网络，其包括多个卷积层，随后是融合模块，所述融合模块将单独的补片的边缘响应融合到表示输入图像的一个边缘图中。
8.根据权利要求7所述的图像处理和控制装置，其中基于补片的卷积网络包括一个或多个卷积层和一个或多个最大池化层，随后是一个或多个全连接层。
9.一种非暂态计算机可读介质，包括全卷积网络及其参数的计算机指令，所述指令能够在处理器中执行，并且能够将所述全卷积网络和所述参数应用于样本管顶部的图像，以生成要被存储在所述非暂态计算机可读介质中的边缘图，并且控制器能够访问所述边缘图以基于所述边缘图控制机器人，所述全卷积网络包括一个或多个卷积层和一个或多个第二最大池化层，随后是第一和第二全连接卷积层。
10.根据权利要求9所述的非暂态计算机可读介质，进一步包括基于补片的卷积网络的计算机指令，所述卷积网络包括多个卷积层，随后是融合模块，所述融合模块将单独的补片的边缘响应融合到表示输入图像的一个边缘图中。
11.根据权利要求10所述的非暂态计算机可读介质，其中基于补片的卷积网络包括一个或多个卷积层和一个或多个最大池化层，随后是一个或多个全连接层。
12.根据权利要求9所述的非暂态计算机可读介质，其中全卷积网络进一步包括在第一和第二全连接卷积层之间的非线性层。
13.根据权利要求9所述的非暂态计算机可读介质，其中第一卷积层包括为5的核的大小、为1的步长和为0的填充，并且第一最大池化层包括为2的核的大小、为2的步长和为0的填充。
14.根据权利要求9所述的非暂态计算机可读介质，其中第二卷积层包括为5的核的大小、为1的步长和为0的填充，并且第二最大池化层包括为2的核的大小、为2的步长和为0的填充。
15.一种处理样本管顶部图像并且基于此控制机器人的方法，包括:
接收一个或多个相应样本管的一个或多个顶部的输入图像；
将全卷积网络应用于输入图像，所述全卷积网络具有一个或多个卷积层和一个或多个第二最大池化层，随后是第一和第二全连接卷积层；
响应于所述应用生成边缘图；
基于所生成的边缘图确定样本管类别或者特征；以及
基于所确定的样本管类别或者特征来控制机器人。
16.根据权利要求15所述的方法，其中所述接收包括将输入图像接收为像素值矩阵。
17.根据权利要求15所述的方法，其中第一卷积层包括为5的核的大小、为1的步长和为0的填充。
18.根据权利要求15所述的方法，其中第一最大池化层包括为2的核的大小、为2的步长和为0的填充。
19.根据权利要求15所述的方法，其中第一全连接卷积层包括为5的核的大小、为1的步长和为0的填充。
20.根据权利要求15所述的方法，其中第二全连接卷积层包括为1的核的大小、为1的步长和为0的填充。
CN201880046218.7A 2017-07-11 2018-06-25 用于样本管顶部圆形的基于学习的图像边缘增强的方法和系统 Active CN110832508B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762531121P 2017-07-11 2017-07-11
US62/531121 2017-07-11
PCT/US2018/039278 WO2019013960A1 (en) 2017-07-11 2018-06-25 METHODS AND SYSTEMS FOR LEARNING BASED IMAGE EDGE IMPROVEMENT FOR HIGHER SAMPLE TUBE CIRCLES

Publications (2)

Publication Number Publication Date
CN110832508A true CN110832508A (zh) 2020-02-21
CN110832508B CN110832508B (zh) 2023-08-11

Family

ID=65001767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880046218.7A Active CN110832508B (zh) 2017-07-11 2018-06-25 用于样本管顶部圆形的基于学习的图像边缘增强的方法和系统

Country Status (5)

Country Link
US (1) US11600058B2 (zh)
EP (1) EP3652679B1 (zh)
JP (1) JP6937884B2 (zh)
CN (1) CN110832508B (zh)
WO (1) WO2019013960A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7320972B2 (ja) * 2019-04-08 2023-08-04 株式会社日立ハイテク 画像処理装置、自動分析システム及び画像処理方法
JP7204586B2 (ja) * 2019-06-17 2023-01-16 株式会社東芝 学習方法、プログラム及び画像処理装置
WO2021086725A1 (en) * 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Apparatus and methods of training models of diagnostic analyzers
KR102302333B1 (ko) * 2019-11-05 2021-09-16 주식회사 토모큐브 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치
EP3889615A1 (en) * 2020-04-02 2021-10-06 Roche Diagnostics GmbH A sample handling system for handling a plurality of samples
EP3979131A1 (en) * 2020-10-02 2022-04-06 Roche Diagnostics GmbH A method for determining at least one state of at least one cavity of a transport interface configured for transporting sample tubes
WO2023088600A1 (en) 2021-11-22 2023-05-25 Roche Diagnostics Gmbh Method and system for operating a laboratory automation system
WO2023105897A1 (ja) * 2021-12-08 2023-06-15 株式会社日立ハイテク 検体搬送装置および検体搬送方法
CN116029942B (zh) * 2023-03-27 2023-07-25 深圳精智达技术股份有限公司 一种深度学习图像边缘强化的方法、相关装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324032A1 (en) * 2008-06-25 2009-12-31 Jadak Llc System and Method For Test Tube and Cap Identification
US20160018427A1 (en) * 2014-07-21 2016-01-21 Beckman Coulter, Inc. Methods and systems for tube inspection and liquid level detection
US9258550B1 (en) * 2012-04-08 2016-02-09 Sr2 Group, Llc System and method for adaptively conformed imaging of work pieces having disparate configuration
CN106272368A (zh) * 2016-09-07 2017-01-04 三峡大学 一种自动快速试管取盖机器人及取盖方法
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN106697464A (zh) * 2017-02-21 2017-05-24 东莞市丰业精密机械有限公司 一种用于静脉采血的自动取管和贴标签装置
CA2972183A1 (en) * 2015-12-14 2017-06-22 Motion Metrics International Corp. Method and apparatus for identifying fragmented material portions within an image

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
CA2492416A1 (en) * 2002-07-15 2004-01-22 Baylor College Of Medicine Computer user interface facilitating acquiring and analyzing of biological specimen traits
US9400925B2 (en) * 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling
US10140705B2 (en) * 2014-06-10 2018-11-27 Siemens Healthcare Diagnostics Inc. Drawer vision system
US9996768B2 (en) * 2014-11-19 2018-06-12 Adobe Systems Incorporated Neural network patch aggregation and statistics
WO2016133924A1 (en) 2015-02-18 2016-08-25 Siemens Healthcare Diagnostics Inc. Image-based tube slot circle detection for a vision system
US20160267111A1 (en) * 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Two-stage vector reduction using two-dimensional and one-dimensional systolic arrays
CA2995748A1 (en) 2015-09-02 2017-03-09 Ventana Medical Systems, Inc. Image processing systems and methods for displaying multiple images of a biological specimen
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324032A1 (en) * 2008-06-25 2009-12-31 Jadak Llc System and Method For Test Tube and Cap Identification
US9258550B1 (en) * 2012-04-08 2016-02-09 Sr2 Group, Llc System and method for adaptively conformed imaging of work pieces having disparate configuration
US20160018427A1 (en) * 2014-07-21 2016-01-21 Beckman Coulter, Inc. Methods and systems for tube inspection and liquid level detection
CA2972183A1 (en) * 2015-12-14 2017-06-22 Motion Metrics International Corp. Method and apparatus for identifying fragmented material portions within an image
CN106272368A (zh) * 2016-09-07 2017-01-04 三峡大学 一种自动快速试管取盖机器人及取盖方法
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN106697464A (zh) * 2017-02-21 2017-05-24 东莞市丰业精密机械有限公司 一种用于静脉采血的自动取管和贴标签装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIRK LUTKEMEYER等: "First Steps in Robot Automation of Sampling and Sample Management during Cultivation of Mammalian Cells in Pilot Scale" *
蔡凡伟: "PET/CT图像融合精度测试体模及测试方法研究" *

Also Published As

Publication number Publication date
EP3652679A4 (en) 2020-07-29
JP6937884B2 (ja) 2021-09-22
JP2020526841A (ja) 2020-08-31
US20200167591A1 (en) 2020-05-28
EP3652679B1 (en) 2022-04-13
EP3652679A1 (en) 2020-05-20
CN110832508B (zh) 2023-08-11
US11600058B2 (en) 2023-03-07
WO2019013960A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
CN110832508B (zh) 用于样本管顶部圆形的基于学习的图像边缘增强的方法和系统
CN107532125B (zh) 用于视觉系统的基于图像的管槽圆形检测
JP7359788B2 (ja) 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム
US8321055B2 (en) System and method for multiple view machine vision target location
JP5920994B2 (ja) マイクロプレートのウェル壁境界を識別するための方法及びシステム
CN103885168B (zh) 用于显微镜装置的自校准的方法
JP6791864B2 (ja) 検査室自動化のためのサイドビューサンプルチューブ画像におけるバーコードタグ検出
KR102122068B1 (ko) 이미지 분석 시스템 및 분석 방법
JP2013526717A5 (zh)
US9710706B2 (en) Method for classifying a known object in a field of view of a camera
CA2976774C (en) Classification of barcode tag conditions from top view sample tube images for laboratory automation
JP2013050713A (ja) 合焦位置を決定する方法及びビジョン検査システム
JP2018512567A5 (zh)
CN112070711A (zh) 一种微液滴图像检测法中微液滴的分析方法
CN116917939A (zh) 适用于使用单个图像捕获装置识别样本容器的3d中心位置的方法和设备
CN113450383B (zh) 一种免疫层析试纸定量分析方法、装置、设备和介质
JP7250090B2 (ja) 試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する方法
CN113066121A (zh) 图像分析系统和识别重复细胞的方法
JP7181272B2 (ja) 検査室自動化システムでの使用に対する、試料管の適合性を評価するための方法および装置
JP7438345B2 (ja) 診断分析器のモデルを訓練する装置および方法
CN116930192B (zh) 一种高精度铜管缺陷检测方法及系统
WO2023017611A1 (ja) 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
US20190383724A1 (en) Image processing device, cell recognition apparatus, cell recognition method, and cell recognition program
JP2024519309A (ja) 試料取扱システムを監視するための監視装置
CN115452328A (zh) 一种vcsel半导体激光器阵列近场发光孔检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40015861

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant