CN116829927A - 检测机器视觉系统中的缺陷的装置和方法 - Google Patents
检测机器视觉系统中的缺陷的装置和方法 Download PDFInfo
- Publication number
- CN116829927A CN116829927A CN202280013497.3A CN202280013497A CN116829927A CN 116829927 A CN116829927 A CN 116829927A CN 202280013497 A CN202280013497 A CN 202280013497A CN 116829927 A CN116829927 A CN 116829927A
- Authority
- CN
- China
- Prior art keywords
- images
- view
- field
- reflective
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000007547 defect Effects 0.000 title claims abstract description 44
- 238000003384 imaging method Methods 0.000 claims abstract description 104
- 230000003287 optical effect Effects 0.000 claims description 97
- 238000007689 inspection Methods 0.000 claims description 48
- 239000002131 composite material Substances 0.000 claims description 30
- 239000002245 particle Substances 0.000 claims description 15
- 230000002950 deficient Effects 0.000 claims description 11
- 238000002310 reflectometry Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 description 48
- 238000004458 analytical method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000000428 dust Substances 0.000 description 3
- 206010018910 Haemolysis Diseases 0.000 description 2
- 206010023126 Jaundice Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008588 hemolysis Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003146 anticoagulant agent Substances 0.000 description 1
- 229940127219 anticoagulant drug Drugs 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000000701 coagulant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/08—Testing mechanical properties
- G01M11/081—Testing mechanical properties by using a contact-less detection method, i.e. with a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
- G01N21/9054—Inspection of sealing surface and container finish
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
- G01N21/909—Investigating the presence of flaws or contamination in a container or its contents in opaque containers or opaque container parts, e.g. cans, tins, caps, labels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
- G01N2035/00742—Type of codes
- G01N2035/00752—Type of codes bar codes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/00584—Control arrangements for automatic analysers
- G01N35/00722—Communications; Identification
- G01N35/00732—Identification of carriers, materials or components in automatic analysers
- G01N2035/00792—Type of components bearing the codes, other than sample carriers
- G01N2035/00811—Type of components bearing the codes, other than sample carriers consumable or exchangeable components other than sample carriers, e.g. detectors, flow cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/94—Investigating contamination, e.g. dust
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
标识机器视觉系统中的缺陷的方法。该方法的实施例包括提供具有第一视场的第一成像设备;移动反射工具通过第一视场;使用第一成像设备捕获反射工具在第一视场中的不同位置的多个图像;以及分析多个图像中的至少一个以标识机器视觉系统中的一个或多个缺陷。提供了被配置为执行该方法的系统和装置,以及其他方面。
Description
相关申请的交叉引用
本申请要求2021年2月4日提交的题为“检测机器视觉系统中的缺陷的装置和方法”的美国临时专利申请第63/145,953号的权益,其公开内容通过引用为了所有目的整体结合于此。
技术领域
本公开的实施例涉及检测机器视觉系统中的缺陷的装置和方法。
背景技术
自动化测试系统可以使用机器视觉系统进行临床化学分析和/或化验。机器视觉系统可以分析样本和/或其中包含样本的样本容器。例如,机器视觉系统可以捕获样本容器和/或位于其中的样本的图像,并生成代表捕获的图像的图像数据。机器视觉系统或与其耦合的设备可以分析图像数据。
可以分析代表样本容器的图像数据,以确定样本容器的尺寸,读取附着到样本容器的标签,检测盖子的存在,和/或确定盖子的颜色和/或形状。还可以分析代表样本的图像数据,以确定样本中干扰物(诸如溶血、黄疸和/或脂血症)的存在和/或伪像(诸如凝块、(多个)气泡或泡沫)的存在。
发明内容
根据第一方面,提供了一种标识机器视觉系统中的缺陷的方法。该方法包括提供具有第一视场的第一成像设备;移动反射工具通过第一视场;使用第一成像设备捕获反射工具在第一视场中的不同位置的多个图像;以及分析多个图像中的至少一个以标识机器视觉系统中的一个或多个缺陷。
在另外的方面,提供了一种标识光学检查站的缺陷的方法。该方法包括提供具有视场的成像设备;提供被配置为移动样本容器通过视场的运输系统;移动反射工具通过视场;使用成像设备捕获反射工具在视场中的不同位置的多个图像;以及分析多个图像中的至少一个以标识光学检查站中的一个或多个缺陷。
在另外的方面,提供了一种机器视觉系统。该系统包括成像设备,该成像设备具有视场并被配置成捕获反射工具在视场中的不同位置的多个图像;运输系统,其被配置为移动样本容器和反射工具通过视场;以及计算机,其被配置为分析多个图像中的至少一个,并确定机器视觉系统的光学链中是否存在缺陷。
从对包括预期实施本发明的最佳模式的多个示例性实施例的以下描述和说明中,本公开的其他方面、特征和优点将变得显而易见。本公开还可以有其他和不同的实施例,并且其若干细节可以在各个方面进行修改,所有这些都不脱离本公开的范围。本公开旨在覆盖落入权利要求及其等同物的范围内的所有修改、等同物和替代物。
附图说明
下面描述的附图是为了说明的目的,并且不一定是按比例绘制的。因此,附图和描述本质上被认为是说明性的,而不是限制性的。附图无意以任何方式限制本公开的范围。
图1示出了根据一个或多个实施例的包括机器视觉系统的光学检查站的俯视立体图。
图2示出了根据一个或多个实施例的保持样本的样本容器的侧立面图,其中样本容器以竖直取向位于在运输系统上可移动的载体中。
图3示出了根据一个或多个实施例的包括机器视觉系统的光学检查站的顶部局部剖视图(为了图示的目的移除了顶部)。
图4A示出了根据一个或多个实施例的对样本容器成像的光学检查站的成像设备的侧立面图。
图4B示出了根据一个或多个实施例的图4A的成像设备的俯视图,其中样本容器位于成像设备的视场内的不同纵向位置。
图4C示出了根据一个或多个实施例的成像设备的成像器的前视图的示意图,其示出了位于成像器上的多个像素。
图5A示出了根据一个或多个实施例的由光学检查站的成像设备捕获的样本容器的图像,其中样本容器位于成像设备的视场内的位置,并且其中缺陷存在于光学检查站的光学链中。
图5B示出了根据一个或多个实施例的位于成像设备的视场内的另一位置的图5A的样本容器的图像,并且其中缺陷存在于光学检查站的光学链中。
图6A示出了根据一个或多个实施例的用于检查机器视觉系统的光学链的反射工具的侧立面图。
图6B示出了根据一个或多个实施例的用于检查机器视觉系统的光学链的反射工具的侧立面图,其中反射工具位于用于在基于视觉的检查站内以竖直取向运输反射工具的载体中。
图7A示出了根据一个或多个实施例的在成像设备的视场的第一位置的反射工具的侧立面图。
图7B示出了根据一个或多个实施例的在成像设备的视场内的多个不同位置的反射工具的多个图像。
图8A示出了根据一个或多个实施例的光学检查站的机器视觉系统捕获的在一个位置的反射工具的图像。
图8B示出了根据一个或多个实施例的通过将反射工具的图像序列电子拼接(stitch)在一起而生成的合成背景的图像。
图9示出了根据一个或多个实施例的根据反射工具的图像序列生成的合成背景,其中合成背景示出了光学链中的缺陷。
图10示出了显示根据一个或多个实施例的标识机器视觉系统中的缺陷的方法的流程图。
图11示出了显示根据一个或多个实施例的标识光学检查站中的缺陷的方法的流程图。
具体实施方式
在一些实施例中,图像的分析可用于检查样本容器和/或位于其中的样本的质量,以确保样本容器和/或位于其中的样本的适当性。例如,如果盖子的颜色和/或盖子的形状与要进行的测试不一致,则可以向操作者/技术人员标记错误。例如,抽血者可能已经使用了不合适的样本容器类型用于已预定的测试。例如,当在特定测试中已经要求含有抗凝血剂的样本容器时,可能已经使用了含有促凝剂的样本容器。盖子类型和/或盖子形状的改进的表征有助于检测这些不正确的场景。
在其他实施例中,例如,可以针对其中溶血、黄疸、脂血症和/或正常(N)的存在和/或伪像(例如凝块、泡沫和/或(多个)气泡)的存在而对样本进行光学预筛选。机器视觉系统需要非常详细和精确的图像,以便提供对样本容器和/或样本的精确分析。
如果机器视觉系统内的光学链中存在灰尘或其他颗粒,则机器视觉系统可能生成错误的图像和/或图像数据。如果一个或多个光学组件有缺陷,也可能生成错误的图像和/或图像数据。因此,本文提供了分析机器视觉系统的光学链和/或组件的方法和装置。
机器视觉系统可以包括照亮样本容器和/或样本的照明组件(例如,发光二极管(LED)面板)。成像器(例如,电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器)将样本容器和/或样本的图像转换成可由软件处理和/或分析的图像数据。机器视觉系统内的透镜将光(诸如从样本容器和/或样本反射的光)聚焦到成像器上。
机器视觉系统内的光学链包括用于生成由机器视觉系统成像的物体的图像数据的光学设备和光路。光学链可以包括照明设备、成像设备和在设备之间延伸的光路。光学链中的任何缺陷(例如异常),诸如透镜或成像器上的划痕或灰尘颗粒,可以可能地影响光学分析的准确性。在一些实施例中,缺陷可以是照明设备上的颗粒和/或有缺陷的照明设备。缺陷可能导致机器视觉系统错误地分类样本容器和/或样本,或者不正确地分析样本。本文描述了确定机器视觉系统的光学链中是否存在缺陷的方法和装置。
本文公开的机器视觉系统的实施例移动反射工具通过成像设备的视场,并捕获反射工具在视场内的不同位置的图像。分析反射工具的图像以确定光学链中是否存在缺陷。在一些实施例中,图像被拼接在一起以形成可被称为合成画布或合成背景的单个图像。可以分析合成背景以确定光学链中是否存在缺陷。本文参考图1-11更详细地描述了这些和其他方法、装置和系统。
现在参考图1,其示出了基于视觉的检查站100的俯视立体图,该检查站在本文中可被称为光学检查站100。例如,如图1所示,光学检查站100被实现为质量检查模块的一部分。然而,光学检查站可以在其他模块内实现。光学检查站100被配置成光学分析样本容器和/或位于其中的样本。为了说明的目的,光学检查站100显示为具有敞开的顶部。然而,光学检查站100可以闭合,以防止外来光进入光学检查站100。
光学检查站100可以是分析样本的诊断实验室系统中的许多模块之一。光学检查站100可以包括可以与实验室信息服务器(LIS)104通信的计算机102。计算机102可以包括处理器102A和存储器102B,其中存储器102B存储由处理器102A执行的程序。
在一些实施例中,一个或多个程序被配置为处理图像数据,并且将图像或图像的部分电子拼接在一起。一个或多个程序还可以被配置成分析图像数据以检测光学链中的缺陷,如本文所述。LIS104可以从医院信息系统接收关于要使用光学检查站100和诊断实验室系统中的其他模块在样本上运行分析(例如,测试)的某些信息。同样,LIS可以接收关于光学链中是否存在任何检测到缺陷的信息。在一些实施例中,计算机102和LIS104可以实现为单个设备。
光学检查站100可以包括机器视觉系统106。机器视觉系统106和/或其组件可以与计算机102通信(例如,电耦合)。机器视觉系统106捕获样本容器和/或位于其中的样本的图像,并生成代表图像的图像数据。在图1的实施例中,光学检查站100具有位于其中的样本容器108。计算机102可以如本文所述处理样本容器108的图像数据。
机器视觉系统106包括一个或多个成像设备110。在图1的实施例中,机器视觉系统106包括三个成像设备110,单独地称为第一成像设备110A、第二成像设备110B和第三成像设备110C。
机器视觉系统106可以包括照亮样本容器108的一个或多个照明源。照明源可以包括相对于成像设备照亮样本容器108前面的前照明源。照明源还可以包括相对于成像设备提供样本容器108的背面照明的背面照明源。在图1的实施例中,机器视觉系统106包括被配置为光面板112的单个背面照明源,光面板112相对于第一成像设备110A提供样本容器108的背面照明。光面板112可以耦合到计算机102,其中计算机102被配置为关闭和打开光面板112。光面板112与第一成像设备110A对准,以提供样本容器108的背光照明。当光面板112打开(例如,照明)时,第一成像设备110A可以捕获光面板112或位于光面板112和第一成像设备110A之间的任何东西(诸如样本容器108)的图像。机器视觉系统106的一些实施例不包括任何光面板组件。
如上所述,机器视觉系统106可以包括一个或多个前照明源,其相对于一个或多个成像设备110照亮样本容器108的前面。在一些实施例中,一个或多个成像设备110可以包括一个或多个照明源。在图1的实施例中,机器视觉系统106可以包括位于第三成像设备110C附近的照明源113。在一些实施例中,机器视觉系统106可以包括与第二成像设备110B相关联的照明源313(图3)。
照明源113可以包括一个或多个发光二极管。照明源113可以在不同的位置,诸如固定到第三成像设备110C。在一些实施例中,照明源113可以固定到光学检查站100的壁,诸如靠近第三成像设备110C。照明源113可以被配置成用入射光照亮样本容器108。从样本容器反射的光入射到第三成像设备110C上,其中反射光可以用于捕获样本容器108的图像。
光学检查站100可以包括运输系统116,该运输系统116被配置为移动样本容器108通过光学检查站100。运输系统116可以包括载体120可以在其上移动的轨道118。载体120可以被配置为运载或保持样本容器108在竖直取向上,如图所示。轨道118可以是有轨轨道(例如单轨或多轨)、传送带的集合、传送带链、可移动平台、磁性运输系统或任何其他合适类型的传送机构的集合。在一些实施例中,载体120可以在轨道118上自推进,并且可以被配置为沿着轨道118停在编程的位置。运输系统116可以控制样本容器108移动通过光学检查站100的速度,并且可以停止样本容器108在机器视觉系统106内的移动。
光学检查站100可以包括入口隧道122A和出口隧道122B,其中样本容器108经由入口隧道122A进入光学检查站100,并且经由出口隧道122B离开光学检查站100。入口隧道122A和出口隧道122B使得样本容器108能够进入和离开光学检查站100,而不允许外部光进入光学检查站100。
另外参考图2,其示出了载体220中的样本容器108的侧立面图。样本容器108包括管224,并且可以被盖子226盖住。样本228可以位于管224中。样本228可以是将由诊断实验室分析仪分析的任何液体,光学检查站100(图1)位于诊断实验室分析仪内或与之相关联。管224可以具有附于其上的标签230。标签230可以包含与样本228相关的信息,诸如条形码232。在一些实施例中,信息可以包括标识样本228的数字和/或字母。条形码232的图像可以由一个或多个成像设备110捕获。在一些实施例中,样本228的图像可以由成像设备110捕获。在其他实施例中,盖子226的图像可由成像设备110捕获。在一些实施例中,管224、盖子226和/或样本228的图像可以由成像设备110捕获。
另外参考图3,其示出了光学检查站100的局部剖视图。在图1和3的实施例中,机器视觉系统106可以包括三个成像设备110,第一成像设备110A、第二成像设备110B和第三成像设备110C。因此,有三个成像光路,一个成像光路与成像设备110中的每一个相关联。第一成像设备110A具有第一成像光路328A和与之相关联的第一视场330A。第二成像设备110B具有第二成像光路328B和与之相关联的第二视场330B。第三成像设备110C具有第三成像光路328C和与之相关联的第三视场330C。
视场330A-330C内的样本容器108的照明可以由各种照明源提供。在图3的实施例中,光面板112可以为第一视场330A提供背面照明。在样本容器108处于第二视场330B中的同时,照明源313可以提供样本容器108的前照明。在样本容器108处于第三视场330C中的同时,照明源113可以提供样本容器108的前照明。当样本容器108位于相应成像设备110的视场330A-330C内的任何位置时,成像设备110可以捕获样本容器108的图像。
现在参考图4A,其示出了捕获样本容器108的图像的第二成像设备110B的侧立面图。还参考图4B,其示出了第二成像设备110B的俯视图,其中样本容器108处于第二视场330B内的不同位置。如图所示,照明源113经由具有照明图案438的光路436照亮样本容器108。当样本载体108移动通过第二视场330B内的不同位置时,照明图案438可以照亮样本载体108。如图4A的侧视图所示,照明图案438可以为整个样本容器108提供照明。如图4B的顶视图所示,当样本容器108移动通过第二视场330B中的各个位置时,照明图案438可以照亮样本容器108。
在图4B的实施例中,当样本容器移动通过第二视场330B时,样本容器108显示在第二成像设备110B的第二视场330B内的多个位置。多个位置中的七个被示为位置1至位置7。当样本容器108处于位置1和位置7时,样本容器108可能没有被照明源313完全照亮,并且可能没有完全位于第二成像设备110B的第二视场330B内。
从样本容器108反射的光在第二成像设备110B中接收,并被转换成图像数据。在一些实施例中,反射光可以穿过透镜440,透镜440将反射光聚焦到成像器442上。另外参考图4C,其是成像器442的实施例的前视图的示意图。例如,成像器可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。成像器442包括图像元素或像素444的阵列,诸如二维阵列。像素444将图像的单独的部分转换成电信号,该电信号在这里被称为像素值,并且取决于像素444上接收的光的强度。因此,成像器442上接收高强度的光的位置中的像素444可以生成高像素值,并且成像器442上接收低强度的光的位置中的像素444可以生成低像素值。在一些实施例中,像素值被数字化,诸如被数字化为0到255之间的像素值,其中像素值0可以指示在该像素处没有接收到光,并且像素值255可以指示像素饱和。
在光学检查站100(图1和3)的操作期间,运输系统116可以将样本容器108移动到光学检查站100中。运输系统116将样本容器108移动到光学检查站100内的成像位置,该成像位置是光学检查站100内位于相应成像设备的至少一个视场中的位置。如本文所述,当样本容器108移动通过(多个)相应视场时,一个或多个成像设备110可以捕获样本容器108的顺序图像。在一些实施例中,当样本容器以1毫米至3毫米的增量移动时,成像设备110可以捕获图像。可以选择这些增量以提供足够的成像来检测光学链中的缺陷,如本文所述。
当样本容器108处于成像位置时,一个或多个照明源可以照亮样本容器108。在图1和3的实施例中,光面板112可以相对于第一成像设备110A提供样本容器108的背面照明。如上所述,背面照明的样本容器108的图像然后可以由第一成像设备110A捕获。照明源313可以相对于第二成像设备110B对样本容器108前照明。第二成像设备110B然后可以捕获样本容器108的图像。照明源113可以相对于第三成像设备110C对样本容器108前照明。第三成像设备110C然后可以捕获样本容器108的图像。
参考图4B,样本容器108可以位于第二成像设备110B的第二视场330B中的位置1-7之间。当样本容器移动通过第二视场330B时,诸如在位置1和位置7之间,第二成像设备110B捕获样本容器108的图像或顺序图像。参考图5A-5B,其示出了视场内不同位置的样本容器108。在图5A-5B的实施例中,视场是与第二成像设备110B相关联的第二视场330B,但是可以与和其他成像设备相关联的其他视场相同或相似。
图5A示出了处于图4B所示的位置5的样本容器108。图5B示出了处于图4B所示的位置6的样本容器108。视场330B可以具有图5A和5B所示的不同尺寸,其可以生成样本容器108的不同部分的图像数据。在本文描述的实施例中,在光学检查站100中的样本容器108后面没有光面板或反射设备(图1和3)。因此,除了样本容器108的图像以外的图像的背景较暗。
本文使用的术语“光学链”是指光路和处理光的设备。光学链可以包括照明源(例如,照明源113和照明源313)、成像设备110。光学链可以包括成像设备110的组件,诸如透镜440和成像器442。光学链可以包括照明源和样本容器108之间以及样本容器108和成像设备110之间的光路。这里将描述(多个)光学链中的缺陷(例如,异常或故障)。
在图5A和5B的实施例中,光学链具有缺陷,其显示为暗点546和亮点548。为了说明的目的,图5A-5B中所示的暗点546和亮点548的尺寸可以被放大。出于说明的目的,亮点548被示为用虚线包围。实际上,亮点548没有被虚线包围。暗点546可以是比平均像素值小预定量的像素值。例如,暗点546可以被标识为比所有像素值的平均值小10%的像素值。亮点548可以是比平均像素值大预定量的像素值。例如,亮点548可以被标识为比所有像素值的平均值大10%的像素值。
暗点546可能由若干种类型的缺陷引起,包括光学链中的死像素和/或颗粒。死像素是成像器442中产生低电压或无电压的像素,而与入射到死像素上的光的强度无关。用在成像器442中具有死像素的成像器442(图4C)捕获的所得到的图像将在所得到的图像中包括暗点,如图5A和5B所示。亮点548可能是由缺陷像素(例如,饱和像素)引起的,缺陷像素产生高电压或最大电压,而与入射到饱和像素上的光的强度无关。在某些情况下,光学链中的颗粒可能会将过多的光折射到一些像素上,并且导致像素饱和。
暗点546和亮点548干扰代表样本容器108和/或位于其中的样本228(图2)的图像的分析。例如,图像数据将包括太高的代表亮点548的像素值和太低的代表暗点546的像素值。如图5A所示,暗点546可以被解释为样本228中的点。图5A中的亮点548可能干扰条形码232的图像。如图5B所示,暗点546和亮点548都可能干扰样本228的图像。
本文描述的装置和方法利用本文描述的反射工具捕获图像,以检查(多个)光学链的状态并发现光学链中的缺陷。现在参考图6A,其示出了反射工具650的实施例。反射工具650可以被配置为具有反射外部652的管624,诸如样本容器108的管224(图2)。反射外部652可以是反射由照明源113(图3)和/或照明源313(图3)发射的光的颜色。在一些实施例中,反射外部652可以是附着到管624的白色标签或套筒。当从横截面看时,反射工具650被图示为圆形。在其他实施例中,反射工具650可以具有其他形状,诸如当从横截面看时为椭圆形或成形为多边形。图6B示出了在载体220中接收的反射工具650,这使得反射工具650能够诸如通过运输系统116(图3)被运输通过光学检查站100(图3)。
反射工具650可以具有均匀的反射率。例如,反射工具650的反射率可能变化不超过5%。在其他实施例中,反射工具650的反射率可以变化不超过10%。因此,反射工具650响应于照亮反射工具650的照明源113、313(图3)均匀地反射光。在其中反射工具650具有附着于其的标签或其他反射表面的实施例中,标签或其他反射表面可以具有均匀的反射率。
可以通过对视场内不同位置的反射工具650的一个或多个图像(例如,顺序图像)进行成像和分析来检查光学链的状态。顺序图像可用于生成合成幕帘或合成背景,在理想条件下,合成幕帘或合成背景应当具有均匀的强度,诸如没有暗点546和亮点548。在一些实施例中,分析反射工具650的单独的图像。在一些实施例中,均匀的合成背景可以具有其中90%的像素值彼此相差在10%以内的光强度。在其他实施例中,均匀的合成背景可以具有其中95%的像素值彼此相差在5%以内的光强度。
在一些实施例中,图像序列被电子拼接在一起以形成合成背景。光学链中的缺陷将导致伪像,诸如暗点546和/或亮点548,出现在图像序列中的一个或多个图像中。参考图7A,其示出了反射工具650,同时反射工具650位于第二视场330B内。例如,图7A中所示的反射工具650可以位于图4B中所示的位置1或位置7。注意,当反射工具650处于图7A所示的位置时,只有位于第二视场330B(图4B)内的反射工具650的部分被第二成像设备110B捕获。本文描述的过程可以应用于其他视场。
在图7A的实施例中,反射工具650接近位置1(图4B),其中只有反射工具650的一部分在第二视场330B中,因此只有反射工具650的一部分被第二成像设备110B捕获。在一些实施例中,只有反射外部652的图像的一部分被处理以生成合成背景。在图7A的实施例中,反射外部652的前部756可以被分析以生成合成背景。前部756是反射外部652的面向第二成像设备110B的部分。前部756的尺寸可以是反射外部652的反射率、入射在反射外部652上的照明和/或合成背景的期望均匀性的函数。例如,当前部756较小时,可以处理反射外部652的与第二成像光路328B垂直的更多部分,这在合成背景中产生了高均匀性。
现在参考图7B,其示出了反射工具650被运输通过第二视场330B时的反射工具650。如图7B所示,反射工具650的前部756的图像在顺序图像中重叠。在一些实施例中,反射工具650的顺序图像可以彼此重叠达至少75%。在其他实施例中,前部756的顺序图像可以彼此重叠达至少85%。前部756的图像可以被处理以形成如本文所述的大体上均匀的合成背景。
另外参考图8A,其示出了由第二成像设备110B(图3)捕获的反射工具650的图像860。如图8A所示,在图像860中只有反射外部652是可见的。光学检查站100(图3)的内部是暗的,因此只有反射外部652反射由照明源113(图3)产生的光。如参考图7B所述,当反射工具650移动通过第二视场330B时,反射工具650的顺序图像由机器视觉系统106中的第二成像设备110B和/或其他成像设备捕获。例如,反射工具650可以停止在第二视场330B中的不同位置,同时捕获反射工具650的单独的图像。在一些实施例中,对于每个顺序图像,反射工具650移动1mm至3mm。反射工具的这种增量移动可以提供均匀的合成背景。
如本文所述,可以处理和分析反射外部652的前部756的顺序图像。另外参考图8B,该处理可以重叠前部756的顺序图像,以生成合成背景864的图像。在理想条件下,合成背景864的图像的像素值的强度是相同的,这表示均匀的合成背景864。在一些实施例中,大多数或预定数量的像素值可以在如上所述的预定范围内,这构成了均匀的合成背景864。
在图8B的实施例中,合成背景864可以由拼接软件形成,该拼接软件将前部756的顺序图像电子地拼接在一起以形成合成背景864。拼接软件可以与用于从顺序捕获的单独图像生成全景图像的图像处理软件相同或相似。其他软件或过程可以用于从前部756的图像生成合成背景864。在图8B的实施例中,感兴趣区域866是将被分析的合成背景864的一部分。感兴趣区域866由顶部边缘866A和底部边缘866B界定,顶部边缘866A和底部边缘866B可以分别是前部756的顶部边缘和底部边缘。感兴趣区域866可以包括左边缘866C和右边缘866D,左边缘866C和右边缘866D可以分别是第二视场330B的左边缘和右边缘。
现在参考图9,其示出了合成背景864的图像,其示出了指示光学链中的缺陷的伪像或图像。当光学链中没有缺陷时,像素值应该都在预定值内。在一些实施例中,理想感兴趣区域866中的像素值可以接近饱和像素值,诸如来自最大值255中的值250。在其他实施例中,理想感兴趣区域866中的像素值可能小于接近饱和。在图9的实施例中,合成背景864的图像包括点970,其中构成点970的像素值不同于(例如,小于)理想感兴趣区域的像素值。点970可以指示透镜440和/或成像器442(图4C)上的颗粒(例如,灰尘)。点970也可以指示有故障的照明源313(图3)和/或照明源313上的颗粒。颗粒可导致较少的光入射到成像器442,这导致对应像素的像素值小于理想感兴趣区域866的像素值。点970可以由具有低于预定值的值的相邻像素的预定数量的像素值来标识。
感兴趣区域866还可以包括一个或多个暗点972A和/或一个或多个亮点972B。暗点972A可指示成像器442中的死像素,其不产生任何电压,而与入射在暗像素上的光的强度无关。暗点972A也可以指示光学链中的颗粒,诸如透镜440(图4B)和/或照明源313(图3)上的颗粒。亮点972B可以指示产生高电压的饱和像素,而与入射到饱和像素上的光的强度无关。亮点972B也可以指示光学链中引起镜面反射或将光聚焦到某些像素上的颗粒,诸如透明颗粒。
在感兴趣区域866中检测到亮点和/或暗点时,技术人员等可以清洁光学链中的物品。例如,技术人员等可以清洁透镜440(图4B)。如果在光学链中的物品被清洁之后,一个或多个点、亮点和/或暗点保留在感兴趣区域866中,则技术人员可以确定成像器442中的一个或多个像素有缺陷。在未来的图像分析中,由缺陷像素生成的像素值可以被忽略。如果预定数量的像素有缺陷,技术人员可以更换成像器442或相应的成像设备。
在一些实施例中,计算机102(图3)可以从成像设备110(图3)接收图像数据。计算机102可以执行基于图像数据生成合成背景864的软件。计算机102也可以执行分析感兴趣区域866的软件。例如,软件可以分析图像数据以确定感兴趣区域是否包含亮点和/或暗点。该软件可以指示技术人员响应于该分析来清洁光路。如果在清洁光路后仍存在亮点和/或暗点,则软件可以将与亮点和/或暗点相关联的像素指定为有缺陷的。当分析图像,诸如样本容器108(图2)的图像时,软件可以进一步忽略由有缺陷的像素生成的像素值。在一些实施例中,软件可以生成缺陷的通知。
在一些实施例中,可以分析反射外部652的顺序图像,而不是生成合成背景。例如,上述分析可以利用成像设备的视场内不同位置的反射工具650(图4B)来执行。参考图4B,当反射工具650处于位置1时,可以捕获反射工具650的图像。然后可以分析反射外部652的图像,以确定光学链中是否存在任何缺陷。该分析可以确定光学链中是否存在颗粒,或者对应于位置1的任何像素444是否有缺陷。反射工具650然后可以被移动到位置2,在那里反射外部652的图像被成像和分析。该分析可以确定光学链中是否存在颗粒,或者对应于位置2的任何像素444是否有缺陷。当反射工具650位于视场中的不同位置时,可以重复该过程。
现在参考图10,其示出了标识机器视觉系统(例如,光学检查站100)中的缺陷的方法1000的流程图。方法1000包括,在1002中,提供具有第一视场(例如,视场330B)的第一成像设备(例如,成像设备110B)。方法1000包括,在1004中,移动反射工具(例如,反射工具650)通过第一视场。方法1000包括,在1006中,使用第一成像设备捕获反射工具在第一视场中的不同位置的多个图像。方法1000包括,在1008中,分析多个图像中的至少一个以标识机器视觉系统中的一个或多个缺陷。
参考图11,其示出了显示标识光学检查站(例如,机器视觉系统106)中的缺陷的方法1100的流程图。方法1100包括,在1102中,提供具有视场(例如,视场330B)的成像设备(例如,成像设备110B)。该方法包括,在1104中,移动反射工具(例如,反射工具650)通过视场。方法1100包括,在1106中,使用成像设备反射工具在视场中的不同位置捕获的多个图像。方法1100包括,在1108中,分析多个图像中的至少一个以标识光学检查站中的一个或多个缺陷。
虽然本公开容易受到各种修改和替代形式的影响,但是已经通过附图中的示例示出了特定的方法和装置实施例,并且在此对其进行了详细描述。然而,应该理解的是,本文公开的特定方法和装置并不旨在限制本公开,而是相反,覆盖了落入权利要求范围内的所有修改、等同物和替代物。
Claims (20)
1.一种标识机器视觉系统中的缺陷的方法,包括:
提供具有第一视场的第一成像设备;
移动反射工具通过第一视场;
使用第一成像设备捕获反射工具在第一视场中的不同位置的多个图像;以及
分析多个图像中的至少一个以标识机器视觉系统中的一个或多个缺陷。
2.根据权利要求1所述的方法,还包括在捕获期间照亮反射工具。
3.根据权利要求1所述的方法,其中移动反射工具包括移动具有反射表面的管通过第一视场。
4.根据权利要求1所述的方法,其中移动反射工具包括移动管通过第一视场,所述管具有附着于其的标签,所述标签具有均匀的反射率。
5.根据权利要求1所述的方法,其中:
移动反射工具包括移动管通过第一视场,所述管具有反射性的感兴趣区域;并且
捕获反射工具的多个图像包括捕获感兴趣区域的多个图像。
6.根据权利要求5所述的方法,其中所述感兴趣区域是白色的。
7.根据权利要求1所述的方法,包括将反射工具的多个图像中的两个或更多个图像拼接在一起以生成合成背景,其中分析多个图像中的至少一个包括分析合成背景。
8.根据权利要求7所述的方法,其中所述分析包括分析感兴趣区域。
9.根据权利要求7所述的方法,其中所述多个图像包括像素值,并且进一步包括拼接,所述拼接包括将所述多个图像中的两个或更多个拼接在一起,以生成具有其中90%的像素值彼此在10%以内的光强度的合成背景。
10.根据权利要求1所述的方法,其中分析包括分析所述多个图像中的一个或多个,以确定第一成像设备的透镜上是否存在颗粒。
11.根据权利要求1所述的方法,其中分析包括分析所述多个图像中的一个或多个,以确定第一成像设备的一个或多个像素是否有缺陷。
12.根据权利要求1所述的方法,其中捕获包括捕获反射工具在第一视场中的10个或更多个不同位置的10个或更多个图像。
13.根据权利要求1所述的方法,其中捕获多个图像包括捕获反射工具的多个重叠图像。
14.根据权利要求13所述的方法,其中所述多个图像彼此重叠达至少75%。
15.根据权利要求1所述的方法,包括:
提供具有第二视场的第二成像设备;
移动反射工具通过第二视场;
捕获反射工具在第二视场中的不同位置的多个第二图像;以及
分析多个第二图像中的至少一个以标识机器视觉系统中的一个或多个缺陷。
16.一种标识光学检查站中的缺陷的方法,包括:
提供具有视场的成像设备;
提供被配置为移动样本容器通过视场的运输系统;
移动反射工具通过视场;
使用成像设备捕获反射工具在视场中的不同位置的多个图像;以及
分析多个图像中的至少一个以标识光学检查站中的一个或多个缺陷。
17.根据权利要求16所述的方法,其中所述反射工具具有管的形状。
18.根据权利要求16所述的方法,其中捕获多个图像包括捕获反射工具的彼此重叠的多个图像。
19.根据权利要求16所述的方法,包括将反射工具的多个图像中的两个或更多个拼接在一起以生成合成背景,其中分析多个图像中的至少一个包括分析合成背景。
20.一种机器视觉系统,包括:
成像设备,其具有视场并被配置成捕获反射工具在视场中的不同位置的多个图像;
运输系统,其被配置为移动样本容器和反射工具通过视场;以及
计算机,其被配置为分析所述多个图像中的至少一个,并确定机器视觉系统的光学链中是否存在缺陷。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163145953P | 2021-02-04 | 2021-02-04 | |
US63/145953 | 2021-02-04 | ||
PCT/US2022/014992 WO2022169910A1 (en) | 2021-02-04 | 2022-02-02 | Apparatus and methods of detecting defects in machine vision systems |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116829927A true CN116829927A (zh) | 2023-09-29 |
Family
ID=82742490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280013497.3A Pending CN116829927A (zh) | 2021-02-04 | 2022-02-02 | 检测机器视觉系统中的缺陷的装置和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240037723A1 (zh) |
EP (1) | EP4288766A1 (zh) |
JP (1) | JP2024506290A (zh) |
CN (1) | CN116829927A (zh) |
WO (1) | WO2022169910A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5344192A (en) * | 1993-04-01 | 1994-09-06 | Phillips George K | Visual validation mark for bank checks and other security documents |
US7619626B2 (en) * | 2003-03-01 | 2009-11-17 | The Boeing Company | Mapping images from one or more sources into an image for display |
US7929800B2 (en) * | 2007-02-06 | 2011-04-19 | Meadow William D | Methods and apparatus for generating a continuum of image data |
EP2809444B1 (en) * | 2012-02-03 | 2018-10-31 | Siemens Healthcare Diagnostics Inc. | Barcode reading test tube holder |
CN112689752A (zh) * | 2018-09-20 | 2021-04-20 | 美国西门子医学诊断股份有限公司 | 用于对基于视觉的检查系统的光学组件进行自主诊断验证的系统、方法和装置 |
-
2022
- 2022-02-02 JP JP2023547186A patent/JP2024506290A/ja active Pending
- 2022-02-02 WO PCT/US2022/014992 patent/WO2022169910A1/en active Application Filing
- 2022-02-02 US US18/264,237 patent/US20240037723A1/en active Pending
- 2022-02-02 EP EP22750352.1A patent/EP4288766A1/en active Pending
- 2022-02-02 CN CN202280013497.3A patent/CN116829927A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022169910A1 (en) | 2022-08-11 |
JP2024506290A (ja) | 2024-02-13 |
US20240037723A1 (en) | 2024-02-01 |
EP4288766A1 (en) | 2023-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3408646B1 (en) | Methods and apparatus for characterizing a specimen container and a specimen | |
CN110573859B (zh) | 用于使用卷积神经网络的hiln表征的方法和装置 | |
JP2019504995A (ja) | 複数の露光を使用して試料容器及び/又は試料を画像化するための方法及び装置 | |
EP2596371B1 (en) | Method to analyze an immunoassay test strip comb member | |
US9366623B2 (en) | Optical analysis method for liquid in a sample container and analysis device for carrying out the method | |
US7355692B2 (en) | System and method for inspecting electrical circuits utilizing reflective and fluorescent imagery | |
KR101733197B1 (ko) | 멀티 광학 비전 장치 | |
JP2002513463A (ja) | 成形容器内の応力検出システムおよび方法 | |
CN100557417C (zh) | 成像装置 | |
JP4997255B2 (ja) | 細胞画像解析装置 | |
CN110208269B (zh) | 一种玻璃表面异物与内部异物区分的方法及系统 | |
JP2012159318A (ja) | 分析装置 | |
JP2021527221A (ja) | 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置 | |
US20200256885A1 (en) | Methods and apparatus for ascertaining specimen and/or specimen container characteristics | |
JP5417197B2 (ja) | 検査装置および検査方法 | |
JP4271054B2 (ja) | 細胞画像解析装置 | |
JP2024506649A (ja) | 単一の画像取込みデバイスを使用して検体容器の3d中心位置を識別するように適用された方法および装置 | |
CN211403010U (zh) | 显示面板异物定位装置 | |
CN116829927A (zh) | 检测机器视觉系统中的缺陷的装置和方法 | |
US20200256884A1 (en) | Methods and apparatus for imaging specimens and/or sample containers | |
US20240169093A1 (en) | Methods and apparatus for protecting patient information during characterization of a specimen in an automated diagnostic analysis system | |
CN213580716U (zh) | 用于检测晶圆吸盘残留异物的线扫描光学检测系统 | |
CN118225797A (zh) | 半导体晶圆的自动检测系统和方法 | |
WO2023230024A1 (en) | Methods and apparatus for determining a viewpoint for inspecting a sample within a sample container | |
CN113607754A (zh) | 检测设备及检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |