CN112689752A - 用于对基于视觉的检查系统的光学组件进行自主诊断验证的系统、方法和装置 - Google Patents

用于对基于视觉的检查系统的光学组件进行自主诊断验证的系统、方法和装置 Download PDF

Info

Publication number
CN112689752A
CN112689752A CN201980061744.5A CN201980061744A CN112689752A CN 112689752 A CN112689752 A CN 112689752A CN 201980061744 A CN201980061744 A CN 201980061744A CN 112689752 A CN112689752 A CN 112689752A
Authority
CN
China
Prior art keywords
image
light intensity
light
intensity pattern
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980061744.5A
Other languages
English (en)
Inventor
张耀仁
B·S·波拉克
R·R·P·纳拉姆文卡特
V·纳拉辛哈墨菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of CN112689752A publication Critical patent/CN112689752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9009—Non-optical constructional details affecting optical inspection, e.g. cleaning mechanisms for optical parts, vibration reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

提供了一种用于对基于视觉的检查系统的光学组件中的缺陷进行自主诊断验证和检测的方法。所述方法包括：利用第一光强图案来照射光面板；利用传感器来捕获第一光强图案的第一图像；利用不同于第一光强图案的第二光强图案来照射光面板；利用传感器来捕获第二光强图案的第二图像；比较第一图像和第二图像以生成图像的比较；以及基于图像的比较来标识光面板或传感器中的缺陷。提供了被适配成执行所述方法的系统作为其他方面。

Description

用于对基于视觉的检查系统的光学组件进行自主诊断验证的 系统、方法和装置
相关申请
本申请要求2018年9月20日提交的并且题为“METHOD AND DEVICE FORAUTONOMOUS OPTICAL COMPONENTS HEALTH CHECK”的美国临时专利申请No.62/733,954的优先权，该申请出于所有目的以其全部内容并入本文中。
技术领域
本公开涉及基于视觉的系统，并且更特别地涉及被配置成执行对生物试样的自动化预检查的系统、方法和装置。
背景技术
在一些基于视觉的自动化样本检查系统中，可以将包含试样（例如，生物试样）的样本管定位在基于视觉的样本检查系统中的期望位置处，并且然后可以获得一个或多个数字图像。这种系统可以利用诸如照明面板（例如，发光二极管（LED）光面板）和光学传感器之类的光学组件。根据所获得的一个或多个数字图像，可以获得试样和/或容纳试样的试样容器的各种属性。例如，可以获得对试样组分的各种体积的确定，诸如血清体积、血浆体积、离心试样的沉降红血细胞体积、凝胶分离器的存在、样本管的大小、盖颜色、以及干扰物的存在等等，干扰物诸如溶血（H）、黄疸（I）或脂血症（L）（统称为HIL）。因此，寻求展现出鲁棒操作的系统、方法和装置。
发明内容
在一些实施例中，提供了一种用于对基于视觉的检查系统的光学组件进行自主诊断验证的方法。该方法包括：利用第一光强图案来照射光面板；利用传感器来捕获第一光强图案的第一图像；利用不同于第一光强图案的第二光强图案来照射光面板；利用传感器来捕获第二光强图案的第二图像；比较第一图像和第二图像以生成图像的比较；以及基于图像的比较来标识光面板或传感器中的缺陷。
在一些实施例中，提供了一种基于视觉的检查系统，该系统可操作以执行对光学组件的自主诊断验证。该系统包括计算机，计算机包括存储器，存储器存储可由计算机执行的指令，该指令包括：利用第一光强图案来照射光面板；利用传感器来捕获第一光强图案的第一图像；利用不同于第一光强图案的第二光强图案来照射光面板；利用传感器来捕获第二光强图案的第二图像；比较第一图像和第二图像以生成图像的比较；以及基于图像的比较来标识光面板或传感器中的缺陷。
在一些实施例中，提供了用于对基于视觉的检查系统的光学组件进行自主诊断验证的替代方法。该方法包括：利用传感器来捕获所照射的光面板的第一图像；激活光面板上的遮罩（mask）；利用传感器来捕获被遮蔽的光面板的第二图像；比较第一图像和第二图像以生成图像的比较；以及基于图像的比较来标识光面板或传感器中的缺陷。
根据本公开的这些和其他方面，提供了许多其他方面。根据以下详细描述、权利要求和附图，本公开的其他特征和方面将变得更加充分地明显。
附图说明
图1A是根据本公开的实施例的包括光学组件诊断验证系统的基于视觉的检查系统的示例实施例的示意性俯视图描绘。
图1B是根据本公开的实施例的第一示例LED面板组装件的示意性后视图。
图1C是根据本公开的实施例的第二示例LED面板组装件的示意性后视图。
图2A和2B是根据本公开的实施例的利用两个不同的示例光强图案照射的LED面板组装件的示意性描绘。
图3A是根据本公开的实施例的包括碎屑（debris）缺陷的LED面板组装件的示意性描绘。
图3B是根据本公开的实施例的所生成的图像相关性图的示例。
图4A是根据本公开的实施例的包括划痕（scratch）缺陷的LED面板组装件的示意性描绘。
图4B是根据本公开的实施例的所生成的图像相关性图的示例。
图5是描绘了根据本公开的实施例的第一示例方法的流程图。
图6描绘了根据本公开的实施例的示例LCD过滤器。
图7A和7B是根据本公开的实施例的在图6的LCD过滤器后面的LED面板组装件的示意性描绘，该LCD过滤器是利用两个不同的示例过滤器图案而激活的。
图8A是根据本公开的实施例的包括碎屑缺陷的LED面板组装件的示意性描绘。
图8B是根据本公开的实施例的所生成的图像相关性图的示例。
图9是描绘根据本公开的实施例的第二示例方法的流程图。
具体实施方式
在使用诸如照明装置（例如，发光二极管（LED）光面板）和光学传感器（例如，电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）图像传感器）之类的光学组件的基于视觉的自动化样本管检查系统中，照明装置和/或传感器中的任何缺陷（诸如，其上的划痕或灰尘颗粒）都有可能影响样本检查的准确性。因此，在一方面，提供了用以最大化所使用的光学组件的正确操作的方法和装置。特别地，提供了使得能够对基于视觉的检查系统的光学组件进行自主诊断验证的系统、方法和装置。
用于检测基于视觉的检查系统的光学组件中的缺陷的系统和方法仅使用检查系统中已经存在的光源和传感器。换句话说，本文中公开的实施例不利用附加的硬件来测试基于视觉的检查系统的光学组件中的缺陷的存在。
针对缺陷来检查光学系统的最直观的方法是经由直接的手动视觉检查。然而，这种方法可能不容易实现，特别是如果将光学组件安装在外壳内部，则使得手动视觉检查可能会为了拆卸该系统、检查组件并且重新组装该系统而导致系统停机。虽然可以通过查看在接通和关闭照明组件时取得的所捕获图像而容易地检测到传感器的“热像素”或“死像素”，但是通过使用由传感器捕获的标准图像来检测传感器或光源上的缺陷（诸如，灰尘颗粒或划痕）要困难得多。
在其中基于视觉的检查系统包括利用多个可独立控制的LED照射的LED光面板的一些实施例中，本公开的实施例涉及使用不同组的LED来生成可改变的光强图案，以便利用两个不同（例如，互补）的光强图案来照射该面板，使得可以比较这两个不同图案的所捕获图像以指示缺陷的存在。特别地，在两个图像之间不发生改变的区域可以被标识为指示缺陷的存在。换句话说，如果没有缺陷，则由第一组LED生成的第一光强图案的图像在该LED面板上的所有点处都将看起来不同于由第二（完全不同的）组LED生成的第二光强图案的图像。然而，如果在光面板或传感器上存在缺陷，则与这两个不同光强图案的图像之间的其他区域相比，受该缺陷影响的区域将不会明显地改变或根本不改变。本质上，即使背景照明改变，阻挡了光的缺陷在两个所捕获的图像中看起来也是相同的（即，一致的），并且通过比较不同照明图案的图像，可以使用未改变的区域来标识缺陷的存在。
图1A描绘了基于视觉的检查系统100的示例实施例。基于视觉的检查系统100允许从多个视点（例如，视点1、2、3）获得试样容器102的多个图像，其中每个视点1、2和3分别包括传感器（例如，图像捕获设备104A-104C）。如图1A中所示，每个相应视点1、2和3包括光面板组装件106A-106C。基于视觉的检查系统100可以被配置和适配成：当试样位于成像位置108处时，自动地表征和/或量化试样（例如，包括血清或血浆部分、沉降的血液部分或其两者）和/或可以附加地或可选地量化试样容器102。成像位置108可以是例如来自视点1、2和3中的每一个的法向矢量相交的地方。
基于视觉的检查系统100的光面板组装件106A-106C可以使用可选地设置在漫射器后面或旁边的LED（或其他可行光源）阵列来构造，并且可以选择性地切换。光面板组装件106A-106C的发光源可以发射例如红色（R）、绿色（G）、蓝色（B）、白色光、近红外（NIR）和/或红外（IR）光谱。在图1A中示出了三个图像捕获设备104A-104C，但是可以使用一个或多个、两个或更多个、三个或更多个、或者甚至四个或更多个这种设备。为了使边缘失真最小化，可以使用三个或更多个传感器（例如，图像捕获设备104A-104C）。图像捕获设备104A-104C可以是能够捕获数字图像（即，像素化图像）的常规数字设备（例如，CCD或CMOS设备）。例如，三个图像捕获设备104A、104B、104C可以被配置成从多个（例如，三个）不同的横向视点1、2和3来捕获具有合适图像大小的图像，例如捕获试样容器102的全部或代表性部分。如将在本文中描述的，所捕获的多个图像可以由计算机110来处理，并且在一些实例中，可以通过使用“块”（例如，像素集合，诸如11×11像素网格）来处理。
每个图像捕获设备104A-104C可以被配置并且可操作以取得试样容器102的至少一部分和其中包含的试样的至少一部分的多个横向图像。例如，图像捕获设备104A-104C可以捕获试样212和/或试样容器102的一部分，包括标签、盖、以及管的一部分。最终，可以由每个图像捕获设备104A-104C从该多个图像中生成2D数据集，并且将其存储在计算机110的存储器中。从这些2D数据集中，可以经由已知方法来进行对试样和/或试样容器102的属性的处理。
在所示的实施例中，该多个图像捕获设备104A-104C被示为布置在成像位置108周围，并且被配置成从多个视点1、2和3来捕获横向图像。当使用三个图像捕获设备104A、104B、104C时，视点1、2和3可以间隔开，以使得它们彼此大致相等地间隔开，诸如彼此大约120度，如所示出的那样。如所描绘的，图像捕获设备104A-104C可以布置在轨道112的边缘周围，轨道112用于将试样容器102移入和移出成像位置108。可以使用该多个图像捕获设备104A-104C的其他布置和间隔。以这种方式，当试样容器102在成像位置108处驻留在载体114中、并且在一些情况下驻留在轨道112上时，可以取得试样容器102中的试样212的图像。在一些实施例中，图像可以略微重叠。
图像捕获设备104A-104C可以被提供为紧邻图像窗口并且被训练或聚焦以捕获图像窗口，图像窗口即包括试样容器102的预期位置的成像位置108，试样容器102可以被停止或放置在成像位置108中，使得其大致位于视图窗口的中心。在操作中，当计算机110接收到载体114适当地位于基于视觉的检查系统100中的成像位置108处的信号时，可以响应于由计算机110发送并且在通信线路116A-116C中提供的触发信号来触发并捕获每个图像。可以根据本领域已知的方法来处理所捕获的图像中的每一个。特别地，可以使用图像处理来捕获并处理图像，以便利用高水平的细节和信息内容来表征试样和试样容器102。
在一些实施例中，可以在由来自外壳118内的光面板组装件106A-106C的光进行背部照射的同时捕获多个光谱图像。体现为光面板组装件106A-106C的光谱可切换光源可以对试样容器102进行背部照射，如图1A中所示，并且该光谱可切换光源包括如下可切换光源布置：该布置包括多个LED或其他发光设备。对多个彩色图像的捕获和使用增加了用于分析的信息内容，并且可以在以特定光谱进行成像时强调某些特性吸收光谱。
在常规使用中，光面板组装件106A-106C在图像捕获设备104A-104C的整个视场120A-120C上提供了均匀的光发射。基于视觉的检查系统100可以包括外壳118，外壳118可以至少部分地围绕或覆盖轨道112，并且试样容器102在图像捕获操作期间可以位于外壳118内部。外壳118可以包括一个或多个门119，以允许载体114进入外壳118和/或从外壳118离开。
使用上面描述的设置，可以快速连续地获得针对每个相应光谱（例如，R、G、B、白色光、NIR和/或IR）以多个曝光时间取得的许多多个图像，使得可以例如在少于几秒的时间内获得来自多个视点1、2和3的针对试样的整个图像集合。可以使用其他时间长度。
现在转向图1B，示意性地描绘了光面板组装件106A1的第一示例实施例的后视图。示例光面板组装件106A1包括具有两个LED阵列124、126的显示面板122。在所示的示例中，每个阵列124、126包括例如以交替图案来设置的两个LED组128A、128B。在一些实施例中，两个组128A、128B是相同的LED，但是可分离地控制。换句话说，例如，可以在关闭组128B的同时接通组128A，并且可以在接通组128B的同时关闭组128A。图1C描绘了第二示例光面板组装件106A2，其包括具有四个LED阵列130、132、134、138的漫射器面板122。在所示的示例中，每个阵列130、132、134、138包括以交替图案来设置的两个LED组138A、138B。在一些实施例中，两个组138A、138B是相同的LED，但是可分离地控制。换句话说，例如，可以在关闭组138B的同时接通组138A，并且可以在接通组138B的同时关闭组138A。可以使用LED或光源的其他布置。
在一些实施例中，可以控制不同的组128A、128B（或138A、138B）以发射不同波长的光和/或不同强度的光。因此，例如，光面板组装件106A2可以用于通过接通LED组138A并且关闭LED组138B来生成图2A中的光面板组装件106A2上所示的第一光强图案200。相同光面板组装件106A2还可以用于通过关闭LED组138A并且接通LED组138B来生成不同于第一光强图案200的第二光强图案200’，如图2B的光面板组装件106A2上所示的那样。因此，通过切换不同的LED组，可以相应地改变面板上的强度分布。在一些实施例中，不同的强度（即，发送到LED组138A、138B的不同电流水平）可以用于生成所示的两个不同的图案。要注意的是，例如，所示的图案是互补的。换句话说，在其中一个图案是暗的区域中，另一个图案是亮的，并且反之亦然。虽然可以使用除了完全互补之外的光强图案，但是在一些实施例中，互补图案可以更容易揭示缺陷。
在诊断模式中并且在试样容器102不存在于图像位置108处的情况下，系统100可以被配置成将图像捕获设备104A聚焦在光面板组装件106A上。当光面板组装件106A上存在碎屑（例如，颗粒等）或光面板组装件106A或传感器（例如，图像捕获设备104A）上存在划痕或其他损坏时，该缺陷区域周围的光强分布会抵抗LED图案的改变。基于该认识，本公开的实施例在以不同光强（和/或波长）的图案来照射的光面板组装件106A的图像之间使用一致性检查，以检测光面板组装件106A或传感器中的缺陷。
例如，计算机110可以使用图像捕获设备104A来捕获利用两个不同光强的图案200、200’照射的光面板组装件106A的两个图像。然后，计算机110通过将每个图像划分成具有多个相对小的块的网格来处理所述图像，并且针对每个对应块来计算所述图像之间的互相关性（cross-correlation）。也就是说，针对两个图像“I”和“J”中的每个块“B”，利用块B内的每个像素p的归一化互相关性来计算相关性，如下所示：
Figure 42187DEST_PATH_IMAGE002
。
根据上述公式计算出的相关性越高，块“B”包含光学组件的缺陷的概率就越高。在操作中，可以设置阈值相关性值，其中高于阈值相关性值的任何计算出的相关性都被认为指示该位置处的光学组件中的缺陷的存在。
图3A描绘了光面板组装件300的示例，光面板组装件300具有作为该面板300上的缺陷的碎屑颗粒302，其中有问题的区域比该面板300的其他区域更暗（即，更小的光强水平）。图4A描绘了光面板组装件400的示例，光面板组装件400具有作为该面板400的显示面板上的缺陷的一个或多个划痕402，其中有问题的区域比其他区域更亮（即，更大的光强水平）。
使用本公开的方法，可以容易地检测到两种类型的缺陷，如在图3B的所生成的图像相关性图304中所示（即，暗区域306）、以及如在图4B的所生成的图像相关性图404中所示（即，暗区域406）。要注意的是，所生成的图像相关性图304、404表示计算出的相关性的标绘图，其中低于预定阈值相关性值的相关性值导致对应的块被显示为相对亮的颜色，并且其中高于预定阈值相关性值的相关性值导致对应的块被显示为相对暗的颜色。
图5是描绘了使用如上所描述的系统100以针对其中或其上的缺陷的存在来测试光学组件的示例方法500的流程图。在502中，利用第一光强图案（诸如例如，图2A的图案200）来照射光面板（诸如例如，光面板组装件104A），并且使用传感器（诸如例如，图1的图像捕获设备106A）来捕获第一光强图案200的第一图像。然后，在504中，利用第二光强图案（诸如例如，图2B的图案200’）来照射光面板，并且使用传感器来捕获第二光强图案200’的第二图像。接下来，在506中，比较两个所捕获的图像（第一图像和第二图像）（例如，通过计算这两个图像的每个对应块之间的相关性）以生成图像的比较（例如，数学比较）（例如，如上所描述的图像相关性图）。基于图像的比较（即，超过预定阈值的相对高的相关性区域的存在），该方法在508中标识光面板、传感器中的缺陷的存在。
在一些实施例中，可以通过插入过滤器或者通过使用设置在光面板前面的可改变的过滤器（例如，可配置的光阻挡LCD遮罩）来改变光强图案。这可以作为对改变光面板组装件中的LED的强度或波长的替代或补充。
图6描绘了被适配成安装在光面板组装件104A前面的可配置LCD遮罩600的示例的示意性表示。LCD遮罩400包括多个LCD区段602，该多个LCD区段602可以被选择性地激活（例如，单独控制的区段602或共同控制的区段组602）以阻挡光面板组装件104A所发射的光、或者使光面板组装件104A所发射的光通过。
图7A和7B描绘了通过选择性地激活LCD遮罩600的不同的两组LCD区段602而生成的两个不同光强的图案700、702。在替代实施例中，可以仅仅通过针对一个图像激活所有LCD区段602而针对第二图像不激活任何LCD区段来生成两个不同光强的图案。在一些实施例中，LCD区段可以与改变的LED组结合地使用。
图8A描绘了光面板组装件800，光面板组装件800包括作为光面板组装件800上的缺陷的碎屑颗粒302。图8B表示在LCD区段602被激活的情况下捕获的光面板组装件800的图像与LCD区段602未被激活的情况下捕获的图像之间的相关性图像的标绘图。要注意的是，在碎屑颗粒302存在于图像中的情况下，存在高于预定相关性阈值的对应高相关性，这导致了暗区域306，并且存在低于预定相关性阈值的低相关性，这导致了以亮颜色来显示剩余区域。
图9是描绘了用于使用过滤器（例如，LCD遮罩600）来检测基于视觉的检查系统100的光学组件中的缺陷的第二方法900的流程图。在902中，捕获第一LCD过滤器图案后面的所照射的LED面板的第一图像。在904中，捕获第二LCD过滤器图案后面的所照射的LED面板的第二图像。要注意的是，在一些实施例中，第二LCD过滤器图案可以仅仅是根本不存在任何LCD过滤器图案。接下来，在906中，比较两个所捕获的图像（例如，通过计算图像的每个对应块之间的相关性）以生成图像的比较（例如，数学比较）（例如，如上所描述的图像相关性图）。在908中，基于图像的比较（例如，超过预定阈值的相对高的相关性区域的存在），标识光面板或传感器中的缺陷的存在。
本文中公开的实施例的优点在于：可以容易地检测到光学组件的各种类型的缺陷。由于除了基于视觉的检查系统的组件之外没有使用任何工具，因此本文中公开的诊断方法可以自主地进行，而无需使该系统关机和/或移除外壳。因此，可以在取得试样和/或试样容器的图像或一系列筛查图像（screening image）之前和/或之后进行一个或多个缺陷检查，以确认光学组件的可接受操作。
尽管在本文中参考特定示例描述了实施例，但是本公开的范围并不旨在限于所描述的细节。而是，在本公开的等同物的范畴和范围内，可以在细节上进行各种修改。

Claims (20)

1.一种方法，包括：
利用第一光强图案来照射光面板；
利用传感器来捕获第一光强图案的第一图像；
利用不同于第一光强图案的第二光强图案来照射光面板；
利用传感器来捕获第二光强图案的第二图像；
比较第一图像和第二图像以生成第一图像和第二图像的比较；以及
基于第一图像和第二图像的比较来标识光面板或传感器中的缺陷。
2.根据权利要求1所述的方法，其中比较第一图像和第二图像包括：计算第一图像与第二图像的一部分之间的相关性。
3.根据权利要求1所述的方法，其中比较第一图像和第二图像包括：计算第一图像与第二图像的若干个部分之间的相关性，其中所述部分是第一图像和第二图像的所定义的区域，所述区域包括块。
4.根据权利要求3所述的方法，其中所述块被布置在覆盖了第一图像和第二图像的网格中。
5.根据权利要求4所述的方法，其中基于以下等式来计算相关性：
Figure 618923DEST_PATH_IMAGE002
其中B表示被测试的区域，I表示第一图像，J表示第二图像，并且p表示属于块B的每个像素。
6.根据权利要求5所述的方法，其中所述缺陷在针对给定块的计算出的相关性超过预定阈值的情况下被标识。
7.根据权利要求1所述的方法，其中第一光强图案与第二光强图案互补。
8.一种系统，包括：
包括存储器的计算机，存储器存储可由计算机执行的指令，所述指令包括：
利用第一光强图案来照射光面板；
利用传感器来捕获第一光强图案的第一图像；
利用不同于第一光强图案的第二光强图案来照射光面板；
利用传感器来捕获第二光强图案的第二图像；
比较第一图像和第二图像以生成第一图像和第二图像的比较；以及
基于第一图像和第二图像的比较来标识光面板或传感器中的缺陷。
9.根据权利要求8所述的系统，其中比较第一图像和第二图像包括：计算第一图像与第二图像的一部分之间的相关性。
10.根据权利要求8所述的系统，其中比较第一图像和第二图像包括：计算第一图像与第二图像的若干个部分之间的相关性，其中所述部分是第一图像和第二图像的所定义的区域，所述区域包括块。
11.根据权利要求10所述的系统，其中所述块被布置在覆盖了第一图像和第二图像的网格中。
12.根据权利要求11所述的系统，其中基于以下等式来计算相关性：
Figure 536064DEST_PATH_IMAGE003
其中B表示被测试的区域，I表示第一图像，J表示第二图像，并且p表示属于块B的每个像素。
13.根据权利要求12所述的系统，其中所述缺陷在针对给定块的计算出的相关性超过预定阈值的情况下被标识。
14.根据权利要求8所述的系统，其中第一光强图案与第二光强图案互补。
15.一种方法，包括：
利用传感器来捕获所照射的光面板的第一图像；
激活光面板上的遮罩以形成被遮蔽的光面板；
利用传感器来捕获被遮蔽的光面板的第二图像；
比较第一图像和第二图像以生成第一图像和第二图像的比较；以及
基于第一图像和第二图像的比较来标识光面板或传感器中的缺陷。
16.根据权利要求15所述的方法，其中比较第一图像和第二图像包括：计算第一图像与第二图像的一部分之间的相关性。
17.根据权利要求15所述的方法，其中比较第一图像和第二图像包括：计算第一图像与第二图像的若干个部分之间的相关性，其中所述部分是第一图像和第二图像的所定义的区域，所述区域包括块。
18.根据权利要求17所述的方法，其中所述块被布置在覆盖了第一图像和第二图像的网格中。
19.根据权利要求18所述的方法，其中基于以下等式来计算相关性：
Figure 315801DEST_PATH_IMAGE002
其中B表示被测试的区域，I表示第一图像，J表示第二图像，p表示属于块B的每个像素。
20.根据权利要求19所述的方法，其中所述缺陷在针对给定块的计算出的相关性超过预定阈值的情况下被标识。
CN201980061744.5A 2018-09-20 2019-09-19 用于对基于视觉的检查系统的光学组件进行自主诊断验证的系统、方法和装置 Pending CN112689752A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862733954P 2018-09-20 2018-09-20
US62/733954 2018-09-20
PCT/US2019/052007 WO2020061365A1 (en) 2018-09-20 2019-09-19 Systems, methods and apparatus for autonomous diagnostic verification of optical components of vision-based inspection systems

Publications (1)

Publication Number Publication Date
CN112689752A true CN112689752A (zh) 2021-04-20

Family

ID=69887865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061744.5A Pending CN112689752A (zh) 2018-09-20 2019-09-19 用于对基于视觉的检查系统的光学组件进行自主诊断验证的系统、方法和装置

Country Status (5)

Country Link
US (1) US11555789B2 (zh)
EP (1) EP3853593A4 (zh)
JP (1) JP7223840B2 (zh)
CN (1) CN112689752A (zh)
WO (1) WO2020061365A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021100441B4 (de) 2021-01-12 2022-08-04 Smokerstore Gmbh Erfassung der Temperatur eines Heizelements einer E-Zigarette
US20240037723A1 (en) * 2021-02-04 2024-02-01 Siemens Healthcare Diagnostics Inc. Apparatus and methods of detecting defects in machine vision systems
WO2022221811A1 (en) * 2021-04-14 2022-10-20 Siemens Healthcare Diagnostics Inc. Diagnostic instruments having multiple illumination sources and methods thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010043632A1 (de) * 2010-11-09 2012-05-10 Krones Aktiengesellschaft Verfahren zur Funktionskontrolle einer Inspektionsvorrichtung und Vorrichtung zur Inspektion eines Produktsstroms
CN106796179A (zh) * 2014-09-05 2017-05-31 株式会社斯库林集团 检查装置以及检查方法
CN107340297A (zh) * 2016-04-28 2017-11-10 佳能株式会社 检查装置、检查系统和物品制造方法
CN107923837A (zh) * 2015-06-03 2018-04-17 工业动力有限公司 用于使用多个辐射源来检查容器的系统和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2770637B2 (ja) * 1992-03-11 1998-07-02 日本電気株式会社 パターン検査装置
IL108974A (en) 1994-03-14 1999-11-30 Orbotech Ltd Device and method for testing a display panel
JP2595906B2 (ja) * 1994-08-30 1997-04-02 日本電気株式会社 パターン検査装置
US6940554B2 (en) 2002-04-11 2005-09-06 Hewlett-Packard Development Company, L.P. Camera lens contamination detection and indication system and method
JP2008032653A (ja) 2006-07-31 2008-02-14 Sharp Corp テストパターン発生方法、テストパターンのデータ構造、テストパターン発生装置、表示パネル検査システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
FR2941067B1 (fr) 2009-01-14 2011-10-28 Dxo Labs Controle de defauts optiques dans un systeme de capture d'images
DE102010024666A1 (de) 2010-06-18 2011-12-22 Hella Kgaa Hueck & Co. Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens
KR20140091916A (ko) * 2013-01-14 2014-07-23 삼성디스플레이 주식회사 디스플레이 패널 검사방법
SG11201507679RA (en) 2013-03-15 2015-10-29 Univ Carnegie Mellon A supervised autonomous robotic system for complex surface inspection and processing
DE102014203798B4 (de) 2014-03-03 2017-11-30 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Überwachung des Verschmutzungs- und/oder Beschädigungszustands an einem Schutzglas eines Laserbearbeitungskopfs und Vorrichtung zur Laserbearbeitung
US11308601B2 (en) * 2015-04-29 2022-04-19 Emhart Glass S.A. Container inspection system with individual light control
JP6553412B2 (ja) 2015-05-29 2019-07-31 リコーエレメックス株式会社 検査システム
US10746665B2 (en) * 2016-01-28 2020-08-18 Siemens Healthcare Diagnostics Inc. Methods and apparatus for classifying an artifact in a specimen
EP3427185A4 (en) * 2016-03-07 2019-09-25 Magic Leap, Inc. BLUE POSITIONING FOR BIOMETRIC SAFETY
JP7012719B2 (ja) 2016-11-14 2022-02-14 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド パターン照明を用いて試料を特徴付ける方法及び装置
US10453215B2 (en) * 2017-05-19 2019-10-22 Qualcomm Incorporated Detect, reflect, validate

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010043632A1 (de) * 2010-11-09 2012-05-10 Krones Aktiengesellschaft Verfahren zur Funktionskontrolle einer Inspektionsvorrichtung und Vorrichtung zur Inspektion eines Produktsstroms
CN106796179A (zh) * 2014-09-05 2017-05-31 株式会社斯库林集团 检查装置以及检查方法
CN107923837A (zh) * 2015-06-03 2018-04-17 工业动力有限公司 用于使用多个辐射源来检查容器的系统和方法
CN107340297A (zh) * 2016-04-28 2017-11-10 佳能株式会社 检查装置、检查系统和物品制造方法

Also Published As

Publication number Publication date
JP7223840B2 (ja) 2023-02-16
US11555789B2 (en) 2023-01-17
WO2020061365A1 (en) 2020-03-26
JP2022501594A (ja) 2022-01-06
EP3853593A4 (en) 2021-11-17
US20210333217A1 (en) 2021-10-28
EP3853593A1 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
JP6932894B2 (ja) 複数の露光を使用して試料容器及び／又は試料を画像化するための方法及び装置
JP6888770B2 (ja) 試料内のアーチファクトを分類する方法と装置
US8563934B2 (en) Method and detection system for detection of aflatoxin in corn with fluorescence spectra
JP7223840B2 (ja) ビジョンベース検査システムの光学構成要素の自律診断検証のためのシステム、方法、および装置
US9109194B2 (en) Device for harvesting bacterial colony and method therefor
JP2019505802A (ja) 試料容器と試料の特徴付けのための方法及び装置
JP2019505802A5 (zh)
KR102003781B1 (ko) 초분광영상화 기법을 이용한 글라스(Glass) 결함 검출 장치
JP2020519853A (ja) 畳み込みニューラルネットワークを用いたｈｉｌｎ評価方法及び装置
WO2007074770A1 (ja) 画像解析によって欠陥検査を行う欠陥検査装置
EP4306042A3 (en) Device and method for detection and classification of pathogens
JP5443950B2 (ja) 細菌コロニー釣菌装置及びその方法
US10012584B2 (en) System and method for determining solute concentration in a colored liquid sample
EP3531112B1 (en) Raman spectroscopy detection device and sample safety detection method for use in raman spectroscopy detection
KR101838729B1 (ko) 미세조류 이미지분석 프로그램이 탑재된 생태독성평가 분석장치 및 그 방법
EP1947441B1 (en) Apparatus for determining positions of objects contained in a sample
US20210333298A1 (en) Hypothesizing and verification networks and methods for specimen classification
JP2009068850A (ja) 分光画像法による農産物の残留農薬検査方法および装置
JP2003014650A (ja) 農産物検査装置及び検査方法
CN112505002B (zh) 一种基于rgb模型的溶液浊度检测方法、介质、图像系统
US11906439B2 (en) Optical inspection method, non-transitory storage medium storing optical inspection program, and optical inspection apparatus
KR102394422B1 (ko) Nir 스펙트럼 영상 기술을 이용한 식품 표면 이물 검사 광학장치
JP7017100B2 (ja) 粒子画像解析装置及び粒子画像解析方法
EP4244616A1 (en) Method for evaluation of a thin-layer chromatography plate
CN117949470A (zh) 多工位透明材料磨边边角缺陷检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40045686

Country of ref document: HK