CN115427790A - 用于对反射对象成像的系统和方法 - Google Patents

用于对反射对象成像的系统和方法 Download PDF

Info

Publication number
CN115427790A
CN115427790A CN202180013439.6A CN202180013439A CN115427790A CN 115427790 A CN115427790 A CN 115427790A CN 202180013439 A CN202180013439 A CN 202180013439A CN 115427790 A CN115427790 A CN 115427790A
Authority
CN
China
Prior art keywords
image
images
pulses
inspection
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180013439.6A
Other languages
English (en)
Inventor
Y·海厄特
R·金斯伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspecto AMV Ltd
Original Assignee
Inspecto AMV Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from IL272538A external-priority patent/IL272538A/en
Application filed by Inspecto AMV Ltd filed Critical Inspecto AMV Ltd
Publication of CN115427790A publication Critical patent/CN115427790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8838—Stroboscopic illumination; synchronised illumination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9508—Capsules; Tablets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于自动视觉检查对象的方法和系统包括使用不同的照射图案，每个图案包括恒定频率的照射脉冲。每个不同照射图案的脉冲在时间上偏移，以便能够获得由一个或另一个照射图案照射的图像。使用对象的最细节可用的不同图像的不同部分组合图像，以产生基本上无眩光的对象的完整图像。恒定频率脉冲的使用能够获得不同的图案照射图像，从而能够创建对象的无眩光图像，同时为人类工人提供无闪烁的检查环境。

Description

用于对反射对象成像的系统和方法
技术领域
本发明涉及视觉检查方法，例如生产线上的物品检查。
背景技术
生产过程中的检查有助于通过识别缺陷并在检测到缺陷后采取行动(例如，修复缺陷或丢弃缺陷零件)来控制产品质量，因此有助于提高生产率，降低缺陷率，减少返工和浪费。
自动视觉检查方法用于生产线，以识别可对制造零件的完整性产生功能或美学影响的视觉可检测异常。使用相机的现有生产线视觉检查解决方案依赖于定制的自动视觉检查系统，该系统通常非常昂贵，需要硬件和软件组件的专家集成，以及在检测解决方案和生产线的生命周期内对其进行专家维护。
当使用自动视觉检查时，图像质量会影响运行检查算法的处理器可靠执行检查任务的能力，如缺陷检测、质量保证(QA)、排序和/或计数、选通等。
例如，光泽或反射性物品(如药丸或透明塑料包装中的其他物品)通常具有在镜面(镜面状)方向反射光的表面，而哑光对象在许多方向漫反射光。影响光泽度的其他因素包括材料的折射率、入射光的角度和表面形貌。由于光泽对象的镜面反射，光泽对象的图像通常会包含眩光，这会模糊成像对象的细节。因此，光泽对象的图像不适合于视觉检查任务。
发明内容
本发明的实施方案提供了一种系统和方法，用于在视觉检查过程中以最小的设置获得任何类型的物品的基本上无眩光的物品图像。
可以在检查过程的设置阶段期间自动测试不同的照射和可能不同的曝光图案，以确定照射/曝光图案，该图案将能够最大化为每个对象收集的信息并能够获得每个对象类型的基本无眩光图像。
然后，在设置阶段确定的照射/曝光图案可用于在检查阶段获得相同类型对象的图像。此外，可以基于图像中对象的取向自动调整照射图案，使得即使对象在检查阶段的方向不同于在设置阶段的方向，在设置阶段收集的信息仍然可以用于确定在检查阶段使用哪些照射图案。
在设置阶段期间测试不同的照射/曝光图案使得能够确定获得对象的最大信息所需的不同照射/曝光图案的最小集合。由于添加每个照射/曝光图案需要捕获另一个图像，这会延长总体检查时间，确定所需照射/曝光的最小数量，因此图案提供更短的总体检查时间。
根据本发明的实施方案，用于自动视觉检查的系统包括被配置为在检查线上捕获对象图像的相机、用于照射相机视场(FOV)的至少一部分的光源以及与相机和光源通信的处理器。
在一些实施方案中，光源产生光脉冲。处理器控制光源以差分地照射相机FOV，并确保相机曝光事件与光脉冲同步，以产生多个不同的图像，每个图像以不同的照射图案捕获。
在一个实施方案中，所述处理器控制所述光源的一段以第一脉冲图案照射，并且控制第二段以第二脉冲图案照射。通常，第一图案和第二图案的脉冲均处于恒定频率。第一图案和第二图案的脉冲可以彼此偏移，使得存在重叠脉冲的时间和不重叠的时间。处理器可以控制相机的曝光事件与第一图案和第二图案之间没有脉冲重叠的时间一致。在该曝光时间期间捕获的图像可以用于检测图像中的对象和/或可以用作多个不同照射图案图像中的一个，所述多个不同的照射图案图像被组合以提供用于视觉检查的组合图像。
在一些实施方案中，处理器可以控制相机的第一曝光事件与第一图案和第二图案中的脉冲重叠的时间一致，并且控制第二曝光事件与第二图案和第一图案中的脉搏不重叠的时间相同。在第一曝光事件期间捕获的图像可用于检测图像中的对象和/或可被用作不同照射图案图像之一，以提供用于视觉检查的组合图像。
然后，处理器可以确定多个图像中的哪一个在组合时提供显示对象的最细节的对象的组合图像。然后可以组合所确定的图像以提供基本上无眩光的组合图像。可以对组合图像执行视觉检查。
术语“视觉检查”可包括向用户显示图像和/或在图像上应用视觉检查算法。如本文进一步详述的，“视觉检查算法”是指一系列自动执行的步骤，旨在从图像中检测检查线上的对象，并根据检查过程的要求对对象进行分类。例如，检查过程的要求可是检测对象上的缺陷和/或执行其他检查任务，如QA、排序和/或计数、选通等。根据本发明实施方案的视觉检查算法通常包括使用计算机视觉技术。
附图说明
现在将参照以下说明性附图结合某些示例和实施方案描述本发明，以便可以更充分地理解本发明。在附图中：
图1A和1B示意性地示出根据本发明实施方案的设置阶段和检查阶段；
图1C示意性地示出根据本发明实施方案的用于自动视觉检查的系统；
图2A和2B示意性地示出根据本发明实施方案的不同照射图案和相机曝光定时；
图3示意性地示出根据本发明实施方案的用于获得用于视觉检查的基本无眩光图像的方法；
图4示意性地示出根据本发明的实施方案的用于确定多个图像中的哪一个提供了显示对象的最细节的对象的组合图像的方法；
图5A和5B示意性地示出根据本发明实施方案的用于基于设置阶段中的处理在检查阶段中获得用于视觉检查的基本无眩光图像的方法；
图6示意性地示出根据本发明另一实施方案的用于获得用于视觉检查的基本无眩光图像的方法；和
图7示意性地示出根据本发明实施方案的视觉检查过程的时间线，包括获得无眩光HDR图像。
具体实施方式
在下面的描述中，将描述本发明的各个方面。出于解释的目的，阐述了具体的配置和细节，以提供对本发明的透彻理解。然而，本领域技术人员也将清楚的是，本发明可以在没有本文给出的具体细节的情况下实施。此外，为了不模糊本发明，可以省略或简化公知特征。
除非另有明确说明，从以下讨论中可以明显看出，在使用诸如“分析”、“处理”、“计算”、“算计”、“确定”、“检测”、“识别”、“创建”、“生产”、“获取”、“应用”等术语的整个规范讨论中，指计算机或计算系统或类似电子计算设备的动作和/或过程，其操纵和/或将计算系统寄存器和/或存储器中表示为物理量的数据转换为计算系统存储器中表示成物理量的其他数据，寄存器或其他此类信息存储、传输或显示设备。除非另有说明，否则这些术语是指处理器的自动动作，独立于人类操作员的任何动作，且无需人类操作员的任何操作。
术语“物品”和“对象”可以互换使用，用于描述同一事物。
术语“相同类型物品”或“相同类型对象”指的是具有相同物理构成的物品或对象，并且在形状和尺寸以及可能的颜色和其他物理特征上彼此相似。通常，单个生产批次或系列的物品，或生产线上同一阶段的一批物品，可是“相同类型物品”。例如，如果检验物品是卫生产品，同一批次的不同水槽碗是相同类型物品。同一类型的物品可在允许的公差范围内彼此不同。
缺陷可包括例如物品表面上的可见缺陷、物品或物品部分的不期望尺寸、物品或物品部分的不希望形状或颜色、物品的不希望数量、物品接口的错误或缺失装配、破损或烧坏的部分，以及物品或物品零件的不正确对齐，错误或有缺陷的条形码，以及一般而言，无缺陷样品和检查物品之间的任何差异，这将从用户(即人类检查员)的图像中显而易见。在一些实施方案中，缺陷可包括仅在放大或高分辨率图像中可见的缺陷，例如通过显微镜或其他专用相机获得的图像。
通常，视觉检查方法使用用户确认的物品图像作为参考，将相同类型物品的未确认图像进行比较，以检测未确认图像中物品上的缺陷或其他检查任务，如QA、排序、选通、计数等。用户确认图像(也称为“参考图像”)通常在检查阶段之前的设置阶段获得。
图1A和1B示意性地示出根据本发明实施方案的相应的设置阶段和检查阶段。
在设置阶段，将同一类型的制造物品的两个或多个样品(在一些实施方案中，样品是无缺陷的物品)，例如无缺陷样品物品2和2’连续放置在(一个或更多)相机3的视场(FOV)3’内。例如，可将无缺陷样品物品2和2’放置在包括传送带9的检查线上，以便传送带9移动首先将物品2带入FOV 3’，然后将物品2’带入FOV 3’。由相机3捕获的图像可以显示在用户接口设备6上。
每个无缺陷样品物品2和2’由光源5照射并由相机3成像。这些图像可称为设置图像或参考图像，可在不同条件下获得，如下所述，例如，在每帧中使用相机3的不同照射图案和/或不同成像参数，例如不同的聚焦和曝光时间。处理器可以分析在不同条件下获得的相同类型物品的不同图像之间的关系。在设置阶段的这种分析能够在接下来的检查阶段以最小的处理时间持续优化照射和成像参数。
在一个实施方案中，设置图像的分析用于确定物品(例如物品2和2’)与另一种相同类型的物品对齐时不显示显著透视失真的空间范围。可以分析不同图像中物品之间的透视失真程度，例如，通过检测物品中设置图像之间没有相应特征的区域，通过分析物品边界或物品上标记的感兴趣区域之间的相交位置和角度等。空间范围的边界可以通过比较两个(或更多)设置图像(其中物品可以不同地定位和/或定向)并确定哪些图像显示透视失真，哪些图像不显示透视失真来计算。
然后，计算的范围可用于确定被检查物品可放置在检查线上的位置和/或方位、比例或其他处理的边界，以避免与参考图像相比时的失真。此外，通过使用一组设置图像作为彼此的参考，处理器可以检测到具有相似空间分解的图像，然后可以分析这组图像，以查看是否有足够的相似设置图像，以允许在检查线上对物品的每个可能定位进行配准、缺陷检测和其他分析。
可以执行设置图像的分析以收集物品的特征、关于物品的可能2D形状和3D特征(例如检查线上的旋转)的信息，或者找到物品的唯一区别特征以及这些独特特征之间的空间关系，如设置图像之间所保留的。此外，当该物品的形状公差特性范围和该物品的表面变化特性都显示在设置图像集中时，可以实现物品类型的完整表示。
基于从设置图像收集的信息，处理器可以检测相同类型的第二物品并执行检查任务，即使处理器之前未学习到第二物品。这允许处理器检测新物品(相同类型)何时成像，然后分析新物品，例如，运行视觉检查算法，通常包括将新物品的图像与相同类型物品的参考图像进行比较，以识别参考图像和新物品图像之间的差异，例如，搜索检查物品上的缺陷。视觉检查算法执行的其他任务可能包括在生产线上的不同对象之间排序、解码代码(如DMC、QR码等)、计算当前生产线上的对象数量等。
可以通过用户接口设备6向用户显示关于相机和/或照射参数的调整的用户指令。一旦基于对参考图像的分析确定获得关于该物品的足够信息，则可以结束设置阶段，并通过用户接口设备6向用户展示或以其他方式呈现通知，停止将样品(样品物品2和2’)放置在传送带9上和/或将检查过的物品4、4’和4”(如图1B所示)放置在传送带9上。
在初始设置阶段之后的检查阶段(图1B中示意性示出)，与样品物品2和2’类型相同且可能有缺陷或可能没有缺陷的检查物品4、4’和4”由相机3连续成像。这些图像可称为检查图像，使用视觉检查算法分析，这包括使用计算机视觉技术(例如包括机器学习方法)来实现对物品4、4’和4”的检查任务(例如缺陷检测、QA、分类和/或计数)。在图1B所示的示例中，物品4’包括缺陷7，而物品4和4”无缺陷。在本发明的实施方案中，检查图像由光源5以在设置阶段期间确定的图案照射。
设置过程可以在检查阶段之前和检查阶段期间执行。在一些实施方案中，可以在整个检查过程中分析参考图像(例如如上所述)，而不必仅在初始设置阶段进行分析，图1A中描述了初始设置阶段的示例。例如，在检查阶段，由用户和/或视觉检查算法标记的检查图像(例如有缺陷或无缺陷)可以保存为新的参考图像(例如在参考图像数据库中，如下所述)，以进行分析，并可能更新在初始设置阶段收集的信息。
尽管本文描述了视觉检查过程的设置和检查阶段的特定示例，但是应当理解，本发明的实施例可以与视觉检查过程中的其他设置和检查过程一起实践。
根据本发明的实施方案，图1C中示意性地示出可用于对检查线上的物品进行自动视觉检查的示例性系统。在一个实施方案中，系统包括与一个或多个相机103和一个或更多光源105通信的处理器102。处理器102还可以与设备(如用户接口设备106)和/或其他设备(如存储设备108)通信。
系统的组件可以有线或无线通信，并且可以包括合适的端口和/或网络集线器。在一些实施方案中，处理器102可以通过控制器(例如可编程逻辑控制器(PLC))与设备(例如存储设备108和/或用户接口设备106)通信，该控制器通常用于制造过程，例如用于数据处理、存储和处理能力以及通信能力。控制器可以通过USB、以太网、适当的布线等与处理器102、存储设备108、用户接口设备106和/或系统的其他组件(如相机103和光源105)通信。
处理器102可以包括例如一个或多个处理器，并且可以是中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、微处理器、控制器、芯片、微芯片、集成电路(IC)或任何其他合适的多用途或特定处理器或控制器。处理器102可以是本地嵌入的或远程的，例如基于云的。
用户接口设备106可以包括显示器，例如显示器或屏幕，用于向用户显示图像、指令和/或通知(例如，通过显示器上显示的文本或其他内容)。用户接口设备106还可以被设计为接收来自用户的输入。例如，用户接口设备106可以包括监视器和键盘和/或鼠标和/或触摸屏，以使用户能够输入反馈。
存储设备108可以是包括例如易失性和/或非易失性存储介质(例如硬盘驱动器(HDD)或固态驱动器(SSD))的服务器。存储设备108可以本地或远程连接，例如在云中。在一些实施方案中，存储设备108可以包括用于接收和管理与参考图像相关的图像数据的软件。参考图像数据库可以位于存储设备108或另一位置。
相机103被配置为在检查线109上获得对象130的图像，通常相对于检查线109(其可以包括例如传送带、机械臂等)放置并可能固定，使得放置在检查线上的物品在相机103的FOV 103’内。
通常，检查线109例如沿箭头19的方向移动，从而移动其上的物品。每个物品130在相机103的视场103’内一定时间，在此称为“观察窗”，然后移出相机FOV 103’。在其他实施方案中，检查线不需要移动，而是可以移动相机103以捕获其视场103’内的每个物品130。
检查线通常用于重复运行检查窗口。检查窗口可以持续几秒钟，这意味着，根据相机103的帧捕获速率，可以在每个检查窗口中捕获每个物品130的多个图像。在一个实施方案中，相机103以每秒30帧(fps)或更低的速率(例如20fps)捕获图像以获得视频。在其他实施方案中，相机103以高于30fps的帧速率操作，例如，在一些实施方案中，相机103以高于60fps或更高的帧速率操作。
相机103可以包括CCD或CMOS或另一适当的图像传感器。相机103可以是2D或3D相机。在一些实施方案中，相机103可以包括标准相机，该标准相机例如配备有智能手机或平板电脑等移动设备。在其他实施方案中，相机103是专用相机，例如用于获得高分辨率图像的相机。在一些实施方案中，相机103可被设计成以IR或近IR波长成像。例如，相机103可以包括适当的滤波器。
该系统还包括光源105，用于照射相机103的至少一部分视场103’。在一个实施方案中(在图1C中示意性地示出)，光源105围绕相机103。光源105可以包括段，每个段能够独立于其他段进行照射，每个段都能够独立于其它段进行控制。例如，光源105可以包括单独的LED或LED组，它们可以独立地打开/关闭。光源105的不同段可以物理分离，例如通过放置在段之间的不透明屏障。
在某些情况下，例如当使用具有导致“接通延迟”(例如LED)的变压器的光源时，为了避免延迟，打开/关闭光源105包括在“打开”时增加光源的光强度，并在“关闭”时大幅降低强度(到光可忽略的程度)，而不是完全关闭光源。
每个单独段中的一个或多个可包括漫射器(例如半透明材料膜)以提供漫射、均匀的照射。在一个实施方案中，光源105包括不同波长的LED，例如，一些LED可以近红外照射，而一些LED可以白光照射。打开/关闭每个单独的LED将导致光源105以不同的波长照射。在其他实施方案中，可以控制每个段(例如每个LED或每组LED)以不同的强度照射。
处理器102从一个或多个相机103接收检查线上(由光源105照射)的对象的图像数据(其可以包括表示反射光强度的像素值以及部分或完整图像或视频)，并运行根据本发明实施方案的过程。
处理器102通常与一个或多个存储器单元112通信。存储器单元112可以存储从相机103接收的图像数据的至少一部分。
存储器单元112可以包括，例如，随机存取存储器(RAM)、动态RAM(DRAM)、闪存、易失性存储器、非易失性内存、高速缓冲存储器、缓冲器、短期存储单元、长期存储单元或其他合适的存储单元或存储单元。
在一些实施方案中，存储器单元112存储可执行指令，当由处理器102执行时，促进处理器102的操作的性能。如本文所述。
在一个实施方案中，处理器102与相机103和光源105通信，并控制光源105与相机103曝光事件同步地照射FOV 103’的不同部分。这样，获得了对象130的多个不同照射图案图像。在每个不同的照射图案图像中，对象的不同区域可以被不同地照射。
例如，如图2A中示意性所示，光源105可包括六个不同的段A、B、C、D、E和F。例如，光源105可以包括具有六个不同控制段的平面顶灯(其包括扩散器和扩散器上的孔模板)。或者，光源105可以包括六个(或其他数量)周围的聚光灯，每个聚光灯照亮相机FOV 103’的一部分，并且所有六个聚光灯一起照亮相机103的整个FOV 103’。根据本发明的实施方案，可以使用光源的其他数量的分段和分段选项。例如，四个不同的照射段可以围绕相机，并且可以不同地控制以提供不同的照射图案图像。
在一个示例中，处理器102可以同时控制一个段照射，另一个段关闭。在其他示例中，控制器102可以控制不同的段以不同的强度同时照射。例如，可以控制一个或几个片段以高强度照射，并且可以控制另一个片段(或多个片段)以低强度照射。
在一个示例中，脉冲宽度调制(PDM)可用于提供来自光源105的不同强度，如下文进一步例示。
处理器102通常与相机103的曝光事件同步地控制光源105以照射不同的照射图案。
光源105可照射高频光脉冲，以获得每个对象130的若干短曝光图像，从而允许更短的总成像时间，除其他优点外，还允许在运动对象仍在单个观察窗内时对其进行更快的采样。在一些实施方案中，一些光脉冲处于高强度，以能够捕获物品130的光线充足的图像，而其他脉冲处于较低强度，以防止光源快速烧坏。可以对高强度脉冲进行特定定时(或者可以对相机曝光事件进行特定定时)以使得能够在对象仍然在检查窗口内并且在对象移动(例如由于检查线的移动)太多之前拍摄对象的多个图像，以使得能够从相同的视点捕获对象的图像，并且不会由于运动效果而模糊。
使用高强度光的高频脉冲与以高帧速率(例如，高于30fps，例如60fps或更高)操作的相机相结合，能够在短时间内捕获对象的多个图像(每个图像具有不同的照射图案)，从而减少了对移动对象成像所产生的问题(如上文所讨论的模糊度和改变视角)。
图2A示出示例性差分照射时间表。在第一阶段I中，相机103以视频模式捕获图像(例如，图像21)，光源105的所有段通常以低强度点亮(这实现了节能，并且不会超过光源硬件支持的功耗)。例如，光源105可以包括六个12W LED。在阶段I期间，12W LED可以50％的占空比运行(即，可以在50％的时间内打开，在50％时间内关闭(或非常低)，以提供中等或低强度照射。对象130在图像21中可见，但是由于照射从对象反射和/或由于照射强度低，并非对象的所有细节都清晰(如虚线所示)。
一旦在低强度照射图像21中检测到对象130(并且可如上所述被确定为在检查线上的预定空间范围内)，处理器102控制光源105过渡到阶段II，在阶段II中，光源105的所有段都以高强度照射，以获得对象的良好照射图像22。例如，在阶段II期间，所有六个12W LED可在95％的占空比下运行(即，在95％时间内点亮，在5％时间内熄灭(或非常低)。然而，如果对象130具有反射表面(例如，如果对象130是涂层PCB或塑料或玻璃对象)，则图像22可会显示反射(眩光)，从而模糊对象130的一些细节。在这种情况下，处理器102控制光源105以几种不同的部分图案进行照射，例如在阶段III-VI中。
在阶段III中，只有段B接通，例如，占空比为50％或更高，而段A、C、D、E和F断开(或非常低)。或者，段B可以照射高强度光，例如95％的占空比，而段A、C、D、E和F中的一个或多个可以照射低强度光，比如50％或更低的占空比来避免图像某些部分的眩光。
类似地，在阶段IV中，段D打开，而段A、B、C、E和F关闭。或者，段D可以照射高强度光，而段A、B，C、E、F中的一个或多个可以照射低强度光。类似地，在阶段V中，段F打开，段A、B、C、D和E关闭。或者，段F可以照亮高强度光，而段A、B、C、D和E中的一个或多个照亮低强度光。
在阶段VI中，段A和C打开，而其他段关闭。在阶段VI中，段A和C中的每一段可以不同的强度和/或不同的波长照射。
在每个阶段中，可以以典型的高频、短照射脉冲来开启打开的段。
照射脉冲通常与相机103快门同步，使得在图2A中例示的情况下，在相机103的曝光事件期间获得不同照射图案图像21、22、23、24、25和26中的每一个。在其他实施方案中，例如，如图2B中所述，不同照射图案在时间上可以至少部分重叠，使得相机103的曝光事件可以同时捕获若干不同的照射图案。
在每个图像21-26中，对象130的不同细节可见，而其他细节由于图像不同部分的眩光而模糊。如果要组合图像21-26，每个图像“贡献”其可见细节，则组合图像将是对象130的光线良好的图像，其全部或最大(即，足够数量或大部分)细节可见，以实现检查任务，如缺陷检测。
为了避免相机103捕获的视频中的可见闪烁和/或可能刺激工厂工人的闪烁，可以使用高频光脉冲。例如，处理器102可以控制光源105以高于人眼的采样频率的频率照射光脉冲，因为高于人眼采样频率的脉冲通常不会被人注意到。此外，只要照射脉冲处于一致的频率，人们就不会注意到闪烁(例如，由于照射强度的变化)。
在一个实施方案中，处理器102控制光源105的第一段以第一脉冲模式照射，以及光源105的第二段以第二脉冲模式照射。每个照射图案中的脉冲处于恒定、不变的频率。
在一个实施方案中，第一图案和第二图案的脉冲彼此偏移。在本实施方案中，处理器102可以控制相机103的第一曝光事件与第一图案和第二图案中的脉冲重叠的时间一致，并且控制相机103中的第二曝光事件与第二图案或第一图案中的一个脉冲的时间一致。
在第一曝光事件期间捕获的对象130的图像可用于检测对象130，而在曝光事件期间捕捉的对象130图像的部分与第一图案或第二图案的脉冲时间一致(当没有脉冲重叠时)，可以使用(可与第一曝光事件期间捕获的图像的至少一部分一起)来提供组合图像，在该组合图像上应用检查算法以提供对对象130的检查。
在一个实施方案中，其在图2B中示意性地示出，照射图案和相机曝光事件被同步，使得可以捕获由所有光段(例如图像21或22)照射的图像以及部分照射的图像(例如图像23、24、25或26)，同时保持一致的光脉冲频率，以便为人类工人提供无闪烁的检查环境。例如，第一照射图案(1)仅包括右侧段(例如段A、C和E)，而第二照射图案(2)仅包括左侧段(例如，段B、D和F)。每个图案包括以恒定不变频率重复的光脉冲(Pu)，然而，第一照射图案的脉冲相对于第二照射图案的脉搏在时间上偏移。脉冲的这种偏移使得一个相机曝光事件(El)能够捕获同时由来自第一图案的光脉冲(Pul)的一部分和来自第二图案的一部分光脉冲(Pu2)照射的图像，从而获得由所有段(右侧段和左侧段)照射的像。
在第二次照相机曝光事件(E2)时，第一图案中的照射亮起，但第二图案的照射熄灭。因此，在E2期间拍摄的图像仅由第一图案的脉冲(或部分脉冲)照射，即由右侧的段照射。在第三次相机曝光事件(E3)时，第一图案中的照射关闭，但第二图案中照射打开。因此，E3期间拍摄的图像仅由第二模式中的脉冲(或部分脉冲)照射，即由左侧的段照射。
曝光事件El期间捕获的图像可用于检测检查线上的对象(例如对象130)。在曝光事件E2和E3期间捕获的图像提供了不同的照射图案图像，这些图像可以被组合(可与在El期间获得的图像的一部分一起)以创建对象的最细节图像。
在某些情况下，每个对象可需要最少数量的图像，例如，在检查移动对象时避免模糊和改变视点。在这些实施方案中，可以将相机设置为较少的曝光事件，例如，仅设置事件E2和E3。曝光事件E2期间捕获的图像可以用于检测对象并提供第一照射图案图像，而曝光事件E3期间捕捉的图像提供第二照射图案图像。因此，可以使用较少的对象图像来创建对象的最细节图像。
如图3中示意性示出的，处理器102在步骤302中接收对象的多个不同照射图案图像(例如，对象130的图像21-26)，并确定多个图像中的哪一个是具有特定照射图案的图像，使得当组合时，提供示出对象的最细节的对象的组合图像(步骤304)。该步骤可以通过相互比较图像或图像的像素来执行。在一些实施方案中，处理器102将搜索实现组合图像所需的最小数量的图像。通常，可以为每个图像确定信息的度量，并且可以用于组合图像，如下面进一步详述的。
处理器102然后组合所确定的图像以提供组合图像(步骤306)，并在组合图像上使用计算机视觉技术以对对象103进行视觉检查(步骤308)，并能够执行检查任务，例如缺陷检测、QA、分类和/或计数。在一些实施方案中，处理器102使组合图像显示在用户接口设备106上。
在一个实施方案中，该方法包括在步骤302中获得的多个图像中的第一图像中检测对象，例如在图像21或22中。然后，可以使用在第一图像中所检测到的对象的特性，例如通过使用在第一个图像中检测到的目标的空间参数，在组合图像中检测该对象。
对象可以是整个对象和/或对象上的感兴趣区域。在一些实施方案中，感兴趣区域(ROI)可由处理器自动检测，例如通过使用图像分析技术。可以通过使用诸如分割的图像分析算法来确定与检测到的对象(或ROI)相关联的像素。在一些实施方案中，处理器从用户接收对象的轮廓(例如边界)的指示，并确定哪些像素与对象相关，可使用分割并基于对象的边界。
例如，基于用户对检查线上物品图像的ROI输入，处理器可以创建围绕ROI的轮廓或其他指示。由用户输入的ROI指示可以包括坐标和/或可以包括线，例如彩色线、虚线或其他样式的线，或者围绕感兴趣区域的多边形或其他形状。
ROI可以是对象上与缺陷检测相关联的区域。例如，ROI可以是用户需要缺陷检测的对象上的区域，也可以是用户不需要缺陷检测。因此，可以基于ROI有条件地应用视觉检查算法(例如，检测物品缺陷的过程)。此外，相同类型的对象可能具有允许的差异，这不是缺陷。例如，对象表面上可能存在纹理、图案或颜色差异或运动部件，这些不被视为缺陷。在一些实施方案中，这些允许差异的区域可定义为未应用视觉检查算法的ROI，从而避免错误检测缺陷。
在一些实施方案中，可以在图像中定义特定的有限区域，这些区域是不能容忍眩光的ROI。处理器102可以基于ROI的确定来控制光源105以差异地照射图像。例如，如果在对象的右下角(例如，在段D和F覆盖的区域中)确定了ROI，则可以打开光源105的相关段，该段可以提供在对象右下角没有眩光的图像，而在ROI中产生眩光的光源105的其他段可以不打开。
在一些实施方案中，基于在设置阶段对对象的检测，在获得对象的不同照射图案图像之前或同时，可以在检查阶段的图像中轻松检测到相同类型的对象。此外，基于在用于创建组合图像的至少一个图像中检测到对象，可以在组合图像中容易地检测到对象。例如，可以在对象的第一图像中检测到对象的空间特性和唯一表示特征或属性，然后在对组合图像中的相同类型对象执行视觉检查时可以使用，从而通过避免在组合图像中检测这些特征来节省时间。
图4示意性地示出处理器102如何在上面的步骤304中确定多个图像中的哪一个提供了显示对象的最细节的对象的组合图像的示例。
在此示例中，处理器102从多个不同的照射图案图像中接收第一和第二图像(步骤402)(例如，图像21-26)。处理器102确定与第一图像和第二图像中的对象相关联的像素的信息度量，并比较第一图像和第一图像中的每个像素的信息测度。
在一个实施方案中，信息度量包括与第一图像和第二图像中的对象相关联的像素的局部对比度值。在此示例中，处理器102确定与第一图像和第二图像中的对象相关联的像素的局部对比度值(步骤404)，并比较第一图像和第一图像中的每个像素的局部造影度值，例如，确定具有较高局部对比度的像素。如果来自第一图像中的对象的像素具有高于第二图像中的相同像素的局部对比度值(判定点406)，则使用来自第一图像的像素(步骤407)来创建组合图像(步骤410)。如果来自第一图像的像素具有低于第二图像中相同像素的局部对比度值(判定点406)，则使用来自第二图像的像素(步骤408)来创建组合图像(步骤410)。可以对与对象相关联的所有像素重复该过程。如上所述，可以通过使用图像分析算法(例如分割)来确定与对象相关联的像素。
在一些实施方案中，组合图像以获得组合图像包括基于第一图像和第二图像中的对应像素的值的统计来创建组合图像的像素。通常，使用提供信息度量的统计信息(一种或多种统计信息的组合)，例如，第一和第二图像中像素的局部对比度值、最小或中值通道值等。在一些实施方案中，组合图像的像素值可基于第一和第三图像中对应像素值的加权平均值。例如，第一图像中的特定像素或区域(包括多个像素)具有像素值Ii和信息测度Vi。第二图像中的相应像素或区域具有像素值I2和信息测度V2，第三图像中的对应像素或区域拥有像素值I3和信息测度V3。三个图像中的每个图像对组合图像中的对应像素或区域的贡献是部分的，并且取决于用于创建组合图像的每个图像中的像素的信息度量。因此，组合图像(Ic)可以是三个图像的加权平均值，如下所示：
Ic＝(I1×V1+I2×V2+I3×V3)/(V1+V2+V3)
可以使用像素信息的其他测量，并且可以使用其他统计计算来提供组合图像。
在一些实施方案中，其示例在图1和图2中示意性地示出。在图5A和5B中，照射图案和可组合以提供对象的大部分细节的不同照射图案图像的数量在设置阶段确定，然后在检查阶段自动使用，以获得对象的组合基本无眩光图像，用于对象的视觉检查。
在一个实施方案中，如图5A所示，处理器102在设置阶段期间接收第一对象的多个不同照射图案参考图像(步骤51)。处理器在设置阶段确定哪些参考图像具有特定的照射图案，使得当组合时，提供显示对象最细节的对象的组合图像(步骤53)。这可以通过检测具有较高局部对比度值的像素来实现，如上所述。
然后，在检查阶段，处理器102在步骤53中获得(步骤54)具有在设置阶段确定的特定照射图案的被检查对象(第二相同类型对象)的相同数量的图像，并组合第二相同类型对象的图像，以提供用于第二相同类型对象的视觉检查的组合图像(步骤56)。这可以通过例如使用在第一对象的设置图像中检测到的图像的相同像素或区域(基于它们的信息度量)来实现，以获得第二对象的组合图像，用于对第二对象进行视觉检查。
在一些实施方案中，检查线上的物品可以相对于彼此旋转定位或定向。例如，被检查的物品(如图1B中的物品4)可以相对于参考图像中的物品(例如图1A中的物品2和/或2’)以90°或其他角度放置在检查线上。在这种情况下，可以在检查阶段计算并执行照射图案的相应旋转。例如，使用图2A中所示的光源105，确定(在设置阶段)以提供物品2的图像的照射图案(当组合时将提供基本上无眩光的图像)包括第一照射阶段，其中光源的所有段照射，第二照射阶段，其中仅左侧段照射。在检查阶段，确定物品4相对于物品2的位置和方向向右旋转90°。在这种情况下，物品4上使用的照射图案将包括：第一照射阶段，其中光源的所有部分都将照射；第二照射阶段，其中只有最上面的段照射；和第三照射阶段，其中只有最下部的部分照射。
因此，在设置阶段，处理器分析参考图像，确定第一对象的多个不同照射图案设置图像，当组合时，提供第一对象的基本无眩光图像。在检查阶段，获得相同数量的第二相同类型对象的图像，其中照射图案基于在设置阶段确定的照射图案，并进行组合，以提供用于第二对象视觉检查的组合图像。
比较在不同照射/曝光模式下捕获的图像之间的像素的信息度量能够找到(在设置阶段)获得具有最多对象信息的组合图像所需的最小数量的不同图像。
可以通过使用不同的优化技术和算法来确定(在设置阶段期间)获得物体的基本无眩光图像所需的最小数量的图像。在一个示例中，使用惩罚分数计算最小数量的图像，该惩罚分数使用惩罚因子，该惩罚因子可以是自然数(包括零)。例如，可以将第一惩罚因子分配给用于创建组合图像的图像数量，而可以将第二惩罚因子(其可以与第一惩罚因子相同或不同，通常是相对于第一惩罚因子具有负号的数字)分配给组合图像中具有更高信息值的每个像素。可以通过计算图像的所有排列组的惩罚分数和/或通过使用优化技术和算法来确定最小数量的图像。通常，第一惩罚因子将尝试施加用于创建组合图像的尽可能少的图像数量，而第二惩罚因子将试图施加显示成像对象的大部分细节的组合图像。
该过程使得能够在设置阶段确定获得对象的基本无眩光图像所需的最小数量的图像。然后在检查阶段使用该最小数量的图像。在检查期间获得每个物品的尽可能少的图像数量能够实现快速且因此高效的检查过程。
在一些实施方案中，第一对象(在设置阶段成像)是无缺陷对象，并且第二相同类型对象(在检查阶段成像)要么无缺陷，要么有缺陷。
在图5B中示意性示出的示例中，处理器102控制来自光源的照射，以照亮包括多个图案的一组光脉冲(步骤501)，以使相机能够在设置阶段捕获多个不同的照射图案图像。如上所述，处理器在设置阶段确定(步骤503)，哪个照射图案子集(步骤501中使用的一些照射图案，优选最小子集)能够使对象的组合图像显示对象的最细节。
在检查阶段，处理器102控制光源(步骤504)照射在步骤503中确定的照射图案子集，并组合照射时获得的图像，以提供用于第二相同类型对象的视觉检查的组合图像(步骤506)。
如图6中示意性所示，本发明的实施方案可包括通常在设置阶段获得检查线上对象的初始图像(步骤602)，以第一特定照射图案获得的初始图像，通常包括光源所有段的照射图案(如图像22)。在获得多个不同照射图案图像之前获得初始图像以检查初始图像是否包括高反射率或眩光区域。
可以基于用户输入和/或通过对图像应用图像处理算法来检测(例如)密切相关的饱和像素的数量(例如，高于阈值)，来确定图像是否包括高反射率区域。例如，如果在照射相机视场时，像素或相邻像素中的饱和度水平突然升高，这可能表明使用此照射图案将导致对象上的饱和区域。在另一个示例中，如果存在像素或相邻像素，当照射强度升高时，其信息水平下降，这可表示眩光或饱和度。
如果初始图像不包括高反射率区域(判定点604)，则在检查阶段期间使用用于获得初始图像的特定照射图案来获得用于对相同类型对象执行视觉检查的相同类型对象的图像(步骤605)(步骤614)。如果初始图像包括高反射率区域(判定点604)，则仍然在设置阶段，获得对象的多个不同照射图案图像(步骤606)并进行处理，例如，如本文所述，以确定(步骤608)产生多个图像的子集(通常为最小子集)的照射图案，所述子集包括图像，所述图像在组合时提供对象的组合图像，显示对象的最细节。然后在检查阶段使用步骤608中确定的特定照射图案以获得相同类型对象的图像(步骤610)。组合图像以提供组合图像(步骤612)，用于执行相同类型对象的视觉检查(步骤614)。
在一些实施方案中，获得对象的高分辨率(HDR)图像以提高图像质量。可以通过拍摄对象的多个图像来获得HDR图像，每个图像具有不同的曝光值。将获得的图像的像素值与用于捕获这些图像的相机的动态范围进行比较。可以基于比较来确定最小数量的最佳图像。然后组合这些最佳图像以获得对象的HDR图像。
可以基于图像的像素值与动态范围的中间值之间的差来确定最佳图像。例如，最佳图像可以是具有均匀分布的像素值的图像、没有过度和/或不足曝光区域(或具有最少过度和/或者不足曝光区域)的图像等。
为了使用两个(或更多)图像创建HDR图像，一组两个(或者更多)最佳图像可以包括具有最接近动态范围中间和/或满足其他条件的像素的图像，如上所述。例如，可以通过从两个(或更多)图像中获取其值更接近相机动态范围中间的像素来创建HDR图像。
通常，最佳图像的最小数量和拍摄时的曝光水平都是在设置阶段确定的。在检查阶段期间，使用与设置阶段期间确定的相同曝光水平的相同数量的图像来获得用于视觉检查的对象的HDR图像。在一个实施方案中，获得检查线上对象的HDR图像(在获得对象的多个不同照射图案图像之前)，并且如果HDR图像包括高反射率区域，则如本文所述获得对象的多种不同照射图案的图像。
在一个实施方案中，多个不同的照射图案图像还可以用作可以从中构造HDR图像的多个图像。因此，在设置阶段，处理器102可以控制光源105以几种照射图案照射，同时控制相机103以不同曝光水平拍摄图像。处理器102然后可以处理在不同曝光水平下获得的不同照射图案图像，以确定在检查阶段使用哪些曝光水平和/或哪些照射图案以获得用于视觉检查的高质量无眩光图像。
在图7中例示的时间线中，根据本发明实施例的方法实现了获得用于视觉检查的高质量图像的时效过程。
通常在检查阶段，将第一物品(物品1)放置在检查线上。然后以照射图案PI照射物品1，该照射图案PI能够检测物品(例如，照射设备的所有段都打开的照射图案)，如在设置阶段中预先确定的。在这些照射条件下，以第一曝光水平El(在设置阶段确定)拍摄图像。
当相机和/或物品的运动和振动(例如，由于传送带和/或其他机械运动)停止时，在El和照射图案PI中捕获的图像可用于检测图像中的物品。此外，当相机和/或物品的移动和振动停止时，相机可以转换到曝光水平E2。控制光源以在第二照射图案P2(例如，仅照射设备的左手段或最上段打开的照射图案)下照射，并且在曝光水平E2和照射图案P2下捕获物品的图像。当相机参数设置在曝光水平E2时，照射设备被控制为以另一个不同的照射图案P3(例如，仅照射设备的右手段或最下段打开的照射图案)照射。处理器然后组合在El和照射图案PI处捕获的图像以及在曝光水平E2和照射图案P2和P3处捕获的两个图像，提供基本上无眩光的HDR图像。
由于已经检测到对象，处理器可以立即使用无眩光HDR图像进行视觉检查(例如，在图像上显示图像和/或运行视觉检查算法)。同时，相机转换回曝光水平El和照射图案PI，以获得下一个对象的图像(物品2)。因此，在一些实施方案中，处理器102控制从第一照射图案到第二照射图案的转换，同时对组合的无眩光图像应用视觉检查算法。
在以曝光水平El和照射图案PI获得的图像中检测到物品2。如上所述，物品2的方向可能不同于设置过程中使用的同一类型物品，同时确定曝光水平和照射图案。如果存在方向变化，则会在曝光水平El下拍摄的图像中检测到。一旦检测到方向变化，曝光水平E2期间使用的第二照射图案将根据检测到的物品方向变化而旋转，从而与照射图案P2相比，第二照射图案P2’旋转。类似地，用于拍摄物品2的第三照射P3’图案与照射图案P3相比旋转。例如，对于包括被等分的正方形的照射设备，如果在照射图案P2中，只有照射设备的左手部分打开，对于垂直于物品1的方向(并与设置阶段成像的物品方向相比较)的物品2，照射图案P2’将仅包括最上面的部分开启。类似地，如果照射图案P3仅包括照射设备的右侧部分开启，照射图案P3’将仅包括处于开启状态的最下段。
本文描述的实施方案实现了自动视觉检查过程，该过程需要最少的用户参与，它提供了高质量、无遮挡的物体图像，用于在有效的检查过程中进行视觉检查。

Claims (16)

1.一种用于在检查线上对对象进行自动视觉检查的方法，所述方法包括：
用第一图案照射的脉冲照射所述检查线上的对象，所述脉冲处于恒定频率；
用第二图案照射的脉冲照射所述检查线上的对象，所述脉冲处于恒定频率；其中所述第一图案和所述第二图案的脉冲在时间上彼此偏移；
在与来自所述第一图案的脉冲而不是来自所述第二图案的脉冲一致的时间获得第一图像；
在与来自所述第二图案的脉冲而不是来自所述第一图案的脉冲一致的时间获得第二图像；
使用所述第一图像和所述第二图像中的至少一个来执行所述对象的视觉检查。
2.权利要求1所述的方法，包括：
组合所述第一图像和所述第二图像以提供组合图像；和
使用所述组合图像来执行所述对象的视觉检查。
3.权利要求1所述的方法，包括：
在与所述第一图案的脉冲和所述第二图案的脉冲之间的重叠一致的时间获得第三图像；和
使用所述第三图像对所述对象执行视觉检查。
4.权利要求3所述的方法，包括：
将所述第三图像与所述第一图像或所述第二图像组合以获得组合图像；和
使用所述组合图像对所述对象进行视觉检查。
5.权利要求2-4所述的方法，包括向用户显示所述组合图像。
6.权利要求2-4所述的方法，其中组合图像以获得组合图像包括基于所述第一、第二和/或第三图像中对应像素的值的统计来创建所述组合图像的像素。
7.权利要求6所述的方法，其中所述组合图像的像素的值基于所述第一、第二和/或第三图像中的对应像素的值的加权平均。
8.权利要求2所述的方法，其中所述自动视觉检查方法包括在检查对象的检查阶段之前的设置阶段，所述方法包括：
在所述设置阶段期间，确定最小数量的图像及它们对应的照射图案，使得当组合时，提供显示所述第一对象的最细节的第一对象的组合图像；
在所述检查阶段期间，获得具有在所述设置阶段期间确定的相应照射图案的第二相同类型对象的最小数量的图像；和
组合所述第二相同类型对象的图像以提供组合图像来对所述第二相同类型对象执行视觉检查。
9.权利要求8所述的方法，其中所述第一对象是无缺陷对象，并且其中所述第二相同类型对象是无缺陷或有缺陷的。
10.权利要求8所述的方法，包括在所述检查阶段期间获得具有这样的照射图案的第二对象的最小数量的图像，所述照射图案基于所述第二对象相对于所述第一对象的取向的取向。
11.权利要求1所述的方法，其中所述对象是检查线上的物品或所述物品内的感兴趣区域。
12.权利要求1所述的方法，包括：
在获得所述对象的第一和第二图像之前，在所述检查线上获得对象的HDR图像；和
如果所述HDR图像包括高反射率区域，则获得所述对象的第一和第二图像。
13.一种用于自动视觉检查的系统，所述系统包括：
相机，被配置为捕获检查线上的对象的图像；
光源，用于产生恒定频率的光脉冲，所述光脉冲在时间上偏移并以第一照射图案和第二照射图案照射相机视场(FOV)；和
与所述相机和所述光源通信的处理器，所述处理器用于控制所述光源以差分地照射所述相机FOV并将所述相机的曝光事件同步到与来自所述第一照射图案或第二照射图案之一但不与脉冲之间的交叠的脉冲一致的时间，从而产生不同的照射图案图像。
14.权利要求13所述的系统，其中所述处理器被配置为将相机的曝光事件同步到与脉冲之间的重叠一致的时间，以获得完全照射的图像。
15.权利要求13-14所述的系统，其中所述处理器用于组合由所述相机获得的图像以提供组合图像；并且使用所述组合图像来执行所述对象的视觉检查。
16.权利要求13所述的系统，其中所述处理器用于控制所述光源以基于所述图像内对象的取向来差分地照射相机FOV。
CN202180013439.6A 2020-02-06 2021-02-07 用于对反射对象成像的系统和方法 Pending CN115427790A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202062970833P 2020-02-06 2020-02-06
US62/970,833 2020-02-06
IL272538A IL272538A (en) 2020-02-06 2020-02-06 System and method for imaging reflecting objects
IL272538 2020-02-06
US202063075153P 2020-09-06 2020-09-06
US63/075,153 2020-09-06
PCT/IL2021/050143 WO2021156873A1 (en) 2020-02-06 2021-02-07 System and method for imaging reflecting objects

Publications (1)

Publication Number Publication Date
CN115427790A true CN115427790A (zh) 2022-12-02

Family

ID=77199768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180013439.6A Pending CN115427790A (zh) 2020-02-06 2021-02-07 用于对反射对象成像的系统和方法

Country Status (9)

Country Link
US (1) US20230342909A1 (zh)
EP (1) EP4100726A4 (zh)
JP (1) JP2023521529A (zh)
KR (1) KR20220134019A (zh)
CN (1) CN115427790A (zh)
BR (1) BR112022015599A2 (zh)
CA (1) CA3169874A1 (zh)
MX (1) MX2022009711A (zh)
WO (1) WO2021156873A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202200006344A1 (it) * 2022-03-31 2023-10-01 Antares Vision S P A Sistema di ispezione di oggetti
US20240022826A1 (en) * 2022-07-18 2024-01-18 Ford Global Technologies, Llc Illumination control for vehicle sensors

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4065212A (en) * 1975-06-30 1977-12-27 International Business Machines Corporation Inspection tool
US5245399A (en) * 1991-06-14 1993-09-14 Ball Corporation System for non-contact colored label identification and inspection and method therefor
US7127159B2 (en) * 2004-07-29 2006-10-24 Mitutoyo Corporation Strobe illumination
DE102006047150B4 (de) * 2006-10-05 2013-01-17 Krones Aktiengesellschaft Inspektionsvorrichtung für Behältnisse
EP2812678A1 (en) * 2012-02-07 2014-12-17 Tyco Electronics Raychem BVBA Visually inspecting optical fibers
FR2993662B1 (fr) * 2012-07-23 2015-05-15 Msc & Sgcc Procede et installation pour la detection notamment de defauts refractants
EP2887055B1 (en) * 2013-12-17 2016-05-11 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Method and apparatus for detection of visible defects
US20180374239A1 (en) * 2015-11-09 2018-12-27 Cognex Corporation System and method for field calibration of a vision system imaging two opposite sides of a calibration object
JP7188870B2 (ja) * 2017-05-31 2022-12-13 株式会社キーエンス 画像検査装置

Also Published As

Publication number Publication date
JP2023521529A (ja) 2023-05-25
MX2022009711A (es) 2022-09-09
BR112022015599A2 (pt) 2022-10-11
EP4100726A1 (en) 2022-12-14
EP4100726A4 (en) 2023-10-04
WO2021156873A1 (en) 2021-08-12
US20230342909A1 (en) 2023-10-26
KR20220134019A (ko) 2022-10-05
CA3169874A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
JP6945245B2 (ja) 外観検査装置
US6061086A (en) Apparatus and method for automated visual inspection of objects
JP5806808B2 (ja) 撮像光学検査装置
TWI484163B (zh) 以複數不同照射組態掃描一表面之方法及其自動光學檢測系統
US10591285B2 (en) Image inspection apparatus
CN109030495A (zh) 一种基于机器视觉技术的光学元件缺陷检测方法
TWI698629B (zh) 塑膠殼內隱形眼鏡之檢測系統及其方法
JP5009663B2 (ja) 外観検査システム
US20140152808A1 (en) Method and device for the reliable detection of material defects in transparent material
JP2009115613A (ja) 異物検査装置
US20180350060A1 (en) Image Inspection Apparatus
US20170053394A1 (en) Inspection apparatus, inspection method, and article manufacturing method
CN111527396A (zh) 设置生产线检查的系统和方法
JP4093460B2 (ja) 複雑な形状をもつ物品の外観検査装置
JP2008249568A (ja) 外観検査装置
CN115427790A (zh) 用于对反射对象成像的系统和方法
CN113865830A (zh) 显示屏缺陷检测方法及系统
DE10297337T5 (de) Automatischer Inspektionsapparat und Verfahren zur Erkennung von Anomalien in einem 3-dimensionalen transluzenten Objekt
KR101203210B1 (ko) 결함 검사장치
CN211179500U (zh) 多光源光学检测系统
JP2017227474A (ja) 照明装置、及び、画像検査装置
CN208350678U (zh) 透明容器口部裂纹在线检测装置
JP2020041800A (ja) 外観検査装置及び検査システム
TW202028729A (zh) 影像檢查裝置
TW202028728A (zh) 影像檢查裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination