CN113496177A - 视觉检查系统和检查零件的方法 - Google Patents

视觉检查系统和检查零件的方法 Download PDF

Info

Publication number
CN113496177A
CN113496177A CN202010265761.5A CN202010265761A CN113496177A CN 113496177 A CN113496177 A CN 113496177A CN 202010265761 A CN202010265761 A CN 202010265761A CN 113496177 A CN113496177 A CN 113496177A
Authority
CN
China
Prior art keywords
vision inspection
imaging device
parts
analysis model
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010265761.5A
Other languages
English (en)
Inventor
周磊
R.F-Y.卢
温度
T.达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TE Connectivity Services GmbH
Tyco Electronics Shanghai Co Ltd
Original Assignee
TE Connectivity Services GmbH
Tyco Electronics Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TE Connectivity Services GmbH, Tyco Electronics Shanghai Co Ltd filed Critical TE Connectivity Services GmbH
Priority to CN202010265761.5A priority Critical patent/CN113496177A/zh
Priority to US16/853,376 priority patent/US11557027B2/en
Priority to DE102021108645.0A priority patent/DE102021108645A1/de
Publication of CN113496177A publication Critical patent/CN113496177A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种视觉检查系统，其包括分类平台，所述分类平台具有支撑用于检查的零件的上表面，其中，所述零件被配置为以随机取向被装载到所述分类平台的上表面上。所述视觉检查系统包括检查站，所述检查站包括成像设备。所述视觉检查系统包括视觉检查控制器，其接收图像并基于图像分析模型处理图像，以确定每个零件的检查结果。视觉检查控制器具有形状识别工具，该形状识别工具配置为在视场中识别零件，而不管零件在分类平台上的取向如何。视觉检查控制器具有人工智能学习模块，该人工智能学习模块被操作为基于从成像设备接收的图像来定制和配置图像分析模型。

Description

视觉检查系统和检查零件的方法
技术领域
本文的主题总体上涉及视觉检查系统。
背景技术
检查系统用于在制造过程中检查零件。传统的检查系统需要人员在零件沿着输送机移动时手动检查零件。从输送机上移除有缺陷的零件。这种手动检查系统需要强度劳动并且成本高。手动检查系统的检测精度低，导致产品一致性差。另外，手动检查系统由于疲劳而遭受人为错误，例如遗漏的缺陷、错误的计数、零件的错放等等。
一些已知的检查系统使用机器视觉来检查零件。机器视觉检查系统使用相机对零件成像。成像系统通常要求零件处于特定取向以进行分析。由于零件通常利用固定件来定位零件以进行成像，因此这种检查系统的产量受限。在各个零件之间进行更换时，需要设置固定件，这非常耗时。
仍然需要一种可以以成本有效且可靠的方式操作的视觉检查系统。
发明内容
在一个实施例中，提供了一种视觉检查系统，其包括分类平台，所述分类平台具有支撑用于检查的零件的上表面，其中，零件被配置为以随机取向被装载到所述分类平台的上表面上。视觉检查系统包括与分类平台相邻定位的检查站，该检查站包括用于在上表面上方的视场中对零件成像的成像设备。视觉检查系统包括视觉检查控制器，其从成像设备接收图像并基于图像分析模型处理来自成像设备的图像。视觉检查控制器具有形状识别工具，该形状识别工具配置为在视场中识别零件，而不管零件在分类平台上的取向如何。视觉检查控制器处理图像以确定每个零件的检查结果。视觉检查控制器包括人工智能学习模块，该人工智能学习模块被操作为基于从成像设备接收的图像来更新图像分析模型。
在一个实施例中，提供了一种视觉检查系统，其包括分类平台，所述分类平台具有支撑用于检查的零件的上表面，其中，所述零件被配置为以随机取向被装载到所述分类平台的上表面上。视觉检查系统包括与分类平台相邻定位的检查站，该检查站包括用于在上表面上方的视场中对零件成像的成像设备。视觉检查系统包括视觉检查控制器，其从成像设备接收图像并基于图像分析模型处理来自成像设备的图像。视觉检查控制器具有形状识别工具，该形状识别工具配置为在视场中识别零件，而不管零件在分类平台上的取向如何。视觉检查控制器处理图像以确定每个零件的检查结果。视觉检查控制器包括人工智能学习模块，该人工智能学习模块被操作为基于从成像设备接收的图像来更新图像分析模型。视觉检查系统包括邻近分类平台定位的分类设备，该分类设备包括被配置为与零件对接的零件操纵器，以用于基于检查结果对零件进行分类。
在一个实施例中，提供了一种检查零件的方法，该方法包括：将零件装载到分类平台的上表面上，零件被配置为以随机取向装载到分类平台的上表面上；使零件在进给方向上沿着分类平台移动；和使用成像设备在与分类平台相邻定位的检查站处对零件成像，以对以随机取向位于上表面上的零件成像。该方法包括：在视觉检查控制器处从成像设备接收图像，该视觉检查控制器具有形状识别工具，该形状识别工具被配置为识别视场中的零件，而不管零件在分类平台上的取向如何；在视觉检查控制器处基于图像分析模型处理来自成像设备的图像，以确定零件的检查结果；和使用人工智能学习模块更新图像分析模型，以基于从成像设备接收到的图像配置图像分析模型。
附图说明
图1是根据示例性实施例的用于制造零件的机器的示意图。
图2是根据示例性实施例的机器的视觉检查系统的俯视图。
图3示出了根据示例性实施例的在视觉检查系统的分类平台上的零件的图像。
图4是根据示例性实施例的检查零件的方法的流程图。
具体实施方式
图1是用于制造零件50的机器10的示意图，零件50诸如电连接器中使用的零件。例如，零件50可以是触头、壳体、电路板或其他类型的零件。机器10可以用于制造在其他行业中使用的零件。机器10包括用于形成各种零件50的一个或多个成型机20。例如，成型机20可以包括模制机、压力机、车床等。机器10包括用于检查各个零件50的视觉检查系统100。机器10包括用于处理各个零件50的一个或多个处理机30。例如，处理机30可以包括组装机、包装机等。例如，在各个实施例中，零件50可以在包装(例如在包装站处)之前被组装(例如在组装站处)。零件50在成形机20和视觉检查系统100之间运输。视觉检查系统100用于零件50的质量检查，并去除有缺陷的零件以报废或进行进一步检查。已经通过视觉检查系统100的检查的合格零件50在视觉检查系统100和处理机30之间运输。
视觉检查系统100包括分类平台102，该分类平台通过视觉检查系统100支撑零件50。分类平台102可用于通过视觉检查系统100进给或移动零件50。在示例性实施例中，零件50可以以任何随机的取向(例如，面向前方，面向后方，面向侧面等)被装载到分类平台102上。分类平台102能够支撑零件而无需固定件，这增加了通过视觉检查系统100的零件50的产量。视觉检查系统100包括检查站104，该检查站具有一个或多个成像设备106，成像设备106对在(一个或多个)成像设备106的视场内的分类平台102上的零件50成像。在所示的实施例中，视觉检查系统100包括用于对零件50的不同侧面进行成像的多个成像设备106。可选地，所有侧面(例如，顶部，底部，前，后，第一侧面和第二侧面)可以用多个成像设备106成像。成像设备106能够以随机的取向来对零件50成像。视觉检查系统100包括视觉检查控制器108，其从成像设备106接收图像并处理图像，已确定检查结果。例如，视觉检查控制器108确定每个零件50是否通过或未通过检查。视觉检查控制器108可以拒绝有缺陷的零件50。在零件沿各种随机取向中的任何一个取向的情况中，图像能够由视觉检查控制器108处理。在示例性实施例中，视觉检查控制器108包括形状识别工具，该形状识别工具被配置为在视场中识别零件50，而不管零件50在分类平台102上的取向如何。在示例性实施例中，视觉检查控制器108包括人工智能(AI)学习模块，该人工智能学习模块用于基于从成像设备106接收的图像来更新图像分析。视觉检查控制器108可以在视觉检查系统100的操作期间被实时地更新和训练。视觉检查系统100包括用于基于检查结果对零件50进行分类的分类设备110。例如，分类设备110可以将合格零件与有缺陷的零件分开。分类设备110可以是多轴机器人操纵器，其被配置为从分类平台102上抓取并拣走零件。在其他各个实施例中，分类设备110可以包括被配置为将合格和/或有缺陷的零件从分类平台102推离的推动器或排出器。
在示例性实施例中，视觉检查系统100可以用于检查不同类型的零件50。例如，视觉检查系统100可以用于检查不同尺寸的零件，不同形状的零件，不同取向的零件等。在示例性实施例中，零件50可以快速地装载到分类平台102上，而不需要使零件50沿特定的取向定向并且不需要固定件，这允许零件50被快速且有效地成像。零件50不需要旋转或转动以使零件50以特定取向成像。零件50的感兴趣的关键区域可以被成像而与取向无关。
图2是根据示例性实施例的视觉检查系统100的俯视图。视觉检查系统100包括分类平台102、检查站104、视觉检查控制器108和分类设备110。在示例性实施例中，视觉检查系统100包括零件进给设备112。零件50由零件进给设备112装载到分类平台102上，零件进给设备112可以包括料斗、输送机或另一种进给设备。零件50被呈现给分类平台102上的检查站104。零件50可以沿着分类平台102前进或进给到检查站或通过检查站104，以进行对零件50的检查。零件50被分类设备110从分类平台102移除。
在示例性实施例中，零件供给装置112包括用于保持零件50的供应的箱120。诸如通过料斗或输送机将零件50从箱120进给到分类平台102。零件50可以被引导到分类平台102的特定位置，例如，在分类平台102的第一侧面122和第二侧面124之间靠近分类平台102的中心。零件50可以被装载到分类平台102上，例如靠近分类平台102的后部126，并且可以由分类平台102或在分类平台102上朝向分类平台102的前部128向前推进。在替代实施例中，可以提供其他类型的零件进给设备112。
分类平台102包括具有用于支撑零件50的上表面132的板130。板130可以是振动托盘，该振动托盘振动以使零件50从后部126朝向前部128前进。板130可以是矩形的。然而，在替代实施例中，板130可以具有其他形状。
检查站104还包括布置在分类平台102附近的一个或多个成像设备106(图2中示出了单个成像设备106)。成像设备106可位于上表面132上方，并观看布置在上表面132上的零件50。成像设备106用于对零件50成像，而不管零件50在上表面132上的取向如何。在替代实施例中，视觉检查系统100包括用于对零件50的不同侧面(例如零件50的顶部，底部，前，后，第一侧面和第二侧面)进行成像的多个成像设备106。多个成像设备106可以从不同方向对零件成像。成像设备106可以是相机，例如可见光相机，红外相机等。成像设备106的视场可以大致位于分类平台102的第一侧面122和第二侧面124之间的中心。成像设备106的视场可以大致位于分类平台102的后部126和前部128之间的中心。
在示例性实施例中，成像设备106被安装到位置操纵器140，以用于相对于分类平台102移动成像设备106。位置操纵器140可以是支撑成像设备106的臂或支架。在各种实施例中，位置操纵器140可在多个方向上定位，例如在二维或三维空间中。位置操纵器140可以被自动调节，例如由控制位置操纵器140的定位的控制器自动调节。位置操纵器162可以由诸如AI控制模块的另一控制模块调节。在其他各个实施例中，位置操纵器140可以被手动调节。可以基于被成像的零件50的类型来调节成像设备106的位置。例如，当不同类型的零件50被成像时，可以基于被成像的零件的类型来移动成像设备106。
分类设备110邻近分类平台102定位。分类设备110可以用于基于来自成像设备106的输入将可合格零件与有缺陷的零件分离。在示例性实施例中，分类设备110包括机械臂150和在机械臂150的远端154处的抓取器152。在各个实施例中，机械臂150是四轴机械臂或六轴机械臂。在替代实施例中可以使用其他类型的机械臂150。零件50由抓取器152从分类平台102上拣走。操作分类设备110以从分类平台102移除零件50，例如合格零件和/或有缺陷的零件。零件50可以移动到收集箱，例如用于合格零件的第一收集箱156和用于有缺陷零件的第二收集箱158。在各个实施例中，操作分类设备110以移除所有零件并将每个零件放置在对应的收集箱156、158中。在其他各个实施例中，分类设备110被操作为随着零件50在进给方向上前进，仅将合格零件移至第一收集箱156，而留下有缺陷的零件以掉落到第二收集箱158(位于分类平台102的前部128)中。在其他各个实施例中，分类设备110被操作为随着零件50在进给方向上前进，仅将有缺陷的零件移至第二收集箱158，而留下合格零件以掉落到第一收集箱156(位于分类平台102的前部128)中。在替代实施例中可以使用其他类型的零件移除设备，例如推动器、排出器等。
视觉检查控制器108可操作地联接到成像设备106和分类设备110，以控制分类设备110的操作。成像设备106通过机器视觉软件与视觉检查控制器108通信，以处理数据、分析结果、记录发现并基于该信息做出决定。机器视觉软件可以与机器10的AI学习模块集成或通信。可以基于机器视觉软件的图像处理来更新AI学习模块。视觉检查控制器108提供一致且有效的检查自动化。视觉检查控制器108确定零件50的制造质量，例如确定零件50是合格的还是有缺陷的。视觉检查控制器108识别零件中的缺陷(如果存在)。视觉检查控制器108确定零件50的取向。视觉检查控制器108基于所识别的零件50的取向来控制分类设备110的操作。
视觉检查控制器108从成像设备106接收图像，并且处理图像以确定检查结果。在示例性实施例中，视觉检查控制器108包括用于处理图像的一个或多个处理器180。视觉检查控制器108确定每个零件50是否通过或未通过检查。视觉检查控制器108控制分类设备110以将诸如合格零件和/或有缺陷的零件之类的零件50移入收集箱156、158中。在示例性实施例中，视觉检查控制器108包括形状识别工具182，该形状识别工具182被配置为在视场中识别零件50，而不管零件50在分类平台102上的取向如何。形状识别工具182可以与机器10的AI学习模块集成或通信。可以基于形状识别工具182的图像处理来更新AI学习模块。如果零件是面向前、面向后、面向侧面或处于另一个角度取向，则形状识别工具182能够识别和分析零件的图像。形状识别工具182可以确定取向偏移，例如相对于基本取向的角度偏移。例如，基本取向可以是零件的前部朝前取向的情况。如果零件被取向为零件的前部面向后，则取向偏移为180°偏移。如果零件被取向为是零件的前部面向侧面，则取向偏移为90°或180°偏移。在替代实施例中，其他偏移角度也是可能的，例如以0°至360°之间的任何角度偏移。视觉检查控制器108在图像的分析和处理中使用取向偏移。
一旦接收到图像，就基于图像分析模型对图像进行处理。由形状识别工具182确定的取向偏移用于将图像与图像分析模型进行比较。在相关的取向上将图像与图像分析模型进行比较，以确定零件50是否具有任何缺陷。图像分析模型可以是定义被成像的零件的基线结构的三维模型。在其他各种实施例中，图像分析模型可以是一系列二维模型，例如针对每个成像设备106。图像分析模型可以基于已知或质量合格的零件的图像，例如在学习或训练期间。图像分析模型可以基于零件50的设计规范。例如，图像分析模型可以包括零件的边缘、表面和特征的设计参数。图像分析模型可以包括参数的公差因子，从而允许在公差因子之内进行补偿。在处理期间，可以对图像进行单独处理，也可以将其合并为零件的数字模型，然后将该数字模型与图像分析模型进行比较。基于图像分析模型对图像进行处理以检测缺陷，例如充填不足缺陷，闪光缺陷，黑点，污垢，凹痕，划痕或其他类型的缺陷。可以通过基于图像分析模型执行图像的图案识别来处理图像。例如，在示例性实施例中，视觉检查控制器108包括配置为将图像中的图案或特征与图像分析模型中的图案或特征进行比较的图案识别工具184。图案识别工具184可以与机器10的AI学习模块集成或通信。可以基于由图案识别工具184进行的图像处理来更新AI学习模块。可以通过执行在图像中检测到的边界和表面的特征提取并将边界和表面与图像分析模型进行比较来处理图像。视觉检查控制器108可以识别图像内的线、边缘、桥、凹槽或其他边界或表面。视觉检查控制器108可以在处理期间执行图像的对比度增强和/或降噪。视觉检查控制器108可以识别图像内的感兴趣区域以用于增强处理。视觉检查控制器108可以在处理期间执行图像分割。
在示例性实施例中，视觉检查控制器108包括人工智能(AI)学习模块190。AI学习模块190使用人工智能来训练视觉检查控制器108并提高视觉检查控制器108的检查精度。AI学习模块190基于从成像设备106接收到的图像来更新图像分析模型。例如，图像分析模型可以由AI学习模块190定制和配置。可以基于来自机器视觉软件、形状识别工具182和/或模式识别工具184的数据来操作AI学习模块190。可以使用AI学习模块190基于成像设备106拍摄的图像来修改或更新形成图像分析模型基础的图像。例如，图像分析模型可以基于多个图像，其基于来自AI学习模块190的图像被更新或扩展。随着AI学习模块扩展图像分析模型，可以提高图像处理的质量。视觉检查控制器108在视觉检查系统100的操作期间被实时地更新和训练。视觉检查控制器108的AI学习模块190可以在学习模式下操作以训练视觉检查控制器108并开发图像分析模型。例如，可以基于来自AI学习模块190的数据来更新或训练机器视觉软件、形状识别工具182和/或图案识别工具184。图像分析模型基于来自AI学习模块190的输入(例如，基于成像设备106拍摄的零件50的图像)随时间变化。在替代实施例中，AI学习模块190可以是与视觉检查控制器108分离的模块，其可独立于视觉检查控制器108操作。例如，AI学习模块190可以单独地联接至成像设备106或机器10的其他部件。
在示例性实施例中，视觉检查控制器108包括用户界面192。用户界面192包括显示器194，例如监视器。用户界面192包括一个或多个输入196，诸如键盘、鼠标、按钮等。操作员能够通过用户界面192与视觉检查控制器108进行交互。
图3示出了根据示例性实施例的分类平台102上的零件50的图像。零件50可沿分类平台102在进给方向200(在所示实施例中为向北方向)上移动。在所示的实施例中，零件50是连接器壳体。零件50整体上是矩形的，具有前部202、后部204，第一侧面206和第二侧面208。零件50具有顶部210和搁置在分类平台102上的底部。在替代实施例中，零件50可以具有其他形状。
零件50沿着上表面132布置并且以随机取向定向。例如，第一零件50a具有大体向前的取向(例如，前部202大体面向北)，第二零件50b具有大体向后的取向(例如，前部202大体面向南)，第三零件50c具有大体侧向的取向(例如，前部202大体上面向东)。在替代实施例中，其他取向是可能的。
如在所示的实施例中，成像设备106(图2所示)对视野220成像，该视野可以具有多个零件50。图像被发送到视觉检查控制器108(如图2所示)并由视觉检查控制器108处理。形状识别工具182识别视场220中的零件50，而不管零件50在分类平台102上的取向如何。形状识别工具182确定每个零件50的定向方位230。沿零件50的预定轴线(例如中心纵向轴线)限定取向方位230，其中取向方位230面向零件的前部202。形状识别工具182基于取向方位230确定每个零件的取向方位230。取向方位230与基本取向(例如进给方向200)成角度偏移。在所示的实施例中，第一零件50a具有大约350°(或-10°)的取向方位230a，第二零件50b具有大约180°的取向方位230b，第三零件50c具有大约80°的取向方位230。在替代实施例中，其他偏移角度也是可能的，例如以0°至360°之间的任何角度偏移。视觉检查控制器108在图像的分析和处理中使用取向偏移。
在所示的实施例中，第一零件50a通过检查。第一零件50a不包括任何可识别的缺陷。第二零件50b不包括任何可识别的缺陷并且通过检查。第三零件50c未通过检查，因此被确定为有缺陷的。例如，第三零件50c具有缺少的部件，例如缺少的触头(例如，第三零件50c仅包括三个触头，而第一零件50a和第二零件50b包括四个触头)。视觉检查控制器108识别第三零件50c，以例如由分类设备110(图2所示)从分类平台102移除。例如，视觉检查控制器108可以在第三零件50c周围的图像中叠加突出显示的区域232，以识别感兴趣的区域，诸如包括缺陷零件的区域。视觉检查控制器108识别第三零件50c的取向，以使分类设备110正确地拾取和移除第三零件50c。在示例性实施例中，视觉检查控制器108识别第一零件50a和第二零件50b，以例如由分类设备110从分类平台102移除。视觉检查控制器108识别第一零件50a和第二零件50b的取向，以使分类设备110正确地拾取和移除第一零件50a和第二零件50b。
在示例性实施例中，AI学习模块190可以在训练模式或学习模式下操作。AI学习模块190使用来自被成像设备106拍摄的图像的数据来训练视觉检查控制器108。AI学习模块190可以包括图像库，该图像库用于比较图像并基于与图像库的比较来确定零件50是否通过/未通过检查。AI学习模块190用于提高视觉检查控制器108的检查精度。例如，AI学习模块190基于从成像设备106接收到的图像来更新图像分析模型。视觉检查控制器108可以在视觉检查系统100的操作期间基于图像被实时地更新和训练。图像分析模型基于来自AI学习模块190的输入(例如，基于成像设备106拍摄的零件50的图像)随时间变化。图像分析模型可能受到被确定为通过图像的那些图像和/或确定为失败图像的那些图像的影响。
图4是根据示例性实施例的检查零件的方法的流程图。该方法在400处包括将零件50装载到分类平台102上。零件50可以手动或自动地装载。零件50可以被装载在分类平台102的后部126处。零件50可以以例如相对于进给方向的随机取向随机地装载到分类平台102上。
该方法在402处包括将零件50从第一位置移动到第二位置。零件50可以由分类平台102移动，例如使用振动托盘。在其他各种实施例中，零件50可以由输送机、推动器或另一移动设备移动。在示例性实施例中，零件50从分类平台102的后部126朝向分类平台102的前部128移动到成像设备106的视场中。随着零件50沿着分类平台102被移动，零件50的取向可以改变。
该方法在404处包括使用成像设备106在检查站104对零件成像。成像设备106用于以各种随机取向中的任何取向来对零件50成像。在示例性实施例中，成像设备106直接位于分类平台102上方以观察零件50。可以使用成像设备106快速且有效地执行成像，而无需固定件或其他元件来使零件50定向。
该方法在406处包括在视觉检查控制器108处从成像设备106接收图像。图像可以通过数据总线传输。图像可以被接收并存储在视觉检查控制器108处的存储器中。
该方法在408处包括在视觉检查控制器108处处理来自成像设备106的图像，诸如使用形状识别工具182和/或图案识别工具184。基于图像分析模型对图像进行处理，以确定零件的检查结果。例如，使用由图像分析模型确定的缺陷分析、图案识别、零件取向、形状识别等来处理图像。图像分析模型可以是定义被成像的零件的基线结构的三维模型。在其他各种实施例中，图像分析模型可以是一系列二维模型，例如针对每个成像设备106。图像分析模型可以基于已知或质量合格的零件的图像，例如在学习或训练期间。图像分析模型可以基于零件50的设计规范。例如，图像分析模型可以包括零件的边缘、表面和特征的设计参数。图像分析模型可以包括参数的公差因子，从而允许在公差因子之内进行补偿。在处理期间，可以对图像进行单独处理，也可以将其合并为零件的数字模型，然后将该数字模型与图像分析模型进行比较。基于图像分析模型对图像进行处理以检测缺陷。在各个实施例中，视觉检查控制器108施用形状识别工具182为在视场220中识别零件50，而不管零件50在分类平台102上的取向如何。形状识别工具182用于将图像的取向与图像分析模型的取向相关联以进行适当的比较。在各种实施例中，通过将图像与图像分析模型进行比较来处理图像，以确定零件50是否具有任何缺陷。在各种实施例中，通过使用图案识别工具184基于图像分析模型执行图像的图案识别来处理图像。在各种实施例中，可以通过执行在图像中检测到的边界和表面的特征提取并将边界和表面与图像分析模型进行比较来处理图像。
该方法在410处包括使用AI学习模块190来更新图像分析模型，以基于从成像设备106接收的图像配置图像分析模型。基于来自成像设备106的图像来更新图像分析模型。可以使用AI学习模块190基于成像设备106拍摄的图像来修改或更新形成图像分析模型基础的图像。例如，图像分析模型可以基于多个图像，其基于来自AI学习模块190的图像被更新或扩展。随着AI学习模块扩展图像分析模型，可以提高图像处理的质量。可以使用来自图像分析模型的数据来训练或更新AI学习模块190。例如，可以使用来自形状识别工具182和/或图案识别工具184的数据来训练或更新AI学习模块190。
应当理解，以上描述意在说明而不是限制。例如，上述实施例(和/或其方面)可以彼此组合使用。另外，在不脱离本发明范围的情况下，可以做出许多修改以使特定情况或材料适应本发明的教导。本文描述的尺寸、材料类型、各种部件的取向以及各种部件的数量和位置旨在定义某些实施例的参数，而绝不是限制性的，而仅仅是示例性实施例。在阅读以上描述之后，在权利要求的精神和范围内的许多其他实施例和修改对于本领域普通技术人员将是显而易见的。因此，本发明的范围应该参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定。在所附权利要求中，术语“包括”和“其中”被用作相应术语“包含”和“在……中”的等效词。此外，在以下权利要求中，术语“第一”，“第二”和“第三”等仅用作标签，并且并非旨在对其对象施加数字要求。此外，以下权利要求的限制不是以装置加功能的格式书写的，也并非旨在基于35U.S.C.§112(f)被解释，除非并且直到这样的权利要求限制明确地使用短语“用于……的装置”，后接没有进一步结构的功能描述。

Claims (22)

1.一种视觉检查系统，其包括：
分类平台，具有支撑用于检查的零件的上表面，所述零件被配置为以随机取向被装载到所述分类平台的上表面上；
检查站，与所述平台相邻定位，所述检查站包括成像设备，以用于在所述上表面上方的视场中对所述零件成像；以及
视觉检查控制器，从所述成像设备接收图像并基于图像分析模型处理来自所述成像设备的图像，所述视觉检查控制器具有形状识别工具，所述形状识别工具被配置为识别视场中的零件，而不管所述零件在所述分类平台上的取向如何，所述视觉检查控制器处理图像以确定每个零件的检查结果，所述视觉检查控制器具有人工智能学习模块，所述人工智能学习模块被操作为基于从所述成像设备接收的图像更新所述图像分析模型。
2.根据权利要求1所述的视觉检查系统，其中，所述零件搁置在所述上表面上而无需固定件。
3.根据权利要求1所述的视觉检查系统，其中，所述形状识别工具由所述人工智能学习模块更新。
4.根据权利要求1所述的视觉检查系统，其中，所述分类平台包括振动托盘，以沿着所述分类平台的上表面在进给方向上进给零件，所述零件配置成以相对于所述进给方向的随机取向被装载到所述分类平台的上表面上。
5.根据权利要求1所述的视觉检查系统，其中，所述视觉检查控制器包括分析图像以识别零件的特征的图案识别工具，所述图案识别工具基于由所述形状识别工具确定的取向偏移而实施。
6.根据权利要求1所述的视觉检查系统，还包括邻近所述分类平台定位的分类设备，所述分类设备包括被配置为与零件对接的零件操纵器，以用于基于检查结果对零件进行分类。
7.根据权利要求6所述的视觉检查系统，其中，所述分类设备包括机械臂和在所述机械臂的远端处的抓取器，所述抓取器被配置为基于检查结果从所述分类平台上拣走零件，所述机械臂和所述抓取器基于来自所述形状识别工具的取向输入进行操作。
8.根据权利要求1所述的视觉检查系统，其中，所述图像分析模型基于所述人工智能学习模块的输入随时间变化。
9.根据权利要求1所述的视觉检查系统，其中，如果基于所述图像分析模型，经处理的图像是合格的，则所述检查结果包括通过结果，如果基于所述图像分析模型，经处理的图像有缺陷，则所述检查结果包括拒绝结果。
10.根据权利要求1所述的视觉检查系统，其中，所述视觉检查控制器通过基于所述图像分析模型执行图案识别来处理图像。
11.根据权利要求1所述的视觉检查系统，其中，所述视觉检查控制器通过执行图像中的边界和表面的特征提取并将边界和表面与所述图像分析模型进行比较来处理图像。
12.根据权利要求11所述的视觉检查系统，其中，所述人工智能学习模块基于从图像中提取的边界和表面更新所述图像分析模型。
13.根据权利要求1所述的视觉检查系统，其中，所述成像设备是第一成像设备，所述检查站包括第二成像设备，用于以与所述第一成像设备不同的角度对视场中的零件成像。
14.一种视觉检查系统，包括：
分类平台，具有支撑用于检查的零件的上表面，所述零件被配置为以随机取向被装载到所述分类平台的上表面上；
检查站，与所述平台相邻定位，所述检查站包括成像设备，以用于在上表面上方的视场中对所述零件成像；
视觉检查控制器，从所述成像设备接收图像并基于图像分析模型处理来自所述成像设备的图像，所述视觉检查控制器具有形状识别工具，所述形状识别工具被配置为识别视场中的零件，而不管所述零件在所述分类平台上的取向如何，所述视觉检查控制器处理图像以确定每个零件的检查结果，所述视觉检查控制器具有人工智能学习模块，所述人工智能学习模块被操作为基于从所述成像设备接收的图像更新所述图像分析模型；和
分类设备，邻近所述分类平台定位，所述分类设备包括被配置为与零件对接的零件操纵器，以用于基于检查结果对零件进行分类。
15.根据权利要求14所述的视觉检查系统，其中，所述形状识别工具由所述人工智能学习模块更新。
16.根据权利要求14所述的视觉检查系统，其中，所述视觉检查控制器包括分析图像以识别零件的特征的图案识别工具，所述图案识别工具基于由所述形状识别工具确定的取向偏移而实施。
17.根据权利要求14所述的视觉检查系统，其中，所述分类设备包括机械臂和在所述机械臂的远端处的抓取器，所述抓取器被配置为基于检查结果从所述分类平台上拣走零件，所述机械臂和所述抓取器基于来自所述形状识别工具的取向输入进行操作。
18.根据权利要求14所述的视觉检查系统，其中，所述图像分析模型基于所述人工智能学习模块的输入随时间变化。
19.根据权利要求14所述的视觉检查系统，其中，所述视觉检查控制器通过基于所述图像分析模型执行图案识别来处理图像。
20.根据权利要求14所述的视觉检查系统，其中，所述视觉检查控制器通过执行图像中边界和表面的特征提取并将边界和表面与所述图像分析模型进行比较来处理图像，所述人工智能学习模块基于从图像中提取的边界和表面来更新所述图像分析模型。
21.根据权利要求14所述的视觉检查系统，其中，所述成像设备是第一成像设备，所述检查站包括第二成像设备，用于以与所述第一成像设备不同的角度对视场中的零件成像。
22.一种检查零件的方法，包括：
将零件装载到分类平台的上表面上，所述零件配置为以随机取向装载到所述分类平台的上表面上；
沿着所述分类平台在进给方向上移动零件；
使用成像设备在与所述分类平台相邻的检查站处对零件成像，以在所述上表面上以随机取向对零件成像；
在具有形状识别工具的视觉检查控制器处从所述成像设备接收图像，所述形状识别工具被配置为识别视场中的零件，而不管零件在所述分类平台上的取向如何；
基于图像分析模型在所述视觉检查控制器处处理来自所述成像设备的图像，以确定零件的检查结果；和
使用人工智能学习模块更新所述图像分析模型，以基于从所述成像设备接收的图像来配置所述图像分析模型。
CN202010265761.5A 2020-04-07 2020-04-07 视觉检查系统和检查零件的方法 Pending CN113496177A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010265761.5A CN113496177A (zh) 2020-04-07 2020-04-07 视觉检查系统和检查零件的方法
US16/853,376 US11557027B2 (en) 2020-04-07 2020-04-20 Vision inspection system and method of inspecting parts
DE102021108645.0A DE102021108645A1 (de) 2020-04-07 2021-04-07 Sichtüberprüfungssystem und Verfahren zur Überprüfung von Teilen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010265761.5A CN113496177A (zh) 2020-04-07 2020-04-07 视觉检查系统和检查零件的方法

Publications (1)

Publication Number Publication Date
CN113496177A true CN113496177A (zh) 2021-10-12

Family

ID=77998200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010265761.5A Pending CN113496177A (zh) 2020-04-07 2020-04-07 视觉检查系统和检查零件的方法

Country Status (2)

Country Link
US (1) US11557027B2 (zh)
CN (1) CN113496177A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230191608A1 (en) * 2021-12-22 2023-06-22 AMP Robotics Corporation Using machine learning to recognize variant objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680215A (en) * 1995-02-27 1997-10-21 Lockheed Missiles & Space Company, Inc. Vision inspection system and method
US9228957B2 (en) * 2013-05-24 2016-01-05 Gii Acquisition, Llc High speed method and system for inspecting a stream of parts
WO2013169728A2 (en) * 2012-05-07 2013-11-14 Flextronics Ap, Llc Universal device multi-function test apparatus
EP3482192A4 (en) * 2016-07-08 2020-08-05 ATS Automation Tooling Systems Inc. SYSTEM AND PROCEDURE FOR COMBINED AUTOMATIC AND MANUAL INSPECTION

Also Published As

Publication number Publication date
US20210319545A1 (en) 2021-10-14
US11557027B2 (en) 2023-01-17

Similar Documents

Publication Publication Date Title
CN106546173B (zh) 用于检测元器件的设备及其检测方法
CN113686890A (zh) 视觉检查系统检查零件的方法
CN113196337B (zh) 图像处理装置、作业机器人、基板检查装置及检体检查装置
US20210385413A1 (en) Product assembly machine having vision inspection station
CN110729210A (zh) 半导体制造装置以及半导体器件的制造方法
US11378520B2 (en) Auto focus function for vision inspection system
US11935216B2 (en) Vision inspection system and method of inspecting parts
CN114286740A (zh) 作业机器人以及作业系统
US11557027B2 (en) Vision inspection system and method of inspecting parts
CN111289521A (zh) 加工品的表面损伤检查系统
JP2006261205A (ja) 干渉検知方法および同装置
CN110672600B (zh) 一种滤光片在线检测设备及方法
CN116448780A (zh) 芯片缺陷检测装置、方法及设备
US20240033933A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
DE102021108645A1 (de) Sichtüberprüfungssystem und Verfahren zur Überprüfung von Teilen
US11816755B2 (en) Part manufacture machine having vision inspection system
JP2018167357A (ja) 良品収集システム並びにそのシステムの制御用のコントローラおよびプログラム
DE102021114192A1 (de) Produktmontagemaschine mit Sichtüberprüfungsstation
US20240042559A1 (en) Part manipulator for assembly machine
US20230237636A1 (en) Vision inspection system for defect detection
EP4249188A1 (en) Tool checking device, tool checking program, and tool checking method for robot arm
CN111665194A (zh) 外观检测系统及检测方法
CN111128797A (zh) 晶粒输送系统
JP6884494B2 (ja) 部品搬送装置、部品搬送方法および部品実装装置
JP6725355B2 (ja) ワーク処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination