CN113751332A - 视觉检查系统和检查零件的方法 - Google Patents

视觉检查系统和检查零件的方法 Download PDF

Info

Publication number
CN113751332A
CN113751332A CN202010493394.4A CN202010493394A CN113751332A CN 113751332 A CN113751332 A CN 113751332A CN 202010493394 A CN202010493394 A CN 202010493394A CN 113751332 A CN113751332 A CN 113751332A
Authority
CN
China
Prior art keywords
image
histogram
vision inspection
tool
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010493394.4A
Other languages
English (en)
Inventor
S·O·奥桑克沃
周建坤
周磊
张丹丹
R·F-Y·鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TE Connectivity Services GmbH
Tyco Electronics Shanghai Co Ltd
Original Assignee
TE Connectivity Services GmbH
Tyco Electronics Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TE Connectivity Services GmbH, Tyco Electronics Shanghai Co Ltd filed Critical TE Connectivity Services GmbH
Priority to CN202010493394.4A priority Critical patent/CN113751332A/zh
Priority to US16/940,778 priority patent/US11935216B2/en
Priority to DE102021114156.7A priority patent/DE102021114156A1/de
Publication of CN113751332A publication Critical patent/CN113751332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/38—Collecting or arranging articles in groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一种视觉检查系统包括分拣平台，其具有用于支撑零件以进行检查的上表面。检查站位于该分拣平台附近，其包括成像装置以对视场中的零件进行成像。视觉检查控制器从该成像装置接收图像。该视觉检查控制器包括图像直方图工具，以基于自适应直方图均衡处理来重新分布图像的亮度值以改善图像的对比度，从而生成增强图像。该视觉检查控制器基于图像分析模型来处理增强图像以确定每个零件的检查结果。该视觉检查控制器具有人工智能学习模块，其操作为基于增强图像来定制和配置图像分析模型。

Description

视觉检查系统和检查零件的方法
技术领域
本文的主题总体上涉及视觉检查系统。
背景技术
检查系统用于在制造过程期间检查零件。常规的检查系统使用人员来手动检查零件，例如识别有缺陷的零件。这样的手动检查系统是劳动密集型且高成本的。手动检查系统的检测精度低，导致产品的一致性差。此外，手动检查系统遭受由于疲劳引起的人为错误，例如遗漏的缺陷、错误的计数、零件的错位，等等。一些已知的检查系统使用机器视觉来检查零件。机器视觉检查系统使用相机对零件成像。图像质量是已知的机器视觉检查系统的问题。例如，例如，由于差的图像对比度、差的图像亮度等引起的差的图像质量导致差的系统性能和错误的检查。一些成像系统以不同的亮度水平对零件成像多次，以进行分析。但是，对零件进行多次成像会导致低吞吐量。
仍然需要一种可以以成本有效且可靠的方式操作的视觉检查系统。
发明内容
在一个实施例中，提供了一种视觉检查系统。视觉检查系统包括分拣平台，其具有用于支撑零件以进行检查的上表面。检查站位于分拣平台附近。检查站包括成像装置，以在上表面上方对视场中的零件进行成像。视觉检查控制器从成像装置接收图像。视觉检查控制器包括图像直方图工具，以基于自适应直方图均衡处理来重新分布图像的亮度值以改善图像的对比度，从而生成增强图像。视觉检查控制器基于图像分析模型来处理增强图像以确定每个零件的检查结果。视觉检查控制器具有人工智能学习模块，其操作为基于增强图像来定制和配置图像分析模型。
在另一实施例中，提供了一种视觉检查系统。视觉检查系统包括分拣平台，其具有用于支撑零件以进行检查的上表面。检查站位于分拣平台附近。检查站包括成像装置，以在上表面上方对视场中的零件进行成像。视觉检查控制器从成像装置接收图像。视觉检查控制器包括图像直方图工具，其预处理图像以改善图像的对比度。图像直方图工具生成直方图。图像直方图工具基于直方图来计算累积分布函数。图像直方图工具基于累积分布函数来计算图像的增强亮度值以生成增强图像。视觉检查控制器包括形状识别工具，其基于图像分析模型来处理增强图像以确定每个零件的检查结果。视觉检查控制器具有人工智能学习模块，其操作为基于增强图像来定制和配置图像分析模型。
在另一实施例中，提供了一种检查零件的方法。该方法包括将零件装载到分拣平台的上表面上。该方法使用成像装置在位于分拣平台附近的检查站对零件进行成像，以在上表面上对零件进行成像。该方法在视觉检查控制器处从成像装置接收图像，视觉检查控制器具有图像直方图工具和形状该识别工具。该方法使用图像直方图工具预处理图像，以基于自适应直方图均衡处理来重新分布图像的亮度值以改善图像的对比度，从而生成增强图像。该方法使用形状识别工具基于图像分析模型来处理增强图像以确定每个零件的检查结果，并且使用人工智能学习模块来定制图像分析模型以基于增强图像来配置图像分析模型。
附图说明
图1是根据示例性实施例的具有视觉检查系统的用于制造零件的机器的示意图。
图2是根据示例性实施例的视觉检查系统的俯视图。
图3是示出了根据示例性实施例的检查零件的方法的流程图。
图4是示出了根据示例性实施例的处理图像的方法的流程图。
图5示出了在使用图像直方图工具处理图像之前的根据示例性实施例的零件的图像。
图6示出了在使用图像直方图工具处理图像之后的根据示例性实施例的零件的增强图像。
图7示出了在使用图像直方图工具重新分布像素值之前的根据示例性实施例的图5所示的图像的直方图。
图8示出了在使用图像直方图工具处理直方图以重新分布像素值之后的根据示例性实施例的图6所示的图像的重新分布的直方图。
具体实施方式
图1是用于制造零件50的机器10的示意图，例如电连接器中使用的零件。例如，零件50可以是触头、外壳、电路板或其他类型的零件。机器10可以用于制造在其他行业中使用的零件。机器10包括用于形成各种零件50的一个或多个成形机20。例如，成型机20可以包括模制机、压制机、车床等。机器10包括用于检查各种零件50的视觉检查系统100。机器10包括用于处理各种零件50的一个或多个处理机30。例如，处理机30可以包括组装机、封装机等。例如，在各种实施例中，可以在封装之前(例如在封装站处)组装零件50(例如在组装站处)。零件50在成形机20和视觉检查系统100之间运输。视觉检查系统100用于零件50的质量检查，并移除有缺陷的零件以进行报废或进一步检查。已经通过视觉检查系统100检查的合格零件50在视觉检查系统100和处理机30之间运输。
视觉检查系统100包括分拣平台102，其支撑零件50通过视觉检查系统100。分拣平台102可以用于馈送或移动零件50通过视觉检查系统100。在示例性实施例中，零件50可以以任何随机的取向装载到分拣平台102上(例如，面向前方、面向后方、面向侧面等)。分拣平台102能够在不适用夹具的情况下支撑零件，这增加了零件50通过视觉检查系统100的吞吐量。
视觉检查系统100包括检查站104，其具有一个或多个成像装置106，它们在(多个)成像装置106的视场内对分拣平台102上的零件50进行成像。在所示的实施例中，视觉检查系统100包括多个成像装置106，用于对零件50的不同侧面进行成像。可选地，所有的侧面(例如，顶侧、底侧、前侧、后侧、第一侧和第二侧)可以用多个成像装置106成像。成像装置106能够以随机的取向对零件50进行成像。在示例性实施例中，视觉检查系统100可以用于检查不同类型的零件50。例如，视觉检查系统100可以用于检查不同尺寸的零件、不同形状的零件、不同取向的零件、等等。
视觉检查系统100包括视觉检查控制器108，其从成像装置106接收图像并处理图像以确定检查结果。例如，视觉检查控制器108确定每个零件50是否通过或未通过检查。视觉检查控制器108可以拒绝有缺陷的零件50。在示例性实施例中，视觉检查控制器108包括用于预处理图像的预处理模块和用于处理经预处理的图像的处理模块。例如，预处理模块可以在处理之前执行图像增强。预处理模块可以提供图像的对比度改善。
在示例性实施例中，视觉检查控制器108的预处理由图像直方图工具执行。图像直方图工具生成图像的像素的直方图，基于直方图来计算累积分布函数，并且基于累积分布函数来计算图像的像素的增强亮度值，以生成增强图像。图像直方图工具重新分布图像的像素的亮度值，以改善图像的对比度。
增强图像由视觉检查控制器108基于图像分析模型来处理。在示例性实施例中，视觉检查控制器108包括形状识别工具，其配置为识别分拣平台102上的视场中的零件50。形状识别工具处理增强图像，其由图像直方图工具执行的预处理增强。可以通过基于图像分析模型对增强图像执行图案识别来处理图像。形状识别工具可以将增强图像中的形状、图案或特征与图像分析模型中的形状、图案和特征进行比较。可以通过对图像中检测到的边界和表面执行特征提取并将边界和表面与图像分析模型进行比较来处理图像。视觉检查控制器108可以识别图像内的线、边缘、桥、凹槽或者其他边界或表面。图像的预处理提供了图像对比度增强，以改善边界或表面识别。视觉检查控制器108可以用于图像中的特征的光学字符识别(OCR)。例如，形状识别工具可以用于OCR。
在示例性实施例中，视觉检查控制器108包括人工智能(AI)学习模型，其用于基于从成像装置106接收的图像和/或具有来自图像直方图工具的对比度增强的增强图像来定制和配置图像。视觉检查控制器108可以在视觉检查系统100的操作期间实时地更新和训练。例如，AI学习模型可以在视觉检查系统100的操作期间实时地更新和训练视觉检查控制器108。
视觉检查系统100包括分拣装置110，用于基于检查结果分拣零件50。例如，分拣装置110可以将合格的零件与有缺陷的零件分开。分拣装置110可以是多轴机器人操纵器，其配置为抓取和拾取零件离开分拣平台102。在其他各种实施例中，分拣装置110可以包括推动器或弹出器，其配置为推动合格的和/或有缺陷的零件离开分拣平台102。
图2是根据示例性实施例的视觉检查系统100的俯视图。视觉检查系统100包括分拣平台102、检查站104、视觉检查控制器108和分拣装置110。在示例性实施例中，视觉检查系统100包括零件馈送装置112。零件50通过零件馈送装置112装载到分拣平台102上，零件馈送装置112可以包括料斗、输送机、机器人或另一种馈送装置。零件50在分拣平台102上呈送给检查站104。零件50可以沿着分拣平台102前进到或馈送给检查站104或者通过检查站104以进行零件50的检查。零件可以沿着分拣平台102前进，例如在线性前进方向上或在旋转前进方向上。零件50可以通过分拣装置110从分拣平台102移除。
在示例性实施例中，零件馈送装置112包括用于保持零件50的供应的仓120。零件50例如通过料斗或输送机从仓120馈送给分拣平台102。可以将零件50引导到分拣平台102的特定位置，例如在分拣平台102的第一层122和第二侧124之间靠近分拣平台102的中心。可以将零件50装载到分拣平台102上，例如靠近分拣平台102的后部126，且通过分拣平台102或在分拣平台102上朝向分拣平台102的前部128前进。在替代实施例中，可以提供其他类型的零件进给装置112，例如可旋转板。
分拣平台102包括板130，其具有用于支撑零件50的上表面132。板130可以是振动拖盘，其被振动以使零件50从后部126朝向前部128前进。板130可以是矩形的。然而，在替代实施例中，板130可以具有其他形状，例如圆形。
检查站104包括布置在分拣平台102附近的一个或多个成像装置106(在图2中示出了单个成像装置106)。成像装置106可以位于上表面132上方且观察布置在上表面132上的零件50。成像装置106可以是相机、例如可见光相机、红外相机等。成像装置106的视场可以大致居中在分拣平台102的第一侧122和第二侧124之间。成像装置106的视场可以大致居中在分拣平台102的后部126和前部128之间。
在示例性实施例中，成像装置106安装至位置操纵器140，以相对于分拣平台102移动成像装置106。位置操纵器140可以是支撑成像装置106的臂或支架。在各种实施例中，位置操纵器140可以在多个方向上可定位，例如在二维或三维空间中。位置操纵器140可以自动调节，例如通过控制位置操纵器140的定位的控制器。在其他各种实施例中，位置操纵器140可以手动调节。成像装置106的位置可以基于被成像的零件50的类型来调节。例如，当不同类型的零件50进行成像时，成像装置106可以基于被成像的零件的类型来移动。
分拣装置110位于分拣平台102附近。分拣装置110可以用于基于来自成像装置106的输入将合格的零件和有缺陷的零件分开。在示例性实施例中，分拣装置110包括机械臂150和机械臂150的远端154处的抓取器152。在各种实施例中，机械臂150是四轴机械臂或六轴机械臂。在替代实施例中，可以使用其他类型的机械臂150。通过抓取器152拾取零件50离开分拣平台102。分拣装置110操作为从分拣平台102移除件50，例如合格的零件和/或有缺陷的零件。可以将零件50移动到收集仓，例如用于合格的零件的第一收集仓156和用于有缺陷的零件的第二收集仓158。在各种实施例中，分拣装置110操作为移除所有的零件并将每个零件放置在对应的收集仓156、158中。在其他各种实施例中，当零件50在馈送方向上前进时，分拣装置110操作为仅将合格的零件移除到第一收集仓156，二将有缺陷的零件留下放入第二收集仓158(位于分拣平台102的前部128)中。在其他各种实施例中，当零件50在馈送方向上前进时，分拣装置110操作为仅将有缺陷的零件移除到第二收集仓158，而将合格的零件留下放入第一收集仓156(位于分拣平台102的前部128)中。在替代实施例中，可以使用其他类型的零件移除装置，例如推动器、弹出器等。
视觉检查控制器108可操作地联接到成像装置106和分拣装置110，以控制分拣装置110的操作。成像装置106通过机器视觉软件与视觉检查控制器108通信以处理数据、分析结果、记录发现，并基于信息做出决定。视觉检查控制器108提供一致且高效的检查自动化。视觉检查控制器108确定零件50的制造质量，例如确定零件50是合格的还是有缺陷的。视觉检查控制器108识别零件中的缺陷(如果存在的话)。视觉检查控制器108可以在零件检查期间对图像执行OCR。视觉检查控制器108可以确定零件50的取向。视觉检查控制器108基于零件50的识别的取向来控制分拣装置110的操作。
视觉检查控制器108从成像装置106接收图像并处理图像以确定检查结果。在示例性实施例中，视觉检查控制器108执行图像的预处理以在处理图像之前增强图像的对比度和/或亮度。视觉检查控制器108包括图像直方图工具180，用于改善图像的对比度。图像的预处理减少图像中的噪声。在示例性实施例中，图像直方图工具180预处理图像以通过基于自适应直方图均衡处理重新分布图像的亮度值来改善图像的对比度，从而生成增强图像。例如，与从成像装置106接收的原始图像相比，图像直方图工具180可以使用对比度受限自适应直方图均衡处理来改善图像对比度并增强图像。在示例性实施例中，图像直方图工具180在图像的不同区域上执行局部对比度图像增强以生成增强图像。例如，图像直方图工具180可以将图像划分为较小的区域或图块并对每个图块执行自适应直方图均衡功能以生成增强图像。图像直方图工具180可以使用累积分布函数来重新分布图像的亮度值。图像直方图工具180减少图像中的照明变化的影响。图像直方图工具180改善图像对比度以使图像的形状识别和/或OCR更加鲁棒和有效。
视觉检查控制器108包括用于处理图像的一个或多个处理器182。视觉检查控制器108确定每个零件50是否通过或未通过检查。视觉检查控制器108控制分拣装置110移除零件50(例如合格的零件和/或有缺陷的零件)到收集仓156、158中。在示例性实施例中，视觉检查控制器108包括形状识别工具184，其配置为检查视场中的零件50。形状识别工具184基于图像分析模型来处理图像。图像与图像分析模型进行比较，以确定零件50是否具有任何缺陷。可以对图像进行处理以检测填充不足缺陷、飞边缺陷、黑点、污垢、凹痕、划痕或其他类型的缺陷。可以通过基于图像分析模型对图像执行模式识别来处理图像。例如，形状识别工具184将图像中的图像或特征与图像分析模型中的图像或特征进行比较。可以通过对图像中检测到的边界和表面执行特征提取并将边界和表面与图像分析模型进行比较来处理图像。视觉检查控制器108可以识别图像内的线、边缘、桥、凹槽或者其他边界或表面。视觉检查控制器108可以用于图像中的特征的OCR。视觉检查控制器108可以识别图像内的感兴趣区域以进行增强处理。视觉检查控制器108可以在处理期间执行图像分割。
在示例性实施例中，视觉检查控制器108包括人工智能(AI)学习模块190。AI学习模块190使用人工智能来训练视觉检查控制器108并改善视觉检查控制器108的检查精度。AI学习模块190基于从成像装置106接收的图像和/或使用图像直方图工具180处理的增强图像来定制和配置图像分析。视觉检查控制器108在视觉检查系统100的操作期间实时地更新和训练。视觉检查控制器108的AI学习模块190可以在学习模块下操作以训练视觉检查控制器108并改进图像分析模型。图像分析模型基于来自AI学习模块190的输入(例如，基于由成像装置106获取的零件50的图像)随时间变化。
在示例性实施例中，视觉检查控制器108包括用户接口192。用户接口192包括显示器194，例如监视器。用户接口192包括一个或多个输入196，例如键盘、鼠标、按钮等。操作者能够使用用户接口192与视觉检查控制器108交互。
图3是示出了根据示例性实施例的检查零件的方法的流程图。方法在300包括将零件50装载到分拣平台102上。可以手动或自动地装载零件50。可以将零件50装载到分拣平台102的上表面132上。
在302，方法包括在检查站104使用成像装置106对零件成像。成像装置106可以位于分拣平台102正上方以观察零件50。可以使用成像装置106快速且高效地执行成像。在304，方法包括在视觉检查控制器108从成像装置106接收图像。
在306，方法包括使用图像直方图工具180预处理图像以改善图像的对比度并生成增强图像。图像直方图工具180在处理增强图像之前增强图像的对比度和/或亮度。可以通过由图像直方图工具重新分布图像的亮度值来处理图像。图像的预处理减少图像中的噪声。可以通过图像直方图工具180使用自适应直方图均衡处理来预处理图像。与从成像装置106接收的原始图像相比，图像直方图工具180可以使用对比度受限自适应直方图均衡处理来改善图像对比度并增强图像。在示例性实施例中，图像直方图工具180在图像的不同区域上执行局部对比度图像增强以生成增强图像。例如，图像直方图工具180可以将图像划分为较小的区域或图块并对每个图块执行自适应直方图均衡功能以生成增强图像。图像直方图工具180可以使用累积分布函数来重新分布图像的亮度值。在示例性实施例中，图像直方图工具180可以通过以下方式来处理图像：基于图像生成直方图，基于直方图计算累积分布函数，以及基于累积分布函数计算图像的增强亮度值，从而生成增强图像。
在308，方法包括使用视觉检查控制器108的形状识别工具184处理经处理器的增强图像。形状识别工具184可以基于图像分析模型来处理图像以确定零件的检查结果。在各种实施例中，通过将图像与图像分析模型进行比较以确定零件50中是否有缺陷来处理图像。在各种实施例中，通过基于图像分析模型来执行图像的图案识别来处理图像。在各种实施例中，可以通过对图像中检测到的边界和表面执行特征提取并将边界和表面与图像分析模型进行比较来处理图像。形状识别工具184可以通过在增强图像上执行OCR来处理增强图像。
在310，方法包括使用AI学习模块190来定制图像分析模型，以基于从成像装置106接收的图像和/或基于由图像直方图工具180预处理的增强图像来配置图像分析模型。AI学习模块190使用来自图像的数据来训练视觉检查控制器108并改善视觉检查控制器108的检查精度。基于来自成像装置106的图像来更新图像分析模型。AI学习模块190基于从成像装置106接收的图像和/或基于由图像直方图工具180预处理的增强图像来定制和配置图像分析。基于图像或增强图像，视觉检查控制器108在视觉检查系统100的操作期间实时地更新和训练。基于来自AI学习模块190的输入，图像分析模型随时间变化，例如基于由成像装置106获取的图像和/或基于由图像直方图工具180预处理的增强图像。
图4是示出了根据示例性实施例的处理图像的方法的流程图。方法在400包括从成像装置106接收图像。图像可以在视觉检查控制器108处接收，该视觉检查控制器108具有图像直方图工具和形状识别工具。图像可以是零件的图像，用于检查零件，例如确定零件是否有缺陷。
在402，方法包括使用图像直方图工具180预处理图像以改善图像的对比度并生成增强图像。使用图像直方图工具180预处理图像包括分析404图像的局部区域或图块的步骤。例如，可以使用诸如8X8窗口(或其他尺寸的窗口)之类的窗口来分析图像，以进行局部图像分析。图像直方图工具180可以使窗口跨整个图像滑动，从而分析图像的所有区域。窗口或图块可能重叠，从而在多个图块中分析区域。
使用图像直方图工具180预处理图像包括基于图像生成406直方图的步骤。直方图是像素强度与像素数量的关系图。直方图表示像素值的分布。例如，图像可以是灰度图像，其像素值的范围从0(黑)到255(白)。直方图确定每个像素值处像素的出现次数。
使用图像直方图工具180预处理图像包括基于直方图计算408累积分布函数(CDF)的步骤。CDF表示直方图的累计值。CDF量化观察某些像素强度的可能性。使用图像直方图工具180预处理图像包括基于累积分布函数计算410图像的增强亮度值以生成增强图像的步骤。增强亮度值是通过将像素值乘以负载因子来计算的。负载因子可以大于1以增加像素值并在较亮的方向上位移像素值。负载因子可以小于1以减小像素值并在较暗的方向上位移像素值。增强亮度值将像素值分布在更宽的像素值范围上，以增加图像对比度。增强亮度值改变了图像的亮度。
在412，方法包括使用视觉检查控制器108的形状识别工具184处理增强图像。形状识别工具184可以通过将增强图像与图像分析模型进行比较来处理图像。增强图像可以通过执行增强图像的图案识别来处理，例如通过对图像中检测到的边界和表面执行特征提取并将边界和表面与图像分析模型进行比较。形状识别工具184可以通过在增强图像上执行OCR来处理增强图像。
图5示出了在使用图像直方图工具180处理图像之前的根据示例性实施例的零件50的图像。图6示出了在使用图像直方图工具180处理图像之后的根据示例性实施例的零件50的增强图像。与图5所示的图像相比，图6所示的图像具有改进的对比度。图像直方图工具180重新分布图像的像素的亮度值，以改善图像的对比度。
图7示出了在使用图像直方图工具100重新分布像素值之前的根据示例性实施例的图5所示的图像的直方图200。图8示出了在使用图像直方图工具180处理直方图以重新分布像素值之后的根据示例性实施例的图6所示的图像的重新分布的直方图202。直方图200、202示出了X轴上的像素值，其范围为0-255。直方图200、202示出了在Y轴上的每个像素值处的像素的出现次数(图7具有0-6000的范围，而图8具有0-3000的范围)。图8所示的重新分布的直方图202具有较大的像素值分布，其增加了图像对比度。
应该理解的是，以上描述旨在是说明性的而不是限制性的。例如，上述实施例(和/或其方面)可以彼此组合使用。另外，在不脱离其范围的情况下，可以做出许多修改以使特定情况或材料适应本发明的教导。本文描述的尺寸、材料类型、各种零件的取向、以及各种零件的数量和位置旨在限定某些实施例的参数，并且绝不是限制性的，并且仅仅是示例性实施例。在阅读以上描述后，在权利要求的理念和范围内的许多其他实施例和修改对于本领域的普通技术人员将是显而易见的。因此，本发明的范围应该参照所附的权利要求以及这些权利要求的等同物的全部范围来确定。在所附权利要求中，术语“包括”和“其中”用作相应术语“包含”和“在其中”的纯英语等同物。此外，在随附的权利要求中，术语“第一”、“第二”和“第三”等仅被用作标签，并且并非旨在对其对象施加数字要求。此外，所附权利要求的限制不是以手段加功能格式撰写的，并且并非旨在基于35U.S.C.§112(f)，除非并且直到这样的权利要求限制明确地使用短语“用于……的装置”，然后是功能陈述，而没有进一步的结构。

Claims (20)

1.一种视觉检查系统，包括：
分拣平台，其具有用于支撑零件以进行检查的上表面；
位于所述分拣平台附近的检查站，所述检查站包括成像装置，以在所述上表面上方对视场中的所述零件进行成像；以及
从所述成像装置接收图像的视觉检查控制器，所述视觉检查控制器包括图像直方图工具，所述图像直方图工具通过基于自适应直方图均衡处理来重新分布所述图像的亮度值而预处理所述图像以生成增强图像，所述视觉检查控制器基于图像分析模型来处理所述增强图像以确定所述零件中的每一个的检查结果，所述视觉检查控制器具有人工智能学习模块，所述人工智能学习模块操作为基于所述增强图像来定制和配置所述图像分析模型。
2.如权利要求1所述的视觉检查系统，其中所述图像直方图工具计算累积分布函数以重新分布所述图像的亮度值。
3.如权利要求1所述的视觉检查系统，其中，与从所述成像装置接收的原始图像相比，所述图像直方图工具改善所述增强图像中的图像对比度。
4.如权利要求1所述的视觉检查系统，其中所述图像直方图工具生成直方图，所述图像直方图工具基于所述直方图来计算累积分布函数，且所述图像直方图工具基于所述累积分布函数来计算所述图像的增强亮度值以生成所述增强图像。
5.如权利要求1所述的视觉检查系统，其中所述自适应直方图均衡处理使用对比度受限自适应直方图均衡处理。
6.如权利要求1所述的视觉检查系统，其中所述图像直方图工具将所述图像划分为图块并对所述图块中的每一个执行所述自适应直方图均衡处理以生成所述增强图像。
7.如权利要求1所述的视觉检查系统，其中所述图像直方图工具在所述图像的不同区域上执行局部对比度图像增强以生成所述增强图像。
8.如权利要求1所述的视觉检查系统，其中所述视觉检查控制器包括形状识别工具，其基于所述图像分析模型来处理所述增强图像以确定所述检查结果。
9.如权利要求8所述的视觉检查系统，其中，在所述图像直方图工具预处理所述图像之后，所述形状识别工具用于所述增强图像的光学字符识别。
10.如权利要求1所述的视觉检查系统，其中，在所述视觉检查控制器保存所述增强图像之前，所述图像直方图工具预处理所述图像以生成所述增强图像。
11.如权利要求1所述的视觉检查系统，其中所述形状识别工具由所述人工智能学习模块定制和配置。
12.如权利要求1所述的视觉检查系统，其中所述视觉检查控制器包括图案识别工具，其分析所述图像以识别所述零件的特征，所述图案识别工具基于由所述形状识别工具确定的取向偏移来实现。
13.如权利要求1所述的视觉检查系统，还包括设置在所述分拣平台附近的分拣装置，所述分拣装置包括零件操纵器，所述零件操纵器配置为与所述零件接合以基于所述检查结果来分拣所述零件。
14.如权利要求1所述的视觉检查系统，其中所述图像分析模型基于来自所述人工智能学习模块的输入而随时间变化。
15.一种视觉检查系统，包括：
分拣平台，其具有用于支撑零件以进行检查的上表面；
位于所述分拣平台附近的检查站，所述检查站包括成像装置，以在所述上表面上方对视场中的所述零件进行成像；以及
从所述成像装置接收图像的视觉检查控制器，所述视觉检查控制器包括图像直方图工具，所述图像直方图工具预处理所述图像以改善所述图像的对比度，所述图像直方图工具生成直方图，所述图像直方图工具基于所述直方图来计算累积分布函数，所述图像直方图工具基于所述累积分布函数来计算所述图像的增强亮度值以生成增强图像，所述视觉检查控制器包括形状识别工具，所述形状识别工具基于图像分析模型来处理所述增强图像以确定所述零件中的每一个的检查结果，所述视觉检查控制器具有人工智能学习模块，其操作为基于所述增强图像来定制和配置所述图像分析模型。
16.如权利要求15所述的视觉检查系统，其中所述图像直方图工具执行自适应直方图均衡以重新分布所述图像的亮度值。
17.如权利要求15所述的视觉检查系统，其中所述图像直方图工具将所述图像划分为图块并对所述图块中的每一个执行自适应直方图均衡处理以生成所述增强图像。
18.如权利要求15所述的视觉检查系统，其中，在所述图像直方图工具预处理所述图像之后，所述形状识别工具用于所述增强图像的光学字符识别。
19.一种检查零件的方法，包括：
将所述零件装载到分拣平台的上表面上；
使用成像装置在位于所述分拣平台附近的检查站对所述零件进行成像，以在所述上表面上对所述零件进行成像；
在视觉检查控制器处从所述成像装置接收图像，所述视觉检查控制器具有图像直方图工具和形状识别工具；
使用所述图像直方图工具预处理所述图像，以基于自适应直方图均衡处理来重新分布所述图像的亮度值以改善所述图像的对比度，从而生成增强图像；
基于图像分析模型使用所述形状识别工具来处理所述增强图像以确定所述零件中的每一个的检查结果；以及
使用人工智能学习模块定制所述图像分析模型，以基于所述增强图像来配置所述图像分析模型。
20.如权利要求19所述的方法，其中使用所述图像直方图工具预处理所述图像包括：基于所述图像来生成直方图，基于所述直方图来计算累积分布函数，以及基于所述累积分布函数来计算所述图像的增强亮度值，从而生成所述增强图像。
CN202010493394.4A 2020-06-03 2020-06-03 视觉检查系统和检查零件的方法 Pending CN113751332A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010493394.4A CN113751332A (zh) 2020-06-03 2020-06-03 视觉检查系统和检查零件的方法
US16/940,778 US11935216B2 (en) 2020-06-03 2020-07-28 Vision inspection system and method of inspecting parts
DE102021114156.7A DE102021114156A1 (de) 2020-06-03 2021-06-01 Sichtüberprüfungssystem und Verfahren zur Prüfung von Teilen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010493394.4A CN113751332A (zh) 2020-06-03 2020-06-03 视觉检查系统和检查零件的方法

Publications (1)

Publication Number Publication Date
CN113751332A true CN113751332A (zh) 2021-12-07

Family

ID=78783226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010493394.4A Pending CN113751332A (zh) 2020-06-03 2020-06-03 视觉检查系统和检查零件的方法

Country Status (2)

Country Link
US (1) US11935216B2 (zh)
CN (1) CN113751332A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292540A (zh) * 2022-07-22 2022-11-04 杭州易有料科技有限公司 多模态零件信息识别方法、装置、设备和计算机可读介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757949B (zh) * 2022-06-15 2022-09-27 济宁市海富电子科技有限公司 基于计算机视觉的电线电缆缺陷检测方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10625304B2 (en) * 2017-04-26 2020-04-21 UHV Technologies, Inc. Recycling coins from scrap
WO2017132858A1 (en) * 2016-02-03 2017-08-10 Chongqing University Of Posts And Telecommunications Methods, systems, and media for image processing
US10420523B2 (en) * 2016-03-21 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Adaptive local window-based methods for characterizing features of interest in digital images and systems for practicing same
CN109201514B (zh) * 2017-06-30 2019-11-08 京东方科技集团股份有限公司 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统
EP3658600A4 (en) * 2017-07-28 2021-06-02 Phillips 66 Company HIGH PERFORMANCE POLYMERS WITH A WIDE GAP FOR ORGANIC PHOTOVOLTAICS
JP7004145B2 (ja) * 2017-11-15 2022-01-21 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
US10755404B2 (en) * 2017-12-07 2020-08-25 International Business Machines Corporation Integrated circuit defect detection using pattern images
WO2019113576A1 (en) * 2017-12-10 2019-06-13 Walmart Apollo, Llc Systems and methods for automated classification of regulatory reports
IL259143B1 (en) * 2018-05-03 2024-03-01 Inspekto A M V Ltd System and method for visual production line inspection of various production items
CN108961238A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
US11045842B2 (en) * 2019-05-16 2021-06-29 General Inspection, Llc Method and system for inspecting unidentified mixed parts at an inspection station having a measurement axis to identify the parts
KR102444544B1 (ko) * 2019-05-24 2022-09-19 한국전자통신연구원 영상의 전처리 방법 및 장치
JP7321836B2 (ja) * 2019-08-26 2023-08-07 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
RU2716465C1 (ru) * 2019-08-27 2020-03-11 Самсунг Электроникс Ко., Лтд. Способ оптической проверки и использующее его устройство

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292540A (zh) * 2022-07-22 2022-11-04 杭州易有料科技有限公司 多模态零件信息识别方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
US11935216B2 (en) 2024-03-19
US20210379624A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US4759074A (en) Method for automatically inspecting parts utilizing machine vision and system utilizing same
US4613269A (en) Robotic acquisition of objects by means including histogram techniques
US11972589B2 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
US11935216B2 (en) Vision inspection system and method of inspecting parts
US11203494B2 (en) System and method for sorting moving objects
US20210358112A1 (en) Vision inspection system and method of inspecting parts
CN114758236A (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN111487192A (zh) 一种基于人工智能的机器视觉表面缺陷检测装置及方法
US11378520B2 (en) Auto focus function for vision inspection system
CN114529510B (zh) 一种阴极铜在线质量自动检测分类方法
US20210385413A1 (en) Product assembly machine having vision inspection station
CN116448780A (zh) 芯片缺陷检测装置、方法及设备
US11557027B2 (en) Vision inspection system and method of inspecting parts
CN110672600B (zh) 一种滤光片在线检测设备及方法
US20240033933A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
DE102021108645A1 (de) Sichtüberprüfungssystem und Verfahren zur Überprüfung von Teilen
KR100357764B1 (ko) 지능형 피혁 품질선별 장치
JP2000275033A (ja) 表面欠陥検査装置
CN114986520B (zh) 一种基于机器视觉的四轴并联机器人分拣系统及方法
JP2005153928A (ja) 検査機能付きトレー供給装置及びトレー供給移載装置
US20240033934A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
US20230237636A1 (en) Vision inspection system for defect detection
CN110856847A (zh) 一种基于智能视觉的电容字符检测方法及装置
US11816755B2 (en) Part manufacture machine having vision inspection system
TWI802496B (zh) 用於檢測應用的自動正確取像及校準系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination