CN111670357B - 视觉检查管理方法和视觉检查系统 - Google Patents

视觉检查管理方法和视觉检查系统 Download PDF

Info

Publication number
CN111670357B
CN111670357B CN201980010857.2A CN201980010857A CN111670357B CN 111670357 B CN111670357 B CN 111670357B CN 201980010857 A CN201980010857 A CN 201980010857A CN 111670357 B CN111670357 B CN 111670357B
Authority
CN
China
Prior art keywords
data
inspection
information
model
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980010857.2A
Other languages
English (en)
Other versions
CN111670357A (zh
Inventor
曹治铉
尹畅培
郑镇国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111670357A publication Critical patent/CN111670357A/zh
Application granted granted Critical
Publication of CN111670357B publication Critical patent/CN111670357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0118—Apparatus with remote processing
    • G01N2021/0143—Apparatus with remote processing with internal and external computer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

提供了一种由处理管理装置执行的使用人工智能(AI)模型管理视觉检查的方法及其装置。该方法包括：获得与第一对象经过的第一制造处理相关的第一处理数据，使用AI模型和第一处理数据来识别在第一对象的整个区域中的要对其执行密集检查的第一区域，控制第一视觉检查器检查识别的第一区域，以及确定在识别的第一区域中是否存在缺陷。

Description

视觉检查管理方法和视觉检查系统
技术领域
本公开涉及通过利用诸如深度学习等的机器学习算法来模拟人类大脑的识别、判断等功能的人工智能(AI)系统及其应用。更具体地，本公开涉及使用AI模型的视觉检查管理方法和系统。
背景技术
人工智能(AI)系统是实现人类水平的智能的计算机系统。与现有的基于规则的智能系统不同，AI系统是自主训练、决策并变得越来越智能的系统。AI系统使用得越多，AI系统的识别率可以提高得越多，并且AI系统可以更准确地理解用户偏好，并且因此，现有的基于规则的智能系统逐渐被基于深度学习的AI系统所取代。
AI技术是指利用机器学习的机器学习(深度学习)和元素技术(elementtechnology)。
机器学习是自动分类/学习输入数据的特征的算法技术。元素技术是由诸如语言理解、视觉理解、推理/预测、知识表示和运动控制的技术领域组成的技术。
AI技术被应用于各种领域，诸如语言理解、视觉理解、推理预测、知识表示、运动控制等，其中，语言理解是识别和应用/处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、查询响应、语音识别/合成等；视觉理解是类似于人类视觉识别和处理对象的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等；推理预测是获得和逻辑推断和预测信息的技术，并且包括基于知识/概率的推理、优化预测、基于偏好的规划、推荐等；知识表示是将人类经验信息自动化为知识数据的技术，并且包括知识构建(数据生成/分类)、知识管理(数据利用)等；运动控制是控制车辆的自主行驶和机器人的运动的技术，并且包括运动控制(导航、碰撞避免和行驶)、操作控制(行为控制)等。
作为背景信息呈现以上信息仅仅是为了帮助对本公开的理解。对于上述任何内容是否可用作关于本公开的现有技术，没有做出确定，也没有做出断言。
发明内容
附图说明
从下面结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，在附图中:
图1是用于解释通用视觉检查系统的图；
图2是用于解释根据本公开的实施例的视觉检查系统的图；
图3是用于解释根据本公开的实施例的训练人工智能(AI)模型的操作的图；
图4是示出根据本公开的实施例的管理视觉检查的方法的流程图；
图5是用于解释根据本公开的实施例的基于处理数据确定密集检查区域的操作的图；
图6是用于解释根据本公开的实施例的检查等级(inspection level)的图；
图7是用于解释根据本公开的实施例的当检测到异常信号时改变检查等级的操作的图；
图8是用于解释根据本公开的实施例的通过应用先前制造(manufacturing)处理的处理数据来确定密集检查区域和检查等级的方法的流程图；
图9是用于解释根据本公开的实施例的通过应用当前制造处理的处理数据和先前制造处理的处理数据来确定密集检查区域和检查等级的操作的图；
图10是用于解释根据本公开的实施例的用于基于检查结果数据修改和细化人工智能(AI)模型的系统的图；
图11是用于解释根据本公开的实施例的使用修改和细化的AI模型来确定密集检查区域的操作的图；
图12是用于解释根据本公开的实施例的使用修改的AI模型来确定检查等级的操作的图；
图13是示出根据本公开的实施例的考虑周围环境信息来确定密集检查区域和检查等级的方法的流程图；
图14是用于解释根据本公开的实施例的通过应用周围环境信息来确定密集检查等级的操作的图；
图15是示出根据本公开的实施例的处理管理装置的框图；
图16是根据本公开的实施例的处理器的框图；
图17是根据本公开的实施例的数据学习器的框图；
图18是根据本公开的实施例的数据识别器的框图；以及
图19是示出根据本公开的实施例的其中处理管理装置和管理服务器通过彼此交互来学习和识别数据的示例的图。
贯穿附图，应该注意到，相似的参考标号用来描绘相同或者相似的元件、特征和结构。
具体实施方式
本公开的各个方面将解决至少以上提及的问题和/或缺点，并且提供至少下述优点。因此，本公开的一个方面用于提供一种通过使用人工智能(AI)模型和处理数据对对象的特定区域密集执行视觉检查来提高视觉检查效率的视觉检查管理方法及用于其的处理管理装置。
额外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过所呈现的实施例的实践来习得。
根据本公开的一个方面，提供了一种由处理管理装置执行的使用人工智能(AI)模型管理视觉检查的方法。该方法包括：获得与第一对象经过的第一制造处理相关的第一处理数据，使用AI模型和第一处理数据来识别在第一对象的整个区域中的要对其执行密集检查的第一区域，和控制第一视觉检查器检查所识别的第一区域，以及确定在所识别的第一区域中是否存在缺陷。
根据本公开的另一方面，提供了一种处理管理装置。该处理管理装置包括:存储器，用于存储被配置为确定密集检查区域的人工智能(AI)模型；通信接口，被配置为获得与第一对象经过的第一制造处理相关的第一处理数据；以及至少一个处理器，被配置为使用AI模型和第一处理数据来识别在第一对象的整个区域中的要对其执行密集检查的第一区域，控制第一视觉检查器检查所识别的第一区域，以及确定在所识别的第一区域中是否存在缺陷。
根据本公开的另一方面，提供了一种计算机程序产品。该计算机程序产品包括其上记录有多个指令的非暂时性计算机可读记录介质，该多个指令指示至少一个处理器执行:获得与第一对象已经经过的第一制造处理相关的第一处理数据，使用AI模型和第一处理数据来识别在第一对象的整个区域中的要对其执行密集检查的第一区域，控制第一视觉检查器检查所识别的第一区域，以及确定在所识别的第一区域中是否存在缺陷。
从以下结合附图来公开本公开的各种实施例的详细描述中，本公开的其它方面、优点、和显著特征对于本领域技术人员而言将变得显而易见。
以下参考附图的描述被提供来帮助全面地理解如权利要求及其等同物所定义的本公开的各种实施例。其包括各种具体细节以帮助该理解，但是这些具体细节将被认为仅仅是示范性的。因此，本领域普通技术人员将认识到，可以对这里描述的各种实施例进行各种改变和修改，而不脱离本公开的范围和精神。此外，出于清楚和简洁的目的，可以省略对熟知功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于文献学含义，而是仅仅被发明人用来使得对本公开的理解清楚和一致。因此，本领域技术人员应该清楚，以下对本公开的各种实施例的描述仅仅是为了例示的目的而提供，而不是为了限制如所附权利要求及其等同物所定义的本公开的目的而提供。
将理解，单数形式的“一”、“一个”和“该”包括复数的指示物，除非上下文清楚地另外规定。因此，例如，对“组件表面”的引用包括对这样的表面中的一个或多个的引用。
考虑到它们在本公开中的功能，本公开中使用的术语选自当前广泛使用的通用术语。然而，根据本领域普通技术人员的意图、先例或新技术的出现，这些术语可以不同。此外，在特定情况下，术语由本公开的申请人自由选择，并且这些术语的含义将在详细描述的对应部分中详细描述。因此，本公开中使用的术语不仅仅是术语的名称，而是基于术语的含义和贯穿本公开的内容来定义术语。
在整个本说明书中，当一个部分“包括”一个元件时，应该理解的是，只要没有特别相反的叙述，该部分附加地包括其他元件，而不是排除其他元件。此外，本说明书中使用的诸如“……单元”、“模块”等的术语指示处理至少一个功能或动作的单元，并且该单元可以通过硬件或软件或者通过硬件和软件的组合来实现。
在本说明书中，视觉检查是指使用基于计算机的相机图像处理技术自动读取产品缺陷的检查。根据实施例，视觉检查可以应用于各种领域，诸如检查、产品分类、杂质检查、缺失检查、封装(packaging)缺陷检查等，但不限于此。
将详细描述本公开的实施例，以便完全传达本公开的范围，并使本领域普通技术人员能够实施和实践本公开。然而，本公开可以以许多不同的形式来实施，并且不应该被解释为受限于这里所阐述的实施例。并且，附图中与详细描述不相关的部分被省略，以保证本公开清楚。附图中的相似的参考标号表示相似的元素。
贯穿本公开，表述“a、b或c中的至少一个”指示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c的全部或其变形。
图1是用于解释通用视觉检查系统的图。
关于产品的制造处理，视觉检查可以在每个制造处理之后顺序执行。例如，在制造箱式(case)产品1的处理中，视觉检查A 15可以在(例如，第一装备设备10进行的)处理A之后执行，并且视觉检查B 25可以在(例如，第二装备设备20进行的)处理B之后执行。
视觉检查器A可以捕获箱式产品1的整个图像，以确定经过第一装备设备10的处理A的箱式产品1是否具有缺陷。视觉检查器A可以分析箱式产品1的整个图像，以确定外观是否为缺陷。此外，视觉检查器B可以捕获箱式产品1的整个图像，以确定经过第二装备设备20的处理B的箱式产品1是否为缺陷。视觉检查器B可以分析箱式产品1的整个图像，以确定外观是否为缺陷。也就是说，虽然(由第一装备设备10执行的)处理A和(由第二装备设备20执行的)处理B是不同的处理，但是因为在(由第一装备设备10执行的)处理A之后执行的视觉检查器A的操作和在(由第二装备设备20执行的)处理B之后执行的视觉检查器B的操作是相同的，所以可能执行了对在每个处理中对其执行操作的部件的详细检查和重复检查。
因此，需要一种系统，该系统允许对在每个处理中对其执行操作的部件执行优化的视觉检查。将参考图2详细描述用于执行优化的视觉检查的视觉检查系统。
图2是用于解释根据本公开的实施例的视觉检查系统的图。
参考图2，根据本公开的实施例的视觉检查系统可以包括至少一个处理装备(例如，第一处理装备101和第二装备103)、至少一个视觉检查器(例如，视觉检查器A 102和视觉检查器B 104)、处理管理装置1000和管理服务器2000。然而，并非所有示出的配置都是不可或缺的。例如，视觉检查系统可以在没有管理服务器2000的情况下，由至少一个处理装备101和103、至少一个视觉检查器102和104以及处理管理装置1000来实现。除了至少一个处理装备101和103、至少一个视觉检查器102和104、处理管理装置1000和管理服务器2000之外，视觉检查系统还可以包括至少一个边缘计算机(未示出)。边缘计算机(未示出)可以从至少一个处理装备101和103、至少一个视觉检查器102和104或至少一个环境传感器收集数据，过滤收集的数据，以及然后将过滤的数据发送到处理管理装置1000或管理服务器2000。稍后将参考图14更详细地描述边缘计算机。
至少一个处理装备101和103可以用于制造产品的处理中，并且可以变化，诸如热成型装备、切割装备、冲压成型装备、注塑成型装备、纳米处理器、压铸装备、激光打标装备、计算机数控(CNC)装备、抛光装备、涂覆装备、冲压处理装备、粘接装备、组装装备等，但不限于此。
根据实施例，至少一个处理装备101和103可以包括用于执行与外部设备的通信的通信接口。根据实施例，至少一个处理装备101和103可以通过通信接口与处理管理装置1000通信。通信接口可以包括短程无线通信单元、移动通信单元等。短程无线通信单元可以包括蓝牙通信单元、蓝牙低功耗(BLE)通信单元、近场通信单元、无线局域网(WLAN)通信单元、WLAN(WiFi)通信单元、Zigbee通信单元、红外数据协会(IrDA)通信单元、Wi-Fi直接(WFD)通信单元、超宽带(UWB)通信单元、Ant+通信单元等，但不限于此。移动通信单元可以通过移动通信网络向基站、外部终端、或者服务器中的至少一个发送无线电信号以及从其接收无线电信号。
根据实施例，至少一个处理装备101和103可以向处理管理装置1000发送处理数据。此时，至少一个处理装备101和103可以通过边缘计算机(未示出)向处理管理装置1000发送处理数据，或者可以在没有边缘计算机(未示出)的情况下直接向处理管理装置1000(未示出)发送处理数据。同时，至少一个处理装备101和103可以从处理管理装置1000接收控制信号。在这种情况下，至少一个处理装备101和103可以根据接收到的控制信号进行操作。
根据实施例，至少一个处理装备101和103可以通过通信接口与至少一个视觉检查器102和104通信。在这种情况下，至少一个处理装备101和103可以将处理数据发送到至少一个视觉检查器102和104，或者可以发送指示在处理过程期间已经检测到异常信号的通知信号。
至少一个视觉检查器102和104可以是包括高性能相机、镜头、照明、图像处理器等的设备。至少一个视觉检查器102和104可以使用相机、镜头和照明获得作为视觉检查的目标的对象100的图像，分析获得的图像，并执行特定操作(例如，缺陷检查等)。例如，至少一个视觉检查器102和104可以执行缺陷检测(例如，裂纹、杂质、污点、损坏等)、部件分类、图案匹配、尺寸测量(dimension measurement)(例如，尺寸、角度和面积)、颜色检查(例如，颜色分析和颜色匹配)、计数、表面光洁度检查等。
根据实施例，至少一个视觉检查器102和104可以获得对象100的二维(2D)图像，分析获得的2D图像，并执行特定操作(例如，缺陷检查等)。此外，至少一个视觉检查器102和104可以获得对象100的三维(3D)图像，分析获得的3D图像，并执行特定操作(例如，缺陷检查等)。
另一方面，至少一个视觉检查器102和104可以获得具有大于第一阈值的分辨率的高分辨率图像，或者具有低于第二阈值的分辨率的低分辨率图像。
根据实施例，至少一个视觉检查器102和104可以包括用于与外部设备通信的通信接口。根据实施例，至少一个视觉检查器102和104可以通过通信接口与处理管理装置1000通信。通信接口可以包括短程无线通信单元、移动通信单元等，但不限于此。
例如，至少一个视觉检查器102和104可以从处理管理装置1000接收控制信号。至少一个视觉检查器102和104可以根据接收到的控制信号执行视觉检查。至少一个视觉检查器102和104可以通过通信接口将视觉检查结果数据发送到处理管理装置1000。此时，至少一个视觉检查器102和104可以通过边缘计算机(未示出)将视觉检查结果数据发送到处理管理装置1000，或者可以在没有边缘计算机(未示出)的情况下将视觉检查结果数据直接发送到处理管理装置1000。
处理管理装置1000可以存储人工智能模型(以下称为AI模型)，用于识别要对其执行密集检查的区域(以下称为密集检查区域)。密集检查区域可以是缺陷发生概率高的区域。AI模型可以是根据机器学习、神经网络或深度学习算法中的至少一个的学习模型。处理管理装置1000可以使用从至少一个处理装备101和103接收的处理数据和AI模型来识别密集检查区域。例如，处理管理装置1000可以将从第一处理装备101接收到的关于处理A(在操作S110中)的数据输入(或应用)到AI模型，以将左上方区域111确定为密集检查区域。此外，处理管理装置1000可以将从第二装备103接收到的关于处理B(在操作S130中)的数据输入(或应用)到AI模型，以将对象100的右下方区域112确定为密集检查区域。此时，在已经经过处理A的对象100的情况下，在对象100的左上方区域111中缺陷发生概率可能高，而在已经经过处理B的对象100的情况下，在对象100的右下方区域112中缺陷发生概率可能高。
根据实施例，处理管理装置1000可以向至少一个视觉检查器102和104发送关于密集检查区域的信息。例如，处理管理装置1000可以向视觉检查器A102发送控制信号，以对对象100的左上方区域111执行密集检查。在这种情况下，视觉检查器A102可以以比基本检查更精确的强度对对象100的左上方区域111执行视觉检查(在操作S120中)。处理管理装置1000还可以向视觉检查器B 104发送控制信号，以对对象100的右下方区域112执行密集检查。在这种情况下，视觉检查器B 104可以以比基本检查更精确的强度对对象100的右下方区域112执行视觉检查(在操作S140中)。因此，根据本公开的实施例的视觉检查系统可以使得能够对在每个处理中对其执行操作的部件执行优化的视觉检查。
稍后将参考图4详细描述有效管理视觉检查的操作，其中处理管理装置1000基于处理数据和AI模型识别密集检查区域，并将关于密集检查区域的信息(例如坐标值)发送到至少一个视觉检查器102和104。
根据实施例，管理服务器2000可以包括AI处理器。AI处理器可以训练人工神经网络并生成识别密集检查区域的AI模型。“训练”人工神经网络可以意味着通过连接构成人工神经网络的神经元，同时基于数据适当地改变权重，来生成能够做出最佳决策的数学模型。
图3是用于解释根据本公开的实施例的训练AI模型的操作的图。
参考图3，管理服务器2000的AI处理器可以从外部(例如，操作者)获得视觉检查目标信息301、处理信息302、缺陷信息303和根据周围环境的缺陷率信息304作为学习数据(训练数据)。此时，AI处理器可以向深度学习算法输入视觉检查目标信息301、处理信息302、缺陷信息303和根据周围环境的缺陷率信息304，以生成识别密集检查区域的AI模型300。例如，AI模型300可以接收视觉检查目标信息301、处理信息302、缺陷信息303和根据周围环境的缺陷率信息304，以基于接收到的视觉检查目标信息301、处理信息302、缺陷信息303和根据周围环境的缺陷率信息304独立地学习。
视觉检查目标信息301可以是关于制造的产品的材料(例如，玻璃、塑料、铝、橡胶、乙烯基(vinyl)、纤维、食物等)的信息。
处理信息302可以是关于制造产品的处理的信息，并且可以包括例如关于整个处理的顺序的信息、关于每个处理的内容的信息(例如，用于执行处理的装备、操作部分、操作类型等)、在每个处理中生成的上下文信息(例如，振动、热量、灰尘、水蒸气等)，但不限于此。
缺陷信息303可以包括关于缺陷的种类的信息(例如，裂纹、杂质、污点或损坏)，关于每个处理的缺陷发生概率的信息(例如，处理A为1.5％，处理B为0.5％等)，关于缺陷发生主要部分(例如，处理A中的外周表面，处理B中的孔，处理C中的支撑体等)的信息，但是不限于此。缺陷信息303可以包括缺陷图像。缺陷图像可以是2D图像或3D图像。此外，缺陷图像可以是静止图像或运动图像。
根据周围环境的缺陷率信息304可以是关于根据围绕处理装备的环境(例如，温度、湿度、灰尘等)的缺陷发生概率的信息。例如，根据周围环境的缺陷率信息304可以包括指示每当周围温度升高1℃时缺陷发生概率增加0.2％的信息、指示当湿度为70％时缺陷发生概率为1.3％的信息、指示当湿度为60％时，缺陷发生概率为1％的信息，但不限于此。
根据实施例，AI处理器可以通过将处理数据(视觉检查目标信息301和处理信息302)与缺陷数据(缺陷信息303和根据周围环境的缺陷率信息304)匹配来根据处理数据对密集检查区域的坐标值进行建模。
同时，AI处理器可以通过将所获得的缺陷图像中包括的主体(subject)旋转预定角度来生成学习图像。例如，AI处理器可以生成其中缺陷图像中包括的主体(例如，产品)向左旋转30度的第一学习图像，其中主体向左旋转50度的第二学习图像，其中主体向左旋转70度的第三学习图像，其中主体向右旋转30度的第四学习图像，其中产品向右旋转50度的第五学习图像，其中产品向右旋转70度的第六学习图像，以及其中主体双向对称变换的第七学习图像。
根据实施例，AI处理器可以获得视觉检查结果数据305。视觉检查结果数据305可以是在至少一个视觉检查器102和104中实际执行视觉检查的结果的数据，并且可以包括例如缺陷是否发生、关于缺陷发生部位的信息、缺陷图像等，但不限于此。AI处理器可以通过将视觉检查结果数据305作为学习数据(训练数据)输入深度学习算法，自适应地生成能够确定最佳密集检查区域的AI模型300。
根据实施例，管理服务器2000可以包括用于执行与外部设备的通信的通信接口。例如，管理服务器2000可以经由通信接口与处理管理装置1000、至少一个处理装备101和103或者至少一个视觉检查器102和104通信。
根据实施例，管理服务器2000可以将AI模型300发送到处理管理装置1000。当存在来自处理管理装置1000的请求时，管理服务器2000可以将AI模型300发送到处理管理装置1000，或者可以在预定时段将AI模型300发送到处理管理装置1000。此外，当修改和细化AI模型300的事件发生时，管理服务器2000可以将修改和细化的AI模型300发送到处理管理装置1000。在这种情况下，处理管理装置1000可以通过将先前存储的AI模型300的版本与接收到的AI模型300的版本进行比较，来修改和细化AI模型300的旧版本或者将AI模型300的旧版本改变为AI模型300的最新版本。
同时，AI模型300由图2中的管理服务器2000生成或学习，但不限于此。例如，AI模型300可以由处理管理装置1000生成或学习。
此外，处理管理装置1000可以存储图2中的AI模型300，但不限于此。例如，代替处理管理装置1000，可以将AI模型300存储在管理服务器2000中。在这种情况下，处理管理装置1000可以从至少一个处理装备101和103接收处理数据，并将接收到的处理数据发送到管理服务器2000，以请求关于密集检查区域的信息。管理服务器2000可以将处理数据应用于AI模型300，以识别密集检查区域，并将关于所识别的密集检查区域的信息(例如，坐标信息)发送到处理管理装置1000。处理管理装置1000可以向至少一个视觉检查器102和104发送关于密集检查区域的信息。
在下文中，将参考图4更详细地描述由处理管理装置1000执行的使用AI模型300有效管理视觉检查的方法。
图4是示出根据本公开的实施例的管理视觉检查的方法的流程图。
在操作S410中，处理管理装置1000可以获得与第一对象已经经过的第一制造处理相关的第一处理数据。
根据实施例，第一处理数据可以包括关于执行第一制造处理的第一处理装备的信息、关于在第一制造处理中执行的操作的部分或内容的信息、关于第一制造处理在整个处理期间的顺序的信息、关于在第一制造处理中发生的缺陷率的信息、以及在第一制造处理中生成的上下文信息，但不限于此。此外，在第一制造处理中生成的上下文信息可以包括关于振动、热、灰尘、水蒸气等的信息，但不限于此。
根据实施例，处理管理装置1000可以从执行第一制造处理的第一处理装备接收第一处理数据。例如，第一处理装备可以通过有线/无线网络将在第一对象经过第一制造处理时获得的第一处理数据发送到处理管理装置1000。根据实施例，处理管理装置1000可以直接从第一处理装备接收第一处理数据，并且可以从连接到第一处理装备的边缘计算机接收第一处理数据。每当对象经过时，第一处理装备可以将与对象相关的第一处理数据发送到处理管理装置1000。
在操作S420中，处理管理装置1000可以使用AI模型300和第一处理数据来识别在第一对象的整个区域中的要对其执行密集检查的第一区域。也就是说，处理管理装置1000可以将第一对象的第一区域确定为密集检查区域。密集检查区域可以是具有高缺陷发生概率的区域。
根据实施例，当处理管理装置1000将第一处理数据输入到AI模型300时，AI模型300可以基于第一处理数据来确定密集检查区域。例如，当第一制造处理是切割第一对象的右上端的处理时，AI模型300可以将右上端确定为要对其执行密集检查的第一区域。当第一制造处理是热成型处理并且在热成型处理之后中心部分处的裂纹发生概率高时，AI模型300可以将第一对象的中心区域确定为要对其执行密集检查的第一区域。
根据实施例，当第一对象在第一制造处理之前经过另一制造处理时，处理管理装置1000不仅可以使用与第一制造处理相关的第一处理数据，还可以使用与先前制造处理相关的先前处理数据来确定密集检查区域。例如，当第一制造处理是整个制造处理中的第n个制造处理时，处理管理装置1000不仅可以使用与第n个制造处理相关的第n个处理数据(即，第一处理数据)，还可以使用与第n-1个制造处理相关的第n-1个处理数据来确定密集检查区域。此时，可以通过AI模型300来执行处理管理装置1000确定密集检查区域的操作。稍后将参考图8详细描述处理管理装置1000通过进一步使用与在第一制造处理之前的制造处理相关的处理数据来确定密集检查区域的操作。
根据实施例，处理管理装置1000可以考虑处理环境来确定密集检查区域。例如，处理管理装置1000可以还使用第一处理数据以及关于执行第一处理操作的第一处理装备在其中操作的周围环境的信息来确定第一对象的第一区域作为密集检查区域。这里，关于第一处理装备在其中操作的周围环境的信息可以包括周围温度信息、周围湿度信息、噪声信息、灰尘信息或振动信息中的至少一个，但不限于此。稍后将参考图13详细描述处理管理装置1000考虑处理环境来确定密集检查区域的操作。
根据实施例，处理管理装置1000还可以使用第一处理数据以及关于第一对象的材料的信息来将第一区域确定为密集检查区域。例如，在玻璃的情况下，中心区域中的缺陷发生概率可能高，而在塑料的情况下，外周表面上的缺陷发生概率可能高。在这种情况下，当第一对象的材料是玻璃时，处理管理装置1000可以将从第一对象的中心开始的某些区域确定为密集检查区域，并且当第一对象的材料是塑料时，可以将第一对象的外周表面的一部分确定为密集检查区域。
根据实施例，除了第一处理数据之外，处理管理装置1000还可以使用关于执行第一处理操作的第一处理装备在其中操作的周围环境的信息和关于第一对象的材料的信息来将第一区域确定为密集检查区域。
在操作S430中，根据实施例，处理管理装置1000可以控制第一视觉检查器检查第一对象的第一区域中是否存在缺陷。
例如，处理管理装置1000可以将第一区域的坐标信息发送到第一视觉检查器。此时，处理管理装置1000可以直接将第一区域的坐标信息发送到第一视觉检查器，以及通过连接到第一视觉检查器的边缘计算机将第一区域的坐标信息发送到第一视觉检查器。根据实施例，处理管理装置1000可以使用短程无线通信将第一区域的坐标信息发送到第一视觉检查器。
根据实施例，处理管理装置1000可以将对第一区域执行密集视觉检查的控制信号以及第一区域的坐标信息一起发送到第一视觉检查器。在这种情况下，第一视觉检查器可以根据控制信号对第一对象的第一区域执行视觉检查。
根据实施例，处理管理装置1000可以对第一对象的整个区域执行基本检查，并且向第一视觉检查器发送对第一对象的第一区域执行密集检查的控制信号。基本检查可以意味着以比密集检查更低的强度执行的视觉检查。例如，基本检查可以是分析平均分辨率的2D图像的检查，而精度检查可以是分析高分辨率的2D图像的检查。可替换地，基本检查可以是分析2D图像的检查，而密集检查可以是分析3D图像的检查，但是本公开不限于此。即，处理管理装置1000可以控制第一视觉检查器以第一检查等级对第一对象的整个区域执行第一视觉检查，并且可以控制第一视觉检查器以第二检查等级对第一对象的整个区域执行第二视觉检查。此时，第二检查等级可以高于第一检查等级。
同时，根据实施例，处理管理装置1000可以仅对第一对象的第一区域执行视觉检查，并且向第一视觉检查器发送不对第一对象的剩余区域执行视觉检查的控制信号。
根据实施例，处理管理装置1000可以基于AI模型300和第一处理数据来确定关于第一对象的第一区域(密集检查区域)的检查等级。例如，当作为分析第一处理数据的结果，第一对象的第一区域中的缺陷发生概率高时，处理管理装置1000可以将关于第一对象的第一区域的检查等级从第一等级向上调整到第二等级。当作为分析第一处理数据的结果，第一对象的第一区域中的缺陷发生概率低时，处理管理装置1000可以将关于第一对象的第一区域的检查等级确定为第一等级。
根据实施例，检查等级可以包括用于分析关于密集检查区域的2D低分辨率图像的等级、用于分析关于密集检查区域的2D高分辨率图像的等级、用于分析关于密集检查区域的3D低分辨率的等级、或者用于分析关于密集检查区域的3D高分辨率图像的等级中的至少一个，但不限于此。稍后将参考图6描述检查等级。
根据实施例，处理管理装置1000可以根据所确定的检查等级，控制第一视觉检查器获得关于第一对象的第一区域的2D图像和关于第一对象的第一区域的3D图像中的至少一个。例如，当确定的检查等级是第一等级时，处理管理装置1000可以控制第一视觉检查器获得关于第一区域的2D图像，并且当确定的检查等级是第二等级时，处理管理装置1000可以控制第一视觉检查器获得关于第一区域的3D图像。另一方面，当确定的检查等级是第三等级时，处理管理装置1000可以控制第一视觉检查器获得并分析关于第一区域的2D图像和关于第一区域的3D图像两者。
根据实施例，处理管理装置1000可以控制第一视觉检查器获得关于第一对象的第一区域的低分辨率图像或者关于第一对象的第一区域的高分辨率图像。例如，当第一区域的缺陷发生概率低时，处理管理装置1000可以将检查等级确定为第一等级，并且控制第一视觉检查器获得并分析关于第一区域的低分辨率图像。另一方面，当第一区域的缺陷发生概率高时，处理管理装置1000可以将检查等级确定为第二等级，并且控制第一视觉检查器获得并详细分析关于第一区域的高分辨率图像。
根据实施例，当处理管理装置1000检测到关于在第一制造处理期间第一对象的操作的异常信号时，处理管理装置1000可以向上调整关于第一对象的检查等级。例如，当处理管理装置1000接收到在第一制造处理期间已经从第一处理装备检测到关于第一对象的操作的异常信号的通知信号时，处理管理装置1000可以向上调整关于第一区域(密集检查区域)的检查等级。将参考图7更详细地描述在检测到异常信号时处理管理装置1000向上调整检查等级的操作。
图5是用于解释根据本公开的实施例的基于处理数据确定密集检查区域的操作的图。在图5中，第一处理是切割处理，以及第二处理是计算机数控(CNC)处理。
参考图5的500-1，当作为制造目标的对象500经过第一处理(例如，切割处理)时，切割装备501可以将第一处理数据(例如，切割处理数据)511发送到处理管理装置1000。此时，处理管理装置1000可以通过将第一处理数据(例如，切割处理数据)511输入到AI模型300来确定第一密集检查区域512。例如，当输入第一处理数据511时，AI模型300可以分析第一处理数据511中包括的关于切割方向、切割位置或是否发生异常信号等的信息，以将对象500的左上方区域510确定为第一密集检查区域512。
处理管理装置1000可以将左上方区域510的坐标信息发送到第一视觉检查器502。在这种情况下，第一视觉检查器502可以对对象500的整个区域执行基本检查，并对左上方区域510执行密集检查。例如，第一视觉检查器502可以获得对象500的整个区域的2D图像，并且分析2D图像以识别存在缺陷的部分。第一视觉检查器502可以进一步获得对象500的左上方区域510的3D图像，并且分析该3D图像以确定左上方区域510中是否存在缺陷。根据实施例，第一视觉检查器502可以在固定相机的同时旋转对象500以获得3D图像。
当在左上方区域510中存在微小裂纹时，第一视觉检查器502在基本检查处理期间可能找不到该微小裂纹。然而，第一视觉检查器502可以通过对左上方区域510执行密集检查来识别左上方区域510中存在的微小裂纹。
此外，当灰尘存在于左上方区域510上时，第一视觉检查器502仅通过基本检查可能无法区分灰尘和划痕。因此，第一视觉检查器502可能识别左上方区域510中存在的划痕。然而，第一视觉检查器502可以通过对左上方区域510执行密集检查来准确地识别出被识别为划痕的部分是灰尘，而不是划痕。
参考图5的500-2，当作为制造目标的对象500经过第二处理(例如，CNC处理)时，CNC装备503可以将第二处理数据(例如，CNC处理数据)512发送到处理管理装置1000。此时，处理管理装置1000可以通过将第二处理数据(例如，CNC处理数据)521输入到AI模型300来确定第二密集检查区域522。例如，当输入第二处理数据521时，AI模型300可以分析在第二处理数据521中包括的关于CNC操作位置、操作方向或是否发生异常信号等的信息，以将对象500的右下方区域520确定为第二密集检查区域522。
处理管理装置1000可以将右下方区域520的坐标信息发送到第二视觉检查器504。在这种情况下，第二视觉检查器504可以对对象500的整个区域执行基本检查，并对右下方区域520执行密集检查。例如，第二视觉检查器504可以获得对象500的整个区域的2D图像，并且分析2D图像以识别存在缺陷的部分。第二视觉检查器504可以进一步获得对象500的右下方区域520的3D图像，并且分析该3D图像以确定右下方区域520中是否存在缺陷。根据实施例，第二视觉检查器504可以使用多个相机获得3D图像。
当在右下方区域520中存在微小裂纹时，第二视觉检查器504在基本检查处理期间可能找不到该微小裂纹。然而，第二视觉检查器504可以通过对右下方区域520执行密集检查来检测右下方区域520中存在的微小裂纹。
此外，当灰尘存在于右下方区域520上时，第二视觉检查器504仅通过基本检查可能无法区分灰尘和划痕。因此，第二视觉检查器504可能识别右下方区域520中存在的划痕。然而，第二视觉检查器504可以通过对右下方区域520执行密集检查来准确地识别出右下方区域520上存在灰尘，而不是划痕。
因此，根据实施例，可以通过基于刚好在执行视觉检查之前的处理数据对具有高缺陷发生概率的区域执行密集检查来提高视觉检查的效率。
图6是用于解释根据本公开的实施例的检查等级620的图。
根据实施例，视觉检查类型610可以被分类为基本检查611和密集检查612。基本检查611可以意味着基本检查作为制造目标的对象的整个区域的方法。密集检查612可以意味着密集检查对象的特定区域的方法。
检查等级620可以被不同地定义。例如，在基本检查611的情况下，用于分析整个区域的2D图像的等级可以被定义为基本等级。此时，2D图像可以是具有低于阈值的分辨率的低分辨率2D图像或具有平均分辨率的2D图像，但不限于此。
基本检查611的基本等级可以根据用户的设置、处理管理装置1000的设置或管理服务器2000的设置来改变。例如，用于分析整个区域的2D图像的等级可以被定义为基本检查611的基本等级。
在密集检查612的情况下，用于分析特定区域的2D图像(例如，低分辨率的2D图像或平均分辨率的2D图像)的等级可以被定义为第一等级，用于分析特定区域的高分辨率的2D图像的等级可以被定义为第二等级，用于分析特定区域的3D图像(例如，低分辨率的3D图像或平均分辨率的3D图像)的等级可以被定义为第三等级，并且用于分析特定区域的高分辨率的3D图像的等级可以被定义为第四等级，但是本公开不限于此。
同时，尽管在图2至图5中，视觉检查器执行密集检查，在某些情况下，视觉检查器可以只执行基本检查。
图7是用于解释根据本公开的实施例的当检测到异常信号时改变检查等级的操作的图。
参考图7，处理管理装置1000可以从第一处理装备701获得与对象700已经经过的第一处理相关的第一处理数据。处理管理装置1000可以将第一处理数据应用于AI模型300，以识别密集检查区域和检查等级。当第一处理数据不包括对象700已经经过第一处理并且已经检测到异常信号的消息时(即，在一般情况710中)，AI模型300可以将检查等级识别为第一等级(用于分析关于密集检查区域的2D图像的等级)。在这种情况下，处理管理装置1000可以控制第一视觉检查器702以第一等级执行密集检查。然而，当第一处理数据包括对象700已经经过第一处理并且已经检测到异常信号720的消息时，AI模型300可以将检查等级识别为第二等级(用于分析特定区域的2D图像的等级)而不是第一等级(用于分析特定区域的高分辨率的2D图像的等级)。在这种情况下，处理管理装置1000可以控制第一视觉检查器702以第二等级执行密集检查。
例如，在第一处理是切割处理的情况下，当对象700被切割到5厘米时，缺陷发生概率小于5％，而当对象700被切割到5.1厘米时，缺陷发生概率可以增加超过10％。因此，当在第一处理中将对象700切割到5.1厘米时，第一处理装备701可以检测到异常信号已经发生。在这种情况下，第一处理装备701可以向处理管理装置1000发送指示已经检测到异常信号的消息。根据实施例，第一处理装备701可以将指示已经检测到异常信号的消息包括在第一处理数据中，以将该消息发送到处理管理装置1000，并且可以将指示已经检测到异常信号的消息从第一处理数据中分离，以将该消息发送到处理管理装置1000。
同时，根据实施例，第一处理装备701可以向第一视觉检查器702而不是处理管理装置1000发送指示已经检测到异常信号的通知数据。在这种情况下，即使当第一视觉检查器702从处理管理装置1000接收到以第一等级执行密集检查的控制信号时，第一视觉检查器702也可以将检查等级从第一等级向上调整到第二等级来以第二等级执行密集检查。例如，即使当第一视觉检查器702从处理管理装置1000接收到用于分析2D图像的控制信号时，在第一视觉检查器702从第一处理装备701接收到指示已经检测到异常信号的消息的情况下，第一视觉检查器702可以获得并分析3D图像而不是2D图像。
图8是用于解释根据本公开的实施例的通过应用先前制造处理的处理数据来确定密集检查区域和检查等级的方法的流程图。
在操作S810中，处理管理装置1000可以获得与第一对象已经经过的第一制造处理相关的第一处理数据。操作S810对应于图4的操作S410，因此将省略其详细描述。
在操作S820中，当第一对象在第一制造处理之后经过第二制造处理时，处理管理装置1000可以获得与第二制造处理相关的第二处理数据。
根据实施例，第二处理数据可以包括关于执行第二制造处理的第二处理装备的信息、关于第二制造处理中的操作部分或内容的信息、关于第二制造处理在整个制造处理中的顺序的信息、关于在第二制造处理中发生的缺陷率的信息、或在第二制造处理中生成的上下文信息中的至少一个，但不限于此。在第二制造处理中生成的上下文信息可以包括关于振动、热、灰尘、水蒸气等的信息，但不限于此。
根据实施例，处理管理装置1000可以从执行第二处理的第二处理装备接收第二处理数据。例如，第二处理装备可以通过有线/无线网络将在第一对象经过第二处理时获得的第二处理数据发送到处理管理装置1000。根据实施例，处理管理装置1000可以直接从第二处理装备接收第二处理数据，并且可以从连接到第二处理装备的边缘计算机接收第二处理数据。每当对象经过时，第二处理装备可以将与对象相关的第二处理数据发送到处理管理装置1000。
在操作S830中，处理管理装置1000可以使用第一处理数据和第二处理数据来识别在第一对象的整个区域中的要对其执行密集检查的第二区域和第二区域的检查等级。
根据实施例，处理管理装置1000可以将第一处理数据和第二处理数据应用于AI模型300，以将第二区域识别为密集检查区域。密集检查区域可以是具有高缺陷发生概率的区域。例如，AI模型300可以基于第一制造处理中关于第一对象的操作内容和第二制造处理中关于第一对象的操作内容来识别密集检查区域。例如，在第一制造处理中的操作部分是A区域并且第二制造处理中的操作部分是B区域的情况下，AI模型300可以将A区域和B区域彼此重叠的区域识别为密集检查区域。
根据实施例，处理管理装置1000可以将第一处理数据和第二处理数据应用于AI模型300，以识别密集检查区域和检查等级。例如，AI模型300可以基于在第一制造处理中生成的上下文信息(例如，振动、热、湿度等)和第二制造处理中的操作内容来识别密集检查区域和检查等级。作为示例，将描述当第一制造处理中产生的振动大于阈值时缺陷发生概率增加并且第二制造处理中的操作部分是第一对象的第二区域的情况。因为第二对象中的操作部分是第一对象的第二区域，所以AI模型300可以将第二区域识别为密集检查区域。当在第一制造处理中产生的振动小于阈值时，AI模型300可以将第二区域的检查等级识别为第一等级。另一方面，当在第一制造处理中产生的振动大于阈值时，因为缺陷发生概率增加，所以AI模型300可以将第二区域的检查等级识别为第三等级。
在操作S840中，处理管理装置1000可以控制第二视觉检查器以所确定的检查等级确定在第二区域中是否存在缺陷。第二视觉检查器可以位于第二制造处理之后。
例如，处理管理装置1000可以将第二区域的坐标信息和第二区域的检查等级信息发送给第二视觉检查器。此时，处理管理装置1000可以将第二区域的坐标信息和第二区域的检查等级信息直接发送到第二视觉检查器，或者可以通过连接到第二视觉检查器的边缘计算机将第二区域的坐标信息和第二区域的检查等级信息发送到第二视觉检查器。
根据实施例，处理管理装置1000可以使用短程无线通信将包括第二区域的坐标信息和第二区域的检查等级信息的控制信号发送到第二视觉检查器。在这种情况下，第二视觉检查器可以根据控制信号以关于第二区域确定的检查等级执行视觉检查。同时，第二视觉检查器可以进一步对第一对象的整个区域执行基本检查，但不限于此。将参考图9更详细地描述AI模型300通过应用先前制造处理的处理数据来确定密集检查区域和检查等级的操作。
图9是用于解释根据本公开的实施例的通过应用当前制造处理的处理数据和先前制造处理的处理数据来确定密集检查区域和检查等级的操作的图。在图9中，第一处理是切割处理，第二处理是第一CNC，以及第三处理是第二CNC处理。
参考图9的900-1，当作为制造目标的对象900经过第一处理(例如，切割处理)时，切割装备901可以将第一处理数据(例如，切割处理数据)911发送到处理管理装置1000。此时，处理管理装置1000可以通过将第一处理数据(例如，切割处理数据)911输入到AI模型300来确定第一密集检查区域910。例如，当输入第一处理数据911时，AI模型300可以分析第一处理数据911中包括的关于切割方向、切割位置或是否发生异常信号的信息，以将对象900的左上方区域确定为第一密集检查区域910。另一方面，基于第一处理数据911，AI模型300可以将第一密集检查区域的检查等级912确定为第二等级(例如，用于分析3D图像的等级)。
处理管理装置1000可以将左上方区域910的坐标信息和关于检查等级912的信息(例如，第二等级)发送到第一视觉检查器902。在这种情况下，第一视觉检查器902可以对对象900的整个区域执行基本检查，并对左上方区域910执行密集检查。例如，第一视觉检查器902可以获得对象900的整个区域的2D图像，并且分析2D图像以识别存在缺陷的部分。第一视觉检查器902还可以获得对象900的左上方区域910的3D图像，并且分析该3D图像以确定左上方区域910中是否存在缺陷。
参考图9的900-2，当作为制造目标的对象900在第一处理之后经过第二处理(例如，第一CNC处理)时，第一CNC装备903可以将第二处理数据(例如，第一CNC处理数据)921发送到处理管理装置1000。此时，处理管理装置1000可以通过将与第二处理之前的第一处理相关的第一处理数据911以及第二处理数据(例如，第一CNC处理数据)921输入到A1模型300来确定第二密集检查区域。例如，当输入第一处理数据911和第二处理数据921时，AI模型300可以分析第一处理数据911中包括的关于切割方向、切割位置或者是否发生异常信号的信息，以及第二处理数据921中包括的关于第一CNC操作位置、操作方向以及是否发生异常信号的信息，以将对象900的右下方区域920确定为第二密集检查区域。另一方面，基于第一处理数据911和第二处理数据921，AI模型300可以将关于第二密集检查区域的检查等级922确定为第二等级(例如，用于分析3D图像的等级)。
处理管理装置1000可以将右下方区域920的坐标信息和关于检查等级922的信息发送到第二视觉检查器904。在这种情况下，第二视觉检查器904可以对对象900的整个区域执行基本检查，并对右下方区域920执行密集检查。例如，第二视觉检查器904可以获得对象900的整个区域的2D图像，并分析2D图像以识别存在缺陷的部分。第二视觉检查器904还可以获得对象900的右下方区域920的3D图像，并且分析该3D图像以确定右下方区域920中是否存在缺陷。
参考图9的900-3，当作为制造目标的对象900在第一处理和第二处理之后经过第三处理(例如，第二CNC处理)时，第二CNC装备905可以将第三处理数据(例如，第二CNC处理数据)931发送到处理管理装置1000。此时，处理管理装置1000可以通过将与第三处理之前的第二处理相关的第二处理数据921以及第三处理数据(例如，第二CNC处理数据)931输入到A1模型300来确定第三密集检查区域。例如，当输入第二处理数据921和第三处理数据931时，AI模型300可以分析第二处理数据921中包括的第一CNC操作位置、操作方向以及是否发生异常信号，以及第三处理数据931中包括的关于第二CNC操作位置、操作方向以及是否发生异常信号的信息，以将对象900的右下方区域920确定为第三密集检查区域。例如，因为第一CNC操作位置也是右下方区域920，并且第二CNC操作位置也是右下方区域920，所以AI模型300可以将两个对象900的右下方区域920确定为第三密集检查区域。
另一方面，基于第二处理数据921和第三处理数据931，AI模型300可以将关于第二密集检查区域的检查等级922确定为第三等级(例如，用于分析高分辨率的3D图像的等级)。
例如，假设由于重复在相同位置的CNC操作，位置的缺陷发生概率增加。也就是说，当在左上方区域910上的切割操作之后对右下方区域920执行第一CNC操作时，右下方区域920中的第一缺陷发生概率可以是0.5％。另一方面，当对右下方区域920执行第一CNC操作之后再次对右下方区域920执行第二CNC操作时，右下方区域920中的第二缺陷发生概率可以是7％。因为第一缺陷发生概率高于第二缺陷发生概率，所以当AI模型300确定关于第二密集检查区域的检查等级922是第二等级(例如，用于分析3D图像的等级)时，AI模型300可以将关于第三密集检查区域的检查等级932确定为第三等级(例如，用于分析高分辨率的3D图像的等级)。
处理管理装置1000可以将右下方区域920的坐标信息和关于检查等级932的信息发送到第三视觉检查器906。在这种情况下，第三视觉检查器906可以对对象900的整个区域执行基本检查，并对右下方区域920执行密集检查。例如，第三视觉检查器906可以获得对象900的整个区域的2D图像，并分析2D图像以识别存在缺陷的部分。第三视觉检查器906还可以获得对象900的右下方区域920的高分辨率的3D图像，并且分析该高分辨率的3D图像以确定右下方区域920中存在的缺陷。
同时，尽管未在图9中示出，但是处理管理装置1000可以通过不仅将第三处理数据(例如，第二CNC处理数据)931和第二处理数据921输入到AI模型300，而且将第一处理数据911输入到AI模型300，来确定第三密集检查区域和第三密集检查区域的检查等级。
图10是用于解释根据本公开的实施例的用于基于检查结果数据修改和细化AI模型300的系统的图。
在操作S1010中，处理管理装置1000可以从至少一个视觉检查器获得检查结果数据，并将获得的检查结果数据发送到管理服务器2000。例如，处理管理装置1000可以获得关于第一对象的整个区域的第一视觉检查结果数据(以下，基本检查结果数据)和关于第一对象的密集检查区域的第二视觉检查结果数据(以下，密集检查结果数据)中的至少一个。
根据实施例，处理管理装置1000可以将检查结果数据(例如，基本检查结果数据或密集检查结果数据)与从至少一个处理装备获得的处理数据一起发送到管理服务器2000。
同时，尽管未在图10中示出，但是管理服务器2000可以直接从至少一个视觉检查器接收检查结果数据，而不是经由处理管理装置1000。
在操作S1020中，管理服务器2000可以使用处理数据和检查结果数据(例如，基本检查结果数据或密集检查结果数据)来修改和细化AI模型300。即，管理服务器2000可以将处理数据和检查结果数据(例如，基本检查结果数据或密集检查结果数据)作为学习数据(训练数据)输入到AI模型300中。在这种情况下，可以通过学习处理数据和检查结果数据(例如，基本检查结果数据或密集检查结果数据)来修改和细化AI模型300。例如，当作为分析检查结果数据的结果，在“X区域”中发现缺陷时，AI模型300可以比较处理数据(例如，热成型温度与参考值相比上升了5％)和检查结果数据(例如，在“X区域”中发现缺陷)，以学习缺陷发生原因(例如，当热成型温度上升时，在X区域中发生缺陷的概率)。AI模型300可以通过应用缺陷发生原因来修改和细化自身。修改和细化之前的AI模型300的版本可以被定义为第一版本，修改和细化之后的AI模型300的版本可以被定义为第二版本。
在操作S1030中，根据实施例，当修改和细化AI模型300时，管理服务器2000可以将修改和细化的AI模型300(例如，第二版本的AI模型)发送到处理管理装置1000。在操作S1040中，处理管理装置1000可以将从管理服务器2000接收的修改和细化的AI模型300(例如，第二版本的AI模型)存储在存储器中。然后，处理管理装置1000可以使用修改和细化的AI模型300来确定密集检查区域或检查等级。
例如，在修改和细化AI模型300之前，处理管理装置1000可以将处理数据应用于第一版本的AI模型300，以确定第一密集检查区域和第一密集检查区域的第一检查等级。在修改和细化AI模型300之后，处理管理装置1000可以将处理数据应用于第二版本的AI模型300，以确定第二密集检查区域和第二密集检查区域的第二检查等级。
根据实施例，可以通过反映从视觉检查器接收的检查结果数据来自适应地修改和细化AI模型300，并且因此视觉检查效率可以持续增加。
尽管在图10中未示出，但是当对象中存在缺陷时，管理服务器2000可以分析检查结果数据并向操作者的计算机输出通知信号。此时，通知信号可以包括音频信号、视觉信号或振动信号中的至少一个，但不限于此。
图11是用于解释根据本公开的实施例的使用修改和细化的AI模型来确定密集检查区域的操作的图。在图11中，修改和细化之前的AI模型300可以被定义为第一版本的AI模型1110，并且修改和细化之后的AI模型300可以被定义为第二版本的AI模型1120。
参考图11的1100-1，处理管理装置1000可以使用基于理论学习数据训练的第一版本的AI模型1110来确定密集检查区域。例如，处理管理装置1000可以从执行处理A的第一装备1101获得与处理A相关的处理A数据。处理管理装置1000可以将处理A数据应用于第一版本的AI模型1110，以将对象1001的左上方区域1111确定为密集检查区域。根据理论学习数据，在执行处理A之后，在对象1001的左上方区域1111中的缺陷发生概率可能高。
处理管理装置1000可以将指示左上方区域1111的第一坐标信息发送到第一视觉检查器1102。在这种情况下，第一视觉检查器1102可以对对象1001的左上方区域1111执行密集检查，并且对对象1001的整个区域执行基本检查。当视觉检查完成时，第一视觉检查器1102可以将视觉检查结果数据(基本检查结果数据和密集检查结果数据)发送到处理管理装置1000。处理管理装置1000可以将视觉检查结果数据发送到管理服务器2000。管理服务器2000可以将视觉检查结果数据作为学习数据输入到AI模型300。
AI模型300可以分析视觉检查结果数据，并且识别到在执行处理A之后，不仅在左上方区域1111中，而且在右下方区域1112中，缺陷发生概率都高。在这种情况下，可以修改AI模型300以通过当输入处理A数据时反映视觉检查结果数据，来将左上方区域1111和右下方区域1112两者确定为密集检查区域。然后，管理服务器2000可以将第二版本的修改的AI模型1120发送到处理管理装置1000。
参考图11中的1100-2，处理管理装置1000可以使用第二版本的AI模型1120来确定密集检查区域。例如，处理管理装置1000可以从执行处理A的第一装备1101获得与处理A相关的处理A数据。处理管理装置1000可以将处理A数据应用于第二版本的AI模型1120，以将对象1001的左上方区域1111和右下方区域1112确定为密集检查区域。
处理管理装置1000可以将指示左上方区域1111和右下方区域1112的第二坐标信息发送给第一视觉检查器1102。在这种情况下，第一视觉检查器1102可以对对象1001的左上方区域1111和右下方区域1112执行密集检查，并且对对象1001的整个区域执行基本检查。当视觉检查完成时，第一视觉检查器1102可以将视觉检查结果数据(基本检查结果数据和密集检查结果数据)发送到处理管理装置1000。处理管理装置1000可以将视觉检查结果数据发送到管理服务器2000。管理服务器2000可以将视觉检查结果数据作为学习数据输入到AI模型300。
根据实施例，用于确定密集检查区域的AI模型300可以通过学习视觉检查结果数据来修改和细化，并且因此基于处理数据的密集检查区域可以自适应地改变。
图12是用于解释根据本公开的实施例的使用修改的AI模型来确定检查等级的操作的图。在图12中，修改前的AI模型300可以被定义为第一版本的AI模型1210，并且修改后的AI模型300可以被定义为第二版本的AI模型1220。
参考图12的1200-1，处理管理装置1000可以使用基于理论学习数据训练的第一版本的AI模型1210来确定关于密集检查区域的检查等级(下文中，密集检查等级)。例如，处理管理装置1000可以从执行处理A的第一装备1201获得与处理A相关的处理A数据。处理管理装置1000可以将处理A数据应用于第一版本的AI模型1210，以将对象1002的左上方区域1003确定为密集检查区域。例如，当处理A中的操作部分与左上方区域1003相关时，第一版本的AI模型1210可以将对象1002的左上方区域1003确定为密集检查区域。
同时，根据理论学习数据，在执行处理A之后，对象1002中的缺陷发生概率可以在第一阈值(例如，0.5％)和第二阈值(2％)之间。第一版本的AI模型1210可以使用缺陷发生概率来将密集检查等级确定为第二等级(例如，用于分析高分辨率的2D图像的等级)。
处理管理装置1000可以向第一视觉检查器1202发送指示左上方区域1003的坐标信息和指示第二等级的密集检查等级信息。在这种情况下，第一视觉检查器1202可以以第二等级对对象1002的左上方区域1003执行密集检查，并且对对象1002的整个区域执行基本检查。例如，第一视觉检查器1202可以获得关于左上方区域1003的高分辨率的2D图像1211。第一视觉检查器1202可以分析高分辨率的2D图像1211，以识别在左上方区域1003中存在的缺陷(例如裂纹、划痕等)。第一视觉检查器1202可以获得关于对象1002的整个区域的一般分辨率的2D图像，并且分析一般分辨率的2D图像，以识别除了左上方区域1003之外的区域中存在的缺陷。当视觉检查完成时，第一视觉检查器1202可以将视觉检查结果数据(基本检查结果数据和密集检查结果数据)发送到处理管理装置1000。处理管理装置1000可以将视觉检查结果数据发送到管理服务器2000。管理服务器2000可以将视觉检查结果数据作为学习数据输入到AI模型300。
当AI模型300分析视觉检查结果数据时，与理论学习数据不同，在执行处理A之后，对象1002中的缺陷发生概率可以等于或高于第二阈值(2％)。在这种情况下，通过反映视觉检查结果数据，可以修改AI模型300以将当输入处理A数据时的左上方区域1003的密集检查等级识别为第三等级(用于分析3D图像的等级)而不是第二等级(例如，用于分析高分辨率的2D图像的等级)。然后，管理服务器2000可以将第二版本的修改的AI模型1220发送到处理管理装置1000。
参考图12的1200-2，处理管理装置1000可以使用第二版本的AI模型1220来确定密集检查区域和密集检查等级。例如，处理管理装置1000可以从执行处理A的第一装备1201获得与处理A相关的处理A数据。处理管理装置1000可以将处理A数据应用于第二版本的AI模型1220，以将对象1002的左上方区域1003确定为密集检查区域并且将密集检查等级确定为“第三等级”。
处理管理装置1000可以向第一视觉检查器1202发送指示左上方区域1003的坐标信息和指示第三等级的密集检查等级信息。在这种情况下，第一视觉检查器1202可以以第三等级对对象1002的左上方区域1003执行密集检查，并且对对象1002的整个区域执行基本检查。例如，第一视觉检查器1202可以获得左上方区域1003的3D图像1221。第一视觉检查器1202可以分析3D图像1221，以识别在左上方区域1003中存在的缺陷(例如裂纹、划痕等)。第一视觉检查器1202可以获得关于对象1002的整个区域的一般分辨率的2D图像，并且分析一般分辨率的2D图像，以识别除了左上方区域1003之外的区域中存在的缺陷。当视觉检查完成时，第一视觉检查器1202可以将视觉检查结果数据(基本检查结果数据和密集检查结果数据)发送到处理管理装置1000。处理管理装置1000可以将视觉检查结果数据发送到管理服务器2000。管理服务器2000可以将视觉检查结果数据作为学习数据输入到AI模型300。
根据实施例，用于确定密集检查等级的AI模型300可以通过学习视觉检查结果数据来修改和细化，并且因此可以自适应地提高基于处理数据的密集检查的质量。
图13是示出根据本公开的实施例的考虑周围环境信息来确定密集检查区域和检查等级的方法的流程图。
在操作S1310中，处理管理装置1000可以获得与第一制造处理相关的第一处理数据和关于周围环境的信息。
根据实施例，第一处理数据可以包括关于执行第一制造处理的第一处理装备的信息、关于第一处理中的操作部分或内容的信息、关于第一制造处理在整个制造处理期间的顺序的信息、关于在第一制造处理中发生的缺陷率的信息、或在第一制造处理中生成的上下文信息中的至少一个，不限于此。此外，在第一制造处理中生成的上下文信息可以包括关于振动、热、灰尘、水蒸气等的信息，但不限于此。
根据实施例，处理管理装置1000可以从执行第一制造处理的第一处理装备接收第一处理数据。例如，第一处理装备可以通过有线/无线网络将在第一对象经过第一制造处理时获得的第一处理数据发送到处理管理装置1000。根据实施例，处理管理装置1000可以直接从第一处理装备接收第一处理数据，并且可以从连接到第一处理装备的边缘计算机接收第一处理数据。每当对象经过时，第一处理装备可以将与对象相关的第一处理数据发送到处理管理装置1000。
同时，根据实施例，处理管理装置1000可以从至少一个环境传感器获得关于执行第一制造处理的第一处理装备在其中操作的周围环境的信息。关于周围环境的信息可以包括周围温度信息、周围湿度信息、周围噪声信息、周围振动信息或周围灰尘分布信息中的至少一个，但不限于此。该至少一个环境传感器还可以包括温度传感器、湿度传感器、振动传感器、噪声传感器或灰尘传感器中的至少一个，但不限于此。
根据实施例，处理管理装置1000可以直接或通过连接到至少一个环境传感器的边缘计算机接收由至少一个环境传感器测量的感测值。根据实施例，至少一个环境传感器可以以预定间隔将感测值发送到处理管理装置1000，以及可以在特定事件发生时将感测值发送到处理管理装置1000。例如，温度传感器可以在预定时段向处理管理装置1000发送温度值，或者当周围温度超过30℃的事件发生时，可以向处理管理装置1000发送温度值。
在操作S1320中，处理管理装置1000可以使用第一处理数据和关于周围环境的信息来确定在第一对象的整个区域中的要对其执行密集检查的第一区域和第一区域的检查等级(下文中，密集检查等级)。
根据实施例，当处理管理装置1000将第一处理数据和关于周围环境的信息输入到AI模型300时，AI模型300可以基于第一处理数据和关于周围环境的信息来确定密集检查区域和密集检查等级。例如，当第一制造处理是切割第一对象的右上端的处理并且周围湿度为50％时，AI模型300可以将右上方区域确定为要对其执行密集检查的第一区域，并将密集检查等级确定为第二等级。此外，当第一制造处理是切割第一对象的右上端的处理并且周围湿度为70％时，AI模型300可以将右上方区域确定为要对其执行密集检查的第一区域，并将密集检查等级确定为第三等级。也就是说，当在周围湿度高的情况下缺陷发生概率增加时，当周围湿度较高时，AI模型300可以提高密集检查等级，使得视觉检查器甚至可以找到微小的缺陷。
此外，当第一制造处理是切割第一对象的右上端的处理并且在第一制造处理期间发生地震并且由振动传感器测量的振动值大于阈值时，AI模型300可以将右上方区域确定为要对其执行密集检查的第一区域，并且将密集检查等级确定为最高等级(例如，用于分析高分辨率的3D图像的等级)。当在制造处理期间发生地震时，因为对象中的缺陷发生概率增加，所以AI模型300可以将密集检查等级确定为高。
在操作S1330中，处理管理装置1000可以控制第一视觉检查器根据确定的检查等级来检查第一区域中是否存在缺陷。例如，处理管理装置1000可以向第一视觉检查器发送控制信号，该控制信号包括关于密集检查区域的信息(例如，坐标信息)和关于密集检查等级的信息。在这种情况下，第一视觉检查器可以根据控制信号对对象的密集检查区域执行视觉检查。
将参考图14更详细地描述AI模型300通过应用周围环境信息来识别密集检查等级的操作。
图14是用于解释根据本公开的实施例的通过应用周围环境信息来确定密集检查等级的操作的图。在图14中，作为示例，将描述制造处理是关于玻璃的70℃热成型处理的情况。
根据实施例，处理管理装置1000可以从连接到执行热成型处理的热成型机1411的第一边缘计算机1410获得与热成型处理相关的处理数据(例如，热成型处理数据)。例如，热成型机1411可以将处理数据发送到第一边缘计算机1410。此时，第一边缘计算机1410可以从热成型机1411接收处理数据，并将接收到的处理数据发送到处理管理装置1000。
根据实施例，第一边缘计算机1410可以过滤接收到的处理数据，并将过滤后的处理数据发送到处理管理装置1000。例如，第一边缘计算机1410可以根据预定参考从从热成型机1411接收的处理数据中选择用于确定密集检查区域和密集检查等级所需的部分数据，并且可以将选择的部分数据发送到处理管理装置1000。
根据实施例，处理管理装置1000可以从连接到至少一个环境传感器1431的第三边缘计算机1430获得周围环境信息。例如，当第三边缘计算机1430连接到温度传感器、湿度传感器和振动传感器时，第三边缘计算机1430可以将从温度传感器接收的温度测量值、从湿度传感器接收的湿度测量值和从振动传感器接收的振动传感器值发送到处理管理装置1000。
根据实施例，第三边缘计算机1430可以过滤从至少一个环境传感器1431接收的周围环境信息，并将过滤后的周围环境信息发送到处理管理装置1000。例如，第三边缘计算机1430可以根据预定参考从从至少一个环境传感器1431接收的周围环境信息中选择用于确定密集检查区域和密集检查等级所需的部分数据，并且可以将选择的部分数据发送到处理管理装置1000。
处理管理装置1000可以将从第一边缘计算机1410接收的处理数据(例如，热成型数据)和从第三边缘计算机1430接收的周围环境信息输入到AI模型300。AI模型300可以使用处理数据和周围环境信息来确定密集检查区域和密集检查等级。例如，当在70℃热成型之后中心部分处的裂纹发生概率高时，AI模型300可以将对象的中心区域确定为密集检查区域。此外，当通过应用周围环境信息，热成型机1411的周围温度为25℃时，因为裂纹发生概率小于0.5％，所以AI模型300可以将密集检查等级确定为第二等级(例如，用于分析高分辨率的3D图像的等级)。另一方面，当热成型机1411的周围温度为30℃时，因为裂纹发生概率大于5％，所以AI模型300可以将密集检查等级确定为第三等级(例如，用于分析3D图像的等级)。
处理管理装置1000可以向第二边缘计算机1420发送视觉检查控制信号，该视觉检查控制信号包括指示密集检查区域的坐标信息和关于密集检查等级的信息。第二边缘计算机1420可以将视觉检查控制信号发送到连接到第二边缘计算机1420的视觉检查器1421。视觉检查器1421可以根据视觉检查控制信号对对象执行视觉检查。例如，视觉检查器1421可以对对象的中心区域执行密集检查，并且对对象的整个区域执行基本检查。
根据实施例，当视觉检查完成时，视觉检查器1421可以将视觉检查结果数据发送到第二边缘计算机1420。第二边缘计算机1420可以将视觉检查结果数据发送到处理管理装置1000。根据实施例，第二边缘计算机1420可以将从视觉检查器1421接收的整个视觉检查结果数据发送到处理管理装置1000，并且仅将部分视觉检查结果数据发送到处理管理装置1000。例如，第二边缘计算机1420可以仅将包括指示对象中存在缺陷的标识符的视觉检查结果数据发送到处理管理装置1000。
图15是示出根据本公开的实施例的处理管理装置1000的框图。
参考图15，处理管理装置1000可以包括存储器1100、通信接口1200和处理器1300。然而，并非所有示出的组件都是不可或缺的组件。处理管理装置1000可以由比图15所示的组件更多的组件来实现，并且处理管理装置1000可以由比图15所示的组件更少的组件来实现。
在下文中，将按顺序描述组件。
存储器1100可以存储用于处理器1300的处理和控制的程序，并且可以存储输入/输出数据(例如，处理数据、视觉检查结果数据、关于周围环境的信息等)。
存储器1100可以包括至少一种类型的存储介质，诸如快闪存储器类型、硬盘类型、微型多媒体卡类型、卡类型存储器(例如，安全数字(SD)或者XD存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁性存储器、磁盘、和光盘。
存储在存储器1100中的程序可以根据它们的功能被分类成多个模块，并且可以包括例如用于确定密集检查区域的AI模型300。参考图3描述AI模型300，并且因此这里将省略其详细描述。同时，稍后将参考图16至19详细描述生成AI模型300的处理。
通信接口1200可以包括一个或多个组件，其使得处理管理装置1000能够与至少一个处理装备、管理服务器2000、至少一个视觉检查器或边缘计算机通信。例如，通信接口1200可以包括短程无线通信接口、移动通信接口等，但不限于此。
短程无线通信接口可以包括蓝牙通信接口、蓝牙低功耗(BLE)通信接口、近场通信接口、WLAN(WiFi)通信接口、Zigbee通信接口、红外数据协会(IrDA)通信接口、WFD(Wi-Fi直接)通信接口、UWB(超宽带)通信接口、Ant+通信接口等，但不限于此。
移动通信接口可以在移动通信网络上向基站、外部终端、或者管理服务器2000中的至少一个发送无线信号以及从其接收无线信号。这里，根据消息的发送/接收，无线信号可以包括语音呼叫信号、视频呼叫信号或各种类型的数据。
通信接口1200可以获得与第一对象已经经过的第一制造处理相关的第一处理数据。根据实施例，通信接口1200可以从第一处理装备接收第一处理数据，并且可以从连接到第一处理装备的边缘计算机接收第一处理数据。
当第一对象在第一制造处理之后经过第二制造处理时，通信接口1200可以获得与第二制造处理相关的第二处理数据。根据实施例，通信接口1200可以从第二处理装备接收第二处理数据，并且可以从连接到第二处理装备的边缘计算机接收第二处理数据。
通信接口1200可以向视觉检查器发送控制信号，该控制信号包括关于密集检查区域的信息(例如，坐标信息)和关于密集检查等级的信息。此时，通信接口1200可以从视觉检查器接收视觉检查结果数据。例如，通信接口1200可以从第一视觉检查器获得关于第一对象的整个区域的第一视觉检查结果数据和关于第一对象的第一区域的第二视觉检查结果数据。根据实施例，通信接口1200可以直接从视觉检查器接收视觉检查结果数据，或者可以经由连接到视觉检查器的边缘计算机接收视觉检查结果数据。
通信接口1200可以获得关于执行第一制造处理的第一处理装备在其中操作的周围环境的信息。例如，通信接口1200可以从至少一个环境传感器或者从连接到至少一个环境传感器的边缘计算机获得关于周围环境的信息。
通信接口1200可以获得关于第一对象的材料的信息。根据实施例，通信接口1200可以从第一处理装备接收关于第一对象的材料的信息以及第一处理数据。根据另一实施例，通信接口1200可以从管理服务器2000接收关于第一对象的材料的信息。
通信接口1200可以从管理服务器2000接收AI模型300。根据实施例，当修改AI模型300时，通信接口1200可以从管理服务器2000接收修改的AI模型300。同时，通信接口1200可以向管理服务器2000发送处理数据、视觉检查结果数据或关于周围环境的信息中的至少一个，但不限于此。
处理器1300通常可以控制处理管理装置1000的整体操作。例如，处理器1300通常可以通过运行存储在存储器1100中的程序来控制通信接口1200、用户接口1400、输出单元1500、感测单元1600等。
根据实施例，处理器1300可以包括用于生成学习网络模型的AI处理器，但不限于此。根据实施例，AI处理器可以被实现为与处理器1300分离的芯片。
根据实施例，处理器1300可以使用AI模型300和第一处理数据将第一对象的整个区域中的第一区域确定为密集检查区域。处理器1300可以基于AI模型300和第一处理数据来确定关于第一区域的检查等级。检查等级可以包括用于分析关于第一区域的2D低分辨率图像的等级、用于分析关于第一区域的2D高分辨率图像的等级、用于分析关于第一区域的3D低分辨率图像的等级、或者用于分析3D高分辨率图像的等级中的至少一个，但不限于此。
处理器1300可以控制第一视觉检查器检查在确定的第一区域中是否存在缺陷。例如，处理器1300可以控制第一视觉检查器以第一检查等级对第一对象的整个区域执行第一视觉检查(例如，基本检查)，并且以第二检查等级对第一对象的第一区域执行第二视觉检查(例如，密集检查)。此时，第二检查等级可以高于第一检查等级。
另一方面，当处理器1300检测到在第一制造处理期间关于第一对象的操作的异常信号时，处理器1300可以控制第一视觉检查器以高于第二检查等级的第三检查等级对第一区域执行第二视觉检查(例如，密集检查)。
根据实施例，当处理器1300获得与第一制造处理之后的第二制造处理相关的第二处理数据时，基于第一处理数据和第二处理数据，处理器1300可以将第一对象的整个区域中的第二区域确定为密集检查区域。处理器1300然后可以控制第二视觉检查器检查第二区域中是否存在缺陷。
根据实施例，处理器1300可以使用第一处理数据、第一视觉检查结果数据(例如，基本检查结果数据)和第二视觉检查结果数据(例如，密集检查结果数据)来修改AI模型300。处理器1300可以通过将第一处理数据、第一视觉检查结果数据(例如，基本检查结果数据)和第二视觉检查结果数据(例如，密集检查结果数据)应用于存储在处理管理装置1000中的AI模型300来修改AI模型300。根据另一实施例，处理器1300可以控制通信接口1200向管理服务器200发送第一处理数据、第一视觉检查结果数据(例如，基本检查结果数据)和第二视觉检查结果数据(例如，密集检查结果数据)，使得存储在管理服务器2000中的AI模型300可以被修改。
处理器1300可以进一步使用关于执行第一制造处理的第一处理装备在其中操作的周围环境的信息和关于第一对象的材料的信息中的至少一个来将第一区域确定为密集检查区域。
用户接口1400意味着用户输入用于控制处理管理装置1000的数据的装置。例如，用户接口1400可以包括键盘、圆顶开关、触摸板(接触电容型、耐压型、红外线检测型、表面超声波传导型、整体张力测量型、压电效应型等)、滚轮、微动开关等，但不限于此。
输出单元1500可以用于输出音频信号、视频信号或振动信号，并且可以包括显示器、声音输出单元、振动马达等。
显示器可以显示和输出在处理管理装置1000中处理的信息。例如，显示器可以显示连接到处理管理装置1000的处理装备、整个制造处理信息、与每个制造处理相关的处理数据以及视觉检查结果数据等，但不限于此。
当显示器和触摸板被配置为层结构的触摸屏时，除了用作输出设备之外，显示器还可以用作输入设备。显示器可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器、三维显示器或电泳显示器中的至少一种。此外，取决于处理管理装置1000的实现类型，处理管理装置1000可以包括两个或更多个显示器。
声音输出单元可以输出从通信接口1200接收的或者存储在存储器1100中的音频数据。此外，声音输出单元可以输出与在处理管理装置1000中处理的功能(例如，异常信号检测通知、缺陷发生通知、消息接收声音等)相关的声音信号。声音输出单元可以包括扬声器、蜂鸣器等。
振动马达可以输出振动信号。例如，振动马达可以输出与音频数据或视频数据(例如，呼叫信号接收声音、消息接收声音等)的输出相对应的振动信号。此外，当触摸被输入到触摸屏时，振动马达可以输出振动信号。
感测单元1600可以包括磁传感器、加速度传感器、倾斜传感器、红外线传感器、陀螺仪传感器、位置传感器(例如，全球定位系统(GPS))、温度/湿度传感器、接近传感器或照度传感器中的至少一个，但不限于此。可以直观地推断相应传感器的功能，并且因此将省略其详细描述。
图16是根据本公开的实施例的处理器1300的框图。
参考图16，根据本公开的实施例的处理器1300可以包括数据学习器1310和数据识别器1320。
数据学习器1310可以学习用于识别密集检查区域(或密集检查等级)的参考。数据学习器1310可以学习关于使用什么数据来确定密集检查区域以及如何使用该数据来确定情形的参考。数据学习器1310可以获得要用于学习的数据(例如，视觉检查目标信息301、处理信息302、缺陷信息303、根据周围环境的缺陷率信息304等)，并且将获得的数据应用于将稍后描述的数据识别模型，从而学习用于确定密集检查区域(或密集检查等级)的参考。
例如，数据学习器1310可以学习根据对象的材料(例如，玻璃、塑料、橡胶等)生成的缺陷图像。根据实施例，数据学习器1310可以学习在每个处理之后生成的缺陷图像。例如，数据学习器1310可以学习在切割处理之后生成的缺陷图像、在热成型处理之后生成的缺陷图像、在CNC处理之后生成的缺陷图像等。
根据实施例，数据学习器1310还可以学习视觉检查结果数据。例如，数据学习器1310可以学习通过以基本检查等级对整个区域执行视觉检查而获得的结果数据(例如，基本检查结果数据)、通过以预定等级对密集检查区域执行视觉检查而获得的结果数据(例如，密集检查结果数据)等。
数据识别器1320可以基于数据来确定密集检查区域(或密集检查等级)。数据识别器1320可以通过使用学习的数据识别模型从检测到的数据中识别密集检查区域(或密集检查等级)。数据识别器1320可以根据学习的预定参考获得处理数据并使用使所获得的处理数据作为输入值的数据识别模型，从而基于处理数据确定密集检查区域(或密集检查等级)。此外，由使获得的图像数据作为输入值的数据识别模型输出的结果值可以用于修改数据识别模型(例如，AI模型300)。
数据学习器1310和数据识别器1320中的至少一个可以以至少一个硬件芯片的形式制造并安装在处理管理装置1000上。例如，数据学习器1310和数据识别器1320中的至少一个可以以用于AI的专用硬件芯片的形式制造，或者可以作为现有通用处理器(例如，计算机处理单元(CPU)或应用处理器)或纯图形处理器(例如，图形处理单元(GPU))的一部分制造，并且安装在处理管理装置1000上。
在这种情况下，数据学习器1310和数据识别器1320可以安装在一个处理管理装置1000上，或者可以安装在分离的电子装置上。例如，数据学习器1310和数据识别器1320中的一个可以包括在处理管理装置1000中，而另一个可以包括在管理服务器2000中。数据学习器1310和数据识别器1320可以通过有线或无线向数据识别器1320提供由数据学习器1310构建的模型信息，并且向数据学习器1310提供输入到数据识别器1320的数据作为附加学习数据。
同时，数据学习器1310和数据识别器1320中的至少一个可以被实现为软件模块。当数据学习器1310和数据识别器1320中的至少一个被实现为软件模块(或包括指令的程序模块)时，该软件模块可以存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由操作系统(OS)或预定的应用提供。可替换地，至少一个软件模块中的一个可以由OS提供，而另一个可以由预定应用提供。
图17是根据本公开的实施例的数据学习器1310的框图。
参考图17，根据本公开的实施例的数据学习器1310可以包括数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5。
数据获得器1310-1可以获得用于确定密集检查区域(或密集检查等级)所需的数据。数据获得器1310-1可以获得用于学习确定密集检查区域(或密集检查等级)所需的数据(例如，处理数据)。根据实施例，数据获得器1310-1可以直接生成用于确定密集检查区域(或密集检查等级)所需的数据，或者可以从外部装置或服务器接收用于确定密集检查区域(或密集检查等级)所需的数据。例如，数据获得器1310-1可以使用传感器直接收集关于周围环境的信息。
根据实施例，数据获得器1310-1可以获得处理数据、周围环境数据、图像数据、语音数据、文本数据等。例如，数据获得器1310-1可以通过处理管理装置1000的输入设备(例如，麦克风、相机、传感器等)接收数据。可替换地，数据获得器1310-1可以通过与处理管理装置1000通信的外部设备获得数据。
预处理器1310-2可以预处理获得的数据，使得获得的数据可以用于学习确定密集检查区域(或密集检查等级)。预处理器1310-2可以以预定格式处理获得的数据，使得稍后将描述的模型学习器1310-4可以使用获得的数据进行学习以用于情形确定。
例如，预处理器1310-2可以重叠构成输入运动图像的至少一部分的多个图像(或帧)中的至少一些，以基于多个图像的每一个中包括的公共区域来生成单个合成图像。在这种情况下，可以从一个运动图像生成多个合成图像。公共区域可以是在多个图像的每一个中包括相同或相似的公共对象(例如，对象、动物、植物或人等)的区域。可替换地，公共区域可以是在多个图像的每一个中颜色、阴影、RGB值或CMYK值相同或相似的区域。
学习数据选择器1310-3可以从预处理的数据中选择学习所需的数据。所选择的数据可以被提供给模型学习器1310-4。学习数据选择器1310-3可以根据用于确定密集检查区域(或密集检查等级)的预定参考从预处理的数据中选择学习所需的数据。学习数据选择器1310-3还可以根据模型学习器1310-4学习的预定参考来选择数据，这将在后面描述。例如，学习数据选择器1310-3可以选择包括与主体的信息和主体的周围环境信息相关的拍摄计划的图像数据。
模型学习器1310-4可以学习关于如何基于学习数据确定推荐情形的参考。此外，模型学习器1310-4可以学习关于哪个学习数据被用于确定推荐情形的参考。
此外，模型学习器1310-4可以学习用于使用学习数据来确定推荐情形的数据识别模型。在这种情况下，数据识别模型可以是先前构建的模型。例如，数据识别模型可以是通过接收基本学习数据(例如，样本图像等)而先前构建的模型。
可以考虑识别模型的应用领域、学习目的或装置的计算机性能等来构建数据识别模型。数据识别模型可以是例如基于神经网络的模型。例如，诸如深度神经网络(DNN)、循环(recurrent)神经网络(RNN)和双向循环DNN(BRDNN)的模型可以用作数据识别模型，但不限于此。
根据各种实施例，当存在先前构建的多个数据识别模型时，模型学习器1310-4可以将输入学习数据和基本学习数据之间具有高关系(high relation)的数据识别模型确定为数据识别模型。在这种情况下，可以根据数据类型预先对基本学习数据进行分类，并且可以预先为每个数据类型构建数据识别模型。例如，基本学习数据可以根据各种参考(诸如，生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的类型、学习数据的创建者、学习数据中对象的类型等)预先分类。
此外，模型学习器1310-4可以使用包括例如误差反向传播方法或梯度下降方法的学习算法来训练数据识别模型。
此外，模型学习器1310-4可以通过使用例如学习数据作为输入值的监督学习来训练数据识别模型。此外，模型学习器1310-4可以通过无监督学习来训练数据识别模型，以通过在没有任何指导的情况下独立学习情形确定所需的数据的类型来找到用于情形确定的参考。此外，模型学习器1310-4可以例如通过使用关于基于学习的情形确定的结果是否正确的反馈的强化学习来训练数据识别模型。
此外，当训练数据识别模型时，模型学习器1310-4可以存储所学习的数据识别模型。在这种情况下，模型学习器1310-4可以将训练的数据识别模型存储在包括数据识别器1320的处理管理装置1000的存储器1100中。可替换地，模型学习器1310-4可以将训练的数据识别模型存储在包括稍后将描述的数据识别器1320的处理管理装置1000的存储器1100中。可替换地，模型学习器1310-4可以将训练的数据识别模型存储在通过有线或无线网络连接到处理管理装置1000的管理服务器2000的存储器中。
在这种情况下，存储训练的数据识别模型的存储器也可以存储例如与处理管理装置1000的至少一个其他组件相关的命令或数据。存储器也可以存储软件和/或程序。所述程序可以包括，例如，内核、中间件、应用编程接口(API)和/或应用程序(或者“应用”)。
模型评估器1310-5可以向数据识别模型输入评估数据，并且当根据评估数据输出的识别结果不满足预定参考时，模型评估器1310-5可以允许模型学习器1310-4再次被训练。在这种情况下，评估数据可以是用于评估数据识别模型的预定数据。
例如，当关于评估数据的训练的数据识别模型的识别结果当中具有不正确识别结果的评估数据的数量或比率超过预定阈值时，模型评估器1310-5可以评估数据识别模型不满足预定参考。例如，当预定参考被定义为2％的比率时，并且当总共1000个评估数据当中，训练的数据识别模型输出关于评估数据的不正确识别结果超过20个时，模型评估器1310-5可以评估训练的数据识别模型不合适。
另一方面，当存在多个训练的数据识别模型时，模型评估器1310-5可以评估训练的运动识别模型中的每一个是否满足预定参考，并将满足预定参考的模型确定为最终数据识别模型。在这种情况下，当多个模型满足预定参考时，模型评估器1310-5可以将先前以评估分数的降序设置的任何一个或预定数量的模型确定为最终数据识别模型。
同时，数据学习器1310中的数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4、或者模型评估器1310-5中的至少一个可以以至少一个硬件芯片的形式制造并安装在处理管理装置1000上。例如，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4或模型评估器1310-5中的至少一个可以以用于AI的专用硬件芯片的形式制造，或者可以作为现有通用处理器(例如，CPU或应用处理器)或纯图形处理器(例如，GPU)的一部分制造并安装在处理管理装置1000上。
此外，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5可以安装在一个处理管理装置1000上，或者可以安装在分离的电子装置上。例如，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的一些可以被包括在处理管理装置1000中，而其他可以被包括在管理服务器2000中。
此外，数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4或模型评估器1310-5中的至少一个可以被实现为软件模块。当数据获得器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4或模型评估器1310-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由OS或由预定应用提供。可替换地，至少一个软件模块中的一个可以由OS提供，而另一个可以由预定应用提供。
图18是根据本公开的实施例的数据识别器1320的框图。
参考图18，根据本公开的实施例的数据识别器1320可以包括数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型修改器1320-5。
数据获得器1320-1可以获得推荐情形确定所需的数据。预处理器1320-2可以预处理获得的数据，使得获得的数据可以用于推荐情形确定。预处理器1320-2可以将获得的数据处理成预定格式，使得稍后将描述的识别结果提供器1320-4可以将获得的数据用于推荐情形确定。
识别数据选择器1320-3可以从预处理的数据中选择用于确定密集检查区域(或密集检查等级)所需的数据。所选择的数据可以被提供给识别结果提供器1320-4。识别数据选择器1320-3可以根据用于确定密集检查区域(或密集检查等级)的预定参考来选择一些或全部预处理的数据。识别数据选择器1320-3还可以根据模型学习器1310-4学习的预定参考来选择数据，这将在后面描述。
识别结果提供器1320-4可以通过将选择的数据应用于数据识别模型来决定密集检查区域(或密集检查等级)的确定。识别结果提供器1320-4可以根据数据识别目的提供识别结果。识别结果提供器1320-4可以通过使用由识别数据选择器1320-3选择的数据作为输入值，将选择的数据应用于数据识别模型。此外，识别结果可以由数据识别模型来确定。
例如，至少一个图像的识别结果可以提供为文本、语音、运动图像、图像或指令(例如，应用运行指令、模块功能运行指令等)。例如，识别结果提供器1320-4可以提供在至少一个图像中包括的对象的识别结果。识别结果可以包括例如在至少一个图像中包括的对象的姿势信息、对象的周围状态信息、在运动图像中包括的对象的运动改变信息等。
模型修改器1320-5可以基于对识别结果提供器1320-4提供的识别结果的评估来修改数据识别模型。例如，模型修改器1320-5可以向模型学习器1310-4提供由识别结果提供器1320-4提供的识别结果，使得模型学习器1310-4可以修改数据识别模型。
同时，数据识别器1320中的数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4、或者模型修改器1320-5中的至少一个可以以至少一个硬件芯片的形式制造并安装在处理管理装置1000上。例如，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4、或者模型修改器1320-5中的至少一个可以以用于AI的专用硬件芯片的形式制造，或者可以作为现有通用处理器(例如，CPU或应用处理器)或纯图形处理器(例如，GPU)的一部分制造并安装在处理管理装置1000上。
此外，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4、或者模型修改器1320-5可以安装在一个处理管理装置1000上，或者可以安装在分离的电子装置上。例如，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型修改器1320-5中的一些可以被包括在处理管理装置1000中，而其他可以被包括在管理服务器2000中。
此外，数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4、或者模型修改器1320-5中的至少一个可以被实现为软件模块。当数据获得器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4、或者模型修改器1320-5中的至少一个被实现为软件模块(或包括指令的程序模块)时，软件模块可以存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由OS或由预定应用提供。可替换地，至少一个软件模块中的一个可以由OS提供，而另一个可以由预定应用提供。
图19是示出根据本公开的实施例的其中处理管理装置1000和管理服务器2000通过彼此交互来学习和识别数据的示例的图。
参考图19，管理服务器2000可以学习用于确定密集检查区域(或密集检查等级)的参考，并且处理管理装置1000可以基于管理服务器2000的学习结果来确定密集检查区域(或密集检查等级)。管理服务器2000包括数据识别器2300、数据获得器2310、预处理器2320、学习数据选择器2330、模型学习器2340和模型评估器2350。
在这种情况下，管理服务器2000的模型学习器2340可以执行图17所示的数据学习器1310的功能。管理服务器2000的模型学习器2340可以学习关于使用哪些数据来确定密集检查区域(或密集检查等级)以及如何使用该数据来确定密集检查区域(或密集检查等级)的参考。模型学习器2340可以通过获得要用于学习的数据并将获得的数据应用于稍后描述的数据识别模型来学习用于确定密集检查区域(或密集检查等级)的参考。
此外，处理管理装置1000的识别结果提供器1320-4可以通过将由识别数据选择器1320-3选择的数据应用于由管理服务器2000生成的数据识别模型来确定密集检查区域(或密集检查等级)。例如，识别结果提供器1320-4可以将由识别数据选择器1320-3选择的数据发送到管理服务器2000，并请求管理服务器2000将由识别数据选择器1320-3选择的数据应用于数据识别模型，并确定密集检查区域(或密集检查等级)。此外，识别结果提供器1320-4可以从管理服务器2000接收关于由管理服务器2000确定的情形的信息。
可替换地，处理管理装置1000的识别结果提供器1320-4可以从管理服务器2000接收由管理服务器2000生成的数据识别模型，以使用接收的数据识别模型来确定密集检查区域(或密集检查等级)。在这种情况下，处理管理装置1000的识别结果提供器1320-4可以将由识别数据选择器1320-3选择的数据应用于从管理服务器2000接收的数据识别模型，以确定密集检查区域(或密集检查等级)。
根据本公开实施例的方法可以实施为可由各种计算机装置运行的程序命令，并且可以记录在计算机可读记录介质上。计算机可读记录介质可以独立地或者组合地包括程序命令、数据文件、数据结构等等。要记录在计算机可读记录介质上的程序命令可以是为本公开的实施例专门设计和配置的，或者可以是计算机软件领域的普通技术人员所熟知和可使用的。计算机可读记录介质的示例包括诸如硬盘、软盘或磁带的磁性介质，诸如光盘只读存储器(CD-ROM)或数字多功能盘(DVD)的光学介质，诸如软盘的磁光介质，以及专门配置成存储和运行程序命令的硬件设备，诸如ROM、RAM或闪存。程序命令的示例是可以由计算机通过使用解释器等运行的高级语言代码，以及由编译器做出的机器语言代码。
一些实施例可以被实施为包括计算机可读指令的记录介质，诸如计算机可运行程序模块。计算机可读介质可以是计算机可访问的任意可用介质，其示例包括所有易失性和非易失性介质以及可分离和不可分离介质。此外，计算机可读介质的示例可以包括计算机存储介质和通信介质。计算机存储介质的示例包括所有易失性和非易失性介质以及可分离和不可分离介质，它们通过任意方法或技术实现，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息。通信介质通常包括计算机可读指令、数据结构、程序模块、调制数据信号的其他数据或其他传输机制，并且其示例包括任意信息传输介质。此外，一些实施例可以实现为计算机程序或包括计算机可运行指令的计算机程序产品，诸如由计算机运行的计算机程序。
应该理解，这里描述的实施例应该仅被认为是描述性的意义而不是为了限制的目的。对每个实施例内的特征或方面的描述应该一般地被认为是可用于其它实施例中的其它类似的特征或方面。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，可以做出形式和细节上的各种改变，而不脱离如所附权利要求及其等同物定义的本公开的精神和范围。

Claims (14)

1.一种由处理管理装置执行的使用人工智能(AI)模型管理视觉检查的方法，所述方法包括:
从第一处理装备获得与由第一处理装备执行的针对第一对象的第一制造处理相关的第一处理数据；
通过将第一处理数据输入到AI模型，识别在第一对象的整个区域中的具有针对第一制造过程的高缺陷发生概率的第一区域，通过使用关于制造产品的材料的信息、制造产品的处理信息、缺陷信息和根据周围环境的缺陷率信息作为训练数据，所述AI模型被预训练以推断对象内缺陷发生概率较高的区域的坐标值；
控制第一视觉检查器检查识别的第一区域；以及
确定在识别的第一区域中是否存在缺陷，
其中，第一处理数据包括关于用于执行第一制造处理的第一处理装备的信息、关于第一制造处理中的操作部分或内容的信息、第一制造处理在整个处理中的顺序的信息、关于第一制造过程中发生的缺陷率的信息以及第一制造处理中生成的关于振动、热、灰尘和水蒸气的信息中的一个或多个。
2.根据权利要求1所述的方法，还包括：
基于AI模型和第一处理数据，确定关于第一区域的检查等级。
3.根据权利要求2所述的方法，其中，控制第一视觉检查器包括：
控制第一视觉检查器以第一检查等级对第一对象的整个区域执行第一视觉检查；以及
控制第一视觉检查器以第二检查等级对第一对象的第一区域执行第二视觉检查，并且
其中，第二检查等级高于第一检查等级。
4.根据权利要求2所述的方法，其中，控制第一视觉检查器包括：
根据确定的检查等级，控制第一视觉检查器获得第一区域的二维(2D)图像和第一区域的三维(3D)图像中的至少一个。
5.根据权利要求2所述的方法，其中，控制第一视觉检查器包括：
根据确定的检查等级，控制第一视觉检查器获得第一区域的低分辨率图像或第一区域的高分辨率图像。
6.根据权利要求1所述的方法，还包括：
从第二处理装备获得与在第一制造处理之后由第二处理装备执行的针对第一对象的第二制造处理相关的第二处理数据；
通过将第一处理数据和第二处理数据输入AI模型，确定在第一对象的整个区域中的具有针对第二制造过程的高缺陷发生概率的第二区域；以及
控制第二视觉检查器检查确定的第二区域是否存在缺陷。
7.根据权利要求3所述的方法，还包括：
从第一视觉检查器获得关于第一对象的整个区域的第一视觉检查结果数据和关于第一对象的第一区域的第二视觉检查结果数据；以及
使用第一处理数据、第一视觉检查结果数据和第二视觉检查结果数据修改AI模型。
8.根据权利要求7所述的方法，还包括：
从第一处理装置获得与由第一处理装备执行的针对与第一对象具有相同类型的第二对象的第一制造处理相关的第三处理数据；
通过将第三处理数据输入到修改的AI模型来确定在第二对象的整个区域中的具有针对第一制造过程的高缺陷发生概率的第三区域；以及
控制第一视觉检查器检查确定的第三区域是否存在缺陷，
其中，第三区域不同于第一区域。
9.根据权利要求1所述的方法，其中，识别第一区域包括：
通过进一步使用关于用于执行第一制造处理的所述第一处理装备在其中操作的周围环境的信息和关于第一对象的材料的信息中的至少一个来识别第一区域。
10.根据权利要求3所述的方法，其中，执行第二视觉检查包括：
当在第一制造处理期间检测到关于第一对象的操作的异常信号时，控制第一视觉检查器以高于第二检查等级的第三检查等级对第一区域执行第二视觉检查。
11.一种处理管理装置，包括:
存储器，用于存储人工智能(AI)模型，通过使用关于制造产品的材料的信息、制造产品的处理信息、缺陷信息和根据周围环境的缺陷率信息作为训练数据，所述AI模型被预训练以推断对象内缺陷发生概率较高的区域的坐标值；
通信接口，被配置为从第一处理装备获得与由第一处理装备执行的针对第一对象的第一制造处理相关的第一处理数据；以及
至少一个处理器，被配置为:
通过将第一数据输入到AI模型来识别在第一对象的整个区域中的具有针对第一制造过程的高缺陷发生概率的第一区域，
控制第一视觉检查器检查识别的第一区域，以及
确定在识别的第一区域中是否存在缺陷，
其中，第一处理数据包括关于用于执行第一制造处理的第一处理装备的信息、关于第一制造处理中的操作部分或内容的信息、第一制造处理在整个处理中的顺序的信息、关于第一制造过程中发生的缺陷率的信息以及第一制造处理中生成的关于振动、热、灰尘和水蒸气的信息中的一个或多个。
12.根据权利要求11所述的处理管理装置，其中，所述至少一个处理器还被配置为基于AI模型和第一处理数据来确定关于第一区域的检查等级。
13.根据权利要求12所述的处理管理装置，其中，所述至少一个处理器还被配置为:
控制第一视觉检查器以第一检查等级对第一对象的整个区域执行第一视觉检查；以及
以第二检查等级对第一对象的第一区域执行第二视觉检查，
其中，第二检查等级高于第一检查等级。
14.一种计算机程序产品，包括其上记录有多个指令的计算机可读记录介质，所述多个指令指示至少一个处理器执行:
从第一处理装备获得与由第一处理装备执行的针对第一对象的第一制造处理相关的第一处理数据；
通过将第一处理数据输入到人工智能(AI)模型来识别在第一对象的整个区域中的具有针对第一制造过程的高缺陷发生概率的第一区域，通过使用关于制造产品的材料的信息、制造产品的处理信息、缺陷信息和根据周围环境的缺陷率信息作为训练数据，所述AI模型被预训练以推断对象内缺陷发生概率较高的区域的坐标值；
控制第一视觉检查器检查识别的第一区域；以及
确定在识别的第一区域中是否存在缺陷，
其中，第一处理数据包括关于用于执行第一制造处理的第一处理装备的信息、关于第一制造处理中的操作部分或内容的信息、第一制造处理在整个处理中的顺序的信息、关于第一制造过程中发生的缺陷率的信息以及第一制造处理中生成的关于振动、热、灰尘和水蒸气的信息中的一个或多个。
CN201980010857.2A 2018-01-31 2019-01-28 视觉检查管理方法和视觉检查系统 Active CN111670357B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180012343A KR102579904B1 (ko) 2018-01-31 2018-01-31 비전 검사 관리 방법 및 비전 검사 시스템
KR10-2018-0012343 2018-01-31
PCT/KR2019/001169 WO2019151735A1 (en) 2018-01-31 2019-01-28 Vision inspection management method and vision inspection system

Publications (2)

Publication Number Publication Date
CN111670357A CN111670357A (zh) 2020-09-15
CN111670357B true CN111670357B (zh) 2024-08-20

Family

ID=67392876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010857.2A Active CN111670357B (zh) 2018-01-31 2019-01-28 视觉检查管理方法和视觉检查系统

Country Status (5)

Country Link
US (1) US11216935B2 (zh)
EP (1) EP3669181A4 (zh)
KR (1) KR102579904B1 (zh)
CN (1) CN111670357B (zh)
WO (1) WO2019151735A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657444B2 (en) * 2017-03-09 2020-05-19 Thomas Danaher Harvey Devices and methods using machine learning to reduce resource usage in surveillance
WO2019232111A1 (en) * 2018-06-01 2019-12-05 Cryovac, Llc Image-data-based classification of vacuum seal packages
JP7036049B2 (ja) * 2019-01-18 2022-03-15 オムロン株式会社 モデル統合装置、モデル統合方法、モデル統合プログラム、推論システム、検査システム、及び制御システム
KR102108956B1 (ko) 2019-11-13 2020-05-12 주식회사 만컴퍼니 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR102228957B1 (ko) * 2019-12-30 2021-03-17 주식회사 고영테크놀러지 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
KR102579783B1 (ko) * 2020-09-28 2023-09-18 (주)미래융합정보기술 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템
CN114324343A (zh) * 2020-10-09 2022-04-12 泰连服务有限公司 具有视觉检查系统的零件制造机器
US12023722B2 (en) * 2020-10-23 2024-07-02 Ford Global Technologies, Llc Stamping line defect quality monitoring systems and methods of monitoring stamping line defects
US11475553B1 (en) 2021-04-08 2022-10-18 Ford Global Technologies, Llc Production-speed component inspection system and method
US11875502B2 (en) 2021-04-08 2024-01-16 Ford Global Technologies, Llc Production-speed component inspection system and method
US20230065811A1 (en) * 2021-08-10 2023-03-02 Johnson & Johnson Vision Care, Inc. Quality control for sealed lens packages
US12014480B2 (en) * 2021-10-19 2024-06-18 Johnson & Johnson Vision Care, Inc. Defect detection using synthetic data and machine learning
KR102527061B1 (ko) * 2021-11-15 2023-04-28 (주)미래융합정보기술 Mes와 연동된 스마트 공장 제조 지능 서비스 시스템
KR102545144B1 (ko) * 2023-01-13 2023-06-21 주식회사 아이브 딥러닝 알고리즘에 기반한 불량품 검사 솔루션 제공 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6886153B1 (en) * 2001-12-21 2005-04-26 Kla-Tencor Corporation Design driven inspection or measurement for semiconductor using recipe
JP2014109530A (ja) * 2012-12-04 2014-06-12 Yasunaga Corp 欠陥検査装置及び欠陥検査方法
WO2018006180A1 (en) * 2016-07-08 2018-01-11 Ats Automation Tooling Systems Inc. System and method for combined automatic and manual inspection

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000058836A (ko) * 2000-07-01 2000-10-05 이호재 전자부품의 외형 검사방법
JP2004191112A (ja) 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
JP2004354250A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
US7333650B2 (en) * 2003-05-29 2008-02-19 Nidek Co., Ltd. Defect inspection apparatus
JP5865707B2 (ja) * 2012-01-06 2016-02-17 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
US9219886B2 (en) * 2012-12-17 2015-12-22 Emerson Electric Co. Method and apparatus for analyzing image data generated during underground boring or inspection activities
US10156548B2 (en) 2013-07-31 2018-12-18 Olympus Scientific Solutions Americas Inc. System and method of non-destructive inspection with a visual scanning guide
CN104463825B (zh) * 2013-09-16 2019-06-18 北京三星通信技术研究有限公司 用于在三维体积图像中检测对象的设备和方法
CN106463434B (zh) * 2014-06-10 2020-12-22 Asml荷兰有限公司 计算晶片检验
US10712289B2 (en) 2014-07-29 2020-07-14 Kla-Tencor Corp. Inspection for multiple process steps in a single inspection process
KR101791963B1 (ko) 2015-07-13 2017-11-01 한국기술교육대학교 산학협력단 비전검사장치 및 비전검사장치의 동작 방법과, 그 장치가 적용되는 비전검사 중앙제어 시스템
KR20170062574A (ko) 2015-11-27 2017-06-08 한국기술교육대학교 산학협력단 포장 합지 혼입 방지 비전 검사 시스템
US10682729B2 (en) 2015-12-01 2020-06-16 General Electric Company System for automated in-process inspection of welds
KR101743477B1 (ko) 2015-12-29 2017-06-07 (주)진성이엔지 디스플레이 글라스 비전 검사장치
JP6707920B2 (ja) * 2016-03-14 2020-06-10 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
WO2017200524A1 (en) 2016-05-16 2017-11-23 United Technologies Corporation Deep convolutional neural networks for crack detection from image data
KR101697119B1 (ko) 2016-07-07 2017-01-18 에스에스오트론 주식회사 반도체소자의 비전검사장치
CN106290378B (zh) * 2016-08-23 2019-03-19 东方晶源微电子科技（北京）有限公司 缺陷分类方法和缺陷检查系统
CN112435215B (zh) * 2017-04-11 2024-02-13 创新先进技术有限公司 一种基于图像的车辆定损方法、移动终端、服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6886153B1 (en) * 2001-12-21 2005-04-26 Kla-Tencor Corporation Design driven inspection or measurement for semiconductor using recipe
JP2014109530A (ja) * 2012-12-04 2014-06-12 Yasunaga Corp 欠陥検査装置及び欠陥検査方法
WO2018006180A1 (en) * 2016-07-08 2018-01-11 Ats Automation Tooling Systems Inc. System and method for combined automatic and manual inspection

Also Published As

Publication number Publication date
CN111670357A (zh) 2020-09-15
EP3669181A1 (en) 2020-06-24
WO2019151735A1 (en) 2019-08-08
KR102579904B1 (ko) 2023-09-19
US11216935B2 (en) 2022-01-04
US20190236772A1 (en) 2019-08-01
EP3669181A4 (en) 2020-09-09
KR20190092975A (ko) 2019-08-08

Similar Documents

Publication Publication Date Title
CN111670357B (zh) 视觉检查管理方法和视觉检查系统
US11670068B2 (en) Apparatus and method for processing image
US11457788B2 (en) Method and apparatus for executing cleaning operation
US11436744B2 (en) Method for estimating lane information, and electronic device
KR20200085142A (ko) 청소 공간의 지도 데이터를 생성하는 장치 및 방법
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
US11592825B2 (en) Electronic device and operation method therefor
JP7059883B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
KR20180125885A (ko) 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
CN111465960A (zh) 图像获取装置及控制图像获取装置的方法
KR20200087297A (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN112135553B (zh) 用于执行清洁操作的方法和设备
CN110063053B (zh) 用于处理图像的装置和方法
US11769047B2 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
US20210008723A1 (en) Mobile robot device and method for providing service to user
KR102464130B1 (ko) 대상 객체의 크기를 식별하는 방법 및 장치
KR20190096752A (ko) 컨텐츠에 대한 텍스트 코멘트를 생성하는 방법 및 전자 장치
US20220339969A1 (en) System and method for automatic treadwear classification
CN118451449A (zh) 使用机器学习的喷漆缺陷检测的系统和方法
KR20230120600A (ko) 오브젝트를 검출하는 전자 장치 및 이의 제어 방법
KR20230120116A (ko) 오브젝트를 검출하는 전자 장치 및 이의 제어 방법
KR102320814B1 (ko) 실러의 도포 상태를 식별하는 방법 및 이를 수행하는 전자 장치
KR102723094B1 (ko) 제품 검사장치
US20230316470A1 (en) Method for correcting image by device and device therefor
KR20230138314A (ko) 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant