KR102524151B1 - Labeling learning method of artificial intelligence machine for smart products inspection - Google Patents

Labeling learning method of artificial intelligence machine for smart products inspection Download PDF

Info

Publication number
KR102524151B1
KR102524151B1 KR1020200174771A KR20200174771A KR102524151B1 KR 102524151 B1 KR102524151 B1 KR 102524151B1 KR 1020200174771 A KR1020200174771 A KR 1020200174771A KR 20200174771 A KR20200174771 A KR 20200174771A KR 102524151 B1 KR102524151 B1 KR 102524151B1
Authority
KR
South Korea
Prior art keywords
labeling
data
artificial intelligence
intelligence machine
image data
Prior art date
Application number
KR1020200174771A
Other languages
Korean (ko)
Other versions
KR20220085115A (en
Inventor
오상욱
김종만
윤상훈
Original Assignee
주식회사 아이디알인비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이디알인비전 filed Critical 주식회사 아이디알인비전
Priority to KR1020200174771A priority Critical patent/KR102524151B1/en
Publication of KR20220085115A publication Critical patent/KR20220085115A/en
Application granted granted Critical
Publication of KR102524151B1 publication Critical patent/KR102524151B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8803Visual inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52Combining or merging partially overlapping images to an overall image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법이 개시된다. 본 발명의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법은, 스마트 비전검사 시스템을 이용한 인공지능머신의 라벨링 학습방법으로서, (a) 인공지능머신이 이미지데이터를 수신하는 단계; (b) 인공지능머신이 부품의 불량영역을 표시하는 제1 라벨링데이터를 생성하여 이미지데이터에 연동하여 저장하고, 제1 라벨링장치에 제1 라벨링데이터를 송신하는 단계; (c) 제1 라벨링장치에 제1 승인정보가 입력되면, 제1 라벨링장치가 인공지능머신에 제1 라벨링데이터를 업로드하는 단계; (d) 인공지능머신이 불량영역을 표시하는 제2 라벨링데이터를 생성하여 이미지데이터에 연동하여 저장하고, 제2 라벨링장치에 제2 라벨링데이터를 송신하는 단계; (e) 제2 라벨링장치에 제2 승인정보가 입력되면, 제2 라벨링장치가 인공지능머신에 제2 라벨링데이터를 업로드하는 단계; 및 (f) 인공지능머신이 이미지데이터에 연동되어 저장된 제1 라벨링데이터 및 제2 라벨링데이터를 학습하는 단계를 포함하는 것을 특징으로 한다. A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts is disclosed. The labeling learning method of an artificial intelligence machine for smart vision inspection of production parts of the present invention is a labeling learning method of an artificial intelligence machine using a smart vision inspection system, comprising: (a) the artificial intelligence machine receiving image data; (b) generating, by an artificial intelligence machine, first labeling data indicating a defective area of a part, storing the first labeling data in conjunction with image data, and transmitting the first labeling data to a first labeling device; (C) when the first approval information is input to the first labeling device, the step of the first labeling device uploading the first labeling data to the artificial intelligence machine; (d) generating, by an artificial intelligence machine, second labeling data indicating a defective area, storing the second labeling data in conjunction with image data, and transmitting the second labeling data to a second labeling device; (E) when the second approval information is input to the second labeling device, the step of the second labeling device uploading the second labeling data to the artificial intelligence machine; and (f) learning, by the artificial intelligence machine, the first labeling data and the second labeling data stored in association with the image data.

Description

생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법{LABELING LEARNING METHOD OF ARTIFICIAL INTELLIGENCE MACHINE FOR SMART PRODUCTS INSPECTION}Labeling learning method of artificial intelligence machine for smart vision inspection of production parts {LABELING LEARNING METHOD OF ARTIFICIAL INTELLIGENCE MACHINE FOR SMART PRODUCTS INSPECTION}

본 발명은 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법에 관한 것으로, 보다 상세하게는, 인공지능머신이 생산부품의 물리적 결함을 자동으로 인식하도록 이루어지는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법에 관한 것이다.The present invention relates to a labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, and more particularly, to a smart vision inspection of production parts in which an artificial intelligence machine automatically recognizes physical defects of production parts. It is about a labeling learning method for artificial intelligence machines.

머신 비전(machine vision) 기반 자동화 시장 및 인공지능 활용 비전 시스템 시장은 급증하고 있다. 전 세계 머신 비전 시장은 2016년 90억 2000만 달러에서 연평균 8.15%씩 성장해 2022년에는 약 144억 3000만 달러에 이를 것으로 전망된다. The machine vision-based automation market and the artificial intelligence-based vision system market are rapidly increasing. The global machine vision market is expected to grow at an average annual rate of 8.15% from $9.02 billion in 2016 to reach about $14.43 billion in 2022.

인공지능 및 비전 기반 품질 검사 시스템은 산업용 자동화 시스템에서 핵심 요소이다. 이는 제조과정에서의 물리적 형상 및 결함, 표면 마무리, 색상 등의 상태를 육안으로 검사하는 대신 카메라, 조명, 비전 소프트웨어 등으로 이루어진 머신 비전 시스템으로 검사를 진행함으로써 제품 평가 및 결함 발견, 제조 생산성 향상, 데이터 수집 등의 활동에서 탁월한 성능을 제공하기 때문이다. Artificial intelligence and vision-based quality inspection systems are key elements in industrial automation systems. Instead of inspecting the state of physical shape and defects, surface finish, color, etc. during the manufacturing process with the naked eye, inspection is conducted with a machine vision system consisting of cameras, lighting, and vision software to evaluate products and find defects, improve manufacturing productivity, This is because it provides excellent performance in activities such as data collection.

특히 파워 트레인, 브레이크, 조향장치 등 자동차 안전과 소비자의 요구 수준이 높은 고가의 전자제품 금형과 관련된 부품인 경우, 엄격한 품질 전수 검사가 필요하며 이를 위한 비전 품질 검사는 필수적인 요소이다. In particular, in the case of parts related to molds for expensive electronic products, such as power trains, brakes, and steering systems, where automobile safety and consumer demands are high, strict quality inspections are required, and vision quality inspections are essential for this.

AI 비전 검출 기술은 AI 모델을 학습하기 위한 AI 학습용 라벨링데이터가 필수적이다. AI 모델은 학습용 데이터를 통해 AI 모델을 학습하게 된다. 이때 학습용 데이터는 AI가 추후 검출하고자 하는 객체에 대해 영상 내에서 어는 위치에 위치하는지와 어떤 객체인지를 구분하기 위한 데이터를 제공한다. AI vision detection technology requires labeling data for AI learning to learn AI models. The AI model learns the AI model through training data. At this time, the learning data provides data for distinguishing where the AI is located in the image for the object to be detected later and what kind of object it is.

AI 모델 학습(training) 과정은 학습용 라벨링데이터를 무수히 많은 반복 입력 및 검증(validation) 과정을 통해 AI 모델의 각 노드(node) 별 가중치 값을 객체 검출(evaluation)할 수 있는 최적화되도록 결정하게 된다. The AI model training process determines the weight value for each node of the AI model to be optimized for object detection (evaluation) through a myriad of iterative input and validation processes of labeling data for training.

도 7에 도시된 바와 같이, AI 학습용 라벨링데이터를 수집하기 위한 라벨링 작업은 대표적으로 세 가지 방식으로 구분할 수 있다. As shown in FIG. 7, the labeling task for collecting labeling data for AI learning can be typically classified into three types.

도 7(a)에 도시된 바와 같이, 바운딩 박스(bounding box)는 사진이나 동영상 속 객체의 영역을 박스(box)로 표시하는 방식이다. 이때 라벨링 되는 데이터는 바운딩 박스의 사각형 좌표 데이터 (x, y, width, height)와 객체의 종류에 대한 데이터로 구성된다. 다른 방식보다 빠른 처리가 가능하며, 다양한 분야에 일반적으로 사용되는 라벨링 방식이다. As shown in FIG. 7(a), the bounding box is a method of displaying an area of an object in a photo or video as a box. At this time, the labeling data consists of the bounding box's rectangular coordinate data (x, y, width, height) and data about the type of object. It can be processed faster than other methods and is a labeling method commonly used in various fields.

도 7(b)에 도시된 바와 같이, 영상 의미(image classification) 방식은 사람이 영상을 보았을 때 느낄 수 있는 영상의 의미를 분류하는 방식이다. 라벨링데이터는 검출하고자 하는 영상의 의미에 대한 분류 데이터로 구성된다. 예를 들어 검출하고자 하는 영상의 분류 타입이 농구와 축구인 경우, 농구의 한 장면에 해당하는 영상에 대해서는 농구라는 분류 데이터를 지정하게 된다. As shown in FIG. 7( b ), the image classification method is a method of classifying the meaning of an image that a person can feel when viewing an image. Labeling data is composed of classification data about the meaning of an image to be detected. For example, if the classification types of images to be detected are basketball and soccer, classification data of basketball is designated for an image corresponding to a basketball scene.

도 7(c)에 도시된 바와 같이, 객체 영역 분할 방식은 영상 내에서 화소 단위로 객체의 영역을 지정하기 위한 방식으로 객체에 해당하는 영역 화소에 대한 마스크 데이터와 해당 객체의 종류 데이터로 구성된다. As shown in FIG. 7(c), the object area segmentation method is a method for specifying the area of an object in an image in units of pixels, and is composed of mask data for area pixels corresponding to an object and type data of the corresponding object. .

객체 마스크 데이터는 대상 영상과 동일 크기이며, 각 화소 위치별로 0과 1로 구성되며, 마스크 값이 1인 경우 해당 화소는 객체 영역에 포함되며, 0인 경우 배경 영역에 포함되는 것을 뜻한다. 정확한 객체의 영역을 파악할 수 있어 다른 방식보다 정밀도 높은 AI 검출이 필요한 경우 주로 사용된다. The object mask data has the same size as the target image and is composed of 0 and 1 for each pixel position. If the mask value is 1, the corresponding pixel is included in the object area, and if the mask value is 0, it means included in the background area. It is mainly used when AI detection with higher precision than other methods is required because it can accurately identify the area of an object.

종래 방식에서는 AI 학습용 데이터 라벨링 작업은 많은 사람을 투입하여 적은 비용으로 많은 라벨링데이터를 확보하는 데 중점을 두고 있다. In the conventional method, the task of labeling data for AI learning is focused on securing a lot of labeling data at low cost by putting in many people.

특히 최근에 많이 활용되는 크라우드 소싱(crowd sourcing) AI 학습용 데이터 라벨링 플랫폼은 저임금의 지역 또는 나라의 많은 사람의 일반 비전문가 라벨러(labeler)를 통해 학습용 데이터에 대한 1차 라벨링을 수행하고, 라벨링 준전문가의 1차 라벨링데이터 검수를 통해 2차 고품질의 라벨링데이터를 확보하는 방식이다. In particular, the crowd-sourcing AI learning data labeling platform, which is widely used recently, performs primary labeling on training data through general non-expert labelers of many people in low-wage regions or countries, and labeling semi-experts It is a method of securing secondary high-quality labeling data through primary labeling data inspection.

크라우드 소싱 AI 학습용 데이터 라벨링은 많은 비전문가 사람들이 라벨링 작업을 수행하기 때문에 일반적인 사람의 상식적인 지식에 의해 라벨링이 가능한 경우에만 해당되며, 라벨링 대상에 대한 전문적인 지식이 필요한 경우 이와 같은 방식을 적용하기 어렵다. Crowd-sourced data labeling for AI learning is only applicable when labeling is possible by common sense knowledge of common people because many non-experts perform the labeling task, and it is difficult to apply this method if specialized knowledge about the labeling target is required. .

그러나 제조 부품의 불량 검출용 비전 품질 검사를 수행하기 위해 필요한 AI 학습용 라벨링데이터는 실제 해당 부품이 생산되는 제조 공장의 품질 담당자 등 매우 제한적인 사람들만 판단할 수 있으며, 이와 같은 품질 전문가들을 해당 제조 공장 외에서 구하기 어려운 관계로 기존 AI 학습용 데이터 라벨링 방식을 그대로 적용하기는 어렵다. However, the AI learning labeling data required to perform vision quality inspection for defect detection of manufactured parts can only be judged by very limited people, such as quality personnel at the manufacturing plant where the corresponding part is actually produced, and such quality experts can be judged at the manufacturing plant. It is difficult to apply the existing data labeling method for AI learning as it is difficult to obtain from outside.

제조 부품은 동일한 부품일지라도 모양이나 재질 및 공정에 따라 발생하는 불량 타입(type) 특성이 다르기 때문에 부품에 대한 일률적인 불량 데이터 라벨링을 수행할 수 없으며 각 제조 공정마다 불량 데이터에 대한 라벨링 작업을 따로 수행해야 한다. Since manufacturing parts have different defect type characteristics depending on the shape, material, and process even if they are the same part, uniform defect data labeling for parts cannot be performed, and defect data labeling is performed separately for each manufacturing process. Should be.

따라서 기존 AI 학습용 데이터 라벨링 작업은 각 제조 부품을 생산하는 공장 또는 기업에서 불량이 발생한 부품을 따로 촬영하여 수집하고, 수집된 데이터를 제조 공정의 현장 품질 담당자가 생산 일정 시간 외 추가 시간에 각 촬영 영상에서 불량 데이터의 라벨링 작업을 수행하도록 한다. Therefore, the existing data labeling work for AI learning is to separately photograph and collect defective parts in factories or companies that produce each manufactured part, and the on-site quality manager in the manufacturing process sends each filmed video at an additional time outside of the production schedule. Let labeling of bad data be performed in

이 방식은 현장 품질 담당자의 추가 작업에 대한 비용이 필요하며, 현장 품질 담당자가 생산 공정 외 추가로 작업을 직접 진행하기 때문에 AI 학습용 데이터 라벨링 작업 시간이 오래 걸리는 문제가 있다. 이는 비전 품질 검사 시스템을 도입하고자 하는 기업 또는 공장에 부담으로 작용하며 실제 비전 품질 검사 시스템을 도입하는데 주저하는 요인이 되고 있다. This method requires costs for additional work by field quality personnel, and since field quality personnel directly perform additional work outside of the production process, there is a problem that labeling data for AI learning takes a long time. This acts as a burden on companies or factories that want to introduce a vision quality inspection system, and becomes a factor that hesitates to introduce an actual vision quality inspection system.

본 발명의 목적은, 라벨링 작업에 전문적인 지식이 요구되는 생산 부품이더라도 AI 학습용 라벨링 데이터를 신속하게 구축할 수 있도록 이루어지는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법을 제공하는 것이다.An object of the present invention is to provide a labeling learning method of an artificial intelligence machine for smart vision inspection of production parts made to quickly build labeling data for AI learning even for production parts requiring specialized knowledge for labeling work.

상기 목적은, 본 발명에 따라, 스마트 비전검사 시스템을 이용한 인공지능머신의 라벨링 학습방법으로서, 상기 스마트 비전검사 시스템은, 생산라인에서 부품의 이미지데이터를 생성하는 카메라; 상기 이미지데이터를 수신하는 제1 라벨링장치; 상기 제1 라벨링장치와 데이터를 송수신하는 인공지능머신; 및 상기 인공지능머신과 데이터를 송수신하는 제2 라벨링장치를 포함하고, (a) 상기 인공지능머신이 상기 이미지데이터를 수신하는 단계; (b) 상기 인공지능머신이 상기 부품의 불량영역을 표시하는 제1 라벨링데이터를 생성하여 상기 이미지데이터에 연동하여 저장하고, 상기 제1 라벨링장치에 상기 이미지데이터를 송신하는 단계; (c) 상기 제1 라벨링장치에 제1 승인정보가 입력되면, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 라벨링데이터를 업로드하는 단계; (d) 상기 인공지능머신이 상기 불량영역을 표시하는 제2 라벨링데이터를 생성하여 상기 이미지데이터에 연동하여 저장하고, 상기 제2 라벨링장치에 상기 제2 라벨링데이터를 송신하는 단계; (e) 상기 제2 라벨링장치에 제2 승인정보가 입력되면, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 라벨링데이터를 업로드하는 단계; 및 (f) 상기 인공지능머신이 상기 이미지데이터에 연동되어 저장된 상기 제1 라벨링데이터 및 상기 제2 라벨링데이터를 학습하는 단계를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법에 의하여 달성된다.The above object is, according to the present invention, a labeling learning method for an artificial intelligence machine using a smart vision inspection system, the smart vision inspection system comprising: a camera for generating image data of parts in a production line; a first labeling device receiving the image data; An artificial intelligence machine for transmitting and receiving data with the first labeling device; and a second labeling device for transmitting and receiving data to and from the artificial intelligence machine, (a) receiving the image data by the artificial intelligence machine; (b) generating, by the artificial intelligence machine, first labeling data indicating a defective area of the part, storing the first labeling data in conjunction with the image data, and transmitting the image data to the first labeling device; (c) uploading, by the first labeling device, the first labeling data to the artificial intelligence machine when first approval information is input to the first labeling device; (d) generating, by the artificial intelligence machine, second labeling data indicating the defective area, storing the second labeling data in association with the image data, and transmitting the second labeling data to the second labeling device; (e) uploading, by the second labeling device, the second labeling data to the artificial intelligence machine when second approval information is input to the second labeling device; And (f) the artificial intelligence machine for learning the first labeling data and the second labeling data stored in association with the image data. It is achieved by the labeling learning method.

상기 제1 라벨링데이터는, 상기 불량영역을 지정하는 심볼; 상기 부품의 종류를 지정하는 부품분류데이터; 및 상기 불량영역의 종류를 지정하는 불량분류데이터를 포함하여 이루어질 수 있다.The first labeling data may include a symbol designating the defective area; parts classification data designating the type of the parts; and defect classification data designating the type of the defect area.

상기 제2 라벨링데이터는, 상기 좌표 데이터 안쪽의 상기 불량영역을 화소 단위로 지정하는 마스크데이터를 포함하여 이루어질 수 있다.The second labeling data may include mask data designating the defective area inside the coordinate data in units of pixels.

상기 (c)단계에서, 상기 제1 라벨링장치에 상기 제1 승인정보 대신 제1 수정라벨링데이터가 입력되면, 상기 제1 라벨링데이터가 상기 제1 수정라벨링데이터로 치환된 후, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 수정라벨링데이터를 업로드하도록 이루어질 수 있다.In the step (c), when first corrected labeling data is input instead of the first approval information to the first labeling device, the first labeling data is replaced with the first corrected labeling data, and then the first labeling device may be made to upload the first modified labeling data to the artificial intelligence machine.

상기 (e)단계에서, 상기 제2 라벨링장치에 상기 제2 승인정보 대신 제2 수정라벨링데이터가 입력되면, 상기 제2 라벨링데이터가 상기 제2 수정라벨링데이터로 치환된 후, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 수정라벨링데이터를 업로드하도록 이루어질 수 있다.In the step (e), when second corrected labeling data is input to the second labeling device instead of the second approval information, the second labeling data is replaced with the second corrected labeling data, and then the second labeling device may be made to upload the second modified labeling data to the artificial intelligence machine.

상기 제1 수정라벨링데이터는, 상기 불량영역을 지정하는 심볼; 상기 부품의 종류를 지정하는 부품분류데이터; 및 상기 불량영역의 종류를 지정하는 불량분류데이터를 포함하여 이루어질 수 있다.The first corrected labeling data may include a symbol designating the defective area; parts classification data designating the type of the parts; and defect classification data designating the type of the defect area.

상기 제2 수정라벨링데이터는, 상기 불량영역을 화소 단위로 지정하는 마스크데이터를 포함하여 이루어질 수 있다.The second corrected labeling data may include mask data designating the defective area in units of pixels.

상기 (b)단계에서 상기 인공지능머신이 상기 제1 라벨링데이터를 생성하지 않으면, 상기 제1 라벨링장치에서 제1 수정라벨링데이터가 상기 이미지데이터에 연동되어 저장된 후, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 수정라벨링데이터를 업로드하고, 상기 (d)단계가 개시되도록 이루어질 수 있다.If the artificial intelligence machine does not generate the first labeling data in the step (b), after the first corrected labeling data is stored in association with the image data in the first labeling device, the first labeling device performs the artificial intelligence The first corrected labeling data may be uploaded to an intelligent machine, and the step (d) may be initiated.

상기 (d)단계에서 상기 인공지능머신이 상기 제2 라벨링데이터를 생성하지 않으면, 상기 제2 라벨링장치에서 제2 수정라벨링데이터가 상기 이미지데이터에 연동되어 저장된 후, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 수정라벨링데이터를 업로드하고, 상기 (f)단계가 개시되도록 이루어질 수 있다.If the artificial intelligence machine does not generate the second labeling data in step (d), after the second corrected labeling data is stored in association with the image data in the second labeling device, the second labeling device performs the artificial intelligence The second corrected labeling data may be uploaded to an intelligent machine, and the step (f) may be initiated.

본 발명에 의하면, 인공지능머신에 제1 라벨링데이터 또는 제1 수정라벨링데이터가 저장된 이미지데이터를 업로드한 다음, 제2 라벨링데이터 또는 제2 수정라벨링데이터가 저장된 이미지데이터를 업로드함으로써, 라벨링 작업에 전문적인 지식이 요구되는 생산 부품이더라도 AI 학습용 라벨링 데이터를 신속하게 구축할 수 있도록 이루어지는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법을 제공할 수 있게 된다.According to the present invention, by uploading image data in which the first labeling data or the first corrected labeling data is stored and then uploading the image data in which the second labeling data or the second corrected labeling data is stored to the artificial intelligence machine, a specialized labeling operation is performed. Even for production parts that require specific knowledge, it is possible to provide an artificial intelligence machine labeling learning method for smart vision inspection of production parts that can quickly build labeling data for AI learning.

도 1은 본 발명의 일 실시예에 따른 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법의 순서도이다.
도 2는 도 1의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법에 사용되는 스마트 비전검사 시스템을 나타내는 개략도이다.
도 3은 도 1의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법의 (b)단계를 자세하게 나타내는 순서도이다.
도 4는 도 1의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법의 (d)단계를 자세하게 나타내는 순서도이다.
도 5(a)는 도 2의 불량처리된 부품의 이미지데이터를 나타내는 도면이다.
도 5(b)는 도 2의 제1 라벨링장치(12)의 화면에 출력된 이미지데이터를 나타내는 도면이다.
도 5(c)는 도 2의 제2 라벨링장치(13)의 화면에 출력된 이미지데이터를 나타내는 도면이다.
도 6은 다양한 이미지데이터를 나타내는 도면이다.
1 is a flowchart of a labeling learning method of an artificial intelligence machine for smart vision inspection of production parts according to an embodiment of the present invention.
Figure 2 is a schematic diagram showing a smart vision inspection system used in the labeling learning method of the artificial intelligence machine for smart vision inspection of production parts of FIG.
Figure 3 is a flow chart showing in detail the step (b) of the labeling learning method of the artificial intelligence machine for smart vision inspection of the production part of FIG.
Figure 4 is a flow chart showing in detail the step (d) of the labeling learning method of the artificial intelligence machine for smart vision inspection of the production part of FIG.
FIG. 5(a) is a diagram showing image data of a defectively processed part of FIG. 2 .
FIG. 5( b ) is a diagram showing image data output on the screen of the first labeling device 12 of FIG. 2 .
FIG. 5(c) is a diagram showing image data output on the screen of the second labeling device 13 of FIG. 2 .
6 is a diagram showing various image data.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하면 다음과 같다. 다만, 본 발명을 설명함에 있어서, 이미 공지된 기능 혹은 구성에 대한 설명은, 본 발명의 요지를 명료하게 하기 위하여 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the present invention, descriptions of already known functions or configurations will be omitted to clarify the gist of the present invention.

본 발명의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법은, 라벨링 작업에 전문적인 지식이 요구되는 생산 부품이더라도 AI 학습용 라벨링 데이터를 신속하게 구축할 수 있도록 이루어진다.The labeling learning method of an artificial intelligence machine for smart vision inspection of production parts of the present invention is made to quickly build labeling data for AI learning even for production parts that require specialized knowledge for labeling work.

도 1은 본 발명의 일 실시예에 따른 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)의 순서도이다. 1 is a flowchart of a labeling learning method (S100) of an artificial intelligence machine 14 for smart vision inspection of a production part 1 according to an embodiment of the present invention.

도 2는 도 1의 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)에 사용되는 스마트 비전검사 시스템(10)을 나타내는 개략도이다. 2 is a schematic diagram showing the smart vision inspection system 10 used in the labeling learning method (S100) of the artificial intelligence machine 14 for smart vision inspection of the production part 1 of FIG.

도 3은 도 1의 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)의 (b)단계(S120)를 자세하게 나타내는 순서도이다. 3 is a flowchart showing in detail step (b) (S120) of the labeling learning method (S100) of the artificial intelligence machine 14 for smart vision inspection of the production part 1 of FIG. 1.

도 4는 도 1의 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)의 (d)단계(S140)를 자세하게 나타내는 순서도이다. 4 is a flowchart showing in detail step (S140) of the labeling learning method (S100) of the artificial intelligence machine 14 for smart vision inspection of the production part 1 of FIG. 1.

도 5(a)는 도 2의 불량처리된 부품(1)의 이미지데이터(1A)를 나타내는 도면이다. 도 5(b)는 도 2의 제1 라벨링장치(12)의 화면에 출력된 이미지데이터(1A)를 나타내는 도면이다. 도 5(c)는 도 2의 제2 라벨링장치(13)의 화면에 출력된 이미지데이터(1A)를 나타내는 도면이다. Figure 5 (a) is a diagram showing the image data (1A) of the defective part (1) of FIG. FIG. 5( b ) is a diagram showing image data 1A output on the screen of the first labeling device 12 of FIG. 2 . FIG. 5(c) is a diagram showing image data 1A output on the screen of the second labeling device 13 of FIG. 2 .

도 6은 다양한 이미지데이터(1A)를 나타내는 도면이다. 6 is a diagram showing various image data 1A.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)은 (a)단계(S110), (b)단계(S120), (c)단계(S130), (d)단계(S140), (e)단계(S150) 및 (f)단계(S160)를 포함한다. As shown in FIG. 1, the labeling learning method (S100) of the artificial intelligence machine 14 for smart vision inspection of the production part 1 according to an embodiment of the present invention is (a) steps (S110), ( b) step S120, (c) step S130, (d) step S140, (e) step S150 and (f) step S160.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)은 스마트 비전검사 시스템(10)을 이용한다. As shown in FIG. 2, the labeling learning method (S100) of the artificial intelligence machine 14 for smart vision inspection of the production part 1 according to an embodiment of the present invention uses the smart vision inspection system 10. .

스마트 비전검사 시스템(10)은 카메라(11), 제1 라벨링장치(12), 인공지능머신(14) 및 제2 라벨링장치(13)를 포함하여 구성된다. The smart vision inspection system 10 includes a camera 11, a first labeling device 12, an artificial intelligence machine 14, and a second labeling device 13.

카메라(11)는 생산라인에서 부품(1)의 이미지데이터(1A)를 생성한다. 카메라(11)는 생산라인의 일측에 설치된다. 카메라(11)는 하나 이상 구비될 수 있다. 카메라(11)는 자동 또는 수동 작동하여 부품(1)의 이미지데이터(1A)를 생성할 수 있다. The camera 11 generates image data 1A of the part 1 in the production line. The camera 11 is installed on one side of the production line. One or more cameras 11 may be provided. The camera 11 can generate image data 1A of the part 1 by automatic or manual operation.

제1 라벨링장치(12)는 생산라인에 구비된 태블릿 또는 개인용 컴퓨터일 수 있다. 제1 라벨링장치(12)는 카메라(11)로부터 이미지데이터(1A)를 수신한다. 제1 라벨링장치(12)와 카메라(11)는 유선 또는 무선으로 통신할 수 있다. The first labeling device 12 may be a tablet or personal computer provided in the production line. The first labeling device 12 receives image data 1A from the camera 11 . The first labeling device 12 and the camera 11 may communicate by wire or wirelessly.

제1 라벨링장치(12)는 카메라(11)로부터 수신된 이미지데이터(1A)를 화면에 출력할 수 있다. 제1 라벨링장치(12)에 이미지데이터(1A)에서 부품(1)의 종류, 불량영역(1B)의 종류 및 위치 지정을 할 수 있는 응용 프로그램이 설치될 수 있다. The first labeling device 12 may output the image data 1A received from the camera 11 to the screen. In the first labeling device 12, an application program capable of specifying the type and location of the part 1 in the image data 1A and the type and location of the defective area 1B may be installed.

전문작업자(P1)는 제1 라벨링장치(12)를 조작한다. 전문작업자(P1)는 부품(1)의 이미지데이터(1A)를 보고 부품(1) 및 불량영역의 종류를 판단할 수 있는 전문인력일 수 있다. The professional worker P1 operates the first labeling device 12 . The professional worker P1 may be a professional person capable of determining the type of the part 1 and the defective area by looking at the image data 1A of the part 1.

제2 라벨링장치(13)는 생산라인과 원거리에 구비된 태블릿 또는 개인용 컴퓨터일 수 있다. 제2 라벨링장치(13)는 인공지능머신(14)과 데이터를 송수신한다. 제2 라벨링장치(13)와 인공지능머신(14)은 유선 또는 무선으로 통신할 수 있다. The second labeling device 13 may be a tablet or personal computer provided remotely from the production line. The second labeling device 13 transmits and receives data with the artificial intelligence machine 14 . The second labeling device 13 and the artificial intelligence machine 14 may communicate by wire or wirelessly.

제2 라벨링장치(13)는 인공지능머신(14)이 송신한 데이터를 화면에 출력할 수 있다. 제2 라벨링장치(13)에 이미지데이터(1A)에서 불량영역(1B)에 대해 화소 단위로 영역분할을 할 수 있는 응용 프로그램이 설치될 수 있다. The second labeling device 13 may output the data transmitted by the artificial intelligence machine 14 to the screen. In the second labeling device 13, an application capable of performing area division in pixel units for the defective area 1B in the image data 1A may be installed.

외부작업자(P2)는 제2 라벨링장치(13)를 조작한다. 외부작업자(P2)는 부품(1)의 이미지데이터(1A)를 보고 부품(1) 및 불량영역(1B)의 종류를 판단할 수 없는 비전문인력이어도 무방하다. The external worker (P2) operates the second labeling device (13). The external worker P2 may be a non-professional person who cannot determine the type of the part 1 and the defective area 1B by looking at the image data 1A of the part 1.

인공지능머신(14)은 이미지데이터(1A)의 인식 및 학습, 부품(1) 및 불량영역(1B)의 종류 판단 및 학습에 대하여 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있다. The artificial intelligence machine 14 can perform machine learning such as deep learning for recognizing and learning image data 1A, determining and learning types of parts 1 and defective areas 1B. can

머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다. 딥러닝 기술은 널리 공지된 기술이므로 이의 자세한 설명은 생략하고자 한다. Deep learning technology, a type of machine learning, can learn by going down to a multi-level deep level based on data. Deep learning can represent a set of machine learning algorithms that extract core data from a plurality of data as the level increases. Since deep learning technology is a widely known technology, a detailed description thereof will be omitted.

인공지능머신(14)은 자동으로 이미지데이터(1A)의 불량영역(1B)을 검출(localization)하기 위한 불량 위치 검출용 인공지능 모델, 검출된 불량영역(1B)을 화소 단위로 분할(segmentation) 및 지정하기 위한 불량 영역 분할용 인공지능 모델을 포함할 수 있다. The artificial intelligence machine 14 automatically detects (localizes) the defective area 1B of the image data 1A, an artificial intelligence model for detecting the location of the defect, and segments the detected defective area 1B into pixels. and an artificial intelligence model for segmentation of defective areas for designation.

인공지능머신(14)은 제1 라벨링장치(12) 및 제2 라벨링장치(13)와 데이터를 송수신하고 저장한다. 인공지능머신(14)은 클라우드 플랫폼(cloud platform) 기능을 포함할 수 있다. 즉, 데이터를 인터넷과 연결된 인공지능머신(14)에 저장하고, 인터넷에 접속한 제1 라벨링장치(12) 및 제2 라벨링장치(13)와 자유롭게 데이터를 송수신할 수 있다. The artificial intelligence machine 14 transmits, receives, and stores data with the first labeling device 12 and the second labeling device 13 . The artificial intelligence machine 14 may include a cloud platform function. That is, data can be stored in the artificial intelligence machine 14 connected to the Internet, and data can be freely transmitted and received with the first labeling device 12 and the second labeling device 13 connected to the Internet.

도 3에 도시된 바와 같이, (a)단계(S110)는, 인공지능머신(14)이 카메라(11)로부터 이미지데이터(1A)를 수신하는 단계이다. 도 5(a)는 카메라(11)가 촬영한 이미지데이터(1A)를 나타내고 있다. As shown in FIG. 3, (a) step S110 is a step in which the artificial intelligence machine 14 receives image data 1A from the camera 11. Fig. 5(a) shows image data 1A photographed by the camera 11.

제1 라벨링장치(12)가 카메라(11)로부터 이미지데이터(1A)를 수신(S110)하면, 제1 라벨링장치(12)는 인공지능머신(14)으로 이미지데이터(1A)를 송신한다. When the first labeling device 12 receives the image data 1A from the camera 11 (S110), the first labeling device 12 transmits the image data 1A to the artificial intelligence machine 14.

(a)단계(S110)가 완료되면, (b)단계(S120)가 수행된다. (b)단계(S120)에서 인공지능머신(14)은 우선 제1 라벨링데이터의 생성 여부를 판단(S121)한다. When step (a) (S110) is completed, step (b) (S120) is performed. (b) In step S120, the artificial intelligence machine 14 first determines whether first labeling data is generated (S121).

도 5(b)에 도시된 바와 같이, 제1 라벨링데이터는 불량영역을 지정하는 심볼(D1-1)과, 부품(1)의 종류를 지정하는 부품분류데이터와, 불량영역의 종류를 지정하는 불량분류데이터를 포함한다. As shown in FIG. 5(b), the first labeling data includes a symbol D1-1 designating a defective area, parts classification data designating the type of the part 1, and designating the type of the defective area. It includes bad classification data.

머신 러닝(machine learning)은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 알고리즘을 포함한다. 인공지능머신(14)은 머신 러닝에 의한 부품(1) 및 불량영역(1B)의 학습이 진행될수록 제1 라벨링데이터의 생성 빈도 및 정확성이 향상될 수 있다. Machine learning involves algorithms that learn based on empirical data, make predictions, and improve their own performance. The artificial intelligence machine 14 may improve the generation frequency and accuracy of the first labeling data as learning of the part 1 and the defective area 1B by machine learning progresses.

제1 라벨링데이터가 생성되면, 인공지능머신(14)은 제1 라벨링데이터를 이미지데이터(1A)에 연동하여 저장한다. 제1 라벨링데이터는 이미지데이터(1A)와 연동된 다른 형태의 데이터로 저장된다. 일 예로, 제1 라벨링데이터는 이미지데이터(1A)의 특정 영역의 좌표 데이터를 포함할 수 있다. When the first labeling data is generated, the artificial intelligence machine 14 stores the first labeling data in conjunction with the image data 1A. The first labeling data is stored as data in a different form associated with the image data 1A. For example, the first labeling data may include coordinate data of a specific region of the image data 1A.

이후 제1 라벨링장치(12)에 제1 라벨링데이터를 송신한다. 이때 제1 라벨링장치(12)는 화면에 수신된 제1 라벨링데이터 및 입력창을 출력한다. 제1 라벨링데이터는 제1 라벨링장치(12)의 화면에 이미지데이터(1A)와 겹쳐서(overlay) 출력된다. Then, the first labeling data is transmitted to the first labeling device 12 . At this time, the first labeling device 12 outputs the received first labeling data and the input window on the screen. The first labeling data is output on the screen of the first labeling device 12 in an overlapping manner with the image data 1A.

전문작업자(P1)는 화면에 출력된 이미지데이터(1A)와 제1 라벨링데이터를 통해 제1 라벨링데이터가 정확한지 확인할 수 있다. 제1 라벨링데이터가 정확하다고 판단되면, 전문작업자(P1)는 입력창에 제1 승인정보를 입력(S122)하게 된다. The professional worker P1 can check whether the first labeling data is correct through the image data 1A and the first labeling data output on the screen. If it is determined that the first labeling data is correct, the professional worker (P1) inputs the first approval information to the input window (S122).

(c)단계(S130)는, 제1 라벨링장치(12)가 인공지능머신(14)에 제1 라벨링데이터를 업로드하는 단계이다. (c) Step (S130) is a step in which the first labeling device 12 uploads the first labeling data to the artificial intelligence machine 14.

제1 라벨링장치(12)에 제1 승인정보가 입력(S122)되면, 제1 라벨링장치(12)는 인공지능머신(14)에 제1 라벨링데이터를 업로드(S130)하게 된다. 제1 라벨링데이터는 클라우드 플랫폼에 발생 시간, 부품(1) ID 등 메타 데이터와 함께 업로드되어 저장될 수 있다. When the first approval information is input to the first labeling device 12 (S122), the first labeling device 12 uploads the first labeling data to the artificial intelligence machine 14 (S130). The first labeling data may be uploaded and stored in the cloud platform together with meta data such as generation time and part (1) ID.

도 3에 도시된 바와 같이, 전문작업자(P1)는 제1 라벨링데이터가 부정확하다고 판단되면, 제1 라벨링장치(12)에 제1 승인정보 대신 제1 수정라벨링데이터를 입력(S123)할 수 있다. As shown in FIG. 3, when the professional worker P1 determines that the first labeling data is incorrect, the first labeling device 12 may input the first corrected labeling data instead of the first approval information (S123). .

제1 수정라벨링데이터는 불량영역(1B)을 지정하는 심볼데이터(D3-1), 부품(1)의 종류를 지정하는 부품분류데이터, 불량영역(1B)의 종류를 지정하는 불량분류데이터(D3-3)를 포함할 수 있다. The first correction labeling data includes symbol data D3-1 designating the defective area 1B, parts classification data designating the type of the part 1, and defect classification data D3 designating the type of the defective area 1B. -3) may be included.

전문작업자(P1)는 태블릿의 터치스크린 또는 PC의 마우스 등을 포함한 다양한 제1 라벨링장치(12)를 통해 화면에 출력된 이미지데이터(1A)에 불량영역(1B)을 지정할 수 있다. 불량영역(1B)을 지정하는 심볼데이터(D3-1)는 사각 박스(bounding rect) 또는 화면 그리기 이미지일 수 있다. The professional worker P1 may designate the defective area 1B in the image data 1A output on the screen through various first labeling devices 12 including a touch screen of a tablet or a mouse of a PC. The symbol data D3-1 designating the defective area 1B may be a bounding rect or a screen drawing image.

또는, 전문작업자(P1)는 부품(1)의 불량 위치에 직접 펜 또는 불량 표시용 스티커(S2)를 이용하여 불량 위치를 표시(도 6 참조)하고, 부품(1)을 촬영하여 제1 라벨링장치(12)에 이미지데이터(1A)를 저장할 수도 있다. S1은 펜으로 불량 위치를 표시한 것을 의미한다. Alternatively, the professional worker P1 directly marks the defective position of the part 1 using a pen or a sticker S2 for indicating the defective part (see FIG. 6), photographs the part 1, and performs first labeling. It is also possible to store image data 1A in device 12. S1 means that the defective position is marked with a pen.

그리고 전문작업자(P1)는 제1 라벨링장치(12)의 화면에 표시된 부품(1)의 종류 중 하나를 선택하여 해당 부품(1)의 종류를 지정할 수 있다. And the professional worker (P1) can designate the type of the part (1) by selecting one of the types of parts (1) displayed on the screen of the first labeling device (12).

아울러, 전문작업자(P1)는 제1 라벨링장치(12)의 화면에 표시된 불량영역(1B)의 종류 중 하나 또는 다중을 선택하여 해당 불량영역(1B)의 종류를 지정할 수 있다. In addition, the professional operator (P1) can designate the type of the corresponding defective area (1B) by selecting one or multiple types of the defective area (1B) displayed on the screen of the first labeling device (12).

제1 라벨링장치(12)에 제1 승인정보 대신 제1 수정라벨링데이터가 입력(S123)되면, 제1 라벨링데이터가 제1 수정라벨링데이터로 치환된다. 즉, 제1 수정라벨링데이터가 이미지데이터(1A)에 연동되어 저장된다. 이후 제1 라벨링장치(12)는 인공지능머신(14)에 제1 수정라벨링데이터(1A)를 업로드(S130)하게 된다. When the first corrected labeling data is input to the first labeling device 12 instead of the first approval information (S123), the first labeling data is replaced with the first corrected labeling data. That is, the first corrected labeling data is stored in association with the image data 1A. Then, the first labeling device 12 uploads the first corrected labeling data 1A to the artificial intelligence machine 14 (S130).

상술한 바와 같이, (b)단계(S120)에서 인공지능머신(14)은 우선 제1 라벨링데이터의 생성 여부를 판단(S121)한다. 인공지능머신(14)이 제1 라벨링데이터를 생성하지 않으면, 제1 라벨링장치(12)는 화면에 이미지데이터(1A) 및 입력창을 출력한다. 그리고 전문작업자(P1)는 제1 라벨링장치(12)에 제1 수정라벨링데이터를 입력(S123)할 수 있다. As described above, in step (b) (S120), the artificial intelligence machine 14 first determines whether the first labeling data is generated (S121). If the artificial intelligence machine 14 does not generate the first labeling data, the first labeling device 12 outputs the image data 1A and an input window on the screen. In addition, the professional worker P1 may input the first corrected labeling data to the first labeling device 12 (S123).

제1 라벨링장치(12)에서 제1 수정라벨링데이터가 이미지데이터(1A)에 연동되어 저장된 후, 제1 라벨링장치(12)가 인공지능머신(14)에 제1 수정라벨링데이터를 업로드(S130)하고, (d)단계(S140)가 개시된다. After the first corrected labeling data is linked to and stored in the image data 1A in the first labeling device 12, the first labeling device 12 uploads the first corrected labeling data to the artificial intelligence machine 14 (S130) And, step (d) (S140) is initiated.

(c)단계(S130)가 완료되면, (d)단계(S140)가 수행된다. (d)단계(S140)에서 인공지능머신(14)은 우선 제2 라벨링데이터의 생성 여부를 판단(S141)한다. When step (c) (S130) is completed, step (d) (S140) is performed. (d) In step S140, the artificial intelligence machine 14 first determines whether the second labeling data is generated (S141).

도 5(c)에 도시된 바와 같이, 제2 라벨링데이터는 좌표 데이터(D1-1) 안쪽의 불량영역(1B)을 화소 단위로 지정하는 마스크데이터(D2-1)와, 불량영역(1B)의 종류를 인식하는 불량분류데이터를 포함한다. As shown in FIG. 5(c), the second labeling data includes mask data D2-1 designating the defective area 1B inside the coordinate data D1-1 in units of pixels, and the defective area 1B It includes defect classification data for recognizing the type of.

마스크데이터(mask data)란 부품(1) 사진과 동일한 크기의 화소 위치별 불량영역(1B) 유무를 나타내는 값을 가지는 데이터를 의미한다. Mask data refers to data having a value representing the presence or absence of a defective region 1B for each pixel position having the same size as the picture of the component 1.

마스크데이터(D2-1)의 값이 0이면, 부품(1) 사진에서 해당 위치의 화소가 불량영역(1B)에 포함되지 않는 것을 의미한다. If the value of the mask data D2-1 is 0, it means that the pixel at the corresponding position in the picture of the component 1 is not included in the defective area 1B.

마스크데이터(D2-1)의 값이 1이면(또는 0이 아니면), 부품(1)의 이미지데이터(1A)에서 해당 위치의 화소가 불량영역(1B)에 포함되는 것을 의미한다. 이뿐만 아니라 마스크데이터(D2-1)는 다양한 방식으로 불량영역(1B)에 포함되는 화소에 대해 구별할 수 있는 데이터를 포함할 수 있다. If the value of the mask data D2-1 is 1 (or not 0), it means that the pixel at the corresponding position in the image data 1A of the part 1 is included in the defective area 1B. In addition to this, the mask data D2-1 may include data capable of distinguishing pixels included in the defective region 1B in various ways.

머신 러닝(machine learning)은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 알고리즘을 포함한다. 머신 러닝에 의한 부품(1) 및 불량영역(1B)의 학습이 진행될수록 제2 라벨링데이터의 생성 빈도 및 정확성이 향상될 수 있다. Machine learning involves algorithms that learn based on empirical data, make predictions, and improve their own performance. As learning of the part 1 and the defective area 1B by machine learning progresses, the generation frequency and accuracy of the second labeling data may be improved.

제2 라벨링데이터가 생성되면, 인공지능머신(14)은 제2 라벨링데이터를 이미지데이터(1A)에 연동하여 저장한다. 제2 라벨링데이터는 이미지데이터(1A)와 연동된 다른 형태의 데이터로 저장된다. 일 예로, 제2 라벨링데이터는 이미지데이터(1A)의 특정 영역의 좌표 데이터를 포함할 수 있다. When the second labeling data is generated, the artificial intelligence machine 14 stores the second labeling data in conjunction with the image data 1A. The second labeling data is stored as data in a different form associated with the image data 1A. For example, the second labeling data may include coordinate data of a specific region of the image data 1A.

이후 제2 라벨링장치(13)에 이미지데이터(1A)를 송신한다. 이때 제2 라벨링장치(13)는 화면에 수신된 제2 라벨링데이터 및 입력창을 출력한다. 제2 라벨링데이터는 제2 라벨링장치(13)의 화면에 이미지데이터(1A)와 겹쳐서(overlay) 출력된다. Then, the image data 1A is transmitted to the second labeling device 13 . At this time, the second labeling device 13 outputs the received second labeling data and the input window on the screen. The second labeling data is overlapped with the image data 1A and output on the screen of the second labeling device 13 .

외부작업자(P2)는 화면에 출력된 이미지데이터(1A) 및 제2 라벨링데이터를 통해 제2 라벨링데이터가 정확한지 확인할 수 있다. 제2 라벨링데이터가 정확하다고 판단되면, 외부작업자(P2)는 입력창에 제2 승인정보를 입력(S142)하게 된다. The external worker P2 can check whether the second labeling data is correct through the image data 1A and the second labeling data output on the screen. If it is determined that the second labeling data is correct, the external worker P2 inputs the second approval information into the input window (S142).

(e)단계(S150)는, 제2 라벨링장치(13)가 인공지능머신(14)에 제2 라벨링데이터를 업로드하는 단계이다. Step (e) (S150) is a step in which the second labeling device 13 uploads the second labeling data to the artificial intelligence machine 14.

제2 라벨링장치(13)에 제2 승인정보가 입력(S142)되면, 제2 라벨링장치(13)는 인공지능머신(14)에 제2 라벨링데이터를 업로드(S150)하게 된다. 제2 라벨링데이터는 클라우드 플랫폼에 발생 시간, 부품(1) ID 등 메타 데이터와 함께 업로드되어 저장될 있다. When the second approval information is input to the second labeling device 13 (S142), the second labeling device 13 uploads the second labeling data to the artificial intelligence machine 14 (S150). The second labeling data may be uploaded and stored in the cloud platform together with meta data such as generation time and part (1) ID.

도 4에 도시된 바와 같이, 외부작업자(P2)는 제2 라벨링데이터가 부정확하다고 판단되면, 제2 라벨링장치(13)에 제2 승인정보 대신 제2 수정라벨링데이터를 입력(S143)할 수 있다. As shown in FIG. 4, when the second labeling data is determined to be incorrect, the external worker P2 may input second corrected labeling data instead of the second approval information to the second labeling device 13 (S143). .

제2 수정라벨링데이터는 불량영역(1B)을 화소 단위로 지정하는 마스크데이터(D4-1)를 포함할 수 있다. The second corrected labeling data may include mask data D4-1 designating the defective area 1B in units of pixels.

도 5(c)에 도시된 바와 같이, 외부작업자(P2)는 태블릿의 터치스크린 또는 PC의 마우스 등을 포함한 다양한 제2 라벨링장치(13)를 통해 화면에 출력된 이미지데이터(1A)의 불량영역(1B)을 화소 단위로 지정할 수 있다. As shown in FIG. 5(c), the external worker P2 has a defective area of the image data 1A output on the screen through various second labeling devices 13 including a touch screen of a tablet or a mouse of a PC. (1B) can be specified in units of pixels.

제2 라벨링장치(13)에 제2 승인정보 대신 제2 수정라벨링데이터가 입력(S143)되면, 제2 라벨링데이터가 제2 수정라벨링데이터로 치환된다. 즉, 제2 수정라벨링데이터가 이미지데이터(1A)에 연동되어 저장된다. 이후 제2 라벨링장치(13)는 인공지능머신(14)에 제2 수정라벨링데이터를 업로드(S150)하게 된다. When the second corrected labeling data is input to the second labeling device 13 instead of the second approval information (S143), the second labeling data is replaced with the second corrected labeling data. That is, the second corrected labeling data is stored in association with the image data 1A. Then, the second labeling device 13 uploads the second corrected labeling data to the artificial intelligence machine 14 (S150).

상술한 바와 같이, (d)단계(S140)에서 인공지능머신(14)은 우선 제2 라벨링데이터의 생성 여부를 판단(S141)한다. 인공지능머신(14)이 제2 라벨링데이터를 생성하지 않으면, 제2 라벨링장치(13)는 화면에 이미지데이터(1A) 및 입력창을 출력한다. 그리고 외부작업자(P2)는 제2 라벨링장치(13)에 제2 수정라벨링데이터를 입력(S143)할 수 있다. As described above, in step (d) (S140), the artificial intelligence machine 14 first determines whether the second labeling data is generated (S141). If the artificial intelligence machine 14 does not generate the second labeling data, the second labeling device 13 outputs the image data 1A and the input window on the screen. And the external worker (P2) can input the second correction labeling data to the second labeling device (13) (S143).

제2 라벨링장치(13)에서 제2 수정라벨링데이터가 이미지데이터(1A)에 연동되어 저장된 후, 제2 라벨링장치(13)가 인공지능머신(14)에 제2 수정라벨링데이터를 업로드(S150)하고, (f)단계(S160)가 개시된다. After the second corrected labeling data is stored in association with the image data 1A in the second labeling device 13, the second labeling device 13 uploads the second corrected labeling data to the artificial intelligence machine 14 (S150) And, step (f) (S160) is initiated.

도 4에 도시된 바와 같이, (f) 인공지능머신(14)이 이미지데이터(1A)에 연동되어 저장된 제1 라벨링데이터 및 제2 라벨링데이터를 학습하는 단계이다. As shown in FIG. 4, (f) the artificial intelligence machine 14 learns the first labeling data and the second labeling data stored in association with the image data 1A.

제1 라벨링장치(12)가 인공지능머신(14)에 제1 라벨링데이터를 업로드(S130)하는 횟수가 증가할수록, 불량위치 검출용 AI 모델의 학습에 사용되는 학습데이터가 증가하여, 불량위치 검출용 AI 모델의 불량위치 검출성능은 향상된다. As the number of times the first labeling device 12 uploads the first labeling data to the artificial intelligence machine 14 (S130) increases, the learning data used for learning the AI model for detecting defective locations increases, thereby detecting defective locations. The defect location detection performance of the AI model for AI is improved.

따라서 제1 라벨링장치(12)가 인공지능머신(14)에 제1 라벨링데이터를 업로드(S130)하는 횟수가 증가할수록, 전문작업자(P1)가 불량위치를 직접 지정(S123)하는 수작업의 빈도를 줄일 수 있어 (b)단계(S120)가 빠르게 진행될 수 있다. Therefore, as the number of times the first labeling device 12 uploads the first labeling data to the artificial intelligence machine 14 (S130) increases, the frequency of manual work in which the professional operator P1 directly designates the defective location (S123) It can be reduced, so step (b) (S120) can proceed quickly.

또한, 제2 라벨링장치(13)가 인공지능머신(14)에 제2 라벨링데이터를 업로드(S150)하는 횟수가 증가할수록, 불량영역(1B) 분할용 AI 모델의 학습에 사용되는 학습데이터가 증가하여, 불량영역(1B) 분할용 AI 모델의 불량영역(1B) 분할성능이 향상된다. In addition, as the number of times the second labeling device 13 uploads the second labeling data to the artificial intelligence machine 14 (S150) increases, the learning data used for learning the AI model for dividing the defective area 1B increases. Thus, the performance of dividing the bad region 1B of the AI model for dividing the bad region 1B is improved.

따라서 제2 라벨링장치(13)가 인공지능머신(14)에 제2 라벨링데이터를 업로드(S150)하는 횟수가 증가할수록, 외부작업자(P2)가 불량영역(1B)을 화소별로 마스크데이터(D4-1)를 지정(S143)하는 수작업의 빈도를 줄일 수 있어 (d)단계(S140)가 빠르게 진행될 수 있다. Therefore, as the number of times the second labeling device 13 uploads the second labeling data to the artificial intelligence machine 14 (S150) increases, the external worker P2 sets the defective area 1B pixel by pixel to the mask data D4- 1) can be reduced in frequency of manual work designating (S143), so step (d) (S140) can proceed quickly.

본 발명에 의하면, 생산라인에서 품질검사 담당자가 불량위치와 불량타입 등 필수적인 요소만 입력 처리하는 단계(S123)와, AI 모델링을 학습하기 위해 필요한 불량영역(1B)에 대한 화소단위 분할을 수행하는 단계(S143)를 이원화하여 처리함으로써, 제조 분야에서 현장 품질 담당자 등 전문적인 사람만 가능한 제조 부품(1) 불량 데이터에 대한 라벨링(S123)을 신속하게 수행할 수 있는 이점이 있다. According to the present invention, the quality inspector in the production line inputs and processes only essential elements such as defect location and defect type (S123), and performs pixel unit segmentation on the defect area 1B necessary for learning AI modeling By processing step S143 in two ways, there is an advantage in that labeling (S123) for defective data of the manufactured part 1, which can only be performed by a professional person such as a field quality manager in the manufacturing field, can be quickly performed.

또한, 제조 현장에서 실제 사용되는 부품(1)의 불량위치 표시방법인 유성펜 등 펜을 이용한 부품(1) 표면 내 표기 및 불량위치 표기용 스티커(S2) 표기를 지원함으로써, IT 기술에 익숙하지 않은 제조 현장 품질 담당자가 빠르게 라벨링(S123)을 수행할 수 있는 이점이 있다. In addition, by supporting marking on the surface of parts (1) using a pen such as an oil pen, which is a method of marking the location of defects of parts (1) actually used at manufacturing sites, and marking stickers (S2) for marking the location of defects, it is possible to help those who are not familiar with IT technology. There is an advantage in that the quality manager at the manufacturing site can quickly perform labeling (S123).

또한, 부품(1) 양불 판정용 AI 데이터 라벨링 작업을 부품(1) 생산 공정 단계과 연계하여 수행함으로써, 부품(1) 양불 판정용 비전 품질 검사 시스템 도입시 요구되는 AI 모델 학습용 라벨링 데이터 확보 시간 및 비용을 크게 단축하여, 기존보다 빠르게 비전 품질 시스템을 도입할 수 있는 이점이 있다. In addition, by performing the AI data labeling work for determining pass/fail of the part (1) in conjunction with the production process stage of the part (1), the time and cost of securing labeling data for learning the AI model required when introducing the vision quality inspection system for determining pass/fail of the part (1) , and has the advantage of being able to introduce the vision quality system faster than before.

아울러, 본 발명에 의하면, 인공지능머신(14)에 제1 라벨링데이터 또는 제1 수정라벨링데이터를 업로드한 다음, 제2 라벨링데이터 또는 제2 수정라벨링데이터를 업로드함으로써, 라벨링 작업에 전문적인 지식이 요구되는 생산 부품(1)이더라도 AI 학습용 라벨링 데이터를 신속하게 구축할 수 있도록 이루어지는 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)을 제공할 수 있게 된다.In addition, according to the present invention, by uploading the first labeling data or the first corrected labeling data to the artificial intelligence machine 14 and then uploading the second labeling data or the second corrected labeling data, specialized knowledge in labeling work It is possible to provide a labeling learning method (S100) of an artificial intelligence machine (14) for smart vision inspection of a production part (1) made to quickly build labeling data for AI learning even if it is a required production part (1). .

앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명한 일이다. 따라서, 그러한 수정예 또는 변형예들은 본 발명의 기술적 사상이나 관점으로부터 개별적으로 이해되어서는 안되며, 변형된 실시예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.In the foregoing, although specific embodiments of the present invention have been described and shown, the present invention is not limited to the described embodiments, and it is common knowledge in the art that various modifications and variations can be made without departing from the spirit and scope of the present invention. It is self-evident to those who have Therefore, such modifications or variations should not be individually understood from the technical spirit or viewpoint of the present invention, and modified embodiments should fall within the scope of the claims of the present invention.

S100 : 라벨링 학습방법
S110 : (a)단계
S120 : (b)단계
S130 : (c)단계
S140 : (d)단계
S150 : (e)단계
S160 : (f)단계
10 : 비전검사 시스템
11 : 카메라
12 : 제1 라벨링장치
13 : 제2 라벨링장치
14 : 인공지능머신
1 : 부품
1A : 이미지데이터
1B : 불량영역
S2 : 스티커
D1-1 : 좌표 데이터
D2-1 : 마스크데이터
D3-1 : 심볼데이터
D3-3 : 불량분류데이터
D4-1 : 마스크데이터
P1 : 현장작업자
P2 : 외부작업자
S100: Labeling learning method
S110: Step (a)
S120: Step (b)
S130: Step (c)
S140: Step (d)
S150: (e) step
S160: Step (f)
10: vision inspection system
11 : Camera
12: first labeling device
13: second labeling device
14: AI machine
1: Parts
1A: image data
1B: bad area
S2: Sticker
D1-1: coordinate data
D2-1: mask data
D3-1: symbol data
D3-3: Defect Classification Data
D4-1: mask data
P1: Field workers
P2: External worker

Claims (9)

스마트 비전검사 시스템을 이용한 인공지능머신의 라벨링 학습방법으로서,
상기 스마트 비전검사 시스템은,
생산라인에서 부품의 이미지데이터를 생성하는 카메라;
상기 생산라인에 구비되어 상기 이미지데이터를 수신하고, 전문작업자가 상기 이미지데이터에서 상기 부품의 종류, 상기 부품의 불량영역의 종류 및 위치 지정을 할 수 있는 응용 프로그램이 설치된 제1 라벨링장치;
상기 제1 라벨링장치와 데이터를 송수신하고, 자동으로 상기 이미지데이터의 상기 불량영역을 검출(localization)하기 위한 불량 위치 검출용 인공지능 모델, 검출된 상기 불량영역을 화소 단위로 분할(segmentation) 및 지정하기 위한 불량 영역 분할용 인공지능 모델을 포함하는 인공지능머신; 및
상기 생산라인과 원거리에 구비되어 상기 인공지능머신과 데이터를 송수신하고, 외부작업자가 상기 이미지데이터에서 상기 불량영역에 대해 화소 단위로 영역분할을 할 수 있는 응용 프로그램이 설치된 제2 라벨링장치를 포함하고,
(a) 상기 인공지능머신이 상기 이미지데이터를 수신하는 단계;
(b) 상기 인공지능머신이 상기 부품의 불량영역을 표시하는 제1 라벨링데이터를 생성하여 상기 이미지데이터에 연동하여 저장하고, 상기 제1 라벨링장치에 상기 제1 라벨링데이터를 송신하는 단계;
(c) 상기 제1 라벨링장치에 상기 전문작업자에 의한 제1 승인정보가 입력되면, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 라벨링데이터를 업로드하는 단계;
(d) 상기 인공지능머신이 상기 불량영역을 표시하는 제2 라벨링데이터를 생성하여 상기 이미지데이터에 연동하여 저장하고, 상기 제2 라벨링장치에 상기 제2 라벨링데이터를 송신하는 단계;
(e) 상기 제2 라벨링장치에 상기 외부작업자에 의한 제2 승인정보가 입력되면, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 라벨링데이터를 업로드하는 단계; 및
(f) 상기 인공지능머신이 상기 이미지데이터에 연동되어 저장된 상기 제1 라벨링데이터 및 상기 제2 라벨링데이터를 학습하는 단계를 포함하고,
상기 (e)단계에서,
상기 제2 라벨링장치에 상기 제2 승인정보 대신 상기 외부작업자에 의한 제2 수정라벨링데이터가 입력되면, 상기 제2 라벨링데이터가 상기 제2 수정라벨링데이터로 치환된 후, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 수정라벨링데이터를 업로드하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.
As a labeling learning method for an artificial intelligence machine using a smart vision inspection system,
The smart vision inspection system,
A camera that generates image data of parts in a production line;
A first labeling device provided in the production line to receive the image data and having an application program installed therein which allows a professional worker to designate the type of the part and the type and location of the defective area of the part from the image data;
An artificial intelligence model for detecting a defective location for transmitting and receiving data with the first labeling device and automatically detecting (localization) the defective area of the image data, and segmenting and designating the detected defective area in pixel units An artificial intelligence machine including an artificial intelligence model for segmentation of defective regions to perform; and
A second labeling device provided with an application program installed remotely from the production line to transmit and receive data to and from the artificial intelligence machine, and allowing an external worker to divide the defective area in pixel units in the image data; ,
(a) receiving the image data by the artificial intelligence machine;
(b) generating, by the artificial intelligence machine, first labeling data indicating a defective area of the part, storing the first labeling data in conjunction with the image data, and transmitting the first labeling data to the first labeling device;
(c) uploading, by the first labeling device, the first labeling data to the artificial intelligence machine when the first approval information by the professional operator is input to the first labeling device;
(d) generating, by the artificial intelligence machine, second labeling data indicating the defective area, storing the second labeling data in association with the image data, and transmitting the second labeling data to the second labeling device;
(e) uploading, by the second labeling device, the second labeling data to the artificial intelligence machine when the second approval information by the external worker is input to the second labeling device; and
(f) learning, by the artificial intelligence machine, the first labeling data and the second labeling data stored in association with the image data;
In step (e),
When second corrected labeling data by the external worker is input to the second labeling device instead of the second approval information, after the second labeling data is replaced with the second corrected labeling data, the second labeling device A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that for uploading the second corrected labeling data to the artificial intelligence machine.
제1항에 있어서,
상기 제1 라벨링데이터는,
상기 불량영역을 지정하는 심볼; 및
상기 부품의 종류를 지정하는 부품분류데이터; 및
상기 불량영역의 종류를 지정하는 불량분류데이터를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.
According to claim 1,
The first labeling data,
a symbol designating the defective area; and
parts classification data designating the type of the parts; and
A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that it includes defect classification data specifying the type of the defect area.
제2항에 있어서,
상기 제1 라벨링데이터는 상기 이미지데이터의 특정 영역의 좌표 데이터를 포함하고,
상기 제2 라벨링데이터는,
상기 좌표 데이터 안쪽의 상기 불량영역을 화소 단위로 지정하는 마스크데이터를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.
According to claim 2,
The first labeling data includes coordinate data of a specific region of the image data,
The second labeling data,
A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that it includes mask data designating the defective area inside the coordinate data in pixel units.
제1항에 있어서,
상기 (c)단계에서,
상기 제1 라벨링장치에 상기 제1 승인정보 대신 제1 수정라벨링데이터가 입력되면, 상기 제1 라벨링데이터가 상기 제1 수정라벨링데이터로 치환된 후, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 수정라벨링데이터를 업로드하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.
According to claim 1,
In step (c),
When first corrected labeling data is input instead of the first approval information to the first labeling device, after the first labeling data is replaced with the first corrected labeling data, the first labeling device sends the artificial intelligence machine to the first corrected labeling data. A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that for uploading the first corrected labeling data.
삭제delete 제4항에 있어서,
상기 제1 수정라벨링데이터는,
상기 불량영역을 지정하는 심볼; 및
상기 부품의 종류를 지정하는 부품분류데이터; 및
상기 불량영역의 종류를 지정하는 불량분류데이터를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.
According to claim 4,
The first modified labeling data,
a symbol designating the defective area; and
parts classification data designating the type of the parts; and
A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that it includes defect classification data specifying the type of the defect area.
제1항에 있어서,
상기 제2 수정라벨링데이터는,
상기 불량영역을 화소 단위로 지정하는 마스크데이터를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.
According to claim 1,
The second modified labeling data,
A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that it includes mask data designating the defective area in pixel units.
제1항에 있어서,
상기 (b)단계에서 상기 인공지능머신이 상기 제1 라벨링데이터를 생성하지 않으면, 상기 제1 라벨링장치에서 제1 수정라벨링데이터가 상기 이미지데이터에 연동되어 저장된 후, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 수정라벨링데이터를 업로드하고, 상기 (d)단계가 개시되는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.
According to claim 1,
If the artificial intelligence machine does not generate the first labeling data in the step (b), after the first corrected labeling data is stored in association with the image data in the first labeling device, the first labeling device performs the artificial intelligence A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that the first corrected labeling data is uploaded to the intelligent machine, and the step (d) is initiated.
제8항에 있어서,
상기 (d)단계에서 상기 인공지능머신이 상기 제2 라벨링데이터를 생성하지 않으면, 상기 제2 라벨링장치에서 제2 수정라벨링데이터가 상기 이미지데이터에 연동되어 저장된 후, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 수정라벨링데이터를 업로드하고, 상기 (f)단계가 개시되는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.
According to claim 8,
If the artificial intelligence machine does not generate the second labeling data in step (d), after the second corrected labeling data is stored in association with the image data in the second labeling device, the second labeling device performs the artificial intelligence A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that the second corrected labeling data is uploaded to the intelligent machine, and the step (f) is initiated.
KR1020200174771A 2020-12-14 2020-12-14 Labeling learning method of artificial intelligence machine for smart products inspection KR102524151B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200174771A KR102524151B1 (en) 2020-12-14 2020-12-14 Labeling learning method of artificial intelligence machine for smart products inspection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174771A KR102524151B1 (en) 2020-12-14 2020-12-14 Labeling learning method of artificial intelligence machine for smart products inspection

Publications (2)

Publication Number Publication Date
KR20220085115A KR20220085115A (en) 2022-06-22
KR102524151B1 true KR102524151B1 (en) 2023-04-21

Family

ID=82216492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174771A KR102524151B1 (en) 2020-12-14 2020-12-14 Labeling learning method of artificial intelligence machine for smart products inspection

Country Status (1)

Country Link
KR (1) KR102524151B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240053954A (en) 2022-10-18 2024-04-25 주식회사 스누아이랩 Apparatus for Environment Adaptive Machine Vision and Driving Method Thereof
KR102568037B1 (en) * 2022-11-23 2023-08-18 세종대학교산학협력단 Pipe recognition model generation method and apparatus, method and system for determining pipe abnormal area using the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181098A (en) * 2015-03-24 2016-10-13 株式会社Screenホールディングス Area detection device and area detection method
JP2017151813A (en) 2016-02-25 2017-08-31 ファナック株式会社 Image processing device for displaying object detected from input image
JP2017224027A (en) 2016-06-13 2017-12-21 三菱電機インフォメーションシステムズ株式会社 Machine learning method related to data labeling model, computer and program
JP2019101535A (en) * 2017-11-29 2019-06-24 コニカミノルタ株式会社 Teacher data preparation device and method thereof and image segmentation device and method thereof
JP2020024110A (en) 2018-08-06 2020-02-13 株式会社マイクロ・テクニカ Inspection device and inspection method
JP2020060398A (en) 2018-10-05 2020-04-16 オムロン株式会社 Estimation unit generator, inspection device, method for generating estimation unit, and estimation generation program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181098A (en) * 2015-03-24 2016-10-13 株式会社Screenホールディングス Area detection device and area detection method
JP2017151813A (en) 2016-02-25 2017-08-31 ファナック株式会社 Image processing device for displaying object detected from input image
JP2017224027A (en) 2016-06-13 2017-12-21 三菱電機インフォメーションシステムズ株式会社 Machine learning method related to data labeling model, computer and program
JP2019101535A (en) * 2017-11-29 2019-06-24 コニカミノルタ株式会社 Teacher data preparation device and method thereof and image segmentation device and method thereof
JP2020024110A (en) 2018-08-06 2020-02-13 株式会社マイクロ・テクニカ Inspection device and inspection method
JP2020060398A (en) 2018-10-05 2020-04-16 オムロン株式会社 Estimation unit generator, inspection device, method for generating estimation unit, and estimation generation program

Also Published As

Publication number Publication date
KR20220085115A (en) 2022-06-22

Similar Documents

Publication Publication Date Title
EP3480735B1 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
KR102022496B1 (en) Process management and monitoring system using vision image detection and a method thereof
US11763443B2 (en) Method for monitoring manufacture of assembly units
EP3502966B1 (en) Data generation apparatus, data generation method, and data generation program
US11449980B2 (en) System and method for combined automatic and manual inspection
CN108701237B (en) Method for automatically generating common measurements across multiple assembly units
KR20190063839A (en) Method and System for Machine Vision based Quality Inspection using Deep Learning in Manufacturing Process
KR102094341B1 (en) System for analyzing pot hole data of road pavement using AI and for the same
KR20190075707A (en) Method for sorting products using deep learning
KR102524151B1 (en) Labeling learning method of artificial intelligence machine for smart products inspection
US10423669B2 (en) Manufacturing process visualization apparatus and method
CN109060817B (en) Artificial intelligence reinspection system and method thereof
JP2022507678A (en) Optimization of setup stage in automated visual inspection process
CN114662208A (en) Construction visualization system and method based on Bim technology
US20100194562A1 (en) Failure recognition system
US20220284699A1 (en) System and method of object detection using ai deep learning models
CN116091506B (en) Machine vision defect quality inspection method based on YOLOV5
KR102198028B1 (en) Position Verification Method for Equipment Layout at 3D Design of Smart Factory
CN113469991B (en) Visual online detection method for laser welding spot of lithium battery tab
KR20240064037A (en) How to identify and characterize surface defects of objects and cracks in brake discs by artificial intelligence through fatigue testing
CN115631169A (en) Product detection method and device, electronic equipment and storage medium
CN111709991B (en) Railway tool detection method, system, device and storage medium
Ivanovska et al. Visual Inspection and Error Detection in a Reconfigurable Robot Workcell: An Automotive Light Assembly Example.
US20200150909A1 (en) Device And Method For Checking The Printing of an Article
KR102623979B1 (en) Masking-based deep learning image classification system and method therefor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant