KR102524151B1 - Labeling learning method of artificial intelligence machine for smart products inspection - Google Patents
Labeling learning method of artificial intelligence machine for smart products inspection Download PDFInfo
- Publication number
- KR102524151B1 KR102524151B1 KR1020200174771A KR20200174771A KR102524151B1 KR 102524151 B1 KR102524151 B1 KR 102524151B1 KR 1020200174771 A KR1020200174771 A KR 1020200174771A KR 20200174771 A KR20200174771 A KR 20200174771A KR 102524151 B1 KR102524151 B1 KR 102524151B1
- Authority
- KR
- South Korea
- Prior art keywords
- labeling
- data
- artificial intelligence
- intelligence machine
- image data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8803—Visual inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
- G01B2210/52—Combining or merging partially overlapping images to an overall image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법이 개시된다. 본 발명의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법은, 스마트 비전검사 시스템을 이용한 인공지능머신의 라벨링 학습방법으로서, (a) 인공지능머신이 이미지데이터를 수신하는 단계; (b) 인공지능머신이 부품의 불량영역을 표시하는 제1 라벨링데이터를 생성하여 이미지데이터에 연동하여 저장하고, 제1 라벨링장치에 제1 라벨링데이터를 송신하는 단계; (c) 제1 라벨링장치에 제1 승인정보가 입력되면, 제1 라벨링장치가 인공지능머신에 제1 라벨링데이터를 업로드하는 단계; (d) 인공지능머신이 불량영역을 표시하는 제2 라벨링데이터를 생성하여 이미지데이터에 연동하여 저장하고, 제2 라벨링장치에 제2 라벨링데이터를 송신하는 단계; (e) 제2 라벨링장치에 제2 승인정보가 입력되면, 제2 라벨링장치가 인공지능머신에 제2 라벨링데이터를 업로드하는 단계; 및 (f) 인공지능머신이 이미지데이터에 연동되어 저장된 제1 라벨링데이터 및 제2 라벨링데이터를 학습하는 단계를 포함하는 것을 특징으로 한다. A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts is disclosed. The labeling learning method of an artificial intelligence machine for smart vision inspection of production parts of the present invention is a labeling learning method of an artificial intelligence machine using a smart vision inspection system, comprising: (a) the artificial intelligence machine receiving image data; (b) generating, by an artificial intelligence machine, first labeling data indicating a defective area of a part, storing the first labeling data in conjunction with image data, and transmitting the first labeling data to a first labeling device; (C) when the first approval information is input to the first labeling device, the step of the first labeling device uploading the first labeling data to the artificial intelligence machine; (d) generating, by an artificial intelligence machine, second labeling data indicating a defective area, storing the second labeling data in conjunction with image data, and transmitting the second labeling data to a second labeling device; (E) when the second approval information is input to the second labeling device, the step of the second labeling device uploading the second labeling data to the artificial intelligence machine; and (f) learning, by the artificial intelligence machine, the first labeling data and the second labeling data stored in association with the image data.
Description
본 발명은 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법에 관한 것으로, 보다 상세하게는, 인공지능머신이 생산부품의 물리적 결함을 자동으로 인식하도록 이루어지는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법에 관한 것이다.The present invention relates to a labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, and more particularly, to a smart vision inspection of production parts in which an artificial intelligence machine automatically recognizes physical defects of production parts. It is about a labeling learning method for artificial intelligence machines.
머신 비전(machine vision) 기반 자동화 시장 및 인공지능 활용 비전 시스템 시장은 급증하고 있다. 전 세계 머신 비전 시장은 2016년 90억 2000만 달러에서 연평균 8.15%씩 성장해 2022년에는 약 144억 3000만 달러에 이를 것으로 전망된다. The machine vision-based automation market and the artificial intelligence-based vision system market are rapidly increasing. The global machine vision market is expected to grow at an average annual rate of 8.15% from $9.02 billion in 2016 to reach about $14.43 billion in 2022.
인공지능 및 비전 기반 품질 검사 시스템은 산업용 자동화 시스템에서 핵심 요소이다. 이는 제조과정에서의 물리적 형상 및 결함, 표면 마무리, 색상 등의 상태를 육안으로 검사하는 대신 카메라, 조명, 비전 소프트웨어 등으로 이루어진 머신 비전 시스템으로 검사를 진행함으로써 제품 평가 및 결함 발견, 제조 생산성 향상, 데이터 수집 등의 활동에서 탁월한 성능을 제공하기 때문이다. Artificial intelligence and vision-based quality inspection systems are key elements in industrial automation systems. Instead of inspecting the state of physical shape and defects, surface finish, color, etc. during the manufacturing process with the naked eye, inspection is conducted with a machine vision system consisting of cameras, lighting, and vision software to evaluate products and find defects, improve manufacturing productivity, This is because it provides excellent performance in activities such as data collection.
특히 파워 트레인, 브레이크, 조향장치 등 자동차 안전과 소비자의 요구 수준이 높은 고가의 전자제품 금형과 관련된 부품인 경우, 엄격한 품질 전수 검사가 필요하며 이를 위한 비전 품질 검사는 필수적인 요소이다. In particular, in the case of parts related to molds for expensive electronic products, such as power trains, brakes, and steering systems, where automobile safety and consumer demands are high, strict quality inspections are required, and vision quality inspections are essential for this.
AI 비전 검출 기술은 AI 모델을 학습하기 위한 AI 학습용 라벨링데이터가 필수적이다. AI 모델은 학습용 데이터를 통해 AI 모델을 학습하게 된다. 이때 학습용 데이터는 AI가 추후 검출하고자 하는 객체에 대해 영상 내에서 어는 위치에 위치하는지와 어떤 객체인지를 구분하기 위한 데이터를 제공한다. AI vision detection technology requires labeling data for AI learning to learn AI models. The AI model learns the AI model through training data. At this time, the learning data provides data for distinguishing where the AI is located in the image for the object to be detected later and what kind of object it is.
AI 모델 학습(training) 과정은 학습용 라벨링데이터를 무수히 많은 반복 입력 및 검증(validation) 과정을 통해 AI 모델의 각 노드(node) 별 가중치 값을 객체 검출(evaluation)할 수 있는 최적화되도록 결정하게 된다. The AI model training process determines the weight value for each node of the AI model to be optimized for object detection (evaluation) through a myriad of iterative input and validation processes of labeling data for training.
도 7에 도시된 바와 같이, AI 학습용 라벨링데이터를 수집하기 위한 라벨링 작업은 대표적으로 세 가지 방식으로 구분할 수 있다. As shown in FIG. 7, the labeling task for collecting labeling data for AI learning can be typically classified into three types.
도 7(a)에 도시된 바와 같이, 바운딩 박스(bounding box)는 사진이나 동영상 속 객체의 영역을 박스(box)로 표시하는 방식이다. 이때 라벨링 되는 데이터는 바운딩 박스의 사각형 좌표 데이터 (x, y, width, height)와 객체의 종류에 대한 데이터로 구성된다. 다른 방식보다 빠른 처리가 가능하며, 다양한 분야에 일반적으로 사용되는 라벨링 방식이다. As shown in FIG. 7(a), the bounding box is a method of displaying an area of an object in a photo or video as a box. At this time, the labeling data consists of the bounding box's rectangular coordinate data (x, y, width, height) and data about the type of object. It can be processed faster than other methods and is a labeling method commonly used in various fields.
도 7(b)에 도시된 바와 같이, 영상 의미(image classification) 방식은 사람이 영상을 보았을 때 느낄 수 있는 영상의 의미를 분류하는 방식이다. 라벨링데이터는 검출하고자 하는 영상의 의미에 대한 분류 데이터로 구성된다. 예를 들어 검출하고자 하는 영상의 분류 타입이 농구와 축구인 경우, 농구의 한 장면에 해당하는 영상에 대해서는 농구라는 분류 데이터를 지정하게 된다. As shown in FIG. 7( b ), the image classification method is a method of classifying the meaning of an image that a person can feel when viewing an image. Labeling data is composed of classification data about the meaning of an image to be detected. For example, if the classification types of images to be detected are basketball and soccer, classification data of basketball is designated for an image corresponding to a basketball scene.
도 7(c)에 도시된 바와 같이, 객체 영역 분할 방식은 영상 내에서 화소 단위로 객체의 영역을 지정하기 위한 방식으로 객체에 해당하는 영역 화소에 대한 마스크 데이터와 해당 객체의 종류 데이터로 구성된다. As shown in FIG. 7(c), the object area segmentation method is a method for specifying the area of an object in an image in units of pixels, and is composed of mask data for area pixels corresponding to an object and type data of the corresponding object. .
객체 마스크 데이터는 대상 영상과 동일 크기이며, 각 화소 위치별로 0과 1로 구성되며, 마스크 값이 1인 경우 해당 화소는 객체 영역에 포함되며, 0인 경우 배경 영역에 포함되는 것을 뜻한다. 정확한 객체의 영역을 파악할 수 있어 다른 방식보다 정밀도 높은 AI 검출이 필요한 경우 주로 사용된다. The object mask data has the same size as the target image and is composed of 0 and 1 for each pixel position. If the mask value is 1, the corresponding pixel is included in the object area, and if the mask value is 0, it means included in the background area. It is mainly used when AI detection with higher precision than other methods is required because it can accurately identify the area of an object.
종래 방식에서는 AI 학습용 데이터 라벨링 작업은 많은 사람을 투입하여 적은 비용으로 많은 라벨링데이터를 확보하는 데 중점을 두고 있다. In the conventional method, the task of labeling data for AI learning is focused on securing a lot of labeling data at low cost by putting in many people.
특히 최근에 많이 활용되는 크라우드 소싱(crowd sourcing) AI 학습용 데이터 라벨링 플랫폼은 저임금의 지역 또는 나라의 많은 사람의 일반 비전문가 라벨러(labeler)를 통해 학습용 데이터에 대한 1차 라벨링을 수행하고, 라벨링 준전문가의 1차 라벨링데이터 검수를 통해 2차 고품질의 라벨링데이터를 확보하는 방식이다. In particular, the crowd-sourcing AI learning data labeling platform, which is widely used recently, performs primary labeling on training data through general non-expert labelers of many people in low-wage regions or countries, and labeling semi-experts It is a method of securing secondary high-quality labeling data through primary labeling data inspection.
크라우드 소싱 AI 학습용 데이터 라벨링은 많은 비전문가 사람들이 라벨링 작업을 수행하기 때문에 일반적인 사람의 상식적인 지식에 의해 라벨링이 가능한 경우에만 해당되며, 라벨링 대상에 대한 전문적인 지식이 필요한 경우 이와 같은 방식을 적용하기 어렵다. Crowd-sourced data labeling for AI learning is only applicable when labeling is possible by common sense knowledge of common people because many non-experts perform the labeling task, and it is difficult to apply this method if specialized knowledge about the labeling target is required. .
그러나 제조 부품의 불량 검출용 비전 품질 검사를 수행하기 위해 필요한 AI 학습용 라벨링데이터는 실제 해당 부품이 생산되는 제조 공장의 품질 담당자 등 매우 제한적인 사람들만 판단할 수 있으며, 이와 같은 품질 전문가들을 해당 제조 공장 외에서 구하기 어려운 관계로 기존 AI 학습용 데이터 라벨링 방식을 그대로 적용하기는 어렵다. However, the AI learning labeling data required to perform vision quality inspection for defect detection of manufactured parts can only be judged by very limited people, such as quality personnel at the manufacturing plant where the corresponding part is actually produced, and such quality experts can be judged at the manufacturing plant. It is difficult to apply the existing data labeling method for AI learning as it is difficult to obtain from outside.
제조 부품은 동일한 부품일지라도 모양이나 재질 및 공정에 따라 발생하는 불량 타입(type) 특성이 다르기 때문에 부품에 대한 일률적인 불량 데이터 라벨링을 수행할 수 없으며 각 제조 공정마다 불량 데이터에 대한 라벨링 작업을 따로 수행해야 한다. Since manufacturing parts have different defect type characteristics depending on the shape, material, and process even if they are the same part, uniform defect data labeling for parts cannot be performed, and defect data labeling is performed separately for each manufacturing process. Should be.
따라서 기존 AI 학습용 데이터 라벨링 작업은 각 제조 부품을 생산하는 공장 또는 기업에서 불량이 발생한 부품을 따로 촬영하여 수집하고, 수집된 데이터를 제조 공정의 현장 품질 담당자가 생산 일정 시간 외 추가 시간에 각 촬영 영상에서 불량 데이터의 라벨링 작업을 수행하도록 한다. Therefore, the existing data labeling work for AI learning is to separately photograph and collect defective parts in factories or companies that produce each manufactured part, and the on-site quality manager in the manufacturing process sends each filmed video at an additional time outside of the production schedule. Let labeling of bad data be performed in
이 방식은 현장 품질 담당자의 추가 작업에 대한 비용이 필요하며, 현장 품질 담당자가 생산 공정 외 추가로 작업을 직접 진행하기 때문에 AI 학습용 데이터 라벨링 작업 시간이 오래 걸리는 문제가 있다. 이는 비전 품질 검사 시스템을 도입하고자 하는 기업 또는 공장에 부담으로 작용하며 실제 비전 품질 검사 시스템을 도입하는데 주저하는 요인이 되고 있다. This method requires costs for additional work by field quality personnel, and since field quality personnel directly perform additional work outside of the production process, there is a problem that labeling data for AI learning takes a long time. This acts as a burden on companies or factories that want to introduce a vision quality inspection system, and becomes a factor that hesitates to introduce an actual vision quality inspection system.
본 발명의 목적은, 라벨링 작업에 전문적인 지식이 요구되는 생산 부품이더라도 AI 학습용 라벨링 데이터를 신속하게 구축할 수 있도록 이루어지는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법을 제공하는 것이다.An object of the present invention is to provide a labeling learning method of an artificial intelligence machine for smart vision inspection of production parts made to quickly build labeling data for AI learning even for production parts requiring specialized knowledge for labeling work.
상기 목적은, 본 발명에 따라, 스마트 비전검사 시스템을 이용한 인공지능머신의 라벨링 학습방법으로서, 상기 스마트 비전검사 시스템은, 생산라인에서 부품의 이미지데이터를 생성하는 카메라; 상기 이미지데이터를 수신하는 제1 라벨링장치; 상기 제1 라벨링장치와 데이터를 송수신하는 인공지능머신; 및 상기 인공지능머신과 데이터를 송수신하는 제2 라벨링장치를 포함하고, (a) 상기 인공지능머신이 상기 이미지데이터를 수신하는 단계; (b) 상기 인공지능머신이 상기 부품의 불량영역을 표시하는 제1 라벨링데이터를 생성하여 상기 이미지데이터에 연동하여 저장하고, 상기 제1 라벨링장치에 상기 이미지데이터를 송신하는 단계; (c) 상기 제1 라벨링장치에 제1 승인정보가 입력되면, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 라벨링데이터를 업로드하는 단계; (d) 상기 인공지능머신이 상기 불량영역을 표시하는 제2 라벨링데이터를 생성하여 상기 이미지데이터에 연동하여 저장하고, 상기 제2 라벨링장치에 상기 제2 라벨링데이터를 송신하는 단계; (e) 상기 제2 라벨링장치에 제2 승인정보가 입력되면, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 라벨링데이터를 업로드하는 단계; 및 (f) 상기 인공지능머신이 상기 이미지데이터에 연동되어 저장된 상기 제1 라벨링데이터 및 상기 제2 라벨링데이터를 학습하는 단계를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법에 의하여 달성된다.The above object is, according to the present invention, a labeling learning method for an artificial intelligence machine using a smart vision inspection system, the smart vision inspection system comprising: a camera for generating image data of parts in a production line; a first labeling device receiving the image data; An artificial intelligence machine for transmitting and receiving data with the first labeling device; and a second labeling device for transmitting and receiving data to and from the artificial intelligence machine, (a) receiving the image data by the artificial intelligence machine; (b) generating, by the artificial intelligence machine, first labeling data indicating a defective area of the part, storing the first labeling data in conjunction with the image data, and transmitting the image data to the first labeling device; (c) uploading, by the first labeling device, the first labeling data to the artificial intelligence machine when first approval information is input to the first labeling device; (d) generating, by the artificial intelligence machine, second labeling data indicating the defective area, storing the second labeling data in association with the image data, and transmitting the second labeling data to the second labeling device; (e) uploading, by the second labeling device, the second labeling data to the artificial intelligence machine when second approval information is input to the second labeling device; And (f) the artificial intelligence machine for learning the first labeling data and the second labeling data stored in association with the image data. It is achieved by the labeling learning method.
상기 제1 라벨링데이터는, 상기 불량영역을 지정하는 심볼; 상기 부품의 종류를 지정하는 부품분류데이터; 및 상기 불량영역의 종류를 지정하는 불량분류데이터를 포함하여 이루어질 수 있다.The first labeling data may include a symbol designating the defective area; parts classification data designating the type of the parts; and defect classification data designating the type of the defect area.
상기 제2 라벨링데이터는, 상기 좌표 데이터 안쪽의 상기 불량영역을 화소 단위로 지정하는 마스크데이터를 포함하여 이루어질 수 있다.The second labeling data may include mask data designating the defective area inside the coordinate data in units of pixels.
상기 (c)단계에서, 상기 제1 라벨링장치에 상기 제1 승인정보 대신 제1 수정라벨링데이터가 입력되면, 상기 제1 라벨링데이터가 상기 제1 수정라벨링데이터로 치환된 후, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 수정라벨링데이터를 업로드하도록 이루어질 수 있다.In the step (c), when first corrected labeling data is input instead of the first approval information to the first labeling device, the first labeling data is replaced with the first corrected labeling data, and then the first labeling device may be made to upload the first modified labeling data to the artificial intelligence machine.
상기 (e)단계에서, 상기 제2 라벨링장치에 상기 제2 승인정보 대신 제2 수정라벨링데이터가 입력되면, 상기 제2 라벨링데이터가 상기 제2 수정라벨링데이터로 치환된 후, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 수정라벨링데이터를 업로드하도록 이루어질 수 있다.In the step (e), when second corrected labeling data is input to the second labeling device instead of the second approval information, the second labeling data is replaced with the second corrected labeling data, and then the second labeling device may be made to upload the second modified labeling data to the artificial intelligence machine.
상기 제1 수정라벨링데이터는, 상기 불량영역을 지정하는 심볼; 상기 부품의 종류를 지정하는 부품분류데이터; 및 상기 불량영역의 종류를 지정하는 불량분류데이터를 포함하여 이루어질 수 있다.The first corrected labeling data may include a symbol designating the defective area; parts classification data designating the type of the parts; and defect classification data designating the type of the defect area.
상기 제2 수정라벨링데이터는, 상기 불량영역을 화소 단위로 지정하는 마스크데이터를 포함하여 이루어질 수 있다.The second corrected labeling data may include mask data designating the defective area in units of pixels.
상기 (b)단계에서 상기 인공지능머신이 상기 제1 라벨링데이터를 생성하지 않으면, 상기 제1 라벨링장치에서 제1 수정라벨링데이터가 상기 이미지데이터에 연동되어 저장된 후, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 수정라벨링데이터를 업로드하고, 상기 (d)단계가 개시되도록 이루어질 수 있다.If the artificial intelligence machine does not generate the first labeling data in the step (b), after the first corrected labeling data is stored in association with the image data in the first labeling device, the first labeling device performs the artificial intelligence The first corrected labeling data may be uploaded to an intelligent machine, and the step (d) may be initiated.
상기 (d)단계에서 상기 인공지능머신이 상기 제2 라벨링데이터를 생성하지 않으면, 상기 제2 라벨링장치에서 제2 수정라벨링데이터가 상기 이미지데이터에 연동되어 저장된 후, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 수정라벨링데이터를 업로드하고, 상기 (f)단계가 개시되도록 이루어질 수 있다.If the artificial intelligence machine does not generate the second labeling data in step (d), after the second corrected labeling data is stored in association with the image data in the second labeling device, the second labeling device performs the artificial intelligence The second corrected labeling data may be uploaded to an intelligent machine, and the step (f) may be initiated.
본 발명에 의하면, 인공지능머신에 제1 라벨링데이터 또는 제1 수정라벨링데이터가 저장된 이미지데이터를 업로드한 다음, 제2 라벨링데이터 또는 제2 수정라벨링데이터가 저장된 이미지데이터를 업로드함으로써, 라벨링 작업에 전문적인 지식이 요구되는 생산 부품이더라도 AI 학습용 라벨링 데이터를 신속하게 구축할 수 있도록 이루어지는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법을 제공할 수 있게 된다.According to the present invention, by uploading image data in which the first labeling data or the first corrected labeling data is stored and then uploading the image data in which the second labeling data or the second corrected labeling data is stored to the artificial intelligence machine, a specialized labeling operation is performed. Even for production parts that require specific knowledge, it is possible to provide an artificial intelligence machine labeling learning method for smart vision inspection of production parts that can quickly build labeling data for AI learning.
도 1은 본 발명의 일 실시예에 따른 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법의 순서도이다.
도 2는 도 1의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법에 사용되는 스마트 비전검사 시스템을 나타내는 개략도이다.
도 3은 도 1의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법의 (b)단계를 자세하게 나타내는 순서도이다.
도 4는 도 1의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법의 (d)단계를 자세하게 나타내는 순서도이다.
도 5(a)는 도 2의 불량처리된 부품의 이미지데이터를 나타내는 도면이다.
도 5(b)는 도 2의 제1 라벨링장치(12)의 화면에 출력된 이미지데이터를 나타내는 도면이다.
도 5(c)는 도 2의 제2 라벨링장치(13)의 화면에 출력된 이미지데이터를 나타내는 도면이다.
도 6은 다양한 이미지데이터를 나타내는 도면이다. 1 is a flowchart of a labeling learning method of an artificial intelligence machine for smart vision inspection of production parts according to an embodiment of the present invention.
Figure 2 is a schematic diagram showing a smart vision inspection system used in the labeling learning method of the artificial intelligence machine for smart vision inspection of production parts of FIG.
Figure 3 is a flow chart showing in detail the step (b) of the labeling learning method of the artificial intelligence machine for smart vision inspection of the production part of FIG.
Figure 4 is a flow chart showing in detail the step (d) of the labeling learning method of the artificial intelligence machine for smart vision inspection of the production part of FIG.
FIG. 5(a) is a diagram showing image data of a defectively processed part of FIG. 2 .
FIG. 5( b ) is a diagram showing image data output on the screen of the
FIG. 5(c) is a diagram showing image data output on the screen of the second labeling device 13 of FIG. 2 .
6 is a diagram showing various image data.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하면 다음과 같다. 다만, 본 발명을 설명함에 있어서, 이미 공지된 기능 혹은 구성에 대한 설명은, 본 발명의 요지를 명료하게 하기 위하여 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the present invention, descriptions of already known functions or configurations will be omitted to clarify the gist of the present invention.
본 발명의 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법은, 라벨링 작업에 전문적인 지식이 요구되는 생산 부품이더라도 AI 학습용 라벨링 데이터를 신속하게 구축할 수 있도록 이루어진다.The labeling learning method of an artificial intelligence machine for smart vision inspection of production parts of the present invention is made to quickly build labeling data for AI learning even for production parts that require specialized knowledge for labeling work.
도 1은 본 발명의 일 실시예에 따른 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)의 순서도이다. 1 is a flowchart of a labeling learning method (S100) of an
도 2는 도 1의 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)에 사용되는 스마트 비전검사 시스템(10)을 나타내는 개략도이다. 2 is a schematic diagram showing the smart
도 3은 도 1의 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)의 (b)단계(S120)를 자세하게 나타내는 순서도이다. 3 is a flowchart showing in detail step (b) (S120) of the labeling learning method (S100) of the
도 4는 도 1의 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)의 (d)단계(S140)를 자세하게 나타내는 순서도이다. 4 is a flowchart showing in detail step (S140) of the labeling learning method (S100) of the
도 5(a)는 도 2의 불량처리된 부품(1)의 이미지데이터(1A)를 나타내는 도면이다. 도 5(b)는 도 2의 제1 라벨링장치(12)의 화면에 출력된 이미지데이터(1A)를 나타내는 도면이다. 도 5(c)는 도 2의 제2 라벨링장치(13)의 화면에 출력된 이미지데이터(1A)를 나타내는 도면이다. Figure 5 (a) is a diagram showing the image data (1A) of the defective part (1) of FIG. FIG. 5( b ) is a diagram showing
도 6은 다양한 이미지데이터(1A)를 나타내는 도면이다. 6 is a diagram showing
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)은 (a)단계(S110), (b)단계(S120), (c)단계(S130), (d)단계(S140), (e)단계(S150) 및 (f)단계(S160)를 포함한다. As shown in FIG. 1, the labeling learning method (S100) of the
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)은 스마트 비전검사 시스템(10)을 이용한다. As shown in FIG. 2, the labeling learning method (S100) of the
스마트 비전검사 시스템(10)은 카메라(11), 제1 라벨링장치(12), 인공지능머신(14) 및 제2 라벨링장치(13)를 포함하여 구성된다. The smart
카메라(11)는 생산라인에서 부품(1)의 이미지데이터(1A)를 생성한다. 카메라(11)는 생산라인의 일측에 설치된다. 카메라(11)는 하나 이상 구비될 수 있다. 카메라(11)는 자동 또는 수동 작동하여 부품(1)의 이미지데이터(1A)를 생성할 수 있다. The
제1 라벨링장치(12)는 생산라인에 구비된 태블릿 또는 개인용 컴퓨터일 수 있다. 제1 라벨링장치(12)는 카메라(11)로부터 이미지데이터(1A)를 수신한다. 제1 라벨링장치(12)와 카메라(11)는 유선 또는 무선으로 통신할 수 있다. The
제1 라벨링장치(12)는 카메라(11)로부터 수신된 이미지데이터(1A)를 화면에 출력할 수 있다. 제1 라벨링장치(12)에 이미지데이터(1A)에서 부품(1)의 종류, 불량영역(1B)의 종류 및 위치 지정을 할 수 있는 응용 프로그램이 설치될 수 있다. The
전문작업자(P1)는 제1 라벨링장치(12)를 조작한다. 전문작업자(P1)는 부품(1)의 이미지데이터(1A)를 보고 부품(1) 및 불량영역의 종류를 판단할 수 있는 전문인력일 수 있다. The professional worker P1 operates the
제2 라벨링장치(13)는 생산라인과 원거리에 구비된 태블릿 또는 개인용 컴퓨터일 수 있다. 제2 라벨링장치(13)는 인공지능머신(14)과 데이터를 송수신한다. 제2 라벨링장치(13)와 인공지능머신(14)은 유선 또는 무선으로 통신할 수 있다. The second labeling device 13 may be a tablet or personal computer provided remotely from the production line. The second labeling device 13 transmits and receives data with the
제2 라벨링장치(13)는 인공지능머신(14)이 송신한 데이터를 화면에 출력할 수 있다. 제2 라벨링장치(13)에 이미지데이터(1A)에서 불량영역(1B)에 대해 화소 단위로 영역분할을 할 수 있는 응용 프로그램이 설치될 수 있다. The second labeling device 13 may output the data transmitted by the
외부작업자(P2)는 제2 라벨링장치(13)를 조작한다. 외부작업자(P2)는 부품(1)의 이미지데이터(1A)를 보고 부품(1) 및 불량영역(1B)의 종류를 판단할 수 없는 비전문인력이어도 무방하다. The external worker (P2) operates the second labeling device (13). The external worker P2 may be a non-professional person who cannot determine the type of the
인공지능머신(14)은 이미지데이터(1A)의 인식 및 학습, 부품(1) 및 불량영역(1B)의 종류 판단 및 학습에 대하여 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있다. The
머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다. 딥러닝 기술은 널리 공지된 기술이므로 이의 자세한 설명은 생략하고자 한다. Deep learning technology, a type of machine learning, can learn by going down to a multi-level deep level based on data. Deep learning can represent a set of machine learning algorithms that extract core data from a plurality of data as the level increases. Since deep learning technology is a widely known technology, a detailed description thereof will be omitted.
인공지능머신(14)은 자동으로 이미지데이터(1A)의 불량영역(1B)을 검출(localization)하기 위한 불량 위치 검출용 인공지능 모델, 검출된 불량영역(1B)을 화소 단위로 분할(segmentation) 및 지정하기 위한 불량 영역 분할용 인공지능 모델을 포함할 수 있다. The
인공지능머신(14)은 제1 라벨링장치(12) 및 제2 라벨링장치(13)와 데이터를 송수신하고 저장한다. 인공지능머신(14)은 클라우드 플랫폼(cloud platform) 기능을 포함할 수 있다. 즉, 데이터를 인터넷과 연결된 인공지능머신(14)에 저장하고, 인터넷에 접속한 제1 라벨링장치(12) 및 제2 라벨링장치(13)와 자유롭게 데이터를 송수신할 수 있다. The
도 3에 도시된 바와 같이, (a)단계(S110)는, 인공지능머신(14)이 카메라(11)로부터 이미지데이터(1A)를 수신하는 단계이다. 도 5(a)는 카메라(11)가 촬영한 이미지데이터(1A)를 나타내고 있다. As shown in FIG. 3, (a) step S110 is a step in which the
제1 라벨링장치(12)가 카메라(11)로부터 이미지데이터(1A)를 수신(S110)하면, 제1 라벨링장치(12)는 인공지능머신(14)으로 이미지데이터(1A)를 송신한다. When the
(a)단계(S110)가 완료되면, (b)단계(S120)가 수행된다. (b)단계(S120)에서 인공지능머신(14)은 우선 제1 라벨링데이터의 생성 여부를 판단(S121)한다. When step (a) (S110) is completed, step (b) (S120) is performed. (b) In step S120, the
도 5(b)에 도시된 바와 같이, 제1 라벨링데이터는 불량영역을 지정하는 심볼(D1-1)과, 부품(1)의 종류를 지정하는 부품분류데이터와, 불량영역의 종류를 지정하는 불량분류데이터를 포함한다. As shown in FIG. 5(b), the first labeling data includes a symbol D1-1 designating a defective area, parts classification data designating the type of the
머신 러닝(machine learning)은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 알고리즘을 포함한다. 인공지능머신(14)은 머신 러닝에 의한 부품(1) 및 불량영역(1B)의 학습이 진행될수록 제1 라벨링데이터의 생성 빈도 및 정확성이 향상될 수 있다. Machine learning involves algorithms that learn based on empirical data, make predictions, and improve their own performance. The
제1 라벨링데이터가 생성되면, 인공지능머신(14)은 제1 라벨링데이터를 이미지데이터(1A)에 연동하여 저장한다. 제1 라벨링데이터는 이미지데이터(1A)와 연동된 다른 형태의 데이터로 저장된다. 일 예로, 제1 라벨링데이터는 이미지데이터(1A)의 특정 영역의 좌표 데이터를 포함할 수 있다. When the first labeling data is generated, the
이후 제1 라벨링장치(12)에 제1 라벨링데이터를 송신한다. 이때 제1 라벨링장치(12)는 화면에 수신된 제1 라벨링데이터 및 입력창을 출력한다. 제1 라벨링데이터는 제1 라벨링장치(12)의 화면에 이미지데이터(1A)와 겹쳐서(overlay) 출력된다. Then, the first labeling data is transmitted to the
전문작업자(P1)는 화면에 출력된 이미지데이터(1A)와 제1 라벨링데이터를 통해 제1 라벨링데이터가 정확한지 확인할 수 있다. 제1 라벨링데이터가 정확하다고 판단되면, 전문작업자(P1)는 입력창에 제1 승인정보를 입력(S122)하게 된다. The professional worker P1 can check whether the first labeling data is correct through the
(c)단계(S130)는, 제1 라벨링장치(12)가 인공지능머신(14)에 제1 라벨링데이터를 업로드하는 단계이다. (c) Step (S130) is a step in which the
제1 라벨링장치(12)에 제1 승인정보가 입력(S122)되면, 제1 라벨링장치(12)는 인공지능머신(14)에 제1 라벨링데이터를 업로드(S130)하게 된다. 제1 라벨링데이터는 클라우드 플랫폼에 발생 시간, 부품(1) ID 등 메타 데이터와 함께 업로드되어 저장될 수 있다. When the first approval information is input to the first labeling device 12 (S122), the
도 3에 도시된 바와 같이, 전문작업자(P1)는 제1 라벨링데이터가 부정확하다고 판단되면, 제1 라벨링장치(12)에 제1 승인정보 대신 제1 수정라벨링데이터를 입력(S123)할 수 있다. As shown in FIG. 3, when the professional worker P1 determines that the first labeling data is incorrect, the
제1 수정라벨링데이터는 불량영역(1B)을 지정하는 심볼데이터(D3-1), 부품(1)의 종류를 지정하는 부품분류데이터, 불량영역(1B)의 종류를 지정하는 불량분류데이터(D3-3)를 포함할 수 있다. The first correction labeling data includes symbol data D3-1 designating the
전문작업자(P1)는 태블릿의 터치스크린 또는 PC의 마우스 등을 포함한 다양한 제1 라벨링장치(12)를 통해 화면에 출력된 이미지데이터(1A)에 불량영역(1B)을 지정할 수 있다. 불량영역(1B)을 지정하는 심볼데이터(D3-1)는 사각 박스(bounding rect) 또는 화면 그리기 이미지일 수 있다. The professional worker P1 may designate the
또는, 전문작업자(P1)는 부품(1)의 불량 위치에 직접 펜 또는 불량 표시용 스티커(S2)를 이용하여 불량 위치를 표시(도 6 참조)하고, 부품(1)을 촬영하여 제1 라벨링장치(12)에 이미지데이터(1A)를 저장할 수도 있다. S1은 펜으로 불량 위치를 표시한 것을 의미한다. Alternatively, the professional worker P1 directly marks the defective position of the
그리고 전문작업자(P1)는 제1 라벨링장치(12)의 화면에 표시된 부품(1)의 종류 중 하나를 선택하여 해당 부품(1)의 종류를 지정할 수 있다. And the professional worker (P1) can designate the type of the part (1) by selecting one of the types of parts (1) displayed on the screen of the first labeling device (12).
아울러, 전문작업자(P1)는 제1 라벨링장치(12)의 화면에 표시된 불량영역(1B)의 종류 중 하나 또는 다중을 선택하여 해당 불량영역(1B)의 종류를 지정할 수 있다. In addition, the professional operator (P1) can designate the type of the corresponding defective area (1B) by selecting one or multiple types of the defective area (1B) displayed on the screen of the first labeling device (12).
제1 라벨링장치(12)에 제1 승인정보 대신 제1 수정라벨링데이터가 입력(S123)되면, 제1 라벨링데이터가 제1 수정라벨링데이터로 치환된다. 즉, 제1 수정라벨링데이터가 이미지데이터(1A)에 연동되어 저장된다. 이후 제1 라벨링장치(12)는 인공지능머신(14)에 제1 수정라벨링데이터(1A)를 업로드(S130)하게 된다. When the first corrected labeling data is input to the
상술한 바와 같이, (b)단계(S120)에서 인공지능머신(14)은 우선 제1 라벨링데이터의 생성 여부를 판단(S121)한다. 인공지능머신(14)이 제1 라벨링데이터를 생성하지 않으면, 제1 라벨링장치(12)는 화면에 이미지데이터(1A) 및 입력창을 출력한다. 그리고 전문작업자(P1)는 제1 라벨링장치(12)에 제1 수정라벨링데이터를 입력(S123)할 수 있다. As described above, in step (b) (S120), the
제1 라벨링장치(12)에서 제1 수정라벨링데이터가 이미지데이터(1A)에 연동되어 저장된 후, 제1 라벨링장치(12)가 인공지능머신(14)에 제1 수정라벨링데이터를 업로드(S130)하고, (d)단계(S140)가 개시된다. After the first corrected labeling data is linked to and stored in the
(c)단계(S130)가 완료되면, (d)단계(S140)가 수행된다. (d)단계(S140)에서 인공지능머신(14)은 우선 제2 라벨링데이터의 생성 여부를 판단(S141)한다. When step (c) (S130) is completed, step (d) (S140) is performed. (d) In step S140, the
도 5(c)에 도시된 바와 같이, 제2 라벨링데이터는 좌표 데이터(D1-1) 안쪽의 불량영역(1B)을 화소 단위로 지정하는 마스크데이터(D2-1)와, 불량영역(1B)의 종류를 인식하는 불량분류데이터를 포함한다. As shown in FIG. 5(c), the second labeling data includes mask data D2-1 designating the
마스크데이터(mask data)란 부품(1) 사진과 동일한 크기의 화소 위치별 불량영역(1B) 유무를 나타내는 값을 가지는 데이터를 의미한다. Mask data refers to data having a value representing the presence or absence of a
마스크데이터(D2-1)의 값이 0이면, 부품(1) 사진에서 해당 위치의 화소가 불량영역(1B)에 포함되지 않는 것을 의미한다. If the value of the mask data D2-1 is 0, it means that the pixel at the corresponding position in the picture of the
마스크데이터(D2-1)의 값이 1이면(또는 0이 아니면), 부품(1)의 이미지데이터(1A)에서 해당 위치의 화소가 불량영역(1B)에 포함되는 것을 의미한다. 이뿐만 아니라 마스크데이터(D2-1)는 다양한 방식으로 불량영역(1B)에 포함되는 화소에 대해 구별할 수 있는 데이터를 포함할 수 있다. If the value of the mask data D2-1 is 1 (or not 0), it means that the pixel at the corresponding position in the
머신 러닝(machine learning)은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 알고리즘을 포함한다. 머신 러닝에 의한 부품(1) 및 불량영역(1B)의 학습이 진행될수록 제2 라벨링데이터의 생성 빈도 및 정확성이 향상될 수 있다. Machine learning involves algorithms that learn based on empirical data, make predictions, and improve their own performance. As learning of the
제2 라벨링데이터가 생성되면, 인공지능머신(14)은 제2 라벨링데이터를 이미지데이터(1A)에 연동하여 저장한다. 제2 라벨링데이터는 이미지데이터(1A)와 연동된 다른 형태의 데이터로 저장된다. 일 예로, 제2 라벨링데이터는 이미지데이터(1A)의 특정 영역의 좌표 데이터를 포함할 수 있다. When the second labeling data is generated, the
이후 제2 라벨링장치(13)에 이미지데이터(1A)를 송신한다. 이때 제2 라벨링장치(13)는 화면에 수신된 제2 라벨링데이터 및 입력창을 출력한다. 제2 라벨링데이터는 제2 라벨링장치(13)의 화면에 이미지데이터(1A)와 겹쳐서(overlay) 출력된다. Then, the
외부작업자(P2)는 화면에 출력된 이미지데이터(1A) 및 제2 라벨링데이터를 통해 제2 라벨링데이터가 정확한지 확인할 수 있다. 제2 라벨링데이터가 정확하다고 판단되면, 외부작업자(P2)는 입력창에 제2 승인정보를 입력(S142)하게 된다. The external worker P2 can check whether the second labeling data is correct through the
(e)단계(S150)는, 제2 라벨링장치(13)가 인공지능머신(14)에 제2 라벨링데이터를 업로드하는 단계이다. Step (e) (S150) is a step in which the second labeling device 13 uploads the second labeling data to the
제2 라벨링장치(13)에 제2 승인정보가 입력(S142)되면, 제2 라벨링장치(13)는 인공지능머신(14)에 제2 라벨링데이터를 업로드(S150)하게 된다. 제2 라벨링데이터는 클라우드 플랫폼에 발생 시간, 부품(1) ID 등 메타 데이터와 함께 업로드되어 저장될 있다. When the second approval information is input to the second labeling device 13 (S142), the second labeling device 13 uploads the second labeling data to the artificial intelligence machine 14 (S150). The second labeling data may be uploaded and stored in the cloud platform together with meta data such as generation time and part (1) ID.
도 4에 도시된 바와 같이, 외부작업자(P2)는 제2 라벨링데이터가 부정확하다고 판단되면, 제2 라벨링장치(13)에 제2 승인정보 대신 제2 수정라벨링데이터를 입력(S143)할 수 있다. As shown in FIG. 4, when the second labeling data is determined to be incorrect, the external worker P2 may input second corrected labeling data instead of the second approval information to the second labeling device 13 (S143). .
제2 수정라벨링데이터는 불량영역(1B)을 화소 단위로 지정하는 마스크데이터(D4-1)를 포함할 수 있다. The second corrected labeling data may include mask data D4-1 designating the
도 5(c)에 도시된 바와 같이, 외부작업자(P2)는 태블릿의 터치스크린 또는 PC의 마우스 등을 포함한 다양한 제2 라벨링장치(13)를 통해 화면에 출력된 이미지데이터(1A)의 불량영역(1B)을 화소 단위로 지정할 수 있다. As shown in FIG. 5(c), the external worker P2 has a defective area of the
제2 라벨링장치(13)에 제2 승인정보 대신 제2 수정라벨링데이터가 입력(S143)되면, 제2 라벨링데이터가 제2 수정라벨링데이터로 치환된다. 즉, 제2 수정라벨링데이터가 이미지데이터(1A)에 연동되어 저장된다. 이후 제2 라벨링장치(13)는 인공지능머신(14)에 제2 수정라벨링데이터를 업로드(S150)하게 된다. When the second corrected labeling data is input to the second labeling device 13 instead of the second approval information (S143), the second labeling data is replaced with the second corrected labeling data. That is, the second corrected labeling data is stored in association with the
상술한 바와 같이, (d)단계(S140)에서 인공지능머신(14)은 우선 제2 라벨링데이터의 생성 여부를 판단(S141)한다. 인공지능머신(14)이 제2 라벨링데이터를 생성하지 않으면, 제2 라벨링장치(13)는 화면에 이미지데이터(1A) 및 입력창을 출력한다. 그리고 외부작업자(P2)는 제2 라벨링장치(13)에 제2 수정라벨링데이터를 입력(S143)할 수 있다. As described above, in step (d) (S140), the
제2 라벨링장치(13)에서 제2 수정라벨링데이터가 이미지데이터(1A)에 연동되어 저장된 후, 제2 라벨링장치(13)가 인공지능머신(14)에 제2 수정라벨링데이터를 업로드(S150)하고, (f)단계(S160)가 개시된다. After the second corrected labeling data is stored in association with the
도 4에 도시된 바와 같이, (f) 인공지능머신(14)이 이미지데이터(1A)에 연동되어 저장된 제1 라벨링데이터 및 제2 라벨링데이터를 학습하는 단계이다. As shown in FIG. 4, (f) the
제1 라벨링장치(12)가 인공지능머신(14)에 제1 라벨링데이터를 업로드(S130)하는 횟수가 증가할수록, 불량위치 검출용 AI 모델의 학습에 사용되는 학습데이터가 증가하여, 불량위치 검출용 AI 모델의 불량위치 검출성능은 향상된다. As the number of times the
따라서 제1 라벨링장치(12)가 인공지능머신(14)에 제1 라벨링데이터를 업로드(S130)하는 횟수가 증가할수록, 전문작업자(P1)가 불량위치를 직접 지정(S123)하는 수작업의 빈도를 줄일 수 있어 (b)단계(S120)가 빠르게 진행될 수 있다. Therefore, as the number of times the
또한, 제2 라벨링장치(13)가 인공지능머신(14)에 제2 라벨링데이터를 업로드(S150)하는 횟수가 증가할수록, 불량영역(1B) 분할용 AI 모델의 학습에 사용되는 학습데이터가 증가하여, 불량영역(1B) 분할용 AI 모델의 불량영역(1B) 분할성능이 향상된다. In addition, as the number of times the second labeling device 13 uploads the second labeling data to the artificial intelligence machine 14 (S150) increases, the learning data used for learning the AI model for dividing the
따라서 제2 라벨링장치(13)가 인공지능머신(14)에 제2 라벨링데이터를 업로드(S150)하는 횟수가 증가할수록, 외부작업자(P2)가 불량영역(1B)을 화소별로 마스크데이터(D4-1)를 지정(S143)하는 수작업의 빈도를 줄일 수 있어 (d)단계(S140)가 빠르게 진행될 수 있다. Therefore, as the number of times the second labeling device 13 uploads the second labeling data to the artificial intelligence machine 14 (S150) increases, the external worker P2 sets the
본 발명에 의하면, 생산라인에서 품질검사 담당자가 불량위치와 불량타입 등 필수적인 요소만 입력 처리하는 단계(S123)와, AI 모델링을 학습하기 위해 필요한 불량영역(1B)에 대한 화소단위 분할을 수행하는 단계(S143)를 이원화하여 처리함으로써, 제조 분야에서 현장 품질 담당자 등 전문적인 사람만 가능한 제조 부품(1) 불량 데이터에 대한 라벨링(S123)을 신속하게 수행할 수 있는 이점이 있다. According to the present invention, the quality inspector in the production line inputs and processes only essential elements such as defect location and defect type (S123), and performs pixel unit segmentation on the
또한, 제조 현장에서 실제 사용되는 부품(1)의 불량위치 표시방법인 유성펜 등 펜을 이용한 부품(1) 표면 내 표기 및 불량위치 표기용 스티커(S2) 표기를 지원함으로써, IT 기술에 익숙하지 않은 제조 현장 품질 담당자가 빠르게 라벨링(S123)을 수행할 수 있는 이점이 있다. In addition, by supporting marking on the surface of parts (1) using a pen such as an oil pen, which is a method of marking the location of defects of parts (1) actually used at manufacturing sites, and marking stickers (S2) for marking the location of defects, it is possible to help those who are not familiar with IT technology. There is an advantage in that the quality manager at the manufacturing site can quickly perform labeling (S123).
또한, 부품(1) 양불 판정용 AI 데이터 라벨링 작업을 부품(1) 생산 공정 단계과 연계하여 수행함으로써, 부품(1) 양불 판정용 비전 품질 검사 시스템 도입시 요구되는 AI 모델 학습용 라벨링 데이터 확보 시간 및 비용을 크게 단축하여, 기존보다 빠르게 비전 품질 시스템을 도입할 수 있는 이점이 있다. In addition, by performing the AI data labeling work for determining pass/fail of the part (1) in conjunction with the production process stage of the part (1), the time and cost of securing labeling data for learning the AI model required when introducing the vision quality inspection system for determining pass/fail of the part (1) , and has the advantage of being able to introduce the vision quality system faster than before.
아울러, 본 발명에 의하면, 인공지능머신(14)에 제1 라벨링데이터 또는 제1 수정라벨링데이터를 업로드한 다음, 제2 라벨링데이터 또는 제2 수정라벨링데이터를 업로드함으로써, 라벨링 작업에 전문적인 지식이 요구되는 생산 부품(1)이더라도 AI 학습용 라벨링 데이터를 신속하게 구축할 수 있도록 이루어지는 생산부품(1)의 스마트 비전검사를 위한 인공지능머신(14)의 라벨링 학습방법(S100)을 제공할 수 있게 된다.In addition, according to the present invention, by uploading the first labeling data or the first corrected labeling data to the
앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명한 일이다. 따라서, 그러한 수정예 또는 변형예들은 본 발명의 기술적 사상이나 관점으로부터 개별적으로 이해되어서는 안되며, 변형된 실시예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.In the foregoing, although specific embodiments of the present invention have been described and shown, the present invention is not limited to the described embodiments, and it is common knowledge in the art that various modifications and variations can be made without departing from the spirit and scope of the present invention. It is self-evident to those who have Therefore, such modifications or variations should not be individually understood from the technical spirit or viewpoint of the present invention, and modified embodiments should fall within the scope of the claims of the present invention.
S100 : 라벨링 학습방법
S110 : (a)단계
S120 : (b)단계
S130 : (c)단계
S140 : (d)단계
S150 : (e)단계
S160 : (f)단계
10 : 비전검사 시스템
11 : 카메라
12 : 제1 라벨링장치
13 : 제2 라벨링장치
14 : 인공지능머신
1 : 부품
1A : 이미지데이터
1B : 불량영역
S2 : 스티커
D1-1 : 좌표 데이터
D2-1 : 마스크데이터
D3-1 : 심볼데이터
D3-3 : 불량분류데이터
D4-1 : 마스크데이터
P1 : 현장작업자
P2 : 외부작업자S100: Labeling learning method
S110: Step (a)
S120: Step (b)
S130: Step (c)
S140: Step (d)
S150: (e) step
S160: Step (f)
10: vision inspection system
11 : Camera
12: first labeling device
13: second labeling device
14: AI machine
1: Parts
1A: image data
1B: bad area
S2: Sticker
D1-1: coordinate data
D2-1: mask data
D3-1: symbol data
D3-3: Defect Classification Data
D4-1: mask data
P1: Field workers
P2: External worker
Claims (9)
상기 스마트 비전검사 시스템은,
생산라인에서 부품의 이미지데이터를 생성하는 카메라;
상기 생산라인에 구비되어 상기 이미지데이터를 수신하고, 전문작업자가 상기 이미지데이터에서 상기 부품의 종류, 상기 부품의 불량영역의 종류 및 위치 지정을 할 수 있는 응용 프로그램이 설치된 제1 라벨링장치;
상기 제1 라벨링장치와 데이터를 송수신하고, 자동으로 상기 이미지데이터의 상기 불량영역을 검출(localization)하기 위한 불량 위치 검출용 인공지능 모델, 검출된 상기 불량영역을 화소 단위로 분할(segmentation) 및 지정하기 위한 불량 영역 분할용 인공지능 모델을 포함하는 인공지능머신; 및
상기 생산라인과 원거리에 구비되어 상기 인공지능머신과 데이터를 송수신하고, 외부작업자가 상기 이미지데이터에서 상기 불량영역에 대해 화소 단위로 영역분할을 할 수 있는 응용 프로그램이 설치된 제2 라벨링장치를 포함하고,
(a) 상기 인공지능머신이 상기 이미지데이터를 수신하는 단계;
(b) 상기 인공지능머신이 상기 부품의 불량영역을 표시하는 제1 라벨링데이터를 생성하여 상기 이미지데이터에 연동하여 저장하고, 상기 제1 라벨링장치에 상기 제1 라벨링데이터를 송신하는 단계;
(c) 상기 제1 라벨링장치에 상기 전문작업자에 의한 제1 승인정보가 입력되면, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 라벨링데이터를 업로드하는 단계;
(d) 상기 인공지능머신이 상기 불량영역을 표시하는 제2 라벨링데이터를 생성하여 상기 이미지데이터에 연동하여 저장하고, 상기 제2 라벨링장치에 상기 제2 라벨링데이터를 송신하는 단계;
(e) 상기 제2 라벨링장치에 상기 외부작업자에 의한 제2 승인정보가 입력되면, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 라벨링데이터를 업로드하는 단계; 및
(f) 상기 인공지능머신이 상기 이미지데이터에 연동되어 저장된 상기 제1 라벨링데이터 및 상기 제2 라벨링데이터를 학습하는 단계를 포함하고,
상기 (e)단계에서,
상기 제2 라벨링장치에 상기 제2 승인정보 대신 상기 외부작업자에 의한 제2 수정라벨링데이터가 입력되면, 상기 제2 라벨링데이터가 상기 제2 수정라벨링데이터로 치환된 후, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 수정라벨링데이터를 업로드하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.As a labeling learning method for an artificial intelligence machine using a smart vision inspection system,
The smart vision inspection system,
A camera that generates image data of parts in a production line;
A first labeling device provided in the production line to receive the image data and having an application program installed therein which allows a professional worker to designate the type of the part and the type and location of the defective area of the part from the image data;
An artificial intelligence model for detecting a defective location for transmitting and receiving data with the first labeling device and automatically detecting (localization) the defective area of the image data, and segmenting and designating the detected defective area in pixel units An artificial intelligence machine including an artificial intelligence model for segmentation of defective regions to perform; and
A second labeling device provided with an application program installed remotely from the production line to transmit and receive data to and from the artificial intelligence machine, and allowing an external worker to divide the defective area in pixel units in the image data; ,
(a) receiving the image data by the artificial intelligence machine;
(b) generating, by the artificial intelligence machine, first labeling data indicating a defective area of the part, storing the first labeling data in conjunction with the image data, and transmitting the first labeling data to the first labeling device;
(c) uploading, by the first labeling device, the first labeling data to the artificial intelligence machine when the first approval information by the professional operator is input to the first labeling device;
(d) generating, by the artificial intelligence machine, second labeling data indicating the defective area, storing the second labeling data in association with the image data, and transmitting the second labeling data to the second labeling device;
(e) uploading, by the second labeling device, the second labeling data to the artificial intelligence machine when the second approval information by the external worker is input to the second labeling device; and
(f) learning, by the artificial intelligence machine, the first labeling data and the second labeling data stored in association with the image data;
In step (e),
When second corrected labeling data by the external worker is input to the second labeling device instead of the second approval information, after the second labeling data is replaced with the second corrected labeling data, the second labeling device A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that for uploading the second corrected labeling data to the artificial intelligence machine.
상기 제1 라벨링데이터는,
상기 불량영역을 지정하는 심볼; 및
상기 부품의 종류를 지정하는 부품분류데이터; 및
상기 불량영역의 종류를 지정하는 불량분류데이터를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.According to claim 1,
The first labeling data,
a symbol designating the defective area; and
parts classification data designating the type of the parts; and
A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that it includes defect classification data specifying the type of the defect area.
상기 제1 라벨링데이터는 상기 이미지데이터의 특정 영역의 좌표 데이터를 포함하고,
상기 제2 라벨링데이터는,
상기 좌표 데이터 안쪽의 상기 불량영역을 화소 단위로 지정하는 마스크데이터를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.According to claim 2,
The first labeling data includes coordinate data of a specific region of the image data,
The second labeling data,
A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that it includes mask data designating the defective area inside the coordinate data in pixel units.
상기 (c)단계에서,
상기 제1 라벨링장치에 상기 제1 승인정보 대신 제1 수정라벨링데이터가 입력되면, 상기 제1 라벨링데이터가 상기 제1 수정라벨링데이터로 치환된 후, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 수정라벨링데이터를 업로드하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.According to claim 1,
In step (c),
When first corrected labeling data is input instead of the first approval information to the first labeling device, after the first labeling data is replaced with the first corrected labeling data, the first labeling device sends the artificial intelligence machine to the first corrected labeling data. A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that for uploading the first corrected labeling data.
상기 제1 수정라벨링데이터는,
상기 불량영역을 지정하는 심볼; 및
상기 부품의 종류를 지정하는 부품분류데이터; 및
상기 불량영역의 종류를 지정하는 불량분류데이터를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.According to claim 4,
The first modified labeling data,
a symbol designating the defective area; and
parts classification data designating the type of the parts; and
A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that it includes defect classification data specifying the type of the defect area.
상기 제2 수정라벨링데이터는,
상기 불량영역을 화소 단위로 지정하는 마스크데이터를 포함하는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.According to claim 1,
The second modified labeling data,
A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that it includes mask data designating the defective area in pixel units.
상기 (b)단계에서 상기 인공지능머신이 상기 제1 라벨링데이터를 생성하지 않으면, 상기 제1 라벨링장치에서 제1 수정라벨링데이터가 상기 이미지데이터에 연동되어 저장된 후, 상기 제1 라벨링장치가 상기 인공지능머신에 상기 제1 수정라벨링데이터를 업로드하고, 상기 (d)단계가 개시되는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.According to claim 1,
If the artificial intelligence machine does not generate the first labeling data in the step (b), after the first corrected labeling data is stored in association with the image data in the first labeling device, the first labeling device performs the artificial intelligence A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that the first corrected labeling data is uploaded to the intelligent machine, and the step (d) is initiated.
상기 (d)단계에서 상기 인공지능머신이 상기 제2 라벨링데이터를 생성하지 않으면, 상기 제2 라벨링장치에서 제2 수정라벨링데이터가 상기 이미지데이터에 연동되어 저장된 후, 상기 제2 라벨링장치가 상기 인공지능머신에 상기 제2 수정라벨링데이터를 업로드하고, 상기 (f)단계가 개시되는 것을 특징으로 하는 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법.According to claim 8,
If the artificial intelligence machine does not generate the second labeling data in step (d), after the second corrected labeling data is stored in association with the image data in the second labeling device, the second labeling device performs the artificial intelligence A labeling learning method of an artificial intelligence machine for smart vision inspection of production parts, characterized in that the second corrected labeling data is uploaded to the intelligent machine, and the step (f) is initiated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200174771A KR102524151B1 (en) | 2020-12-14 | 2020-12-14 | Labeling learning method of artificial intelligence machine for smart products inspection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200174771A KR102524151B1 (en) | 2020-12-14 | 2020-12-14 | Labeling learning method of artificial intelligence machine for smart products inspection |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220085115A KR20220085115A (en) | 2022-06-22 |
KR102524151B1 true KR102524151B1 (en) | 2023-04-21 |
Family
ID=82216492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200174771A KR102524151B1 (en) | 2020-12-14 | 2020-12-14 | Labeling learning method of artificial intelligence machine for smart products inspection |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102524151B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240053954A (en) | 2022-10-18 | 2024-04-25 | 주식회사 스누아이랩 | Apparatus for Environment Adaptive Machine Vision and Driving Method Thereof |
KR102568037B1 (en) * | 2022-11-23 | 2023-08-18 | 세종대학교산학협력단 | Pipe recognition model generation method and apparatus, method and system for determining pipe abnormal area using the same |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016181098A (en) * | 2015-03-24 | 2016-10-13 | 株式会社Screenホールディングス | Area detection device and area detection method |
JP2017151813A (en) | 2016-02-25 | 2017-08-31 | ファナック株式会社 | Image processing device for displaying object detected from input image |
JP2017224027A (en) | 2016-06-13 | 2017-12-21 | 三菱電機インフォメーションシステムズ株式会社 | Machine learning method related to data labeling model, computer and program |
JP2019101535A (en) * | 2017-11-29 | 2019-06-24 | コニカミノルタ株式会社 | Teacher data preparation device and method thereof and image segmentation device and method thereof |
JP2020024110A (en) | 2018-08-06 | 2020-02-13 | 株式会社マイクロ・テクニカ | Inspection device and inspection method |
JP2020060398A (en) | 2018-10-05 | 2020-04-16 | オムロン株式会社 | Estimation unit generator, inspection device, method for generating estimation unit, and estimation generation program |
-
2020
- 2020-12-14 KR KR1020200174771A patent/KR102524151B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016181098A (en) * | 2015-03-24 | 2016-10-13 | 株式会社Screenホールディングス | Area detection device and area detection method |
JP2017151813A (en) | 2016-02-25 | 2017-08-31 | ファナック株式会社 | Image processing device for displaying object detected from input image |
JP2017224027A (en) | 2016-06-13 | 2017-12-21 | 三菱電機インフォメーションシステムズ株式会社 | Machine learning method related to data labeling model, computer and program |
JP2019101535A (en) * | 2017-11-29 | 2019-06-24 | コニカミノルタ株式会社 | Teacher data preparation device and method thereof and image segmentation device and method thereof |
JP2020024110A (en) | 2018-08-06 | 2020-02-13 | 株式会社マイクロ・テクニカ | Inspection device and inspection method |
JP2020060398A (en) | 2018-10-05 | 2020-04-16 | オムロン株式会社 | Estimation unit generator, inspection device, method for generating estimation unit, and estimation generation program |
Also Published As
Publication number | Publication date |
---|---|
KR20220085115A (en) | 2022-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3480735B1 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
KR102022496B1 (en) | Process management and monitoring system using vision image detection and a method thereof | |
US11763443B2 (en) | Method for monitoring manufacture of assembly units | |
EP3502966B1 (en) | Data generation apparatus, data generation method, and data generation program | |
US11449980B2 (en) | System and method for combined automatic and manual inspection | |
CN108701237B (en) | Method for automatically generating common measurements across multiple assembly units | |
KR20190063839A (en) | Method and System for Machine Vision based Quality Inspection using Deep Learning in Manufacturing Process | |
KR102094341B1 (en) | System for analyzing pot hole data of road pavement using AI and for the same | |
KR20190075707A (en) | Method for sorting products using deep learning | |
KR102524151B1 (en) | Labeling learning method of artificial intelligence machine for smart products inspection | |
US10423669B2 (en) | Manufacturing process visualization apparatus and method | |
CN109060817B (en) | Artificial intelligence reinspection system and method thereof | |
JP2022507678A (en) | Optimization of setup stage in automated visual inspection process | |
CN114662208A (en) | Construction visualization system and method based on Bim technology | |
US20100194562A1 (en) | Failure recognition system | |
US20220284699A1 (en) | System and method of object detection using ai deep learning models | |
CN116091506B (en) | Machine vision defect quality inspection method based on YOLOV5 | |
KR102198028B1 (en) | Position Verification Method for Equipment Layout at 3D Design of Smart Factory | |
CN113469991B (en) | Visual online detection method for laser welding spot of lithium battery tab | |
KR20240064037A (en) | How to identify and characterize surface defects of objects and cracks in brake discs by artificial intelligence through fatigue testing | |
CN115631169A (en) | Product detection method and device, electronic equipment and storage medium | |
CN111709991B (en) | Railway tool detection method, system, device and storage medium | |
Ivanovska et al. | Visual Inspection and Error Detection in a Reconfigurable Robot Workcell: An Automotive Light Assembly Example. | |
US20200150909A1 (en) | Device And Method For Checking The Printing of an Article | |
KR102623979B1 (en) | Masking-based deep learning image classification system and method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |