KR102594602B1 - Vehicle painting systems and methods - Google Patents
Vehicle painting systems and methods Download PDFInfo
- Publication number
- KR102594602B1 KR102594602B1 KR1020220080763A KR20220080763A KR102594602B1 KR 102594602 B1 KR102594602 B1 KR 102594602B1 KR 1020220080763 A KR1020220080763 A KR 1020220080763A KR 20220080763 A KR20220080763 A KR 20220080763A KR 102594602 B1 KR102594602 B1 KR 102594602B1
- Authority
- KR
- South Korea
- Prior art keywords
- painting
- vehicle
- paint
- damaged area
- height
- Prior art date
Links
- 238000010422 painting Methods 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims abstract description 45
- 239000003973 paint Substances 0.000 claims abstract description 41
- 238000005507 spraying Methods 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 15
- 239000007921 spray Substances 0.000 claims description 28
- 238000013135 deep learning Methods 0.000 claims description 17
- 238000007591 painting process Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 13
- 238000002347 injection Methods 0.000 claims description 8
- 239000007924 injection Substances 0.000 claims description 8
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims 2
- 229910052709 silver Inorganic materials 0.000 claims 2
- 239000004332 silver Substances 0.000 claims 2
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
- B05B13/00—Machines or plants for applying liquids or other fluent materials to surfaces of objects or other work by spraying, not covered by groups B05B1/00 - B05B11/00
- B05B13/02—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work
- B05B13/04—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work the spray heads being moved during spraying operation
- B05B13/0431—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work the spray heads being moved during spraying operation with spray heads moved by robots or articulated arms, e.g. for applying liquid or other fluent material to 3D-surfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
- B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
- B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
- B05B12/12—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus
- B05B12/124—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus responsive to distance between spray apparatus and target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
- B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
- B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
- B05B12/12—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus
- B05B12/126—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus responsive to target velocity, e.g. to relative velocity between spray apparatus and target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
- B05B13/00—Machines or plants for applying liquids or other fluent materials to surfaces of objects or other work by spraying, not covered by groups B05B1/00 - B05B11/00
- B05B13/02—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work
- B05B13/04—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work the spray heads being moved during spraying operation
- B05B13/0426—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work the spray heads being moved during spraying operation with spray heads moved along a closed path
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D—PROCESSES FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D5/00—Processes for applying liquids or other fluent materials to surfaces to obtain special surface effects, finishes or structures
- B05D5/005—Repairing damaged coatings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D—PROCESSES FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D7/00—Processes, other than flocking, specially adapted for applying liquids or other fluent materials to particular surfaces or for applying particular liquids or other fluent materials
- B05D7/14—Processes, other than flocking, specially adapted for applying liquids or other fluent materials to particular surfaces or for applying particular liquids or other fluent materials to metal, e.g. car bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D—PROCESSES FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D2202/00—Metallic substrate
Abstract
실시예에 따른 차량 도장 시스템 및 방법은 차량 모델에 따른 도색 정보를 데이터베이스화 하고, 도색 정보 데이터베이스에서 차량 모델에 기반한 도색 정보를 추출하여, 차량 도색을 수행할 수 있도록 한다. 또한, 실시예에서는 차량 외면의 곡률에 따라 도료의 분사 높이를 조정하여 도료가 차량 표면으로부터 일정한 높이에서 분사되도록 제어하여 도장 마감 품질을 향상시킬 수 있도록 한다. 또한, 실시예에서는 도장이 필요한 훼손 영역을 추출하고 추출된 훼손 영역에 도장을 수행하여 도장이 필요한 부분에만 도장을 수행할 수 있도록 한다.
또한, 실시예에서는 도장 수행 시의 전문가 모션 정보를 획득하고 전문가 모션 정보를 모델링하여 모델링 된 전문가 모션 정보를 도장 로봇에 학습시켜 적용함으로써, 도장 품질을 향상시킬 수 있도록 한다. 또한, 실시예에서는 도장 1차 완료 후 품질 검증을 수행하여 검증 결과에 따라 재작동을 실시하여 도장 완성도 및 고객 만족도를 향상시킬 수 있도록 한다.The vehicle painting system and method according to the embodiment creates a database of painting information according to the vehicle model, extracts painting information based on the vehicle model from the painting information database, and allows vehicle painting to be performed. In addition, in the embodiment, the spraying height of the paint is adjusted according to the curvature of the vehicle's exterior surface so that the paint is sprayed at a constant height from the vehicle surface, thereby improving the quality of the paint finish. Additionally, in the embodiment, a damaged area requiring painting is extracted and painting is performed on the extracted damaged area, so that painting can be performed only on areas that require painting.
Additionally, in the embodiment, expert motion information is acquired when painting is performed, the expert motion information is modeled, and the modeled expert motion information is learned and applied to the painting robot, thereby improving painting quality. In addition, in the embodiment, quality verification is performed after the first painting is completed and reoperation is performed according to the verification results to improve painting completeness and customer satisfaction.
Description
본 개시는 차량 도장 시스템 및 방법에 관한 것으로 구체적으로, 차량 도장 로봇에서 도장이 필요한 영역을 추출하고, 추출된 영역에 도료를 균일하게 분사하여 본래의 차체 형상과 색으로 복구시키는 시스템 및 방법에 관한 것이다.The present disclosure relates to a vehicle painting system and method, and specifically, to a system and method for extracting an area requiring painting from a vehicle painting robot and uniformly spraying paint on the extracted area to restore the original shape and color of the vehicle body. will be.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, the material described in this section is not prior art to the claims of this application, and is not admitted to be prior art by inclusion in this section.
자동차 도장이란 손상된 자동차의 보디와 차체패널을 수리 및 교환한 후 도료의 조색과 도장작업을 통하여 본래의 차체형 상과 색상으로 복구시켜 자동차의 표면을 보호하고 미적효과 및 컬러특수성을 부여하기 위하여 자동차에 도장하는 일이다. 사고나 일상적 접촉으로 차량 표면에 스크래치 등이 발생되는 경우가 많다. 하지만, 자동차 도장은 아주 복잡한 형상과 구조라도 도장되지 않고 남는 부분이 없이 마감되어야 하고, 도장에 의해 우수한 외관과 고도의 내구성을 제공해야 한다. 또한, 차량 도장의 경우 색의 종류가 매우 많으며 차의 모델 변경에 따라 교체되고, 자동차 차체에 적용되는 기타의 재료들(접착제, 필러, 고무, 플라스틱, 방음재, 왁스, 유류 등)과의 접촉에서 문제를 일으킬 가능성이 있기 때문에 매우 까다로운 작업이다. Automobile painting refers to repairing and replacing the damaged car body and body panels, then restoring the original car body shape and color through paint mixing and painting work to protect the surface of the car and provide aesthetic effects and color specificity. It is a painting job. Scratches often occur on the surface of vehicles due to accidents or everyday contact. However, automobile painting must be finished without leaving any unpainted parts, even in very complex shapes and structures, and must provide excellent appearance and high durability through painting. In addition, in the case of vehicle paint, there are many different colors and they are changed according to changes in the car model, and they are used in contact with other materials (adhesives, fillers, rubber, plastics, soundproofing materials, wax, oil, etc.) applied to the car body. This is a very difficult task because it has the potential to cause problems.
또한, 종래의 차량 도장 시스템은 도장영역이 원래 차의 색과 다른 색으로 입혀지거나, 차량 곡률에 따라 도장된 표면의 상태가 미세하게 변경되는 경우가 많아서 도장 이후 차량의 심미성이 훼손되는 경우가 빈번하다. In addition, in the conventional vehicle painting system, the painted area is often painted in a different color from the original color of the car, or the condition of the painted surface is slightly changed depending on the curvature of the vehicle, so the aesthetics of the vehicle are often damaged after painting. do.
실시예에 따른 차량 도장 시스템 및 방법은 차량 모델에 따른 도색 정보를 데이터베이스화 하고, 도색 정보 데이터베이스에서 차량 모델에 기반한 도색 정보를 추출하여, 차량 도색을 수행할 수 있도록 한다. The vehicle painting system and method according to the embodiment creates a database of painting information according to the vehicle model, extracts painting information based on the vehicle model from the painting information database, and allows vehicle painting to be performed.
또한, 실시예에서는 차량 외면의 곡률에 따라 도료의 분사 높이를 조정하여 도료가 차량 표면으로부터 일정한 높이에서 분사되도록 제어하여 도장 마감 품질을 향상시킬 수 있도록 한다. In addition, in the embodiment, the spraying height of the paint is adjusted according to the curvature of the vehicle's exterior surface so that the paint is sprayed at a constant height from the vehicle surface, thereby improving the quality of the paint finish.
또한, 실시예에서는 도장이 필요한 훼손 영역을 추출하고 추출된 훼손 영역에 도장을 수행하여 도장이 필요한 부분에만 도장을 수행할 수 있도록 한다.Additionally, in the embodiment, a damaged area requiring painting is extracted and painting is performed on the extracted damaged area, so that painting can be performed only on areas that require painting.
또한, 실시예에서는 도장 수행 시의 전문가 모션 정보를 획득하고 전문가 모션 정보를 모델링하여 모델링 된 전문가 모션 정보를 도장 로봇에 학습시켜 적용함으로써, 도장 품질을 향상시킬 수 있도록 한다. Additionally, in the embodiment, expert motion information is acquired when painting is performed, the expert motion information is modeled, and the modeled expert motion information is learned and applied to the painting robot, thereby improving painting quality.
또한, 실시예에서는 도장 1차 완료 후 품질 검증을 수행하여 검증 결과에 따라 재작동을 실시하여 도장 완성도 및 고객 만족도를 향상시킬 수 있도록 한다. In addition, in the embodiment, quality verification is performed after the first painting is completed and reoperation is performed according to the verification results to improve painting completeness and customer satisfaction.
실시예에 따른 차량 도장 시스템은 차량 모델의 색, 도색 과정, 도색 과정에서 필요한 도료의 양을 포함하는 도색 정보를 수집하고, 수집된 도색정보를 데이터베이스화 하는 도색 정보 수집모듈; 차량 표면 이미지를 촬영하거나 외부기기로부터 차량 표면 이미지를 전달받는 촬영 모듈; 차량 표면 이미지로부터 도장 작업이 필요한 훼손영역을 추출하는 영역 추출 모듈; 차량 모델 별 도색 정보에 따라 훼손영역의 도장 작업에 필요한 도료를 조색하고, 도료를 훼손영역에 분사하는 도장수행모듈; 을 포함한다. A vehicle painting system according to an embodiment includes a painting information collection module that collects painting information including the color of the vehicle model, a painting process, and the amount of paint required during the painting process, and converts the collected painting information into a database; A photographing module that captures a vehicle surface image or receives a vehicle surface image from an external device; Area extraction module that extracts damaged areas requiring painting work from the vehicle surface image; A painting execution module that mixes the paint necessary for painting the damaged area according to the painting information for each vehicle model and sprays the paint on the damaged area; Includes.
실시예에서 도장수행모듈; 은 전문가의 도장 과정이 저장된 영상으로부터 전문가의 모션 패턴을 추출하여 추출된 모션 패턴을 기반으로 도장로봇의 학습 모델을 생성하는 모델링부; 생성된 학습 모델을 학습하는 딥러닝부; 학습된 학습 모델에 따라 분사노즐에서 도료를 분사하여 도장작업을 수행하는 분사량 제어부; 를 포함한다. In the embodiment, a painting performance module; A modeling unit extracts the expert's motion pattern from a video of the expert's painting process and creates a learning model of the painting robot based on the extracted motion pattern; A deep learning unit that learns the generated learning model; A spray amount control unit that performs painting work by spraying paint from a spray nozzle according to the learned learning model; Includes.
실시예에서 도장수행모듈; 은 차량 표면 곡률을 인식하는 곡률 인식부; 및 인식된 곡률을 고려하여 차량 표면에서 이격된 분사 노즐의 높이가 일정하도록 분사 노즐의 높이를 조정하는 높이제어부; 를 더 포함한다. 실시예에서 분사량 제어부; 는 분사노즐의 이동 속도, 훼손영역의 크기 및 차량 표면에서 이격된 분사 노즐의 높이에 따라 도료 분사 속도를 조정한다. 실시예에서 차량 도장시스템은 도장이 완료된 훼손영역과 훼손영역을 제외한 차량 표면을 비교하여 재작업 여부를 판단하는 작업 검증 모듈; 을 더 포함할 수 있다.In the embodiment, a painting performance module; A curvature recognition unit that recognizes the curvature of the vehicle surface; and a height control unit that adjusts the height of the spray nozzle so that the height of the spray nozzle spaced from the vehicle surface is constant in consideration of the recognized curvature. It further includes. In the embodiment, an injection amount control unit; Adjusts the paint spraying speed according to the moving speed of the spraying nozzle, the size of the damaged area, and the height of the spraying nozzle spaced from the vehicle surface. In an embodiment, the vehicle painting system includes a work verification module that determines whether to rework by comparing the damaged area where the painting was completed and the surface of the vehicle excluding the damaged area; It may further include.
이상에서와 차량 도장 시스템 및 방법은 차량 외면의 곡률에 따라 도료의 분사 높이를 조정하여 도료가 차량 표면으로부터 일정한 높이에서 분사되도록 제어하여 도장 마감 품질을 향상시킬 수 있도록 한다. As described above, the vehicle painting system and method adjusts the spraying height of the paint according to the curvature of the vehicle's exterior surface to control the paint to be sprayed at a constant height from the vehicle surface, thereby improving the quality of the paint finish.
또한, 실시예에서는 도장이 필요한 훼손 영역을 추출하고 추출된 훼손 영역에 도장을 수행하여 도장이 필요한 부분에만 도장을 수행할 수 있도록 한다.Additionally, in the embodiment, a damaged area requiring painting is extracted and painting is performed on the extracted damaged area, so that painting can be performed only on areas that require painting.
또한, 실시예에서는 도장 수행 시의 전문가 모션 정보를 획득하고 전문가 모션 정보를 모델링하여 모델링 된 전문가 모션 정보를 도장 로봇에 학습시켜 적용함으로써, 도장 품질을 향상시킬 수 있도록 한다. Additionally, in the embodiment, expert motion information is acquired when painting is performed, the expert motion information is modeled, and the modeled expert motion information is learned and applied to the painting robot, thereby improving painting quality.
또한, 실시예에서는 도장 1차 완료 후 품질 검증을 수행하여 검증 결과에 따라 재작동을 실시하여 도장 완성도 및 고객 만족도를 향상시킬 수 있도록 한다.In addition, in the embodiment, quality verification is performed after the first painting is completed and reoperation is performed according to the verification results to improve painting completeness and customer satisfaction.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the effects described above, and should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.
도 1은 실시예에 따른 차량 도장 시스템의 데이터 처리 구성을 나타낸 도면.
도 2는 실시예에 따른 도장 수행모듈의 데이터 처리 구성을 나타낸 도면.
도 3은 실시예에 따른 차량 도장 시스템의 데이터 처리 흐름을 나타낸 도면.
도 4는 실시예에 따른 차량 도장 수행을 위한 데이터 처리과정을 나타낸 도면.1 is a diagram showing the data processing configuration of a vehicle painting system according to an embodiment.
Figure 2 is a diagram showing the data processing configuration of a painting performance module according to an embodiment.
Figure 3 is a diagram showing the data processing flow of a vehicle painting system according to an embodiment.
Figure 4 is a diagram showing a data processing process for vehicle painting according to an embodiment.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide common knowledge in the technical field to which the present invention pertains. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. The terms described below are terms defined in consideration of functions in embodiments of the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the contents throughout this specification.
도 1은 실시예에 따른 차량 도장 시스템의 데이터 처리 구성을 나타낸 도면이다. 도 1을 참조하면, 실시예에 따른 차량 도장 시스템(100)은 도색정보 수집모듈(110), 촬영모듈(120), 영역 추출모듈(130), 도장 수행 모듈(140) 및 작업 검증 모듈(150)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.1 is a diagram showing the data processing configuration of a vehicle painting system according to an embodiment. Referring to FIG. 1, the vehicle painting system 100 according to the embodiment includes a painting information collection module 110, a photographing module 120, an area extraction module 130, a painting performance module 140, and a work verification module 150. ) may be configured to include. The term 'module' used in this specification should be interpreted to include software, hardware, or a combination thereof, depending on the context in which the term is used. For example, software may be machine language, firmware, embedded code, and application software. As another example, hardware may be a circuit, processor, computer, integrated circuit, integrated circuit core, sensor, Micro-Electro-Mechanical System (MEMS), passive device, or a combination thereof.
도색정보 수집모듈(110)은 차량 모델 각각의 색, 도색 과정, 도색 과정에서 필요한 도료의 양을 포함하는 도색 정보를 수집하고, 수집된 도색정보를 데이터베이스화 한다. 실시예에서 도색 정보 수집모듈(110)은 차종, 출시연도 등의 차량 상세 정보에 따라 도색정보를 데이터베이스화 하고, 기존 차량 모델에 적용되지 않은 특수 도색 과정에 대한 도색 정보도 데이터베이스화 할 수 있다. 촬영모듈(120) 차량 표면 이미지를 촬영하거나 외부기기로부터 차량 표면 이미지를 전달받는다. 영역 추출모듈(130)은 차량 표면 이미지로부터 도장 작업이 필요한 훼손영역을 추출한다. 실시예에서 영역 추출모듈(130)은 저장된 차량 모델의 표준 표면 이미지와 촬영된 차량 표면 이미지를 비교하여 도장작업이 필요한 훼손영역을 추출할 수 있다. 또한, 추출모듈(130)은 촬영된 차량 표면 이미지에서 스크래치 및 색 변화 등을 인식하여 스크래치나 색변화가 일어난 영역을 훼손영역으로 추출할 수 있다. 실시예에서는 스크래치와 색변화가 일어난 영역에 도색 작업 시 필요한 여분의 영역을 포함하여 도장작업이 필요한 훼손영역을 추출할 수 있다. The painting information collection module 110 collects painting information including the color of each vehicle model, the painting process, and the amount of paint required during the painting process, and converts the collected painting information into a database. In an embodiment, the painting information collection module 110 creates a database of painting information according to detailed vehicle information such as vehicle model and year of release, and may also create a database of painting information about special painting processes that are not applied to existing vehicle models. The photographing module 120 captures a vehicle surface image or receives a vehicle surface image from an external device. The area extraction module 130 extracts damaged areas requiring painting work from the vehicle surface image. In an embodiment, the area extraction module 130 may extract a damaged area requiring painting work by comparing a standard surface image of a stored vehicle model with a photographed vehicle surface image. In addition, the extraction module 130 can recognize scratches and color changes in the captured vehicle surface image and extract the area where the scratch or color change occurred as a damaged area. In an embodiment, the damaged area requiring painting work can be extracted, including the extra area required for painting work in the area where scratches and color changes have occurred.
도장수행모듈(140)은 차량 모델 별 도색 정보에 따라 훼손영역의 도장 작업에 필요한 도료를 조색하고, 도료를 훼손영역에 분사한다. 작업 검증 모듈(150)은 도장이 완료된 훼손영역과 훼손영역을 제외한 차량 표면을 비교하여 재작업 여부를 판단한다. 실시예에서 작업 검증 모듈(150)은 도장 작업이 완료된 차량 표면의 색상 균일도와 훼손 영역을 제외한 차량 표면과의 색상 일치율을 파악하여 재작업 여부를 판단할 수 있다. The painting performance module 140 mixes the paint necessary for painting the damaged area according to the painting information for each vehicle model and sprays the paint on the damaged area. The work verification module 150 compares the painted damaged area with the vehicle surface excluding the damaged area to determine whether or not to rework. In an embodiment, the work verification module 150 may determine whether or not to rework by determining the color uniformity of the surface of the vehicle on which the painting work has been completed and the color matching rate with the vehicle surface excluding damaged areas.
또한, 실시예에서는 인공지능 머신러닝을 통한 이미지 인식(image recognition)과정을 통해 훼손영역을 추출하고, 도장작업 완료 이후 재작업 필요 여부를 판단할 수 있다. 인공지능 이미지 인식은 기계가 마치 사람처럼 사진으로부터 사물을 인식하고 장면을 이해하는 것으로, 컴퓨터 비전 기술 중 하나에 해당한다. 실시예에서는 이미지 인식을 위해, 이미지에 포함된 차량 표면 이미지의 객체 분류(classification), 검출(detection) 및 객체를 픽셀 단위로 식별하여 분할(segmentation)하는 데이터 처리 과정을 수행한다. 실시예에서는 노이즈 대응 외 학습하지 못한 패턴 처리를 위해 학습 외 분포 데이터 탐지(out of distribution detection)과정을 수행한다. 학습 외 분포 데이터 탐지는 인공지능에 입력된 이미지가 학습된 확률분포 데이터 인지 아닌지 식별하는 것이다. 실시예에서는 학습 외 분포 데이터 탐지를 통해 인공 신경망이 판단하기 어려운 이미지를 걸러내거나 예외 처리하여 안정성과 신뢰성을 높일 수 있도록 한다. 실시예에서는 학습 외 분포 데이터 탐지를 위해서 딥러닝 판정에 대해 얼마나 확신(confidence)하는지를 나타내는 확률 값을 보정(calibration)하거나 학습 외 분포 데이터를 생성적 대립 신경망(GAN, Generative Adversarial Network)으로 생성하고 학습하여 탐지 정확도를 향상시킬 수 있도록 한다. Additionally, in the embodiment, the damaged area can be extracted through an image recognition process using artificial intelligence machine learning, and whether rework is necessary after the painting work is completed can be determined. Artificial intelligence image recognition is a type of computer vision technology in which a machine recognizes objects and understands scenes from photos just like a human. In the embodiment, for image recognition, a data processing process is performed to classify and detect objects in the vehicle surface image included in the image, and to identify and segment the objects in pixel units. In the embodiment, an out of distribution detection process other than learning is performed to process unlearned patterns other than noise response. Non-learning distribution data detection is to identify whether the image input to artificial intelligence is learned probability distribution data. In the embodiment, stability and reliability can be increased by filtering out or exception processing images that are difficult for the artificial neural network to judge through detection of distribution data other than learning. In the embodiment, in order to detect non-learning distribution data, a probability value indicating how confident one is in the deep learning decision is calibrated or non-learning distribution data is generated and learned using a generative adversarial network (GAN). This helps improve detection accuracy.
또한, 실시예에서는 이미지 인식 정확도를 유지하면서 모델의 크기를 줄이기 위해, 연산을 간소화하는 경량 딥러닝 기술을 이용하여 훼손영역 추출 및 재작업 필요 여부를 확정할 수 있도록 한다. 실시예에서는 이미지 인식을 위해 콘볼루션 신경망(CNN, Convolution Neural Network)에서 콘볼루션 필터를 변형하여 연산 차원을 축소(Reduction)하거나 큰 영향이 없는 신경망의 가중치(weight)를 삭제하는 가지치기, 가중치 값의 부동 소수점을 줄여 연산을 간소화하는 양자화 과정을 수행하여 데이터 경량화를 가능하도록 한다. 또한, 실시예에서는 미리 학습시킨 큰 신경망의 출력을 작은 신경망에서 모방 학습하도록 하여 연산을 간소화하며 정확도를 유지할 수 있도록 한다. Additionally, in the embodiment, in order to reduce the size of the model while maintaining image recognition accuracy, lightweight deep learning technology that simplifies calculations is used to extract damaged areas and determine whether rework is necessary. In the embodiment, for image recognition, a convolutional filter is modified in a convolutional neural network (CNN) to reduce the operation dimension, or pruning and weight values to delete weights of a neural network that do not have a significant impact are performed. A quantization process is performed to simplify calculations by reducing the number of floating point numbers, enabling data lightweighting. Additionally, in the embodiment, the output of a pre-trained large neural network is imitated and learned by a small neural network to simplify computation and maintain accuracy.
실시예에 따른 차량 도장 시스템 및 방법은 차량 모델에 따른 도색 정보를 데이터베이스화 하고, 도색 정보 데이터베이스에서 차량 모델에 기반한 도색 정보를 추출하여, 차량 도색을 수행할 수 있도록 한다. 또한, 실시예에서는 차량 외면의 곡률에 따라 도료의 분사 높이를 조정하여 도료가 차량 표면으로부터 일정한 높이에서 분사되도록 제어하여 도장 마감 품질을 향상시킬 수 있도록 한다. 또한, 실시예에서는 도장이 필요한 훼손 영역을 추출하고 추출된 훼손 영역에 도장을 수행하여 도장이 필요한 부분에만 도장을 수행할 수 있도록 한다.The vehicle painting system and method according to the embodiment creates a database of painting information according to the vehicle model, extracts painting information based on the vehicle model from the painting information database, and allows vehicle painting to be performed. In addition, in the embodiment, the spraying height of the paint is adjusted according to the curvature of the vehicle's exterior surface so that the paint is sprayed at a constant height from the vehicle surface, thereby improving the quality of the paint finish. Additionally, in the embodiment, a damaged area requiring painting is extracted and painting is performed on the extracted damaged area, so that painting can be performed only on areas that require painting.
또한, 실시예에서는 도장 수행 시의 전문가 모션 정보를 획득하고 전문가 모션 정보를 모델링하여 모델링 된 전문가 모션 정보를 도장 로봇에 학습시켜 적용함으로써, 도장 품질을 향상시킬 수 있도록 한다. 또한, 실시예에서는 도장 1차 완료 후 품질 검증을 수행하여 검증 결과에 따라 재작동을 실시하여 도장 완성도 및 고객 만족도를 향상시킬 수 있도록 한다. Additionally, in the embodiment, expert motion information is acquired when painting is performed, the expert motion information is modeled, and the modeled expert motion information is learned and applied to the painting robot, thereby improving painting quality. In addition, in the embodiment, quality verification is performed after the first painting is completed and reoperation is performed according to the verification results to improve painting completeness and customer satisfaction.
도 2는 실시예에 따른 도장 수행모듈의 데이터 처리 구성을 나타낸 도면이다. 도 2를 참조하면, 실시예에 따른 도장 수행모듈(140)은 모델링부(141), 딥러닝부(142), 곡률인식부(143), 높이제어부(144) 및 분사량 제어부(145)를 포함하여 구성될 수 있다. 모델링부(141)는 전문가의 도장 과정이 저장된 영상으로부터 전문가 모션 패턴을 추출하여 추출된 모션 패턴을 기반으로 도장로봇의 학습 모델을 생성한다. 실시예에서는 도장로봇이 카메라를 통해 획득한 영상으로 학습할 수 있도록, 마커가 없는 방식의 모션 캡쳐 시스템을 활용하여 전문가 모션 패턴을 추출하고 이를 학습할 수 있도록 한다. 실시예에서는 cRBM(Conditional Restricted Boltzmann Machine)을 사용하여 획득한 모션을 학습할 수 있도록 하고, 학습 모델과 동일한 스타일의 모션을 생성해낼 수 있는 비선형 생성 모델(nonlinear generative model)을 이용한다. Figure 2 is a diagram showing the data processing configuration of a painting performance module according to an embodiment. Referring to FIG. 2, the painting performance module 140 according to the embodiment includes a modeling unit 141, a deep learning unit 142, a curvature recognition unit 143, a height control unit 144, and a spray amount control unit 145. It can be configured as follows. The modeling unit 141 extracts an expert's motion pattern from a video storing the expert's painting process and creates a learning model of the painting robot based on the extracted motion pattern. In the embodiment, a markerless motion capture system is used to extract expert motion patterns and learn them so that the painting robot can learn from images acquired through a camera. In the embodiment, the motion obtained using cRBM (Conditional Restricted Boltzmann Machine) can be used to learn, and a nonlinear generative model that can generate motion in the same style as the learning model is used.
딥러닝부(142)는 생성된 학습 모델을 학습한다. 또한, 실시예에서 딥러닝부(142)는 모션 학습을 통해 인식된 모션을 수행하는 암 위치에 대한 실수값의 이동 좌표 및 관절의 회전각도로 구성된 모션 데이터를 학습한다. 또한, 실시예에서는 학습된 모션들과 동일한 작업을 수행하는 새로운 모션을 자동으로 생성하고, 생성된 모션 데이터를 신체 부위별로 분석하여 학습 데이터와의 유사성을 파악한다. The deep learning unit 142 learns the generated learning model. Additionally, in the embodiment, the deep learning unit 142 learns motion data consisting of real-value movement coordinates and rotation angles of joints for the arm position that performs the motion recognized through motion learning. Additionally, in the embodiment, a new motion that performs the same task as the learned motions is automatically created, and the generated motion data is analyzed for each body part to determine similarity to the learning data.
또한, 딥러닝부(142)는 학습 모델 데이터에서 특징 추출을 수행하고, 출력을 생성하는 규칙의 심층 구조에서 특징을 조합하는 방식을 데이터 중심적 방식으로 학습한다. 실시예에서 딥러닝부(142)는 차량 표면 곡률에 따른 분사 속도, 분사량 및 노즐 움직임 패턴에 대한 특징을 추출하고, 추출된 특징 정보를 학습한다. 실시예에서는 학습 모델 훈련 이후 학습 모델을 테스트하고, 도장 작업 품질이 예상과 다르면 학습 모델 추출, 특징추출 및 딥러닝 과정을 반복적인 개선 주기로 다시 수행한다. 실시예에서는 도장 작업 품질이 일정 수준에 도달할 때까지 딥러닝 과정을 다시 수행할 수 있다.In addition, the deep learning unit 142 extracts features from learning model data and learns how to combine features in the deep structure of rules that generate output in a data-centric manner. In the embodiment, the deep learning unit 142 extracts features about the injection speed, injection amount, and nozzle movement pattern according to the curvature of the vehicle surface, and learns the extracted feature information. In the embodiment, after training the learning model, the learning model is tested, and if the quality of the painting work is different from expected, the learning model extraction, feature extraction, and deep learning processes are performed again in an iterative improvement cycle. In an embodiment, the deep learning process may be performed again until the quality of the painting work reaches a certain level.
곡률인식부(143)은 차량 표면 곡률을 인식한다. 높이제어부(144)는 인식된 곡률을 고려하여 차량 표면에서 이격된 분사 노즐의 높이가 일정하도록 분사 노즐의 높이를 조정한다. 분사량 제어부(145)는 분사노즐의 이동 속도, 훼손영역의 크기 및 차량 표면에서 이격된 분사 노즐의 높이에 따라 도료 분사 속도를 조정한다. The curvature recognition unit 143 recognizes the curvature of the vehicle surface. The height control unit 144 adjusts the height of the spray nozzle so that the height of the spray nozzle spaced from the vehicle surface is constant in consideration of the recognized curvature. The spray amount control unit 145 adjusts the paint spray speed according to the moving speed of the spray nozzle, the size of the damaged area, and the height of the spray nozzle spaced from the vehicle surface.
이하에서는 차량 도장 방법에 대해서 차례로 설명한다. 실시예에 따른 차량 도장 방법의 작용(기능)은 위조품 탐지 시스템의 기능과 본질적으로 같은 것이므로 도 1 및 도 2와 중복되는 설명은 생략하도록 한다.Below, vehicle painting methods will be explained in turn. Since the operation (function) of the vehicle painting method according to the embodiment is essentially the same as the function of the counterfeit product detection system, descriptions overlapping with FIGS. 1 and 2 will be omitted.
도 3은 실시예에 따른 차량 도장 시스템의 데이터 처리 흐름을 나타낸 도면이다.Figure 3 is a diagram showing the data processing flow of a vehicle painting system according to an embodiment.
도 3을 참조하면, 실시예에서 S100 단계에서는 도색정보 수집 모듈에서 차량 모델 각각의 색, 도색 과정, 도색 과정에서 필요한 도료의 양을 포함하는 도색 정보를 수집하고, 수집된 도색정보를 데이터베이스화 한다. S200 단계에서는 촬영 모듈에서 차량 표면 이미지를 촬영하거나 외부기기로부터 차량 표면 이미지를 수신한다. S300 단계에서는 훼손 영역 추출모듈에서 차량 표면 이미지로부터 도장 작업이 필요한 훼손영역을 추출한다. S400 단계에서는 도장 수행모듈에서 차량 모델 별 도색 정보에 따라 훼손영역의 도장 작업에 필요한 도료를 조색하고, 상기 도료를 상기 훼손영역에 분사한다. S500 단계에서는 작업검증모듈에서 작업 검증 모듈에서 도장이 완료된 훼손영역과 훼손영역을 제외한 차량 표면을 비교하여 재작업 여부를 판단한다.Referring to FIG. 3, in the embodiment, in step S100, painting information including the color of each vehicle model, painting process, and amount of paint required for the painting process is collected in the painting information collection module, and the collected painting information is converted into a database. . In step S200, the vehicle surface image is captured by the photographing module or the vehicle surface image is received from an external device. In step S300, the damaged area that requires painting work is extracted from the vehicle surface image in the damaged area extraction module. In step S400, the painting performance module mixes the paint necessary for painting the damaged area according to the painting information for each vehicle model, and sprays the paint onto the damaged area. In step S500, the work verification module compares the painted damaged area with the vehicle surface excluding the damaged area to determine whether or not to rework.
실시예에서 S500 단계에서는 도장 작업이 완료된 차량 표면의 색상 균일도와 훼손 영역을 제외한 차량 표면과의 색상 일치율을 파악하여 재작업 여부를 판단할 수 있다. 또한, 실시예에서는 인공지능 머신러닝을 통한 이미지 인식(image recognition)과정을 통해 훼손영역을 추출하고, 도장작업 완료 이후 재작업 필요 여부를 판단할 수 있다. 인공지능 이미지 인식은 기계가 마치 사람처럼 사진으로부터 사물을 인식하고 장면을 이해하는 것으로, 컴퓨터 비전 기술 중 하나에 해당한다. 실시예에서는 이미지 인식을 위해, 이미지에 포함된 차량 표면 이미지의 객체 분류(classification), 검출(detection) 및 객체를 픽셀 단위로 식별하여 분할(segmentation)하는 데이터 처리 과정을 수행한다. 실시예에서는 노이즈 대응 외 학습하지 못한 패턴 처리를 위해 학습 외 분포 데이터 탐지(out of distribution detection)과정을 수행한다. 학습 외 분포 데이터 탐지는 인공지능에 입력된 이미지가 학습된 확률분포 데이터 인지 아닌지 식별하는 것이다. 실시예에서는 학습 외 분포 데이터 탐지를 통해 인공 신경망이 판단하기 어려운 이미지를 걸러내거나 예외 처리하여 안정성과 신뢰성을 높일 수 있도록 한다. 실시예에서는 학습 외 분포 데이터 탐지를 위해서 딥러닝 판정에 대해 얼마나 확신(confidence)하는지를 나타내는 확률 값을 보정(calibration)하거나 학습 외 분포 데이터를 생성적 대립 신경망(GAN, Generative Adversarial Network)으로 생성하고 학습하여 탐지 정확도를 향상시킬 수 있도록 한다. In the embodiment, in step S500, it is possible to determine whether or not to rework by determining the color uniformity of the surface of the vehicle on which the painting work has been completed and the color matching rate with the vehicle surface excluding damaged areas. Additionally, in the embodiment, the damaged area can be extracted through an image recognition process using artificial intelligence machine learning, and whether rework is necessary after the painting work is completed can be determined. Artificial intelligence image recognition is a type of computer vision technology in which a machine recognizes objects and understands scenes from photos just like a human. In the embodiment, for image recognition, a data processing process is performed to classify and detect objects in the vehicle surface image included in the image, and to identify and segment the objects in pixel units. In the embodiment, an out of distribution detection process other than learning is performed to process unlearned patterns other than noise response. Non-learning distribution data detection is to identify whether the image input to artificial intelligence is learned probability distribution data. In the embodiment, stability and reliability can be increased by filtering out or exception processing images that are difficult for the artificial neural network to judge through detection of distribution data other than learning. In the embodiment, in order to detect non-learning distribution data, a probability value indicating how confident one is in the deep learning decision is calibrated or non-learning distribution data is generated and learned using a generative adversarial network (GAN). This helps improve detection accuracy.
도 4는 실시예에 따른 차량 도장 수행을 위한 데이터 처리과정을 나타낸 도면이다.Figure 4 is a diagram showing a data processing process for vehicle painting according to an embodiment.
도 4를 참조하면, S410 단계에서는 모델링부에서 전문가의 도장 과정이 저장된 영상으로부터 전문가 모션 패턴을 추출하여 추출된 모션 패턴을 기반으로 도장로봇의 학습 모델을 생성한다. S420 단계에서는 딥러닝부에서 상기 생성된 학습 모델을 학습한다. S420 단계에서는 모션 학습을 통해 인식된 모션을 수행하는 암 위치에 대한 실수값의 이동 좌표 및 관절의 회전각도로 구성된 모션 데이터를 학습한다. 또한, 실시예에서는 학습된 모션들과 동일한 작업을 수행하는 새로운 모션을 자동으로 생성하고, 생성된 모션 데이터를 신체 부위별로 분석하여 학습 데이터와의 유사성을 파악할 수 있다. 또한, 학습 모델 데이터에서 특징 추출을 수행하고, 출력을 생성하는 규칙의 심층 구조에서 특징을 조합하는 방식을 데이터 중심적 방식으로 학습한다. 실시예에서 딥러닝부(142)는 차량 표면 곡률에 따른 분사 속도, 분사량 및 노즐 움직임 패턴에 대한 특징을 추출하고, 추출된 특징 정보를 학습한다. 실시예에서는 학습 모델 훈련 이후 학습 모델을 테스트하고, 도장 작업 품질이 예상과 다르면 학습 모델 추출, 특징추출 및 딥러닝 과정을 반복적인 개선 주기로 다시 수행할 수 있다. 실시예에서는 도장 작업 품질이 일정 수준에 도달할 때까지 딥러닝 과정을 다시 수행할 수 있다. Referring to FIG. 4, in step S410, the modeling unit extracts the expert's motion pattern from the video storing the expert's painting process and creates a learning model of the painting robot based on the extracted motion pattern. In step S420, the deep learning unit learns the generated learning model. In step S420, motion data consisting of real-value movement coordinates and rotation angles of joints for the arm position that performs the motion recognized through motion learning is learned. Additionally, in an embodiment, a new motion that performs the same task as the learned motions can be automatically created, and the generated motion data can be analyzed for each body part to determine similarity to the learning data. In addition, features are extracted from learning model data and a method of combining features in the deep structure of rules that generate output is learned in a data-centric manner. In the embodiment, the deep learning unit 142 extracts features about the injection speed, injection amount, and nozzle movement pattern according to the curvature of the vehicle surface, and learns the extracted feature information. In the embodiment, after training the learning model, the learning model is tested, and if the quality of the painting work is different from expected, the learning model extraction, feature extraction, and deep learning processes can be performed again in an iterative improvement cycle. In an embodiment, the deep learning process may be performed again until the quality of the painting work reaches a certain level.
S430 단계에서는 분사량 제어부에서 학습된 학습 모델에 따라 분사한다. S440 단계에서는 곡률인식부에서 차량 표면 곡률을 인식하고 S450 단계에서는 높이제어부에서 인식된 곡률을 고려하여 차량 표면에서 이격된 분사 노즐의 높이가 일정하도록 분사 노즐의 높이를 조정하는 노즐에서 도료를 분사하여 도장작업을 수행한다. In step S430, injection is performed according to the learning model learned in the injection amount control unit. In step S440, the curvature of the vehicle surface is recognized by the curvature recognition unit, and in step S450, the paint is sprayed from a nozzle that adjusts the height of the spray nozzle so that the height of the spray nozzle spaced from the vehicle surface is constant by considering the curvature recognized by the height control unit. Carry out painting work.
이상에서와 차량 도장 시스템 및 방법은 차량 외면의 곡률에 따라 도료의 분사 높이를 조정하여 도료가 차량 표면으로부터 일정한 높이에서 분사되도록 제어하여 도장 마감 품질을 향상시킬 수 있도록 한다. As described above, the vehicle painting system and method adjusts the spraying height of the paint according to the curvature of the vehicle's exterior surface to control the paint to be sprayed at a constant height from the vehicle surface, thereby improving the quality of the paint finish.
또한, 실시예에서는 도장이 필요한 훼손 영역을 추출하고 추출된 훼손 영역에 도장을 수행하여 도장이 필요한 부분에만 도장을 수행할 수 있도록 한다.Additionally, in the embodiment, a damaged area requiring painting is extracted and painting is performed on the extracted damaged area, so that painting can be performed only on areas that require painting.
또한, 실시예에서는 도장 수행 시의 전문가 모션 정보를 획득하고 전문가 모션 정보를 모델링하여 모델링 된 전문가 모션 정보를 도장 로봇에 학습시켜 적용함으로써, 도장 품질을 향상시킬 수 있도록 한다. Additionally, in the embodiment, expert motion information is acquired when painting is performed, the expert motion information is modeled, and the modeled expert motion information is learned and applied to the painting robot, thereby improving painting quality.
또한, 실시예에서는 도장 1차 완료 후 품질 검증을 수행하여 검증 결과에 따라 재작동을 실시하여 도장 완성도 및 고객 만족도를 향상시킬 수 있도록 한다.In addition, in the embodiment, quality verification is performed after the first painting is completed and reoperation is performed according to the verification results to improve painting completeness and customer satisfaction.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.The disclosed content is merely an example, and various modifications and implementations may be made by those skilled in the art without departing from the gist of the claims, so the scope of protection of the disclosed content is limited to the above-mentioned specific scope. It is not limited to the examples.
100 : 차량 도장 시스템
110 : 도색정보 수집모듈
120 : 촬영모듈
130 : 영역 추출모듈
140 : 도장수행모듈
150 : 작업 검증 모듈100: Vehicle painting system
110: Painting information collection module
120: shooting module
130: Area extraction module
140: Painting performance module
150: Operation verification module
Claims (10)
차량 모델의 색, 도색 과정, 도색 과정에서 필요한 도료의 양을 포함하는 도색 정보를 수집하고, 수집된 도색정보를 데이터베이스화 하는 도색 정보 수집모듈;
차량 표면 이미지를 촬영하거나 외부기기로부터 차량 표면 이미지를 전달받는 촬영 모듈;
상기 차량 표면 이미지로부터 도장 작업이 필요한 훼손영역을 추출하는 영역 추출 모듈;
차량 모델 별 도색 정보에 따라 훼손영역의 도장 작업에 필요한 도료를 조색하고, 상기 도료를 상기 훼손영역에 분사하는 도장수행모듈; 을 포함하고,
상기 도장수행모듈; 은
전문가의 도장 과정이 저장된 영상으로부터 전문가의 모션 패턴을 추출하여 추출된 모션 패턴을 기반으로 도장로봇의 학습 모델을 생성하는 모델링부;
상기 생성된 학습 모델을 학습하는 딥러닝부;
상기 학습된 학습 모델에 따라 분사노즐에서 도료를 분사하여 도장작업을 수행하는 분사량 제어부; 를 포함하는 차량 도장 시스템.
In vehicle painting systems,
A painting information collection module that collects painting information including the color of the vehicle model, the painting process, and the amount of paint needed during the painting process, and converts the collected painting information into a database;
A photographing module that captures a vehicle surface image or receives a vehicle surface image from an external device;
an area extraction module that extracts a damaged area requiring painting work from the vehicle surface image;
a painting execution module that mixes the paint necessary for painting the damaged area according to the painting information for each vehicle model and sprays the paint on the damaged area; Including,
The painting execution module; silver
A modeling unit that extracts the expert's motion pattern from the video storing the expert's painting process and creates a learning model of the painting robot based on the extracted motion pattern;
A deep learning unit that learns the generated learning model;
a spray amount control unit that performs painting work by spraying paint from a spray nozzle according to the learned learning model; Vehicle painting system including.
차량 표면 곡률을 인식하는 곡률 인식부; 및
상기 인식된 곡률을 고려하여 차량 표면에서 이격된 분사 노즐의 높이가 일정하도록 분사 노즐의 높이를 조정하는 높이제어부; 를 더 포함하는 것을 특징으로 하는 차량 도장 시스템.
The method of claim 1, further comprising: the painting execution module; silver
A curvature recognition unit that recognizes the curvature of the vehicle surface; and
a height control unit that adjusts the height of the spray nozzle so that the height of the spray nozzle spaced from the vehicle surface is constant in consideration of the recognized curvature; A vehicle painting system further comprising:
분사노즐의 이동 속도, 훼손영역의 크기 및 차량 표면에서 이격된 분사 노즐의 높이에 따라 도료 분사 속도를 조정하는 것을 특징으로 하는 차량 도장 시스템.
The apparatus of claim 1, further comprising: the injection amount control unit; Is
A vehicle painting system that adjusts the paint spraying speed according to the moving speed of the spraying nozzle, the size of the damaged area, and the height of the spraying nozzle spaced apart from the vehicle surface.
도장이 완료된 훼손영역과 훼손영역을 제외한 차량 표면을 비교하여 재작업 여부를 판단하는 작업 검증 모듈; 을 더 포함하는 것을 특징으로 하는 차량 도장 시스템.
The method of claim 1, wherein the vehicle painting system is
A work verification module that determines whether or not to rework by comparing the painted damaged area with the vehicle surface excluding the damaged area; A vehicle painting system further comprising:
(A) 도색 정보 수집 모듈에서 차량 모델 각각의 색, 도색 과정, 도색 과정에서 필요한 도료의 양을 포함하는 도색 정보를 수집하고, 수집된 도색정보를 데이터베이스화 하는 단계;
(B) 촬영 모듈에서 차량 표면 이미지를 촬영하거나 외부기기로부터 차량 표면 이미지를 수신하는 단계;
(C) 영역 추출 모듈에서 상기 차량 표면 이미지로부터 도장 작업이 필요한 훼손영역을 추출하는 단계;
(D) 도장 수행 모듈에서 차량 모델 별 도색 정보에 따라 훼손영역의 도장 작업에 필요한 도료를 조색하고, 상기 도료를 상기 훼손영역에 분사하는 도장수행모듈; 을 포함하고,
상기 (D)의 단계; 는
(D-1)모델링부에서 전문가의 도장 과정이 저장된 영상으로부터 전문가 모션 패턴을 추출하여 추출된 모션 패턴을 기반으로 도장로봇의 학습 모델을 생성하는 단계;
(D-2)딥러닝부에서 상기 생성된 학습 모델을 학습하는 단계;
(D-3)분사량 제어부에서 상기 학습된 학습 모델에 따라 분사노즐에서 도료를 분사하여 도장작업을 수행하는 단계; 를 포함하는 차량 도장 방법.
In the vehicle painting method,
(A) collecting painting information including the color of each vehicle model, painting process, and amount of paint required for the painting process in the painting information collection module, and converting the collected painting information into a database;
(B) capturing a vehicle surface image from a photographing module or receiving a vehicle surface image from an external device;
(C) extracting a damaged area requiring painting work from the vehicle surface image in an area extraction module;
(D) a painting performance module that mixes the paint necessary for painting the damaged area according to the painting information for each vehicle model in the painting performance module and sprays the paint on the damaged area; Including,
Step (D) above; Is
(D-1) extracting an expert's motion pattern from a video of the expert's painting process stored in the modeling unit and generating a learning model of the painting robot based on the extracted motion pattern;
(D-2) learning the generated learning model in a deep learning unit;
(D-3) performing a painting operation by spraying paint from the spray nozzle according to the learned model in the spray amount control unit; Vehicle painting method including.
곡률인식부에서 차량 표면 곡률을 인식하는 단계; 및
높이제어부에서 상기 인식된 곡률을 고려하여 차량 표면에서 이격된 분사 노즐의 높이가 일정하도록 분사 노즐의 높이를 조정하는 단계; 를 포함하는 것을 특징으로 하는 차량 도장 방법.
The method of claim 6, wherein the step (D-3); Is
Recognizing the curvature of the vehicle surface in a curvature recognition unit; and
Adjusting the height of the spray nozzle spaced apart from the vehicle surface so that the height of the spray nozzle is constant in consideration of the recognized curvature at the height control unit; A vehicle painting method comprising:
분사량 제어부에서 분사노즐의 이동 속도, 훼손영역의 크기 및 차량 표면에서 이격된 분사 노즐의 높이에 따라 도료 분사 속도를 조정하는 단계; 를 포함하는 것을 특징으로 하는 차량 도장 방법.
The method of claim 8, further comprising: adjusting the height of the spray nozzle so that the height of the spray nozzle spaced from the vehicle surface is constant in consideration of the recognized curvature at the height control unit; Is
Adjusting the paint spraying speed in the spraying amount control unit according to the moving speed of the spraying nozzle, the size of the damaged area, and the height of the spraying nozzle spaced apart from the vehicle surface; A vehicle painting method comprising:
(E) 작업 검증 모듈에서 도장이 완료된 훼손영역과 훼손영역을 제외한 차량 표면을 비교하여 재작업 여부를 판단하는 단계; 를 더 포함하는 것을 특징으로 하는 차량 도장 방법. The method of claim 6, wherein the vehicle painting method is
(E) A step of determining whether to rework by comparing the painted damaged area with the vehicle surface excluding the damaged area in the work verification module; A vehicle painting method further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220080763A KR102594602B1 (en) | 2022-06-30 | 2022-06-30 | Vehicle painting systems and methods |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220080763A KR102594602B1 (en) | 2022-06-30 | 2022-06-30 | Vehicle painting systems and methods |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102594602B1 true KR102594602B1 (en) | 2023-10-26 |
Family
ID=88508719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220080763A KR102594602B1 (en) | 2022-06-30 | 2022-06-30 | Vehicle painting systems and methods |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102594602B1 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100770988B1 (en) | 2007-03-30 | 2007-10-30 | 수자원기술 주식회사 | Manless lining cars for revival water supply pipe |
| KR101782542B1 (en) | 2016-06-10 | 2017-10-30 | 주식회사 에이티엠 | System and method for inspecting painted surface of automobile |
| KR20170139180A (en) * | 2016-06-08 | 2017-12-19 | 이종범 | Painting system of damaged vehicle and control method of the system |
| WO2018136498A1 (en) * | 2017-01-17 | 2018-07-26 | Graco Minnesota, Inc. | Unmanned aerial vehicle for painting structures |
| KR20190143506A (en) * | 2018-06-01 | 2019-12-31 | 한화손해보험주식회사 | Ai calculation device, method and computer program |
| US20200126259A1 (en) * | 2018-10-17 | 2020-04-23 | Toyota Motor North America, Inc. | Modulating vehicle paint via data analytics |
| KR20200063302A (en) * | 2018-11-19 | 2020-06-05 | 박상현 | System and method for inspection of ship painting condition using image analysis |
| KR102268579B1 (en) * | 2020-03-10 | 2021-06-23 | 공주대학교 산학협력단 | Apparatus and method for controlling painting robot using motion pattern of painting worker |
| KR20210122819A (en) * | 2019-02-05 | 2021-10-12 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | Paint repair process by scenario |
| US20220080445A1 (en) * | 2016-12-14 | 2022-03-17 | Dürr Systems Ag | Coating method and corresponding coating device |
-
2022
- 2022-06-30 KR KR1020220080763A patent/KR102594602B1/en active IP Right Grant
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100770988B1 (en) | 2007-03-30 | 2007-10-30 | 수자원기술 주식회사 | Manless lining cars for revival water supply pipe |
| KR20170139180A (en) * | 2016-06-08 | 2017-12-19 | 이종범 | Painting system of damaged vehicle and control method of the system |
| KR101782542B1 (en) | 2016-06-10 | 2017-10-30 | 주식회사 에이티엠 | System and method for inspecting painted surface of automobile |
| US20220080445A1 (en) * | 2016-12-14 | 2022-03-17 | Dürr Systems Ag | Coating method and corresponding coating device |
| WO2018136498A1 (en) * | 2017-01-17 | 2018-07-26 | Graco Minnesota, Inc. | Unmanned aerial vehicle for painting structures |
| KR20190143506A (en) * | 2018-06-01 | 2019-12-31 | 한화손해보험주식회사 | Ai calculation device, method and computer program |
| US20200126259A1 (en) * | 2018-10-17 | 2020-04-23 | Toyota Motor North America, Inc. | Modulating vehicle paint via data analytics |
| KR20200063302A (en) * | 2018-11-19 | 2020-06-05 | 박상현 | System and method for inspection of ship painting condition using image analysis |
| KR20210122819A (en) * | 2019-02-05 | 2021-10-12 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | Paint repair process by scenario |
| KR102268579B1 (en) * | 2020-03-10 | 2021-06-23 | 공주대학교 산학협력단 | Apparatus and method for controlling painting robot using motion pattern of painting worker |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
| JP4625074B2 (en) | Sign-based human-machine interaction | |
| JP5008269B2 (en) | Information processing apparatus and information processing method | |
| KR101549645B1 (en) | Method and apparatus of recognizing facial expression using motion dictionary | |
| Barros et al. | A dynamic gesture recognition and prediction system using the convexity approach | |
| JP7146247B2 (en) | Motion recognition method and device | |
| Neto et al. | Brazilian vehicle identification using a new embedded plate recognition system | |
| CN103942577A (en) | Identity identification method based on self-established sample library and composite characters in video monitoring | |
| CN112567384A (en) | System and method for finding and classifying patterns in an image using a vision system | |
| JP4860289B2 (en) | Robot equipment | |
| Nath et al. | Real time sign language interpreter | |
| KR102594602B1 (en) | Vehicle painting systems and methods | |
| Kang et al. | Robust visual tracking framework in the presence of blurring by arbitrating appearance-and feature-based detection | |
| Singh et al. | Recognizing and interpreting sign language gesture for human robot interaction | |
| CN111862147B (en) | Tracking method for multiple vehicles and multiple lines of human targets in video | |
| Veerapalli | Sign language recognition through fusion of 5DT data glove and camera based information | |
| Shukla et al. | UBOL: User-Behavior-aware one-shot learning for safe autonomous driving | |
| Kushwaha et al. | Rule based human activity recognition for surveillance system | |
| Foong et al. | Hand gesture recognition: sign to voice system (S2V) | |
| Badi et al. | Feature extraction technique for static hand gesture recognition | |
| Alhamazani et al. | Using depth cameras for recognition and segmentation of hand gestures | |
| Osorio et al. | Movement and Color Detection of a Dynamic Object: An application to a Mobile Robot | |
| Daubney et al. | Real-time pose estimation of articulated objects using low-level motion | |
| WO2023149295A1 (en) | Information processing device, information processing method, and program | |
| CN111241922B (en) | Robot, control method thereof and computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |