KR101782542B1 - System and method for inspecting painted surface of automobile - Google Patents

System and method for inspecting painted surface of automobile Download PDF

Info

Publication number
KR101782542B1
KR101782542B1 KR1020160072502A KR20160072502A KR101782542B1 KR 101782542 B1 KR101782542 B1 KR 101782542B1 KR 1020160072502 A KR1020160072502 A KR 1020160072502A KR 20160072502 A KR20160072502 A KR 20160072502A KR 101782542 B1 KR101782542 B1 KR 101782542B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
inspection
unit
defect
Prior art date
Application number
KR1020160072502A
Other languages
Korean (ko)
Inventor
류항기
우경행
류윤기
양순용
김용석
김태운
Original Assignee
주식회사 에이티엠
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이티엠, 울산대학교 산학협력단 filed Critical 주식회사 에이티엠
Priority to KR1020160072502A priority Critical patent/KR101782542B1/en
Application granted granted Critical
Publication of KR101782542B1 publication Critical patent/KR101782542B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1717—Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/0058—Kind of property studied
    • G01N2203/006—Crack, flaws, fracture or rupture
    • G01N2203/0062—Crack or flaws

Abstract

본 발명의 일 실시예에 따른 차량 도장표면 검사시스템은, 차량의 도장표면에서의 결함 발생 유무를 감지하기 위해서, 차량 외관을 스캔하여 차량의 이미지를 획득하는 검사장치, 상기 검사장치에서 획득한 차량 이미지를 분석하는 데이터베이스 서버 및 상기 데이터베이스 서버에서 분석한 결과에 기반하여, 상기 차량의 도장표면의 결함 발생 부분에 표식부호(mark)를 표시하는 표시장치를 포함하고, 상기 검사장치는, 상기 차량의 외관을 촬영하는 비전 카메라부, 상기 차량의 외관에 빛을 조사하는 조명부, 상기 검사장치와 상기 차량과의 거리를 감지하는 센서부 및 상기 차량의 도장표면을 미리 정해진 좌표와 경로에 따라서 차체 3차원 표면 영역이 균일하도록 일정 크기의 영역으로 분할하여, 3차원 위치정보를 포함한 차량 이미지를 획득하도록 상기 비전 카메라부, 조명부, 센서부의 동작과 위치를 제어하는 검사 제어부를 포함할 수 있다.A vehicle paint surface inspection system according to an embodiment of the present invention includes an inspection device for scanning an exterior of a vehicle to acquire an image of a vehicle to detect the presence or absence of a defect on a paint surface of the vehicle, And a display device for displaying a mark on a defect occurrence portion of the paint surface of the vehicle based on a result of analysis by the database server, the inspection device comprising: A sensor unit for sensing a distance between the inspection apparatus and the vehicle; a sensor unit for sensing a distance between the inspection apparatus and the vehicle; Dimensional image to obtain a vehicle image including three-dimensional position information, And an inspection control unit for controlling the operation and position of the vision camera unit, the illumination unit, and the sensor unit.

Figure R1020160072502
Figure R1020160072502

Description

차량 도장표면 검사시스템 및 검사방법{SYSTEM AND METHOD FOR INSPECTING PAINTED SURFACE OF AUTOMOBILE}Technical Field [0001] The present invention relates to a vehicle paint surface inspection system,

본 발명은 차량 도장표면 검사시스템 및 검사방법에 관한 것으로서, 더욱 상세하게는 3차원 위치정보를 포함한 차량이미지를 획득하고 분석함으로써 자동으로 차량의 도장표면 결함 유무, 결함 위치를 판별하고, 도장표면 결함부분에 표식부호를 표시하는 차량 도장표면 검사시스템 및 검사방법에 관한 것이다. The present invention relates to a vehicle paint surface inspection system and method, and more particularly, to a vehicle paint surface inspection system and method, and more particularly, to a vehicle paint surface inspection system and method, And more particularly, to a vehicle paint surface inspection system and a method of inspecting a surface of a vehicle.

자동차에서 도장은 차체의 표면을 도료로 피복하는 것으로 차체의 부식을 방지하는 것이 주목적이지만 최근에는 차량 구입에 있어서 선택의 기준이 될 만큼 오너들이 중요시하는 부분으로 자동차의 첫인상을 좌우하고 있으며, 자동차의 외관을 마무리하는 중요한 요소 중의 하나이다.Painting in automobiles is the main purpose of coating the surface of the car body with paint to prevent corrosion of the car body. Recently, however, the first impression of the automobile has been influenced by the owners' It is one of the important factors to finish appearance.

자동차생산의 도장라인은 크게 도장작업공정과 도장검사공정으로 나눌 수 있으며, 또한 도장작업공정은 전처리과정과 도장과정으로 나누어질 수 있다. The coating line of automobile production can be roughly divided into a painting work process and a painting inspection process, and the painting work process can be divided into a preprocessing process and a painting process.

현재 자동차생산의 도장라인에서 이루어지고 있는 차체도장표면 검사방법에는 조명을 이용한 검사, 어두운 곳에서 밝은 곳을 향하여 주시하는 방법, 손의 감각을 이용한 검사, 육안에 의한 검사 등으로 크게 나눌 수 있으며, 이러한 검사방법은 모두 수작업으로 행하여지고 있는 상태이다. The method of inspection of the surface of the car body painting which is currently carried out on the coating line of the automobile production can be broadly divided into the inspection using the light, the method of looking toward the bright place in the dark place, the inspection using the sense of hand, These inspection methods are all performed manually.

차체도장 공정에서 도장표면 상태 불량 여부의 판정을 대부분 작업자의 시각과 촉각에 의존하는 수작업으로 진행됨에 따라 주의력 저하, 피로도 증가 등의 작업자 요인에 따라 변화하는 작업자의 주관적인 기준에 의존하게 됨으로 검출편차의 발생과 검사누락으로 검출율의 저하는 물론 이로 인한 후 공정에서 수정 및 재작업에 따른 비용발생이 증가하는 문제가 있었다. Since the determination of whether or not the paint surface is defective in the body painting process is carried out by manual operation depending on the visual and tactile sense of the operator, it depends on the subjective standard of the operator who changes according to the worker factors such as attention loss and fatigue increase. There is a problem that the detection rate is lowered due to the occurrence and inspection omission, and the cost incurred by the correction and reworking in the post process is increased.

또한, 현 도장작업라인에서 도장작업공정은 대부분 로봇에 의한 자동화가 이루어진 반면에 차량 도장표면 검사공정은 대부분 수작업에 의존하고 있어, 자동차 산업의 산업보건에서는 도장검사의 유해인자로 작업자 자세, 조명을 지적하고 있다. 특히, 도장 후 공정으로 검사가 이루어지게 됨으로 도장작업공정에서 가장 문제되는 유해요인인 수십 가지 종류의 유기용제와 각종 안료 및 수지로부터 발생하는 휘발성 물질(VOC)로부터 작업자를 보호할 수 있는 작업환경으로 개선해야 하는 문제점이 존재하고 있다. In addition, the painting work process in the present coating line is mostly automated by robots, while the inspection process of the vehicle surface is largely dependent on manual work. In the industrial health of the automobile industry, I am pointing out. Especially, since it is inspected by post-painting process, dozens of kinds of organic solvents, which are the most harmful factors in painting process, and working environment that can protect workers from volatile substances (VOC) generated from various pigments and resins There is a problem to be improved.

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로, 3차원 위치정보를 포함한 차량이미지를 획득하고 분석함으로써 자동으로 차량의 도장표면 결함 유무, 결함 위치를 판별하고, 도장표면 결함부분에 표식부호를 표시하는 차량 도장표면 검사시스템 및 검사방법 방법을 제공하는데 그 목적이 있다.Disclosure of the Invention The present invention has been made to solve the above-described problems, and it is an object of the present invention to provide a method and apparatus for automatically determining the presence or absence of defective coating on a coating surface of a vehicle by acquiring and analyzing a vehicle image including three- The present invention also provides a method for inspecting a vehicle surface to be inspected.

본 발명의 일 실시예에 따른 차량 도장표면 검사시스템은, 차량의 도장표면에서의 결함 발생 유무를 감지하기 위해서, 차량 외관을 스캔하여 차량의 이미지를 획득하는 검사장치, 상기 검사장치에서 획득한 차량 이미지를 분석하는 데이터베이스 서버 및 상기 데이터베이스 서버에서 분석한 결과에 기반하여, 상기 차량의 도장표면의 결함 발생 부분에 표식부호(mark)를 표시하는 표시장치를 포함하고, 상기 검사장치는, 상기 차량의 외관을 촬영하는 비전 카메라부, 상기 차량의 외관에 빛을 조사하는 조명부, 상기 검사장치와 상기 차량과의 거리를 감지하는 센서부 및 상기 차량의 도장표면을 미리 정해진 좌표와 경로에 따라서 차체 3차원 표면 영역이 균일하도록 일정 크기의 영역으로 분할하여, 3차원 위치정보를 포함한 차량 이미지를 획득하도록 상기 비전 카메라부, 조명부, 센서부의 동작과 위치를 제어하는 검사 제어부를 포함할 수 있다.A vehicle paint surface inspection system according to an embodiment of the present invention includes an inspection device for scanning an exterior of a vehicle to acquire an image of a vehicle to detect the presence or absence of a defect on a paint surface of the vehicle, And a display device for displaying a mark on a defect occurrence portion of the paint surface of the vehicle based on a result of analysis by the database server, the inspection device comprising: A sensor unit for sensing a distance between the inspection apparatus and the vehicle; a sensor unit for sensing a distance between the inspection apparatus and the vehicle; Dimensional image to obtain a vehicle image including three-dimensional position information, And an inspection control unit for controlling the operation and position of the vision camera unit, the illumination unit, and the sensor unit.

또한, 본 발명의 일 실시예에 따른 상기 검사 제어부는, 슬라이딩 레일 위에서 이동하는 차체의 표면형상에 대응하여 일정한 품질의 이미지를 획득하도록 상기 비전 카메라부, 조명부, 센서부의 동작과 위치를 제어할 수 있다.The inspection control unit may control the operation and the position of the vision camera unit, the illumination unit, and the sensor unit so as to obtain an image of a constant quality corresponding to the surface shape of the vehicle body moving on the sliding rail have.

또한, 본 발명의 일 실시예에 따른 상기 데이터베이스 서버는, 상기 검사장치를 통하여 상기 일정 크기의 영역으로 분할하여 획득한 이미지를 소프트웨어적으로 세부적으로 더 분할하여 이미지별 비교분석을 통하여 도장표면의 결함을 판별하고, 상기 획득한 차량 이미지를 이용하여 차량 자체의 3차원 위치정보로 도장표면 결함의 위치를 추정할 수 있다.In addition, the database server according to an embodiment of the present invention further divides the image obtained by dividing the image into a predetermined size region through the inspection apparatus, And the position of the coating surface defect can be estimated by using the obtained vehicle image as the three-dimensional position information of the vehicle itself.

또한, 본 발명의 일 실시예에 따른 검사 제어부는, 상기 차체가 마운트되어 이동되는 슬라이딩 레일 상에 특이점을 설정하여 초기인식 좌표를 획득하고, 상기 설정된 특이점을 기준으로 상기 비전 카메라부, 조명부가 상대 좌표를 가지도록 제어할 수 있다. According to another aspect of the present invention, there is provided an inspection control unit for a vehicle, including a sliding rail on which a vehicle body is mounted and moved, a malfunction point on the sliding rail to obtain initial recognition coordinates, Coordinates can be controlled.

또한, 본 발명의 일 실시예에 따른 상기 이미지별 비교분석을 통한 도장표면의 결함 판별은, 상기 차량의 도장표면에서 반사된 스트라이프 패턴의 입력 이미지에서 상기 스트라이프 패턴의 일정 패턴이 가지는 주파수 성분을 제거하고, 상기 주파수 성분을 제거한 이미지를 이진화하여 획득한 이미지를 비교 분석하여 도장표면의 결함을 판별할 수 있다.In addition, the defect discrimination on the painting surface through the comparative analysis of the images according to the embodiment of the present invention is performed by removing frequency components of a certain pattern of the stripe pattern from the input image of the stripe pattern reflected on the paint surface of the vehicle The image obtained by removing the frequency component is binarized, and the acquired image is compared and analyzed to determine the defect on the coating surface.

또한, 본 발명의 일 실시예에 따른 상기 표시장치는, 상기 도장표면의 결함부분에 표식부호를 표시하는 표시부, 상기 표시부를 도장표면 결함 위치로 이동시키는 캐리어부 및 상기 표시부와 캐리어부의 위치와 동작을 제어하는 캐리어 제어부를 포함하고, 상기 캐리어 제어부는, 상기 데이터베이스 서버에서 추정한 도장표면 결함 위치에 대응하여, 상기 캐리어부로 하여금 상기 표시부를 도장표면 결함 위치로 이동하도록 제어할 수 있다.The display device according to an embodiment of the present invention may further include a display portion for displaying a marking on a defective portion of the coating surface, a carrier portion for moving the display portion to a coating surface defect position, And the carrier control unit may control the carrier unit to move the display unit to a paint surface defect position corresponding to a coating surface defect position estimated by the database server.

또한, 본 발명의 일 실시예에 따른 상기 센서부는 초음파 센서, 위치 센서, 레이저 센서 및 조도 센서 중의 적어도 하나를 포함할 수 있다.Further, the sensor unit according to an embodiment of the present invention may include at least one of an ultrasonic sensor, a position sensor, a laser sensor, and an illuminance sensor.

본 발명의 일 실시예에 따른 차량 도장표면 검사방법은, 차체 검사대상 오브젝트의 표준 샘플 이미지를 획득하는 단계, 상기 차체 검사대상 오브젝트의 실시간 스캐닝 이미지를 획득하는 단계, 상기 표준 샘플 이미지와 상기 스캐닝 이미지를 비교하여, 도장표면에서의 결함 발생 유무를 검사하는 단계 및 상기 검사의 결과에 기반하여, 상기 도장표면의 결함 발생 부분에 표식부호를 표시하는 단계를 포함할 수 있다.A vehicle painting surface inspection method according to an embodiment of the present invention includes the steps of acquiring a standard sample image of an object to be inspected of a vehicle body, acquiring a real-time scanning image of the object to be inspected, And checking the presence or absence of a defect on the coating surface and displaying the mark on the defect occurrence portion of the coating surface based on the result of the inspection.

또한, 본 발명의 일 실시예에 따른 상기 표준 샘플 이미지의 획득 단계는, 차체 검사대상 오브젝트를 차체 3차원 표면 영역이 균일하도록 일정 크기의 영역으로 분할하여 스캐닝 한 후, 이미지를 평균값으로 병합처리하여 표준 샘플 이미지로 저장하는 단계를 포함하고, 상기 실시간 스캐닝 이미지를 획득하는 단계는 상기 분할하여 스캐닝한 이미지를 더 세분화하여 일정한 크기의 영역과 이미지마다 미리 정해진 이미지 정보, 위치좌표, 번지 주소를 가지도록 소프트웨어적으로 세부적으로 더 분할하여 저장하는 단계를 포함할 수 있다.In the step of acquiring the standard sample image according to the embodiment of the present invention, the object to be inspected may be divided into a predetermined size area so as to uniform the three-dimensional body surface area of the vehicle body, Wherein the step of acquiring the real-time scanning image further comprises the step of dividing the scanned image into a predetermined size region and a predetermined image information, a position coordinate, and an address address for each image And further dividing and storing the data in detail by software.

또한, 본 발명의 일 실시예에 따른 상기 스캐닝 이미지는, 차량 도장표면에서 반사된 스트라이프 패턴의 입력 이미지에서 상기 스트라이프 패턴의 일정 패턴이 가지는 주파수 성분을 제거하고, 상기 주파수 성분을 제거한 이미지를 이진화하여 획득할 수 있다.In addition, the scanning image according to an embodiment of the present invention may be configured to remove a frequency component of a certain pattern of the stripe pattern in an input image of a stripe pattern reflected on a vehicle paint surface, to binarize the image from which the frequency component is removed Can be obtained.

또한, 본 발명의 일 실시예에 따른 상기 표준 샘플 이미지의 획득단계는, 상기 차체 검사대상 오브젝트에 대하여, 카티아(CATIA) 프로그램을 이용하여 워킹 패스(working path)를 계획하여 그리드(grid)를 생성하고, 상기 생성한 그리드에 따라서 워킹 포인트(working point)를 생성하여 상기 표준 샘플 이미지를 획득하는 단계를 포함할 수 있다.In addition, the step of acquiring the standard sample image according to an embodiment of the present invention may include generating a grid by planning a working path using the CATIA program for the object to be inspected of the body inspection object And generating a working point according to the generated grid to obtain the standard sample image.

한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.Meanwhile, as an embodiment of the present invention, a computer-readable recording medium on which a program for causing the computer to execute the above-described method may be provided.

본 발명의 일 실시예에 따른 차량 도장표면 검사시스템 및 검사방법에 의하면, 자동차생산라인의 도장작업공정에서도 차체의 도장표면 검사공정을 자동화함으로써 작업시간을 단축시키고, 검사의 정확성을 제고할 수 있다.According to the vehicle paint surface inspection system and inspection method according to an embodiment of the present invention, it is possible to shorten the work time and improve the accuracy of the inspection by automating the coating surface inspection process of the vehicle body even in the painting work process of the automobile production line .

본 발명의 일 실시예에 따른 차량 도장표면 검사시스템 및 검사방법에 의하면, 차체의 도장표면 검사공정 및 표시공정을 자동화함으로써, 유해요인인 유기용매와 각종 안료 및 수지로부터 발생하는 휘발성물질로부터 작업자를 보호할 수 있다. 다시 말해서, 본 발명의 일 실시예에 따르면 작업자의 건강 등을 보호할 수 있다는 점에서 산업보건 측면에서의 효과도 거둘 수도 있다.According to the vehicle paint surface inspection system and inspection method according to an embodiment of the present invention, by automating the paint surface inspection process and the display process of the vehicle body, it is possible to prevent the volatiles generated from organic solvents and various pigments and resins, Can be protected. In other words, according to the embodiment of the present invention, it is possible to protect the health of workers and the like, and it can also be effective in terms of industrial health.

본 발명의 일 실시예에 따른 차량 도장표면 검사시스템 및 검사방법에 의하면, 도장결함에 따른 생산라인에서 신속하게 대처함으로써 수정비용을 절감시킬 수 있고, 제조단계에서 최종소비자에 이르기까지 단계별 클레임을 줄일 수 있어, 최종 소비자의 클레임에 따른 비용을 절감시킬 수 있다. According to the vehicle paint surface inspection system and inspection method according to an embodiment of the present invention, it is possible to reduce the correction cost by quickly coping with the production line according to coating defects, and to reduce stepwise claims from the manufacturing stage to the final consumer And can reduce the cost of the final consumer's claim.

도 1은 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템에서 검사장치의 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템의 정면도이다.
도 5는 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템의 사시도이다.
도 6은 본 발명의 일 실시예에 따른 도장표면의 결함 유무 검사를 위해 차체 3차원 표면 영역이 균일하도록, 차량을 일정 크기의 영역으로 분할한 도면이다.
도 7은 본 발명의 일 실시예에 따른 검사 제어부가 이동하는 차체의 표면형상에 대응하여 일정 품질의 이미지의 획득이 가능하도록 검사장치를 제어하는 방법을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 데이터 베이스 서버가 차량의 외관에서 분할 획득한 이미지를 소프트웨어적으로 세부적으로 더 분할하는 방법을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템에서 표시장치의 구성을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 구조광(structure light)에서 스트라이프 패턴을 도장표면에 투영하였을 때 입력받은 이미지를 이용하여 도장표면의 결함을 검출하는 방법을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 레이저 센서와 스테레오 비전 카메라를 이용한 도장표면 검사 모델을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 차량 도장표면 검사방법을 나타낸 순서도이다.
도 13은 본 발명의 일 실시예에 따른 카티아 정보로부터 좌표 검출 프로세서를 나타낸 순서도이다.
도 14는 본 발명의 일 실시예에 따른 좌표검출 과정의 카티아 환경을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 카티아 프로그램에 의한 좌표검출 상태의 예시를 나타낸 도면이다. 1 is a view schematically showing a configuration of a vehicle painting surface inspection system according to an embodiment of the present invention.
2 is a block diagram showing a configuration of a vehicle painting surface inspection system according to an embodiment of the present invention.
3 is a view showing the configuration of an inspection apparatus in a vehicle painting surface inspection system according to an embodiment of the present invention.
4 is a front view of a vehicle painting surface inspection system according to an embodiment of the present invention.
5 is a perspective view of a vehicle paint surface inspection system according to an embodiment of the present invention.
FIG. 6 is a view for dividing a vehicle into regions of a predetermined size so that a three-dimensional surface area of the vehicle body is uniform for inspection of the presence or absence of a defect on a paint surface according to an embodiment of the present invention.
7 is a view illustrating a method of controlling an inspection apparatus so that an image of a constant quality can be acquired corresponding to a surface shape of a body to which an inspection control unit moves according to an embodiment of the present invention.
8 is a diagram illustrating a method in which a database server according to an exemplary embodiment of the present invention further subdivides an image obtained by segmenting and acquiring images from the exterior of a vehicle.
FIG. 9 is a view showing a configuration of a display device in a vehicle painting surface inspection system according to an embodiment of the present invention.
10 is a diagram illustrating a method of detecting defects on a coating surface by using an input image when a stripe pattern is projected on a coating surface in a structure light according to an embodiment of the present invention.
11 is a view illustrating a paint surface inspection model using a laser sensor and a stereo vision camera according to an embodiment of the present invention.
12 is a flowchart illustrating a vehicle paint surface inspection method according to an embodiment of the present invention.
13 is a flowchart showing a coordinate detection processor from Cartier information according to an embodiment of the present invention.
14 is a diagram illustrating a Cartier environment in a coordinate detection process according to an embodiment of the present invention.
15 is a diagram showing an example of a coordinate detection state by a Cartier program according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. The terms used in this specification will be briefly described and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다. When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements, without departing from the spirit or scope of the present invention. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software . In addition, when a part is referred to as being "connected" to another part throughout the specification, it includes not only "directly connected" but also "connected with other part in between".

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템(1000)의 구성을 개략적으로 나타낸 도면이다. 1 is a view schematically showing a configuration of a vehicle paint surface inspection system 1000 according to an embodiment of the present invention.

도 1을 참조하면, 차량 도장표면 검사시스템(1000)은 자동차 차체의 카티아 정보를 토대로 레이저 센서, 조도 센서, 비전 카메라(112), 조명부(120) 등을 포함한 검사장치(100)로 자동차 외관 및 도장 표면을 스캔하여 이미지로 획득할 수 있다. 검사장치(100)에서 획득한 차체 도장 표면 이미지를 통신부(예컨대, 무선통신모듈, WiFi, 블루투스, LAN, WLAN 등의 통신용 모듈)(400)를 통하여 데이터 베이스 서버(200)인 비전 시스템으로 전송하고, 비전 시스템에서는 도장표면 상태 검사 알고리즘을 수행하여 도장표면 결함부분의 위치를 3차원 위치 좌표(예컨대, 3차원 위치 정보)로 추출한 후 카티아에서 추출한 좌표 파일에 위치 좌표를 저장할 수 있다. 비전(검사) 시스템은 저장된 카티아 파일의 3차원 위치 좌표를 표시장치(300)로 전송하고, 표시장치(300)는 전송받은 위치 좌표에 따라 도장표면 결함부분에 재도색을 위해서 도장 결함의 표식부호를 표시할 수 있다. 카티아 파일은 CAD 파일을 의미할 수 있다. 카티아는 3D 설계 프로그램의 일종으로 프로이(Pro-engineer), 솔리드 웍스, 인벤트 등의 설계 툴을 사용하여 3D 좌표 추출이 가능할 수 있다. 카티아 환경은 초기에 설계 데이터로부터 차체표면의 3차원 위치정보를 획득할 때에만 활용될 수도 있다. 검사 및 표시단계에서는 기 획득하여 저장된 3차원 위치정보의 데이터가 이용될 수 있다. 1, a vehicle painting surface inspection system 1000 includes an inspection apparatus 100 including a laser sensor, an illuminance sensor, a vision camera 112, a lighting unit 120, and the like based on the caria information of an automobile body, The surface of the paint can be scanned and acquired as an image. The image of the body painted surface obtained by the inspection apparatus 100 is transmitted to the vision system as the database server 200 through a communication unit (for example, a communication module such as a wireless communication module, a WiFi, a Bluetooth, a LAN or a WLAN) In the vision system, the paint surface condition check algorithm is executed to extract the position of the paint surface defect portion in the three-dimensional position coordinates (for example, three-dimensional position information), and then store the position coordinates in the coordinate file extracted from Catia. The vision system transmits the three-dimensional position coordinates of the stored cata- ly file to the display device 300. The display device 300 displays marking marks of paint defects for redrawing the paint surface defects according to the received position coordinates Can be displayed. A CATIA file can refer to a CAD file. Catia is a 3D design program that can be used to extract 3D coordinates using design tools such as Pro-engineer, SolidWorks, and Inventory. The Catia environment may only be used initially to acquire three-dimensional position information of the body surface from the design data. In the inspection and display step, the data of the acquired three-dimensional position information can be used.

즉, 차량 도장표면 검사 시스템(1000)은 검사장치(100)를 이용하여 카티아 정보를 토대로 자동차 외관의 이미지를 스캔 및 획득하고, 데이터 베이스 서버(200)를 이용하여 획득한 차량 이미지를 분석하여 도장표면 결함 위치를 확인하고, 표시장치(300)를 이용하여 표식부호를 표시할 수 있다.That is, the vehicle painting surface inspection system 1000 scans and acquires an image of the vehicle exterior based on the Cartier information using the inspection apparatus 100, analyzes the vehicle image acquired using the database server 200, The surface defect position can be confirmed, and the marking can be displayed using the display device 300. [

도 2는 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템(1000)의 구성을 나타낸 블록도이다. 2 is a block diagram showing a configuration of a vehicle painting surface inspection system 1000 according to an embodiment of the present invention.

도 2를 참조하면, 차량 도장표면 검사시스템(1000)은 차량 외관을 스캔하여 차량의 이미지를 획득하는 검사장치(100), 검사장치에서 획득한 차량이미지를 분석하는 데이터 베이스 서버(200) 및 분석한 결과에 기반하여, 차량의 도장표면 결함부분에 표식부호(marking)를 표시하는 표시장치(300)를 포함할 수 있다.Referring to FIG. 2, the vehicle painting surface inspection system 1000 includes an inspection apparatus 100 that scans the exterior of the vehicle to acquire an image of the vehicle, a database server 200 that analyzes the vehicle image acquired by the inspection apparatus, Based on the result, the display device 300 that displays marking on a paint surface defect portion of the vehicle can be included.

본 발명의 일 실시예에 따른 검사장치(100)는 도장 표면을 검사할 차량의 외관을 촬영하는 비전 카메라부(110), 도장 표면 검사를 위해서 일정 이상의 조도를 유지하도록 빛을 조사하는 조명부(120), 검사 장치와 차량과의 거리를 감지하는 센서부(130) 및 비전 카메라부(110), 조명부(120), 센서부(130)를 제어할 수 있는 검사 제어부(140)를 포함할 수 있다. The inspection apparatus 100 according to an embodiment of the present invention includes a vision camera unit 110 for photographing the exterior of a vehicle to be inspected on a painted surface, an illumination unit 120 for irradiating light to maintain a predetermined illumination level A sensor unit 130 for sensing a distance between the inspection apparatus and the vehicle, a vision camera unit 110, an illumination unit 120, and an inspection control unit 140 for controlling the sensor unit 130 .

도 3은 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템(1000)에서 검사장치(100)의 구성을 나타낸 도면이다. 3 is a diagram showing the configuration of an inspection apparatus 100 in a vehicle paint surface inspection system 1000 according to an embodiment of the present invention.

도 3을 참조하면, 검사장치(100)는 검사할 차량의 외관의 이미지를 스캔 및 획득하기 위한 비전 카메라부(110)로서 비전 카메라(112), 카메라 브라켓(114) 등을 포함하며, 일정 이상의 조도를 유지하도록 하는 조명부(120)로서 스폿 조명(122), 조명 브라켓(124) 등을 포함하고, 검사 제어부(140)에 의해서 위치나 동작이 제어되는 선형 액추에이터(142), 로터리 액추에이터(144) 등을 포함할 수 있다. 예를 들어, 검사 제어부(140)는 센서부(130)를 제어하여 거리 및 조도 정보를 감지하고, 스폿 조명(122)을 제어하여 일정 이상의 조도를 유지하도록 하고, 선형 액추에이터(142) 및 로터리 액추에이터(144)를 제어하여 비전 카메라(112)와 차량과의 거리가 일정 거리를 유지하도록 제어할 수 있다.3, the inspection apparatus 100 includes a vision camera 112, a camera bracket 114, and the like as a vision camera unit 110 for scanning and acquiring an image of the exterior of a vehicle to be inspected. A linear actuator 142 and a rotary actuator 144 which include a spotlight 122 and an illumination bracket 124 and which are controlled in position and operation by the inspection control unit 140, And the like. For example, the inspection control unit 140 may control the sensor unit 130 to detect the distance and illumination information, to control the spot illumination 122 to maintain the illuminance over a certain level, and to control the linear actuator 142 and the rotary actuator So that the distance between the vision camera 112 and the vehicle can be controlled to be maintained at a predetermined distance.

도 4는 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템(1000)의 정면도이고, 도 5는 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템(1000)의 사시도이다. FIG. 4 is a front view of a vehicle painting surface inspection system 1000 according to an embodiment of the present invention, and FIG. 5 is a perspective view of a vehicle painting surface inspection system 1000 according to an embodiment of the present invention.

도 4 및 도 5를 참조하면, 검사장치(100)는 외부 조도의 영향을 최소화 하기 위해 차광터널(410) 내에 설치될 수 있다. 일정조도를 유지하기 위해서 검사장치(100)는 조명부(120)를 구비하고 있으나, 외부 조도의 영향을 최소화 하기 위해서, 검사장치(100)는 차광터널 내에 설치될 수 있다. 즉, 검사장치(100) 주위로 터널형 차광막을 설치하여 외부로부터 간섭 광을 차단하고 차량 유리 표면으로부터 반사되는 빛은 흡수하도록 구성될 수 있다. Referring to FIGS. 4 and 5, the inspection apparatus 100 may be installed in the light-shielding tunnel 410 to minimize the influence of external illumination. In order to maintain the constant illuminance, the inspection apparatus 100 includes the illumination unit 120, but in order to minimize the influence of the external illumination, the inspection apparatus 100 may be installed in the shielding tunnel. That is, a tunnel type light shielding film may be provided around the inspection apparatus 100 to shield interference light from the outside and absorb light reflected from the vehicle glass surface.

도 6은 본 발명의 일 실시예에 따른 도장표면의 결함 유무 검사를 위해 차체 3차원 표면 영역이 균일하도록, 차량을 일정 크기의 영역으로 분할한 도면이다. FIG. 6 is a view for dividing a vehicle into regions of a predetermined size so that a three-dimensional surface area of the vehicle body is uniform for inspection of the presence or absence of a defect on a paint surface according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 각각의 비전 카메라(112)는 차량 도장표면에 계획된 분할 영역(610)에 준하여 배치될 수 있고, 획득 이미지의 경계부분의 사각영역을 없애기 위해서 획득 이미지의 경계를 일정 폭 중복하면서 분할 영역의 이미지를 획득할 수 있다.Each vision camera 112 according to an embodiment of the present invention may be arranged in accordance with a planned segment 610 on a vehicle painting surface and may define a boundary of an acquired image in order to eliminate the rectangular area of the boundary portion of the acquired image The image of the divided area can be obtained while overlapping the width.

본 발명의 일 실시예에 따른 검사장치(100)는 높은 신뢰도를 가지고 도장표면의 결함을 판단하기 위해서, 차체 3차원 표면 영역이 균일하도록 차량을 일정 크기의 영역으로 분할하여 검사할 수 있다. 예를 들어, 카티아 정보를 토대로, 차량을 3차원 표면 영역이 균일하도록 미리 차량을 일정 크기의 영역으로 분할할 수 있고, 검사 제어부(140)의 제어에 따라 비전 카메라부(110)가 각 영역을 스캔하여 이미지를 획득할 수 있다. 다시 말하면, 비전 카메라(112)가 검사해야 할 분할영역(610)이 카티아 정보를 토대로 미리 위치가 지정되어 있고, 검사 제어부(140)는 각 비전 카메라(112)로 하여금 각 분할 영역에서 이미지를 스캔하도록 제어할 수 있다. The inspection apparatus 100 according to an embodiment of the present invention can divide the vehicle into a predetermined size region and inspect it so that the three-dimensional surface area of the vehicle body is uniform so as to determine the defect on the painting surface with high reliability. For example, the vehicle can be divided into regions of a predetermined size in advance so that the three-dimensional surface region is uniform on the basis of the Carta information, and the vision camera unit 110 controls each region The image can be obtained by scanning. In other words, the divided area 610 to be inspected by the vision camera 112 is previously positioned based on the Cartier information, and the inspection control unit 140 causes each vision camera 112 to scan the image in each of the divided areas .

본 발명의 일 실시예에 따른 비전 카메라부(110)는 차량 도장표면에서 결함 발생 유무를 감지하기 위해서, 차량의 외관을 스캔하여 차량의 이미지를 획득할 수 있다. 예를 들어, 비전 카메라(110)는 카티아 정보를 토대로 미리 정해진 좌표와 경로에 따라서 차체 도장표면 영역이 균일하도록 일정 크기의 영역으로 분할된 차량의 도장 표면을 스캔하여, 3차원 위치정보를 포함한 차량 이미지를 획득할 수 있다. 또한, 비전 카메라(110)는 각 분할 영역에서 획득된 이미지가 차량 전체 이미지의 3차원 정보와 합치될 수 있도록, 각 분할영역의 경계마다 일정 폭 중첩하여 차량의 외관을 스캔할 수 있다. The vision camera unit 110 according to an exemplary embodiment of the present invention can scan the exterior of the vehicle to acquire an image of the vehicle, in order to detect the occurrence of defects on the surface of the vehicle. For example, the vision camera 110 scans the painting surface of a vehicle divided into areas of a predetermined size so that the surface of the painted body is uniform in accordance with predetermined coordinates and paths based on the Cartier information, Images can be obtained. In addition, the vision camera 110 can scan the exterior of the vehicle by superimposing a certain width for each boundary of each divided area so that the image obtained in each of the divided areas can be matched with the three-dimensional information of the whole image of the vehicle.

본 발명의 일 실시예에 따른 조명부(120)는 도장표면에서 조도가 일정하게 유지되도록 차량의 외관에 빛을 조사할 수 있다. 도장표면의 결함 검사에 있어서, 조도가 확보되지 않으면 도장표면의 결함을 판단할 수 없기 때문에, 조명은 외부의 조도에 영향을 받지 않도록 일정하게 유지될 필요가 있다. 따라서, 조명부(120)는 비전 카메라부(110)를 통한 차량 외관의 스캔 및 이미지 획득에서 일정 이상의 조도를 공급하도록 제어될 수 있다. 또한, 검사장치(100)가 차광 터널 내에 설치된 경우에는 차광 터널 내 차량 도장표면에서 조도가 일정하게 유지되도록, 조명부(120)는 터널형 조명으로 설치될 수 있다.The lighting unit 120 according to an embodiment of the present invention can irradiate the exterior of the vehicle with light so that the illuminance on the painting surface is kept constant. In the defect inspection on the coating surface, since the defect on the coating surface can not be determined unless the roughness is ensured, the illumination needs to be kept constant so as not to be influenced by the external illuminance. Accordingly, the illumination unit 120 can be controlled to supply a certain level of illumination in the scan of the vehicle exterior through the vision camera unit 110 and the image acquisition. In addition, when the inspection apparatus 100 is installed in the light-shielding tunnel, the illumination unit 120 can be installed in a tunnel-type illumination so that the illuminance is constantly maintained on the vehicle painting surface in the light-shielding tunnel.

본 발명의 일 실시예에 따른 센서부(130)는 도장표면 결함 검사를 위하여, 차량과의 거리를 감지하거나 조도를 감지할 수 있다. 최상의 이미지로 스캔하기 위해서는 카메라의 초점 거리, 조도 등을 감지하여 차량과 일정 거리를 유지해야 하는데, 검사장치(100)는 센서부(130)를 이용하여 차량과의 거리 및 조도를 감지할 수 있다. 센서부(130)는 초음파 센서, 위치 센서, 레이저 센서 및 조도 센서 중의 적어도 하나를 포함할 수 있다.The sensor unit 130 according to an embodiment of the present invention may sense the distance to the vehicle or sense the illuminance to inspect the paint surface defect. In order to scan with the best image, the focal distance and the illuminance of the camera should be sensed to maintain a certain distance from the vehicle. The inspection apparatus 100 may sense the distance and illumination with the vehicle using the sensor unit 130 . The sensor unit 130 may include at least one of an ultrasonic sensor, a position sensor, a laser sensor, and an illuminance sensor.

본 발명의 일 실시예에 따른 검사 제어부(140)는 비전 카메라부(110), 조명부(120) 및 센서부(130)를 제어하여, 검사 장치의 동작을 전반적으로 제어할 수 있다. 예를 들어, 검사 제어부(140)는 센서부(130)를 제어하여 차량과의 거리, 조도 등의 정보를 획득할 수 있으며, 조도 정보에 따라 조명부를 제어하여 차량에 빛을 조사하도록 하여 일정 조도를 유지하게 할 수 있다. 또한, 검사 제어부(140)는 센서부(130)에서 획득한 차량과의 거리, 조도 등의 정보를 이용하여 비전 카메라부(110)의 초점 거리, 위치, 자세 등을 제어하여 검사장치(100)에서 최적으로 차량을 스캔하고 이미지를 획득하도록 제어할 수 있다. 또한, 검사 제어부(140)는 카티아 정보를 토대로 일정 크기의 영역으로 분할된 차량 도장표면을 각 비전 카메라(112)가 정해진 좌표와 경로에 따라서 스캔하도록 제어할 수 있다.The inspection control unit 140 may control the operation of the inspection apparatus by controlling the vision camera unit 110, the illumination unit 120, and the sensor unit 130 according to an embodiment of the present invention. For example, the inspection control unit 140 may control the sensor unit 130 to acquire information such as a distance to the vehicle, illuminance, and the like, and may control the illuminating unit according to illuminance information to illuminate the vehicle, Can be maintained. The inspection control unit 140 controls the focal distance, position, attitude, and the like of the vision camera unit 110 using information such as the distance to the vehicle and the illuminance acquired by the sensor unit 130, So as to optimally scan the vehicle and acquire images. In addition, the inspection control unit 140 may control the vision camera 112 to scan the vehicle paint surface divided into the area of a predetermined size based on the Cartier information, according to the coordinates and the path determined by the vision camera 112. [

도 7은 본 발명의 일 실시예에 따른 검사 제어부(140)가 이동하는 차체의 표면형상에 대응하여 일정 품질의 이미지의 획득이 가능하도록 검사장치(100)를 제어하는 방법을 나타낸 도면이다. 7 is a diagram illustrating a method of controlling the inspection apparatus 100 so that an image of a constant quality can be obtained corresponding to the surface shape of a vehicle body to which the inspection control unit 140 moves according to an embodiment of the present invention.

도 7을 참조하면, 검사 제어부(140)는 비전 카메라부(110), 조명부(120) 및 센서부(130)를 이용하여 슬라이딩 레일 위에서 이동하는 차체의 표면형상에 대응하여 일정한 품질의 이미지를 획득할 수 있다. 예를 들어, 차체의 3차원 도장 표면에서 가상으로 분할 할당된 영역은 슬라이딩 레일 속도에 따라서 이동하게 되므로, 검사 제어부(140)는 센서부(130)로 하여금 거리, 조도를 측정하게 하고, 조명 각도, 카메라 각도를 제어하여, 카메라의 초점거리를 일정하게 유지하도록 함으로써 일정 품질의 이미지를 획득할 수 있다. 여기서 일정한 품질이라 함은 사용자가 미리 설정한 기준을 만족하는 수준을 의미하고, 사용자에 의하여 도장 표면의 균일도, 색 구현도, 도장 두께 등이 품질 판단 기준으로 미리 설정될 수 있다.7, the inspection control unit 140 acquires images of a predetermined quality corresponding to the surface shape of the vehicle body moving on the sliding rail using the vision camera unit 110, the illumination unit 120, and the sensor unit 130 can do. For example, since the area virtually divided and allocated on the three-dimensional paint surface of the vehicle body moves according to the sliding rail speed, the inspection control unit 140 causes the sensor unit 130 to measure the distance and the illuminance, , The camera angle is controlled to keep the focal distance of the camera constant, so that a certain quality image can be obtained. Here, the predetermined quality means a level that satisfies a user preset criteria, and the uniformity of the coating surface, the degree of color rendering, the thickness of the coating, and the like can be preset by the user as a quality judgment reference.

본 발명의 일 실시예에 따른 검사 제어부(140)는 차체가 마운트되어 이동되는 슬라이드 레일 상에 특이점을 설정하여 초기 인식 좌표를 획득하고, 설정된 특이점을 기준으로 비전 카메라부(110), 조명부(120)가 상대 좌표를 가지도록 제어할 수 있다. 여기에서, 차량표면 위치좌표는 카티아 정보나 차량설계 3차원 캐드 데이터로부터 추출하여 이용할 수 있다.  The inspection control unit 140 according to an exemplary embodiment of the present invention sets an outlier on the slide rail on which the vehicle body is mounted and moves to obtain the initial recognition coordinates, ) Can have relative coordinates. Here, the vehicle surface position coordinates can be extracted from the carta information or the vehicle design three-dimensional CAD data and used.

또한, 검사 제어부(140)에 의한 차량 외관 이미지 스캔 설정은 분할 영역별 이미지 획득 영역의 크기, 슬라이딩 레일의 속도, 카메라의 샘플링 시간 등이 고려되어 설정될 수 있다. In addition, the scan control unit 140 may set the image of the vehicle exterior image scan in consideration of the size of the image acquisition area of each segment, the speed of the sliding rail, the sampling time of the camera, and the like.

본 발명의 일 실시예에 따른 데이터 베이스 서버(200)는 검사장치(100)로부터 차량 이미지를 전송 받고, 검사 알고리즘을 이용하여 차량 이미지를 분석하여 차량 도장표면 결함 유무를 판단할 수 있다. The database server 200 according to an exemplary embodiment of the present invention receives the vehicle image from the inspection apparatus 100 and analyzes the vehicle image using the inspection algorithm to determine whether there is a surface defect on the vehicle surface.

도 8은 본 발명의 일 실시예에 따른 데이터 베이스 서버(200)가 차량의 외관에서 분할 획득한 이미지를 소프트웨어적으로 세부적으로 더 분할하는 방법을 나타낸 도면이다. 8 is a diagram illustrating a method in which the database server 200 according to an exemplary embodiment of the present invention further divides an image obtained by dividing the image obtained in the exterior of the vehicle into more details.

도 8을 참조하면, 데이터 베이스 서버(200)는 검사장치(100)로부터 계획된 좌표와 경로에 따라 일정크기로 분할되어 획득된 이미지를 소프트웨어적으로 세부적으로 더 분할할 수 있다. 예를 들어, 도 4와 같이, 검사장치(100)로부터 획득된 이미지 H00V00은 데이터 베이스 서버(200)에서 소프트웨어적으로 H00V00-N11~H00V00-N44 로 세부적으로 더 분할되어 분석될 수 있다. 즉, 데이터 베이스 서버(200)는 세부적으로 더 분할된 이미지들을 이미지별 비교 분석을 통하여 도장표면의 결함을 판별할 수 있다. 또한, 데이터 베이스 서버(200)는 검사장치(100)로부터 획득된 차량 이미지 또는 카티아 정보를 이용하여, 판별한 도장표면 결함의 위치를 차량 자체의 3차원 위치 정보로 추정하고, 저장할 수 있다. Referring to FIG. 8, the database server 200 may divide the acquired image into a predetermined size according to the planned coordinates and path from the testing apparatus 100, and further divide the obtained image in detail by software. For example, as shown in FIG. 4, the image H00V00 obtained from the inspection apparatus 100 can be analyzed in detail in the database server 200 by dividing it into H00V00-N11 to H00V00-N44 by software. That is, the database server 200 can discriminate defects on the painting surface through comparative analysis of images further divided into images. Further, the database server 200 can estimate and store the position of the paint surface defect identified by the vehicle image or the Cartier information obtained from the inspection apparatus 100 as the three-dimensional position information of the vehicle itself.

또한, 데이터 베이스 서버(200)는 이미지의 소프트웨어적 분할 및 분할 이미지의 비교 분석을 위하여 컴퓨터 및 이에 준하는 연산, 처리장치를 포함할 수 있다. 데이터 베이스 서버(200)는 MCU(Micro Controller Unit), CPU(Central Processing Unit), AP(Application Processor) 및 CP(Communication Processor) 중의 적어도 하나를 포함할 수 있다.In addition, the database server 200 may include a computer and an equivalent operation and processing device for software division of images and comparative analysis of divided images. The database server 200 may include at least one of an MCU (Micro Controller Unit), a CPU (Central Processing Unit), an AP (Application Processor), and a CP (Communication Processor).

도 9는 본 발명의 일 실시예에 따른 차량 도장표면 검사시스템(1000)에서 표시장치(300)의 구성을 나타낸 도면이다. FIG. 9 is a diagram illustrating a configuration of a display device 300 in a vehicle paint surface inspection system 1000 according to an embodiment of the present invention.

도 2 및 도 9를 참조하면, 표시장치(300)는 돔형 레일(340) 상에 설치되어, 도장표면의 결함부분에 표식부호(marking)를 표시하는 표시부(310), 표시부(310)를 도장표면 결함부분의 위치로 이동시키는 캐리어부(320) 및 표시장치(300)의 동작을 전반적으로 제어하는 표시 제어부(330)를 포함할 수 있다.2 and 9, the display device 300 includes a display unit 310 installed on the dome-shaped rail 340 for marking a defective part of a coating surface, a display unit 310 for painting A carrier portion 320 for moving the surface defective portion to a position of the surface defective portion, and a display control portion 330 for controlling the operation of the display device 300 as a whole.

본 발명의 일 실시예에 따른 표시부(310)는 도장표면의 결함부분에 표식부호를 표시하는 장치로서, 구동기(312), 분사 시스템(또는 터치 시스템)(314) 및 분사 노즐(또는 터치 팁)(316)을 포함할 수 있다. 표시부(310)는 분사 시스템(314)을 이용하여 도장표면의 결함 부분에 미리 정해진 색깔이나 기호로 분사액을 분사하여 결함 부위를 표시할 수 있다.The display unit 310 according to an exemplary embodiment of the present invention includes a driver 312, an injection system (or a touch system) 314, and a spray nozzle (or a touch tip) (316). The display unit 310 can display the defective part by spraying the spray liquid with a predetermined color or symbol on the defective part of the paint surface using the injection system 314. [

본 발명의 일 실시예에 따른 캐리어부(320)는 데이터 베이스 서버(200)로부터 전달된 도장표면 결함부분의 3차원 위치 좌표 정보에 따라서 표시부(310)를 도장표면 결함부분의 위치로 이동시킬 수 있다.The carrier unit 320 according to an embodiment of the present invention can move the display unit 310 to the position of the coating surface defect part in accordance with the three-dimensional position coordinate information of the coating surface defect part transmitted from the database server 200 have.

본 발명의 일 실시예에 따른 표시 제어부(330)는 표시장치(300)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 표시 제어부(330)는 데이터 베이스 서버(200)로부터 전달된 도장표면 결함부분의 3차원 위치 좌표 정보에 따라서 캐리어부(320)로 하여금 도장표면 결함부분의 위치로 이동하도록 제어하고, 도장표면 결함부분의 위치로 이동한 후에 표시부(310)로 하여금 도장표면의 결함부분에 표식부호를 표시하도록 제어할 수 있다.The display control unit 330 according to an embodiment of the present invention can control the operation of the display device 300 as a whole. For example, the display control unit 330 controls the carrier unit 320 to move to the position of the coating surface defect part in accordance with the three-dimensional position coordinate information of the coating surface defect part transmitted from the database server 200, It is possible to control the display unit 310 to display the mark on the defective portion of the coating surface after moving to the position of the coating surface defect portion.

도 10은 본 발명의 일 실시예에 따른 구조광(structure light)에서 스트라이프 패턴을 도장표면에 투영하였을 때 입력받은 이미지를 이용하여 도장표면의 결함을 검출하는 방법을 나타낸 도면이다. 도 10의 (a)는 구조광(structure light)을 이용하여 스트라이프 패턴을 도장표면에 투영 시 비전 카메라로의 입력 모델을 나타내는 도면이고, 도 10의 (b)는 도장표면에서 반사된 입력 이미지를 나타낸 도면이고, 도 10의 (c)는 반사된 입력 이미지에서 스트라이프 모양의 일정 패턴이 가지는 주파수 성분을 제거한 이미지를 나타낸 도면이고, 도 10의 (d)는 주파수 성분을 제거한 이미지를 이진화한 이미지를 나타낸 도면이다. 10 is a diagram illustrating a method of detecting defects on a coating surface by using an input image when a stripe pattern is projected on a coating surface in a structure light according to an embodiment of the present invention. 10 (a) is a view showing an input model to a vision camera when a stripe pattern is projected onto a painting surface using a structure light, and FIG. 10 (b) 10 (c) is a view showing an image obtained by removing a frequency component of a certain pattern of a stripe pattern in a reflected input image, and FIG. 10 (d) Fig.

도 10의 (a) 내지 도 10의 (d)를 참조하면, 구조광에서 스트라이트 패턴을 차량의 도장표면에 투영하면, 차량 도장표면에서 반사된 스트라이트 패턴의 이미지를 비전 카메라(112)가 입력받아 데이터 베이스 서버(200)에 저장할 수 있다. 데이터 베이스 서버(200)는 반사된 입력 이미지에서 스트라이프 모양의 일정 패턴이 가지는 주파수 성분을 제거하고, 주파수 성분을 제거한 이미지를 이진화할 수 있다. 즉, 도 10의 (d)와 같이, 주파수 성분을 제거한 이미지는 도장표면의 결함부분만 이미지화 할 수 있다. 데이터 베이스 서버(200)는 이진화한 이미지를 차량의 표준 샘플 이미지와 비교하여 도장표면의 결함부분 및 결함부분의 3차원 위치 정보를 추정할 수 있다.. 10 (a) to 10 (d), when the stripe pattern is projected on the painting surface of the vehicle in the structured light, the vision camera 112 projects an image of the stripe pattern reflected on the vehicle painting surface And store it in the database server 200. The database server 200 may remove a frequency component of a predetermined pattern in a stripe pattern from the reflected input image, and binarize the image from which the frequency component is removed. That is, as shown in FIG. 10 (d), the image from which the frequency component is removed can image only the defective portion of the coating surface. The database server 200 can estimate the three-dimensional position information of the defective portion and the defective portion of the paint surface by comparing the binarized image with a standard sample image of the vehicle.

도 11은 본 발명의 일 실시예에 따른 레이저 센서와 스테레오 비전 카메라를 이용한 도장표면 검사 모델을 나타낸 도면이다. 11 is a view illustrating a paint surface inspection model using a laser sensor and a stereo vision camera according to an embodiment of the present invention.

레이저 센서로 차량 도장표면과의 거리를 파악하고, 좌우에 설치된 스테레오 비전 카메라를 이용하여 좌우에서 차량 도장표면 이미지를 획득하면, 도장표면 결함부분의 3차원 정보를 추정할 수 있다. 즉, 레이저 센서와 스테레오 비전 카메라를 이용하면, 도장표면 결함부분의 3차원 이미지를 획득할 수 있고, 육안으로 판별이 어려운 도장표면의 결함도 판별할 수 있다. 3D information of the coating surface defect part can be estimated by obtaining the distance from the vehicle painting surface with the laser sensor and acquiring the vehicle painting surface image from the left and right using the stereo vision camera installed on the left and right. That is, by using a laser sensor and a stereo vision camera, it is possible to obtain a three-dimensional image of a coating surface defect portion and to identify a defect on a coating surface which is hard to be visually distinguished.

도 12는 본 발명의 일 실시예에 따른 차량 도장표면 검사방법을 나타낸 순서도이다. 12 is a flowchart illustrating a vehicle paint surface inspection method according to an embodiment of the present invention.

도 12를 참조하면, 단계 S10에서, 도장표면 결함 검사를 수행하기 위해서, 검사장치(100)는 차체 검사대상 오브젝트의 표준 샘플 이미지를 획득할 수 있다. 스캔 이미지는 조명, 표면 조도, 차체 색상 주위 환경에 따라서 달라질 수 있기 때문에, 이미지 비교 분석의 기준이 될 수 있는 표준 샘플 이미지가 필요하게 된다. Referring to FIG. 12, in step S10, the inspection apparatus 100 can acquire a standard sample image of the object to be inspected to perform paint surface defect inspection. Because the scanned image can vary depending on lighting, surface roughness, and environment surrounding the body color, a standard sample image, which can serve as a basis for image comparison analysis, is needed.

예를 들어, 검사장치(100)는 차체 검사대상 오브젝트를 차체 3차원 표면 영역이 균일하도록 일정 크기의 영역으로 분할하여 스캐닝 한 후, 이미지를 평균값으로 병합처리하여 표준 샘플 이미지로 저장하여 표준 샘플 이미지를 획득할 수 있다. 예를 들어, 표준 샘플 이미지는 분할하여 스캐닝한 이미지를 미리 정해진 분할 영역의 크기와 스캐닝 횟수에 대응한 평균값으로 병합처리한 후 저장함으로써 획득할 수 있다. For example, the inspection apparatus 100 divides the object to be inspected into an area having a predetermined size such that the three-dimensional body surface area of the body is uniformly scanned, merges the images into an average value, stores the object as a standard sample image, Can be obtained. For example, the standard sample image can be obtained by merging the scanned image into an average value corresponding to the size of the divided area and the number of scanning times, and storing the scanned image.

도 13은 본 발명의 일 실시예에 따른 카티아 정보로부터 좌표 검출 프로세서를 나타낸 순서도이고, 도 14는 본 발명의 일 실시예에 따른 좌표검출 과정의 카티아 환경을 나타낸 도면이고, 도 15는 본 발명의 일 실시예에 따른 카티아 프로그램에 의한 좌표검출 상태의 예시를 나타낸 도면이다. FIG. 13 is a flowchart showing a coordinate detection processor based on Cartier information according to an embodiment of the present invention, FIG. 14 is a diagram illustrating a Cartier environment in a coordinate detection process according to an embodiment of the present invention, and FIG. Fig. 8 is a diagram showing an example of a coordinate detection state by a Cartier program according to an embodiment. Fig.

도 13 내지 도 15를 참조하면, 카티아(CATIA) 프로그램은 차체 정보에 3차원 위치 정보를 포함하도록 실행 및 저장될 수 있으므로. 표준 샘플 이미지는 카티아 프로그램의 카티아 좌표 정보와 함께 획득될 수 있다.13 to 15, a CATIA program can be executed and stored so as to include three-dimensional position information in the body information. A standard sample image may be obtained with the Cartesian coordinate information of the Catia program.

즉, 데이터 베이스 서버(200)는 차체 검사대상 오브젝트에 대하여, 카티아 프로그램을 이용하여 워킹 패스(working path)를 계획하여 그리드(grid)를 생성하고, 생성한 그리드에 따라서 워킹 포인트(working point)를 생성하여 표준 샘플 이미지를 획득할 수 있다. 즉, 데이터 베이스 서버(200)는 표준 샘플 이미지에 3차원 위치정보가 포함되도록, 카티아 좌표 정보를 이용하여 표준 샘플 이미지를 획득할 수 있다. That is, the database server 200 creates a grid by planning a working path using the Cartier program for the object to be inspected, and sets a working point according to the generated grid To obtain a standard sample image. That is, the database server 200 can acquire a standard sample image using the cartesian coordinate information so that the three-dimensional position information is included in the standard sample image.

또한, 표준 샘플 이미지를 획득하기 위한 분할 스캐닝 과정에서 카티아 정보를 토대로 분할 스캐닝하여 3차원 위치 정보가 포함된 표준 샘플 이미지를 획득할 수 있다. In addition, in a divided scanning process for obtaining a standard sample image, a standard sample image including three-dimensional position information can be obtained by dividing scanning based on the Carta information.

단계 S20에서, 검사장치(100)는 표준 샘플 이미지와 비교하기 위해서, 차체 검사대상 오브젝트의 실시간 스캐닝 이미지를 획득할 수 있다. 즉, 검사장치(100)는 분할하여 스캐닝한 이미지를 더 세분화하여 일정한 크기의 영역과 이미지마다 미리 정해진 이미지 정보, 위치좌표, 번지 주소를 가지도록 소프트웨어적으로 세부적으로 더 분할하여 저장하여 실시간 스캐닝 이미지를 획득할 수 있다. In step S20, the inspection apparatus 100 can acquire a real-time scanning image of the object to be inspected for comparison with a standard sample image. That is, the inspection apparatus 100 further subdivides the divided and scanned image and further divides and stores the scanned image in a predetermined size so as to have predetermined image information, position coordinates, Can be obtained.

단계 S30에서, 데이터 베이스 서버(200)는 획득한 이미지들을 비교하여, 도장표면의 결함의 발생 유무를 검사할 수 있다. 즉, 차량 전체의 표준 샘플 이미지와 실시간 스캐닝 이미지를 비교하여 도장표면의 결함의 발생 유무를 검사할 수 있다. In step S30, the database server 200 may compare the acquired images to check whether or not a defect on the coating surface has occurred. That is, it is possible to compare the standard sample image of the whole vehicle with the real-time scanning image to check whether or not the surface of the coating is defective.

또한, 표준 샘플 이미지와 실시간 스캐닝 이미지를 비교하는 방법은 전술한 도 10의 구조광에서 스트라이프 패턴을 도장표면에 투영한 방법을 이용할 수 있다. 즉, 실시간 스캐닝 이미지는, 차량 도장표면에서 반사된 스트라이프 패턴의 입력 이미지에서 스트라이프 패턴의 일정 패턴이 가지는 주파수 성분을 제거한 이미지를 이진화하여 획득할 수 있다. 예를 들어, 표준 샘플 이미지와 주파수 성분을 제거한 이미지를 이진화한 이미지를 비교하는 방법 또는 표준 샘플 이미지를 이진화한 이미지와 주파수 성분을 제거한 이미지를 이진화한 이미지를 비교하는 방법 등으로 도장표면의 결함 발생 유무를 판별할 수 있다. In addition, a method of comparing the standard sample image with the real-time scanning image can use a method of projecting the stripe pattern on the coating surface in the above-described structured light of FIG. That is, the real-time scanning image can be obtained by binarizing an image obtained by removing a frequency component of a certain pattern of a stripe pattern from an input image of a stripe pattern reflected from a vehicle painting surface. For example, a method of comparing a standard sample image and a binarized image of an image obtained by removing frequency components, or a method of comparing an image obtained by binarizing a standard sample image and a binarized image of an image obtained by removing frequency components, Can be determined.

단계 S40에서, 표시장치(300)는 검사 결과에 기반하여, 도장표면 결함부분에 표식부호를 표시할 수 있다. 즉, 데이터 베이스 서버(200)는 획득한 이미지 분석 결과에 의해서, 도장표면 결함의 유무와 결함부분을 파악할 수 있고, 결함부분의 3차원 위치 좌표를 추정할 수 있다. 데이터 베이스 서버(200)가 추정한 결함부분의 3차원 위치 좌표 정보를 표시 제어부(330)에 전송하면, 표시 제어부(330)는 전송받은 3차원 위치 좌표 정보에 대응하여 캐리어부(320)를 제어하여 표시부(310)를 도장표면 결함부분으로 이동시킬 수 있다. 도장표면 결함부분에 도달한 표시부(310)는 표시 제어부(330)의 제어에 따라서 결함부분에 표식부호를 표시할 수 있다. In step S40, the display device 300 can display the marking on the coating surface defect part based on the inspection result. That is, the database server 200 can grasp the presence or absence of defects on the coating surface due to the obtained image analysis result, and estimate the three-dimensional position coordinates of the defective portion. Dimensional position coordinate information of the defect portion estimated by the database server 200 to the display control unit 330, the display control unit 330 controls the carrier unit 320 in accordance with the received three-dimensional position coordinate information So that the display portion 310 can be moved to the paint surface defective portion. The display unit 310 reaching the coating surface defect part can display the marking on the defective part under the control of the display control unit 330. [

본 발명의 일 실시예에 따른 차량 도장표면 검사 방법에 관련하여서는 전술한 차량 도장표면 검사시스템에 대한 내용이 적용될 수 있다. 따라서, 차량 도장표면의 검사 방법과 관련하여, 전술한 차량 도장표면 검사시스템에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.The contents of the vehicle paint surface inspection system described above may be applied to the vehicle paint surface inspection method according to an embodiment of the present invention. Therefore, with respect to the method of inspecting the surface of the vehicle paint, the same contents as those of the above-described vehicle paint surface inspection system are not described.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. One embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100: 검사장치
110: 비전 카메라부 112: 비전 카메라
114: 카메라 브라켓 120: 조명부
122: 스폿 조명 124: 조명 브라켓
130: 센서부 140: 검사 제어부
142: 선형 액추에이터 144: 로터리 액추에이터
200: 데이터 베이스 서버(비전 시스템)
300: 표시장치 310: 표시부
312: 구동기 314: 분사 시스템(또는 터치 시스템)
316: 분사 노즐(또는 터치 팁) 320: 캐리어부
330: 표시 제어부 340: 돔형 레일
400: 통신부 410: 차광터널
610: 차량 도장표면에서 일정 크기의 분할 영역
1000: 차량 도장표면 검사시스템100: Inspection device
110: vision camera part 112: vision camera
114: camera bracket 120: illuminator
122: Spot light 124: Lighting bracket
130: sensor unit 140:
142: Linear actuator 144: Rotary actuator
200: Database server (vision system)
300: display device 310: display part
312: driver 314: injection system (or touch system)
316: injection nozzle (or touch tip) 320: carrier part
330: display control unit 340: domed rail
400: communication unit 410: shading tunnel
610: Partition area of a certain size on the vehicle painting surface
1000: Vehicle paint surface inspection system

Claims (12)

차량 도장표면 검사시스템에 있어서,
차량의 도장표면에서의 결함 발생 유무를 감지하기 위해서, 차량 외관을 스캔하여 차량의 이미지를 획득하는 검사장치;
상기 검사장치에서 획득한 차량 이미지를 분석하는 데이터베이스 서버; 및
상기 데이터베이스 서버에서 분석한 결과에 기반하여, 상기 차량의 도장표면의 결함 발생 부분에 표식부호(mark)를 표시하는 표시장치; 를 포함하고,
상기 검사장치는,
상기 차량의 외관을 촬영하는 비전 카메라부;
상기 차량의 외관에 빛을 조사하는 조명부;
상기 검사장치와 상기 차량과의 거리를 감지하는 센서부; 및
상기 차량의 도장표면을 미리 정해진 좌표와 경로에 따라서 차체 3차원 표면 영역이 균일하도록 일정 크기의 영역으로 분할하여, 3차원 위치정보를 포함한 차량 이미지를 획득하도록 상기 비전 카메라부, 조명부, 센서부의 동작과 위치를 제어하는 검사 제어부; 를 포함하고,
상기 데이터베이스 서버는,
상기 검사장치를 통하여 상기 일정 크기의 영역으로 분할하여 획득한 이미지를 소프트웨어적으로 세부적으로 더 분할하여 이미지별 비교분석을 통하여 도장표면의 결함을 판별하고, 상기 획득한 차량 이미지를 이용하여 차량 자체의 3차원 위치정보로 도장표면 결함의 위치를 추정하고,
상기 이미지별 비교분석을 통한 도장표면의 결함 판별은,
상기 조명부를 이용하여 상기 차량의 도장표면에 구조광(structure light)의 스트라이프 패턴을 투영한 후에 상기 차량의 도장표면에서 반사된 스트라이프 패턴의 입력 이미지를 획득하고, 상기 획득된 스트라이프 패턴의 입력 이미지에서 상기 스트라이프 패턴의 일정 패턴이 가지는 주파수 성분을 제거하고, 상기 주파수 성분을 제거한 이미지를 이진화하여 획득한 이미지를 비교 분석하여 도장표면의 결함을 판별하는 차량 도장표면 검사시스템.
A vehicle paint surface inspection system comprising:
An inspection device for scanning the exterior of the vehicle to acquire an image of the vehicle, in order to detect the presence or absence of defects on the paint surface of the vehicle;
A database server for analyzing a vehicle image acquired by the inspection apparatus; And
A display device for displaying a mark on a defect occurrence portion of a paint surface of the vehicle based on a result of analysis by the database server; Lt; / RTI >
The inspection apparatus comprises:
A vision camera section for photographing an appearance of the vehicle;
An illuminator for illuminating the exterior of the vehicle;
A sensor unit for sensing a distance between the inspection apparatus and the vehicle; And
The operation of the vision camera unit, the illumination unit, and the sensor unit so as to acquire the vehicle image including the three-dimensional position information by dividing the painting surface of the vehicle into areas of a predetermined size such that the body three-dimensional surface area is uniform in accordance with predetermined coordinates and paths, An inspection control unit for controlling the position and the position of the object; Lt; / RTI >
The database server,
An image obtained by dividing an image obtained by dividing the image into a predetermined size region through the inspection apparatus is further divided into software and further divided into images to determine defects on the surface of the paint through comparative analysis for each image, The position of the coating surface defect is estimated with the three-dimensional position information,
The defect discrimination on the coating surface through the comparative analysis of the images is carried out,
And a step of acquiring an input image of a stripe pattern reflected on the painting surface of the vehicle after projecting a stripe pattern of structure light on the painting surface of the vehicle using the illumination section, Wherein a frequency component of a certain pattern of the stripe pattern is removed and an image obtained by binarizing an image obtained by removing the frequency component is compared and analyzed to determine defects on the paint surface.
제 1 항에 있어서,
상기 검사 제어부는, 슬라이딩 레일 위에서 이동하는 차체의 표면형상에 대응하여 일정한 품질의 이미지를 획득하도록 상기 비전 카메라부, 조명부, 센서부의 동작과 위치를 제어하는 차량 도장표면 검사시스템.
The method according to claim 1,
Wherein the inspection control unit controls the operation and position of the vision camera unit, the illumination unit, and the sensor unit so as to obtain an image of a constant quality corresponding to a surface shape of the vehicle body moving on the sliding rail.
삭제delete 제 2 항에 있어서,
상기 검사 제어부는, 상기 차체가 마운트되어 이동되는 슬라이딩 레일 상에 특이점을 설정하여 초기인식 좌표를 획득하고, 상기 설정된 특이점을 기준으로 상기 비전 카메라부, 조명부가 상대 좌표를 가지도록 제어하는 차량 도장표면 검사시스템.
3. The method of claim 2,
Wherein the inspection control unit obtains an initial recognition coordinate by setting a singularity point on a sliding rail on which the vehicle body is mounted and moves and acquires an initial recognition coordinate and a vehicle painting surface to control the vision camera unit and the illumination unit to have relative coordinates on the basis of the set singular point Inspection system.
삭제delete 제 1 항에 있어서,
상기 표시장치는, 상기 도장표면의 결함부분에 표식부호를 표시하는 표시부;
상기 표시부를 도장표면 결함 위치로 이동시키는 캐리어부; 및
상기 표시부와 캐리어부의 위치와 동작을 제어하는 캐리어 제어부; 를 포함하고,
상기 캐리어 제어부는, 상기 데이터베이스 서버에서 추정한 도장표면 결함 위치에 대응하여, 상기 캐리어부로 하여금 상기 표시부를 도장표면 결함 위치로 이동하도록 제어하는 차량 도장표면 검사시스템.
The method according to claim 1,
The display device includes: a display unit for displaying a marking on a defective part of the painting surface;
A carrier portion for moving the display portion to a paint surface defect position; And
A carrier control unit for controlling a position and an operation of the display unit and the carrier unit; Lt; / RTI >
Wherein the carrier control unit controls the carrier unit to move the display unit to a paint surface defect position corresponding to a paint surface defect position estimated by the database server.
제 1 항에 있어서,
상기 센서부는 초음파 센서, 위치 센서, 레이저 센서 및 조도 센서 중의 적어도 하나를 포함하는 차량 도장표면 검사시스템.
The method according to claim 1,
Wherein the sensor unit comprises at least one of an ultrasonic sensor, a position sensor, a laser sensor and an illuminance sensor.
차량 도장표면 검사방법에 있어서,
차체 검사대상 오브젝트의 표준 샘플 이미지를 획득하는 단계;
상기 차체 검사대상 오브젝트의 실시간 스캐닝 이미지를 획득하는 단계;
상기 표준 샘플 이미지와 상기 스캐닝 이미지를 비교하여, 도장표면에서의 결함 발생 유무를 검사하는 단계; 및
상기 검사의 결과에 기반하여, 상기 도장표면의 결함 발생 부분에 표식부호를 표시하는 단계; 를 포함하고,
상기 표준 샘플 이미지의 획득 단계는,
차체 검사대상 오브젝트를 차체 3차원 표면 영역이 균일하도록 일정 크기의 영역으로 분할하여 스캐닝 한 후, 이미지를 평균값으로 병합처리하여 표준 샘플 이미지로 저장하는 단계를 포함하고,
상기 실시간 스캐닝 이미지를 획득하는 단계는,
상기 분할하여 스캐닝한 이미지를 더 세분화하여 일정한 크기의 영역과 이미지마다 미리 정해진 이미지 정보, 위치좌표, 번지 주소를 가지도록 소프트웨어적으로 세부적으로 더 분할하여 저장하는 단계를 포함하고,
상기 스캐닝 이미지는,
조명부를 이용하여 상기 차량의 도장표면에 구조광(structure light)의 스트라이프 패턴을 투영한 후에 상기 차량의 도장표면에서 반사된 스트라이프 패턴의 입력 이미지에서 상기 스트라이프 패턴의 일정 패턴이 가지는 주파수 성분을 제거하고, 상기 주파수 성분을 제거한 이미지를 이진화하여 획득되는 차량 도장표면 검사방법.
A method for inspecting a vehicle paint surface,
Obtaining a standard sample image of an object to be inspected;
Obtaining a real-time scanning image of the object to be inspected;
Comparing the standard sample image with the scanning image to check whether a defect has occurred on the coating surface; And
Displaying a mark on the defect occurrence portion of the coating surface based on a result of the inspection; Lt; / RTI >
Wherein the obtaining of the standard sample image comprises:
The method comprising the steps of: dividing the object to be inspected into an area having a predetermined size such that the body three-dimensional surface area is uniform, scanning the object, merging the image into an average value, and storing the object as a standard sample image,
The step of acquiring the real-
Further dividing the scanned image into a plurality of subdivided scanned images and dividing the divided scanned images into a predetermined size area and a predetermined image size,
The scanning image may include:
A frequency component of a certain pattern of the stripe pattern is removed from an input image of a stripe pattern reflected on a painting surface of the vehicle after projecting a stripe pattern of structure light onto a paint surface of the vehicle using an illumination unit And obtaining an image obtained by removing the frequency component by binarizing the image.
삭제delete 삭제delete 제 8 항에 있어서,
상기 표준 샘플 이미지의 획득단계는, 상기 차체 검사대상 오브젝트에 대하여, 설계 프로그램을 이용하여 워킹 패스(working path)를 계획하여 그리드(grid)를 생성하고, 상기 생성한 그리드에 따라서 워킹 포인트(working point)를 생성하여 상기 표준 샘플 이미지를 획득하는 단계를 포함하는 차량 도장표면 검사방법.
9. The method of claim 8,
The step of acquiring the standard sample image may include generating a grid by planning a working path for the object to be inspected with the design program using a design program, ≪ / RTI > to obtain the standard sample image.
제 8 항 및 제 11 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
12. A computer-readable recording medium on which a program for implementing the method of any one of claims 8 and 11 is recorded.
KR1020160072502A 2016-06-10 2016-06-10 System and method for inspecting painted surface of automobile KR101782542B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160072502A KR101782542B1 (en) 2016-06-10 2016-06-10 System and method for inspecting painted surface of automobile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160072502A KR101782542B1 (en) 2016-06-10 2016-06-10 System and method for inspecting painted surface of automobile

Publications (1)

Publication Number Publication Date
KR101782542B1 true KR101782542B1 (en) 2017-10-30

Family

ID=60301236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160072502A KR101782542B1 (en) 2016-06-10 2016-06-10 System and method for inspecting painted surface of automobile

Country Status (1)

Country Link
KR (1) KR101782542B1 (en)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190075714A (en) 2017-12-21 2019-07-01 손관우 High resolution image acquisition system through still image extraction
KR102007141B1 (en) 2019-02-27 2019-08-16 주식회사 삼덕로지스틱스 Vehicle painting surface inspection and repainting prediction system
KR102007142B1 (en) 2019-02-27 2019-08-16 주식회사 삼덕로지스틱스 Vehicle paint surface lighting system using IOT
CN110146507A (en) * 2019-04-30 2019-08-20 杭州晶耐科光电技术有限公司 Automobile finish surface appearance defects detection system and method
KR20200006287A (en) * 2018-07-10 2020-01-20 주식회사 성우하이텍 Vision unit
KR102124756B1 (en) 2020-03-27 2020-06-19 신창현대서비스 주식회사 Method of Repainting Sheet Metal Part of Vehicle
KR102124726B1 (en) 2019-04-05 2020-06-23 한국교통대학교산학협력단 Vehicle automatic integrated inspection system
CN112326669A (en) * 2020-10-28 2021-02-05 哈尔滨工程大学 Coating defect detection and marking system and method
KR102236631B1 (en) 2020-12-14 2021-04-05 김용대 Vehicle Repainting Method
CN113030100A (en) * 2021-03-02 2021-06-25 成都小淞科技有限公司 Coating flaw online automatic detection system
KR102271592B1 (en) * 2020-03-17 2021-06-30 송영민 Apparatus for inspecting vehicle appearance and method thereof
CN113532886A (en) * 2021-08-18 2021-10-22 成都工业职业技术学院 Second-hand vehicle detection system and detection method
KR20220056480A (en) * 2020-10-28 2022-05-06 이종우 System for inspecting quality of vehicle surface
US11379968B2 (en) * 2017-12-08 2022-07-05 Panasonic Intellectual Property Management Co., Ltd. Inspection system, inspection method, program, and storage medium
KR20220109627A (en) * 2021-01-29 2022-08-05 케이앤피로지스 주식회사 Pre-Delivery Inspection Apparatus
KR20220109626A (en) * 2021-01-29 2022-08-05 케이앤피로지스 주식회사 Pre-Delivery Inspection Apparatus
CN115541598A (en) * 2022-08-24 2022-12-30 深圳市二郎神视觉科技有限公司 Automobile appearance detection method, device and system
CN116067671A (en) * 2023-02-03 2023-05-05 北京车讯骏都互联网有限公司 Method, system and medium for testing vehicle paint quality
KR102594602B1 (en) 2022-06-30 2023-10-26 진기철 Vehicle painting systems and methods
KR102610624B1 (en) 2022-12-29 2023-12-06 주식회사 엠브이 Defect detection method for painted products of vehicles
WO2024043360A1 (en) * 2022-08-24 2024-02-29 정현종 Automatic vehicle frame measurement system
CN115541598B (en) * 2022-08-24 2024-05-14 深圳市二郎神视觉科技有限公司 Automobile appearance detection method, device and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2720360B2 (en) * 1990-08-21 1998-03-04 関東自動車工業株式会社 Painted surface inspection equipment for vehicles
JP2002508071A (en) 1997-07-18 2002-03-12 アウディ アーゲー Method for automatically recognizing body shell surface defects and apparatus for implementing the method
JP2004279233A (en) 2003-03-17 2004-10-07 Kanto Auto Works Ltd Defect marking device for inspecting vehicular painted face

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2720360B2 (en) * 1990-08-21 1998-03-04 関東自動車工業株式会社 Painted surface inspection equipment for vehicles
JP2002508071A (en) 1997-07-18 2002-03-12 アウディ アーゲー Method for automatically recognizing body shell surface defects and apparatus for implementing the method
JP2004279233A (en) 2003-03-17 2004-10-07 Kanto Auto Works Ltd Defect marking device for inspecting vehicular painted face

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727554B2 (en) 2017-12-08 2023-08-15 Panasonic Intellectual Property Management Co., Ltd. Inspection system, inspection method, program, and storage medium
US11379968B2 (en) * 2017-12-08 2022-07-05 Panasonic Intellectual Property Management Co., Ltd. Inspection system, inspection method, program, and storage medium
KR20190075714A (en) 2017-12-21 2019-07-01 손관우 High resolution image acquisition system through still image extraction
KR20200006287A (en) * 2018-07-10 2020-01-20 주식회사 성우하이텍 Vision unit
KR102087609B1 (en) 2018-07-10 2020-03-11 주식회사 성우하이텍 Vision unit
KR102007141B1 (en) 2019-02-27 2019-08-16 주식회사 삼덕로지스틱스 Vehicle painting surface inspection and repainting prediction system
KR102007142B1 (en) 2019-02-27 2019-08-16 주식회사 삼덕로지스틱스 Vehicle paint surface lighting system using IOT
KR102124726B1 (en) 2019-04-05 2020-06-23 한국교통대학교산학협력단 Vehicle automatic integrated inspection system
CN110146507B (en) * 2019-04-30 2024-01-26 杭州晶耐科光电技术有限公司 System and method for detecting appearance defects of automobile paint surface
CN110146507A (en) * 2019-04-30 2019-08-20 杭州晶耐科光电技术有限公司 Automobile finish surface appearance defects detection system and method
KR102271592B1 (en) * 2020-03-17 2021-06-30 송영민 Apparatus for inspecting vehicle appearance and method thereof
KR102124756B1 (en) 2020-03-27 2020-06-19 신창현대서비스 주식회사 Method of Repainting Sheet Metal Part of Vehicle
KR102495502B1 (en) 2020-10-28 2023-02-06 이종우 System for inspecting quality of vehicle surface
KR20220056480A (en) * 2020-10-28 2022-05-06 이종우 System for inspecting quality of vehicle surface
CN112326669A (en) * 2020-10-28 2021-02-05 哈尔滨工程大学 Coating defect detection and marking system and method
KR102236631B1 (en) 2020-12-14 2021-04-05 김용대 Vehicle Repainting Method
KR102528963B1 (en) * 2021-01-29 2023-05-08 케이앤피로지스 주식회사 Pre-Delivery Inspection Apparatus
KR20220109627A (en) * 2021-01-29 2022-08-05 케이앤피로지스 주식회사 Pre-Delivery Inspection Apparatus
KR20220109626A (en) * 2021-01-29 2022-08-05 케이앤피로지스 주식회사 Pre-Delivery Inspection Apparatus
KR102528958B1 (en) * 2021-01-29 2023-05-08 케이앤피로지스 주식회사 Pre-Delivery Inspection Apparatus
CN113030100A (en) * 2021-03-02 2021-06-25 成都小淞科技有限公司 Coating flaw online automatic detection system
CN113532886A (en) * 2021-08-18 2021-10-22 成都工业职业技术学院 Second-hand vehicle detection system and detection method
KR102594602B1 (en) 2022-06-30 2023-10-26 진기철 Vehicle painting systems and methods
CN115541598A (en) * 2022-08-24 2022-12-30 深圳市二郎神视觉科技有限公司 Automobile appearance detection method, device and system
WO2024043360A1 (en) * 2022-08-24 2024-02-29 정현종 Automatic vehicle frame measurement system
CN115541598B (en) * 2022-08-24 2024-05-14 深圳市二郎神视觉科技有限公司 Automobile appearance detection method, device and system
KR102610624B1 (en) 2022-12-29 2023-12-06 주식회사 엠브이 Defect detection method for painted products of vehicles
CN116067671A (en) * 2023-02-03 2023-05-05 北京车讯骏都互联网有限公司 Method, system and medium for testing vehicle paint quality

Similar Documents

Publication Publication Date Title
KR101782542B1 (en) System and method for inspecting painted surface of automobile
CN109242820B (en) Machine learning device, inspection device, and machine learning method
JP4827744B2 (en) Inspection path setting and inspection area determination method
US7639349B2 (en) Method and system for inspecting surfaces
ES2910068T3 (en) Mobile and automated device for the detection and classification of damage to the bodywork of a vehicle
EP1995553B1 (en) System and method for identifying a feature of a workpiece
EP3388781B1 (en) System and method for detecting defects in specular or semi-specular surfaces by means of photogrammetric projection
KR101773791B1 (en) Method and device for inspecting surfaces of an examined object
CA2759600C (en) System and method for monitoring painting quality of components, in particular of motor-vehicle bodies
WO2011144964A1 (en) Inspection system and method of defect detection on specular surfaces
US11674907B2 (en) Method and device for recognising and analysing surface defects in three-dimensional objects having a reflective surface, in particular motor vehicle bodies
US20210255117A1 (en) Methods and plants for locating points on complex surfaces
EP3775854B1 (en) System for the detection of defects on a surface of at least a portion of a body and method thereof
JP2001153810A (en) System and method for detecting defect on work surface
US6665066B2 (en) Machine vision system and method for analyzing illumination lines in an image to determine characteristics of an object being inspected
CN104583904B (en) For inputting the method to the control command of automotive component
JP7302599B2 (en) Defect discrimination method, defect discrimination device, defect discrimination program and recording medium
WO2020079694A1 (en) Optimizing defect detection in an automatic visual inspection process
US20170151676A1 (en) Optical measurement of object location in three dimensions
JP2007248072A (en) Apparatus and method for inspecting irregular color
CN112444283B (en) Vehicle assembly detection device and vehicle assembly production system
KR102117697B1 (en) Apparatus and method for surface inspection
JP2012141223A (en) Surface flaw detecting and indicating system and work piece manufacturing method involving surface treatment
WO2017046688A1 (en) Process for the acquisition of the shape, of the dimensions and of the position in space of products to be subjected to controls, to mechanical machining and/or to gripping and handling by robotic arms
JPH03186705A (en) Three-dimensional shape dimension measuring instrument

Legal Events

Date Code Title Description
GRNT Written decision to grant