KR101068356B1 - Method for inspecting defect of the Pixels in display panel device by image - Google Patents

Method for inspecting defect of the Pixels in display panel device by image Download PDF

Info

Publication number
KR101068356B1
KR101068356B1 KR1020090045039A KR20090045039A KR101068356B1 KR 101068356 B1 KR101068356 B1 KR 101068356B1 KR 1020090045039 A KR1020090045039 A KR 1020090045039A KR 20090045039 A KR20090045039 A KR 20090045039A KR 101068356 B1 KR101068356 B1 KR 101068356B1
Authority
KR
South Korea
Prior art keywords
pixel
value
brightness
pixels
scan
Prior art date
Application number
KR1020090045039A
Other languages
Korean (ko)
Other versions
KR20100126015A (en
Inventor
박경석
Original Assignee
최상관
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최상관, 금오공과대학교 산학협력단 filed Critical 최상관
Priority to KR1020090045039A priority Critical patent/KR101068356B1/en
Publication of KR20100126015A publication Critical patent/KR20100126015A/en
Application granted granted Critical
Publication of KR101068356B1 publication Critical patent/KR101068356B1/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306Details
    • G02F1/1309Repairing; Testing

Abstract

본 발명은, 디스플레이 패널 내의 각 1개 픽셀을 A×B개의 스캔픽셀로 촬영 가능한 라인스캔 카메라를 이용하여 디스플레이 패널의 화상정보를 취득하는 단계와, 화상정보 중의 각 스캔픽셀들의 밝기값을 분석하여, 문턱치 이상의 스캔픽셀들로 형성된 픽셀영역과 문턱치 미만의 스캔픽셀들로 형성된 배경영역으로 경계를 구분하는 단계와, 픽셀영역 내에 위치한 스캔픽셀들의 각 행방향마다 최대 밝기값을 갖는 중심점들을 탐색하여, 중심점들이 가장 많이 배치된 특정 열방향을 픽셀의 X방향 중심위치로 결정하고 특정 열방향에 대한 중앙위치를 Y방향 중심위치로 결정하여, 각 픽셀의 중심좌표 x,y를 결정하는 단계와, 중심좌표를 중앙으로 하여 A×B개 스캔픽셀을 갖는 직사각형 영역을 픽셀 부분으로 최종 결정하는 단계, 및 디스플레이 패널 내에서 결정된 각 픽셀들의 개별 밝기 특성값을 연산하고, 개별 밝기 특성값을 전체 픽셀에 대해 연산된 평균 밝기 특성값과 비교하여 각 픽셀의 불량 여부를 판단하는 단계를 포함하는 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법을 제공한다. The present invention provides a method for acquiring image information of a display panel using a line scan camera capable of capturing each pixel of the display panel with A × B scan pixels, and analyzing brightness values of the respective scan pixels in the image information. Dividing a boundary into a pixel area formed by scan pixels above a threshold and a background area formed by scan pixels below a threshold, and searching for center points having a maximum brightness value in each row direction of scan pixels located in the pixel area, Determining a specific column direction in which the center points are arranged the most as a center position of the pixel in the X direction and a center position for the specific column direction as the center position in the Y direction to determine the center coordinates x and y of each pixel; Finally determining the rectangular area having A × B scan pixels as the pixel portion with the coordinate as the center, and the texture within the display panel. Computing individual brightness characteristic values of each determined pixel, and comparing the individual brightness characteristic values with average brightness characteristic values calculated for all pixels to determine whether each pixel is defective or not. Provide a defect inspection method.

개시된 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법은, 라인스캔 카메라의 화상처리를 이용하여 디스플레이 패널의 개별 픽셀의 결함 여부를 효과적이고 신속하게 판단 가능하여 제조 공정상의 손실을 최소화할 수 있는 이점이 있다.Disclosed pixel defect inspection method of the display panel using the disclosed image processing, it is possible to effectively and quickly determine the defects of the individual pixels of the display panel using the image processing of the line scan camera has the advantage of minimizing the loss in the manufacturing process have.

Description

화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법{Method for inspecting defect of the Pixels in display panel device by image}Method for inspecting defect of the Pixels in display panel device by image}

본 발명은 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법에 관한 것으로서, 보다 상세하게는 화상처리를 이용하여 OLED(Organic Light Emitting Diode), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), FED(Field Emission Display) 등의 디스플레이 패널 내의 픽셀 불량을 검사하는 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for inspecting pixel defects of a display panel using image processing, and more particularly, to organic light emitting diode (OLED), liquid crystal display (LCD), plasma display panel (PDP), and FED using image processing. The present invention relates to a method for inspecting pixel defects in a display panel such as a field emission display.

화상처리를 이용한 검사시스템은 다양한 분야에서 활용되고 있다. 그 중 디스플레이 검사분야 역시 화상처리가 매우 중요한 도구로 사용된다. 일반적으로, 디스플레이 화면 내의 큰 결함은 금방 눈에 띄어서 쉽게 가려낼 수 있지만, 높은 품질과 관련된 미세 결함의 경우 크기가 매우 작아 쉽게 판별하기가 곤란하다.Inspection systems using image processing have been utilized in various fields. Among them, the display inspection field is also used as a very important tool. In general, large defects in the display screen are easily noticeable and can be easily sorted out, but in the case of fine defects associated with high quality, the size is very small and difficult to identify easily.

종래의 디스플레이 검사에 관한 연구는 그 대상이 주로 양산이 진행 중인 LCD나 PDP 등을 위주로 이루어지고 있다. 그런데, 현재 OLED 디스플레이가 차세대 디스플레이로 떠오르면서 대기업을 중심으로 양산화를 진행 중에 있으므로 이에 대비한 검사 시스템 또는 방법의 연구가 필요한 실정이다.The study of the conventional display inspection is mainly focused on the LCD or PDP, etc. mass production is in progress. However, as OLED displays are emerging as next-generation displays, mass production is being carried out mainly by large corporations, and thus, research of inspection systems or methods for them is required.

OLED형 디스플레이는 상기 LCD나 PDP와는 다른 원리를 가진 디스플레이 장치이다. 이러한 OLED는 별도의 외부 광원을 필요로 하지 않고 R-G-B 색상별로 자체적으로 발광하므로 백그라운드 광원이 필요치 않는 장점이 있다. 반면, OLED는 과전류로 인해 발광소자가 타버리거나 부분적으로 흑점(Dark Spot)이 형성되어 디스플레이에 결함을 유발할 수 있다.An OLED display is a display device having a principle different from that of the LCD or PDP. Such OLEDs do not need a separate external light source and emit light by R-G-B color, so there is no need for a background light source. On the other hand, OLEDs may burn out or partially dark spots due to overcurrent, causing defects in the display.

본 발명은, 라인스캔 카메라의 화상처리를 이용하여 디스플레이 패널 내의 개별 R-G-B 픽셀의 결함 여부를 용이하게 판단 가능한 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법을 제공하는데 목적이 있다.An object of the present invention is to provide a method for inspecting pixel defects of a display panel using image processing that can easily determine whether an individual R-G-B pixel is defective in the display panel using image processing of a line scan camera.

본 발명은, 디스플레이 패널 내의 각 1개 픽셀을 A×B개의 스캔픽셀로 촬영 가능한 라인스캔 카메라를 이용하여 디스플레이 패널의 화상정보를 취득하는 단계와, 화상정보 중의 각 스캔픽셀들의 밝기값을 분석하여, 문턱치 이상의 스캔픽셀들로 형성된 픽셀영역과 문턱치 미만의 스캔픽셀들로 형성된 배경영역으로 경계를 구분하는 단계와, 픽셀영역 내에 위치한 스캔픽셀들의 각 행방향마다 최대 밝기값을 갖는 중심점들을 탐색하여, 중심점들이 가장 많이 배치된 특정 열방향을 상기 픽셀의 X방향 중심위치로 결정하고 특정 열방향에 대한 중앙위치를 Y방향 중심위치로 결정하여, 각 픽셀의 중심좌표 x,y를 결정하는 단계와, 중심좌표를 중앙으로 하여 A×B개 스캔픽셀을 갖는 직사각형 영역을 픽셀 부분으로 최종 결정하는 단계, 및 디스플레이 패널 내에서 결정된 각 픽셀들의 개별 밝기 특성값을 연산하고, 개별 밝기 특성값을 전체 픽셀에 대해 연산된 평균 밝기 특성값과 비교하여 각 픽셀의 불량 여부를 판단하는 단계를 포함하는 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법을 제공한다. The present invention provides a method for acquiring image information of a display panel using a line scan camera capable of capturing each pixel of the display panel with A × B scan pixels, and analyzing brightness values of the respective scan pixels in the image information. Dividing a boundary into a pixel area formed by scan pixels above a threshold and a background area formed by scan pixels below a threshold, and searching for center points having a maximum brightness value in each row direction of scan pixels located in the pixel area, Determining a specific column direction in which the center points are arranged the most as a center position in the X direction of the pixel and a center position in the specific column direction as the center position in the Y direction to determine the center coordinates x and y of each pixel; Finally determining a rectangular area having A × B scan pixels as the pixel portion with the center coordinate as the center, and in the display panel Calculating individual brightness characteristic values of each of the determined pixels and comparing the individual brightness characteristic values with average brightness characteristic values calculated for all pixels to determine whether each pixel is defective. Provides a pixel defect inspection method.

본 발명에 따른 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법에 따르면, 라인스캔 카메라의 화상처리를 이용하여 디스플레이 패널의 개별 픽셀의 결함 여부를 효과적이고 신속하게 판단 가능하여 제조 공정상의 손실을 최소화할 수 있는 이점이 있다. 또한, 디스플레이 패널 내의 픽셀 중 밝기에 결함이 있는 픽셀뿐만 아니라 미세 검반점 손상이 있는 픽셀의 경우도 탐색이 가능하므로 간단히 라인스캔 카메라만으로도 효과적인 픽셀 불량 검출이 가능한 이점이 있다.According to the pixel defect inspection method of the display panel using the image processing according to the present invention, it is possible to effectively and quickly determine whether the individual pixels of the display panel defects by using the image processing of the line scan camera to minimize the loss in the manufacturing process There is an advantage to this. In addition, since the pixels in the display panel may be searched not only for pixels having a defect in brightness but also for pixels with fine checkpoint damage, an effective pixel defect may be detected simply by a line scan camera.

본 발명은 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법에 관한 것으로서, 즉 OLED(Organic Light Emitting Diode), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), FED(Field Emission Display) 등의 디스플레이 패널 내의 픽셀 불량 검사에 적용 가능한 것이다. 이하에서는, 설명의 편의를 위해 상기 다양한 디스플레이 패널 종류 중, 상기 OLED 디스플레이를 대상으로 하여 상기 픽셀 불량 검사를 설명하기로 한다. 물론, 본 발명은 상기 OLED 디스플레이에만 적용되는 것으로 반드시 한정되는 것이 아님은 자명하다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for inspecting pixel defects of a display panel using image processing, that is, displays such as organic light emitting diode (OLED), liquid crystal display (LCD), plasma display panel (PDP), field emission display (FED), and the like. Applicable to pixel defect inspection in the panel. Hereinafter, for the convenience of description, the pixel defect inspection will be described for the OLED display among the various display panel types. Of course, it is obvious that the present invention is not necessarily limited to being applied only to the OLED display.

본 발명의 상세한 설명에 앞서, OLED 디스플레이의 픽셀 상태에 관하여 고찰해보기로 한다. 도 1 및 도 2는 정상 및 비정상 OLED디스플레이의 픽셀 촬영 사진이다. Prior to the description of the present invention, the pixel state of the OLED display will be considered. 1 and 2 are pixel photographs of normal and abnormal OLED displays.

유기 EL(Organic Electro Luminescence) 또는 OLED의 제조 과정은 크게 패턴 형성 공정, 박막 증착 공정, 봉지 공정, 모듈 조립 공정으로 나뉜다. 그 중에서 새도우 마스크(Shadow Metal Mask)를 사용하는 상기 박막 증착 공정은 픽셀(Pixel) 정렬 불량 등이 나타날 수 있고, 산소나 수분에 민감한 유기재료를 사용하는 상기 봉지 공정은 검반점 불량(Dark Spot), 픽셀 크기 확장/수축 등의 불량이 발생할 가능성이 매우 높다. Organic EL (Organic Electro Luminescence) or OLED manufacturing process is largely divided into pattern forming process, thin film deposition process, encapsulation process, module assembly process. Among them, the thin film deposition process using a shadow metal mask may exhibit pixel misalignment, and the encapsulation process using an organic material sensitive to oxygen or moisture may have a dark spot defect. , Defects such as pixel size expansion / contraction are very likely.

이때, 상기 봉지 공정 완료 후에 별도의 검사 장치를 활용하여 불량 여부를 즉시 검사하여 모듈 조립 공정 이전에서 불량을 필터링하는 것은 매우 중요하다. 이는 상술한 검사 과정을 통해 불량이 어느 정도 걸러지는 경우, 불량 모듈의 완성에 따른 제조 공정상의 손실 문제를 최소화함으로써 원가 절감의 효과를 실현할 수 있기 때문이다.At this time, it is very important to filter the defects before the module assembly process by immediately inspecting the defects using a separate inspection device after completion of the encapsulation process. This is because when the defect is filtered to some extent through the above-described inspection process, cost reduction can be realized by minimizing a loss problem in the manufacturing process due to the completion of the defective module.

도 1은 정상적인 OLED디스플레이 내의 각 R-G-B 픽셀을 광학 현미경으로 100배 정도 확대하여 촬영한 사진이고, 도 2는 비정상 픽셀을 촬영한 것이다. 도 1 및 도 2를 비교해 보면, 도 2의 비정상 적색 픽셀은 도 1의 적색 픽셀에 비해 밝기가 매우 낮아서 거의 갈색에 가까운 색을 보이고 있다. 도 2의 녹색 픽셀은 도 1의 정상 녹색 픽셀에 비해 밝기가 다소 감소한 것을 알 수 있다. 도 2의 청색 픽셀은 부분적으로 흑점 또는 검반점(Dark Spot)이 픽셀 내에 분포한 것을 보여준다.FIG. 1 is a photograph taken by magnifying an optical microscope about 100 times of each R-G-B pixel in a normal OLED display, and FIG. 2 is taken of an abnormal pixel. Comparing FIGS. 1 and 2, the abnormal red pixel of FIG. 2 has a very low brightness compared to the red pixel of FIG. It can be seen that the green pixel of FIG. 2 is slightly reduced in brightness compared to the normal green pixel of FIG. 1. The blue pixel of FIG. 2 partially shows the distribution of black spots or dark spots within the pixel.

이러한 불량 픽셀의 검사를 품질검사 인력을 통해 전수 검사한다면 불량을 정확히 판별해 낼 수는 있을 것이나, 생산 효율적 측면에서는 매우 떨어지는 결과를 가져오게 된다. 또한, 검사장비 측면에서도 광학현미경과 같은 고배율 장비를 이용한다면, 불량 검사의 정확도는 크게 높아질 수는 있으나, 수많은 픽셀에 대해 검사를 해야하므로 화상처리 시간이 상당히 장시간 걸리는 문제점이 있다.If the inspection of such defective pixels is totally inspected by the quality inspector, it will be able to accurately identify the defects, but the results will be very poor in terms of production efficiency. In addition, when using a high magnification equipment such as an optical microscope in terms of inspection equipment, the accuracy of the defect inspection can be significantly increased, but there is a problem that the image processing time takes a long time because the inspection for a large number of pixels.

이때, 기존의 라인 스캔 방식의 흑백 카메라를 그대로 이용한다면, 고속의 정밀한 검사를 할 수 있다. 즉, 본 발명의 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법은 상기 라인 스캔 방식의 흑백 카메라를 이용한 검사 방법에 관한 것이다.In this case, if the existing line scan type monochrome camera is used as it is, high-speed precise inspection can be performed. That is, the pixel defect inspection method of the display panel using the image processing of the present invention relates to the inspection method using the black and white camera of the line scan method.

도 3은 본 발명의 실시예에 따른 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법의 흐름도이고, 도 4는 도 3에 이용되는 시스템 구성도이다. 도 5는 취득된 화상정보 내의 OLED픽셀과 스캔픽셀의 구성도이고, 도 6은 OLED픽셀의 위치결정을 위한 중심점의 구성도이며, 도 7은 도 4의 실제 셋업 사진이다.3 is a flowchart of a method for inspecting pixel defects of a display panel using image processing according to an exemplary embodiment of the present invention, and FIG. 4 is a system configuration diagram used in FIG. 3. FIG. 5 is a configuration diagram of an OLED pixel and a scan pixel in the acquired image information, FIG. 6 is a configuration diagram of a center point for positioning an OLED pixel, and FIG. 7 is an actual setup picture of FIG. 4.

상기 OLED의 픽셀 불량 검사에는 도 4의 시스템이 이용 가능하다. 도 4의 시스템은 실제로 도 7의 셋업을 통해 구축 가능하다. 도 4를 참조하면, 상기 OLED 불량 검사 시스템은, 라인스캔 카메라(110), X축 서보모터(120), Y축 서보모터(130), 서보 드라이브(140), 모션컨트롤 보드(150), 영상획득 보드(160), PC(170), ON/OFF컨트롤러(180), 그리고 각 구성요소의 전원을 공급하는 전원공급장치(190)를 포함한다. The system of FIG. 4 is available for pixel defect inspection of the OLED. The system of FIG. 4 is actually buildable through the setup of FIG. 7. Referring to FIG. 4, the OLED defect inspection system includes a line scan camera 110, an X-axis servo motor 120, a Y-axis servo motor 130, a servo drive 140, a motion control board 150, and an image. Acquisition board 160, PC 170, ON / OFF controller 180, and a power supply 190 for supplying power to each component.

OLED디스플레이 패널은 별도의 이송대 위에 설치 가능하다. 상기 X축 서보모터(120), Y축 서보모터(130)는 상기 OLED디스플레이 패널이 놓여진 이송대를 X,Y 방향으로 구동 가능하다. 상기 라인스캔 카메라(110)는 고배율의 렌즈를 구비하여 OLED디스플레이 패널의 화상정보를 취득하고, 상기 영상획득 보드(160)는 취득된 화상정보를 이미지 처리한다.OLED display panels can be installed on separate transports. The X-axis servomotor 120 and the Y-axis servomotor 130 may drive the transfer table on which the OLED display panel is placed in the X and Y directions. The line scan camera 110 has a high magnification lens to acquire image information of the OLED display panel, and the image acquisition board 160 performs image processing on the acquired image information.

상기 모션컨트롤 보드(150)는, 다음 라인을 스캔할 수 있도록 명령을 내리고, 서보 드라이브(140)는 모션컨트롤 보드(150)의 명령을 X축 서보모터(120) 또는 Y축 서보모터(130) 측에 구동 지시한다. 제어부(170)는 상기 영상획득 보드(160)의 정보를 수신하여 본 검사 방법을 위한 다양한 각종 처리를 수행하는 부분이다. 이러한 제어부(170)는 상기 ON/OFF컨트롤러(180)의 제어 또한 가능하다. 상기 ON/OFF컨트롤러(180)는 OLED디스플레이 패널 내의 R-G-B 픽셀을 On/Off 조절한다.The motion control board 150 issues a command to scan the next line, and the servo drive 140 sends a command of the motion control board 150 to the X-axis servomotor 120 or the Y-axis servomotor 130. Instructs the drive to the side. The controller 170 receives the information of the image acquisition board 160 to perform various processing for the inspection method. The controller 170 may also control the ON / OFF controller 180. The ON / OFF controller 180 controls on / off of the R-G-B pixel in the OLED display panel.

물론, 상기 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법은, 상술한 검사 시스템(100)의 구성을 통해 실현되는 것으로 반드시 한정되는 것은 아니며, 본 기술범주 내에서 보다 다양한 구성의 시스템이 적용 가능함은 자명하다. Of course, the pixel defect inspection method of the display panel using the image processing is not necessarily limited to being realized through the configuration of the above-described inspection system 100, it is possible to apply a system of a variety of configurations within the technical category Self-explanatory

이하에서는, 도 3 내지 도 6을 참조로 하여, 상기 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법에 관하여 보다 상세히 설명하고자 한다. Hereinafter, a method of inspecting pixel defects of a display panel using the image processing will be described in more detail with reference to FIGS. 3 to 6.

먼저, 라인스캔 카메라(110)를 이용하여 상기 OLED디스플레이를 촬영하여 상기 OLED디스플레이의 화상정보를 취득한다(S110). 상기 라인스캔 카메라(110)는 상기 OLED디스플레이 내의 각 1개 OLED픽셀을 A×B개(도 5의 경우 8×14개)의 스캔픽셀로 촬영 가능하다. 상기 각 1개 OLED픽셀이란, R,G,B 개개의 1개 픽셀을 의미한다.First, the OLED display is photographed using the line scan camera 110 to acquire image information of the OLED display (S110). The line scan camera 110 may photograph each OLED pixel in the OLED display as A × B scan pixels (8 × 14 in FIG. 5). Each one OLED pixel means one pixel of each of R, G, and B.

상기 화상정보는 영상획득보드(160)에서 취득되어 제어부(170)에서 화상처리가 가능하다. 즉, 제어부(170)는 상기 OLED 픽셀 불량 검사의 전반적인 처리를 위한 수행주체로 볼 수 있다.The image information is acquired by the image acquisition board 160 and can be processed by the controller 170. That is, the controller 170 may be regarded as an performing agent for the overall processing of the OLED pixel defect inspection.

보통의 취득된 화상 데이터 형태는 컬러포맷을 기본으로 하고 있으나, 상기 라인스캔 카메라(110)로 읽혀진 화상 데이터가 흑백인 경우, R-G-B 데이터가 모두 동일하므로, 한가지 색상 데이터만 사용하면 된다. 실제로 상기 픽셀 불량 검사에 는 흑백 데이터로 스캔하는 라인스캔 카메라 사용 가능하다.Normally, the acquired image data type is based on the color format. However, when the image data read by the line scan camera 110 is black and white, since all of the R-G-B data are the same, only one color data may be used. In fact, for the pixel defect inspection, a line scan camera for scanning with black and white data can be used.

이후, 상기 취득된 화상정보로부터 배경영역과 픽셀영역을 구분하여, 배경으로부터 OLED픽셀을 구별해 내야 한다. 더 상세하게는, 상기 화상취득 단계(S110) 이후에는, 상기 제어부(170)는 상기 화상정보 중의 각 스캔픽셀들의 밝기값을 분석하여(S120), 문턱치 이상의 스캔픽셀들로 형성된 '픽셀영역'과 문턱치 미만의 스캔픽셀들로 형성된 '배경영역'으로 경계를 구분한다(S130). Then, the background area and the pixel area should be distinguished from the acquired image information, and the OLED pixel should be distinguished from the background. More specifically, after the image acquisition step (S110), the controller 170 analyzes the brightness value of each scan pixel in the image information (S120), and includes a 'pixel area' formed of scan pixels having a threshold value or more. The boundary is divided into a 'background area' formed of scan pixels below a threshold (S130).

종래에는 배경과 픽셀 간의 에지를 검출하기 위하여 편미분 연산자 계산자를 이용하고, 상기 검출된 에지를 연결하여 윤곽선을 만들고 대상체의 형태를 결정한다. 이러한 방식은 특정 형태와 관계없이 적용 가능한 장점이 있으나, 본 발명의 OLED 픽셀 불량 검사에 적용하기에는 시간이 많이 소요되고 오류가 발생한 픽셀에 대한 정보 처리 과정이 다소 어려운 단점이 있다. 특히, 픽셀수가 많은 경우에는 화상처리에 장시간이 소요된다. 예를 들어, 휴대폰용으로 사용되는 3×4cm 크기의 화면 내의 픽셀 수는 대략 수 만개 정도가 되는데, 이러한 수 만개의 픽셀마다 상술한 형태 분석방법을 적용하기에는 상당한 어려움이 있다.Conventionally, a partial differential operator calculator is used to detect an edge between a background and a pixel, and the detected edges are connected to form an outline and determine the shape of an object. This method has an advantage that can be applied irrespective of a specific shape, but it is time-consuming to apply to the OLED pixel defect inspection of the present invention and has a disadvantage in that the information processing process for an errored pixel is rather difficult. In particular, when the number of pixels is large, image processing takes a long time. For example, the number of pixels in a 3 × 4 cm screen used for a mobile phone is about tens of thousands, and there are considerable difficulties in applying the above-described shape analysis method to each of these tens of thousands of pixels.

따라서, 제안한 방법의 경우는 픽셀의 형태가 4각형 형태임에 착안하여 각 스캔 라인별 스캔픽셀 분석을 수행하여 배경과 OLED픽셀 부분을 구분한다. 픽셀의 범위 인지를 위한 처리 순서와 방법은 도 5를 참조한다. 여기서, 크기가 큰 직사각형은 OLED디스플레이 내의 각 픽셀로서 OLED픽셀(10)을 나타내고, 크기가 작은 모눈 사각형은 라인스캔 카메라(110)가 스캔한 각각의 스캔픽셀을 나타낸다. 작은 모눈 사각형에 해당되는 상기 스캔픽셀은 OLED픽셀(10)의 내부뿐만 아니라 그 외부의 배경영역 중에도 존재 하는데, 주변의 하얗게 표현된 배경영역 상의 한 개 스캔픽셀의 예는 20번과 같다. 도 5의 경우는, X축 방향의 8개 스캔픽셀과 Y축 방향의 14개 스캔픽셀로 구성된 8×14개의 카메라 스캔픽셀은 실제로 1개의 OLED픽셀(10)에 대응하는 것이다. 그렇지만, 이러한 스캔픽셀과 OLED픽셀(10) 간의 비율은 라인스캔 카메라(110)의 줌렌즈 배율에 의해 달라진다. 도 5에서 1, 2, n은 각 라인별로 데이터 처리를 수행함을 나타내는 것이다. 또한, XS와 XE는 X축 방향으로 스캔픽셀의 시작과 끝의 위치를 표시한 것이고, YS와 YE는 Y축 방향으로 스캔픽셀의 시작과 끝의 위치를 표시한 것이다.Therefore, the proposed method distinguishes the background from the OLED pixel part by analyzing scan pixels for each scan line, considering that the pixel shape is a quadrangular shape. The processing sequence and method for recognizing a range of pixels refer to FIG. 5. Here, the large rectangle represents the OLED pixel 10 as each pixel in the OLED display, and the small grid rectangle represents each scan pixel scanned by the line scan camera 110. The scan pixels corresponding to the small grid rectangles exist not only in the inside of the OLED pixel 10 but also in the outside of the background area. An example of one scan pixel on the surrounding white area is shown in FIG. 20. In the case of FIG. 5, 8 × 14 camera scan pixels consisting of eight scan pixels in the X-axis direction and 14 scan pixels in the Y-axis direction actually correspond to one OLED pixel 10. However, the ratio between this scan pixel and the OLED pixel 10 varies with the zoom lens magnification of the line scan camera 110. In FIG. 5, 1, 2, and n represent data processing for each line. In addition, X S and X E indicate the positions of the start and end of the scan pixel in the X-axis direction, and Y S and Y E denote the positions of the start and end of the scan pixel in the Y-axis direction.

상기 XS, XE, YS, YE 등의 좌표를 결정하기 위해서는, 일단 '배경영역'과 '픽셀영역'을 구별하는 문턱치(Threshhold Value)를 결정해야 한다. 상기 문턱치는 아래의 수학식 1을 사용하고, 수학식 1의 결정을 위해서는 수학식 2와 수학식 3의 전제 조건을 만족하는 경우로 제한한다.In order to determine the coordinates of X S , X E , Y S , and Y E , a threshold value for distinguishing a 'background area' from a 'pixel area' must be determined. The threshold is used in Equation 1 below, and the determination of Equation 1 is limited to the case where the preconditions of Equations 2 and 3 are satisfied.

[수학식 1][Equation 1]

Figure 112009030877705-pat00001
Figure 112009030877705-pat00001

[수학식 2][Equation 2]

Figure 112009030877705-pat00002
Figure 112009030877705-pat00002

[수학식 3]&Quot; (3) "

Figure 112009030877705-pat00003
Figure 112009030877705-pat00003

수학식 1 내지 수학식 3에서 B는 밝기값을 나타낸다. 상기 밝기값은 D1과 D2 (D1<D2)사이의 값으로서, 예를 들면 8비트 데이터인 0~255 사이의 값을 가질 수 있다. In Equations 1 to 3, B represents a brightness value. The brightness value is a value between D1 and D2 (D1 <D2) and may have, for example, a value between 0 and 255 which is 8-bit data.

그리고, 상기 S120단계시 적용되는 문턱치(B Th ) 값은, 스캔되는 라인별 밝기값 분포에서 하위 C% 범위(0<C≤45)의 평균 밝기값으로서, 수학식 1의 경우는 하위 40% 범위의 평균 밝기값(B L40,avg )을 나타낸다. 즉, 픽셀영역과 배경영역의 경계 설정을 위해서, 각 라인별 밝기 분포에서 하위 40%가 되는 밝기값들을 평균하여 임계 기준으로 설정함을 의미한다.In addition, the threshold value B Th applied in the step S120 is an average brightness value of the lower C% range (0 <C≤45) in the brightness value distribution for each line scanned, and in the case of Equation 1, the lower 40% The average brightness value ( B L40, avg ) of the range is shown. That is, in order to set the boundary between the pixel area and the background area, it means that the lower 40% of brightness values in each line are averaged and set as a threshold reference.

또한, 상기 문턱치의 적용시 첫째 전제조건으로서, 상기 라인별 밝기값 분포에서 하위 E% 범위(0<E≤15)의 평균 밝기값이 F 이상이어야 하는데, 수학식 2의 경우는 하위 10% 범위의 평균 밝기값이 5 이상인 조건을 만족해야 하는 경우이다. 이는 라인별 밝기 분포에서 어두운 쪽에 속하는 10%의 밝기값 데이터를 선택하였을 때, 그 평균값이 5 이상이어야 하는 조건을 나타낸 것이다.In addition, as a first precondition when the threshold is applied, the average brightness value of the lower E% range (0 <E≤15) in the line-level brightness value distribution should be F or more, in the case of Equation 2, the lower 10% range This is the case where the condition that the average brightness value of is 5 or more must be satisfied. This shows the condition that the average value should be 5 or more when 10% brightness value data belonging to the dark side is selected in the brightness distribution per line.

상기 문턱치의 적용시 둘째 전제조건으로서, 상위 G% 범위(0<G≤15)의 평균 밝기값이 상기 하위 E% 범위의 평균 밝기값의 H배(3≤H≤7) 이상이어야 하는데, 수학식 3의 경우는 상위 10% 범위의 평균 밝기값이 상기 하위 10% 범위의 평균 밝기값의 5배 이상이 조건을 만족해야 하는 경우이며, 이는 각 셀의 전체적인 밝기가 어느 정도 범위에 들어야 함을 의미하는 것이다. As a second precondition when the threshold is applied, the average brightness value of the upper G% range (0 <G≤15) should be at least H times (3≤H≤7) of the average brightness value of the lower E% range. In the case of Equation 3, the average brightness value in the upper 10% range should satisfy the condition that at least 5 times the average brightness value in the lower 10% range, indicating that the overall brightness of each cell should fall in a certain range. It means.

이상과 같은 수학식 1 내지 수학식 3의 조건 설정의 이유는 아래와 같다. 도 5를 참조하면, OLED픽셀(10)과 그 외부의 배경영역이 차지하는 길이의 비율은 X축으로 볼 때, 거의 6:4(36㎛:24㎛) 정도이다. 따라서, 밝기가 어두운 쪽의 10% 범위의 픽셀은 거의 확실히 배경영역의 밝기 부분에 해당되는 것으로 볼 수 있을 것이다. 그런데, 상기 하위 10% 범위의 평균 밝기값의 크기가 너무나 작은 경우(5 미만인 경우)에는 카메라의 스캔 자체에 문제가 있는 것으로 간주하겠다는 것을 의미한다. 이는 문턱치 결정을 위한 데이터 영역 내부에, 정상 픽셀 없이 배경만 있는 경우나, 셀 자체에 불량 영역이 많은 경우 등은 문턱치 결정 과정에서 제외하기 위함이다.The reason for setting the conditions of Equations 1 to 3 as described above is as follows. Referring to FIG. 5, the ratio of the length occupied by the OLED pixel 10 and the background region outside thereof is about 6: 4 (36 μm: 24 μm) in the X axis. Therefore, the pixel in the 10% range of the darker side is almost certainly the brightness portion of the background area. However, if the average brightness value in the lower 10% range is too small (less than 5), it means that the camera scan itself is considered to have a problem. This is to exclude the case in which there is only a background without a normal pixel or a large number of defective areas in the cell itself.

이상과 같이, 문턱치를 기준을 하여 픽셀영역과 배경영역을 구분(S130)한 이후에는, 상기 구분된 픽셀영역에서 실제 OLED픽셀(10)의 정확한 위치를 결정해야 한다(S140). 이를 위해, 도 6을 참조하면, 상기 제어부(170)는, 상기 픽셀영역 내에 위치한 스캔픽셀들의 각 행방향마다 최대 밝기값을 갖는 중심점들(30)을 탐색한다. 도 6의 경우, 14개의 행마다 최대 밝기값을 갖는 중심점들이 음영상태로 표시되어 있다. 이후, 상기 중심점들이 가장 많이 배치된 특정 열방향을 OLED픽셀(10)의 X방향 중심위치(x center of cell)로 결정하고, 상기 특정 열방향에 대한 중앙위치를 Y방향 중심위치(y center of cell)로 결정함으로써, 각 OLED픽셀(10)의 중심좌표 x,y를 결정한다. 그리고, 상기 중심좌표(x,y)를 중앙으로 하여 A×B개(도 5의 경우 8×14개)의 스캔픽셀을 갖는 직사각형 영역을 상기 OLED픽셀(10) 부분으로 최종 결정한다(S140).As described above, after dividing the pixel area and the background area based on the threshold value (S130), an accurate position of the actual OLED pixel 10 must be determined in the divided pixel area (S140). To this end, referring to FIG. 6, the controller 170 searches for the center points 30 having the maximum brightness value in each row direction of the scan pixels located in the pixel area. In the case of FIG. 6, the center points having the maximum brightness values are displayed in the shaded state every 14 rows. Then, the specific column direction in which the center points are arranged the most is determined as the x-direction center position of the OLED pixel 10, and the center position with respect to the specific column direction is the y-center position in the Y-direction. cell), the center coordinates x and y of each OLED pixel 10 are determined. In addition, a rectangular region having A × B (8 × 14 in FIG. 5) scan pixels with the center coordinates (x, y) as the center is finally determined as the OLED pixel 10 portion (S140). .

상기 S140단계의 원리는 다음과 같다. 모든 OLED픽셀(10)은 2차원의 형태를 가지므로, 각 OLED픽셀(10)의 위치는 그 중심을 x,y 위치좌표로 나타내는 것이 타당할 것이다. 즉, S120~S130 단계를 이용한 문턱치 비교를 통해, 각 라인별로 셀의 x방향 점유영역을 결정해 보면 완전한 사각형이 되지는 않는다. 즉, 도 6에서 볼 수 있듯이 XS, XE의 중간 위치인 최대 밝기 중심점의 좌표가 Y축 상에서 모두 동일하게 나타나지 않는다. 따라서, X축 방향에 대해 각 행별로 가장 밝은 중심점들을 미리 찾아서 배열에 저장해 놓은 다음, 상기 중심점들이 가장 높은 빈도를 보이고 있는 특정 열방향의 위치를 최종적으로 OLED픽셀(10)의 x 중심좌표로 결정한다. OLED픽셀(10)의 Y방향 중심좌표는 앞서 찾은 각 행별 밝기 중심점들의 Y축 중간값으로 간단히 결정 가능하다. The principle of the step S140 is as follows. Since all OLED pixels 10 have a two-dimensional form, it would be reasonable to position each OLED pixel 10 in terms of its center in x, y position coordinates. That is, when the x-direction occupied area of each cell is determined by comparing the thresholds using the steps S120 to S130, it is not a perfect rectangle. That is, as shown in FIG. 6, the coordinates of the maximum brightness center point, which are intermediate positions of X S and X E , do not all appear the same on the Y axis. Therefore, the brightest center points of each row with respect to the X-axis direction are found in advance and stored in an array, and then the position of a specific column direction in which the center points show the highest frequency is finally determined as the x center coordinate of the OLED pixel 10. do. The center coordinate in the Y direction of the OLED pixel 10 can be simply determined by the median value of the Y axis of the brightness center points for each row.

즉, 상기와 같은 S140 단계는, OLED픽셀(10)의 형태가 4각형 형태임에 착안하여 각 라인별 픽셀 분석을 통해, X축 방향으로 픽셀 영역을 먼저 추출해 내고 다시 Y축으로 중첩하여 개별 OLED픽셀(10)의 4각형 범위를 인지하도록 알고리즘을 구성한 것이다.That is, in the step S140 described above, the OLED pixel 10 is formed in a quadrangular shape, and through pixel analysis for each line, the pixel region is first extracted in the X-axis direction, and the OLED is overlapped again in the Y-axis. The algorithm is configured to recognize the quadrangular range of the pixel 10.

이렇게 OLED픽셀(10)의 위치가 정확하게 결정된 이후에는, 결정된 OLED픽셀(10) 별로 각 셀들이 정상인지 비정상인지를 판단하도록 불량 픽셀의 여부를 검사한다(150). 이를 위해 상기 제어부(170)는, 상기 OLED디스플레이 내에서 상기 결정된 각 OLED픽셀(10)들의 개별 밝기 특성값을 연산하고, 상기 개별 밝기 특성값을 전체 OLED픽셀(10)에 대해 연산된 평균 밝기 특성값과 비교하여 각 OLED픽셀의 불량 여부를 판단한다.After the position of the OLED pixel 10 is accurately determined, the defective pixel is checked to determine whether each cell is normal or abnormal for each determined OLED pixel 10 (150). To this end, the controller 170 calculates individual brightness characteristic values of the determined OLED pixels 10 in the OLED display, and calculates the individual brightness characteristic values for the entire OLED pixels 10. By comparing with the value, it is determined whether each OLED pixel is defective.

즉, 상기 S150단계를 위해서는, 상기 OLED픽셀(10)의 특성값을 먼저 계산해야 한다. 제안한 방법에서는 각 OLED픽셀(10)에 대한 특성값으로서 밝기 적분값과 밝기 변동값을 선정하였다.That is, for the step S150, the characteristic value of the OLED pixel 10 must be calculated first. In the proposed method, the brightness integration value and the brightness fluctuation value were selected as characteristic values for each OLED pixel 10.

더 상세하게는, 상기 개별 밝기 특성값은, 각 OLED픽셀(10)의 개별 밝기 적분값(M k )과 개별 밝기 변동값(S k )을 포함한다. 상기 평균 밝기 특성값은, 상기 전체 OLED픽셀들에 대해 연산된 평균 밝기 적분값(M k,N )과 평균 밝기 변동값(S k,N )을 포함한다. More specifically, the individual brightness characteristic value, including each of the individual brightness integrals of OLED pixels (10) (k M) and the individual brightness change value (S k). The average brightness characteristic value includes an average brightness integration value M k, N and an average brightness variation value S k, N calculated for all the OLED pixels.

먼저, 개별 밝기 적분값(M k )은, 수학식 4로 정의되는 것으로서, 상기 OLED픽셀(10)에 대한 직사각형 영역 내의 스캔픽셀들의 밝기값(B)을 적분하여 평균한 값에 해당된다. First, the individual brightness integration value M k , which is defined by Equation 4, corresponds to a value obtained by integrating and averaging the brightness value B of the scan pixels in the rectangular area with respect to the OLED pixel 10.

[수학식 4]&Quot; (4) &quot;

Figure 112009030877705-pat00004
Figure 112009030877705-pat00004

상기 평균 밝기 적분값(M k,N )은, 수학식 5로 정의되는 것으로서, 상기 각 OLED픽셀(10)별로 연산된 상기 개별 밝기 적분값의 합을 상기 전체 OLED픽셀(10)들의 개수 N으로 나눈 평균값이다. The average brightness integration value M k, N is defined by Equation 5, and the sum of the individual brightness integration values calculated for each OLED pixel 10 is the number N of the entire OLED pixels 10. Divided by the mean.

[수학식 5][Equation 5]

Figure 112009030877705-pat00005
Figure 112009030877705-pat00005

또한, 개별 밝기 변동값(S k )은, 수학식 6으로 정의되는 것으로서, 해당 OLED픽셀(10)에 대한 직사각형 영역 내의 각 스캔픽셀의 밝기값(B)에 상기 해당 OLED픽셀의 개별 밝기 적분값(M k )을 가산한 후 절대치를 부가하여 적분한 값에 해당된다.In addition, the individual brightness change value (S k) is, as defined by equation (6), the OLED pixel 10 brightness (B) in the individual brightness integration of the corresponding OLED pixel values for each scanned pixel in the for the rectangular area to After adding ( M k ), it corresponds to the value integrated by adding the absolute value.

[수학식 6]&Quot; (6) &quot;

Figure 112009030877705-pat00006
Figure 112009030877705-pat00006

상기 평균 밝기 변동값(S k,N )은, 수학식 7로 정의되는 것으로서, 상기 각 OLED픽셀(10)별로 연산된 상기 개별 밝기 변동값(S k )의 합을 상기 전체 OLED픽셀들의 개수 N으로 나눈 평균값이다. 즉, 수학식 6은 1개의 OLED픽셀(10)에 대해서 밝기 변동치의 절대값을 적분하는 것이다. OLED픽셀(10) 내에 검반점 불량이 있는 경우, 수학식 6의 값은 수학식 7의 평균값보다 크게 나타날 것이므로, 이를 통해 불량 픽셀을 판단할 수 있게 된다.The average brightness change value (S k, N) is, as defined by Equation (7), the number a of the entire OLED pixel sum of the operation the individual brightness change value (S k) by the respective OLED pixels (10) N The mean value divided by. That is, Equation 6 integrates the absolute value of the brightness variation value for one OLED pixel 10. When there is a checkpoint defect in the OLED pixel 10, since the value of Equation 6 will appear larger than the average value of Equation 7, it is possible to determine the bad pixel.

[수학식 7][Equation 7]

Figure 112009030877705-pat00007
Figure 112009030877705-pat00007

한편, 흑백 카메라로 스캔하면 R-G-B는 각 색상별로 밝기가 다르게 나타난다. 따라서, 단순 픽셀 밝기로만 비정상 여부를 판단하게 되면, 상기 OLED픽셀(10) 중 밝기가 낮은 적색 픽셀은 항상 불량픽셀로 되므로 이는 바람직하지 않다. 그러나, 동일 색상이 Y축 방향으로 항상 반복되고, X축 방향으로 매 3번째마다 반복된다는 사실을 이용하면, R-G-B 배열을 쉽게 찾아낼 수 있다.On the other hand, when scanning with a black and white camera, the R-G-B appears with different brightness for each color. Therefore, if it is determined that the abnormality only by the simple pixel brightness, this is not preferable because the red pixel having the low brightness among the OLED pixels 10 is always a bad pixel. However, using the fact that the same color is always repeated in the Y-axis direction and every third in the X-axis direction, it is easy to find the R-G-B array.

다음으로, R-G-B 색상별로 OLED픽셀(10)의 밝기 평균값과 변동값 비교를 통해 불량 픽셀을 구별하는 조건은 수학식 8 및 수학식 9로 표현 가능하다.Next, the condition for distinguishing a bad pixel by comparing the brightness average value and the variation value of the OLED pixel 10 for each R-G-B color may be expressed by Equations 8 and 9 below.

[수학식 8][Equation 8]

Figure 112009030877705-pat00008
Figure 112009030877705-pat00008

[수학식 9][Equation 9]

Figure 112009030877705-pat00009
Figure 112009030877705-pat00009

즉, 상기 개별 밝기 적분값(M k )이 상기 평균 밝기 적분값(M k ,N ) 이하인 경우, 또는 상기 개별 밝기 변동값(S k )이 상기 평균 밝기 변동값(S k ,N ) 이상인 경우, 해당 OLED픽셀을 불량픽셀로 판단한다. That is not less than, the respective brightness integrated value (M k) is the average of the brightness integrated value (M k, N) or less, or if the individual brightness change value (S k) is the average brightness change value (S k, N) The OLED pixel is determined to be a bad pixel.

여기서, 각 OLED픽셀(10)의 해당 R-G-B 색상별로 밝기 적분값과 밝기 변동값을 비교함으로써 해당 OLED픽셀(10)의 불량픽셀을 구별해 낸다. 수학식 8 및 9를 참조하면, 상기 평균 밝기 적분값(M k ,N ) 및 상기 평균 밝기 변동값(S k ,N )에 각각 R-G-B 색상별 가중치 계수(W s , color )를 적용하여 불량 픽셀을 판단한다. 이러한 W s , color 값은 불량을 판단하는 각 색상별 가중치 계수이다. 정상적인 셀에 대해 불량이 발생한 셀은 밝기가 다소 어둡게 나타난다. 따라서, 어느 특정 OLED픽셀의 밝기 평균값이 동일한 색상을 가진 OLED픽셀 전체의 평균값 M k ,N, color 에 가중치 계수(W s , color )를 부가한 정도보다 낮은 경우, 해당 OLED픽셀은 불량픽셀로 판단할 수 있다는 것이다. 또한, 개별 밝기 변동값(S k )이 크게 나타나는 픽셀들은 흑점을 포함하고 있을 확률이 높아지므로 불량으로 볼 수 있다. Here, the defective pixels of the corresponding OLED pixel 10 are distinguished by comparing the brightness integration value and the brightness fluctuation value for each corresponding RGB color of each OLED pixel 10. Referring to Equations 8 and 9, the bad pixels by applying the weight coefficients ( W s , color ) for each RGB color to the average brightness integrated value ( M k , N ) and the average brightness variation value ( S k , N ), respectively. Judge. These W s and color values are weight coefficients for each color for determining defects. The cells with defects for normal cells appear somewhat darker in brightness. Therefore, when the average brightness value of a particular OLED pixel is lower than the weighting factor ( W s , color ) added to the average value M k , N, color of all OLED pixels having the same color, the OLED pixel is determined to be a bad pixel. You can do it. In addition, the individual brightness change value (S k) is larger appears pixels may therefore increase the probability of containing the black dot look poor.

이하에서는, 상기 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법의 성능을 고찰하기 위해 사용된 검사 장치의 구성과, 그 성능 결과를 분석해 보고자 한다. 도 4의 검사 장치의 구성 중에서, 상기 라인스캔 카메라(110)는 DALSA사의 Piranha HS-80-08k를 사용하였다. 카메라(110)의 픽셀사이즈는 7㎛×7㎛이고, 검사 대상 OLED픽셀(10)의 크기는 약 40㎛ 정도이므로 픽셀 측정 비율이 약 6:1 정도가 되는데, 이는 측정에 다소 낮은 해상도이다. 그런데, 본 검사 장치에 사용된 카메라 앞의 줌렌즈의 배율이 2배이므로, 관찰픽셀과 대상 픽셀의 비율이 10:1 이상의 비율을 가질 수 있었다. 도 7은 실제 실험 장치의 검사대를 보여주고 있다. 상단에 줌렌즈를 장착한 카메라가 설치되어 있고, 검사대상체인 OLED디스플레이는 X-Y 이송대 위에 놓여져 있다. Hereinafter, the configuration of the inspection apparatus used to examine the performance of the pixel defect inspection method of the display panel using the image processing and the performance results will be analyzed. In the configuration of the inspection apparatus of FIG. 4, the line scan camera 110 used Piranha HS-80-08k manufactured by DALSA. Since the pixel size of the camera 110 is 7 μm × 7 μm and the size of the OLED pixel 10 to be inspected is about 40 μm, the pixel measurement ratio is about 6: 1, which is a somewhat lower resolution for measurement. However, since the magnification of the zoom lens in front of the camera used in the inspection apparatus is twice, the ratio of the observation pixel and the target pixel could have a ratio of 10: 1 or more. 7 shows an inspection table of the actual experimental apparatus. A camera with a zoom lens is installed at the top, and the OLED display, the object to be inspected, is placed on the X-Y conveyor.

도 8은 OLED디스플레이에서 결함이 발생한 부위의 실제 촬영 사진이다. 여기서, 적색 사각형 영역으로 표시한 부분이 관심 대상인 부분이다. 이 부분은 제조공정상에서 발생한 결함은 아니고, 디스플레이 조작 과정에서 고전압이나 쇼트 등으로 인해 과전류가 흐르게 되면서 일부 OLED픽셀들이 열화로 완전 파손이 되거나 부분적으로 손상을 입은 것이다.8 is an actual photograph of a portion where a defect occurs in an OLED display. Here, the portion indicated by the red square area is the portion of interest. This part is not a defect in the manufacturing process, and some OLED pixels are completely damaged or partially damaged due to deterioration due to high current or short current during display operation.

그 성능 결과는 다음과 같다. 도 9 내지 도 12는 도 8의 일부분을 확대하여 상기 화상처리를 수행하는 과정의 촬영 사진이다. 도 9는 불량 OLED픽셀 부근의 스캔이미지 원본을 보여준다. 도 9의 영상에서 X방향으로 규칙적으로 세 번째 OLED픽셀들이 보이지 않고 있는데, 이는 적색의 OLED픽셀들이 완전 소실되었기 때문인 것이다. 나머지 두 색상의 OLED픽셀들도 부분적으로 손상을 입어, 흑점이 다량 보이고 있다. The performance result is as follows. 9 to 12 are enlarged photographs of a process of performing the image processing by enlarging a portion of FIG. 8. 9 shows the original scanned image near the defective OLED pixel. In the image of FIG. 9, the third OLED pixels are not regularly seen in the X direction because the red OLED pixels are completely lost. OLED pixels of the other two colors are also partially damaged, showing a lot of black spots.

도 10은 상기 S140단계에서 수행한 중심점 탐색 과정으로서, X방향으로 한 줄씩 분석을 통해, OLED픽셀(10)의 각 행별로 최대 밝기값을 갖는 중심점을 탐색하여, 이를 밝은 점으로 표시해 놓은 것이다. 이러한 과정을 통해 본 알고리즘이 제대로 잘 적용이 되는지를 파악해 볼 수 있다. FIG. 10 is a process of searching for a center point performed in step S140. The center point having the maximum brightness value is searched for each row of the OLED pixel 10 through line-by-line analysis in the X direction, and is displayed as a bright point. Through this process, we can check whether the algorithm is applied well.

도 11은 상기 불량 픽셀 검출 단계(S150)를 수행하여, 불량이 생긴 OLED픽셀(10)들 부분을 작은 적색 사각형 박스로 표시한 것이다. OLED픽셀이 있어야 할 위치에 존재하지 않고 빠진 OLED픽셀 부분, 밝기가 평균보다 어두운 OLED픽셀 부분, 부분적으로 손상을 입은 OLED픽셀 부분들이 대부분 표시되고 있다. 이러한 결 과를 참고하여 볼 때, 본 연구에서 제시한 알고리즘이 불량 픽셀 검출에 상당히 유효하다는 것을 알 수 있다.FIG. 11 illustrates the defective pixel detection step (S150), in which a portion of the defective OLED pixels 10 is represented by a small red square box. Most of the OLED pixels that are missing and where OLED pixels are darker than average, and partially damaged OLED pixels are displayed. Based on these results, it can be seen that the algorithm proposed in this study is quite effective for detecting bad pixels.

도 11의 불량 픽셀 판정을 수행(S150)한 이후에는, 도 11의 흑백으로 스캔된 화상정보를, 평균 밝기값 분석을 통해 원래의 색상대로 환원 가능하다(S160). 도 12는 그 환원된 영상으로서 실제 컬러 이미지와 상당히 유사하게 나타나고 있음을 알 수 있다. 이러한 특성은 고가의 컬러 스캔 카메라를 굳이 쓰지 않더라도 흑백의 라인스캔 카메라(110)로도 그에 상당하는 효과를 거둘 수 있음을 알 수 있는 것이다.After performing the bad pixel determination of FIG. 11 (S150), the image information scanned in black and white of FIG. 11 may be reduced to the original color through an average brightness value analysis (S160). 12 shows that the reduced image appears to be quite similar to the actual color image. This characteristic can be seen that even if you do not dare to use an expensive color scan camera can be equivalent to the black and white line scan camera 110.

이상과 같이, 본 연구는 OLED형 디스플레이의 픽셀 검사 방법에 관한 것으로서, OLED픽셀(10)의 밝기에 결함이 있거나, OLED픽셀(10)에 부분적인 미세 검반점 손상이 있는 경우에도 이를 정확히 탐색하는 알고리즘을 제시한 것이다. 이를 실제 경우에 적용해 본 결과 다음과 같은 결론을 얻었다.As described above, the present invention relates to a pixel inspection method of an OLED type display, which accurately detects even when there is a defect in the brightness of the OLED pixel 10 or a partial fine speckle damage to the OLED pixel 10. The algorithm is presented. As a result of applying this to the actual case, the following conclusions were obtained.

첫째, 양산라인에서의 고속 검사를 위해 사용되는 기존의 에지검출 방식과는 달리, 본 발명은 OLED픽셀(10)의 형태가 4각형 형태임에 착안하여, 일단 X축 방향으로 픽셀 영역을 추출해 내고, 다시 Y축으로 중첩하여 픽셀의 범위를 인지하도록 알고리즘을 구성한 것이다. 둘째, 본 발명은, 정상 픽셀인 경우에 배경과 픽셀의 길이비가 6:4로 일정한 사실에 기초하여, 픽셀영역과 배경영역을 구별하는 에지의 문턱치를 밝기 분포의 40%에 해당하는 값을 설정하였고, 그에 따라 경계영역을 비교적 빠르게 계산하는 우수한 결과를 얻을 수 있었다. 셋째, 실제 불량픽셀이 발생한 OLED디스플레이 패널을 이용한 실험을 통해, 본 발명에서 제시한 픽셀의 밝기 평균값과 변동값을 비교하는 조건이, 실제 불량 검출에 효과적으로 적용 가능함을 검증할 수 있었는데, 단순 밝기가 아니라 원래의 색상의 밝기까지도 고려하여 불량픽셀을 구별해 낼 수 있었다.First, unlike the existing edge detection method used for high-speed inspection in the mass production line, the present invention focuses on the shape of the OLED pixel 10 is a quadrangular shape, and once the pixel region is extracted in the X-axis direction Then, the algorithm is configured to recognize the range of pixels by overlapping the Y axis again. Second, the present invention sets a threshold value corresponding to 40% of the brightness distribution based on the fact that the length ratio of the background to the pixel is 6: 4 when the normal pixel is constant. As a result, an excellent result of calculating the boundary area relatively quickly was obtained. Third, through experiments using an OLED display panel in which defective pixels were actually generated, it was verified that the condition comparing the average brightness value and the variation value of the pixels proposed in the present invention can be effectively applied to the actual defect detection. In addition, considering the brightness of the original color was able to distinguish the bad pixels.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능한 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, these are merely exemplary and those skilled in the art will understand that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

도 1 및 도 2는 정상 및 비정상 OLED디스플레이의 픽셀 촬영 사진,1 and 2 are pixel photographs of normal and abnormal OLED displays,

도 3은 본 발명의 실시예에 따른 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법의 흐름도,3 is a flowchart of a method for inspecting pixel defects of a display panel using image processing according to an embodiment of the present invention;

도 4는 도 3에 이용되는 시스템 구성도,4 is a system configuration diagram used in FIG.

도 5는 취득된 화상정보 내의 OLED픽셀과 스캔픽셀의 구성도,5 is a configuration diagram of an OLED pixel and a scan pixel in the acquired image information;

도 6은 OLED픽셀의 위치결정을 위한 중심점의 구성도,6 is a configuration diagram of a center point for positioning an OLED pixel;

도 7은 도 4의 실제 셋업 사진,7 is an actual setup picture of FIG. 4;

도 8은 OLED디스플레이에서 결함이 발생한 부위의 촬영 사진,8 is a photograph taken of a defect occurs in the OLED display,

도 9 내지 도 12는 도 8의 일부분을 확대하여 상기 화상처리를 수행하는 과정의 촬영 사진이다.9 to 12 are enlarged photographs of a process of performing the image processing by enlarging a portion of FIG. 8.

< 도면의 주요 부분에 대한 부호의 간단한 설명 >BRIEF DESCRIPTION OF THE DRAWINGS FIG.

10: OLED픽셀 20: 배경10: OLED Pixel 20: Background

30: 중심점 100: 검사 장치30: center point 100: inspection device

110: 라인스캔 카메라 120: X축 서보모터110: line scan camera 120: X-axis servo motor

130: 축 서보모터 140: 서보 드라이브130: axis servomotor 140: servo drive

150: 모션컨트롤 보드 160: 영상획득 보드150: motion control board 160: image acquisition board

170: 제어부 180: ON/OFF컨트롤러170: control unit 180: ON / OFF controller

190: 전원공급장치190: power supply

Claims (4)

디스플레이 패널 내의 각 1개 픽셀을 A×B개의 스캔픽셀로 촬영 가능한 라인스캔 카메라를 이용하여 상기 디스플레이 패널의 화상정보를 취득하는 단계;Acquiring image information of the display panel using a line scan camera capable of capturing each pixel in the display panel with A × B scan pixels; 상기 화상정보 중의 각 스캔픽셀들의 밝기값을 분석하여, 문턱치 이상의 스캔픽셀들로 형성된 픽셀영역과 문턱치 미만의 스캔픽셀들로 형성된 배경영역으로 경계를 구분하는 단계;Analyzing a brightness value of each scan pixel in the image information, and dividing a boundary into a pixel area formed of scan pixels above a threshold and a background area formed of scan pixels below a threshold; 상기 픽셀영역 내에 위치한 스캔픽셀들의 각 행방향마다 최대 밝기값을 갖는 중심점들을 탐색하여, 상기 중심점들이 가장 많이 배치된 특정 열방향을 상기 픽셀의 X방향 중심위치로 결정하고 상기 특정 열방향에 대한 중앙위치를 Y방향 중심위치로 결정하여, 각 픽셀의 중심좌표 x,y를 결정하는 단계;The center points having the maximum brightness value are searched in each row direction of the scan pixels located in the pixel area, and the specific column direction in which the center points are arranged the most is determined as the center position of the pixel in the X direction and the center of the specific column direction is determined. Determining a position as a center position in the Y direction and determining the center coordinates x and y of each pixel; 상기 중심좌표를 중앙으로 하여 A×B개 스캔픽셀을 갖는 직사각형 영역을 상기 픽셀 부분으로 최종 결정하는 단계; 및Finally determining a rectangular region having A × B scan pixels as the pixel portion with the central coordinate as the center; And 상기 디스플레이 패널 내에서 상기 결정된 각 픽셀들의 개별 밝기 특성값을 연산하고, 상기 개별 밝기 특성값을 전체 픽셀에 대해 연산된 평균 밝기 특성값과 비교하여 각 픽셀의 불량 여부를 판단하는 단계를 포함하는 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법.Calculating an individual brightness characteristic value of each of the determined pixels in the display panel, and comparing the individual brightness characteristic value with an average brightness characteristic value calculated for all pixels to determine whether each pixel is defective. Method of pixel defect inspection of display panel using processing. 청구항 1에 있어서, 상기 문턱치는,The method according to claim 1, The threshold is, 스캔되는 라인별 밝기값 분포에서 하위 C% 범위(0<C≤45)의 평균 밝기값을 나타내고,Represents the average brightness value in the lower C% range (0 <C≤45) in the line-by-line brightness value distribution 상기 밝기값은 밝기 정도를 n비트 데이트로 나타낸 D1(=0)과 D2(=2n) 사이의 값이고,The brightness value is a value between D1 (= 0) and D2 (= 2 n ) representing the brightness degree as n-bit data, 상기 문턱치의 적용시, 상기 라인별 밝기값 분포에서 하위 E% 범위(0<E≤15)의 평균 밝기값이 F(상기 D1 < F < 상기 D2) 이상이어야 하고, 상위 G% 범위(0<G≤15)의 평균 밝기값이 상기 하위 E% 범위의 평균 밝기값의 H배(3≤H≤7) 이상이어야 하는, 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법.When the threshold is applied, the average brightness value of the lower E% range (0 <E≤15) in the line-level brightness value distribution should be equal to or greater than F (the D1 <F <D2), and the upper G% range (0 < A method for inspecting pixel defects of a display panel using image processing, wherein an average brightness value of G ≦ 15) is equal to or more than H times (3 ≦ H ≦ 7) of the average brightness value in the lower E% range. 청구항 1에 있어서, 상기 픽셀의 불량 여부 판단 단계에서,The method of claim 1, wherein in the determining whether the pixel is defective, 상기 개별 밝기 특성값은, 각 픽셀의 개별 밝기 적분값과 개별 밝기 변동값을 포함하되, 상기 개별 밝기 적분값은, 상기 픽셀에 대한 직사각형 영역 내의 스캔픽셀들의 밝기값을 적분하여 평균한 값이고, 상기 개별 밝기 변동값은, 상기 픽셀에 대한 직사각형 영역 내의 각 스캔픽셀의 밝기값에 상기 픽셀의 개별 밝기 적분값을 가산한 후 절대치를 부가하여 적분한 값이며,The individual brightness characteristic value includes an individual brightness integration value and an individual brightness variation value of each pixel, wherein the individual brightness integration value is a value obtained by integrating and averaging brightness values of scan pixels in a rectangular area for the pixel, The individual brightness fluctuation value is a value obtained by adding the absolute brightness integral value of the pixel to the brightness value of each scan pixel in the rectangular area with respect to the pixel, and then adding the absolute value to integrate the brightness value. 상기 평균 밝기 특성값은, 상기 전체 픽셀들에 대해 연산된 평균 밝기 적분값과 평균 밝기 변동값을 포함하되, 상기 평균 밝기 적분값은, 상기 각 픽셀별로 연산된 상기 개별 밝기 적분값의 합을 상기 전체 픽셀들의 개수로 나눈 값이고, 상기 평균 밝기 변동값은, 상기 각 픽셀별로 연산된 상기 개별 밝기 변동값의 합을 상기 전체 픽셀들의 개수로 나눈 값이고,The average brightness characteristic value includes an average brightness integration value calculated for all the pixels and an average brightness variation value, wherein the average brightness integration value is a sum of the individual brightness integration values calculated for each pixel. The average brightness change value is a value obtained by dividing the sum of the individual brightness change values calculated for each pixel by the number of all pixels. 상기 개별 밝기 적분값이 상기 평균 밝기 적분값 이하인 경우, 또는 상기 개별 밝기 변동값이 상기 평균 밝기 변동값 이상인 경우, 해당 픽셀을 불량픽셀로 판 단하는 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법.And determining the pixel as a bad pixel when the individual brightness integration value is less than or equal to the average brightness integration value or when the individual brightness variation value is more than or equal to the average brightness variation value. 청구항 3에 있어서, The method of claim 3, 각 픽셀의 해당 R-G-B 색상별로 밝기 적분값과 밝기 변동값을 비교하여 해당 픽셀의 불량픽셀을 구별해 내도록, 상기 평균 밝기 적분값 및 상기 평균 밝기 변동값에 각각 R-G-B 색상별 가중치 계수를 적용하여 상기 불량 픽셀을 판단하되,The defective value is determined by applying a weight coefficient for each RGB color to the average brightness integral value and the average brightness variation value so as to distinguish the defective pixels of the pixel by comparing the brightness integral value and the brightness variation value for each corresponding RGB color of each pixel. Judge the pixels, 특정 픽셀의 개별 밝기 적분값이, 그와 동일한 색상을 가진 픽셀 전체의 평균 밝기 적분값에 상기 색상별 가중치 계수를 곱한 값보다 작으면, 해당 픽셀은 불량픽셀로 판단하고,If the individual brightness integral value of a specific pixel is smaller than the average brightness integration value of all pixels having the same color multiplied by the color-specific weighting factor, the pixel is determined to be a bad pixel, 특정 픽셀의 개별 밝기 변동값이, 그와 동일한 색상을 가진 픽셀 전체의 평균 밝기 변동값에 상기 색상별 가중치 계수를 곱한 값보다 크면, 해당 픽셀은 불량픽셀로 판단하는, 화상처리를 이용한 디스플레이 패널의 픽셀 불량 검사 방법.If the individual brightness change value of a specific pixel is larger than the average brightness change value of all pixels having the same color multiplied by the weighting factor for each color, the pixel is determined to be a bad pixel. How to check for pixel defects.
KR1020090045039A 2009-05-22 2009-05-22 Method for inspecting defect of the Pixels in display panel device by image KR101068356B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090045039A KR101068356B1 (en) 2009-05-22 2009-05-22 Method for inspecting defect of the Pixels in display panel device by image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090045039A KR101068356B1 (en) 2009-05-22 2009-05-22 Method for inspecting defect of the Pixels in display panel device by image

Publications (2)

Publication Number Publication Date
KR20100126015A KR20100126015A (en) 2010-12-01
KR101068356B1 true KR101068356B1 (en) 2011-09-29

Family

ID=43504045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090045039A KR101068356B1 (en) 2009-05-22 2009-05-22 Method for inspecting defect of the Pixels in display panel device by image

Country Status (1)

Country Link
KR (1) KR101068356B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101876908B1 (en) * 2018-01-16 2018-07-10 (주) 리드에이텍 Enhancement method for location accuracy of display panel defect

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163034B1 (en) * 2013-12-03 2020-10-07 삼성전자주식회사 Method, apparatus and storage medium for compensating for defect pixel of display
KR101711192B1 (en) 2014-08-19 2017-03-14 삼성전자 주식회사 Electro-optic modulator, and testing apparatus comprising the electro-optic modulator
CN106950226A (en) * 2016-01-07 2017-07-14 宁波舜宇光电信息有限公司 Matrix display dirt bad point detection system and its application
CN111882528A (en) * 2020-07-15 2020-11-03 苏州佳智彩光电科技有限公司 Screen visual inspection-oriented sub-pixel sorting method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006266750A (en) 2005-03-22 2006-10-05 Seiko Epson Corp Method and device for defect inspection
KR20080021566A (en) * 2006-09-04 2008-03-07 산요덴키가부시키가이샤 Defect inspection method and defect correction method for electroluminescence display device, and manufacturing method thereof
KR20080033043A (en) * 2006-10-12 2008-04-16 요코가와 덴키 가부시키가이샤 Defect inspection system
KR20080046734A (en) * 2005-09-15 2008-05-27 어플라이드 머티어리얼스, 인코포레이티드 Method to improve transmittance of an encapsulating film

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006266750A (en) 2005-03-22 2006-10-05 Seiko Epson Corp Method and device for defect inspection
KR20080046734A (en) * 2005-09-15 2008-05-27 어플라이드 머티어리얼스, 인코포레이티드 Method to improve transmittance of an encapsulating film
KR20080021566A (en) * 2006-09-04 2008-03-07 산요덴키가부시키가이샤 Defect inspection method and defect correction method for electroluminescence display device, and manufacturing method thereof
KR20080033043A (en) * 2006-10-12 2008-04-16 요코가와 덴키 가부시키가이샤 Defect inspection system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101876908B1 (en) * 2018-01-16 2018-07-10 (주) 리드에이텍 Enhancement method for location accuracy of display panel defect

Also Published As

Publication number Publication date
KR20100126015A (en) 2010-12-01

Similar Documents

Publication Publication Date Title
US7978903B2 (en) Defect detecting method and defect detecting device
CN109872309B (en) Detection system, method, device and computer readable storage medium
KR101068356B1 (en) Method for inspecting defect of the Pixels in display panel device by image
KR101256369B1 (en) Flat display pannel test equipment and test method using multi ccd camera
CN110620887B (en) Image generation device and image generation method
CN110428762B (en) OLED panel aging test luminescence characteristic detection method based on pixel brightness
JP2010135446A (en) Apparatus and method for inspecting solar battery cell, and recording medium having program of the method recorded thereon
US11321811B2 (en) Imaging apparatus and driving method of the same
JP4534825B2 (en) Defect inspection method and defect inspection apparatus
JP2009115566A (en) Apparatus for determining detect position of panel
KR20140075042A (en) Apparatus for inspecting of display panel and method thereof
KR101261016B1 (en) method and apparatus for automatic optical inspection of flat panel substrate
JPH04158238A (en) Inspecting method of liquid crystal panel
JP2009036582A (en) Inspection method, inspection device and inspection program of plane display panel
CN114529500A (en) Defect inspection method for display substrate
CN116912233B (en) Defect detection method, device, equipment and storage medium based on liquid crystal display screen
KR101409568B1 (en) Inspectiing device of display panel and inspecting method of the same
JP2015004641A (en) Wafer appearance inspection device
JP2010171046A (en) Apparatus and method for inspecting solar battery, program, and inspection system of solar battery
KR101426487B1 (en) Apparatus for inspecting of display panel and method thereof
JP6184746B2 (en) Defect detection apparatus, defect correction apparatus, and defect detection method
JP2005345290A (en) Streak-like flaw detecting method and streak-like flaw detector
KR20140082333A (en) Method and apparatus of inspecting mura of flat display
KR101218637B1 (en) Diagonal scan method for fast edge detection
JP4613662B2 (en) Edge defect detection method, edge defect detection apparatus, edge defect detection program, recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140911

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150921

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160920

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170921

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190923

Year of fee payment: 9