KR20140006582A - Inspecting apparatus mura of display panel and method thereof - Google Patents

Inspecting apparatus mura of display panel and method thereof Download PDF

Info

Publication number
KR20140006582A
KR20140006582A KR1020120073940A KR20120073940A KR20140006582A KR 20140006582 A KR20140006582 A KR 20140006582A KR 1020120073940 A KR1020120073940 A KR 1020120073940A KR 20120073940 A KR20120073940 A KR 20120073940A KR 20140006582 A KR20140006582 A KR 20140006582A
Authority
KR
South Korea
Prior art keywords
image
spot
inspection
display panel
stain
Prior art date
Application number
KR1020120073940A
Other languages
Korean (ko)
Other versions
KR101993654B1 (en
Inventor
배정완
김진구
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020120073940A priority Critical patent/KR101993654B1/en
Publication of KR20140006582A publication Critical patent/KR20140006582A/en
Application granted granted Critical
Publication of KR101993654B1 publication Critical patent/KR101993654B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

The present invention relates to a device and a method for inspecting the stains of a display panel. The device for inspecting the stains of a display panel comprises: a stage on which a display panel is mounted; an image photographing device for taking a picture of the display panel to generate inspection images for image patterns; an inspection control device for detecting the stains by image-processing the inspection images received from the image photographing device and determining the type and level of the stains depending on pre-stored stain classification after digitalizing the detected stains. The inspection control device comprises: a stain emphasizing part for processing the stains in the inspection images to be emphasized; and an image processing part for extracting the characteristics of the stains after a difference image is generated by isolating a reference image from the inspection image and is digitalized. [Reference numerals] (210) Garbor filter module; (220) Binarization module; (230) Image division module; (240) Periodic defect detection module

Description

표시패널의 얼룩 검사 장치 및 그 방법{INSPECTING APPARATUS MURA OF DISPLAY PANEL AND METHOD THEREOF}Display panel unevenness inspection apparatus and its method {INSPECTING APPARATUS MURA OF DISPLAY PANEL AND METHOD THEREOF}

본 발명은 표시패널의 얼룩 검사 장치 및 그 방법에 관한 것으로, 보다 상세하게는 표시패널의 얼룩을 검사하기 위한 표시패널의 얼룩 검사 장치 및 그 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an unevenness inspection apparatus of a display panel and a method thereof, and more particularly to an unevenness inspection apparatus and a method of a display panel for inspecting unevenness of a display panel.

최근 정보화 사회가 발전함에 따라 디스플레이 분야에 대한 요구도 다양한 형태로 증가하고 있으며, 이에 부응하여 박형화, 경량화, 저소비 전력화 등의 특징을 지닌 여러 평판 표시 장치(Flat Panel Display device), 예를 들어, 액정표시장치(Liquid Crystal Display device), 플라즈마표시장치(Plasma Display Panel device), 유기발광 다이오드 표시장치(Organic Light Emitting Diode Display device) 등이 연구되고 있다.Recently, as the information society develops, the demand for the display field is increasing in various forms, and in response, various flat panel display devices, for example, liquid crystal, which have features such as thinning, light weight, and low power consumption BACKGROUND Liquid crystal display devices, plasma display panel devices, organic light emitting diode display devices, and the like have been studied.

이러한 표시장치의 제조공정은 표시패널을 제조하는 공정과 완성된 표시패널에 대한 검사 공정 등을 포함한다.The manufacturing process of such a display device includes a process of manufacturing a display panel and an inspection process of the completed display panel.

예를 들어, 표시패널을 제조하는 과정에 표시패널의 표면에 얼룩(mura)이 발생할 수 있는데, 그러한 얼룩 불량을 검사하기 위한 얼룩 검사 공정이 진행될 수 있다.For example, mura may occur on the surface of the display panel during the manufacturing of the display panel, and a stain inspection process for inspecting such a defect may be performed.

그런데, 표시패널의 얼룩 검사 공정은 얼룩 검사 장치를 이용하여 검사자의 육안으로 검사를 진행한다.By the way, the stain inspection process of the display panel is inspected by the human eye using a stain inspection apparatus.

이하 도면을 참조하여 종래의 얼룩 검사 공정에 대해서 설명하기로 한다.
Hereinafter, a conventional stain inspection process will be described with reference to the drawings.

도1은 종래의 얼룩 검사 장치를 개략적으로 도시한 도면이다.1 is a view schematically showing a conventional stain inspection apparatus.

도1에 도시한 바와 같이 얼룩 검사 장치(1)는 스테이지(10)와 백라이트 유닛(20)과 서브 테이블(30)과 워크 테이블(40) 등을 포함한다.As shown in FIG. 1, the spot inspection apparatus 1 includes a stage 10, a backlight unit 20, a sub table 30, a work table 40, and the like.

스테이지(10)는 각각 X축, Y축, Z축을 기준으로 동작하는 다수의 모터(미도시)를 구비하며, 표시패널을 안착시키는 역할을 한다.The stage 10 includes a plurality of motors (not shown) that operate based on the X, Y, and Z axes, respectively, and serves to mount the display panel.

백라이트 유닛(20)은 스테이지(10) 하부에 배치되어 표시패널로 광원을 제공하는 역할을 한다.The backlight unit 20 is disposed under the stage 10 to provide a light source to the display panel.

서브 테이블(30)은 검사자의 육안을 통해 검사가 이루어질 수 있도록 스테이지(10)를 얼룩 검사 장치(1)의 바닥면을 기준으로 경사를 준 상태로 상승 또는 하강시키면서 검사 유닛(42)과 스테이지(10)를 접촉하도록 한다.The sub-table 30 raises or lowers the stage 10 in an inclined state with respect to the bottom surface of the stain inspection apparatus 1 so that inspection can be performed through the visual inspection of the inspector 42 and the stage ( 10).

검사 유닛(42)은 워크 테이블(40)에 장착되며, 검사자가 얼룩 검사할 수 있도록 장비를 구동시키는 제어 블록을 포함한다.The inspection unit 42 is mounted to the work table 40 and includes a control block for driving the equipment so that the inspector can inspect the spot.

한편, 도시하지는 않았지만, 스테이지(10)에 장착되는 표시패널에서 표시되는 패턴을 다양하게 바꾸어 주는 패턴 발생기(Pattern Generator)를 포함할 수 있다.Although not shown, a pattern generator for varying a pattern displayed on the display panel mounted on the stage 10 may be included.

따라서, 검사자는 얼룩 검사 장치(1)의 패턴 발생기에 의해 다양하게 바뀌는 패턴별로 표시패널의 얼룩 불량여부를 판별할 수 있다.Therefore, the inspector can determine whether the display panel is defective or not for each pattern that is variously changed by the pattern generator of the spot inspection apparatus 1.

그 결과 결함 분류 및 불량 판별이 검사자의 주관적 판단에 의하게 되어 제품 품질의 신뢰도가 낮아질 수 있다.As a result, defect classification and defect determination are subject to the subjective judgment of the inspector, which may lower the reliability of product quality.

이처럼 종래의 표시패널의 얼룩 불량 검사는 검사자의 육안 검사를 통해 수행되는데, 검사자들간의 검사 기준이 상이하기 때문에 얼룩 불량 판별에 있어서 정량화된 기준을 제시할 수 없는 문제점이 있다.As such, the conventional defect inspection of the display panel is performed through the visual inspection of the inspector, there is a problem that can not provide a quantified standard in determining the defect defect because the inspection criteria between the inspectors are different.

또한, 인간의 육안으로는 화소 단위의 얼룩 유무를 판별하기 어려운 문제점이 존재한다.In addition, the human eye has a problem that it is difficult to determine the presence or absence of spots in the pixel unit.

따라서, 제품 품질의 신뢰도 향상 및 제조 비용 저감을 위해 얼룩 검사의 자동화가 요구되고 있는 실정이다.
Therefore, in order to improve the reliability of the product quality and to reduce the manufacturing cost, it is required to automate the spot inspection.

본 발명은, 상기와 같은 문제점을 해결하기 위한 것으로, 영상 촬영장치로 촬영된 영상을 이용하여 표시패널의 얼룩의 종류 및 수준을 판정할 수 있는 표시패널의 얼룩 검사 장치 및 그 방법을 제공하는 것을 목적으로 한다.
The present invention is to solve the above problems, to provide a display panel unevenness inspection apparatus and method for determining the type and level of the unevenness of the display panel using the image taken by the image photographing apparatus. The purpose.

상기한 바와 같은 목적을 달성하기 위한 표시패널의 얼룩 검사 장치는, 표시패널을 안착시키는 스테이지와; 상기 표시패널을 촬영하여 영상패턴 별 검사영상을 생성하는 영상 촬영장치와; 상기 영상 촬영장치로부터 전달 받은 상기 검사영상을 영상 처리하여 얼룩을 검출하고, 검출된 얼룩을 수치화한 후 미리 저장된 얼룩 분류에 의해 상기 얼룩의 종류 및 얼룩 수준을 판정하는 검사 제어장치를 포함하며, 상기 검사 제어장치는, 상기 검사영상에서 상기 얼룩 부분을 강조하는 얼룩 강조 처리를 하는 얼룩 강조부와; 상기 검사영상에서 참조영상을 빼서 차영상을 생성하고 상기 차영상을 수치화한 후 얼룩의 특징을 추출하는 영상 처리부를 포함 것을 특징으로 한다.An apparatus for inspecting spots of a display panel for achieving the above object includes a stage for seating the display panel; An imaging apparatus for photographing the display panel to generate an inspection image for each image pattern; And an inspection control device which detects a spot by image-processing the test image received from the image photographing apparatus, digitizes the detected spot, and then determines the type and spot level of the spot by pre-stored spot classification. The inspection control device may include: a stain emphasis unit for performing a stain highlighting process to emphasize the spot in the inspection image; And an image processor which generates a difference image by subtracting the reference image from the inspection image, extracts the feature of the spot after digitizing the difference image.

여기서, 상기 참조영상은 상기 검사영상에서 추출한 배경영상일 수 있다.Here, the reference image may be a background image extracted from the inspection image.

그리고, 상기 검사 제어장치는, 상기 얼룩 분류 및 상기 참조영상을 저장하는 메모리부를 더 포함할 수 있다.
The inspection control apparatus may further include a memory unit configured to store the spot classification and the reference image.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 실시예에 따른 표시패널의 얼룩 검사 방법은, 영상 촬영장치로부터 영상패턴 별 검사영상을 순차적으로 입력 받는 단계와; 상기 검사영상에서 얼룩이 발생한 부분을 강조하는 얼룩 강조 처리하는 단계와; 상기 얼룩이 강조된 검사영상에 참조영상을 빼서 생성된 차영상을 수치화한 후 얼룩 특징을 추출하는 단계와; 상기 얼룩 특징을 종합하여 얼룩 결함을 분류하고, 상기 얼룩 결함을 수치화하는 단계와; 영상패턴 별 얼룩 수준 결과를 종합하여 단계별로 구분한 후 폐기 여부에 대한 최종 판정을 하는 단계를 포함하는 것을 특징으로 한다.In accordance with an aspect of the present invention, there is provided a method for inspecting spots on a display panel, the method including: sequentially receiving a test image for each image pattern from an image photographing apparatus; Smear emphasis processing for highlighting a spot in which the spot is generated in the inspection image; Extracting a spot feature after digitizing the difference image generated by subtracting a reference image to the test image with the spot highlighted; Classifying the spot defects by combining the spot features and digitizing the spot defects; And dividing the result of the stain level for each image pattern into stages, and finally determining whether to discard the image pattern.

여기서, 상기 얼룩 강조 처리하는 단계는, 상기 검사영상에서 관심영역을 추출하고, 상기 관심영역에서 노이즈 및 텍스쳐를 제거하는 단계를 포함할 수 있다.The spot highlighting may include extracting a region of interest from the inspection image and removing noise and texture from the region of interest.

그리고, 상기 참조영상은 상기 검사영상에서 추출한 배경영상일 수 있다.The reference image may be a background image extracted from the inspection image.

또한, 상기 최종 판정을 하는 단계는, 상기 얼룩 결함의 수치값과 미리 계산된 얼룩 수준별 수치값을 비교하여 얼룩 수준을 판단하는 단계를 포함할 수 있다.
In addition, the final determination may include determining the spot level by comparing the numerical value of the spot defect with a numerical value for each spot level calculated in advance.

이상 설명한 바와 같이, 본 발명에 따른 표시패널의 얼룩 검사 장치 및 그 방법에서는, 영상 촬영장치로 촬영된 영상을 이용하여 표시패널의 얼룩의 종류 및 수준을 미리 설정된 검사 기준으로 자동적으로 판정함에 따라 얼룩 검출율이 향상되어 제품 신뢰도를 향상시킬 수 있다.As described above, in the spot inspection apparatus and method of the display panel according to the present invention, spots are automatically determined based on a preset inspection standard by using the image photographed by the image photographing apparatus. Improved detection rate can improve product reliability.

그리고, 자동 얼룩 검사로 인하여 검사자를 대체할 수 있어 제조 비용을 저감할 수 있다.And, because of the automatic stain inspection can replace the inspector can reduce the manufacturing cost.

또한, 자동 얼룩 검사로 인하여 화소 단위의 얼룩 결함도 판별할 수 있다.
In addition, spot defects on a pixel-by-pixel basis may be determined due to automatic spot inspection.

도1은 종래의 얼룩 검사 장치를 개략적으로 도시한 도면이다.
도2는 본 발명의 실시예에 따른 얼룩 검사 장치를 개략적으로 도시한 도면이다.
도3은 본 발명의 실시예에 따른 얼룩 검사 장치의 검사 제어장치의 블록도이다.
도4는 본 발명의 실시예에 따른 얼룩 검사 공정을 나타내는 흐름도이다.
도5a 내지 도5d는 본 발명의 실시예에 따른 얼룩 검사 공정을 설명하기 위해 참조되는 도면이다.1 is a view schematically showing a conventional stain inspection apparatus.
2 is a view schematically showing a spot inspection apparatus according to an embodiment of the present invention.
3 is a block diagram of an inspection control apparatus of the spot inspection apparatus according to the embodiment of the present invention.
4 is a flowchart illustrating a spot inspection process according to an exemplary embodiment of the present invention.
5A to 5D are views referred to for explaining a stain inspection process according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도2는 본 발명의 실시예에 따른 얼룩 검사 장치를 개략적으로 도시한 도면이여, 도3은 본 발명의 실시예에 따른 얼룩 검사 장치의 검사 제어장치의 블록도이다.2 is a view schematically showing a spot inspection apparatus according to an embodiment of the present invention, Figure 3 is a block diagram of the inspection control apparatus of the spot inspection apparatus according to an embodiment of the present invention.

도2에 도시한 바와 같이, 본 발명의 실시예에 따른 얼룩 검사 장치는 스테이지(100)와 영상 촬영장치(200)와 검사 제어장치(300)와 표시장치(400) 등을 포함한다.As shown in FIG. 2, the spot inspection apparatus according to an exemplary embodiment of the present invention includes a stage 100, an image photographing apparatus 200, an inspection control apparatus 300, a display apparatus 400, and the like.

스테이지(100)는 표시패널을 안착시키는 역할을 하며, 도시하지는 않았지만 백라이트 유닛 등을 포함할 수 있다.The stage 100 serves to mount the display panel and may include a backlight unit, although not shown.

그리고, 스테이지(100)에는 표시패널에서 표시되는 패턴이 다양하게 바꾸어 주는 패턴 발생기(Pattern Generator)가 장착될 수 있다.In addition, the stage 100 may be equipped with a pattern generator for changing the pattern displayed on the display panel in various ways.

예를 들어, 패턴 발생기는 얼룩 검사를 위해 중간계조 영상패턴(Gray64, Gray127)과 블랙 영상패턴 (Black)과 백색 영상패턴 (White)과 적색, 녹색, 청색 영상패턴 (R, G, B) 등 다양한 패턴을 발생시킬 수 있다.For example, the pattern generator is used to check the gradation, and the gray scale image pattern (Gray64, Gray127), the black image pattern (Black), the white image pattern (White), the red, green, blue image pattern (R, G, B), etc. Various patterns can be generated.

영상 촬영장치(200)는 표시패널을 촬영하는 촬영장치로서, 예를 들어, CCD 카메라일 수 있다.The image capturing apparatus 200 is an image capturing apparatus for photographing a display panel and may be, for example, a CCD camera.

여기서, CCD 카메라는 렌즈를 통해 들어오는 빛을 전하 결합 소자(Charge Coupled Device)를 이용하여 전기적 신호로 변환하는 역할을 하며, 아날로그 전기적 신호를 디지털 전기적 신호로 변환하는 A/D 변환기를 더욱 포함할 수 있다.Here, the CCD camera converts light received through the lens into an electrical signal using a charge coupled device, and may further include an A / D converter for converting an analog electrical signal into a digital electrical signal. have.

이때, 영상 촬영장치(200)의 해상도는 각 화소의 모양 특성이 나타나지 아니하고 모아레 현상을 최소화하며 화소 단위로 얼룩을 측정할 수 있는 해상도일 수 있는데, 예를 들어 표시패널의 해상도와 동일한 해상도일 수 있다.In this case, the resolution of the image photographing apparatus 200 may be a resolution capable of measuring mottles in pixel units without minimizing moiré phenomena without appearance characteristics of each pixel, for example, may be the same resolution as that of the display panel. have.

그리고, 영상 촬영장치(200)는 촬영되는 영상의 계조값이 '127'이 되도록 카메라 노출값 및 렌즈 조리개를 조절할 필요가 있다.In addition, the image capturing apparatus 200 needs to adjust the camera exposure value and the lens aperture so that the gray value of the captured image is '127'.

영상 촬영장치(200)의 촬영 영상의 계조값은 상이한 값으로 설정될 수도 있으나, 이하에서는 영상 촬영장치의 촬영 영상 계조값을 표시패널에서 구현되는 계조값의 중간값(최대 휘도와 최소 휘도의 중간값)에 해당하는 '127'로 보아 설명하기로 한다.The gradation value of the captured image of the image capturing apparatus 200 may be set to a different value. Hereinafter, the gradation value of the captured image gradation value of the image capturing apparatus is the middle value of the gradation value implemented in the display panel (middle between the maximum luminance and the minimum luminance). The value will be described as '127'.

여기서, 영상 촬영장치(200)는 Gray64, Gray127, Black, White, R, G, B 패턴 등 다양한 패턴에 따른 영상을 순차적으로 촬영하여 검사영상을 얻을 수 있다.Here, the image capturing apparatus 200 may sequentially acquire images according to various patterns such as gray64, gray127, black, white, R, G, and B patterns to obtain inspection images.

이러한 영상 촬영장치(200)는 얼룩 검사를 위한 영상을 촬영하기 위해서 얼룩이 잘 시인되는 장치일 필요가 있다.The image capturing apparatus 200 needs to be a device that is well recognized in order to photograph an image for spot inspection.

여기서 얼룩이 가장 잘 시인된다는 것은 영상에서 노이즈 값이 낮으면서 결함 영역과 결함이 아닌 영역과 대비가 크게 나타나는 것을 의미한다.In this case, the best spotting means that the noise value is low in the image and the contrast between the defective area and the non-defective area is large.

검사 제어장치(300)는 영상 촬영장치(200)로부터 전달 받은 검사영상을 영상 처리하여 얼룩을 검출하고, 검출된 얼룩의 종류 및 얼룩 수준 등을 판단하는 역할을 한다. 이때, 검사 제어장치(300)는 영상 촬영장치(200)로부터 전달 받은 검사영상을 병렬적으로 영상 처리하여 얼룩을 검출하고 얼룩 수준 등을 판단할 수 있다.The inspection control device 300 performs image processing on the inspection image received from the image photographing apparatus 200 to detect spots, and determines the type and level of spots detected. In this case, the inspection control apparatus 300 may process the inspection image received from the image photographing apparatus 200 in parallel to detect the stain and determine the stain level.

표시장치(400)는 검사 제어장치(300)에 접속되어 판단된 결과를 출력하거나 검사 장치의 설정값 등을 변경하도록 할 수 있다.
The display device 400 may be connected to the test control device 300 to output the determined result or to change a setting value of the test device.

이하에서는 도3을 참조하여 검사 제어장치(300)에 대해 더욱 상세히 설명하기로 한다.Hereinafter, the inspection control apparatus 300 will be described in more detail with reference to FIG. 3.

도3에 도시한 바와 같이, 검사 제어장치(300)는 입력부(310)와 얼룩 강조부(320)와 영상 처리부(330)와 판단부(340)와 메모리부(350)와 제어부(360) 등을 포함할 수 있다.As illustrated in FIG. 3, the inspection control apparatus 300 may include an input unit 310, a spot highlighting unit 320, an image processing unit 330, a determination unit 340, a memory unit 350, a control unit 360, and the like. It may include.

입력부(310)는 영상 촬영장치(200)에서 촬영한 검사영상을 입력 받을 수 있다. 이때, 입력부(310)는 영상 촬영장치(200)로부터 다양한 패턴에 대응되는 검사영상을 순차적으로 입력 받을 수 있다.The input unit 310 may receive a test image photographed by the image capturing apparatus 200. In this case, the input unit 310 may sequentially receive inspection images corresponding to various patterns from the image photographing apparatus 200.

얼룩 강조부(320)는 검사영상에서 얼룩이 발생한 부분을 강조하는 얼룩 강조 처리를 할 수 있다.The spot highlighting unit 320 may perform a spot highlighting process to highlight a spot where spots occur in the inspection image.

예를 들어, 얼룩 강조부(320)는 관심영역(Region Of Interest)을 추출하는 관심영역 추출부(미도시) 및 노이즈(Noise) 및 텍스쳐(Texture) 등을 제거하는 노이즈 및 텍스쳐 제거부(미도시)를 포함할 수 있다.For example, the spot highlighter 320 may include a region of interest extraction unit (not shown) for extracting a region of interest and a noise and texture remover (not shown) for removing noise and texture. May include).

이때, 노이즈는 관심영역에 포함되는 불규칙적인 패턴을 의미하고, 텍스쳐는 관심영역에 포함되는 규칙적이고 주기성을 갖는 패턴을 의미할 수 있다.In this case, the noise may refer to an irregular pattern included in the ROI, and the texture may refer to a regular and periodic pattern included in the ROI.

그리하여 얼룩 강조부(320)는 관심영역에서 관심이 되는 영상인 관심영역(Region Of Interest)을 추출하고, 관심영역에서 노이즈(Noise) 및 텍스쳐(Texture) 등을 제거하여 얼룩을 강조할 수 있다.Thus, the spot highlighting unit 320 may extract a region of interest, which is an image of interest in the region of interest, and highlight the spot by removing noise and texture from the region of interest.

이때, 얼룩 강조부(320)는 멀티 가버 필터(Gabor Filter)를 이용하여 텍스쳐(Texture)를 제거하고 얼룩을 강조할 수 있다. In this case, the spot highlighting unit 320 may remove the texture and emphasize the spot using a multi-gabor filter.

여기서, 멀티 가버 필터(Gabor Filter)란, 대상 신호에 대해 특정 위치, 특정 주파수 그리고 특정 방향의 성분만을 자유롭게 통과 시킬 수 있는 필터를 의미한다.Here, the multi-gabor filter refers to a filter that can freely pass only components of a specific position, a specific frequency, and a specific direction with respect to the target signal.

이와 같이, 얼룩 강조부(320)에서 얼룩이 강조된 검사영상은 영상 처리부(330)에 전달된다.As such, the inspection image in which the spot is highlighted in the spot highlighting unit 320 is transmitted to the image processor 330.

영상 처리부(330)는 참조영상 생성부(미도시)와 차영상 생성부(미도시)와 이진화부(미도시)와 특징 추출부(미도시) 등을 포함할 수 있다.The image processor 330 may include a reference image generator (not shown), a difference image generator (not shown), a binarization unit (not shown), a feature extractor (not shown), and the like.

참조영상 생성부는 얼룩이 강조된 검사영상에서 얼룩을 제외한 배경영상 만을 추출하여 참조영상을 생성할 수 있다.The reference image generator may generate a reference image by extracting only a background image excluding the stain from the inspection image in which the stain is highlighted.

본 발명에 따른 영상 처리부(330)는 각 영상패턴별로 검사영상을 획득할 때마다 획득한 영상 데이터를 이용하여 참조영상을 생성할 수 있다.The image processor 330 according to the present invention may generate a reference image by using the acquired image data whenever an inspection image is acquired for each image pattern.

이러한 참조영상은 얼룩 검사 공정 이전에 미리 생성하여 저장할 수도 있고, 공정 중에 각 검사영상 별로 배경영상을 제거하여 참조영상을 생성할 수 있다. 예를 들어, 참조영상은 Linear Regression 알고리즘을 적용하여 생성할 수 있다.The reference image may be generated and stored in advance before the spot inspection process, or the reference image may be generated by removing the background image for each inspection image during the process. For example, the reference image may be generated by applying a linear regression algorithm.

차영상 생성부는 얼룩이 강조된 검사영상에서 참조영상을 뺀 차영상을 생성할 수 있다.The difference image generator may generate a difference image obtained by subtracting the reference image from the inspection image in which the spot is highlighted.

다음으로, 이렇게 생성된 차영상을 이진화부에서 이진화처리한 후 특징 추출부에서 얼룩 특징을 추출할 수 있다. 예를 들어, 특징 추출부는 얼룩 수준을 정량화하기 위한 특징으로 검출된 얼룩의 사이즈, 차영상에서의 얼룩 최대 밝기 및 얼룩 밝기 변화도 등을 추출할 수 있다.Next, after the binarization process is performed by the binarization unit, the spot image may be extracted from the feature extraction unit. For example, the feature extractor may extract a size of the detected spot, a maximum brightness of the spot in the difference image, a degree of spot brightness change, etc. as a feature for quantifying the spot level.

판단부(340)는 추출된 특징값들을 종합하여 얼룩 결함을 분류하고, 해당 얼룩 결함에 대한 값을 계산하여 수치화할 수 있으며, 수치화된 얼룩 결함 수치값을 미리 계산된 얼룩 수준별 수치값과 비교하여 얼룩이 어느 등급에 해당하는지를 살펴 얼룩 수준을 판단할 수 있다.The determination unit 340 may classify the spot defects by combining the extracted feature values, calculate and quantify the spot defect values, and compare the numerical spot defect numerical values with pre-calculated spot values. You can determine the stain level by looking at which grade the stain falls.

그리고, 판단부(340)는 다양한 패턴별로 검사한 얼룩 수준 결과를 종합하여 양품 또는 폐기 불량 등으로 제품 수준을 단계별로 구분하여 폐기 여부에 대한 최종 판정을 내릴 수 있다.In addition, the determination unit 340 may make a final determination on whether or not to dispose of the product level by stepping the product level, such as good quality or waste disposal, by combining the stain level results inspected by various patterns.

메모리부(350)는 다양한 패턴별로 검사하여 미리 계산된 얼룩 수준별 수치값을 저장할 수 있고, 메모리부(350)는 각 영상패턴 별 참조영상을 미리 저장할 수 있다.The memory unit 350 may store numerical values for each spot level calculated in advance by inspecting various patterns, and the memory unit 350 may store a reference image for each image pattern in advance.

제어부(360)는 검사 제어장치의 전반적인 동작을 제어한다.The controller 360 controls the overall operation of the inspection controller.

이러한 본 발명에 따른 얼룩 검사 장치를 이용하게 되면, 검사영상을 이용하여 표시패널의 얼룩의 종류 및 수준을 미리 설정된 검사 기준으로 자동적으로 판정함에 따라 화소 단위의 얼룩 결함도 판별할 수 있다. 그 결과 얼룩 검출율이 향상되어 제품 신뢰도를 향상시킬 수 있다.When the spot inspection apparatus according to the present invention is used, spot defects on a pixel-by-pixel basis may be determined by automatically determining the type and level of the spot on the display panel using a preset inspection criterion using the inspection image. As a result, the spot detection rate can be improved to improve product reliability.

이하에서는 본 발명에 따른 자동 얼룩 검사 공정에 대하여 살펴보기로 한다.
Hereinafter, an automatic stain inspection process according to the present invention will be described.

도4는 본 발명의 실시예에 따른 얼룩 검사 공정을 나타내는 흐름도이고, 도5a 내지 도5d는 본 발명의 실시예에 따른 얼룩 검사 공정을 설명하기 위해 참조되는 도면이다. 도2 및 도3을 더욱 참조하여 설명한다.4 is a flowchart illustrating a stain inspection process according to an exemplary embodiment of the present invention, and FIGS. 5A to 5D are views for explaining a stain inspection process according to an embodiment of the present invention. This will be described with reference to FIGS. 2 and 3 further.

도4에 도시한 바와 같이, 먼저, 입력부(310)는 영상 촬영장치(200)에서 촬영한 검사영상을 획득한다(S100).As shown in FIG. 4, first, the input unit 310 obtains an inspection image photographed by the image photographing apparatus 200 (S100).

이때, 검사영상은 영상 촬영장치(200)의 전하 결합 소자(Charge Coupled Device)를 이용하여 전기적 신호로 변환된 후 A/D 변환기에 의해 변환된 디지털 영상데이터일 수 있다.In this case, the inspection image may be digital image data converted into an electrical signal by using a charge coupled device of the imaging apparatus 200 and then converted by an A / D converter.

그리고 나서, 얼룩 강조부(320)는 검사영상에서 관심이 되는 영상인 관심영역(Region Of Interest)을 추출하고(S110), 관심영역에서 얼룩이 발생한 부분을 강조하는 얼룩 강조 처리를 할 수 있다.Then, the spot highlighting unit 320 may extract a region of interest, which is an image of interest from the inspection image (S110), and perform a spot highlighting process to highlight a spot where spots occur in the region of interest.

도5a에 도시한 바와 같이, 관심영역은 노이즈(Noise) 및 텍스쳐(Texture) 등을 포함할 수 있다.As shown in FIG. 5A, the ROI may include noise, texture, and the like.

이때, 노이즈는 관심영역에 포함되는 불규칙적인 패턴을 의미하고, 텍스쳐는 관심영역에 포함되는 규칙적이고 주기성을 갖는 패턴을 의미할 수 있다.In this case, the noise may refer to an irregular pattern included in the ROI, and the texture may refer to a regular and periodic pattern included in the ROI.

얼룩 강조부(320)는 관심영역에서 노이즈 및 텍스쳐 등을 제거하여 얼룩을 강조할 수 있다(S120, S130). The spot highlighting unit 320 may emphasize spots by removing noise and textures from the ROI (S120 and S130).

예를 들어, 얼룩 강조부(320)는 멀티 가버 필터(Gabor Filter)를 이용하여 텍스쳐(Texture)를 제거하고 얼룩을 강조할 수 있다. 여기서, 멀티 가버 필터(Gabor Filter)란, 대상 신호에 대해 특정 위치, 특정 주파수 그리고 특정 방향의 성분만을 자유롭게 통과 시킬 수 있는 필터를 의미한다.For example, the spot emphasis unit 320 may remove a texture and emphasize a spot using a multi-gabor filter. Here, the multi-gabor filter refers to a filter that can freely pass only components of a specific position, a specific frequency, and a specific direction with respect to the target signal.

도5b에 도시한 바와 같이, 관심영역에서 노이즈 및 텍스쳐 등을 제거하게 되면, 관심영역에서 얼룩(A)이 강조된 검사영상을 생성할 수 있다.As shown in FIG. 5B, when noise and a texture are removed from the ROI, an inspection image in which the spot A is highlighted in the ROI may be generated.

다음으로, 영상 처리부(330)는 얼룩이 강조된 검사영상을 이용하여 도5c에 도시한 바와 같은 참조영상(Ref)을 생성할 수 있다(S140).Next, the image processor 330 may generate the reference image Ref as shown in FIG. 5C using the inspection image in which the spot is highlighted (S140).

예를 들어, 참조영상(Ref)은 얼룩이 강조된 검사영상에서 배경영상만 추출한 영상일 수 있으며, Linear Regression 알고리즘을 적용하여 생성할 수 있다.For example, the reference image Ref may be an image obtained by extracting only a background image from an inspection image in which stains are highlighted, and may be generated by applying a linear regression algorithm.

본 발명에 따른 영상 처리부(330)는 각 영상패턴별로 검사영상을 획득할 때마다 획득한 영상 데이터를 이용하여 참조영상(Ref)을 생성할 수 있다.The image processor 330 according to the present invention may generate a reference image Ref by using the acquired image data whenever an inspection image is acquired for each image pattern.

이러한 참조영상(Ref)은 얼룩 검사 공정 이전에 미리 생성하여 저장할 수도 있고, 공정 중에 각 검사영상 별로 배경영상을 제거하여 참조영상을 생성할 수 있다.The reference image Ref may be generated and stored in advance before the spot inspection process, or a reference image may be generated by removing a background image for each inspection image during the process.

그리고, 얼룩이 강조된 검사영상에서 참조영상을 빼면, 도5d에 도시한 바와 같이, 차영상을 생성할 수 있다(S140).When the reference image is subtracted from the inspection image in which the spot is highlighted, as shown in FIG. 5D, a difference image may be generated (S140).

이때, 차영상은 K 휘도를 기준으로 일정 수치만큼 차이가 나는 얼룩(A')을 포함하게 되며, 차영상에서 영상처리를 통해 얼룩(A')이 더욱 강조될 수 있다.At this time, the difference image includes a spot A 'that differs by a predetermined value based on the K luminance, and the spot A' may be further emphasized through image processing in the difference image.

다음으로, 이렇게 생성된 차영상을 이진화 처리한 후 얼룩 특징을 추출할 수 있다(S150).Next, the binarization feature may be extracted after binarization of the generated difference image (S150).

예를 들어, 영상 처리부(330)는 얼룩 수준을 정량화하기 위한 특징으로 검출된 얼룩의 사이즈, 차영상에서의 얼룩 최대 밝기 및 얼룩 밝기 변화도 등을 추출할 수 있다.For example, the image processor 330 may extract the size of the detected spot, the maximum brightness of the spot in the difference image, and the degree of spot brightness change as a feature for quantifying the spot level.

그리고 나서, 판단부(340)는 추출된 특징값들을 종합하여 얼룩 결함을 분류하고, 해당 얼룩 결함에 대한 값을 계산하여 수치화할 수 있다(S160).Then, the determination unit 340 may classify the spot defects by combining the extracted feature values, calculate a value for the spot defects, and quantify the spot defects (S160).

예를 들어, 판단부(340)는 수치화된 얼룩 결함 수치값을 미리 계산된 얼룩 수준별 수치값과 비교하여 얼룩이 어느 등급에 해당하는지를 살펴 얼룩 수준을 판단할 수 있다.For example, the determination unit 340 may determine the stain level by looking at which grade the stain corresponds to by comparing the numerically determined numerical value of the defect defect with a numerical value for each stain level calculated in advance.

그리고, 판단부(340)는 다양한 패턴별로 검사한 얼룩 수준 결과를 종합하여 양품 또는 폐기 불량 등으로 제품 수준을 단계별로 구분하여 폐기 여부에 대한 최종 판정을 내릴 수 있다(S170).In addition, the determination unit 340 may make a final determination on whether or not to dispose of the product level by stepping the product level, such as good quality or defective disposal, by combining the stain level results inspected by various patterns (S170).

최종 판정 결과에는 얼룩 결함 여부, 결함 종류, 위치, 크기, 수준, 결함 발생 패턴, 결함이 포함된 영상, 환경 설정값, 측정 시간, 제품정보 등의 정보가 포함될 수 있다.The final determination result may include information such as whether there is a spot defect, a defect type, a location, a size, a level, a defect occurrence pattern, an image including the defect, an environmental setting value, a measurement time, and product information.

이와 같이 본 발명에 따른 얼룩 검사 장치를 이용하게 되면, 검사영상을 이용하여 표시패널의 얼룩의 종류 및 수준을 미리 설정된 검사 기준으로 자동적으로 판정함에 따라 화소 단위의 얼룩 결함도 판별할 수 있다. 그 결과 얼룩 검출율이 향상되어 제품 신뢰도를 향상시킬 수 있다.
As such, when the spot inspection apparatus according to the present invention is used, spot defects on a pixel-by-pixel basis may be determined by automatically determining the type and level of the spot on the display panel using a preset inspection criterion using the inspection image. As a result, the spot detection rate can be improved to improve product reliability.

이상과 같은 본 발명의 실시예는 예시적인 것에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 요지를 벗어나지 않는 범위 내에서 자유로운 변형이 가능하다. 따라서, 본 발명의 보호범위는 첨부된 특허청구범위 및 이와 균등한 범위 내에서의 본 발명의 변형을 포함한다.
The embodiments of the present invention as described above are merely illustrative, and those skilled in the art can make modifications without departing from the gist of the present invention. Accordingly, the protection scope of the present invention includes modifications of the present invention within the scope of the appended claims and equivalents thereof.

100: 스테이지 200: 영상 촬영장치
300: 검사 제어장치 320: 얼룩 강조부
330: 영상 처리부 400: 표시장치100: stage 200: video recording device
300: inspection control unit 320: spot highlight
330: Image processing unit 400: Display device

Claims (7)

표시패널을 안착시키는 스테이지와;
상기 표시패널을 촬영하여 영상패턴 별 검사영상을 생성하는 영상 촬영장치와;
상기 영상 촬영장치로부터 전달 받은 상기 검사영상을 영상 처리하여 얼룩을 검출하고, 검출된 얼룩을 수치화한 후 미리 저장된 얼룩 분류에 의해 상기 얼룩의 종류 및 얼룩 수준을 판정하는 검사 제어장치를 포함하며,
상기 검사 제어장치는,
상기 검사영상에서 상기 얼룩 부분을 강조하는 얼룩 강조 처리를 하는 얼룩 강조부와;
상기 검사영상에서 참조영상을 빼서 차영상을 생성하고 상기 차영상을 수치화한 후 얼룩의 특징을 추출하는 영상 처리부를 포함하는 것을 특징으로 하는 표시패널의 얼룩 검사 장치.
A stage for mounting the display panel;
An imaging apparatus for photographing the display panel to generate an inspection image for each image pattern;
And an inspection control device which detects a spot by image processing the test image received from the image photographing apparatus, digitizes the detected spot, and then determines the kind and spot level of the spot by pre-stored spot classification.
The inspection control device,
A spot emphasis unit for performing spot highlighting to highlight the spot in the inspection image;
And an image processing unit which generates a difference image by subtracting a reference image from the inspection image, extracts the feature of the spot after digitizing the difference image.
제1항에 있어서,
상기 참조영상은 상기 검사영상에서 추출한 배경영상인 것을 특징으로 하는 표시패널의 얼룩 검사 장치.
The method of claim 1,
And the reference image is a background image extracted from the inspection image.
제1항에 있어서,
상기 검사 제어장치는,
상기 얼룩 분류 및 상기 참조영상을 저장하는 메모리부를 더 포함하는 것을 특징으로 하는 표시패널의 얼룩 검사 장치.
The method of claim 1,
The inspection control device,
And a memory unit configured to store the spot classification and the reference image.
영상 촬영장치로부터 영상패턴 별 검사영상을 순차적으로 입력 받는 단계와;
상기 검사영상에서 얼룩이 발생한 부분을 강조하는 얼룩 강조 처리하는 단계와;
상기 얼룩이 강조된 검사영상에 참조영상을 빼서 생성된 차영상을 수치화한 후 얼룩 특징을 추출하는 단계와;
상기 얼룩 특징을 종합하여 얼룩 결함을 분류하고, 상기 얼룩 결함을 수치화하는 단계와;
영상패턴 별 얼룩 수준 결과를 종합하여 단계별로 구분한 후 폐기 여부에 대한 최종 판정을 하는 단계
를 포함하는 것을 특징으로 하는 표시패널의 얼룩 검사 방법.
Sequentially receiving a test image for each image pattern from the image photographing apparatus;
Smear emphasis processing for highlighting a spot in which the spot is generated in the inspection image;
Extracting a spot feature after digitizing the difference image generated by subtracting a reference image to the test image with the spot highlighted;
Classifying the spot defects by combining the spot features and digitizing the spot defects;
The final step of deciding whether or not to discard after dividing the stain level results by image pattern step by step
The stain inspection method of the display panel comprising a.
제4항에 있어서,
상기 얼룩 강조 처리하는 단계는,
상기 검사영상에서 관심영역을 추출하고, 상기 관심영역에서 노이즈 및 텍스쳐를 제거하는 단계를 포함하는 것을 특징으로 하는 표시패널의 얼룩 검사 방법.
5. The method of claim 4,
The stain highlighting process,
Extracting a region of interest from the inspection image, and removing noise and texture from the region of interest.
제4항에 있어서,
상기 참조영상은 상기 검사영상에서 추출한 배경영상인 하는 것을 특징으로 하는 표시패널의 얼룩 검사 방법.
5. The method of claim 4,
And the reference image is a background image extracted from the inspection image.
제4항에 있어서,
상기 최종 판정을 하는 단계는,
상기 얼룩 결함의 수치값과 미리 계산된 얼룩 수준별 수치값을 비교하여 얼룩 수준을 판단하는 단계를 포함하는 것을 특징으로 하는 표시패널의 얼룩 검사 방법.5. The method of claim 4,
The final determination step is,
And determining the spot level by comparing the numerical value of the spot defect with a previously calculated numerical value for each spot level.
KR1020120073940A 2012-07-06 2012-07-06 Inspecting apparatus mura of display panel and method thereof KR101993654B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120073940A KR101993654B1 (en) 2012-07-06 2012-07-06 Inspecting apparatus mura of display panel and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120073940A KR101993654B1 (en) 2012-07-06 2012-07-06 Inspecting apparatus mura of display panel and method thereof

Publications (2)

Publication Number Publication Date
KR20140006582A true KR20140006582A (en) 2014-01-16
KR101993654B1 KR101993654B1 (en) 2019-10-01

Family

ID=50141483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120073940A KR101993654B1 (en) 2012-07-06 2012-07-06 Inspecting apparatus mura of display panel and method thereof

Country Status (1)

Country Link
KR (1) KR101993654B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160054150A (en) 2014-11-05 2016-05-16 한밭대학교 산학협력단 System and Method for Automatically Detecting a Mura Defect using Morphological Image Processing and Labeling
KR20160139207A (en) * 2015-05-27 2016-12-07 한화테크윈 주식회사 Method for inspecting defects of substrates
CN108596226A (en) * 2018-04-12 2018-09-28 武汉精测电子集团股份有限公司 A kind of defects of display panel training method and system based on deep learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005249415A (en) * 2004-03-01 2005-09-15 Seiko Epson Corp Stain defect detecting method and stain defect detector
KR20080060041A (en) * 2006-12-26 2008-07-01 엘지디스플레이 주식회사 Mura test method for liquid crystal display
JP2008170325A (en) * 2007-01-12 2008-07-24 Seiko Epson Corp Stain flaw detection method and stain flaw detection device
KR20100010887A (en) * 2008-07-23 2010-02-02 충북대학교 산학협력단 Defects detection method and system of tcp and cof by image processing technique

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005249415A (en) * 2004-03-01 2005-09-15 Seiko Epson Corp Stain defect detecting method and stain defect detector
KR20080060041A (en) * 2006-12-26 2008-07-01 엘지디스플레이 주식회사 Mura test method for liquid crystal display
JP2008170325A (en) * 2007-01-12 2008-07-24 Seiko Epson Corp Stain flaw detection method and stain flaw detection device
KR20100010887A (en) * 2008-07-23 2010-02-02 충북대학교 산학협력단 Defects detection method and system of tcp and cof by image processing technique

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160054150A (en) 2014-11-05 2016-05-16 한밭대학교 산학협력단 System and Method for Automatically Detecting a Mura Defect using Morphological Image Processing and Labeling
KR20160139207A (en) * 2015-05-27 2016-12-07 한화테크윈 주식회사 Method for inspecting defects of substrates
CN108596226A (en) * 2018-04-12 2018-09-28 武汉精测电子集团股份有限公司 A kind of defects of display panel training method and system based on deep learning

Also Published As

Publication number Publication date
KR101993654B1 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
KR100819412B1 (en) Defect detecting method and defect detecting device
JP4707605B2 (en) Image inspection method and image inspection apparatus using the method
KR20140091916A (en) Inspection Method For Display Panel
CN108090890B (en) Inspection device and inspection method
CN109461156B (en) Threaded sealing plug assembly detection method based on vision
JP2001184510A (en) Defect detecting method
JP5088165B2 (en) Defect detection method and defect detection apparatus
JP2009229197A (en) Linear defect detecting method and device
KR101677070B1 (en) System and Method for Automatically Detecting a Mura Defect using Morphological Image Processing and Labeling
KR101993654B1 (en) Inspecting apparatus mura of display panel and method thereof
JPH04158238A (en) Inspecting method of liquid crystal panel
KR101862310B1 (en) Apparatus and Method for Detecting Mura Defects
JP2004239733A (en) Defect detection method and apparatus of screen
JP2004212311A (en) Method and apparatus for detecting unevenness defect
KR20150068884A (en) Semiconductor inspecting method, semiconductor inspecting apparatus and semiconductor manufacturing method
JP2007285868A (en) Luminance gradient detection method, flaw detection method, luminance gradient detector and flaw detector
JP5239275B2 (en) Defect detection method and defect detection apparatus
KR100591853B1 (en) Apparatus and method for diagnosing LCD module
TWI493177B (en) Method of detecting defect on optical film with periodic structure and device thereof
JP2004226272A (en) Method and apparatus for detecting stain defect
JP2004219176A (en) Method and apparatus for detecting pixel irregulality failing
JP4036048B2 (en) Defect identification method
JP2021015035A (en) Image inspection method and image inspection device for image display device
JP2004286708A (en) Defect detection apparatus, method, and program
JPH0682390A (en) Method and apparatus for inspecting surface defect

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right