KR101705895B1 - Color reproduction method and display device using the same - Google Patents

Color reproduction method and display device using the same Download PDF

Info

Publication number
KR101705895B1
KR101705895B1 KR1020100057721A KR20100057721A KR101705895B1 KR 101705895 B1 KR101705895 B1 KR 101705895B1 KR 1020100057721 A KR1020100057721 A KR 1020100057721A KR 20100057721 A KR20100057721 A KR 20100057721A KR 101705895 B1 KR101705895 B1 KR 101705895B1
Authority
KR
South Korea
Prior art keywords
surrounding environment
color space
brightness
display device
data
Prior art date
Application number
KR1020100057721A
Other languages
Korean (ko)
Other versions
KR20110137668A (en
Inventor
장준우
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020100057721A priority Critical patent/KR101705895B1/en
Publication of KR20110137668A publication Critical patent/KR20110137668A/en
Application granted granted Critical
Publication of KR101705895B1 publication Critical patent/KR101705895B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • H04N5/58Control of contrast or brightness in dependence upon ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명은 색재현 방법에 관한 것으로, 표준 규격의 색역을 갖는 소스 RGB 데이터를 제1 XYZ 색공간 데이터로 변환하는 단계, 상기 제1 XYZ 색공간 데이터를 표시장치의 주변 환경의 밝기를 반영한 색공간 데이터로 변환하는 단계, 상기 주변 환경의 밝기를 반영한 색공간 데이터를 제2 XYZ 색공간 데이터로 역변환하는 단계, 상기 제2 XYZ 색공간 데이터를 RGB 데이터로 역변환하여 변조값들을 얻는 단계, 및 광센서를 이용하여 상기 표시장치의 주변환경의 밝기를 감지하고, 상기 주변환경의 밝기에 따라 제1 내지 제3 룩업 테이블 중에서 선택된 룩업 테이블로부터 출력된 변조값으로 상기 소스 RGB 데이터를 변조하는 단계를 포함한다. The present invention relates to a color reproduction method comprising the steps of converting source RGB data having a gamut of a standard size into first XYZ color space data, converting the first XYZ color space data into a color space Converting the color space data reflecting the brightness of the surrounding environment into second XYZ color space data, inverting the second XYZ color space data into RGB data to obtain the modulation values, And modulating the source RGB data with a modulation value output from a lookup table selected from among the first through third lookup tables according to the brightness of the surrounding environment .

Description

색재현 방법과 이를 이용한 표시장치{COLOR REPRODUCTION METHOD AND DISPLAY DEVICE USING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a color reproduction method,

본 발명은 표시장치의 외부 환경에 따라 적응적으로 색을 조정하도록 한 색 재현 방법에 관한 것이다.
The present invention relates to a color reproduction method for adaptively adjusting colors according to the external environment of a display apparatus.

표시장치는 고해상도화 및 고선명화 방향으로 발전하면서 색 재현 성능이 향상되고 있다. 표시장치는 사용 분야에 따라 서로 다른 색역을 갖는다. 이러한 색역의 불일치를 보정하기 위하여, 표시장치에서 표현할 수 있는 색 재현 영역, 즉 색역(Color gamut)은 표시장치의 특성에 따라 다르다. 최근의 광색역 표시장치는 표준 규격의 색역 보다 넓은 광색역을 갖는다. The display device has been improved in color reproduction performance while developing in the direction of high resolution and high definition. The display device has different gamut depending on the field of use. In order to correct the inconsistency of the gamut, the color gamut that can be represented by the display device, that is, the gamut, varies depending on the characteristics of the display device. Recent light color display devices have a broader color range than the standard color gamut.

표준 규격의 색역을 광색역 표시장치의 색역에 변환하기 위한 방법으로, 다양한 색역 사상 방법들이 제안되고 있다. 알려진 색역 사상 방법은 대한민국 공개특허공보 제10-2008-0030339호(2008. 04. 04), 대한민국 공개특허공보 제10-2008-0016362호(2008. 02. 21), 대한민국 공개특허공보 제10-2008-0015673호(2008. 02. 20) 등이 있다. 이 중 대한민국 공개특허공보 제10-2008-0030339호에서 제안된 종래의 색역 사상 방법을 간략히 소개하자면, 종래의 색역 사상 방법은 RGB 또는 CMYK 등의 색공간을 밝기(Lightness, L), 채도(Chroma, C) 및 색상(Hue, H) 데이터를 가진 색공간으로 변환하는 단계, 소스 기기의 밝기 범위를 재현 기기의 밝기 범위와 일치시키기 위해 소스 기기의 컬러 밝기를 스케일링(scalling)하여 조정하는 단계, 재현 기기의 색역을 기준으로 소스 기기의 색역을 조정하여 소스 기기의 색 밝기를 수정하는 단계, 수정된 소스 기기의 색을 재현기기의 색역으로 사상(mapping)시키는 단계, 사상된 색역을 CMYK 또는 RGB 색공간으로 변환하는 단계를 포함한다. Various gamut mapping methods have been proposed as a method for converting the gamut of a standard standard into the gamut of a color gamut display device. The known gamut mapping method is disclosed in Korean Patent Laid-Open Publication No. 10-2008-0030339 (Apr. 04, 04), Korean Laid-Open Patent Publication No. 10-2008-0016362 (2008. 02. 21) 2008-0015673 (Feb. 20, 2008). Conventional gamut mapping methods proposed in Korean Patent Laid-Open Publication No. 10-2008-0030339 briefly describe a color gamut mapping method in which color spaces such as RGB or CMYK are classified into brightness (L), chroma , C) and color (Hue, H) data, scaling and adjusting the color brightness of the source device to match the brightness range of the source device with the brightness range of the reproducing device, Modifying the color brightness of the source device by adjusting the gamut of the source device based on the gamut of the reproducing device, mapping the color of the modified source device to the gamut of the reproducing device, mapping the gamut gamut to CMYK or RGB Into a color space.

종래의 색역 사상 방법들은 아래와 같은 문제점들이 있다. Conventional gamut mapping methods have the following problems.

(1) 종래의 색역 사상 방법들은 특정 조건 예를 들어, 암실에서 설정된 색표현만 가능하므로 외부 환경이 변화하면 정확한 색 재연이 불가능하다. (1) Conventional gamut mapping methods can only reproduce colors in a specific condition, for example, in a dark room, so that it is impossible to reproduce an accurate color when the external environment changes.

(2) 종래의 색역 사상 방법들 각각은 특정 소스 기기와 특정 재현 기기에 최적화되어 있기 때문에 범용으로 적용할 경우에 최상의 색역 사상 결과를 얻을 수 없다. 따라서, 종래의 색역 사상 방법들은 이미지 종속적인 글로벌 알고리즘(Global algorithm) 구현이 어렵다. (2) Since each of the conventional gamut mapping methods is optimized for a specific source device and a specific reproducing device, the best gamut mapping result can not be obtained when the general gamut mapping method is applied. Therefore, conventional gamut mapping methods are difficult to implement an image-dependent global algorithm.

(3) 종래의 색역 사상 방법은 호환성이 떨어진다. 소스 기기와 재현 기기의 색역 경계 간 데이터를 이용하여 색역 사상이 이루어지기 때문에 동일한 색역 사상 알고리즘이 적용되더라도 도 1과 같이 소스 기기가 바뀌면 재현 기기의 색역 사상 정도가 달라진다.
(3) The conventional gamut mapping method is incompatible. Since the gamut mapping is performed using the data between the gamut boundary of the source device and the reproducing device, even if the same gamut mapping algorithm is applied, the degree of gamut mapping of the reproducing device changes when the source device is changed as shown in FIG.

본 발명은 어떠한 사용 환경에서도 표준 규격에 맞는 정확한 색을 표시장치에 재현하도록 한 색재현 방법과 이를 이용한 표시장치를 제공한다.
The present invention provides a color reproduction method and an apparatus using the same that reproduce accurate colors according to standard specifications in a display device under any use environment.

본 발명의 색재현 방법은 표준 규격의 색역을 갖는 소스 RGB 데이터를 제1 XYZ 색공간 데이터로 변환하는 단계; 상기 제1 XYZ 색공간 데이터를 표시장치의 주변 환경의 밝기를 반영한 색공간 데이터로 변환하는 단계; 상기 주변 환경의 밝기를 반영한 색공간 데이터를 제2 XYZ 색공간 데이터로 역변환하는 단계; 상기 제2 XYZ 색공간 데이터를 RGB 데이터로 역변환하여 변조값들을 얻는 단계; 및 광센서를 이용하여 상기 표시장치의 주변환경의 밝기를 감지하고, 상기 주변환경의 밝기에 따라 제1 내지 제3 룩업 테이블 중에서 선택된 룩업 테이블로부터 출력된 변조값으로 상기 소스 RGB 데이터를 변조하는 단계를 포함한다.
상기 변조값들은 상기 주변 환경의 백색 휘도가 상기 표시장치에 표시된 영상의 백색 휘도 대비 20% 더 밝을 때 상기 소스 RGB 데이터를 변조하기 위하여 상기 제1 룩업 테이블에 설정된 제1 변조값들, 상기 주변 환경의 백색 휘도가 상기 표시장치에 표시된 영상의 백색 휘도보다 20% 더 작을 때 상기 소스 RGB 데이터를 변조하기 위하여 상기 제2 룩업 테이블에 설정된 제2 변조값들, 및 상기 주변 환경의 휘도가 없을 때 상기 소스 RGB 데이터를 변조하기 위하여 상기 제3 룩업 테이블에 설정된 제3 변조값들을 포함한다.
The color reproduction method of the present invention includes: converting source RGB data having a gamut of a standard size into first XYZ color space data; Converting the first XYZ color space data into color space data reflecting the brightness of a surrounding environment of the display device; Converting the color space data reflecting the brightness of the surrounding environment into the second XYZ color space data; Converting the second XYZ color space data into RGB data to obtain modulation values; And modulating the source RGB data with a modulation value output from a lookup table selected from among the first through third lookup tables according to the brightness of the surrounding environment by using the optical sensor and the brightness of the surrounding environment of the display device, .
Wherein the modulation values include first modulation values set in the first lookup table to modulate the source RGB data when the white luminance of the surrounding environment is 20% brighter than the white luminance of the image displayed on the display device, The second modulation values set in the second lookup table to modulate the source RGB data when the white luminance of the image displayed on the display device is 20% smaller than the white luminance of the image displayed on the display device, And third modulation values set in the third lookup table to modulate the source RGB data.

상기 주변 환경의 밝기를 반영한 색공간 데이터는 CIECAM02(CIE Colour Appearance Model 2002)에서 정의된 색공간 데이터를 포함한다. The color space data reflecting the brightness of the surrounding environment includes color space data defined by CIECAM02 (CIE Color Appearance Model 2002).

삭제delete

삭제delete

삭제delete

본 발명의 표시장치는 표시패널; 상기 표시패널의 주변 환경의 밝기를 감지하는 광센서; 및 상기 광센서에 의해 감지된 상기 주변 환경의 밝기에 따라 제1 내지 제3 룩업 테이블들 중에서 선택된 룩업 테이블로부터 출력된 변조값으로 소스 RGB 데이터를 변조하는 색역 변환부를 구비한다. A display device of the present invention includes a display panel; An optical sensor for sensing a brightness of a surrounding environment of the display panel; And a gamut conversion unit for modulating the source RGB data with the modulation values output from the lookup table selected from among the first through third lookup tables according to the brightness of the surrounding environment sensed by the optical sensor.

본 발명은 주변 환경을 반영한 인간의 인지 색공간 모델을 이용하여 표시장치의 실제 사용환경의 조도 변화에 따라 입력 영상의 색역을 적응적으로 조정한다. 그 결과, 본 발명은 어떠한 사용 환경에서도 표준 규격에 맞는 정확한 색을 표시장치에 재현할 수 있다. 나아가, 본 발명은 광색역 표시장치에서 표준 규격에 맞게 색을 재현할 수 있고, 소스 기기의 색역이나 입력 영상에 독립적으로 표시장치에 색을 정확하게 재현할 수 있다.
The present invention adaptively adjusts the gamut of an input image according to a change in illuminance of an actual use environment of a display device using a human perceptual color space model reflecting a surrounding environment. As a result, the present invention can reproduce accurate colors according to standard specifications in a display device under any use environment. Furthermore, the present invention can reproduce colors in accordance with standard specifications in a photo-color display device, and can accurately reproduce colors on a display device independently of the gamut of the source device or the input image.

도 1은 종래의 종래의 색역 사상 방법 예를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 색재현 방법을 보여 주는 흐름도이다.
도 3은 표시장치의 주변 환경 밝기에 따라 결정되는 관찰 조건을 보여 주는 도면이다.
도 4는 RGB 데이터의 선형 보정 방법을 보여 주는 도면이다.
도 5는 도 2의 색재현 방법에 의해 산출된 변조값들이 설정된 룩업 테이블들을 보여 주는 도면이다.
도 6은 본 발명의 실시예에 따른 표시장치를 보여 주는 블록도이다.
도 7 및 도 8은 본 발명의 실험 결과를 보여 주는 도면들이다.
1 is a diagram showing an example of a conventional conventional gamut mapping method.
2 is a flowchart illustrating a color reproduction method according to an embodiment of the present invention.
Fig. 3 is a view showing observation conditions determined according to the brightness of the surrounding environment of the display device. Fig.
4 is a diagram showing a linear correction method of RGB data.
FIG. 5 is a view showing lookup tables in which modulation values calculated by the color reproduction method of FIG. 2 are set.
6 is a block diagram showing a display device according to an embodiment of the present invention.
FIGS. 7 and 8 are diagrams showing experimental results of the present invention. FIG.

본 발명은 표시장치의 주변 환경(또는 외부 환경)을 실시간으로 감지하고, 주변 환경을 반영한 인지 색공간 모델을 이용하여 표시장치의 실제 사용환경의 조도 변화에 따라 입력 영상의 색역을 적응적으로 조정한다. 여기서, 주변 환경을 반영한 인지 색공간 모델의 일 예로는, CIECAM02(CIE Colour Appearance Model 2002)가 있다. CIECAM02에서 정의된 외부 환경은 평균 밝기(Average), 흐릿한 밝기(dim), 어두운 밝기(dark)로 나뉘어진다. 평균 밝기는 표시장치의 주변 환경 휘도가 표시장치에 표시되는 장면 또는 영상의 백색 휘도보다 밝은 경우의 밝기로서 구체적으로는, 주변환경 백색의 휘도가 표시장치에 표시된 장면 또는 영상의 백색 휘도 대비 20% 정도 더 밝은 경우의 밝기이다. 흐릿한 밝기는 표시장치의 주변 환경 휘도가 표시장치에 표시되는 장면 또는 영상의 백색 휘도보다 낮은 경우의 밝기로서 구체적으로는, 주변 환경 백색의 휘도가 표시장치에 표시된 장면 또는 영상의 백색 휘도 대비 20% 정도 더 어두운 경우의 밝기이다. 어두운 밝기는 주변 환경의 휘도가 실질적으로 없을 경우의 밝기이다. The present invention detects a surrounding environment (or an external environment) of a display device in real time and adaptively adjusts a gamut of an input image according to a change in illuminance of an actual use environment of a display device using a cognitive color space model reflecting the surrounding environment do. Here, CIECAM02 (CIE Color Appearance Model 2002) is an example of the cognitive color space model reflecting the surrounding environment. The external environment defined in CIECAM02 is divided into average brightness, dim brightness, and dark brightness. The average brightness is a brightness when the ambient brightness of the display device is higher than the white brightness of the scene or image displayed on the display device. Specifically, the brightness of the surrounding environment white is 20% Is the brightness of the case where it is brighter. The blurred brightness refers to the brightness when the ambient brightness of the display device is lower than the white luminance of the scene or image displayed on the display device. Specifically, the luminance of the surrounding white color is 20% of the white luminance of the scene or image displayed on the display device. Is the brightness in the darker case. The dark brightness is the brightness when there is substantially no brightness of the surrounding environment.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. Like reference numerals throughout the specification denote substantially identical components. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 2 내지 도 4는 본 발명의 실시예에 따른 색재현 방법을 나타낸다. 2 to 4 show a color reproduction method according to an embodiment of the present invention.

도 2 내지 도 4를 참조하면, 본 발명의 색재현 방법은 수학식 1과 같은 정규화(Normalization) 연산 과정과 수학식 2와 같은 디 감마 보정(de-gamma correction) 연산 과정을 거쳐 수학식 3과 같이 표준 규격의 소스 RGB 색공간을 XYZ 색공간으로 변환하는 연산 과정을 포함한다.(S1) 2 to 4, the color reproduction method of the present invention includes a normalization calculation process as shown in Equation 1 and a de-gamma correction calculation process as shown in Equation 2, And converting the source RGB color space of the standard standard into the XYZ color space (S1).

Figure 112010039086304-pat00001
Figure 112010039086304-pat00001

여기서, R8bit, G8bit, B8bit는 비선형 8bit RGB 입력 신호(0~255), Here, R 8-bit , G 8-bit , and B 8-bit are nonlinear 8-bit RGB input signals (0 to 255)

R'sRGB, G'sRGB, B'sRGB는 정규화된 비선형 RGB 입력 신호(0~1)를 각각 의미한다. R ' sRGB , G' sRGB , and B ' sRGB respectively denote normalized nonlinear RGB input signals (0 to 1).

Figure 112010039086304-pat00002
Figure 112010039086304-pat00002

여기서, RsRGB, GsRGB, BsRGB는 디감마된 선형 소스 RGB 입력신호(0~1)이다. Where R sRGB , G sRGB , and B sRGB are the degamma linear source RGB input signals (0-1).

Figure 112010039086304-pat00003
Figure 112010039086304-pat00003

여기서, XYZ는 3×3 행렬에 의해 변환된 1931 CIEXYZ 삼자극치 값 (Tristimulus value) 이다. Here, XYZ is a 1931 CIEXYZ tristimulus value converted by a 3x3 matrix.

이어서, 본 발명의 색재현 방법은 XYZ 색공간을 CIECAM02에 정의된 JCh 색공간으로 변환하고, 주변 환경의 밝기(average(avg.)/dim/dark) 변화에도 표시장치에 표시되는 영상의 색역이 항상 표준 규격의 색역으로 인지될 수 있도록 표시장치의 주변 환경의 밝기에 따라 JCh 색공간에서 밝기(J), 채도(C) 및 색상(h)을 적응적으로 조정한다.(S0, S2) 주변 환경의 밝기는 표시장치에 연결된 광센서에 의해 감지될 수 있다. XYZ를 JCh 색공간으로 변환하는 방법은 XYZ 데이터, XwYwZw(백색점의 XYZ 값) 데이터, 및 주변 환경의 휘도 LA를 입력으로 받아 도 3과 같은 관찰 조건을 결정하는 연산 과정, 아래의 수학식 4 내지 8을 이용하여 주변 환경 휘도 계수 k, 휘도 단계 순응 계수 FL, 유도 계수 Nbb 및 Ncc, 지수적인 비선형성 z, 및 주변 환경의 상대 휘도 Yb를 계산하는 연산 과정을 포함한다. 도 3의 관찰 조건의 매개 변수 c, Nc, F는 광센서에 의해 감지된 주변환경의 휘도 LA에 의해 결정된다. c는 수학식 16의 변수값이며, Nc는 수학식 17의 변수값이며, F는 수학식 10의 변수값이다. Then, the color reproduction method of the present invention converts the XYZ color space into the JCh color space defined in CIECAM02, and detects the color gamut of the image displayed on the display device even when the brightness (average (avg.) / Dim / dark) (J), saturation (C), and hue (H) in the JCh color space according to the brightness of the surrounding environment of the display device so that the color gamut of the display device can always be recognized as a standard gamut The brightness of the environment can be detected by the light sensor connected to the display. A method for converting XYZ to JCh color space is a computation process for determining the observation condition as shown in FIG. 3 by taking XYZ data, XwYwZw (XYZ value of white point) data and the luminance L A of the surrounding environment as inputs, 4 to 8 to calculate an ambient luminance coefficient k, a luminance level adaptation coefficient F L , an inductive coefficient N bb and N cc , an exponential nonlinearity z, and a relative luminance Yb of the surrounding environment. The parameters c, Nc, F of the viewing condition of FIG. 3 are determined by the luminance L A of the ambient environment sensed by the optical sensor. c is a variable value of Equation (16), Nc is a variable value of Equation (17), and F is a variable value of Equation (10).

또한, XYZ를 JCh 색공간으로 변환하는 방법은 수학식 9를 이용하여 CIECAM02 3×3 매트릭스(matrix)를 통해 XYZ 데이터와 XwYwZw 값을 RGB(LMS 공간)으로 변환하는 연산 과정, 수학식 10을 이용하여 순응 정도 D를 계산하는 연산 과정, 수학식 11을 이용하여 순응 삼자극치 응답 RC, GC 및 BC을 계산하는 과정, 수학식 12를 이용하여 Hunt-Pointer_Estevez 색공간으로 변환하는 연산 과정, 수학식 13을 이용하여 순응 후 비선형 압축을 적용하여 압축 데이터(R' a,G' a,B' a) 값을 산출하는 연산 과정, 수학식 14를 이용하여 a, b를 계산하는 연산 과정, 수학식 15를 이용하여 색상(h)을 계산하는 연산 과정, 수학식 16을 이용하여 밝기(J)를 계산하는 과정, 및 수학식 17을 이용하여 채도(C)를 계산하는 연산 과정을 포함한다. A method of converting XYZ to JCh color space is an operation process of converting XYZ data and XwYwZw values into RGB (LMS space) through a CIECAM02 3 × 3 matrix using Equation (9), using Equation (10) Calculating an adaptive degree D, calculating a compliant tristimulus response R C , G C, and B C using Equation (11), calculating a Hunt-Pointer_Estevez color space using Equation (12) A calculation process of calculating the compressed data (R ' a , G ' a , B ' a ) by applying nonlinear compression after adaptation using Equation 13, an arithmetic process of calculating a and b using Equation (14) A calculation process of calculating the color h using Equation 15, a process of calculating the brightness J using Equation 16, and an arithmetic process of calculating the saturation C using Equation 17 .

Figure 112010039086304-pat00004
Figure 112010039086304-pat00004

Figure 112010039086304-pat00005
Figure 112010039086304-pat00005

Figure 112010039086304-pat00006
Figure 112010039086304-pat00006

Figure 112010039086304-pat00007
Figure 112010039086304-pat00007

Figure 112010039086304-pat00008
Figure 112010039086304-pat00008

Figure 112010039086304-pat00009
Figure 112010039086304-pat00009

Figure 112010039086304-pat00010
Figure 112010039086304-pat00010

Figure 112010039086304-pat00011
Figure 112010039086304-pat00011

Figure 112010039086304-pat00012
Figure 112010039086304-pat00012

Figure 112010039086304-pat00013
Figure 112010039086304-pat00013

Figure 112010039086304-pat00014
Figure 112010039086304-pat00014

Figure 112010039086304-pat00015
Figure 112010039086304-pat00015

Figure 112010039086304-pat00016
Figure 112010039086304-pat00016

Figure 112010039086304-pat00017
Figure 112010039086304-pat00017

이어서, 본 발명의 색재현 방법은 JCh 색공간을 XYZ 색공간으로 역변환한다.(S3) JCh 색공간을 XYZ 색공간으로 역변환하는 방법은 수학식 18을 이용하여 JCh 색공간의 채도(C)와 밝기(J)로부터 t를 계산하는 연산 과정, 수학식 19를 이용하여 JCh 색공간의 색상(h)으로부터 et를 계산하는 연산 과정, 수학식 20을 이용하여 Aw와 밝기(J)로부터 A를 계산하는 연산 과정, 수학식 21을 이용하여 t, et, 색상(h) 및 A로부터 a, b를 계산하는 연산 과정, 수학식 22를 이용하여 A, a, b로부터 R' a, G' a, 및 B' a를 계산하는 연산 과정, 수학식 23을 이용하여 R', G' 및 B' 값을 계산하는 연산 과정, 수학식 23를 이용하여 Rc, Gc 및 Bc 값을 계산하는 연산 과정, 수학식 25 및 26을 이용하여 LMS 색공간의 RGB 값과 XYZ 색공간을 계산하는 연산 과정을 포함한다. The color reproduction method of the present invention inversely transforms the JCh color space into the XYZ color space. (S3) A method of inversely transforming the JCh color space into the XYZ color space uses Equation (18) A calculation process for calculating t from the brightness (J), an calculation process for calculating et from the hue (h) of the JCh color space using Equation 19, A from Aw and brightness (J) using Equation calculation process, using equation 21 t, et, color (h), and the a calculation process for calculating a, b, using equation 22 a, a, from b R 'a, G' a, which And B ' a , an arithmetic process for calculating R', G 'and B' values using Equation 23, an arithmetic process for calculating Rc, Gc and Bc values using Equation 23, And calculating the RGB value and the XYZ color space of the LMS color space using equations (25) and (26).

Figure 112010039086304-pat00018
Figure 112010039086304-pat00018

Figure 112010039086304-pat00019
Figure 112010039086304-pat00019

Figure 112010039086304-pat00020
Figure 112010039086304-pat00020

Figure 112010039086304-pat00021
Figure 112010039086304-pat00021

Figure 112010039086304-pat00022
Figure 112010039086304-pat00022

Figure 112010039086304-pat00023
Figure 112010039086304-pat00023

Figure 112010039086304-pat00024
Figure 112010039086304-pat00024

Figure 112010039086304-pat00025
Figure 112010039086304-pat00025

Figure 112010039086304-pat00026
Figure 112010039086304-pat00026

수학식 4 내지 26에 포함된 계수값이나 매개 변수들은 CIECAM02 규정에 따른 JCh 색공간 변환 알고리즘에서 정의되어 있으므로 그 정의를 생략한다. The coefficient values and parameters included in equations (4) to (26) are defined in the JCh color space conversion algorithm according to the CIECAM02 specification, and thus their definitions are omitted.

이어서, 본 발명의 색재현 방법은 도 4와 같은 수학식 26으로 산출된 XYZ 값을 RGB 색공간 값(Rout, Gout, Bout)으로 변환한 후에 선형 스칼라를 적용한 다음, 비선형 감마 보상값의 변조값들(R'out, G'out, B'out)로 역변환한다.(S4) 도 4에서 Xr, max, Xg, max, Xb, max는 표시장치(또는 재현기기)의 최대 계조값을 의미한다.Next, the color reproduction method of the present invention converts a XYZ value calculated by the equation (26) shown in FIG. 4 into RGB color space values (R out , G out , B out ) and then applies a linear scalar. of the modulation values of (R 'out, g' out , B 'out) and inverse transform in. (S4) X r, max , X g, max, X b, max is a display device (or the reproduction device) in FIG. 4 Means the maximum gradation value.

삭제delete

본 발명의 색재현 방법은 S1 내지 S4 단계를 거쳐 산출된 데이터의 변조값들을 룩업 테이블로 구현한다.(S5) 룩업 테이블은 소스 기기로부터의 입력 영상 데이터(RGB)를 입력 어드레스로 입력 받아 그 어드레스에 저장된 변조값들(R'out, G'out, B'out)을 출력한다. 룩업 테이블의 변조값들은 도 5와 같이 평균 밝기(Average), 흐릿한 밝기(dim), 어두운 밝기(dark)로 나뉘어진다. 따라서, 룩업 테이블은 표시장치의 주변 밝기에 따라 선택되는 3 개의 룩업 테이블을 포함한다.The color reproduction method of the present invention implements modulation values of data calculated through steps S1 to S4 as a lookup table. (S5) A lookup table receives input image data (RGB) from a source device as an input address, (R ' out , G' out , B ' out ) stored in the memory. The modulation values of the lookup table are divided into average brightness (Average), dim brightness (dim), and dark brightness (dark) as shown in FIG. Thus, the lookup table includes three lookup tables that are selected according to the ambient brightness of the display device.

도 6은 본 발명의 실시예에 따른 표시장치를 보여 주는 블록도이다. 6 is a block diagram showing a display device according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 표시장치는 표시패널(100), 데이터 구동회로(12), 스캔 구동회로(13), 타이밍 콘트롤러(11), 광센서(15), 색역 변환부(10), 시스템 보드(14)를 구비한다. 6, the display device of the present invention includes a display panel 100, a data driving circuit 12, a scan driving circuit 13, a timing controller 11, an optical sensor 15, a gamut conversion unit 10, , And a system board (14).

표시패널(100)은 액정 표시장치(LCD), 전계 방출 표시장치(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 및 무기 전계발광소자와 유기발광다이오드소자(Organic Light Emitting Diode, OLED)를 포함한 전계발광소자(Electroluminescence Device, EL) 등의 평판 표시장치의 표시패널로 구현될 수 있다. 표시패널(100)은 데이터전압이 공급되는 데이터라인들(D1~Dm), 스캔펄스가 공급되는 스캔라인들(G1~Gn), 데이터라인들(D1~Dm)과 스캔라인들(G1~Gn)의 교차로 정의된 픽셀 영역들에 형성된 픽셀들을 포함한다. The display panel 100 may include a liquid crystal display (LCD), a field emission display (FED), a plasma display panel (PDP), an inorganic electroluminescent device and an organic light emitting diode A display panel of a flat panel display device such as an electroluminescence device (EL) including a light emitting diode, a diode, and an OLED. The display panel 100 includes data lines D1 to Dm to which data voltages are supplied, scan lines G1 to Gn to which scan pulses are supplied, data lines D1 to Dm and scan lines G1 to Gn ≪ / RTI > formed at the intersections of the pixel regions.

데이터 구동회로(12)는 타이밍 콘트롤러(11)로부터 입력되는 디지털 비디오 데이터(R'out G'out B'out)를 샘플링하고 래치하여 병렬 데이터 체계의 데이터로 변환한다. 그리고 데이터 구동회로(12)는 데이터를 감마보상전압으로 변환하여 데이터 전압을 발생하고 그 데이터전압을 표시패널(100)의 데이터라인들(D1~Dm)에 공급한다. The data driving circuit 12 receives the digital video data R ' out G ' out B ' out ) and latches and converts the data into data of a parallel data system. The data driving circuit 12 converts the data into a gamma compensation voltage to generate a data voltage and supplies the data voltage to the data lines D1 to Dm of the display panel 100. [

스캔 구동회로(13)는 타이밍 콘트롤러(11)의 제어 하에 데이터전압에 동기되는 스캔펄스(또는 게이트펄스)를 표시패널(100)의 스캔라인들(G1~Gn)에 순차적으로 공급한다.The scan driver circuit 13 sequentially supplies a scan pulse (or a gate pulse) synchronized with the data voltage to the scan lines G1 to Gn of the display panel 100 under the control of the timing controller 11. [

타이밍 코트롤러(11)는 색역 변환부(10)에 의해 변조된 디지털 비디오 데이터(R'out G'out B'out)를 데이터 구동회로(12)에 공급한다. 또한, 타이밍 콘트롤러(11)는 시스템 보드(14)로부터 수직 동기신호(Vsync), 수평 동기신호(Hsync), 데이터 인에이블 신호(Data Enable, DE), 도트 클럭(CLK) 등의 타이밍 신호를 입력받아 데이터 구동회로(12)와 스캔 구동회로(13)의 동작 타이밍을 제어하기 위한 타이밍 제어신호들을 발생한다. Timing coat roller 11 is modulated by the color gamut conversion unit 10, the digital video data (R 'out G ' out B ' out ) to the data driving circuit 12. The timing controller 11 inputs timing signals such as a vertical synchronization signal Vsync, a horizontal synchronization signal Hsync, a data enable signal DE and a dot clock CLK from the system board 14 And generates timing control signals for controlling the operation timings of the data driving circuit 12 and the scan driving circuit 13.

광센서(15)는 표시장치의 주변 밝기를 전기적인 신호로 변환하여 시스템 보드(14)에 전송한다. The optical sensor 15 converts the ambient brightness of the display device into an electrical signal and transmits it to the system board 14.

시스템 보드(14)는 방송 수신회로와 외부 비디오 소스 인터페이스 회로에 접속되어 소스 기기로부터의 비디오 데이터를 입력 받는다. 시스템 보드(14)는 광센서 수신회로, 유저 인터페이스, 그래픽 처리회로와 스케일러를 포함한 시스템 온 칩(System on Chip, SoC) 등을 포함하여 디지털 비디오 데이터(RGB)를 색역 변환부(10)로 전송하고, 타이밍 신호들(Vsync, Hsync, DE, CLK)을 타이밍 콘트롤러(11)로 전송한다. 또한, 시스템 보드(14)는 광센서 수신회로를 통해 수신된 주변 밝기 데이터(ADB)를 색역 변환부(10)로 전송한다. The system board 14 is connected to a broadcast receiving circuit and an external video source interface circuit to receive video data from the source device. The system board 14 includes a system on chip (SoC) including an optical sensor receiving circuit, a user interface, a graphic processing circuit and a scaler, and transmits digital video data RGB to the gamut converting unit 10 And transmits the timing signals Vsync, Hsync, DE, and CLK to the timing controller 11. In addition, the system board 14 transmits the ambient brightness data ADB received through the optical sensor receiving circuit to the gamut converter 10.

색역 변환부(10)는 도 5와 같은 룩업 테이블들을 저장하고 주변 밝기 데이터(ADB)를 입력 받아 주변 밝기에 대응하는 룩업 테이블을 선택하고 선택된 룩업 테이블에 소스 데이터(RGB)를 입력하여 그 룩업 테이블에서 선택된 변조값의 데이터를(R'out G'out B'out)를 출력한다. 색역 변한부(10)는 타이밍 콘트롤러(11)에 내장될 수 있다. The gamut converting unit 10 stores the lookup tables shown in FIG. 5, receives the surrounding brightness data ADB, selects a lookup table corresponding to the surrounding brightness, inputs source data RGB to the selected lookup table, The data of the modulation value selected in (R ' out G ' out B ' out . The gamut changing unit 10 may be embedded in the timing controller 11. [

도 7 및 도 8은 본 발명의 실험 결과를 보여 주는 도면들이다.FIGS. 7 and 8 are diagrams showing experimental results of the present invention. FIG.

도 7 및 도 8을 참조하면, 이 실험에서 표시장치는 액정표시장치로 선택되었다. 실험은 액정표시장치의 주변 밝기를 변화시키면서 그 주변 밝기에 따라 선택된 룩업 테이블의 변조값들로 원 영상 데이터를 변조하였다. 이 실험 결과에 의하면, 본원 발명자들은 액정표시장치의 주변 밝기가 달라지더라도 관찰자가 인지하는 색역이 표준 규격의 색역으로 되었음을 확인할 수 있었다. Referring to Figs. 7 and 8, in this experiment, the display device was selected as the liquid crystal display device. The experiment modulated the original image data with the modulation values of the selected lookup table according to the ambient brightness while changing the ambient brightness of the liquid crystal display device. According to the experimental results, the inventors of the present invention have confirmed that the color gamut perceived by the observer has become the standard gamut even if the ambient brightness of the liquid crystal display device is changed.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

10 : 색역 변환부 11 : 타이밍 콘트롤러
12 : 데이터 구동회로 13 : 스캔 구동회로
14 : 시스템 보드 15 : 광센서
100 : 표시패널
10: gamut converter 11: timing controller
12: data driving circuit 13: scan driving circuit
14: System board 15: Light sensor
100: display panel

Claims (11)

표준 규격의 색역을 갖는 소스 RGB 데이터를 제1 XYZ 색공간 데이터로 변환하는 단계;
상기 제1 XYZ 색공간 데이터를 표시장치의 주변 환경의 밝기를 반영한 색공간 데이터로 변환하는 단계;
상기 주변 환경의 밝기를 반영한 색공간 데이터를 제2 XYZ 색공간 데이터로 역변환하는 단계;
상기 제2 XYZ 색공간 데이터를 RGB 데이터로 역변환하여 변조값들을 얻는 단계;
광센서를 이용하여 상기 표시장치의 주변환경의 밝기를 감지하고, 상기 주변환경의 밝기에 따라 제1 내지 제3 룩업 테이블 중에서 선택된 룩업 테이블로부터 출력된 변조값으로 상기 소스 RGB 데이터를 변조하는 단계를 포함하고,
상기 변조값들은,
상기 주변 환경의 백색 휘도가 상기 표시장치에 표시된 영상의 백색 휘도 대비 20% 더 밝을 때 상기 소스 RGB 데이터를 변조하기 위하여 상기 제1 룩업 테이블에 설정된 제1 변조값들,
상기 주변 환경의 백색 휘도가 상기 표시장치에 표시된 영상의 백색 휘도보다 20% 더 작을 때 상기 소스 RGB 데이터를 변조하기 위하여 상기 제2 룩업 테이블에 설정된 제2 변조값들, 및
상기 주변 환경의 휘도가 없을 때 상기 소스 RGB 데이터를 변조하기 위하여 상기 제3 룩업 테이블에 설정된 제3 변조값들을 포함하는 것을 특징으로 하는 색재현 방법.
Converting source RGB data having a gamut of a standard size into first XYZ color space data;
Converting the first XYZ color space data into color space data reflecting the brightness of a surrounding environment of the display device;
Converting the color space data reflecting the brightness of the surrounding environment into the second XYZ color space data;
Converting the second XYZ color space data into RGB data to obtain modulation values;
Detecting a brightness of a surrounding environment of the display device using an optical sensor and modulating the source RGB data with a modulation value output from a lookup table selected from among first through third lookup tables according to the brightness of the surrounding environment Including,
The modulation values include,
The first modulation values set in the first lookup table to modulate the source RGB data when the white luminance of the surrounding environment is 20% brighter than the white luminance of the image displayed on the display device,
The second modulation values set in the second lookup table to modulate the source RGB data when the white luminance of the surrounding environment is 20% smaller than the white luminance of the image displayed on the display device, and
And third modulation values set in the third lookup table to modulate the source RGB data when there is no luminance of the surrounding environment.
제 1 항에 있어서,
상기 주변 환경의 밝기를 반영한 색공간 데이터는 CIECAM02(CIE Colour Appearance Model 2002)에서 정의된 색공간 데이터를 포함하는 것을 특징으로 하는 색재현 방법.
The method according to claim 1,
Wherein the color space data reflecting the brightness of the surrounding environment includes color space data defined by CIECAM02 (CIE Color Appearance Model 2002).
삭제delete 삭제delete 삭제delete 표시패널;
상기 표시패널의 주변 환경의 밝기를 감지하는 광센서; 및
상기 광센서에 의해 감지된 상기 주변 환경의 밝기에 따라 제1 내지 제3 룩업 테이블들 중에서 선택된 룩업 테이블로부터 출력된 변조값으로 소스 RGB 데이터를 변조하는 색역 변환부를 구비하고,
상기 변조값들은,
상기 주변 환경의 백색 휘도가 상기 표시장치에 표시된 영상의 백색 휘도 대비 20% 더 밝을 때 상기 소스 RGB 데이터를 변조하기 위하여 상기 제1 룩업 테이블에 설정된 제1 변조값들,
상기 주변 환경의 백색 휘도가 상기 표시장치에 표시된 영상의 백색 휘도보다 20% 더 작을 때 상기 소스 RGB 데이터를 변조하기 위하여 상기 제2 룩업 테이블에 설정된 제2 변조값들, 및
상기 주변 환경의 휘도가 없을 때 상기 소스 RGB 데이터를 변조하기 위하여 상기 제3 룩업 테이블에 설정된 제3 변조값들을 포함하는 것을 특징으로 하는 표시장치.
Display panel;
An optical sensor for sensing a brightness of a surrounding environment of the display panel; And
And a gamut conversion unit for modulating the source RGB data with the modulation values output from the lookup table selected from among the first through third lookup tables according to the brightness of the surrounding environment sensed by the optical sensor,
The modulation values include,
The first modulation values set in the first lookup table to modulate the source RGB data when the white luminance of the surrounding environment is 20% brighter than the white luminance of the image displayed on the display device,
The second modulation values set in the second lookup table to modulate the source RGB data when the white luminance of the surrounding environment is 20% smaller than the white luminance of the image displayed on the display device, and
And third modulation values set in the third lookup table to modulate the source RGB data when there is no luminance of the surrounding environment.
제 6 항에 있어서,
상기 주변 환경의 밝기를 반영한 색공간 데이터는 CIECAM02(CIE Colour Appearance Model 2002)에서 정의된 색공간 데이터를 포함하는 것을 특징으로 하는 표시장치.
The method according to claim 6,
Wherein the color space data reflecting the brightness of the surrounding environment includes color space data defined by CIECAM02 (CIE Color Appearance Model 2002).
삭제delete 삭제delete 삭제delete 제 6 항에 있어서,
상기 표시장치는,
액정 표시장치, 전계 방출 표시장치(FED), 플라즈마 디스플레이 패널(PDP), 및 전계발광소자(EL) 중 어느 하나를 포함하는 것을 특징으로 하는 표시장치.
The method according to claim 6,
The display device includes:
A display device, a liquid crystal display device, a field emission display (FED), a plasma display panel (PDP), and an electroluminescent device (EL).
KR1020100057721A 2010-06-17 2010-06-17 Color reproduction method and display device using the same KR101705895B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100057721A KR101705895B1 (en) 2010-06-17 2010-06-17 Color reproduction method and display device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100057721A KR101705895B1 (en) 2010-06-17 2010-06-17 Color reproduction method and display device using the same

Publications (2)

Publication Number Publication Date
KR20110137668A KR20110137668A (en) 2011-12-23
KR101705895B1 true KR101705895B1 (en) 2017-02-13

Family

ID=45503864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100057721A KR101705895B1 (en) 2010-06-17 2010-06-17 Color reproduction method and display device using the same

Country Status (1)

Country Link
KR (1) KR101705895B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150140514A (en) 2014-06-05 2015-12-16 삼성디스플레이 주식회사 Method of compensating color of transparent display device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344761A (en) * 2001-03-16 2002-11-29 Seiko Epson Corp Environment-adaptive image display system, projector, program, information storage medium, and image processing method
JP2007312313A (en) 2006-05-22 2007-11-29 Konica Minolta Opto Inc Image processor, image processing method and program
JP2009188947A (en) 2008-02-08 2009-08-20 Canon Inc Color processing apparatus and color processing method
JP2010041116A (en) * 2008-07-31 2010-02-18 Canon Inc Image processing apparatus and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344761A (en) * 2001-03-16 2002-11-29 Seiko Epson Corp Environment-adaptive image display system, projector, program, information storage medium, and image processing method
JP2007312313A (en) 2006-05-22 2007-11-29 Konica Minolta Opto Inc Image processor, image processing method and program
JP2009188947A (en) 2008-02-08 2009-08-20 Canon Inc Color processing apparatus and color processing method
JP2010041116A (en) * 2008-07-31 2010-02-18 Canon Inc Image processing apparatus and method thereof

Also Published As

Publication number Publication date
KR20110137668A (en) 2011-12-23

Similar Documents

Publication Publication Date Title
US8786585B2 (en) System and method for adjusting display based on detected environment
KR101600492B1 (en) Display apparatus and method of driving the same
KR102207464B1 (en) Display apparatus and driving method thereof
JP6083689B2 (en) Image signal processing method and display apparatus for executing the same
EP3043340B1 (en) Display device and method for controlling brightness thereof
KR20060053187A (en) Apparatus and method for displaying image in mobile terminal
KR101356370B1 (en) Method of Correcting Data And Liquid Crystal Display Using The Same
JP5897159B2 (en) Display device and control method thereof
CN110796990B (en) Apparatus and method for controlling color gamut
KR102522423B1 (en) Display apparatus and method for processing image of the display apparatus
KR20120057498A (en) Image display device and method of driving the same
KR20150078850A (en) Display device and gamma compensation method thereof
KR101341007B1 (en) Method and apparatus for correcting color of display device
US20140232741A1 (en) Image Processing Method and Display Apparatus Using the Same
KR101970542B1 (en) Organic light emitting diode display device and method for driving the same
KR101715854B1 (en) Method and unit converting color temperature for improving emotional image quality and digital display apparatus using the same
KR101705895B1 (en) Color reproduction method and display device using the same
KR102020283B1 (en) Apparatus and method for controlling luminance of display device, display device and method for driving thereof
JP2017211601A (en) Chromatic adjustment circuit, display driver, and display device
KR102089341B1 (en) Display device and method for processing image thereof
US9591276B2 (en) Display device, electronic apparatus, and method for driving display device
KR20120054458A (en) Color gamut expansion method and unit, and wide color gamut display apparatus using the same
KR20220012583A (en) Display Device and Vehicle Display Device using the same
KR20180092330A (en) Display apparatus and method of driving the same
KR101633107B1 (en) Method for Increasing Color Gamut and Display Device using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant