KR102077215B1 - 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법 - Google Patents

국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법 Download PDF

Info

Publication number
KR102077215B1
KR102077215B1 KR1020180040419A KR20180040419A KR102077215B1 KR 102077215 B1 KR102077215 B1 KR 102077215B1 KR 1020180040419 A KR1020180040419 A KR 1020180040419A KR 20180040419 A KR20180040419 A KR 20180040419A KR 102077215 B1 KR102077215 B1 KR 102077215B1
Authority
KR
South Korea
Prior art keywords
unit
patches
pixel
patch
pixels
Prior art date
Application number
KR1020180040419A
Other languages
English (en)
Other versions
KR20190117196A (ko
Inventor
배성호
이승룡
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020180040419A priority Critical patent/KR102077215B1/ko
Priority to PCT/KR2019/003764 priority patent/WO2019194482A1/ko
Publication of KR20190117196A publication Critical patent/KR20190117196A/ko
Application granted granted Critical
Publication of KR102077215B1 publication Critical patent/KR102077215B1/ko
Priority to US17/029,493 priority patent/US11455707B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06K9/6267
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092Image resolution transcoding, e.g. by using client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 초해상화 방법은 저해상도의 입력 영상을 수신하는 단계, 상기 입력 영상을 저해상도(LR) 단위 패치들로 구분하는 단계, 상기 LR 단위 패치들에 대하여 국부 이진 패턴을 이용하여 상기 입력 영상에 포함된 픽셀들 각각의 텍스쳐 타입을 분류하는 단계, 상기 텍스쳐 타입에 대응하는 매핑커널에 기초하여 상기 픽셀들 각각에 대응하는 고해상도(HR) 단위 패치들을 생성하는 단계; 그리고 상기 HR 단위 패치들을 기 정해진 설정에 따라 조합하여 고해상도의 출력 영상을 생성하는 단계를 포함할 수 있다.

Description

국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법{SUPER-RESOLUTION METHOD USING LOCAL BINARY PATTERN CLASSIFICATION AND LINEAR MAPPING}
본 발명은 초해상화 방법에 관한 것으로, 좀 더 구체적으로 국부 이진 패턴을 이용한 텍스쳐를 분류하고, 분류된 텍스쳐에 대응하는 매핑커널을 통해 선형 매핑을 이용하여 해상도를 증가시키는 초해상화 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년간 급속도로 발전하고 있다. 디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치의 화질을 향상시키기 위한 방식이 많이 연구되고 있다.
또한, 4K-UHD TV 시장이 크게 확대됨에 따라, UHD 콘텐츠의 수요도 급격히 증가하고 있다. 하지만, UHD 콘텐츠는 아직까지는 Full-HD 콘텐츠에 비해 공급이 매우 부족한 실정이다. 한편, UHD 콘텐츠를 제작하기 위해서는 상당히 큰 비용이 요구되고 있다. 따라서, 기존의 Full-HD 콘텐츠를 UHD 화질로 변환하는 기술이 필요하다. 다만, 기존의 해상도 향상 기술들은 해상도(영상의 크기 및 선명도) 변환에 많은 시간을 요구하는 단점이 있다.
대한민국 공개특허 제10-2015-0107360호
본 발명의 목적은 저해상도의 입력 영상을 신속하게 실시간으로 고해상도의 출력 영상으로 변환하는 초해상화 방법을 제공하는 데 있다.
본 발명의 실시 예에 따른 초해상화 방법은 저해상도의 입력 영상을 수신하는 단계, 상기 입력 영상을 저해상도(LR) 단위 패치들로 구분하는 단계, 상기 LR 단위 패치들에 대하여 국부 이진 패턴을 이용하여 상기 입력 영상에 포함된 픽셀들 각각의 텍스쳐 타입을 분류하는 단계, 상기 텍스쳐 타입에 대응하는 매핑커널에 기초하여 상기 픽셀들 각각에 대응하는 고해상도(HR) 단위 패치들을 생성하는 단계; 그리고 상기 HR 단위 패치들을 기 정해진 설정에 따라 조합하여 고해상도의 출력 영상을 생성하는 단계를 포함할 수 있다.
실시 예로서, 상기 입력 영상을 수신하는 단계는 원본 영상을 YUV 포멧으로 변환한 후 Y채널 영상을 선택하는 단계를 포함할 수 있다.
실시 예로서, 상기 LR 단위 패치들 각각은 하나의 중심 픽셀 및 상기 중심 픽셀을 둘러싸는 주변 픽셀들을 포함할 수 있다.
실시 예로서, 상기 텍스쳐 타입을 분류하는 단계는, 상기 주변 픽셀들 각각과 상기 중심 픽셀 사이의 픽셀 값의 차이를 계산하여 상기 국부 이진 패턴을 생성하는 단계, 그리고 상기 국부 이진 패턴을 10진수로 변환하여 상기 중심 픽셀의 단위 패치 등급을 결정하는 단계를 포함할 수 있다.
실시 예로서, 상기 국부 이진 패턴을 생성하는 단계는, 상기 픽셀 값의 차이가 음수인 경우 해당 주변 픽셀을 0에 대응시키는 단계, 상기 픽셀 값의 차이가 양수인 경우 해당 주변 픽셀을 1에 대응시키는 단계, 그리고 상기 주변 픽셀들의 설정된 순서에 기초하여 대응된 0 또는 1을 배열하여 상기 국부 이진 패턴을 생성하는 단계를 포함할 수 있다.
실시 예로서, 상기 매핑커널은 상기 단위 패치 등급에 기초하여 결정될 수 있다.
실시 예로서, 상기 매핑커널은 아래의 수학식에 기초하여 결정되고, 아래의 수학식에서, yl는 벡터화된 LR 단위 패치이고, yh는 벡터화된 HR 단위 패치이고, λ는 가중치일 수 있다.
Figure 112018034542180-pat00001
실시 예로서, 상기 매핑커널은 상기 수학식에 최소 제곱법을 적용하여 계산된 아래의 수학식에 기초하여 결정되고, 아래의 수학식에서, I는 식별행렬(Identity Matrix)이고, YT는 Y의 전치행렬(Transpose Matrix)일 수 있다.
Figure 112018034542180-pat00002
실시 예로서, 상기 HR 단위 패치를 생성하는 단계는, 상기 LR 단위 패치들 각각을 제1 규칙에 따라 LR 단위 행렬로 변환하는 단계, 상기 LR 단위 행렬과 상기 매핑커널의 내적을 수행하여 HR 단위 행렬을 생성하는 단계, 그리고 상기 HR 단위 행렬을 제2 규칙에 따라 상기 HR 단위 패치들 각각으로 변환하는 단계를 포함할 수 있다.
실시 예로서, 상기 LR 단위 패치들은 서로 중복된 픽셀을 포함할 수 있다.
실시 예로서, 제1 LR 단위 패치의 중심 픽셀은 제2 LR 단위 픽셀의 중심 픽셀과 서로 다를 수 있다.
실시 예로서, 상기 HR 단위 패치들 각각은 대응하는 상기 LR 단위 패치들 각각의 중심 픽셀의 주변에 배치될 수 있다.
실시 예로서, 상기 HR 단위 패치들은 서로 동일한 간격으로 인접하여 배치되어 상기 출력 영상을 구성할 수 있다.
실시 예로서, 상기 LR 단위 패치들 각각은 3x3의 픽셀들을 포함하고, 하나의 중심 픽셀 및 상기 중심 픽셀을 둘러싸는 8개의 주변 픽셀들을 포함할 수 있다.
실시 예로서, 상기 HR 단위 패치들 각각은 2x2의 픽셀들을 포함할 수 있다.
본 발명의 실시 예에 따르면, 저해상도의 입력 영상은 신속하게 실시간으로 고해상도의 출력 영상을 생성할 수 있다.
본 발명의 실시 예에 따르면, 저해상도의 입력 영상은 저해상도 단위 패치들로 구분되고, 저해상도 단위 패치들은 국부 이진 패턴을 이용하여 간단하게 등급이 분류될 수 있다.
본 발명의 실시 예에 따르면, 등급이 분류된 저해상도 단위 패치들은 대응하는 매핑커널을 이용하여 신속하게 고해상도 단위 패치들로 변환될 수 있다.
도 1은 본 발명의 실시 예에 따른 초해상화 방법을 개략적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 초해상화 방법을 보여주는 순서도이다.
도 3 및 도 4는 LR 단위 패치와 HR 단위 패치의 관계를 보여주는 도면이다.
도 5는 LR 단위 패치에 포함된 중심 픽셀의 등급을 결정하는 방법을 보여주는 도면이다.
도 6은 LR 단위 패치로부터 HR 단위 패치를 결정하는 방법을 보여주는 도면이다.
앞의 일반적인 설명 및 다음의 상세한 설명 모두 예시적이라는 것이 이해되어야 하며, 청구된 발명의 부가적인 설명이 제공되는 것으로 여겨져야 한다. 참조부호들이 본 발명의 바람직한 실시 예들에 상세히 표시되어 있으며, 그것의 예들이 참조 도면들에 표시되어 있다. 가능한 어떤 경우에도, 동일한 참조 번호들이 동일한 또는 유사한 부분을 참조하기 위해서 설명 및 도면들에 사용된다.
제 1 또는 제 2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소는 제 1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시 예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 특허출원의 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 초해상화 방법을 개략적으로 보여주는 도면이다. 도 1을 참조하면, 본 발명의 초해상화 방법은 국부 이진 패턴(Local Binary Pattern, LBP) 타입 분류 유닛(100) 및 선형 매핑 유닛(200)을 통해 수행될 수 있다. 본 발명의 초해상화 방법은 입력 영상(예를 들어, NxN 해상도)의 해상도를 증가시켜 출력 영상(예를 들어, 2Nx2N 해상도)을 생성할 수 있다. 입력 영상은 저해상도(Low Resolution, LR) 영상으로, 출력 영상은 고해상도(High Resolution, HR) 영상으로 지칭될 수 있다. 예를 들면, 본 발명의 초해상화 방법은 Full-HD의 영상을 4K UHD 영상으로 또는 4K UHD 영상을 8K UHD 영상으로 변환할 수 있다.
본 발명의 초해상화 방법을 수행하기 위해, 원본 영상은 RGB 포멧에서 YUV 포멧으로 변환될 수 있다. 입력 영상은 Y 채널(광도) 영상이 선택될 수 있다. U 채널 영상 및 V채널 영상은 Bicubic 보간법을 이용하여 변환될 수 있다.
입력 영상은 LBP 타입 분류 유닛(100)에 입력될 수 있다. LBP 타입 분류 유닛(100)은 입력 영상을 저해상도(LR) 단위 패치들로 구분할 수 있다. LR 단위 패치는 입력 영상에 포함된 픽셀들을 3x3 단위로 그룹을 설정한 것이다. 픽셀들 각각은 픽셀 값(광도)으로 표현될 수 있다. 하지만, LR 단위 패치는 이것에 한정되지 않으며, LR 단위 패치에 포함되는 픽셀 수는 다양하게 설정될 수 있다.
LBP 타입 분류 유닛(100)은 LR 단위 패치들에 대하여 국부 이진 패턴을 이용하여 입력 영상에 포함된 각 픽셀의 텍스쳐 타입을 분류할 수 있다. 예를 들면, LR 단위 패치들 각각은 하나의 중심 픽셀과 8개의 주변 픽셀들을 포함할 수 있다. LBP 타입 분류 유닛(100)은 LR 단위 패치들 각각의 중심 픽셀의 텍스쳐 타입을 결정할 수 있다. LBP 타입 분류 유닛(100)은 각 주변 픽셀과 중심 픽셀 사이의 픽셀 값의 차이를 계산할 수 있다. 계산 결과에 따라 픽셀 값의 차이는 음수(-) 또는 양수(+)를 가질 수 있다. LBP 타입 분류 유닛(100)은 픽셀 값의 차이가 음수인 경우 해당 주변 픽셀을 0으로 대응시킬 수 있다. LBP 타입 분류 유닛(100)은 픽셀 값의 차이가 양수인 경우 해당 주변 픽셀을 1로 대응시킬 수 있다. 즉, 8개의 주변 픽셀들은 0 또는 1로 대응될 수 있고, LR 단위 패치들 각각은 이진화되어 표현될 수 있다. 이진화된 LR 단위 패치들은 10진수로 변경되어 256개의 등급 중 하나에 대응될 수 있다. 즉, LR 단위 패치들의 중심 픽셀은 256개의 등급에 의해 텍스쳐 타입이 분류될 수 있다. 국부 이진 패턴을 이용하여 LR 단위 패치들에 대응하는 중심 픽셀들의 텍스쳐 타입을 분류하는 방법은 도 5에서 자세히 설명한다.
LR 단위 패치들의 중심 픽셀에 대하여 텍스쳐 타입이 분류되면, 선형 매핑 유닛(200)은 LR 단위 패치들 각각에 매핑 커널을 적용하여 고해상도(HR) 단위 패치들을 생성할 수 있다. 예를 들면, 선형 매핑 유닛(200)은 LR 단위 패치를 특정 순서로 배열하여 1x9의 LR 단위 행렬을 생성할 수 있다. 선형 매핑 유닛(200)은 LR 단위 행렬에 매핑 커널을 곱하여 4x1의 HR 단위 행렬을 계산할 수 있다. 즉, 매핑 커널은 9x4의 크기를 가질 수 있다. 매핑 커널의 크기는 LR 단위 행렬 및 HR 단위 행렬을 크기에 따라 결정될 수 있다. 선형 매핑 유닛(200)은 HR 단위 행렬을 2x2의 HR 단위 패치로 변환할 수 있다. 선형 매핑 유닛(200)은 생성된 HR 단위 패치들을 종합하여 출력 영상을 생성할 수 있다. 선형 매핑 유닛(200)은 동작 방법은 도 6에서 자세히 설명한다.
도 2는 본 발명의 실시 예에 따른 초해상화 방법을 보여주는 순서도이다. 도 3 및 도 4는 LR 단위 패치와 HR 단위 패치의 관계를 보여주는 도면이다. 도 5는 LR 단위 패치에 포함된 중심 픽셀의 등급을 결정하는 방법을 보여주는 도면이다. 도 6은 LR 단위 패치로부터 HR 단위 패치를 결정하는 방법을 보여주는 도면이다.
도 2를 참조하면, 본 발명의 초해상화 방법은 저해상도 입력 영상을 수신하는 단계(S100), 입력 영상을 LR 단위 패치들로 구분하는 단계(S200), LR 단위 패치들에 대하여 국부 이진 패턴을 이용하여 입력 영상에 포함된 각 픽셀의 텍스쳐 타입을 분류하는 단계(S300), 텍스쳐 타입에 대응하는 매핑 커널에 기초하여 입력 영상에 포함된 픽셀들 각각에 대응하는 HR 단위 패치들을 생성하는 단계(S400) 및 생성된 HR 단위 패치들을 종합하여 고해상도의 출력 영상을 생성하는 단계(S500)를 포함할 수 있다.
S100 단계에서, 원본 영상은 RGB 포멧에서 YUV 포멧으로 변환될 수 있다. 입력 영상은 Y 채널(광도) 영상이 선택될 수 있다. 따라서, 입력 영상에 포함된 각 픽셀은 픽셀 값(광도)으로 표현될 수 있다.
S200 단계에서, 도 3 및 도 4를 참조하면, 입력 영상은 LR 단위 패치들로 구분될 수 있다. 예를 들면, LR 단위 패치들 각각은 3x3 단위 패치로서 9개의 픽셀을 포함할 수 있다. LR 단위 패치들 각각은 하나의 중심 픽셀 및 중심 픽셀의 주변에 위치하는 8개의 주변 픽셀들을 포함할 수 있다. LR 단위 패치들은 중심 픽셀을 하나씩 옆으로 이동하면서 설정될 수 있다. 예를 들면, 도 4에서, LR 단위 패치들은 LR 단위 패치들(LRUP1, LRUP2, LRUP3)과 같이 설정될 수 있다. 즉, 서로 다른 LR 단위 패치들은 중복되는 픽셀을 포함할 수 있다.
S300 단계에서, 도 5를 참조하면, LR 단위 패치들 각각에 포함된 픽셀들의 픽셀 값에 기초하여 LR 단위 패치들 각각의 단위 패치 등급을 결정할 수 있다. 예를 들면, 도 5에서, 중심 픽셀의 픽셀 값은 IC로 표현되고, 주변 픽셀들의 픽셀 값은 I1 내지 I8로 표현될 수 있다. 각 주변 픽셀의 픽셀 값(I1~I8)에서 중심 픽셀의 픽셀 값(IC)을 뺀 픽셀 값의 차이는 음수(-) 또는 양수(+)로 표현될 수 있다. 픽셀 값의 차이가 음수인 경우 해당 주변 픽셀은 0으로 대응될 수 있다. 픽셀 값의 차이가 양수인 경우 해당 주변 픽셀은 1로 대응될 수 있다. 즉, 8개의 주변 픽셀들(I1~I8)은 0 또는 1로 대응될 수 있고, LR 단위 패치들 각각은 이진화되어 국부 이진 패턴으로 표현될 수 있다. 국부 이진 패턴은 10진수로 변경될 수 있다. 이러한 10진수를 단위 패치 등급으로 정의한다. LR 단위 패치들 각각은 256개의 단위 패치 등급 중 하나에 대응될 수 있다. 즉, LR 단위 패치들 각각은 단위 패치 등급에 의해 텍스쳐 타입이 분류될 수 있다.
S400 단계에서, 도 6을 참조하면, LR 단위 패치는 특정한 규칙에 따라 배열되어 LR(저해상도) 단위 행렬로 변환될 수 있다. 예를 들면, LR 단위 패치는 1x9의 LR 단위 행렬로 변환될 수 있다. LR 단위 행렬은 매핑커널과 내적 연산이 수행될 수 있다. 매핑커널은 9x4의 크기를 가질 수 있다. 매핑커널의 크기는 LR 단위 패치의 크기 및 생성하려는 HR 단위 패치의 크기에 따라 결정될 수 있다.
매핑커널은 S300 단계에서 결정된 단위 패치 등급에 기초하여 결정될 수 있다. 매핑커널은 단위 패치 등급에 기초하여 특정될 수 있다. 예를 들면, 매핑커널은 아래와 같이 수학식 1 및 수학식 2에 의해 결정될 수 있다.
Figure 112018034542180-pat00003
Figure 112018034542180-pat00004
수학식 1은 최소 제곱법(Least Square Minimization)을 적용하여 계산하면 수학식 2와 같이 표현될 수 있다. 수학식 2를 풀면, 각 단위 패치 등급에 대응하는 매핑커널이 구해질 수 있다. 수학식 1 및 수학식 2에서, yl는 벡터화된 LR 단위 패치를 의미한다. yh는 벡터화된 HR 단위 패치를 의미한다. λ는 가중치를 의미하고, 스칼라 값이다. I는 식별행렬(Identity Matrix)을 의미한다. YT는 Y의 전치행렬(Transpose Matrix)을 의미한다. 한편, 매핑커널은 학습을 통하여 최적의 행렬로 결정될 수 있다.
HR 단위 행렬은 LR 단위 행렬 및 매핑커널의 내적에 의해 계산될 수 있다. 예를 들면, HR 단위 행렬은 4x1의 크기를 가질 수 있다. HR 단위 행렬은 특정한 규칙에 따라 2x2의 HR 단위 패치로 변환될 수 있다.
각 LR 단위 패치에 기초하여 각 HR 단위 패치는 생성될 수 있다. 도 4를 다시 살펴보면, 제1 HR 단위 패치(HRUP1)는 제1 LR 단위 패치(LRUP1)에 기초하여 생성될 수 있다. 제2 HR 단위 패치(HRUP2)는 제2 LR 단위 패치(LRUP2)에 기초하여 생성될 수 있다. 제3 HR 단위 패치(HRUP3)는 제3 LR 단위 패치(LRUP3)에 기초하여 생성될 수 있다.
S500 단계에서, 생성된 HR 단위 패치들 각각은 대응하는 LR 단위 패치의 중심 픽셀에 대응하는 위치에 배열될 수 있다. 하나의 중심 픽셀은 2x2의 HR 단위 패치에 대응될 수 있다. 예를 들어 도 4를 참조하면, 제1 HR 단위 패치(HRUP1)는 제1 LR 단위 패치(LRUP1)의 중심 픽셀의 주변에 배치될 수 있다. 제2 HR 단위 패치(HRUP2)는 제2 LR 단위 패치(LRUP2)의 중심 픽셀의 주변에 배치될 수 있다. 제3 HR 단위 패치(HRUP3)는 제3 LR 단위 패치(LRUP3)의 중심 픽셀의 주변에 배치될 수 있다. HR 단위 패치들(HRUP1, HRUP2, HRUP3)은 서로 인접하여 중첩되지 않도록 배치될 수 있다. 따라서, NxN의 입력 영상은 2Nx2N의 출력 영상으로 변환될 수 있다.
아래의 표 1은 본 발명의 LBP 기반 텍스쳐 분류 기법과 기존의 기울기 방향(gradient direction) 기반 텍스쳐 분류 기법의 계산 시간을 비교한 것이다.
LBP 기반 분류 기법 기울기 방향 기반 분류 기법
초해상화 시간 0.016초 43.100초
표 1은 본 발명의 초해상화 방법의 효율성을 보여준다. 표 1의 결과는 MATLAB2017b 플랫폼에서 수행된 결과이고, 표 1의 초해상화는 Intel i7-7660U dual core, 16GB RAM을 장착한 PC 환경에서 수행되었다. 표 1에서, 3x3 크기의 영상 패치를 이용하여 10000번의 반복 후 소요된 시간이 측정되었다. 본 발명의 LBP 기반 텍스쳐 분류 기법을 사용한 경우 초해상화에 0.016초가 소요되었고, 기울기 방향 기반 텍스쳐 분류 기법을 사용한 경우 초해상화에 43.100초가 소요되었다. 즉, 본 발명의 초해상화 방법은 기존 방법 대비 약 2650배의 향상된 속도로 수행될 수 있다.
도 1의 LBP 타입 분류 유닛(100) 및 선형 매핑 유닛(200)은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서와 같이 도면과 명세서에서 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: LBP 타입 분류 유닛
200: 선형 매핑 유닛

Claims (15)

  1. 저해상도의 입력 영상을 수신하는 단계;
    상기 입력 영상을 저해상도(LR) 단위 패치들로 구분하는 단계;
    상기 LR 단위 패치들에 대하여 국부 이진 패턴을 이용하여 상기 입력 영상에 포함된 픽셀들 각각의 텍스쳐 타입을 분류하는 단계;
    상기 텍스쳐 타입에 대응하는 매핑커널에 기초하여 상기 픽셀들 각각에 대응하는 고해상도(HR) 단위 패치들을 생성하는 단계; 그리고
    상기 HR 단위 패치들을 기 정해진 설정에 따라 조합하여 고해상도의 출력 영상을 생성하는 단계를 포함하고,
    상기 매핑커널은 아래의 수학식에 기초하여 결정되고,
    아래의 수학식에서, yl는 벡터화된 LR 단위 패치이고, yh는 벡터화된 HR 단위 패치이고, λ는 가중치인 초해상화 방법.
    Figure 112019090238332-pat00013
  2. 제1항에 있어서,
    상기 입력 영상을 수신하는 단계는 원본 영상을 YUV 포멧으로 변환한 후 Y 채널 영상을 선택하는 단계를 포함하는 초해상화 방법.
  3. 제1항에 있어서,
    상기 LR 단위 패치들 각각은 하나의 중심 픽셀 및 상기 중심 픽셀을 둘러싸는 주변 픽셀들을 포함하는 초해상화 방법.
  4. 제3항에 있어서,
    상기 텍스쳐 타입을 분류하는 단계는,
    상기 주변 픽셀들 각각과 상기 중심 픽셀 사이의 픽셀 값의 차이를 계산하여 상기 국부 이진 패턴을 생성하는 단계; 그리고
    상기 국부 이진 패턴을 10진수로 변환하여 상기 중심 픽셀의 단위 패치 등급을 결정하는 단계를 포함하는 초해상화 방법.
  5. 제4항에 있어서,
    상기 국부 이진 패턴을 생성하는 단계는,
    상기 픽셀 값의 차이가 음수인 경우 해당 주변 픽셀을 0에 대응시키는 단계;
    상기 픽셀 값의 차이가 양수인 경우 해당 주변 픽셀을 1에 대응시키는 단계; 그리고
    상기 주변 픽셀들의 설정된 순서에 기초하여 대응된 0 또는 1을 배열하여 상기 국부 이진 패턴을 생성하는 단계를 포함하는 초해상화 방법.
  6. 제4항에 있어서,
    상기 매핑커널은 상기 단위 패치 등급에 기초하여 결정되는 초해상화 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 매핑커널은 상기 수학식에 최소 제곱법을 적용하여 계산된 아래의 수학식에 기초하여 결정되고,
    아래의 수학식에서, I는 식별행렬(Identity Matrix)이고, YT는 Y의 전치행렬(Transpose Matrix)인 초해상화 방법.
    Figure 112019090238332-pat00006
  9. 제1항에 있어서,
    상기 HR 단위 패치를 생성하는 단계는,
    상기 LR 단위 패치들 각각을 제1 규칙에 따라 LR 단위 행렬로 변환하는 단계;
    상기 LR 단위 행렬과 상기 매핑커널의 내적을 수행하여 HR 단위 행렬을 생성하는 단계; 그리고
    상기 HR 단위 행렬을 제2 규칙에 따라 상기 HR 단위 패치들 각각으로 변환하는 단계를 포함하는 초해상화 방법.
  10. 제1항에 있어서,
    상기 LR 단위 패치들은 서로 중복된 픽셀을 포함하는 초해상화 방법.
  11. 제1항에 있어서,
    제1 LR 단위 패치의 중심 픽셀은 제2 LR 단위 픽셀의 중심 픽셀과 서로 다른 초해상화 방법.
  12. 제1항에 있어서,
    상기 HR 단위 패치들 각각은 대응하는 상기 LR 단위 패치들 각각의 중심 픽셀의 주변에 배치되는 초해상화 방법.
  13. 제1항에 있어서,
    상기 HR 단위 패치들은 서로 동일한 간격으로 인접하여 배치되어 상기 출력 영상을 구성하는 초해상화 방법.
  14. 제1항에 있어서,
    상기 LR 단위 패치들 각각은 3x3의 픽셀들을 포함하고, 하나의 중심 픽셀 및 상기 중심 픽셀을 둘러싸는 8개의 주변 픽셀들을 포함하는 초해상화 방법.
  15. 제1항에 있어서,
    상기 HR 단위 패치들 각각은 2x2의 픽셀들을 포함하는 초해상화 방법.
KR1020180040419A 2018-04-06 2018-04-06 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법 KR102077215B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180040419A KR102077215B1 (ko) 2018-04-06 2018-04-06 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법
PCT/KR2019/003764 WO2019194482A1 (ko) 2018-04-06 2019-04-01 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법
US17/029,493 US11455707B2 (en) 2018-04-06 2020-09-23 Super-resolution method using local binary pattern classification and linear mapping

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180040419A KR102077215B1 (ko) 2018-04-06 2018-04-06 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법

Publications (2)

Publication Number Publication Date
KR20190117196A KR20190117196A (ko) 2019-10-16
KR102077215B1 true KR102077215B1 (ko) 2020-02-13

Family

ID=68100938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180040419A KR102077215B1 (ko) 2018-04-06 2018-04-06 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법

Country Status (3)

Country Link
US (1) US11455707B2 (ko)
KR (1) KR102077215B1 (ko)
WO (1) WO2019194482A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230012233A (ko) 2021-07-15 2023-01-26 인천대학교 산학협력단 딥러닝 기반 디스플레이 기울기 정보를 활용한 초해상도 영상 생성 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299618A (ja) * 2007-05-31 2008-12-11 Toshiba Corp 画像高品質化装置、方法およびプログラム
JP2017500651A (ja) * 2014-03-20 2017-01-05 三菱電機株式会社 入力低解像度(lr)画像を処理して出力高解像度(hr)画像にする方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101427854B1 (ko) * 2012-09-24 2014-08-07 재단법인대구경북과학기술원 단일 영상의 초고해상도 영상 복원 장치 및 방법
GB2534790B (en) * 2013-12-03 2020-06-03 Mitsubishi Electric Corp Image processing apparatus and image processing method
KR101695900B1 (ko) 2014-03-14 2017-01-11 한국전자통신연구원 초해상도 기법을 이용한 영상 생성 방법 및 장치
CN108259997B (zh) * 2018-04-02 2019-08-23 腾讯科技(深圳)有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299618A (ja) * 2007-05-31 2008-12-11 Toshiba Corp 画像高品質化装置、方法およびプログラム
JP2017500651A (ja) * 2014-03-20 2017-01-05 三菱電機株式会社 入力低解像度(lr)画像を処理して出力高解像度(hr)画像にする方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230012233A (ko) 2021-07-15 2023-01-26 인천대학교 산학협력단 딥러닝 기반 디스플레이 기울기 정보를 활용한 초해상도 영상 생성 장치 및 방법

Also Published As

Publication number Publication date
WO2019194482A1 (ko) 2019-10-10
KR20190117196A (ko) 2019-10-16
US20210004934A1 (en) 2021-01-07
US11455707B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
Possa et al. A multi-resolution FPGA-based architecture for real-time edge and corner detection
US8538077B2 (en) Detecting an interest point in an image using edges
KR101845476B1 (ko) 영상 변환 장치 및 그 영상 변환 방법
JP2021507335A (ja) 行列入力を行列プロセッサ用のベクトル化入力に変換するためのシステムおよび方法
US9697442B2 (en) Object detection in digital images
US9443287B2 (en) Image processing method and apparatus using trained dictionary
US10373291B1 (en) Image transformation for machine learning
US20150170336A1 (en) Content-aware weighted image manipulations
US11544815B2 (en) Gaming super resolution
KR102077215B1 (ko) 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법
JP2007535066A (ja) 画像処理装置及び方法
Mentzer et al. Online stereo camera calibration for automotive vision based on HW-accelerated A-KAZE-feature extraction
Bergmann et al. Infimal convolution coupling of first and second order differences on manifold-valued images
KR20140138046A (ko) 픽처를 처리하기 위한 방법 및 디바이스
Jensen et al. Zonohedral approximation of spherical structuring element for volumetric morphology
KR101627974B1 (ko) 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치
Körting et al. Divide And Segment-An Alternative For Parallel Segmentation.
US20190206025A1 (en) Image magnifying apparatus
JP2019125128A (ja) 情報処理装置、制御方法、及びプログラム
Rafi et al. Image quilting for texture synthesis of grayscale images using gray-level co-occurrence matrix and restricted cross-correlation
US20220375027A1 (en) Image processing device and operation method therefor
Calvo et al. OpenCV 3. x with Python By Example: Make the most of OpenCV and Python to build applications for object recognition and augmented reality
Fayaz Begum et al. Investigation of level set segmentation procedures in brain MR images
WO2015093457A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
Hande Image edge detection by mean difference thresholding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right