KR102498617B1 - Apparatus for super-resolution image processing using look-up table and method of the same - Google Patents

Apparatus for super-resolution image processing using look-up table and method of the same Download PDF

Info

Publication number
KR102498617B1
KR102498617B1 KR1020210076426A KR20210076426A KR102498617B1 KR 102498617 B1 KR102498617 B1 KR 102498617B1 KR 1020210076426 A KR1020210076426 A KR 1020210076426A KR 20210076426 A KR20210076426 A KR 20210076426A KR 102498617 B1 KR102498617 B1 KR 102498617B1
Authority
KR
South Korea
Prior art keywords
resolution
super
pixel values
image
pixel
Prior art date
Application number
KR1020210076426A
Other languages
Korean (ko)
Other versions
KR20220167454A (en
Inventor
김선주
조영현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210076426A priority Critical patent/KR102498617B1/en
Publication of KR20220167454A publication Critical patent/KR20220167454A/en
Application granted granted Critical
Publication of KR102498617B1 publication Critical patent/KR102498617B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

고성능 병렬 컴퓨팅 모듈을 구비하지 않더라도 초해상도 처리를 효율적, 실용적으로 수행할 수 있는 룩업테이블을 이용한 초해상도 영상 처리 장치 및 그 방법이 개시된다. 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 방법은: 저해상도 학습 영상을 고해상도 영상으로 변환하는 초해상도 신경망을 학습하는 단계; 상기 저해상도 학습 영상의 커널에 포함되는 입력 화소들의 제1 화소값들의 조합과, 상기 제1 화소값들에 따라 출력되는 상기 고해상도 영상의 제2 화소값들의 조합의 대응 관계를 나타내는 초해상도 룩업테이블을 생성하는 단계; 및 입력 영상의 화소들의 입력 화소값들을 기초로 상기 초해상도 룩업테이블에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 상기 입력 화소값들과 상기 복수의 제1 화소값들을 기반으로 상기 복수의 제2 화소값들의 조합을 보간 처리하여 초해상도 영상을 생성하는 단계;를 포함한다.Disclosed is a super-resolution image processing apparatus and method using a look-up table capable of efficiently and practically performing super-resolution processing even without a high-performance parallel computing module. A super-resolution image processing method using a lookup table according to an embodiment of the present invention includes: learning a super-resolution neural network that converts a low-resolution learning image into a high-resolution image; A super-resolution lookup table representing a correspondence between a combination of first pixel values of input pixels included in the kernel of the low-resolution training image and a combination of second pixel values of the high-resolution image output according to the first pixel values generating; and extracting a combination of a plurality of first pixel values and a combination of a plurality of second pixel values from the super-resolution lookup table based on input pixel values of pixels of an input image, and extracting a combination of the input pixel values and the plurality of first pixel values. and generating a super-resolution image by interpolating a combination of the plurality of second pixel values based on the pixel values.

Description

룩업테이블을 이용한 초해상도 영상 처리 장치 및 그 방법{Apparatus for super-resolution image processing using look-up table and method of the same}Apparatus for super-resolution image processing using look-up table and method of the same}

본 발명은 초해상도 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 초해상도 룩업테이블(super-resolution look-up table)을 이용한 초해상도 영상 처리 장치 및 그 방법에 관한 것이다.The present invention relates to a super-resolution image processing apparatus and method, and more particularly, to a super-resolution image processing apparatus and method using a super-resolution look-up table.

초해상도(super-resolution) 처리는 입력 영상의 영상 크기(해상도)를 증가시키기 위한 기술로, 저해상도 입력 영상의 누락된 세부 정보를 복원하거나 생성하기 위해 보간(interpolation)에서 심층 신경망(deep neural networks)에 이르는 다양한 초해상도 알고리즘이 연구되었다. 모바일 장치 및 디스플레이 하드웨어가 발전함에 따라 실용적인 초해상도 기술에 대한 수요가 증가하고 있다. 현재의 최첨단 초해상도 방법은 더 나은 품질을 위해 심층 신경망을 기반으로 한다. 그러나 이들은 예컨대 GPU 등의 고성능 병렬 컴퓨팅 모듈을 사용하여 실행할 때 실현 가능하며, 이러한 고성능 병렬 컴퓨팅 모듈을 구비하지 않은 사용자 소프트웨어, 스마트폰, 또는 TV와 같은 일반적인 용도에 적용하기 어려운 한계가 있다.Super-resolution processing is a technique for increasing the image size (resolution) of an input image, and uses deep neural networks in interpolation to restore or create missing details of a low-resolution input image. A variety of super-resolution algorithms have been studied. As mobile devices and display hardware advances, the demand for practical super-resolution technology is increasing. Current state-of-the-art super-resolution methods are based on deep neural networks for better quality. However, these can be realized when executed using, for example, a high-performance parallel computing module such as a GPU, and there is a limit that is difficult to apply to general applications such as user software, smart phones, or TVs that do not have such a high-performance parallel computing module.

본 발명은 고성능 병렬 컴퓨팅 모듈을 구비하지 않더라도 초해상도 처리를 효율적, 실용적으로 수행할 수 있는 룩업테이블을 이용한 초해상도 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.An object of the present invention is to provide a super-resolution image processing apparatus and method using a look-up table capable of efficiently and practically performing super-resolution processing even without a high-performance parallel computing module.

본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 방법은: 입력 영상을 초해상도 처리하여 상기 입력 영상보다 높은 해상도를 가지는 초해상도 영상을 생성하는 초해상도 영상 처리 방법에 있어서, 초해상도 신경망 학습부에 의해, 저해상도 학습 영상에 소정의 수용 필드를 가지는 커널을 설정하여 합성곱 처리를 수행함으로써, 상기 저해상도 학습 영상을 고해상도 영상으로 변환하는 초해상도 신경망을 학습하는 단계; 초해상도 룩업테이블 생성부에 의해, 상기 저해상도 학습 영상의 커널에 포함되는 제1 화소 및 상기 제1 화소의 인접 화소를 포함하는 입력 화소들의 제1 화소값들의 조합과, 상기 제1 화소값들에 따라 상기 제1 화소와 대응되는 값으로 출력되는 상기 고해상도 영상의 제2 화소들의 제2 화소값들의 조합의 대응 관계를 나타내는 초해상도 룩업테이블을 생성하는 단계; 및 초해상도 처리부에 의해, 상기 입력 영상의 화소들의 상기 수용 필드에 해당하는 입력 화소값들을 기초로 상기 초해상도 룩업테이블에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 상기 입력 화소값들과 상기 복수의 제1 화소값들을 기반으로 상기 복수의 제2 화소값들의 조합을 보간 처리하여 상기 초해상도 영상을 생성하는 단계;를 포함한다.A super-resolution image processing method using a lookup table according to an embodiment of the present invention is: In the super-resolution image processing method of generating a super-resolution image having a higher resolution than the input image by super-resolution processing an input image, the super-resolution neural network Learning a super-resolution neural network that converts the low-resolution training image into a high-resolution image by setting a kernel having a predetermined receptive field to the low-resolution training image and performing a convolution process by the learning unit; By the super-resolution lookup table generator, a combination of first pixel values of input pixels including a first pixel included in the kernel of the low-resolution training image and pixels adjacent to the first pixel, and the first pixel values generating a super-resolution lookup table indicating a correspondence between combinations of second pixel values of second pixels of the high-resolution image, which are output as values corresponding to the first pixel; and extracting a combination of a plurality of first pixel values and a combination of a plurality of second pixel values from the super-resolution lookup table based on input pixel values corresponding to the receiving field of pixels of the input image by a super-resolution processing unit. and generating the super-resolution image by interpolating a combination of the plurality of second pixel values based on the input pixel values and the plurality of first pixel values.

상기 커널은 상기 저해상도 학습 영상의 상기 제1 화소를 기준으로 소정 각도로 회전하는 앙상블 커널을 포함할 수 있다.The kernel may include an ensemble kernel that rotates at a predetermined angle based on the first pixel of the low-resolution training image.

상기 초해상도 신경망을 학습하는 단계는: 상기 앙상블 커널을 이용하여 상기 제1 화소에 대해 상기 커널의 각도 별로 상기 저해상도 학습 영상을 합성곱 처리하는 단계; 및 상기 커널의 각도 별로 상기 초해상도 신경망에 의해 산출되는 상기 고해상도 영상의 화소값들을 합산하여 상기 제2 화소값들을 산출하는 단계;를 포함할 수 있다.The step of learning the super-resolution neural network may include: performing convolutional multiplication of the low-resolution training image for each angle of the kernel with respect to the first pixel using the ensemble kernel; and calculating the second pixel values by summing the pixel values of the high-resolution image calculated by the super-resolution neural network for each angle of the kernel.

상기 커널은 1×2, 1×3, 1×4 또는 2×2의 커널 형상을 가지도록 설정되고, 상기 앙상블 커널은 상기 제1 화소를 중심으로 90° 또는 180° 간격으로 회전하도록 설정될 수 있다.The kernel may be set to have a kernel shape of 1 × 2, 1 × 3, 1 × 4 or 2 × 2, and the ensemble kernel may be set to rotate at 90 ° or 180 ° intervals around the first pixel. there is.

상기 초해상도 룩업테이블을 생성하는 단계는 상기 입력 화소들의 상기 제1 화소값들의 조합을 균등 간격으로 샘플링하여 상기 초해상도 룩업테이블을 생성하는 단계를 포함할 수 있다.The generating of the super-resolution lookup table may include generating the super-resolution lookup table by sampling a combination of the first pixel values of the input pixels at equal intervals.

상기 초해상도 룩업테이블에서 상기 제1 화소값들이 샘플링되는 균등 간격은 16 ~ 64 범위 내에서 설정될 수 있다.An even interval at which the first pixel values are sampled in the super-resolution lookup table may be set within a range of 16 to 64.

상기 초해상도 영상을 생성하는 단계는: 상기 입력 영상의 상기 입력 화소값들에서 각각 상위 화소값과 하위 화소값을 추출하는 단계; 상기 입력 화소값들에서 추출된 상위 화소값들을 기초로, 상기 상위 화소값들과 대응되는 상기 복수의 제1 화소값들의 조합을 선택하는 단계; 상기 입력 화소값들에서 추출된 하위 화소값들의 대소 관계를 비교하는 단계; 상기 대소 관계를 기초로 상기 복수의 제1 화소값들의 조합 중의 일부를 선택하고, 상기 하위 화소값들을 기반으로 가중치들을 결정하는 단계; 및 상기 복수의 제1 화소값들의 조합 중에서 선택된 일부에 상기 가중치들을 적용하는 보간 처리에 의해 상기 초해상도 영상을 생성하는 단계;를 포함할 수 있다.The generating of the super-resolution image may include: extracting an upper pixel value and a lower pixel value from the input pixel values of the input image; selecting a combination of the plurality of first pixel values corresponding to the upper pixel values, based on upper pixel values extracted from the input pixel values; comparing a magnitude relationship between sub-pixel values extracted from the input pixel values; selecting some of the combinations of the plurality of first pixel values based on the magnitude relationship and determining weights based on the lower pixel values; and generating the super-resolution image by an interpolation process of applying the weights to a selected portion among combinations of the plurality of first pixel values.

본 발명의 실시예에 따르면, 상기 룩업테이블을 이용한 초해상도 영상 처리 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램이 제공된다.According to an embodiment of the present invention, a computer program recorded on a computer-readable recording medium is provided to execute the super-resolution image processing method using the lookup table.

본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치는: 입력 영상을 초해상도 처리하여 상기 입력 영상보다 높은 해상도를 가지는 초해상도 영상을 생성하는 초해상도 영상 처리 장치에 있어서, 저해상도 학습 영상에 소정의 수용 필드를 가지는 커널을 설정하여 합성곱 처리를 수행함으로써, 상기 저해상도 학습 영상을 고해상도 영상으로 변환하는 초해상도 신경망을 학습하도록 구성되는 초해상도 신경망 학습부; 상기 저해상도 학습 영상의 커널에 포함되는 제1 화소 및 상기 제1 화소의 인접 화소를 포함하는 입력 화소들의 제1 화소값들의 조합과, 상기 제1 화소값들에 따라 상기 제1 화소와 대응되는 값으로 출력되는 상기 고해상도 영상의 제2 화소들의 제2 화소값들의 조합의 대응 관계를 나타내는 초해상도 룩업테이블을 생성하도록 구성되는 초해상도 룩업테이블 생성부; 및 상기 입력 영상의 화소들의 상기 수용 필드에 해당하는 입력 화소값들을 기초로 상기 초해상도 룩업테이블에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 상기 입력 화소값들과 상기 복수의 제1 화소값들을 기반으로 상기 복수의 제2 화소값들의 조합을 보간 처리하여 상기 초해상도 영상을 생성하도록 구성되는 초해상도 처리부;를 포함한다.A super-resolution image processing apparatus using a lookup table according to an embodiment of the present invention: In the super-resolution image processing apparatus for generating a super-resolution image having a higher resolution than the input image by super-resolution processing an input image, the low-resolution learning image a super-resolution neural network learning unit configured to learn a super-resolution neural network that converts the low-resolution training image into a high-resolution image by performing a convolution process by setting a kernel having a predetermined receptive field to; A combination of first pixel values of input pixels including a first pixel included in the kernel of the low-resolution training image and pixels adjacent to the first pixel, and a value corresponding to the first pixel according to the first pixel values a super-resolution look-up table generating unit configured to generate a super-resolution look-up table representing a correspondence between second pixel values of second pixels of the high-resolution image; and extracting a combination of a plurality of first pixel values and a combination of a plurality of second pixel values from the super-resolution lookup table based on input pixel values corresponding to the receiving field of pixels of the input image, and the input pixel value and a super-resolution processor configured to generate the super-resolution image by interpolating a combination of the plurality of second pixel values based on pixels and the plurality of first pixel values.

상기 초해상도 신경망 학습부는: 상기 앙상블 커널을 이용하여 상기 제1 화소에 대해 상기 커널의 각도 별로 상기 저해상도 학습 영상을 합성곱 처리하고; 상기 커널의 각도 별로 상기 초해상도 신경망에 의해 산출되는 상기 고해상도 영상의 화소값들을 합산하여 상기 제2 화소값들을 산출하도록 구성될 수 있다.The super-resolution neural network learning unit performs convolutional multiplication of the low-resolution training image for each angle of the kernel with respect to the first pixel using the ensemble kernel; The second pixel values may be calculated by summing pixel values of the high-resolution image calculated by the super-resolution neural network for each angle of the kernel.

상기 초해상도 룩업테이블 생성부는 상기 입력 화소들의 상기 제1 화소값들의 조합을 균등 간격으로 샘플링하여 상기 초해상도 룩업테이블을 생성하도록 구성될 수 있다.The super-resolution look-up table generation unit may be configured to generate the super-resolution look-up table by sampling a combination of the first pixel values of the input pixels at equal intervals.

상기 초해상도 처리부는: 상기 입력 영상의 상기 입력 화소값들에서 각각 상위 화소값과 하위 화소값을 추출하고; 상기 입력 화소값들에서 추출된 상위 화소값들을 기초로, 상기 상위 화소값들과 대응되는 상기 복수의 제1 화소값들의 조합을 선택하고; 상기 입력 화소값들에서 추출된 하위 화소값들의 대소 관계를 비교하여, 상기 대소 관계를 기초로 상기 복수의 제1 화소값들의 조합 중의 일부를 선택하고, 상기 하위 화소값들을 기반으로 가중치들을 결정하고; 상기 복수의 제1 화소값들의 조합 중에서 선택된 일부에 상기 가중치들을 적용하는 보간 처리에 의해 상기 초해상도 영상을 생성하도록 구성될 수 있다.The super-resolution processing unit: extracts an upper pixel value and a lower pixel value from the input pixel values of the input image; selecting a combination of the plurality of first pixel values corresponding to the upper pixel values, based on upper pixel values extracted from the input pixel values; comparing the size relationship of sub-pixel values extracted from the input pixel values, selecting some of the combinations of the plurality of first pixel values based on the size relationship, and determining weights based on the sub-pixel values; ; The super-resolution image may be generated by an interpolation process of applying the weights to a selected portion among combinations of the plurality of first pixel values.

본 발명의 실시예에 의하면, 고성능 병렬 컴퓨팅 모듈을 구비하지 않더라도 초해상도 처리를 효율적, 실용적으로 수행할 수 있는 룩업테이블을 이용한 초해상도 영상 처리 장치 및 그 방법이 제공된다.According to an embodiment of the present invention, a super-resolution image processing apparatus and method using a look-up table capable of efficiently and practically performing super-resolution processing without a high-performance parallel computing module are provided.

도 1은 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 신경망 학습부의 개념도이다.
도 3은 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 신경망 학습부의 앙상블 커널을 이용한 초해상도 신경망 학습 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 룩업테이블 생성부의 개념도이다.
도 5는 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 룩업테이블 생성부에 의해 수행되는 균등 간격 샘플링 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 처리부의 개념도이다.
도 7은 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 처리부의 보간 처리 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 실시예에 따른 다양한 수용 필드 크기 및 커널 형상을 가지는 커널의 예시도이다.
도 9는 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 방법의 순서도이다.
도 10 및 도 11은 본 발명의 실시예에 따른 초해상도 영상 처리 방법의 성능을 나타낸 도면이다.
도 12는 본 발명의 실시예에 따라 초해상도 룩업테이블의 샘플링 간격에 따른 변화되는 초해상도 영상을 나타낸 것이다.
도 13은 본 발명의 실시예에 따른 초해상도 영상 처리 방법의 성능을 종래 방식과 비교하여 나타낸 도면이다.1 is a block diagram of a super-resolution image processing apparatus using a lookup table according to an embodiment of the present invention.
2 is a conceptual diagram of a super-resolution neural network learning unit constituting a super-resolution image processing device using a lookup table according to an embodiment of the present invention.
3 is an exemplary diagram for explaining a super-resolution neural network training process using an ensemble kernel of a super-resolution neural network learning unit constituting a super-resolution image processing device using a lookup table according to an embodiment of the present invention.
4 is a conceptual diagram of a super-resolution look-up table generator constituting a super-resolution image processing apparatus using a look-up table according to an embodiment of the present invention.
5 is an exemplary diagram for explaining a uniform interval sampling process performed by a super-resolution look-up table generator constituting a super-resolution image processing apparatus using a look-up table according to an embodiment of the present invention.
6 is a conceptual diagram of a super-resolution processing unit constituting a super-resolution image processing apparatus using a lookup table according to an embodiment of the present invention.
7 is an exemplary diagram for explaining an interpolation process of a super-resolution processing unit constituting a super-resolution image processing apparatus using a lookup table according to an embodiment of the present invention.
8 is an exemplary diagram of kernels having various receptive field sizes and kernel shapes according to an embodiment of the present invention.
9 is a flowchart of a super-resolution image processing method using a lookup table according to an embodiment of the present invention.
10 and 11 are diagrams illustrating performance of a super-resolution image processing method according to an embodiment of the present invention.
12 illustrates a super-resolution image that changes according to a sampling interval of a super-resolution lookup table according to an embodiment of the present invention.
13 is a diagram illustrating performance of a super-resolution image processing method according to an embodiment of the present invention compared with a conventional method.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.

본 명세서에서, 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부'는 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.In the present specification, when a part 'includes' a certain component, it means that it may further include other components without excluding other components unless otherwise stated. '~ unit' used in this specification is a unit that processes at least one function or operation, and may mean, for example, software, an FPGA, or a hardware component. Functions provided by '~unit' may be performed separately by a plurality of components or may be integrated with other additional components. '~unit' in this specification is not necessarily limited to software or hardware, and may be configured to be in an addressable storage medium or configured to reproduce one or more processors. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치의 구성도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치(100)는 입력 영상을 초해상도 처리하여 입력 영상보다 높은 해상도를 가지는 초해상도 영상을 효율적으로 생성하기 위한 것으로, 초해상도 신경망 학습부(110), 초해상도 룩업테이블 생성부(120), 및 초해상도 처리부(130)를 포함할 수 있다.1 is a block diagram of a super-resolution image processing apparatus using a lookup table according to an embodiment of the present invention. Referring to FIG. 1, a super-resolution image processing apparatus 100 using a lookup table according to an embodiment of the present invention performs super-resolution processing on an input image to efficiently generate a super-resolution image having a higher resolution than the input image. , a super-resolution neural network learning unit 110, a super-resolution lookup table generator 120, and a super-resolution processing unit 130.

초해상도 신경망 학습부(110)는 저해상도 학습 영상에 소정의 수용 필드(receptive field)를 가지는 커널(kernel)을 설정하여 합성곱(convolution) 처리를 수행함으로써 저해상도 학습 영상을 고해상도 영상으로 변환하는 초해상도 신경망(super resolution network)을 학습하도록 구성될 수 있다. 실시예에서, 효율적, 실용적인 초해상도 처리를 위하여 커널은 1×2, 1×3, 1×4 또는 2×2의 커널 형상을 가지도록 설정될 수 있다.The super-resolution neural network learning unit 110 converts the low-resolution training image into a high-resolution image by setting a kernel having a predetermined receptive field in the low-resolution training image and performing convolution processing. It can be configured to learn a super resolution network. In an embodiment, for efficient and practical super-resolution processing, the kernel may be set to have a kernel shape of 1×2, 1×3, 1×4, or 2×2.

고효율 및 실용적 초해상도 처리와 함께 초해상도 영상의 정확도 향상을 위하여, 커널은 저해상도 학습 영상의 커널에 포함되는 제1 화소(저해상도 학습 영상의 각 화소)를 기준으로 소정 각도로 회전하는 앙상블 커널(ensemble kernel)로 구현될 수 있다. 앙상블 커널은 회전의 기준이 되는 중심 화소인 제1 화소를 중심으로 90° 또는 180° 간격으로 회전하도록 설정될 수 있다.In order to improve the accuracy of the super-resolution image along with high-efficiency and practical super-resolution processing, the kernel is an ensemble kernel that rotates at a predetermined angle based on the first pixel (each pixel of the low-resolution training image) included in the kernel of the low-resolution training image. kernel) can be implemented. The ensemble kernel may be set to rotate at intervals of 90° or 180° around the first pixel, which is the center pixel, which is a reference for rotation.

초해상도 신경망 학습부(110)는 앙상블 커널을 이용하여 제1 화소에 대해 커널의 각도(예를 들어, 0°, 90°, 180°, 270°) 별로 저해상도 학습 영상을 합성곱 처리하고, 커널의 각도 별로 초해상도 신경망에 의해 산출되는 고해상도 영상의 화소값들을 합산하여 저해상도 학습 영상의 제1 화소에 대응되는 고해상도 영상의 제2 화소값들을 산출하도록 구성될 수 있다. 실시예에서, 초해상도 신경망 학습부(110)는 하기 수식에 따라 출력 화소값들(제2 화소값들)을 산출할 수 있다.The super-resolution neural network learning unit 110 performs convolutional multiplication of the low-resolution learning image for each kernel angle (eg, 0°, 90°, 180°, 270°) with respect to the first pixel using the ensemble kernel, and the kernel It may be configured to calculate second pixel values of the high-resolution image corresponding to the first pixel of the low-resolution training image by summing the pixel values of the high-resolution image calculated by the super-resolution neural network for each angle of . In an embodiment, the super-resolution neural network learning unit 110 may calculate output pixel values (second pixel values) according to the following formula.

Figure 112021067944210-pat00001
Figure 112021067944210-pat00001

상기 수식에서

Figure 112021067944210-pat00002
는 커널 각도별 초해상도 신경망의 출력 화소값들, xi는 저해상도 학습 영상의 입력 패치에 해당하는 제1 화소값들, Rj는 j×90° 영상 회전 오퍼레이션(image rotation operation),
Figure 112021067944210-pat00003
은 역회전 변환(reverse rotation operation)을 의미한다. 초해상도 신경망은 화소 재구성 손실 함수
Figure 112021067944210-pat00004
(
Figure 112021067944210-pat00005
는 초해상도 신경망의 출력, yi는 고해상도 정답 영상)가 최소화되도록 훈련된다.in the above formula
Figure 112021067944210-pat00002
are the output pixel values of the super-resolution neural network for each kernel angle, x i are the first pixel values corresponding to the input patch of the low-resolution training image, R j is a j×90° image rotation operation,
Figure 112021067944210-pat00003
denotes a reverse rotation operation. The super-resolution neural network is a pixel reconstruction loss function
Figure 112021067944210-pat00004
(
Figure 112021067944210-pat00005
is the output of the super-resolution neural network, y i is the high-resolution answer image) is trained to be minimized.

초해상도 룩업테이블 생성부(120)는 저해상도 학습 영상의 커널에 포함되는 제1 화소 및 제1 화소의 인접 화소를 포함하는 입력 화소들의 제1 화소값들의 조합과, 제1 화소값들에 따라 제1 화소와 대응되는 값으로 출력되는 고해상도 영상의 제2 화소들의 제2 화소값들의 조합의 대응 관계를 룩업테이블로 전이(transferring) 처리하여 초해상도 룩업테이블(SR-LUT; super resolution look-up table)을 생성하도록 구성될 수 있다.The super-resolution lookup table generator 120 generates a first pixel included in the kernel of the low-resolution training image and a combination of first pixel values of input pixels including pixels adjacent to the first pixel and the first pixel values. A super resolution look-up table (SR-LUT; super resolution look-up table) by transferring the correspondence of the combination of second pixel values of the second pixels of the high-resolution image output as a value corresponding to one pixel to a look-up table ) can be configured to generate.

초해상도 룩업테이블(SR-LUT)의 제1 화소값들은 커널(14)의 수용 필드 크기에 해당하는 화소들의 화소값들이고, 제2 화소값들은 제1 화소값들 중 제1 화소의 화소값에 대응되는 초해상도 영상의 화소들의 화소값들일 수 있다. 효율적, 실용적 초해상도 처리를 위하여, 초해상도 룩업테이블 생성부(120)는 입력 화소들의 제1 화소값들의 조합을 균등 간격으로 샘플링하여 초해상도 룩업테이블을 생성하도록 구성될 수 있다. 초해상도 룩업테이블에서 제1 화소값들이 샘플링되는 균등 간격은 16 ~ 64(4비트 ~ 6비트) 범위 내에서 설정될 수 있다.The first pixel values of the super-resolution lookup table (SR-LUT) are pixel values of pixels corresponding to the size of the receptive field of the kernel 14, and the second pixel values are the pixel values of the first pixel among the first pixel values. It may be pixel values of pixels of a corresponding super-resolution image. For efficient and practical super-resolution processing, the super-resolution look-up table generation unit 120 may be configured to generate a super-resolution look-up table by sampling a combination of first pixel values of input pixels at equal intervals. The uniform interval at which the first pixel values are sampled in the super-resolution lookup table may be set within a range of 16 to 64 (4 bits to 6 bits).

초해상도 처리부(130)는 입력 영상의 화소들의 수용 필드에 해당하는 입력 화소값들을 기초로 초해상도 룩업테이블(SR-LUT)에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 입력 화소값들과 복수의 제1 화소값들을 기반으로 복수의 제2 화소값들의 조합을 보간 처리하여 초해상도 영상을 생성하도록 구성될 수 있다.The super-resolution processing unit 130 combines a plurality of first pixel values and a plurality of second pixel values in a super-resolution lookup table (SR-LUT) based on the input pixel values corresponding to the receiving field of the pixels of the input image It may be configured to generate a super-resolution image by extracting and interpolating a combination of a plurality of second pixel values based on the input pixel values and the plurality of first pixel values.

도 2는 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 신경망 학습부의 개념도이다. 도 3은 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 신경망 학습부의 앙상블 커널을 이용한 초해상도 신경망 학습 과정을 설명하기 위한 예시도이다.2 is a conceptual diagram of a super-resolution neural network learning unit constituting a super-resolution image processing device using a lookup table according to an embodiment of the present invention. 3 is an exemplary diagram for explaining a super-resolution neural network training process using an ensemble kernel of a super-resolution neural network learning unit constituting a super-resolution image processing device using a lookup table according to an embodiment of the present invention.

도 1 내지 도 3을 참조하면, 초해상도 신경망 학습부(110)는 저해상도 학습 영상(10)에 소정의 수용 필드를 가지는 커널(14)을 설정하여 합성곱 처리를 수행함으로써 저해상도 학습 영상(10)을 고해상도 영상(20)으로 변환하는 초해상도 신경망을 학습하도록 구성될 수 있다. 도시된 예에서, 효율적, 실용적인 초해상도 처리를 위하여 커널(14)은 2×2의 커널 형상을 가지도록 설정되어 있다.1 to 3, the super-resolution neural network learning unit 110 sets a kernel 14 having a predetermined receptive field in the low-resolution training image 10 and performs a convolution process to obtain a low-resolution training image 10. It may be configured to learn a super-resolution neural network that converts to a high-resolution image 20. In the illustrated example, for efficient and practical super-resolution processing, the kernel 14 is set to have a 2×2 kernel shape.

고효율 및 실용적 초해상도 처리와 함께 초해상도 영상의 정확도 향상을 위하여, 커널(14)은 저해상도 학습 영상의 커널(14)에 대응되는 패치 영역 내에 포함되는 제1 화소(16)를 기준으로 소정 각도로 회전하는 앙상블 커널(14a, 14b, 14c, 14d)로 구현될 수 있다. 앙상블 커널(14a, 14b, 14c, 14d)은 제1 화소(16)를 중심으로 90° 또는 180° 간격으로 회전하도록 설정될 수 있다. 도시된 예에서, 앙상블 커널(14a, 14b, 14c, 14d)에 의해, 커널(14)은 제1 화소(16)를 포함하여 수용 필드 크기 보다 큰 3×3 화소들을 포함하는 커널 영역(12)을 커버하게 되며, 이로써 적은 연산량으로 보다 높은 초해상도 정확도를 얻을 수 있게 된다.In order to improve the accuracy of the super-resolution image along with high-efficiency and practical super-resolution processing, the kernel 14 is rotated at a predetermined angle with respect to the first pixel 16 included in the patch area corresponding to the kernel 14 of the low-resolution training image. It can be implemented as a rotating ensemble kernel (14a, 14b, 14c, 14d). The ensemble kernels 14a, 14b, 14c, and 14d may be set to rotate at 90° or 180° intervals around the first pixel 16 . In the illustrated example, by means of the ensemble kernels 14a, 14b, 14c, 14d, the kernel 14 has a kernel region 12 including the first pixel 16 and including 3x3 pixels larger than the receptive field size. , and thus it is possible to obtain higher super-resolution accuracy with a small amount of computation.

초해상도 신경망 학습부(110)는 앙상블 커널(14a, 14b, 14c, 14d)을 이용하여 제1 화소(16)에 대해 커널(14)의 각도(예를 들어, 0°, 90°, 180°, 270°) 별로 저해상도 학습 영상(10)을 합성곱 처리한 후, 커널(14)의 각도 별로 초해상도 신경망에 의해 산출되는 고해상도 영상(20)의 화소값들을 합산하여 저해상도 학습 영상의 제1 화소(16)에 대응되는 고해상도 영상의 제2 화소값들(22)을 산출할 수 있다.The super-resolution neural network learning unit 110 uses the ensemble kernels 14a, 14b, 14c, and 14d to determine the angle (eg, 0°, 90°, 180°) of the kernel 14 with respect to the first pixel 16. , 270 °) after convolutional processing of the low-resolution training image 10, and then summing the pixel values of the high-resolution image 20 calculated by the super-resolution neural network for each angle of the kernel 14, the first pixel of the low-resolution training image Second pixel values 22 of the high-resolution image corresponding to (16) may be calculated.

초해상도 신경망 학습부(110)는 다수의 합성곱 처리부(112, 114, 116)와, 깊이-공간 처리부(118)를 포함할 수 있다. 초해상도 신경망 학습부(110)는 합성곱 연산, ReLU 연산, 깊이-공간(depth to space) 처리 등을 실행하여 저해상도 학습 영상(10)을 고해상도 영상(20)으로 변환하는 초해상도 처리를 수행하도록 구성될 수 있다.The super-resolution neural network training unit 110 may include a plurality of convolution processing units 112 , 114 , and 116 and a depth-space processing unit 118 . The super-resolution neural network learning unit 110 performs super-resolution processing of converting the low-resolution training image 10 into a high-resolution image 20 by executing a convolution operation, a ReLU operation, depth to space processing, and the like. can be configured.

초해상도 신경망 학습부(110)는 심층 신경망 기반의 초해상도 처리를 수행하도록 구성될 수 있다. 일 실시예에서, 합성곱 처리부(112, 114, 116) 중 첫번째 계층의 합성곱 처리부(112)는 2×2 크기의 커널 크기를 적용하여 합성곱 처리를 수행하고, 6개의 합성곱 처리 계층들 중 나머지 합성곱 처리부(114, 116)는 1×1 크기의 커널 크기를 적용하여 합성곱 처리를 수행할 수 있다. 마지막 6번째 계층의 합성곱 처리부(116)는 r2 채널 크기(r: 업스케일 인자(upscaling factor))를 가지며, 나머지 합성곱 처리부(112, 114)는 64 등의 채널 크기를 가지도록 설계될 수 있다. 도 2에 도시된 예에서, 초해상도 신경망 학습부(110)는 ×2(r=2) 초해상도 처리를 수행하도록 구현되어 있으나, 저해상도 학습 영상의 크기(해상도)를 3배 혹은 그 이상으로 증가시키는 초해상도 처리를 수행하도록 구현될 수도 있다.The super-resolution neural network learning unit 110 may be configured to perform super-resolution processing based on a deep neural network. In one embodiment, the convolution processor 112 of the first layer among the convolution processors 112, 114, and 116 applies a 2×2 kernel size to perform convolution processing, and six convolution processing layers Among them, the remaining convolution processing units 114 and 116 may perform convolution processing by applying a kernel size of 1×1. The convolution processing unit 116 of the last sixth layer has an r 2 channel size (r: upscaling factor), and the remaining convolution processing units 112 and 114 are designed to have a channel size of 64, etc. can In the example shown in FIG. 2, the super-resolution neural network learning unit 110 is implemented to perform x2 (r = 2) super-resolution processing, but the size (resolution) of the low-resolution training image is increased by 3 times or more. It can also be implemented to perform super-resolution processing.

도 4는 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 룩업테이블 생성부의 개념도이다. 도 5는 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 룩업테이블 생성부에 의해 수행되는 균등 간격 샘플링 과정을 설명하기 위한 예시도이다.4 is a conceptual diagram of a super-resolution look-up table generator constituting a super-resolution image processing apparatus using a look-up table according to an embodiment of the present invention. 5 is an exemplary diagram for explaining a uniform interval sampling process performed by a super-resolution look-up table generator constituting a super-resolution image processing apparatus using a look-up table according to an embodiment of the present invention.

초해상도 룩업테이블 생성부(120)는 저해상도 학습 영상(10)의 커널(14)에 포함되는 제1 화소(16) 및 제1 화소(16)의 인접 화소를 포함하는 입력 화소들의 제1 화소값들(I0, I1, I2, I3)의 조합과, 제1 화소값들(I0, I1, I2, I3)에 따라 초해상도 신경망(30)에 의해 제1 화소(16)와 대응되는 값으로 출력되는 고해상도 영상(20)의 제2 화소들의 제2 화소값들(V0, V1, V2, V3)의 조합의 대응 관계를 나타내는 초해상도 룩업테이블(SR-LUT)(40)을 생성할 수 있다.The super-resolution lookup table generation unit 120 generates first pixel values of input pixels including the first pixel 16 included in the kernel 14 of the low-resolution training image 10 and pixels adjacent to the first pixel 16 (I 0 , I 1 , I 2 , I 3 ) and the first pixel values (I 0 , I 1 , I 2 , I 3 ) 16) and the super-resolution lookup table (SR) representing the correspondence of the combinations of the second pixel values (V 0 , V 1 , V 2 , V 3 ) of the second pixels of the high-resolution image 20 that are output as corresponding values -LUT) (40) can be created.

도시된 예에서, 제1 화소(16)의 화소값(I0)은 초해상도 처리(r=2)에 의해 4개의 제2 화소들의 화소값들(V0, V1, V2, V3)로 변환되어 있다. 초해상도 룩업테이블(40)에서 출력 좌표(output coordinate)는 제1 화소(16)의 화소값(I0)에 대응되는 고해상도 영상의 제2 화소값들(V0, V1, V2, V3)의 좌표 위치이다. 초해상도 룩업테이블(40)에서 입력값(Input value)은 저해상도 학습 영상(10)의 제1 화소(16)를 포함하는 주변 화소들의 화소값들(I0, I1, I2, I3)이다.In the illustrated example, the pixel value I 0 of the first pixel 16 is the pixel values V 0 , V 1 , V 2 , and V 3 of four second pixels by super-resolution processing (r=2). ) is converted to In the super-resolution lookup table 40, the output coordinates are the second pixel values (V 0 , V 1 , V 2 , V of the high-resolution image) corresponding to the pixel value (I 0 ) of the first pixel 16 . 3 ) is the coordinate position. Input values in the super-resolution lookup table 40 are pixel values (I 0 , I 1 , I 2 , I 3 ) of neighboring pixels including the first pixel 16 of the low-resolution training image 10 am.

초해상도 룩업테이블(SR-LUT)의 제1 화소값들은 커널(14)의 수용 필드 크기에 해당하는 화소들의 화소값들(I0, I1, I2, I3)이고, 제2 화소값들은 제1 화소값들 중 제1 화소(16)의 화소값(I0)에 대응되는 초해상도 영상의 화소들의 화소값들(V0, V1, V2, V3)일 수 있다. 효율적, 실용적 초해상도 처리를 위하여, 초해상도 룩업테이블 생성부(120)는 입력 화소들의 제1 화소값들(I0, I1, I2, I3)의 조합을 균등 간격으로 샘플링하여 초해상도 룩업테이블(40)을 생성하도록 구성될 수 있다. 초해상도 룩업테이블에서 제1 화소값들(I0, I1, I2, I3)이 샘플링되는 균등 간격은 16 ~ 64 범위(4비트 내지 6비트) 내에서 설정될 수 있다.The first pixel values of the super-resolution lookup table (SR-LUT) are pixel values (I 0 , I 1 , I 2 , I 3 ) of pixels corresponding to the size of the receptive field of the kernel 14, and the second pixel value may be pixel values (V 0 , V 1 , V 2 , V 3 ) of pixels of the super-resolution image corresponding to the pixel value (I 0 ) of the first pixel 16 among the first pixel values. For efficient and practical super-resolution processing, the super-resolution lookup table generator 120 samples a combination of first pixel values (I 0 , I 1 , I 2 , I 3 ) of input pixels at equal intervals to obtain super-resolution It can be configured to create a lookup table (40). Even intervals at which the first pixel values I 0 , I 1 , I 2 , and I 3 are sampled in the super-resolution lookup table may be set within a range of 16 to 64 (4 bits to 6 bits).

도 5의 (a)는 균등 간격 샘플링을 하지 않고 전체 대응 관계를 저장한 초해상도 룩업테이블을 나타낸 것이고, 도 5의 (b)는 4비트의 균등 간격으로 샘플링된 초해상도 룩업테이블을 나타낸 것이다. 도 5의 (a)에 도시된 초해상도 룩업테이블의 경우, (28)RF × r2 × 8 (bit) 에 해당하는 크기를 필요로 한다(RF: 수용 필드 크기). 이 경우, r = 2, RF = 4 일 때, 16 GB 크기의 초해상도 룩업테이블을 필요로 하며, 고성능의 병렬 연산 장치가 구비되지 않은 경우 초해상도 처리의 실용적인 적용이 어렵게 된다.FIG. 5 (a) shows a super-resolution look-up table storing the entire correspondence relationship without sampling at equal intervals, and FIG. 5 (b) shows a super-resolution look-up table sampled at 4-bit equal intervals. In the case of the super-resolution lookup table shown in (a) of FIG. 5, a size corresponding to (2 8 ) RF × r 2 × 8 (bit) is required (RF: receptive field size). In this case, when r = 2 and RF = 4, a 16 GB super-resolution lookup table is required, and it is difficult to apply super-resolution processing in practice if a high-performance parallel computing device is not provided.

이에 반해, 도 5의 (b)에 도시된 4비트 균등 간격 샘플링된 초해상도 룩업테이블(40)의 경우, 초해상도 룩업테이블의 크기가 (24 + 1)RF × r2 × 8 (bit) 로 감소된다. r = 2, RF = 4 인 경우, 초해상도 룩업테이블의 크기는 326 KB 로 크게 감소되며, 고성능의 병렬 연산 장치가 구비되지 않더라도 초해상도 처리의 실용적인 적용이 가능해진다. 이때, 초해상도 룩업테이블에 샘플링되지 않은 입력값들은 입력값들과 가까운 주변의 샘플링 값들을 이용하여 보간에 의해 산출될 수 있다.On the other hand, in the case of the super-resolution lookup table 40 sampled at 4-bit uniform intervals shown in (b) of FIG. 5, the size of the super-resolution lookup table is (2 4 + 1) RF × r 2 × 8 (bit) is reduced to When r = 2 and RF = 4, the size of the super-resolution lookup table is greatly reduced to 326 KB, and the practical application of super-resolution processing becomes possible even if a high-performance parallel computing device is not provided. In this case, input values not sampled in the super-resolution lookup table may be calculated by interpolation using sampling values close to the input values.

도 6은 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 처리부의 개념도이다. 도 7은 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 장치를 구성하는 초해상도 처리부의 보간 처리 과정을 설명하기 위한 예시도이다. 초해상도 처리부(130)는 입력 영상(10')의 화소들의 수용 필드에 해당하는 입력 화소값들(I0, I1, I2, I3)을 기초로 초해상도 룩업테이블(SR-LUT)(40)에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 입력 화소값들과 복수의 제1 화소값들을 기반으로 복수의 제2 화소값들의 조합을 보간 처리하여 초해상도 영상(20')을 생성하도록 구성될 수 있다.6 is a conceptual diagram of a super-resolution processing unit constituting a super-resolution image processing apparatus using a lookup table according to an embodiment of the present invention. 7 is an exemplary diagram for explaining an interpolation process of a super-resolution processing unit constituting a super-resolution image processing apparatus using a lookup table according to an embodiment of the present invention. The super-resolution processing unit 130 generates a super-resolution lookup table (SR-LUT) based on input pixel values (I 0 , I 1 , I 2 , I 3 ) corresponding to the reception field of the pixels of the input image 10'. In step 40, a combination of a plurality of first pixel values and a combination of a plurality of second pixel values are extracted, and the combination of the plurality of second pixel values is interpolated based on the input pixel values and the plurality of first pixel values. It may be configured to generate a super-resolution image 20 'by doing so.

이하에서 도 6 및 도 7을 참조하여 수용 필드 크기가 2인 경우에 있어서의 초해상도 처리부(130)의 보간 처리 과정을 설명한다. 초해상도 처리부(130)는 입력 영상(10')의 수용 필드에 해당하는 입력 화소값들에서 각각 상위 화소값과 하위 화소값을 추출할 수 있다. 예를 들어, 입력 영상(10')의 수용 필드에 해당하는 2개의 입력 화소값들(I0, I1)이 각각 24(00011000(2)), 60(00111100(2)인 경우, 입력 화소값들에서 추출되는 상위 화소값들은 1(0001(2)), 3(0011(2))이고, 입력 화소값들에서 추출되는 하위 화소값들(Lx, Ly)은 각각 8(1000(2)), 12(1100(2))이다.Hereinafter, an interpolation process performed by the super-resolution processor 130 when the receptive field size is 2 will be described with reference to FIGS. 6 and 7 . The super-resolution processing unit 130 may extract an upper pixel value and a lower pixel value from input pixel values corresponding to the receptive field of the input image 10'. For example, when two input pixel values (I 0 , I 1 ) corresponding to the receptive field of the input image 10' are 24 (00011000(2)) and 60 (00111100(2)), the input pixel The upper pixel values extracted from the values are 1 (0001 (2)) and 3 (0011 (2)), and the lower pixel values (Lx and Ly) extracted from the input pixel values are 8 (1000 (2)) ), 12 (1100(2)).

초해상도 처리부(130)는 입력 화소값들에서 추출된 상위 화소값들을 기초로, 균등 간격으로 샘플링된 초해상도 룩업테이블(40)에서 상위 화소값들과 대응되는 복수의 제1 화소값들의 조합을 선택한다. 위의 예에서, 초해상도 처리부(130)는 초해상도 룩업테이블(40)에서 상위 화소값 1, 3에 대응되는 LUT[1][3]과, LUT[1+1][3+1]을 선택한다.The super-resolution processing unit 130 determines a combination of a plurality of first pixel values corresponding to the upper pixel values in the super-resolution lookup table 40 sampled at equal intervals based on the upper pixel values extracted from the input pixel values. choose In the above example, the super-resolution processing unit 130 obtains LUT[1][3] and LUT[1+1][3+1] corresponding to the upper pixel values 1 and 3 in the super-resolution lookup table 40. choose

초해상도 처리부(130)는 입력 화소값들(I0, I1)에서 추출된 하위 화소값들(Lx, Ly)의 대소 관계를 비교하고, 하위 화소값들(Lx, Ly)의 대소 관계를 통해 룩업테이블(40)에서 상위 화소값 1, 3에 대응되는 LUT[1][3+1]과, LUT[1+1][3] 중 어느 하나를 추가로 선택한다. 도시된 예에서는 Ly(=12)가 Lx(=8) 보다 크기 때문에, LUT[1][4]과, LUT[2][3] 중 Y축에 해당하는 값이 큰 LUT[1][4]가 선택된다. 이와 달리, Lx가 Ly 보다 크다면, LUT[1][4]과, LUT[2][3] 중 X축에 해당하는 값이 큰 LUT[2][3]이 선택될 수 있다.The super-resolution processing unit 130 compares the size relationship of the sub-pixel values Lx and Ly extracted from the input pixel values I 0 and I 1 and determines the size relationship of the sub-pixel values Lx and Ly. Through this, any one of LUT[1][3+1] and LUT[1+1][3] corresponding to the upper pixel values 1 and 3 in the lookup table 40 is additionally selected. In the illustrated example, since Ly (= 12) is greater than Lx (= 8), among LUT[1][4] and LUT[2][3], the value corresponding to the Y-axis is larger than LUT[1][4]. ] is selected. Alternatively, if Lx is greater than Ly, LUT[2][3] having a larger value corresponding to the X-axis may be selected among LUT[1][4] and LUT[2][3].

이와 같이, 초해상도 처리부(130)는 입력 화소값들(I0, I1)에서 추출된 하위 화소값들(Lx, Ly)의 대소 관계를 기초로 복수의 제1 화소값들의 조합 중의 일부를 선택하고, 하위 화소값들을 기반으로 가중치들(ω0, ω1, ω2)을 결정하여, 복수의 제1 화소값들의 조합 중에서 선택된 일부에 가중치들(ω0, ω1, ω2)을 적용하는 보간 처리에 의해 초해상도 영상(20')을 생성할 수 있다. 도 7의 예에서, 가중치들(ω0, ω1, ω2)은 하위 화소값들(Lx, Ly)의 대소 관계에 따라 아래의 표 1과 같이 설정될 수 있으며, 이에 따라 초해상도 영상(20')의 출력 화소값들(

Figure 112021067944210-pat00006
)이 산출될 수 있다.As such, the super-resolution processing unit 130 selects some of the combinations of a plurality of first pixel values based on the magnitude relationship of the lower pixel values Lx and Ly extracted from the input pixel values I 0 and I 1 . and weights (ω 0 , ω 1 , ω 2 ) are determined based on sub-pixel values, and weights (ω 0 , ω 1 , ω 2 ) are assigned to selected portions among combinations of a plurality of first pixel values. A super-resolution image 20' may be generated by the interpolation process applied. In the example of FIG. 7 , the weights ω 0 , ω 1 , and ω 2 may be set as shown in Table 1 below according to the magnitude relationship of the lower pixel values Lx and Ly, and accordingly, the super-resolution image ( 20') of the output pixel values (
Figure 112021067944210-pat00006
) can be calculated.

Figure 112021067944210-pat00007

Figure 112021067944210-pat00008
Figure 112021067944210-pat00007

Figure 112021067944210-pat00008

도 8은 본 발명의 실시예에 따른 다양한 수용 필드 크기 및 커널 형상을 가지는 커널의 예시도이다. 도 8의 (a) 내지 (e)에 도시된 커널은 각각 1×2, 1×3, 1×3, 1×4, 2×2의 수용 필드 크기를 가지고, 수용 필드 크기에 따라 초해상도 룩업테이블의 차원은 각각 2차원, 3차원, 3차원, 4차원, 4차원으로 설정되며, 앙상블 커널의 화소 커버 개수는 각각 5개, 5개, 9개, 13개, 9개이다. 도 8의 (b)에 도시된 앙상블 커널은 180° 회전 간격으로 2개의 앙상블 개수를 가지며, 도 8의 (a), (c) 내지 (e)에 도시된 앙상블 커널은 90° 회전 간격으로 4개의 앙상블 개수를 가진다.8 is an exemplary diagram of kernels having various receptive field sizes and kernel shapes according to an embodiment of the present invention. The kernels shown in (a) to (e) of FIG. 8 have receptive field sizes of 1 × 2, 1 × 3, 1 × 3, 1 × 4, and 2 × 2, respectively, and super-resolution lookup according to the receptive field size The dimensions of the table are set to 2D, 3D, 3D, 4D, and 4D, respectively, and the number of pixel covers of the ensemble kernel is 5, 5, 9, 13, and 9, respectively. The ensemble kernel shown in (b) of FIG. 8 has two ensemble numbers at 180 ° rotation intervals, and the ensemble kernels shown in (a), (c) to (e) of FIG. 8 have 4 ensemble kernels at 90 ° rotation intervals. has the number of ensembles.

도 7 및 도 1의 예에서는 수용 필드 크기가 2인 2차원 초해상도 룩업테이블을 이용하여 보간 처리에 의해 초해상도 영상을 생성하는 과정을 설명하였으나, 수용 필드 크기가 N(N은 2, 3, 4 또는 5)인 경우, N+1개의 샘플들을 추출하여 입력 영상의 화소값을 초해상도 룩업테이블의 샘플링된 출력값으로 변환한 후 이를 보간 처리함으로써 입력 영상으로부터 초해상도 영상을 생성할 수 있다. 아래의 표 2는 4차원 초해상도 룩업테이블에서 5개의 출력값 조합들(O0, O1, O2, O3, O4)을 추출한 후, 입력 영상의 하위 화소값들에 따라 3개의 출력값 조합들 및 그 가중치들을 결정하는 알고리즘을 정리한 것이다.In the examples of FIGS. 7 and 1 , the process of generating a super-resolution image by interpolation using a two-dimensional super-resolution lookup table having a receptive field size of 2 has been described, but the receptive field size is N (N is 2, 3, 4 or 5), it is possible to generate a super-resolution image from the input image by extracting N+1 samples, converting the pixel values of the input image into sampled output values of the super-resolution lookup table, and interpolating them. Table 2 below extracts 5 output value combinations (O 0 , O 1 , O 2 , O 3 , O 4 ) from the 4-dimensional super-resolution lookup table, and then extracts the 3 output value combinations according to the sub-pixel values of the input image. and the algorithm for determining their weights.

Figure 112021067944210-pat00009
Figure 112021067944210-pat00009

이 경우, 초해상도 영상의 화소값은 아래의 수식에 따라 산출될 수 있다.In this case, pixel values of the super-resolution image may be calculated according to the following formula.

Figure 112021067944210-pat00010
(O0 = P0000, O4 = P1111)
Figure 112021067944210-pat00010
(O 0 = P 0000 , O 4 = P 1111 )

도 9는 본 발명의 실시예에 따른 룩업테이블을 이용한 초해상도 영상 처리 방법의 순서도이다. 도 1 및 도 9를 참조하면, 초해상도 신경망 학습부(110)는 저해상도 학습 영상에 소정의 수용 필드(receptive field)를 가지는 커널(kernel)을 설정하여 합성곱(convolution) 처리를 수행함으로써 저해상도 학습 영상을 고해상도 영상으로 변환하는 초해상도 신경망(super resolution network)을 학습할 수 있다(S10).9 is a flowchart of a super-resolution image processing method using a lookup table according to an embodiment of the present invention. 1 and 9, the super-resolution neural network learning unit 110 performs convolution processing by setting a kernel having a predetermined receptive field in a low-resolution training image, thereby performing low-resolution learning. A super resolution network that converts an image into a high-resolution image may be learned (S10).

고효율 및 실용적 초해상도 처리와 함께 초해상도 영상의 정확도 향상을 위하여, 커널(14)은 저해상도 학습 영상의 커널(14)에 포함되는 제1 화소(저해상도 학습 영상의 각 화소)를 기준으로 소정 각도로 회전하는 앙상블 커널(ensemble kernel)로 구현될 수 있다. 앙상블 커널은 제1 화소(16)를 중심으로 90° 또는 180° 간격으로 회전하도록 설정될 수 있다.In order to improve the accuracy of the super-resolution image along with high-efficiency and practical super-resolution processing, the kernel 14 is rotated at a predetermined angle based on the first pixel (each pixel of the low-resolution training image) included in the kernel 14 of the low-resolution training image. It can be implemented as a rotating ensemble kernel. The ensemble kernel may be set to rotate at intervals of 90° or 180° around the first pixel 16 .

초해상도 신경망 학습부(110)는 앙상블 커널을 이용하여 제1 화소(16)에 대해 커널의 각도(예를 들어, 0°, 90°, 180°, 270°) 별로 저해상도 학습 영상을 합성곱 처리하고, 커널(14)의 각도 별로 초해상도 신경망에 의해 산출되는 고해상도 영상의 화소값들을 합산하여 저해상도 학습 영상의 제1 화소(16)에 대응되는 고해상도 영상의 제2 화소값들을 산출하도록 구성될 수 있다.The super-resolution neural network learning unit 110 uses an ensemble kernel to convolutionally process the low-resolution learning image for each kernel angle (eg, 0°, 90°, 180°, 270°) with respect to the first pixel 16. and summing the pixel values of the high-resolution image calculated by the super-resolution neural network for each angle of the kernel 14 to calculate second pixel values of the high-resolution image corresponding to the first pixel 16 of the low-resolution training image. there is.

초해상도 룩업테이블 생성부(120)는 저해상도 학습 영상의 커널(14)에 포함되는 제1 화소(16) 및 제1 화소(16)의 인접 화소를 포함하는 입력 화소들의 제1 화소값들의 조합과, 제1 화소값들에 따라 제1 화소(16)와 대응되는 값으로 출력되는 고해상도 영상의 제2 화소들의 제2 화소값들의 조합의 대응 관계를 나타내는 초해상도 룩업테이블(SR-LUT; super resolution look-up table)을 생성할 수 있다(S20).The super-resolution lookup table generator 120 generates a first pixel 16 included in the kernel 14 of the low-resolution training image and a combination of first pixel values of input pixels including adjacent pixels of the first pixel 16 and , super resolution lookup table (SR-LUT) representing a correspondence relationship between combinations of second pixel values of second pixels of a high-resolution image output as values corresponding to the first pixel 16 according to first pixel values. look-up table) can be created (S20).

초해상도 룩업테이블(SR-LUT)의 제1 화소값들은 커널(14)의 수용 필드 크기에 해당하는 화소들의 화소값들이고, 제2 화소값들은 제1 화소값들 중 제1 화소(16)의 화소값에 대응되는 초해상도 영상의 화소들의 화소값들일 수 있다. 효율적, 실용적 초해상도 처리를 위하여, 초해상도 룩업테이블 생성부(120)는 입력 화소들의 제1 화소값들의 조합을 균등 간격으로 샘플링하여 초해상도 룩업테이블을 생성하도록 구성될 수 있다. 초해상도 룩업테이블에서 제1 화소값들이 샘플링되는 균등 간격은 16 ~ 64 범위 내에서 설정될 수 있다.The first pixel values of the super-resolution lookup table (SR-LUT) are pixel values of pixels corresponding to the size of the receptive field of the kernel 14, and the second pixel values are the values of the first pixel 16 among the first pixel values. It may be pixel values of pixels of the super-resolution image corresponding to the pixel values. For efficient and practical super-resolution processing, the super-resolution look-up table generation unit 120 may be configured to generate a super-resolution look-up table by sampling a combination of first pixel values of input pixels at equal intervals. An equal interval at which the first pixel values are sampled in the super-resolution lookup table may be set within a range of 16 to 64.

초해상도 처리부(130)는 입력 영상의 화소들의 수용 필드에 해당하는 입력 화소값들을 기초로 초해상도 룩업테이블(SR-LUT)에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 입력 화소값들과 복수의 제1 화소값들을 기반으로 복수의 제2 화소값들의 조합을 보간 처리하여 초해상도 영상을 생성할 수 있다(S30). 도 10 및 도 11은 본 발명의 실시예에 따른 초해상도 영상 처리 방법의 성능을 나타낸 도면이다. 아래 표 3 및 표 4는 본 발명의 실시예에 따른 초해상도 영상 처리 방법의 성능을 종래 방식과 비교하여 나타낸 것이다. 이하에서 업스케일 인자(upscaling factor) r = 4 에 대한 결과를 통해 본 발명의 실시예에 따른 성능에 대해 설명한다.The super-resolution processing unit 130 combines a plurality of first pixel values and a plurality of second pixel values in a super-resolution lookup table (SR-LUT) based on the input pixel values corresponding to the receiving field of the pixels of the input image A super-resolution image may be generated by extracting and interpolating a combination of a plurality of second pixel values based on the input pixel values and the plurality of first pixel values (S30). 10 and 11 are diagrams illustrating performance of a super-resolution image processing method according to an embodiment of the present invention. Tables 3 and 4 below show the performance of the super-resolution image processing method according to an embodiment of the present invention compared with the conventional method. Hereinafter, performance according to an embodiment of the present invention will be described through the result of the upscaling factor r = 4.

Figure 112021067944210-pat00011
Figure 112021067944210-pat00011

Figure 112021067944210-pat00012
Figure 112021067944210-pat00012

표 3의 Set5, Set14, BSDS100, Urban100, Manga109는 성능 검증에 활용된 테스트셋으로, "David Martin, Charless Fowlkes, Doron Tal, and Jitendra Malik. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In ICCV, volume 2, pages 416-423. IEEE, 2001.", "Jia-Bin Huang, Abhishek Singh, and Narendra Ahuja. Single image super-resolution from transformed self-exemplars. In CVPR, pages 5197-5206, 2015.", "Yusuke Matsui, Kota Ito, Yuji Aramaki, Azuma Fujimoto, Toru Ogawa, Toshihiko Yamasaki, and Kiyoharu Aizawa. Sketch-based manga retrieval using manga109 dataset. Multimedia Tools and Applications, 76(20):21811-21838, 2017." 등에 개시된 테스트셋이 성능 검증에 사용되었다.Set5, Set14, BSDS100, Urban100, and Manga109 in Table 3 are the test sets used for performance verification. "David Martin, Charless Fowlkes, Doron Tal, and Jitendra Malik. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In ICCV, volume 2, pages 416-423. IEEE, 2001.", "Jia-Bin Huang, Abhishek Singh, and Narendra Ahuja. Single image super-resolution from transformed self-exemplars. In CVPR, pages 5197-5206, 2015.", "Yusuke Matsui, Kota Ito, Yuji Aramaki, Azuma Fujimoto, Toru Ogawa, Toshihiko Yamasaki, and Kiyoharu Aizawa. Sketch-based manga retrieval using manga109 dataset. Multimedia Tools and Applications, 76(20): 21811-21838, 2017." The test set disclosed in et al. was used for performance verification.

표 4의 "Configuration"은 커널 형태(kernel shape) / 회전 앙상블(rotational ensembles) / 전체 커버 화소들(total covering pixels)을 나타낸다. 표 3의 'NE+LLE'는 "Hong Chang, Dit-Yan Yeung, and Yimin Xiong. Superresolution through neighbor embedding. In CVPR, 2004."에 개시된 기술, 'Zeyde et al.'은 "Roman Zeyde, Michael Elad, and Matan Protter. On single image scale-up using sparse-representations. In International conference on curves and surfaces, pages 711-730. Springer, 2010."에 개시된 기술, 'ANR'은 "Radu Timofte, Vincent De Smet, and Luc Van Gool. Anchored neighborhood regression for fast example-based super-resolution. In ICCV, pages 1920-1927, 2013."에 개시된 기술, 'A+'는 "Radu Timofte, Vincent De Smet, and Luc Van Gool. A+: Adjusted anchored neighborhood regression for fast superresolution. In ACCV, pages 111-126. Springer, 2014."에 개시된 기술이다."Configuration" in Table 4 indicates kernel shape / rotational ensemble / total covering pixels. 'NE+LLE' in Table 3 is the technology disclosed in "Hong Chang, Dit-Yan Yeung, and Yimin Xiong. Superresolution through neighbor embedding. In CVPR, 2004.", and 'Zeyde et al.' is "Roman Zeyde, Michael Elad." , and Matan Protter. On single image scale-up using sparse-representations. In International conference on curves and surfaces, pages 711-730. Springer, 2010. "ANR" is "Radu Timofte, Vincent De Smet, and Luc Van Gool. Anchored neighborhood regression for fast example-based super-resolution. In ICCV, pages 1920-1927, 2013. "A+" is a technique disclosed in "Radu Timofte, Vincent De Smet, and Luc Van Gool. A+ : Adjusted anchored neighborhood regression for fast superresolution. In ACCV, pages 111-126. Springer, 2014."

표 3의 'FSRCNN'은 "Chao Dong, Chen Change Loy, and Xiaoou Tang. Accelerating the super-resolution convolutional neural network. In ECCV, pages 391-407. Springer, 2016."에 개시된 기술, 'CARN-M'은 "Namhyuk Ahn, Byungkon Kang, and Kyung-Ah Sohn. Fast, accurate, and lightweight super-resolution with cascading residual network. In ECCV, pages 252-268, 2018."에 개시된 기술이다.'FSRCNN' in Table 3 is 'CARN-M', a technology disclosed in "Chao Dong, Chen Change Loy, and Xiaoou Tang. Accelerating the super-resolution convolutional neural network. In ECCV, pages 391-407. Springer, 2016." is a technique disclosed in "Namhyuk Ahn, Byungkon Kang, and Kyung-Ah Sohn. Fast, accurate, and lightweight super-resolution with cascading residual network. In ECCV, pages 252-268, 2018."

표 3의 'RRDB'는 "Xintao Wang, Ke Yu, Shixiang Wu, Jinjin Gu, Yihao Liu, Chao Dong, Yu Qiao, and Chen Change Loy. Esrgan: Enhanced super-resolution generative adversarial networks. In ECCV Workshops, September 2018."에 개시된 기술이다. 도 10의 'Bicubic'은 "Robert Keys. Cubic convolution interpolation for digital image processing. IEEE transactions on acoustics, speech, and signal processing, 29(6):1153-1160, 1981."에 개시된 기술, 'GT'는 고해상도 정답 영상이다.‘RRDB’ in Table 3 is “Xintao Wang, Ke Yu, Shixiang Wu, Jinjin Gu, Yihao Liu, Chao Dong, Yu Qiao, and Chen Change Loy. Esrgan: Enhanced super-resolution generative adversarial networks. In ECCV Workshops, September 2018 It is a technique disclosed in ". 'Bicubic' in FIG. 10 is a technology disclosed in "Robert Keys. Cubic convolution interpolation for digital image processing. IEEE transactions on acoustics, speech, and signal processing, 29(6): 1153-1160, 1981.", 'GT' is This is a high-resolution video of the answer.

본 발명의 실시예에 따른 초해상도 영상 처리 방법(SR-LUT; 도 8의 Ours-V, A, Ours-F, B, Ours-S)은 바이큐빅 보간(Bicubic interpolation) 방식보다 향상된 선명도(PSNR(peak signal-to-noise ratio), SSIM(structural similarity index))를 나타낸다. 특히 2X2 크기의 커널을 형성하여 4차원 룩업 테이블(4개의 입력 픽셀들에 대응되는 출력 픽셀값들의 대응 관계를 저장)로 구현되는 Ours-S의 경우 높은 해상도를 가지면서 룩업테이블 사이즈를 64 GB에서 1.274 MB로 크게 감소시키는 효과를 나타내는 것으로 확인된다.The super-resolution image processing method (SR-LUT; Ours-V, A, Ours-F, B, and Ours-S in FIG. 8) according to an embodiment of the present invention has improved sharpness (PSNR) than the bicubic interpolation method. (peak signal-to-noise ratio), structural similarity index (SSIM). In particular, in the case of Ours-S, which is implemented as a 4-dimensional look-up table (stores the correspondence between output pixel values corresponding to 4 input pixels) by forming a kernel of 2X2 size, it has a high resolution and the size of the look-up table is reduced from 64 GB It is confirmed that it shows the effect of greatly reducing to 1.274 MB.

Figure 112021067944210-pat00013
Figure 112021067944210-pat00013

표 5는 샘플링 간격에 따른 룩업 테이블 크기와, PSNR, SSIM을 정리한 것이다. 도 12는 본 발명의 실시예에 따라 초해상도 룩업테이블의 샘플링 간격에 따른 변화되는 초해상도 영상을 나타낸 것이다. 샘플링 간격을 4 비트 내지 5 비트로 설정하였을 때 초해상도 룩업테이블의 크기를 감소시키면서 영상 품질의 성능 저하를 최소화할 수 있음을 알 수 있다. 샘플링 간격을 6 비트 이상으로 설정한 경우, 영상 결함이 점차 커지는 것을 알 수 있다.Table 5 summarizes the lookup table size, PSNR, and SSIM according to the sampling interval. 12 illustrates a super-resolution image that changes according to a sampling interval of a super-resolution lookup table according to an embodiment of the present invention. It can be seen that when the sampling interval is set to 4 to 5 bits, the degradation of image quality can be minimized while reducing the size of the super-resolution lookup table. It can be seen that when the sampling interval is set to 6 bits or more, the image defect gradually increases.

도 13은 본 발명의 실시예에 따른 초해상도 영상 처리 방법의 성능을 종래 방식과 비교하여 나타낸 도면이다. 상술한 바와 같은 본 발명의 실시예에 의하면, 심층 신경망을 이용한 방법과 달리, 초해상도 처리 과정에서 많은 부동 소수점 연산이 필요하지 않기 때문에 초해상도 처리를 매우 빠르게 수행할 수 있으며, 부동 소수점 연산량을 줄여 실행 시간을 단축할 수 있을 뿐 아니라, 적정 수준 이상의 고품질의 해상도를 가지는 영상을 획득할 수 있다.13 is a diagram illustrating performance of a super-resolution image processing method according to an embodiment of the present invention compared with a conventional method. According to the embodiment of the present invention as described above, unlike the method using a deep neural network, since many floating-point operations are not required in the super-resolution processing process, super-resolution processing can be performed very quickly, and the amount of floating-point operation can be reduced. Not only can the execution time be reduced, but also an image having a resolution of a higher quality than an appropriate level can be obtained.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved. Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

10: 저해상도 학습 영상 10': 입력 영상
12: 커널 영역 14: 커널
14a, 14b, 14c, 14d: 앙상블 커널 16: 제1 화소
20: 고해상도 영상 20': 초해상도 영상
30: 초해상도 신경망 40: 초해상도 룩업테이블
100: 초해상도 영상 처리 장치 110: 초해상도 신경망 학습부
112, 114, 116: 합성곱 처리부 118: 깊이-공간 처리부
120: 초해상도 룩업테이블 생성부 130: 초해상도 처리부
I0, I1, I2, I3: 제1 화소값 V0, V1, V2, V3: 제2 화소값10: low resolution learning image 10': input image
12: kernel area 14: kernel
14a, 14b, 14c, 14d: ensemble kernel 16: first pixel
20: high-resolution image 20': super-resolution image
30: super-resolution neural network 40: super-resolution lookup table
100: super-resolution image processing device 110: super-resolution neural network learning unit
112, 114, 116: convolution processing unit 118: depth-space processing unit
120: super-resolution lookup table generation unit 130: super-resolution processing unit
I 0 , I 1 , I 2 , I 3 : first pixel value V 0 , V 1 , V 2 , V 3 : second pixel value

Claims (15)

입력 영상을 초해상도 처리하여 상기 입력 영상보다 높은 해상도를 가지는 초해상도 영상을 생성하는 초해상도 영상 처리 방법에 있어서,
초해상도 신경망 학습부에 의해, 저해상도 학습 영상에 소정의 수용 필드를 가지는 커널을 설정하여 합성곱 처리를 수행함으로써, 상기 저해상도 학습 영상을 고해상도 영상으로 변환하는 초해상도 신경망을 학습하는 단계;
초해상도 룩업테이블 생성부에 의해, 상기 저해상도 학습 영상의 커널에 포함되는 제1 화소 및 상기 제1 화소의 인접 화소를 포함하는 입력 화소들의 제1 화소값들의 조합과, 상기 제1 화소값들에 따라 출력되는 상기 고해상도 영상의 제2 화소들 - 상기 고해상도 영상의 제2 화소들은 상기 저해상도 학습 영상의 제1 화소에 대응됨 -의 제2 화소값들의 조합의 대응 관계를 나타내는 초해상도 룩업테이블을 생성하는 단계; 및
초해상도 처리부에 의해, 상기 입력 영상의 화소들의 상기 수용 필드에 해당하는 입력 화소값들을 기초로 상기 초해상도 룩업테이블에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 상기 입력 화소값들과 상기 복수의 제1 화소값들을 기반으로 상기 복수의 제2 화소값들의 조합을 보간 처리하여 상기 초해상도 영상을 생성하는 단계;를 포함하고,
상기 커널은 상기 저해상도 학습 영상의 상기 제1 화소를 기준으로 소정 각도로 회전하는 앙상블 커널을 포함하는 룩업테이블을 이용한 초해상도 영상 처리 방법.A super-resolution image processing method for generating a super-resolution image having a higher resolution than the input image by super-resolution processing of an input image,
Learning a super-resolution neural network that converts the low-resolution training image into a high-resolution image by setting a kernel having a predetermined receptive field to the low-resolution training image by a super-resolution neural network learning unit and performing a convolution process;
By the super-resolution lookup table generator, a combination of first pixel values of input pixels including a first pixel included in the kernel of the low-resolution training image and pixels adjacent to the first pixel, and the first pixel values Generation of a super-resolution lookup table representing a correspondence between combinations of second pixel values of second pixels of the high-resolution image output according to the second pixels of the high-resolution image corresponding to the first pixel of the low-resolution training image doing; and
A super-resolution processing unit extracts a combination of a plurality of first pixel values and a combination of a plurality of second pixel values from the super-resolution lookup table based on input pixel values corresponding to the receiving field of pixels of the input image; Generating the super-resolution image by interpolating a combination of the plurality of second pixel values based on the input pixel values and the plurality of first pixel values;
The kernel is a super-resolution image processing method using a lookup table comprising an ensemble kernel that rotates at a predetermined angle based on the first pixel of the low-resolution training image. 삭제delete 제1항에 있어서,
상기 초해상도 신경망을 학습하는 단계는:
상기 앙상블 커널을 이용하여 상기 제1 화소에 대해 상기 커널의 각도 별로 상기 저해상도 학습 영상을 합성곱 처리하는 단계; 및
상기 커널의 각도 별로 상기 초해상도 신경망에 의해 산출되는 상기 고해상도 영상의 화소값들을 합산하여 상기 제2 화소값들을 산출하는 단계;를 포함하는 룩업테이블을 이용한 초해상도 영상 처리 방법.According to claim 1,
The step of training the super-resolution neural network is:
convolutional processing the low-resolution training image for each angle of the kernel with respect to the first pixel using the ensemble kernel; and
Calculating the second pixel values by summing the pixel values of the high-resolution image calculated by the super-resolution neural network for each angle of the kernel; 제1항에 있어서,
상기 커널은 1×2, 1×3, 1×4 또는 2×2의 커널 형상을 가지도록 설정되고, 상기 앙상블 커널은 상기 제1 화소를 중심으로 90° 또는 180° 간격으로 회전하도록 설정되는 룩업테이블을 이용한 초해상도 영상 처리 방법.According to claim 1,
The kernel is set to have a kernel shape of 1 × 2, 1 × 3, 1 × 4, or 2 × 2, and the ensemble kernel is set to rotate at intervals of 90 ° or 180 ° around the first pixel Lookup Super-resolution image processing method using table. 제1항에 있어서,
상기 초해상도 룩업테이블을 생성하는 단계는 상기 입력 화소들의 상기 제1 화소값들의 조합을 균등 간격으로 샘플링하여 상기 초해상도 룩업테이블을 생성하는 단계를 포함하는 룩업테이블을 이용한 초해상도 영상 처리 방법.According to claim 1,
The generating of the super-resolution look-up table includes generating the super-resolution look-up table by sampling a combination of the first pixel values of the input pixels at equal intervals. 제5항에 있어서,
상기 초해상도 룩업테이블에서 상기 제1 화소값들이 샘플링되는 균등 간격은 4 비트 ~ 6 비트 범위 내에서 설정되는 룩업테이블을 이용한 초해상도 영상 처리 방법.According to claim 5,
The super-resolution image processing method using a look-up table in which the uniform interval at which the first pixel values are sampled in the super-resolution look-up table is set within a range of 4 bits to 6 bits. 입력 영상을 초해상도 처리하여 상기 입력 영상보다 높은 해상도를 가지는 초해상도 영상을 생성하는 초해상도 영상 처리 방법에 있어서,
초해상도 신경망 학습부에 의해, 저해상도 학습 영상에 소정의 수용 필드를 가지는 커널을 설정하여 합성곱 처리를 수행함으로써, 상기 저해상도 학습 영상을 고해상도 영상으로 변환하는 초해상도 신경망을 학습하는 단계;
초해상도 룩업테이블 생성부에 의해, 상기 저해상도 학습 영상의 커널에 포함되는 제1 화소 및 상기 제1 화소의 인접 화소를 포함하는 입력 화소들의 제1 화소값들의 조합과, 상기 제1 화소값들에 따라 출력되는 상기 고해상도 영상의 제2 화소들 - 상기 고해상도 영상의 제2 화소들은 상기 저해상도 학습 영상의 제1 화소에 대응됨 -의 제2 화소값들의 조합의 대응 관계를 나타내는 초해상도 룩업테이블을 생성하는 단계; 및
초해상도 처리부에 의해, 상기 입력 영상의 화소들의 상기 수용 필드에 해당하는 입력 화소값들을 기초로 상기 초해상도 룩업테이블에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 상기 입력 화소값들과 상기 복수의 제1 화소값들을 기반으로 상기 복수의 제2 화소값들의 조합을 보간 처리하여 상기 초해상도 영상을 생성하는 단계;를 포함하고,
상기 초해상도 룩업테이블을 생성하는 단계는 상기 입력 화소들의 상기 제1 화소값들의 조합을 균등 간격으로 샘플링하여 상기 초해상도 룩업테이블을 생성하는 단계를 포함하고,
상기 초해상도 영상을 생성하는 단계는:
상기 입력 영상의 상기 입력 화소값들에서 각각 상위 화소값과 하위 화소값을 추출하는 단계;
상기 입력 화소값들에서 추출된 상위 화소값들을 기초로, 상기 상위 화소값들과 대응되는 상기 복수의 제1 화소값들의 조합을 선택하는 단계;
상기 입력 화소값들에서 추출된 하위 화소값들의 대소 관계를 비교하는 단계;
상기 대소 관계를 기초로 상기 복수의 제1 화소값들의 조합 중의 일부를 선택하고, 상기 하위 화소값들을 기반으로 가중치들을 결정하는 단계; 및
상기 복수의 제1 화소값들의 조합 중에서 선택된 일부에 상기 가중치들을 적용하는 보간 처리에 의해 상기 초해상도 영상을 생성하는 단계;를 포함하는 룩업테이블을 이용한 초해상도 영상 처리 방법.A super-resolution image processing method for generating a super-resolution image having a higher resolution than the input image by super-resolution processing of an input image,
Learning a super-resolution neural network that converts the low-resolution training image into a high-resolution image by setting a kernel having a predetermined receptive field to the low-resolution training image by a super-resolution neural network learning unit and performing a convolution process;
By the super-resolution lookup table generator, a combination of first pixel values of input pixels including a first pixel included in the kernel of the low-resolution training image and pixels adjacent to the first pixel, and the first pixel values Generation of a super-resolution lookup table representing a correspondence between combinations of second pixel values of second pixels of the high-resolution image output according to the second pixels of the high-resolution image corresponding to the first pixel of the low-resolution training image doing; and
A super-resolution processing unit extracts a combination of a plurality of first pixel values and a combination of a plurality of second pixel values from the super-resolution lookup table based on input pixel values corresponding to the receiving field of pixels of the input image; Generating the super-resolution image by interpolating a combination of the plurality of second pixel values based on the input pixel values and the plurality of first pixel values;
The generating of the super-resolution lookup table includes generating the super-resolution lookup table by sampling a combination of the first pixel values of the input pixels at equal intervals;
The step of generating the super-resolution image is:
extracting an upper pixel value and a lower pixel value from the input pixel values of the input image;
selecting a combination of the plurality of first pixel values corresponding to the upper pixel values, based on upper pixel values extracted from the input pixel values;
comparing a magnitude relationship between sub-pixel values extracted from the input pixel values;
selecting some of the combinations of the plurality of first pixel values based on the magnitude relationship and determining weights based on the lower pixel values; and
Generating the super-resolution image by interpolation processing of applying the weights to a selected portion from among combinations of the plurality of first pixel values; super-resolution image processing method using a lookup table comprising: 제1항, 제3항 내지 제7항 중 어느 한 항에 기재된 룩업테이블을 이용한 초해상도 영상 처리 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램.A computer program recorded on a computer-readable recording medium to execute a super-resolution image processing method using the look-up table according to any one of claims 1, 3 to 7. 입력 영상을 초해상도 처리하여 상기 입력 영상보다 높은 해상도를 가지는 초해상도 영상을 생성하는 초해상도 영상 처리 장치에 있어서,
저해상도 학습 영상에 소정의 수용 필드를 가지는 커널을 설정하여 합성곱 처리를 수행함으로써, 상기 저해상도 학습 영상을 고해상도 영상으로 변환하는 초해상도 신경망을 학습하도록 구성되는 초해상도 신경망 학습부;
상기 저해상도 학습 영상의 커널에 포함되는 제1 화소 및 상기 제1 화소의 인접 화소를 포함하는 입력 화소들의 제1 화소값들의 조합과, 상기 제1 화소값들에 따라 출력되는 상기 고해상도 영상의 제2 화소들 - 상기 고해상도 영상의 제2 화소들은 상기 저해상도 학습 영상의 제1 화소에 대응됨 -의 제2 화소값들의 조합의 대응 관계를 나타내는 초해상도 룩업테이블을 생성하도록 구성되는 초해상도 룩업테이블 생성부; 및
상기 입력 영상의 화소들의 상기 수용 필드에 해당하는 입력 화소값들을 기초로 상기 초해상도 룩업테이블에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 상기 입력 화소값들과 상기 복수의 제1 화소값들을 기반으로 상기 복수의 제2 화소값들의 조합을 보간 처리하여 상기 초해상도 영상을 생성하도록 구성되는 초해상도 처리부;를 포함하고,
상기 커널은 상기 저해상도 학습 영상의 상기 제1 화소를 기준으로 소정 각도로 회전하는 앙상블 커널을 포함하는 룩업테이블을 이용한 초해상도 영상 처리 장치.In the super-resolution image processing device for generating a super-resolution image having a higher resolution than the input image by super-resolution processing of an input image,
A super-resolution neural network learning unit configured to learn a super-resolution neural network that converts the low-resolution training image into a high-resolution image by setting a kernel having a predetermined receptive field in the low-resolution training image and performing a convolutional process;
A combination of first pixel values of input pixels including a first pixel included in the kernel of the low-resolution training image and pixels adjacent to the first pixel, and a second pixel value of the high-resolution image output according to the first pixel values. A super-resolution look-up table generator configured to generate a super-resolution look-up table representing a correspondence between combinations of second pixel values of pixels, wherein the second pixels of the high-resolution image correspond to the first pixel of the low-resolution training image. ; and
A combination of a plurality of first pixel values and a combination of a plurality of second pixel values are extracted from the super-resolution lookup table based on the input pixel values corresponding to the receiving field of the pixels of the input image, and the input pixel values And a super-resolution processor configured to generate the super-resolution image by interpolating a combination of the plurality of second pixel values based on the plurality of first pixel values;
The kernel is a super-resolution image processing device using a lookup table including an ensemble kernel that rotates at a predetermined angle based on the first pixel of the low-resolution training image. 삭제delete 제9항에 있어서,
상기 초해상도 신경망 학습부는:
상기 앙상블 커널을 이용하여 상기 제1 화소에 대해 상기 커널의 각도 별로 상기 저해상도 학습 영상을 합성곱 처리하고;
상기 커널의 각도 별로 상기 초해상도 신경망에 의해 산출되는 상기 고해상도 영상의 화소값들을 합산하여 상기 제2 화소값들을 산출하도록 구성되는 룩업테이블을 이용한 초해상도 영상 처리 장치.According to claim 9,
The super-resolution neural network learning unit:
performing convolutional multiplication of the low-resolution training image for each angle of the kernel with respect to the first pixel using the ensemble kernel;
Super-resolution image processing apparatus using a look-up table configured to calculate the second pixel values by summing the pixel values of the high-resolution image calculated by the super-resolution neural network for each angle of the kernel. 제9항에 있어서,
상기 커널은 1×2, 1×3, 1×4 또는 2×2의 커널 형상을 가지도록 설정되고, 상기 앙상블 커널은 상기 제1 화소를 중심으로 90° 또는 180° 간격으로 회전하도록 설정되는 룩업테이블을 이용한 초해상도 영상 처리 장치.According to claim 9,
The kernel is set to have a kernel shape of 1 × 2, 1 × 3, 1 × 4, or 2 × 2, and the ensemble kernel is set to rotate at intervals of 90 ° or 180 ° around the first pixel Lookup Super-resolution image processing device using a table. 제9항에 있어서,
상기 초해상도 룩업테이블 생성부는 상기 입력 화소들의 상기 제1 화소값들의 조합을 균등 간격으로 샘플링하여 상기 초해상도 룩업테이블을 생성하도록 구성되는 룩업테이블을 이용한 초해상도 영상 처리 장치.According to claim 9,
The super-resolution image processing apparatus using a look-up table, wherein the super-resolution look-up table generation unit is configured to generate the super-resolution look-up table by sampling a combination of the first pixel values of the input pixels at equal intervals. 제13항에 있어서,
상기 초해상도 룩업테이블에서 상기 제1 화소값들이 샘플링되는 균등 간격은 4 비트 ~ 6 비트 범위 내에서 설정되는 룩업테이블을 이용한 초해상도 영상 처리 장치.According to claim 13,
Super-resolution image processing apparatus using a look-up table in which the uniform interval at which the first pixel values are sampled in the super-resolution look-up table is set within a range of 4 bits to 6 bits. 입력 영상을 초해상도 처리하여 상기 입력 영상보다 높은 해상도를 가지는 초해상도 영상을 생성하는 초해상도 영상 처리 장치에 있어서,
저해상도 학습 영상에 소정의 수용 필드를 가지는 커널을 설정하여 합성곱 처리를 수행함으로써, 상기 저해상도 학습 영상을 고해상도 영상으로 변환하는 초해상도 신경망을 학습하도록 구성되는 초해상도 신경망 학습부;
상기 저해상도 학습 영상의 커널에 포함되는 제1 화소 및 상기 제1 화소의 인접 화소를 포함하는 입력 화소들의 제1 화소값들의 조합과, 상기 제1 화소값들에 따라 출력되는 상기 고해상도 영상의 제2 화소들 - 상기 고해상도 영상의 제2 화소들은 상기 저해상도 학습 영상의 제1 화소에 대응됨 -의 제2 화소값들의 조합의 대응 관계를 나타내는 초해상도 룩업테이블을 생성하도록 구성되는 초해상도 룩업테이블 생성부; 및
상기 입력 영상의 화소들의 상기 수용 필드에 해당하는 입력 화소값들을 기초로 상기 초해상도 룩업테이블에서 복수의 제1 화소값들의 조합 및 복수의 제2 화소값들의 조합을 추출하고, 상기 입력 화소값들과 상기 복수의 제1 화소값들을 기반으로 상기 복수의 제2 화소값들의 조합을 보간 처리하여 상기 초해상도 영상을 생성하도록 구성되는 초해상도 처리부;를 포함하고,
상기 초해상도 룩업테이블 생성부는 상기 입력 화소들의 상기 제1 화소값들의 조합을 균등 간격으로 샘플링하여 상기 초해상도 룩업테이블을 생성하도록 구성되고,
상기 초해상도 처리부는:
상기 입력 영상의 상기 입력 화소값들에서 각각 상위 화소값과 하위 화소값을 추출하고;
상기 입력 화소값들에서 추출된 상위 화소값들을 기초로, 상기 상위 화소값들과 대응되는 상기 복수의 제1 화소값들의 조합을 선택하고;
상기 입력 화소값들에서 추출된 하위 화소값들의 대소 관계를 비교하여, 상기 대소 관계를 기초로 상기 복수의 제1 화소값들의 조합 중의 일부를 선택하고, 상기 하위 화소값들을 기반으로 가중치들을 결정하고;
상기 복수의 제1 화소값들의 조합 중에서 선택된 일부에 상기 가중치들을 적용하는 보간 처리에 의해 상기 초해상도 영상을 생성하도록 구성되는 룩업테이블을 이용한 초해상도 영상 처리 장치.In the super-resolution image processing device for generating a super-resolution image having a higher resolution than the input image by super-resolution processing of an input image,
A super-resolution neural network learning unit configured to learn a super-resolution neural network that converts the low-resolution training image into a high-resolution image by setting a kernel having a predetermined receptive field in the low-resolution training image and performing a convolutional process;
A combination of first pixel values of input pixels including a first pixel included in the kernel of the low-resolution training image and pixels adjacent to the first pixel, and a second pixel value of the high-resolution image output according to the first pixel values. A super-resolution look-up table generator configured to generate a super-resolution look-up table representing a correspondence between combinations of second pixel values of pixels, wherein the second pixels of the high-resolution image correspond to the first pixel of the low-resolution training image. ; and
A combination of a plurality of first pixel values and a combination of a plurality of second pixel values are extracted from the super-resolution lookup table based on the input pixel values corresponding to the receiving field of the pixels of the input image, and the input pixel values And a super-resolution processing unit configured to generate the super-resolution image by interpolating a combination of the plurality of second pixel values based on the plurality of first pixel values,
The super-resolution look-up table generation unit is configured to generate the super-resolution look-up table by sampling a combination of the first pixel values of the input pixels at equal intervals,
The super-resolution processing unit:
extracting an upper pixel value and a lower pixel value from the input pixel values of the input image, respectively;
selecting a combination of the plurality of first pixel values corresponding to the upper pixel values based on upper pixel values extracted from the input pixel values;
comparing the size relationship of the sub-pixel values extracted from the input pixel values, selecting some of the combinations of the plurality of first pixel values based on the size relationship, and determining weights based on the sub-pixel values; ;
A super-resolution image processing device using a lookup table configured to generate the super-resolution image by interpolation processing of applying the weights to a selected portion among combinations of the plurality of first pixel values.
KR1020210076426A 2021-06-14 2021-06-14 Apparatus for super-resolution image processing using look-up table and method of the same KR102498617B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210076426A KR102498617B1 (en) 2021-06-14 2021-06-14 Apparatus for super-resolution image processing using look-up table and method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210076426A KR102498617B1 (en) 2021-06-14 2021-06-14 Apparatus for super-resolution image processing using look-up table and method of the same

Publications (2)

Publication Number Publication Date
KR20220167454A KR20220167454A (en) 2022-12-21
KR102498617B1 true KR102498617B1 (en) 2023-02-09

Family

ID=84536800

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210076426A KR102498617B1 (en) 2021-06-14 2021-06-14 Apparatus for super-resolution image processing using look-up table and method of the same

Country Status (1)

Country Link
KR (1) KR102498617B1 (en)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hui Zeng et al., "Learning Image-adaptive 3D Lookup Tables for High Performance Photo Enhancement in Real-time", IEEE Transactions on Pattern Analysis and Machine Intelligence, (2020.09.30.)
Xiaozhong Ji et al., "Real-World Super-Resolution via Kernel Estimation and Noise Injection", 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), (2020.08.06.)

Also Published As

Publication number Publication date
KR20220167454A (en) 2022-12-21

Similar Documents

Publication Publication Date Title
Hui et al. Lightweight image super-resolution with information multi-distillation network
Jo et al. Practical single-image super-resolution using look-up table
CN109064396B (en) Single image super-resolution reconstruction method based on deep component learning network
Sun et al. Shufflemixer: An efficient convnet for image super-resolution
CN110136066B (en) Video-oriented super-resolution method, device, equipment and storage medium
CN106709871B (en) Method and system for image composition using active masks
Gribbon et al. A novel approach to real-time bilinear interpolation
JP3915563B2 (en) Image processing apparatus and image processing program
JP6735908B2 (en) Panorama video compression method and apparatus
Ma et al. Learning series-parallel lookup tables for efficient image super-resolution
JP5531805B2 (en) Digital image processing apparatus and digital image processing method
KR102498617B1 (en) Apparatus for super-resolution image processing using look-up table and method of the same
Hung et al. Image interpolation using convolutional neural networks with deep recursive residual learning
KR102534657B1 (en) Apparatus for training super-resolution network and method of the same
Liu et al. Gradient prior dilated convolution network for remote sensing image super resolution
Liu et al. Hierarchical similarity learning for aliasing suppression image super-resolution
JP5198500B2 (en) Signal processing apparatus and program
Wang et al. A single super-resolution method via deep cascade network
Jeong et al. Fast Super‐Resolution Algorithm Based on Dictionary Size Reduction Using k‐Means Clustering
Siva et al. A low cost high performance VLSI architecture for image scaling in multimedia applications
Niu et al. Lightweight and accurate single image super-resolution with channel segregation network
Liu et al. Reconstructed convolution module based look-up tables for efficient image super-resolution
Qiu et al. Nested Dense Attention Network for Single Image Super-Resolution
JPH09275565A (en) Image block matching method and image encoding method
Vishnukumar et al. Super-resolution for remote sensing images using content adaptive detail enhanced self examples

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant