KR102522186B1 - Method and apparatus for upscaling image - Google Patents
Method and apparatus for upscaling image Download PDFInfo
- Publication number
- KR102522186B1 KR102522186B1 KR1020210087488A KR20210087488A KR102522186B1 KR 102522186 B1 KR102522186 B1 KR 102522186B1 KR 1020210087488 A KR1020210087488 A KR 1020210087488A KR 20210087488 A KR20210087488 A KR 20210087488A KR 102522186 B1 KR102522186 B1 KR 102522186B1
- Authority
- KR
- South Korea
- Prior art keywords
- resolution
- image
- reference image
- displacement vector
- low
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 77
- 238000006073 displacement reaction Methods 0.000 claims abstract description 76
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000012805 post-processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000973887 Takayama Species 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
본 발명은 업샘플링 방법 및 장치에 관한 것이다. 개시된 초해상화 방법 및 장치는, 고해상도의 참조영상을 저해상도 참조영상으로 변환하는 참조영상 획득부, 상기 참조영상 획득부를 통한 상기 고해상도의 참조영상 및 저해상도 참조영상을 비교하여 변위벡터를 구하는 변위벡터 계산부 및 상기 변위벡터 계산부에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 해상도 변환부를 포함하는 것을 특징으로 하는 초해상화 장치 및 방법을 제공한다. 본 발명에 의하면, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있고, 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상 등을 해결할 수 있는 초해상화 방법 및 장치를 제공할 수 있다는 이점이 있다. The present invention relates to an upsampling method and apparatus. The disclosed super-resolution method and apparatus include a reference image acquisition unit that converts a high-resolution reference image into a low-resolution reference image, and a displacement vector calculation that obtains a displacement vector by comparing the high-resolution reference image and the low-resolution reference image through the reference image acquisition unit. and a resolution conversion unit for converting a low-resolution input image into a high-resolution image using the displacement vector obtained by the displacement vector calculation unit and the displacement vector calculation unit. According to the present invention, a super-resolution method and apparatus capable of obtaining a high-resolution image without a high-performance hardware device and solving a phenomenon in which an error easily recognized by the eye occurs near a boundary value in a conventional kernel-based filter technique. has the advantage of being able to provide
Description
본 발명은 업샘플링 방법 및 장치에 관한 것으로, 더욱 상세하게는 고품질 영상을 만들기 위해 저해상도 영상을 고해상도 영상으로 변환하는 초해상화 방법 및 장치에 관한 것이다.The present invention relates to an upsampling method and apparatus, and more particularly, to a super-resolution method and apparatus for converting a low-resolution image into a high-resolution image to produce a high-quality image.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this part merely provide background information on the present embodiment and do not constitute prior art.
급격하게 발전하고 있는 정보 기술 사회와 함께 자율주행, 입체 영상 등 여러가지 최신기술에서 다양한 영상들이 활용되고 있다. 영상의 품질은 이러한 최신기술의 성능과 밀접한 관련이 있다. 따라서 고품질 영상의 생성 방법 역시 주목받고 있다. Along with the rapidly developing information technology society, various images are being used in various latest technologies such as autonomous driving and stereoscopic images. The quality of images is closely related to the performance of these latest technologies. Therefore, a method for generating a high-quality image is also attracting attention.
종래 기술에 의한 고품질 영상생성 기술에서는 하드웨어적 한계로 인해 고품질 고해상도 영상을 얻기 어려운 영상들이 다수 존재한다. 예를 들어 깊이영상의 경우, 적외선(IR : Infra-Red)의 반사 시간 차이를 이용한 TOF(Time-Of-flight) 방식의 깊이 카메라와 같은 깊이영상 획득만을 위한 하드웨어 기기를 사용해서 얻는다. 이 방법은 하드웨어 기술의 한계에 의해 컬러 카메라의 발전 속도를 따라가지 못하고, 저해상도의 깊이영상만을 제공한다. 이런 상황을 봤을 때 최신 기술의 발전속도에 맞는 고품질 고해상도의 영상을 생성하는 방법의 발전이 필요하다.In the high-quality image generation technology according to the prior art, there are many images that are difficult to obtain high-quality, high-resolution images due to hardware limitations. For example, in the case of a depth image, a time-of-flight (TOF) method depth camera using a reflection time difference of infrared (IR: Infra-Red) method is used to obtain a hardware device for only depth image acquisition. This method cannot keep up with the development speed of color cameras due to limitations of hardware technology, and provides only low-resolution depth images. In view of this situation, it is necessary to develop a method for generating high-quality, high-resolution images that meets the development speed of the latest technology.
이를 위하여 활용될 수 있는 기술 중 하나로 초해상화(super-resolution, SR) 기술이 있는데, 초해상화란 영상을 업스케일링(upscaling)하는 기술을 의미한다. 업스케일은 영상의 해상도(resolution)를 증가시키는 것을 의미하고, 해상도는 이미지를 표현하는데 있어 몇 개의 픽셀을 사용했는지를 나타낸다. 1인치당 픽셀(pixel per inch, ppi) 갯수로 해상도의 크기를 표현하곤 하는데, 1인치당 많은 픽셀이 빼곡하게 들어서 있다면 고해상도의 영상이다.One of the technologies that can be used for this is a super-resolution (SR) technology, which means a technology of upscaling an image. Upscaling means increasing the resolution of an image, and the resolution indicates how many pixels are used to express an image. The size of the resolution is often expressed in terms of the number of pixels per inch (ppi), and if there are many pixels per inch, it is a high-resolution image.
사용자는 당연히 훨씬 더 선명하고 실제에 가까운 고해상도의 이미지를 원하지만, 고해상도의 사진이나 동영상은 그만큼 많은 용량을 차지한다. 따라서 전송하는데 시간이 많이 걸리고, 인터넷 비디오 스트리밍으로 동영상을 시청한다면 고해상도의 영상은 버퍼링을 유발할 수 밖에 없다. 그래서 대개는 해상도는 조금 포기하더라도, 원하는 속도를 얻기 위하여 저해상도의 영상을 송출한다. Users naturally want much sharper and more realistic high-resolution images, but high-resolution photos and videos take up a lot of space. Therefore, it takes a lot of time to transmit, and if you watch a video through Internet video streaming, a high-resolution video inevitably causes buffering. So, in general, low-resolution images are transmitted in order to obtain the desired speed, even if the resolution is slightly sacrificed.
만약 전달받은 저해상도의 영상을 사용자측에서 빠르게 고해상도의 영상으로 복구시켜줄 수 있다면 속도와 해상도 모두 얻을 수 있을 것이다. 여기에 사용될 수 있는 기술이 바로 초해상화로, 달리 말하면 저해상도 이미지를 고해상도의 이미지로 변환해주는 기술이다.If the user can quickly restore the received low-resolution image to a high-resolution image, both speed and resolution can be obtained. A technology that can be used here is super-resolution, in other words, a technology that converts a low-resolution image into a high-resolution image.
고품질 고해상도 영상을 생성하기 위해 저해상도 영상을 고해상도 형상으로 변환할 때 일반적으로 사용되는 종래기술에 의한 커널 기반의 필터 기법에 의할 경우, 경계 값 근처에서 생기는 여러 에러 현상이 발생하는 문제가 있었다.In the conventional kernel-based filter technique, which is generally used when converting a low-resolution image into a high-resolution shape to generate a high-quality, high-resolution image, there is a problem in that various errors occur near boundary values.
또한, 종래기술에 의한 커널 기반의 필터 기법에 의할 경우, 입력데이터들에 대한 전처리 과정을 거쳐야 출력커널을 통해 최종 고해상도 영상을 획득할 수 있다는 단점이 있었다.In addition, in the case of the kernel-based filter technique according to the prior art, there is a disadvantage in that a final high-resolution image can be obtained through an output kernel only after pre-processing of input data.
이에, 본 발명에서는, 전술한 기술적 제약을 해소시킬 수 있는 초해상화 방법 및 장치를 제안하고자 한다.Therefore, in the present invention, it is intended to propose a super-resolution method and apparatus capable of solving the above-mentioned technical limitations.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있는 업샘플링 방법 및 장치를 제공하는데 주된 목적이 있다.The present invention has been proposed to solve the above-mentioned problems of the prior art, and a main object of the present invention is to provide an upsampling method and apparatus capable of obtaining a high-resolution image without a high-performance hardware device.
또한, 본 발명의 다른 목적은 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상을 해결할 수 있는 하기 위한 초해상화 방법 및 장치를 제공하는데 있다.In addition, another object of the present invention is to provide a super-resolution method and apparatus capable of solving a phenomenon in which an error easily recognized by the eye occurs near a boundary value in a conventional kernel-based filter technique.
또한, 본 발명의 다른 목적은 입력 데이터들의 전처리 과정없이 고품질의 출력영상을 획득하기 위한 초해상화 방법 및 장치를 제공하는데 있다.Another object of the present invention is to provide a super-resolution method and apparatus for obtaining a high-quality output image without pre-processing of input data.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those skilled in the art from the description below.
전술한 목적을 달성하기 위한 본 발명의 일 양상은, 고해상도의 참조영상을 저해상도 참조영상으로 변환하는 참조영상 획득부; 상기 참조영상 획득부를 통한 상기 고해상도의 참조영상 및 저해상도 참조영상을 비교하여 변위벡터를 구하는 변위벡터 계산부; 및 상기 변위벡터 계산부에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 해상도 변환부를 포함하는 것을 특징으로 하는 업샘플링 장치를 제공한다. One aspect of the present invention for achieving the above object is a reference image acquisition unit for converting a high-resolution reference image into a low-resolution reference image; a displacement vector calculation unit that obtains a displacement vector by comparing the high-resolution reference image and the low-resolution reference image through the reference image acquisition unit; and a resolution converter for converting a low-resolution input image into a high-resolution image using the displacement vector obtained by the displacement vector calculator.
상기 참조영상 획득부는, 저해상도의 깊이영상을 고해상도 깊이영상으로 변환하고자 할 때, 같은 시점에서 획득된 고해상도 컬러영상을 고해상도의 참조영상으로 할 수 있다. When converting a low-resolution depth image into a high-resolution depth image, the reference image acquisition unit may use a high-resolution color image acquired at the same time point as a high-resolution reference image.
상기 변위벡터 계산부는, 상기 참조영상 획득부로부터 얻어진 상기 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 비교하여 두 참조영상 간의 변위벡터를 구할 수 있다.The displacement vector calculation unit may obtain a displacement vector between the two reference images by comparing how each pixel value moves based on the high-resolution reference image and the low-resolution reference image obtained from the reference image acquisition unit.
상기 변위벡터 계산부는, 상기 고해상도 참조영상을 바이큐빅(bicubic) 방법을 사용해 저해상도의 참조영상으로 변환한 후 서로 간의 변위 벡터를 구할 수 있다.The displacement vector calculation unit converts the high-resolution reference image into a low-resolution reference image using a bicubic method, and then obtains a mutual displacement vector.
상기 변위벡터 계산부는, 상기 저해상도 참조영상을 다시 고해상도로 변환한 후 상기 원본 고해상도 참조영상과 변환된 고해상도 영상으로부터 변위 벡터를 구할 수 있다. The displacement vector calculation unit may obtain a displacement vector from the original high-resolution reference image and the converted high-resolution image after converting the low-resolution reference image to a high-resolution image.
상기 해상도 변환부는, 상기 변위벡터 계산부에서 변위벡터를 만들 때의 방법을 고려하여 해상도 변환을 할 수 있다. The resolution conversion unit may perform resolution conversion in consideration of a method for generating a displacement vector in the displacement vector calculation unit.
본 발명의 다른 일 양상은, 참조영상 획득부에서 입력으로 고해상도 참조영상을 제공받는 단계; 상기 참조영상 획득부에서 상기 고해상도 참조영상을 저해상도 참조영상으로 변환하는 단계; 상기 참조영상 획득부에서 상기 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부로 전달하는 단계; 상기 변위벡터 계산부에서 상기 전달받은 고해상도 참조영상 및 저해상도 참조영상을 토대로 변위벡터를 계산하는 단계; 상기 변위벡터 계산부에서 상기 계산된 변위벡터를 해상도 변환부로 전달하는 단계; 및 상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 초해상화 방법을 제공한다. Another aspect of the present invention includes receiving a high-resolution reference image as an input from a reference image acquisition unit; converting the high-resolution reference image into a low-resolution reference image in the reference image acquiring unit; transferring the high-resolution reference image and the acquired low-resolution reference image to a displacement vector calculation unit in the reference image acquisition unit; calculating a displacement vector based on the high resolution reference image and the low resolution reference image received from the displacement vector calculation unit; transferring the calculated displacement vector from the displacement vector calculation unit to a resolution conversion unit; and converting a low-resolution input image into a high-resolution image by using the displacement vector received from the resolution converter.
상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계이후에, 추가적으로 후처리 단계를 포함할 수 있다.After the step of converting the low-resolution input image into a high-resolution image by using the received displacement vector in the resolution converter, a post-processing step may be additionally included.
본 발명의 다른 일 양상은, 상기 초해상화 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.Another aspect of the present invention provides a computer-readable recording medium recording a program for executing the super-resolution method.
본 발명의 초해상화 방법 및 장치에 의하면, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있는 초해상화 방법 및 장치를 제공할 수 있다는 효과가 있다.According to the super-resolution method and apparatus of the present invention, there is an effect that it is possible to provide a super-resolution method and apparatus capable of obtaining a high-resolution image without a high-performance hardware device.
또한, 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상을 해결할 수 있는 하기 위한 초해상화 방법 및 장치를 제공할 수 있다는 효과가 있다.In addition, there is an effect that it is possible to provide a super-resolution method and apparatus for solving a phenomenon in which an error easily recognized by the eye occurs near the boundary value in the conventional kernel-based filter technique.
또한, 입력 데이터들의 전처리 과정없이 고품질의 출력영상을 획득하기 위한 초해상화 방법 및 장치를 제공할 수 있다는 효과가 있다.In addition, there is an effect of providing a super-resolution method and apparatus for obtaining a high-quality output image without pre-processing of input data.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below. .
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 초해상화 장치의 개략적인 구성도를 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 초해상화 장치의 영상입출력 구성도를 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 초해상화 방법의 구성을 예시한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included as part of the detailed description to aid understanding of the present invention, provide examples of the present invention and, together with the detailed description, describe the technical features of the present invention.
1 is a diagram illustrating a schematic configuration of a super-resolution apparatus according to an embodiment of the present invention.
2 is a diagram illustrating an image input/output configuration diagram of a super-resolution apparatus according to an embodiment of the present invention.
3 is a diagram illustrating the configuration of a super-resolution method according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. The detailed description set forth below in conjunction with the accompanying drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced. The following detailed description includes specific details for the purpose of providing a thorough understanding of the present invention. However, those skilled in the art to which the present invention pertains understand that the present invention may be practiced without these specific details.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.In some cases, in order to avoid obscuring the concept of the present invention, well-known structures and devices may be omitted or may be shown in block diagram form centering on core functions of each structure and device.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.Throughout the specification, when a part is said to "comprising" or "including" a certain element, it means that it may further include other elements, not excluding other elements, unless otherwise stated. do. In addition, terms such as “… unit”, “… unit”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. there is. Also, "a or an", "one", "the" and similar related words in the context of describing the invention (particularly in the context of the claims below) Unless indicated or otherwise clearly contradicted by context, both the singular and the plural can be used.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the embodiment of the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 초해상화 장치의 개략적인 구성도를 예시한 도면이다. 1 is a diagram illustrating a schematic configuration of a super-resolution apparatus according to an embodiment of the present invention.
도 1에 나타난 각 구성부들은 초해상화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다. Each component shown in FIG. 1 is shown independently to represent different characteristic functions in the super-resolution apparatus, and does not mean that each component is made up of separate hardware or a single software component. That is, each component is listed and included as each component for convenience of explanation, and at least two components of each component can be combined to form one component, or one component can be divided into a plurality of components to perform a function, and each of these components can be divided into a plurality of components. Integrated embodiments and separated embodiments of components are also included in the scope of the present invention as long as they do not depart from the essence of the present invention.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.In addition, some of the components may be optional components for improving performance rather than essential components that perform essential functions in the present invention. The present invention can be implemented by including only components essential to implement the essence of the present invention, excluding components used for performance improvement, and a structure including only essential components excluding optional components used for performance improvement. Also included in the scope of the present invention.
참조영상 획득부(100)는 고해상도의 참조영상을 저해상도 참조영상으로 변환한다. The reference
참조영상 획득부(100)는 저해상도 영상을 고해상도로 변환하고자 할 때 얻고자 하는 고해상도 영상에 대한 참조영상을 이용하는 것으로써, 예를 들면 저해상도의 깊이영상을 고해상도 깊이영상으로 변환하고자 할 때, 같은 시점에서 획득된 고해상도 컬러영상이 주어지는 경우가 있는데, 이를 고해상도의 참조영상으로 활용할 수 있다. The reference
변위벡터 계산부(200)는 저해상도 영상을 고해상도 영상으로 변환하기 위한 변위벡터를 참조영상으로부터 구한다. 즉, 참조영상 획득부(100)로부터 얻어진 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상 간의 변위벡터를 구한다. The
이 때, 다양한 방식으로 두 참조영상에서 변위벡터를 구하는 것이 가능하다. 예를 들어, 고해상도 참조영상을 전통적인 바이큐빅(bicubic) 등의 방법을 사용해 저해상도로 변환한 후 서로 간의 변위 벡터를 구하는 방법, 혹은 위와 같이 저해상도로 변환된 참조영상을 다시 고해상도로 변환한 후 원본 고해상도 참조영상과 변환된 고해상도 참조영상의 변위 벡터를 구하는 방법 등이 있다. At this time, it is possible to obtain displacement vectors from the two reference images in various ways. For example, a method of converting a high-resolution reference image to a low resolution using a traditional bicubic method and then obtaining a displacement vector between each other, or a method of converting a reference image converted to a low resolution to a high resolution as above and then converting the original high resolution image. There is a method of obtaining a displacement vector of a reference image and a converted high-resolution reference image.
또한, 변위벡터는 변환전후 참조영상과 같은 크기를 한번에 구할 수도 있고, 변환전후 참조영상의 한 픽셀마다 N x N 크기의 변위벡터와 가중치를 함께 구할 수도 있다.In addition, the displacement vector may be obtained at the same size as the reference image before and after transformation, or a displacement vector of size NxN and a weight may be obtained together for each pixel of the reference image before and after transformation.
해상도 변환부(300)는 변위벡터 계산부(200)에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환한다. The
해상도 변환부(300)는 변위벡터 계산부(200)에서 변위벡터를 만들 때의 방법을 참고하여 이를 바탕으로 변환을 진행한다. The
변위벡터를 이용하게 되면 즉각적으로 고해상도 영상을 얻을 수 있지만, 여러가지 후처리 방식을 뒤에 추가로 진행할 수도 있다.If a displacement vector is used, a high-resolution image can be obtained immediately, but various post-processing methods can be additionally performed afterwards.
예컨대, 참조영상 획득부(100)에서 바이큐빅(bicubic) 방법을 사용해 고해상도 참조영상을 저해상도로 변환하고, 변환된 저해상도 참조영상을 다시 바이큐빅 방법을 사용해 고해상도로 변환한 후 변위벡터 계산부(200)에서 원본 고해상도 참조 영상과 변환된 참조 영상 사이의 변위벡터를 구할 수 있다. 이 경우에, 해상도 변환부(300)에서 저해상도 영상을 바이큐빅 방법을 사용해 고해상도로 변환한 후, 구한 변위벡터의 형태에 따라서 다양한 방식의 워핑(warping)을 진행하여 최종 고해상도 영상을 획득할 수 있다.For example, the reference
본 발명의 일실시예와 같이 참조 영상을 사용해 저해상도 영상을 고해상도 영상으로 변환하게 되면 고품질 고해상도 영상을 고성능 하드웨어 기기가 없이 구할 수 있다. 또한 커널을 예측함으로써 생기는 오버슈팅 문제를 위치를 보상해주는 변위벡터 기반 변환기법을 사용함으로써 피할 수 있다.When a low-resolution image is converted into a high-resolution image using a reference image as in one embodiment of the present invention, a high-quality, high-resolution image can be obtained without a high-performance hardware device. In addition, the overshooting problem caused by predicting the kernel can be avoided by using a displacement vector-based converter method that compensates for the position.
도 2는 본 발명의 일 실시예에 따른 초해상화 장치의 영상입출력 구성도를 예시한 도면이다. 2 is a diagram illustrating an image input/output configuration diagram of a super-resolution apparatus according to an embodiment of the present invention.
도 2는 도 1의 각 구성부분에 참조영상 및 입출력 영상을 부가하여 본 발명에 의한 초해상화 장치를 보다 구체적으로 도시하였다. FIG. 2 shows the super-resolution apparatus according to the present invention in more detail by adding reference images and input/output images to each component of FIG. 1 .
참조영상 획득부(100)는 고해상도의 참조영상을 저해상도 참조영상으로 변환하고, 변위벡터 계산부(200)는 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상 간의 변위벡터를 구한다. 해상도 변환부(300)는 변위벡터 계산부(200)에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환한다. The reference
도 3은 본 발명의 일 실시예에 따른 초해상화 방법의 구성을 예시한 도면이다.3 is a diagram illustrating the configuration of a super-resolution method according to an embodiment of the present invention.
참조영상 획득부(100)에 입력으로 고해상도 참조영상을 제공되면(S301), 참조영상 획득부(100)에서는 이를 저해상도 참조영상으로 변환한다(S303). When a high-resolution reference image is provided as an input to the reference image acquisition unit 100 (S301), the reference
참조영상 획득부(100)은 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부(200)로 전달하면(S305), 변위벡터 계산부(200)에서는 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상 간의 변위벡터를 구한다(S307). When the reference
이 때, 다양한 방식으로 두 영상에서 변위벡터를 구하는 것이 가능하다. 예를 들어, 고해상도 영상을 전통적인 바이큐빅(bicubic) 등의 방법을 사용해 저해상도로 변환한 후 서로 간의 변위 벡터를 구하는 방법, 혹은 위와 같이 저해상도로 변환된 영상을 다시 고해상도로 변환한 후 원본 고해상도 영상과 변환된 고해상도 영상의 변위 벡터를 구하는 방법 등이 있음은 앞서 설명한 바와 같다. At this time, it is possible to obtain displacement vectors from the two images in various ways. For example, after converting a high-resolution image to a low resolution using a traditional bicubic method, a method of obtaining a displacement vector between each other, or a method of converting a low-resolution image to a high resolution as above, and then converting the original high-resolution image and As described above, there is a method for obtaining a displacement vector of the converted high-resolution image.
변위벡터 계산부(200)는 계산된 변위벡터를 해상도 변환부(300)에 전달하면, 해상도 변환부(300)에서는 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환한다. 이때, 해상도 변환부(300)는 변위벡터 계산부(200)에서 변위벡터를 만들 때의 방법을 참고할 수 있다. When the
변위벡터를 이용하게 되면 즉각적으로 고해상도 영상을 얻을 수 있지만, 여러가지 후처리 단계를 뒤에 추가로 진행할 수도 있다.When a displacement vector is used, a high-resolution image can be obtained immediately, but various post-processing steps can be additionally performed afterwards.
도 3에서는 단계 S301 내지 단계 S311을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S301 내지 단계 S311 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은는 시계열적인 순서로 한정되는 것은 아니다. Although it is described in FIG. 3 that steps S301 to S311 are sequentially executed, this is merely an example of the technical idea of this embodiment, and those skilled in the art to which this embodiment belongs will Since it will be possible to change and execute the order described in FIG. 3 without departing from the essential characteristics or to perform various modifications and variations by executing one or more steps of steps S301 to S311 in parallel, FIG. 3 is shown in a time-series order. It is not limited.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of each block of the block diagrams and each step of the flowcharts attached hereto may be performed by computer program instructions. Since these computer program instructions may be loaded into a processor of a general-purpose computer, a special-purpose computer, or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are each block of the block diagram or flowchart. In each step, means for performing the described functions are created. These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the function described in each block of the block diagram or each step of the flow chart. The computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. It is also possible that the instructions performing the processing equipment provide steps for executing the functions described in each block of the block diagram and each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Additionally, each block or each step may represent a module, segment or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative embodiments it is possible for the functions recited in blocks or steps to occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order depending on their function.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
본 발명의 초해상화 방법 및 장치에 따르면, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있고, 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상 등을 해결할 수 있는 초해상화 방법 및 장치를 제공할 수 있는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the super-resolution method and apparatus of the present invention, a high-resolution image can be obtained without a high-performance hardware device, and it is possible to solve a phenomenon in which an error easily recognized by the eye occurs near a boundary value in a conventional kernel-based filter technique. In that it can be used as a solution that can provide a super-resolution method and device that can be used as a solution, it is not only possible to use the related technology, but also to market or sell the applicable device as it goes beyond the limits of the existing technology. It is an invention with industrial applicability because it can be practically and clearly implemented.
100: 참조영상 획득부 110: 변위벡터 계산부 130: 해상도 변환부100: reference image acquisition unit 110: displacement vector calculation unit 130: resolution conversion unit
Claims (6)
상기 참조영상 획득부를 통한 상기 고해상도의 참조영상 및 저해상도 참조영상을 비교하여 상기 참조영상 내의 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상간의 변위벡터를 구하는 변위벡터 계산부; 및
상기 변위벡터 계산부에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 해상도 변환부를 포함하고,
상기 고해상도의 참조영상은, 상기 저해상도의 입력영상을 고해상도 영상으로 변환하고자 할 때, 상기 저해상도의 입력영상과 같은 시점에서 획득된 고해상도 영상을 고해상도의 참조영상으로 하고,
상기 변위벡터 계산부는, 상기 참조영상 획득부로부터 얻어진 같은 시점의 상기 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 비교하여 두 참조영상 간의 변위벡터를 구하고,
상기 해상도 변환부는, 저해상도의 입력영상을 고해상도 영상으로 해상도 변환한 후 추가적으로 상기 변위벡터의 형태를 고려하여 이미지 픽셀 위치를 조정하는 후처리를 하여 품질을 향상시킨 고해상도 영상을 획득하도록 하는 것을 특징으로 하는 초해상화 장치.a reference image acquiring unit that converts a high-resolution reference image into a low-resolution reference image;
a displacement vector calculation unit comparing the high-resolution reference image and the low-resolution reference image through the reference image acquisition unit to obtain a displacement vector between the two reference images indicating how each pixel value in the reference image has moved; and
A resolution conversion unit for converting a low-resolution input image into a high-resolution image using the displacement vector obtained by the displacement vector calculation unit;
The high-resolution reference image, when converting the low-resolution input image into a high-resolution image, uses a high-resolution image obtained at the same time as the low-resolution input image as a high-resolution reference image,
The displacement vector calculation unit obtains a displacement vector between the two reference images by comparing how each pixel value moves based on the high-resolution reference image and the low-resolution reference image obtained from the reference image acquisition unit at the same viewpoint;
The resolution conversion unit converts the resolution of the low-resolution input image into a high-resolution image, and additionally performs post-processing of adjusting image pixel positions in consideration of the shape of the displacement vector to obtain a high-resolution image with improved quality. super-resolution device.
상기 변위벡터 계산부는,
변위벡터의 계산 시 참조영상과 같은 크기의 단위벡터를 한번에 구하거나, 상기 참조영상의 한 픽셀마다 N x N 크기의 변위벡터와 가중치를 함께 구하는 것을 특징으로 하는 초해상화 장치.According to claim 1,
The displacement vector calculator,
When calculating the displacement vector, a unit vector of the same size as the reference image is obtained at once, or a displacement vector of size N x N and weights are calculated together for each pixel of the reference image.
상기 참조영상 획득부에서 상기 고해상도 참조영상을 저해상도 참조영상으로 변환하는 단계;
상기 참조영상 획득부에서 상기 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부로 전달하는 단계;
상기 변위벡터 계산부에서 상기 전달받은 고해상도 참조영상 및 저해상도 참조영상을 토대로 상기 두 참조영상 내의 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상간의 변위벡터를 계산하는 단계;
상기 변위벡터 계산부에서 상기 계산된 변위벡터를 해상도 변환부로 전달하는 단계;
상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계; 및
상기 해상도 변환부에서 저해상도의 입력영상을 고해상도 영상으로 해상도 변환한 후 추가적으로 상기 변위벡터의 형태를 고려하여 이미지 픽셀 위치를 조정하는 후처리를 하여 품질을 향상시킨 고행상도 영상을 획득하는 단계를 포함하고,
상기 고해상도 참조영상은, 저해상도의 입력영상을 고해상도 영상으로 변환하고자 할 때, 상기 저해상도 입력영상과 같은 시점에서 획득된 고해상도 영상을 고해상도의 참조영상으로 하고,
상기 변위벡터는, 상기 같은 시점의 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 비교하여 구해지는 것을 특징으로 하는 초해상화 방법.
receiving a high-resolution reference image as an input from a reference image acquisition unit;
converting the high-resolution reference image into a low-resolution reference image in the reference image acquiring unit;
transferring the high-resolution reference image and the acquired low-resolution reference image to a displacement vector calculation unit in the reference image acquisition unit;
Calculating a displacement vector between two reference images indicating how each pixel value in the two reference images moves based on the high-resolution reference image and the low-resolution reference image received from the displacement vector calculation unit;
transferring the calculated displacement vector from the displacement vector calculation unit to a resolution conversion unit;
converting a low-resolution input image into a high-resolution image by using the displacement vector received by the resolution conversion unit; and
Acquiring a high-resolution image with improved quality by converting the resolution of the low-resolution input image into a high-resolution image in the resolution conversion unit and then additionally performing post-processing to adjust image pixel positions in consideration of the shape of the displacement vector; ,
The high-resolution reference image, when converting a low-resolution input image into a high-resolution image, uses a high-resolution image obtained at the same time as the low-resolution input image as a high-resolution reference image,
The displacement vector is obtained by comparing how each pixel value moves based on the high-resolution reference image and the low-resolution reference image at the same time point.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210087488A KR102522186B1 (en) | 2019-10-07 | 2021-07-03 | Method and apparatus for upscaling image |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190124216A KR20210041694A (en) | 2019-10-07 | 2019-10-07 | Method and apparatus for upscaling image |
| KR1020210087488A KR102522186B1 (en) | 2019-10-07 | 2021-07-03 | Method and apparatus for upscaling image |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190124216A Division KR20210041694A (en) | 2019-10-07 | 2019-10-07 | Method and apparatus for upscaling image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210098398A KR20210098398A (en) | 2021-08-10 |
| KR102522186B1 true KR102522186B1 (en) | 2023-04-14 |
Family
ID=75743544
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190124216A KR20210041694A (en) | 2019-10-07 | 2019-10-07 | Method and apparatus for upscaling image |
| KR1020210087488A KR102522186B1 (en) | 2019-10-07 | 2021-07-03 | Method and apparatus for upscaling image |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190124216A KR20210041694A (en) | 2019-10-07 | 2019-10-07 | Method and apparatus for upscaling image |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20210041694A (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681594B (en) * | 2023-07-26 | 2023-11-21 | 摩尔线程智能科技(北京)有限责任公司 | Image processing method and device, equipment and medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013021635A (en) * | 2011-07-14 | 2013-01-31 | Sony Corp | Image processor, image processing method, program and recording medium |
| KR101711589B1 (en) * | 2015-12-08 | 2017-03-02 | 연세대학교 산학협력단 | Method and Apparatus of Dictionary Design on Super-Resolution, and Generating Super-Resolution Image based on the Dictionary |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120127151A (en) * | 2011-05-13 | 2012-11-21 | 삼성전자주식회사 | Image conversion apparatus and method thereof |
| KR102552589B1 (en) | 2016-11-29 | 2023-07-10 | 주식회사 엘엑스세미콘 | Super resolution imaging method |
| KR101901495B1 (en) | 2016-12-23 | 2018-09-28 | 전자부품연구원 | Depth Image Estimation Method based on Multi-View Camera |
| KR101975472B1 (en) | 2017-07-19 | 2019-05-07 | 중앙대학교 산학협력단 | System and method for generating continuous digital zooming image using super-resolution |
-
2019
- 2019-10-07 KR KR1020190124216A patent/KR20210041694A/en not_active Application Discontinuation
-
2021
- 2021-07-03 KR KR1020210087488A patent/KR102522186B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013021635A (en) * | 2011-07-14 | 2013-01-31 | Sony Corp | Image processor, image processing method, program and recording medium |
| KR101711589B1 (en) * | 2015-12-08 | 2017-03-02 | 연세대학교 산학협력단 | Method and Apparatus of Dictionary Design on Super-Resolution, and Generating Super-Resolution Image based on the Dictionary |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210041694A (en) | 2021-04-16 |
| KR20210098398A (en) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9189889B2 (en) | Method for building a three-dimensional model and apparatus thereof | |
| US10354369B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and storage medium | |
| US10846836B2 (en) | View synthesis using deep convolutional neural networks | |
| US9438792B2 (en) | Image-processing apparatus and image-processing method for generating a virtual angle of view | |
| JP6821038B2 (en) | Imaging system and image processing method | |
| KR102563750B1 (en) | Method and Device of Image Deblurring | |
| US9378583B2 (en) | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume | |
| US9872012B2 (en) | Method and apparatus for image capturing and simultaneous depth extraction | |
| CN108073857A (en) | The method and device of dynamic visual sensor DVS event handlings | |
| KR20210048544A (en) | Video image processing method and apparatus | |
| KR102658359B1 (en) | Method for the synthesis of intermediate views of a light field, system for the synthesis of intermediate views of a light field, and method for the compression of a light field | |
| JP2012138787A5 (en) | ||
| KR102141319B1 (en) | Super-resolution method for multi-view 360-degree image and image processing apparatus | |
| CN105721768B (en) | Method and apparatus for generating a suitable slice image from a focus stack | |
| KR102083721B1 (en) | Stereo Super-ResolutionImaging Method using Deep Convolutional Networks and Apparatus Therefor | |
| KR20210056149A (en) | Depth image generation method and depth image generation apparatus | |
| KR102522186B1 (en) | Method and apparatus for upscaling image | |
| JP2014222825A (en) | Video processing apparatus and video processing method | |
| Karch et al. | Adaptive Wiener filter super-resolution of color filter array images | |
| EP3633602A1 (en) | Image processing method, image processing apparatus, and program | |
| KR20210019835A (en) | Apparatus and method for generating super resolution inmage using orientation adaptive parallel neural networks | |
| JP6614824B2 (en) | Image processing apparatus, image processing system, imaging apparatus, image processing method, and program | |
| KR102614908B1 (en) | Device and method to restore image | |
| JP6272685B2 (en) | Method, system and robot for processing omnidirectional image data | |
| JP2016119542A (en) | Image processing method, image processing program, image processing unit, and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |