KR20210098398A - Method and apparatus for upscaling image - Google Patents
Method and apparatus for upscaling image Download PDFInfo
- Publication number
- KR20210098398A KR20210098398A KR1020210087488A KR20210087488A KR20210098398A KR 20210098398 A KR20210098398 A KR 20210098398A KR 1020210087488 A KR1020210087488 A KR 1020210087488A KR 20210087488 A KR20210087488 A KR 20210087488A KR 20210098398 A KR20210098398 A KR 20210098398A
- Authority
- KR
- South Korea
- Prior art keywords
- resolution
- reference image
- image
- displacement vector
- low
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006073 displacement reaction Methods 0.000 claims abstract description 80
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 abstract 1
- 238000005070 sampling Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000973887 Takayama Species 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 업샘플링 방법 및 장치에 관한 것으로, 더욱 상세하게는 고품질 영상을 만들기 위해 저해상도 영상을 고해상도 영상으로 변환하는 초해상화 방법 및 장치에 관한 것이다.The present invention relates to an upsampling method and apparatus, and more particularly, to a super-resolution method and apparatus for converting a low-resolution image into a high-resolution image to make a high-quality image.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.
급격하게 발전하고 있는 정보 기술 사회와 함께 자율주행, 입체 영상 등 여러가지 최신기술에서 다양한 영상들이 활용되고 있다. 영상의 품질은 이러한 최신기술의 성능과 밀접한 관련이 있다. 따라서 고품질 영상의 생성 방법 역시 주목받고 있다. With the rapidly developing information technology society, various images are being used in various cutting-edge technologies such as autonomous driving and stereoscopic images. The image quality is closely related to the performance of these state-of-the-art technologies. Therefore, a method of generating a high-quality image is also attracting attention.
종래 기술에 의한 고품질 영상생성 기술에서는 하드웨어적 한계로 인해 고품질 고해상도 영상을 얻기 어려운 영상들이 다수 존재한다. 예를 들어 깊이영상의 경우, 적외선(IR : Infra-Red)의 반사 시간 차이를 이용한 TOF(Time-Of-flight) 방식의 깊이 카메라와 같은 깊이영상 획득만을 위한 하드웨어 기기를 사용해서 얻는다. 이 방법은 하드웨어 기술의 한계에 의해 컬러 카메라의 발전 속도를 따라가지 못하고, 저해상도의 깊이영상만을 제공한다. 이런 상황을 봤을 때 최신 기술의 발전속도에 맞는 고품질 고해상도의 영상을 생성하는 방법의 발전이 필요하다.In the high-quality image generation technology according to the prior art, there are many images in which it is difficult to obtain a high-quality high-resolution image due to a hardware limitation. For example, in the case of a depth image, it is obtained by using a hardware device only for acquiring a depth image, such as a TOF (Time-Of-Flight) method depth camera using the difference in the reflection time of infrared (IR: Infra-Red). This method cannot keep up with the development speed of color cameras due to the limitations of hardware technology, and provides only low-resolution depth images. In view of this situation, it is necessary to develop a method for generating high-quality, high-resolution images in line with the speed of development of the latest technology.
이를 위하여 활용될 수 있는 기술 중 하나로 초해상화(super-resolution, SR) 기술이 있는데, 초해상화란 영상을 업스케일링(upscaling)하는 기술을 의미한다. 업스케일은 영상의 해상도(resolution)를 증가시키는 것을 의미하고, 해상도는 이미지를 표현하는데 있어 몇 개의 픽셀을 사용했는지를 나타낸다. 1인치당 픽셀(pixel per inch, ppi) 갯수로 해상도의 크기를 표현하곤 하는데, 1인치당 많은 픽셀이 빼곡하게 들어서 있다면 고해상도의 영상이다.One of the technologies that can be utilized for this purpose is a super-resolution (SR) technology, which refers to a technology for upscaling an image. Upscaling means increasing the resolution of an image, and the resolution indicates how many pixels are used to represent the image. The size of the resolution is often expressed in terms of the number of pixels per inch (ppi), but if there are many pixels per inch, it is a high-resolution image.
사용자는 당연히 훨씬 더 선명하고 실제에 가까운 고해상도의 이미지를 원하지만, 고해상도의 사진이나 동영상은 그만큼 많은 용량을 차지한다. 따라서 전송하는데 시간이 많이 걸리고, 인터넷 비디오 스트리밍으로 동영상을 시청한다면 고해상도의 영상은 버퍼링을 유발할 수 밖에 없다. 그래서 대개는 해상도는 조금 포기하더라도, 원하는 속도를 얻기 위하여 저해상도의 영상을 송출한다. Of course, users want much clearer and more realistic high-resolution images, but high-resolution photos and videos take up a lot of space. Therefore, it takes a lot of time to transmit, and if you watch a video through Internet video streaming, high-resolution video inevitably causes buffering. So, in most cases, even if the resolution is slightly sacrificed, low-resolution images are transmitted to obtain the desired speed.
만약 전달받은 저해상도의 영상을 사용자측에서 빠르게 고해상도의 영상으로 복구시켜줄 수 있다면 속도와 해상도 모두 얻을 수 있을 것이다. 여기에 사용될 수 있는 기술이 바로 초해상화로, 달리 말하면 저해상도 이미지를 고해상도의 이미지로 변환해주는 기술이다.If the received low-resolution image can be quickly restored to a high-resolution image on the user's side, both speed and resolution can be obtained. A technology that can be used here is super-resolution, in other words, a technology that converts a low-resolution image into a high-resolution image.
고품질 고해상도 영상을 생성하기 위해 저해상도 영상을 고해상도 형상으로 변환할 때 일반적으로 사용되는 종래기술에 의한 커널 기반의 필터 기법에 의할 경우, 경계 값 근처에서 생기는 여러 에러 현상이 발생하는 문제가 있었다.When converting a low-resolution image into a high-resolution shape in order to generate a high-quality high-resolution image, there is a problem in that various error phenomena occur near the boundary value according to the conventional kernel-based filter technique generally used.
또한, 종래기술에 의한 커널 기반의 필터 기법에 의할 경우, 입력데이터들에 대한 전처리 과정을 거쳐야 출력커널을 통해 최종 고해상도 영상을 획득할 수 있다는 단점이 있었다.In addition, in the case of the kernel-based filter technique according to the prior art, there is a disadvantage that the final high-resolution image can be obtained through the output kernel only after pre-processing the input data.
이에, 본 발명에서는, 전술한 기술적 제약을 해소시킬 수 있는 초해상화 방법 및 장치를 제안하고자 한다.Accordingly, in the present invention, it is intended to propose a super-resolution method and apparatus that can solve the above-described technical limitations.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있는 업샘플링 방법 및 장치를 제공하는데 주된 목적이 있다.The present invention has been proposed to solve the problems of the prior art, and a main object of the present invention is to provide an upsampling method and apparatus capable of obtaining a high-resolution image without a high-performance hardware device.
또한, 본 발명의 다른 목적은 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상을 해결할 수 있는 하기 위한 초해상화 방법 및 장치를 제공하는데 있다.Another object of the present invention is to provide a super-resolution method and apparatus for solving a phenomenon in which an error easily recognized by the eye occurs near a boundary value in a conventional kernel-based filter technique.
또한, 본 발명의 다른 목적은 입력 데이터들의 전처리 과정없이 고품질의 출력영상을 획득하기 위한 초해상화 방법 및 장치를 제공하는데 있다.Another object of the present invention is to provide a super-resolution method and apparatus for obtaining a high-quality output image without pre-processing input data.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems to be solved of the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description.
전술한 목적을 달성하기 위한 본 발명의 일 양상은, 고해상도의 참조영상을 저해상도 참조영상으로 변환하는 참조영상 획득부; 상기 참조영상 획득부를 통한 상기 고해상도의 참조영상 및 저해상도 참조영상을 비교하여 변위벡터를 구하는 변위벡터 계산부; 및 상기 변위벡터 계산부에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 해상도 변환부를 포함하는 것을 특징으로 하는 업샘플링 장치를 제공한다. An aspect of the present invention for achieving the above object, a reference image acquisition unit for converting a high-resolution reference image into a low-resolution reference image; a displacement vector calculation unit for obtaining a displacement vector by comparing the high-resolution reference image and the low-resolution reference image through the reference image acquisition unit; and a resolution converter for converting a low-resolution input image into a high-resolution image by using the displacement vector obtained by the displacement vector calculator.
상기 참조영상 획득부는, 저해상도의 깊이영상을 고해상도 깊이영상으로 변환하고자 할 때, 같은 시점에서 획득된 고해상도 컬러영상을 고해상도의 참조영상으로 할 수 있다. The reference image acquisition unit may use a high-resolution color image acquired at the same time point as a high-resolution reference image when converting a low-resolution depth image into a high-resolution depth image.
상기 변위벡터 계산부는, 상기 참조영상 획득부로부터 얻어진 상기 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 비교하여 두 참조영상 간의 변위벡터를 구할 수 있다.The displacement vector calculation unit may obtain a displacement vector between the two reference images by comparing how each pixel value is moved based on the high-resolution reference image and the low-resolution reference image obtained from the reference image acquisition unit.
상기 변위벡터 계산부는, 상기 고해상도 참조영상을 바이큐빅(bicubic) 방법을 사용해 저해상도의 참조영상으로 변환한 후 서로 간의 변위 벡터를 구할 수 있다.The displacement vector calculator may convert the high-resolution reference image into a low-resolution reference image using a bicubic method, and then obtain a displacement vector therebetween.
상기 변위벡터 계산부는, 상기 저해상도 참조영상을 다시 고해상도로 변환한 후 상기 원본 고해상도 참조영상과 변환된 고해상도 영상으로부터 변위 벡터를 구할 수 있다. The displacement vector calculator may obtain a displacement vector from the original high-resolution reference image and the converted high-resolution image after converting the low-resolution reference image back to the high-resolution image.
상기 해상도 변환부는, 상기 변위벡터 계산부에서 변위벡터를 만들 때의 방법을 고려하여 해상도 변환을 할 수 있다. The resolution conversion unit may perform resolution conversion in consideration of a method of generating the displacement vector by the displacement vector calculation unit.
본 발명의 다른 일 양상은, 참조영상 획득부에서 입력으로 고해상도 참조영상을 제공받는 단계; 상기 참조영상 획득부에서 상기 고해상도 참조영상을 저해상도 참조영상으로 변환하는 단계; 상기 참조영상 획득부에서 상기 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부로 전달하는 단계; 상기 변위벡터 계산부에서 상기 전달받은 고해상도 참조영상 및 저해상도 참조영상을 토대로 변위벡터를 계산하는 단계; 상기 변위벡터 계산부에서 상기 계산된 변위벡터를 해상도 변환부로 전달하는 단계; 및 상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 초해상화 방법을 제공한다. Another aspect of the present invention comprises the steps of: receiving a high-resolution reference image as an input from the reference image acquisition unit; converting the high-resolution reference image into a low-resolution reference image in the reference image acquisition unit; transferring the high-resolution reference image and the obtained low-resolution reference image from the reference image acquisition unit to a displacement vector calculator; calculating a displacement vector based on the high-resolution reference image and the low-resolution reference image received by the displacement vector calculator; transferring the displacement vector calculated by the displacement vector calculator to a resolution converter; and using the received displacement vector from the resolution converter, converting a low-resolution input image into a high-resolution image.
상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계이후에, 추가적으로 후처리 단계를 포함할 수 있다.After converting the low-resolution input image into a high-resolution image by using the received displacement vector from the resolution converter, a post-processing step may be additionally included.
본 발명의 다른 일 양상은, 상기 초해상화 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.Another aspect of the present invention provides a computer-readable recording medium recording a program for executing the super-resolution method.
본 발명의 초해상화 방법 및 장치에 의하면, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있는 초해상화 방법 및 장치를 제공할 수 있다는 효과가 있다.According to the super-resolution method and apparatus of the present invention, there is an effect that it is possible to provide a super-resolution method and apparatus that can obtain a high-resolution image without a high-performance hardware device.
또한, 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상을 해결할 수 있는 하기 위한 초해상화 방법 및 장치를 제공할 수 있다는 효과가 있다.In addition, there is an effect that it is possible to provide a super-resolution method and apparatus for solving a phenomenon in which an error easily recognized by the eye occurs near a boundary value in the conventional kernel-based filter technique.
또한, 입력 데이터들의 전처리 과정없이 고품질의 출력영상을 획득하기 위한 초해상화 방법 및 장치를 제공할 수 있다는 효과가 있다.In addition, there is an effect that it is possible to provide a super-resolution method and apparatus for obtaining a high-quality output image without a pre-processing of input data.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention pertains from the description below. .
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 초해상화 장치의 개략적인 구성도를 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 초해상화 장치의 영상입출력 구성도를 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 초해상화 방법의 구성을 예시한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included as a part of the detailed description to facilitate the understanding of the present invention, provide embodiments of the present invention, and together with the detailed description, explain the technical features of the present invention.
1 is a diagram illustrating a schematic configuration diagram of a super-resolution apparatus according to an embodiment of the present invention.
2 is a diagram illustrating an image input/output configuration diagram of a super-resolution apparatus according to an embodiment of the present invention.
3 is a diagram illustrating the configuration of a super-resolution method according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced. The following detailed description includes specific details in order to provide a thorough understanding of the present invention. However, one of ordinary skill in the art to which the present invention pertains will recognize that the present invention may be practiced without these specific details.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.In some cases, well-known structures and devices may be omitted or shown in block diagram form focusing on core functions of each structure and device in order to avoid obscuring the concept of the present invention.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.Throughout the specification, when a part is said to "comprising or including" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated. do. In addition, terms such as “…unit”, “…group”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. there is. Also, "a or an", "one", "the" and like related terms are used differently herein in the context of describing the invention (especially in the context of the claims that follow). Unless indicated or clearly contradicted by context, it may be used in a sense including both the singular and the plural.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 초해상화 장치의 개략적인 구성도를 예시한 도면이다. 1 is a diagram illustrating a schematic configuration diagram of a super-resolution apparatus according to an embodiment of the present invention.
도 1에 나타난 각 구성부들은 초해상화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다. Each component shown in FIG. 1 is shown independently to represent different characteristic functions in the super-resolution device, and does not mean that each component is made of separate hardware or one software component. That is, each component is listed as each component for convenience of description, and at least two components of each component are combined to form one component, or one component can be divided into a plurality of components to perform a function, and each Integrated embodiments and separate embodiments of components are also included in the scope of the present invention without departing from the essence of the present invention.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.In addition, some of the components are not essential components for performing essential functions in the present invention, but may be optional components for merely improving performance. The present invention can be implemented by including only essential components to implement the essence of the present invention, except for components used for performance improvement, and a structure including only essential components excluding optional components used for performance improvement Also included in the scope of the present invention.
참조영상 획득부(100)는 고해상도의 참조영상을 저해상도 참조영상으로 변환한다. The reference
참조영상 획득부(100)는 저해상도 영상을 고해상도로 변환하고자 할 때 얻고자 하는 고해상도 영상에 대한 참조영상을 이용하는 것으로써, 예를 들면 저해상도의 깊이영상을 고해상도 깊이영상으로 변환하고자 할 때, 같은 시점에서 획득된 고해상도 컬러영상이 주어지는 경우가 있는데, 이를 고해상도의 참조영상으로 활용할 수 있다. The reference
변위벡터 계산부(200)는 저해상도 영상을 고해상도 영상으로 변환하기 위한 변위벡터를 참조영상으로부터 구한다. 즉, 참조영상 획득부(100)로부터 얻어진 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상 간의 변위벡터를 구한다. The
이 때, 다양한 방식으로 두 참조영상에서 변위벡터를 구하는 것이 가능하다. 예를 들어, 고해상도 참조영상을 전통적인 바이큐빅(bicubic) 등의 방법을 사용해 저해상도로 변환한 후 서로 간의 변위 벡터를 구하는 방법, 혹은 위와 같이 저해상도로 변환된 참조영상을 다시 고해상도로 변환한 후 원본 고해상도 참조영상과 변환된 고해상도 참조영상의 변위 벡터를 구하는 방법 등이 있다. In this case, it is possible to obtain the displacement vector from the two reference images in various ways. For example, a method of converting a high-resolution reference image to a low resolution using a traditional bicubic method, etc. and then obtaining a displacement vector between them, or converting the reference image converted to a low resolution as above to a high resolution again There is a method of obtaining the displacement vector of the reference image and the converted high-resolution reference image.
또한, 변위벡터는 변환전후 참조영상과 같은 크기를 한번에 구할 수도 있고, 변환전후 참조영상의 한 픽셀마다 N x N 크기의 변위벡터와 가중치를 함께 구할 수도 있다.In addition, the displacement vector may be obtained at the same size as the reference image before and after transformation, or may be obtained together with a displacement vector of size N x N and a weight for each pixel of the reference image before and after transformation.
해상도 변환부(300)는 변위벡터 계산부(200)에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환한다. The
해상도 변환부(300)는 변위벡터 계산부(200)에서 변위벡터를 만들 때의 방법을 참고하여 이를 바탕으로 변환을 진행한다. The
변위벡터를 이용하게 되면 즉각적으로 고해상도 영상을 얻을 수 있지만, 여러가지 후처리 방식을 뒤에 추가로 진행할 수도 있다.If a displacement vector is used, a high-resolution image can be obtained immediately, but various post-processing methods may be additionally performed later.
예컨대, 참조영상 획득부(100)에서 바이큐빅(bicubic) 방법을 사용해 고해상도 참조영상을 저해상도로 변환하고, 변환된 저해상도 참조영상을 다시 바이큐빅 방법을 사용해 고해상도로 변환한 후 변위벡터 계산부(200)에서 원본 고해상도 참조 영상과 변환된 참조 영상 사이의 변위벡터를 구할 수 있다. 이 경우에, 해상도 변환부(300)에서 저해상도 영상을 바이큐빅 방법을 사용해 고해상도로 변환한 후, 구한 변위벡터의 형태에 따라서 다양한 방식의 워핑(warping)을 진행하여 최종 고해상도 영상을 획득할 수 있다.For example, the reference
본 발명의 일실시예와 같이 참조 영상을 사용해 저해상도 영상을 고해상도 영상으로 변환하게 되면 고품질 고해상도 영상을 고성능 하드웨어 기기가 없이 구할 수 있다. 또한 커널을 예측함으로써 생기는 오버슈팅 문제를 위치를 보상해주는 변위벡터 기반 변환기법을 사용함으로써 피할 수 있다.When a low-resolution image is converted into a high-resolution image using a reference image as in an embodiment of the present invention, a high-quality, high-resolution image can be obtained without a high-performance hardware device. Also, the overshooting problem caused by predicting the kernel can be avoided by using a displacement vector-based transformation method that compensates for the position.
도 2는 본 발명의 일 실시예에 따른 초해상화 장치의 영상입출력 구성도를 예시한 도면이다. 2 is a diagram illustrating an image input/output configuration diagram of a super-resolution apparatus according to an embodiment of the present invention.
도 2는 도 1의 각 구성부분에 참조영상 및 입출력 영상을 부가하여 본 발명에 의한 초해상화 장치를 보다 구체적으로 도시하였다. FIG. 2 shows the super-resolution apparatus according to the present invention in more detail by adding a reference image and input/output image to each component of FIG. 1 .
참조영상 획득부(100)는 고해상도의 참조영상을 저해상도 참조영상으로 변환하고, 변위벡터 계산부(200)는 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상 간의 변위벡터를 구한다. 해상도 변환부(300)는 변위벡터 계산부(200)에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환한다. The reference
도 3은 본 발명의 일 실시예에 따른 초해상화 방법의 구성을 예시한 도면이다.3 is a diagram illustrating the configuration of a super-resolution method according to an embodiment of the present invention.
참조영상 획득부(100)에 입력으로 고해상도 참조영상을 제공되면(S301), 참조영상 획득부(100)에서는 이를 저해상도 참조영상으로 변환한다(S303). When a high-resolution reference image is provided as an input to the reference image acquisition unit 100 (S301), the reference
참조영상 획득부(100)은 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부(200)로 전달하면(S305), 변위벡터 계산부(200)에서는 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상 간의 변위벡터를 구한다(S307). When the reference
이 때, 다양한 방식으로 두 영상에서 변위벡터를 구하는 것이 가능하다. 예를 들어, 고해상도 영상을 전통적인 바이큐빅(bicubic) 등의 방법을 사용해 저해상도로 변환한 후 서로 간의 변위 벡터를 구하는 방법, 혹은 위와 같이 저해상도로 변환된 영상을 다시 고해상도로 변환한 후 원본 고해상도 영상과 변환된 고해상도 영상의 변위 벡터를 구하는 방법 등이 있음은 앞서 설명한 바와 같다. In this case, it is possible to obtain the displacement vector from the two images in various ways. For example, a method of converting a high-resolution image to a low resolution using a traditional bicubic method, etc., and then obtaining a displacement vector between each other As described above, there is a method of obtaining the displacement vector of the converted high-resolution image.
변위벡터 계산부(200)는 계산된 변위벡터를 해상도 변환부(300)에 전달하면, 해상도 변환부(300)에서는 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환한다. 이때, 해상도 변환부(300)는 변위벡터 계산부(200)에서 변위벡터를 만들 때의 방법을 참고할 수 있다. When the
변위벡터를 이용하게 되면 즉각적으로 고해상도 영상을 얻을 수 있지만, 여러가지 후처리 단계를 뒤에 추가로 진행할 수도 있다.If a displacement vector is used, a high-resolution image can be obtained immediately, but various post-processing steps may be additionally performed later.
도 3에서는 단계 S301 내지 단계 S311을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S301 내지 단계 S311 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은는 시계열적인 순서로 한정되는 것은 아니다. Although it is described that steps S301 to S311 are sequentially executed in FIG. 3, this is merely illustrative of the technical idea of this embodiment, and those of ordinary skill in the art to which this embodiment belongs Since it will be applicable by changing the order described in FIG. 3 and executing it by changing the order described in FIG. 3 or executing one or more steps of steps S301 to S311 in parallel within a range that does not deviate from the essential characteristics, FIG. 3 is a time series sequence It is not limited.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of each block in the block diagram attached to this specification and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in a processor of a general-purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the processor of the computer or other programmable data processing equipment may be configured in the respective blocks in the block diagram or in the flowchart. Each step creates a means for performing the described functions. These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing the functions described in each block in the block diagram or in each step in the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
본 발명의 초해상화 방법 및 장치에 따르면, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있고, 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상 등을 해결할 수 있는 초해상화 방법 및 장치를 제공할 수 있는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the super-resolution method and apparatus of the present invention, high-resolution images can be obtained without high-performance hardware devices, and the phenomenon in which an error easily recognized by the eye occurs near a boundary value in the conventional kernel-based filter technique can be solved. In that it can be used as a solution that can provide a super-resolution method and device that has It is an invention with industrial applicability because it can be clearly implemented in reality.
100: 참조영상 획득부 110: 변위벡터 계산부 130: 해상도 변환부100: reference image acquisition unit 110: displacement vector calculation unit 130: resolution conversion unit
Claims (6)
상기 참조영상 획득부를 통한 상기 고해상도의 참조영상 및 저해상도 참조영상을 비교하여 상기 참조영상 내의 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상간의 변위벡터를 구하는 변위벡터 계산부; 및
상기 변위벡터 계산부에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 해상도 변환부를 포함하고,
상기 참조영상은, 상기 저해상도의 영상을 고해상도 영상으로 변환하고자 할 때, 상기 저해상도 영상과 같은 시점에서 획득된 고해상도 영상을 고해상도의 참조영상으로 하고,
상기 변위벡터 계산부는, 상기 참조영상 획득부로부터 얻어진 같은 시점의 상기 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 비교하여 두 참조영상 간의 변위벡터를 구하고,
상기 해상도 변환부는, 저해상도의 입력영상을 고해상도 영상으로 해상도 변환한 후 추가적으로 상기 변위벡터의 형태를 고려한 후처리를 하여 고품질 고해상도 영상을 획득하도록 하는 것을 특징으로 하는 초해상화 장치.a reference image acquisition unit that converts a high-resolution reference image into a low-resolution reference image;
a displacement vector calculation unit that compares the high-resolution reference image and the low-resolution reference image through the reference image acquisition unit to obtain a displacement vector between the two reference images indicating how each pixel value in the reference image is moved; and
and a resolution converter for converting a low-resolution input image into a high-resolution image by using the displacement vector obtained by the displacement vector calculator;
When the reference image is to convert the low-resolution image to a high-resolution image, a high-resolution image obtained at the same time as the low-resolution image is used as a high-resolution reference image,
The displacement vector calculation unit obtains a displacement vector between the two reference images by comparing how each pixel value moves based on the high-resolution reference image and the low-resolution reference image at the same time obtained from the reference image acquisition unit,
The resolution converter, after converting the resolution of the input image of the low resolution into the high-resolution image, additionally after processing in consideration of the shape of the displacement vector, super-resolution apparatus, characterized in that to obtain a high-quality high-resolution image.
상기 변위벡터 계산부는,
상기 참조영상 획득부에서 상기 고해상도 참조영상을 바이큐빅(bicubic) 방법을 사용해 저해상도의 참조영상으로 변환한 후, 서로 간의 변위 벡터를 구하는 것을 특징으로 하는 초해상화 장치.According to claim 1,
The displacement vector calculation unit,
After converting the high-resolution reference image into a low-resolution reference image using a bicubic method in the reference image acquisition unit, a super-resolution device, characterized in that the displacement vector is obtained.
상기 변위벡터 계산부는,
상기 저해상도 참조영상을 다시 고해상도로 변환한 후 상기 원본 고해상도 참조영상과 변환된 고해상도 영상으로부터 변위 벡터를 구하는 것을 특징으로 하는 초해상화 장치.According to claim 1,
The displacement vector calculation unit,
After converting the low-resolution reference image back to high-resolution, super-resolution apparatus, characterized in that to obtain a displacement vector from the original high-resolution reference image and the converted high-resolution image.
상기 변위벡터 계산부는,
상기 변환전후 참조영상과 같은 크기의 단위벡터를 한번에 구하거나, 상기 변환전후 참조영상의 한 픽셀마다 N x N 크기의 변위벡터와 가중치를 함께 구하는 것을 특징으로 하는 초해상화 장치.According to claim 1,
The displacement vector calculation unit,
A unit vector of the same size as the reference image before and after transformation is obtained at once, or a displacement vector of size N x N and a weight are obtained together for each pixel of the reference image before and after transformation.
상기 해상도 변환부는,
상기 변위벡터 계산부에서 변위벡터를 만들 때의 방법을 고려하여 해상도 변환을 하는 것을 특징으로 하는 초해상화 장치.According to claim 1,
The resolution converter,
Super-resolution apparatus, characterized in that the resolution conversion in consideration of the method when the displacement vector is created in the displacement vector calculation unit.
상기 참조영상 획득부에서 상기 고해상도 참조영상을 저해상도 참조영상으로 변환하는 단계;
상기 참조영상 획득부에서 상기 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부로 전달하는 단계;
상기 변위벡터 계산부에서 상기 전달받은 고해상도 참조영상 및 저해상도 참조영상을 토대로 상기 참조영상 내의 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상간의 변위벡터를 계산하는 단계;
상기 변위벡터 계산부에서 상기 계산된 변위벡터를 해상도 변환부로 전달하는 단계;
상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계; 및
상기 해상도 변환부에서 저해상도의 입력영상을 고해상도 영상으로 해상도 변환한 후 추가적으로 상기 변위벡터의 형태를 고려한 후처리를 하여 고품질 고행상도 영상을 획득하는 단계를 포함하고,
상기 참조영상은, 저해상도의 영상을 고해상도 영상으로 변환하고자 할 때, 상기 저해상도 영상과 같은 시점에서 획득된 고해상도 영상을 고해상도의 참조영상으로 하고,
상기 변위벡터는, 상기 같은 시점의 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 비교하여 구해지는 것을 특징으로 하는 초해상화 방법.
receiving a high-resolution reference image as an input from the reference image acquisition unit;
converting the high-resolution reference image into a low-resolution reference image by the reference image acquisition unit;
transferring the high-resolution reference image and the obtained low-resolution reference image from the reference image acquisition unit to a displacement vector calculator;
calculating, by the displacement vector calculator, a displacement vector between two reference images indicating how each pixel value in the reference image is moved based on the received high-resolution reference image and the low-resolution reference image;
transferring the displacement vector calculated by the displacement vector calculator to a resolution converter;
converting a low-resolution input image into a high-resolution image by using the received displacement vector from the resolution converter; and
After the resolution conversion unit converts the resolution of the input image of low resolution into a high-resolution image, additionally performing post-processing in consideration of the shape of the displacement vector to obtain a high-quality high-resolution image,
The reference image, when converting a low-resolution image into a high-resolution image, a high-resolution image obtained at the same time point as the low-resolution image as a high-resolution reference image,
The displacement vector is a super-resolution method, characterized in that it is obtained by comparing how each pixel value moves based on the high-resolution reference image and the low-resolution reference image of the same viewpoint.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210087488A KR102522186B1 (en) | 2019-10-07 | 2021-07-03 | Method and apparatus for upscaling image |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190124216A KR20210041694A (en) | 2019-10-07 | 2019-10-07 | Method and apparatus for upscaling image |
| KR1020210087488A KR102522186B1 (en) | 2019-10-07 | 2021-07-03 | Method and apparatus for upscaling image |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190124216A Division KR20210041694A (en) | 2019-10-07 | 2019-10-07 | Method and apparatus for upscaling image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210098398A true KR20210098398A (en) | 2021-08-10 |
| KR102522186B1 KR102522186B1 (en) | 2023-04-14 |
Family
ID=75743544
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190124216A KR20210041694A (en) | 2019-10-07 | 2019-10-07 | Method and apparatus for upscaling image |
| KR1020210087488A KR102522186B1 (en) | 2019-10-07 | 2021-07-03 | Method and apparatus for upscaling image |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190124216A KR20210041694A (en) | 2019-10-07 | 2019-10-07 | Method and apparatus for upscaling image |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20210041694A (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681594B (en) * | 2023-07-26 | 2023-11-21 | 摩尔线程智能科技(北京)有限责任公司 | Image processing method and device, equipment and medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120127151A (en) * | 2011-05-13 | 2012-11-21 | 삼성전자주식회사 | Image conversion apparatus and method thereof |
| JP2013021635A (en) * | 2011-07-14 | 2013-01-31 | Sony Corp | Image processor, image processing method, program and recording medium |
| KR101711589B1 (en) * | 2015-12-08 | 2017-03-02 | 연세대학교 산학협력단 | Method and Apparatus of Dictionary Design on Super-Resolution, and Generating Super-Resolution Image based on the Dictionary |
| KR20180061496A (en) | 2016-11-29 | 2018-06-08 | 주식회사 실리콘웍스 | Super resolution imaging method |
| KR101901495B1 (en) | 2016-12-23 | 2018-09-28 | 전자부품연구원 | Depth Image Estimation Method based on Multi-View Camera |
| KR101975472B1 (en) | 2017-07-19 | 2019-05-07 | 중앙대학교 산학협력단 | System and method for generating continuous digital zooming image using super-resolution |
-
2019
- 2019-10-07 KR KR1020190124216A patent/KR20210041694A/en not_active Application Discontinuation
-
2021
- 2021-07-03 KR KR1020210087488A patent/KR102522186B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120127151A (en) * | 2011-05-13 | 2012-11-21 | 삼성전자주식회사 | Image conversion apparatus and method thereof |
| JP2013021635A (en) * | 2011-07-14 | 2013-01-31 | Sony Corp | Image processor, image processing method, program and recording medium |
| KR101711589B1 (en) * | 2015-12-08 | 2017-03-02 | 연세대학교 산학협력단 | Method and Apparatus of Dictionary Design on Super-Resolution, and Generating Super-Resolution Image based on the Dictionary |
| KR20180061496A (en) | 2016-11-29 | 2018-06-08 | 주식회사 실리콘웍스 | Super resolution imaging method |
| KR101901495B1 (en) | 2016-12-23 | 2018-09-28 | 전자부품연구원 | Depth Image Estimation Method based on Multi-View Camera |
| KR101975472B1 (en) | 2017-07-19 | 2019-05-07 | 중앙대학교 산학협력단 | System and method for generating continuous digital zooming image using super-resolution |
Non-Patent Citations (2)
| Title |
|---|
| (비특허 문헌 1) FUJIEDA, Shin; TAKAYAMA, Kohei; HACHISUKA, Toshiya. Wavelet Convolutional Neural Networks for Texture Classification. arXiv preprint arXiv:1707.07394, 2019. |
| (비특허 문헌 2) Kim, Beomjun, Jean Ponce, and Bumsub Ham. "Deformable kernel networks for guided depth map upsampling." arXiv preprint arXiv:1903.11286, 2019. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210041694A (en) | 2021-04-16 |
| KR102522186B1 (en) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220222786A1 (en) | Image processing method, smart device, and computer readable storage medium | |
| US10846836B2 (en) | View synthesis using deep convolutional neural networks | |
| US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
| WO2012086120A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
| US10853926B2 (en) | Image processing device, imaging device, and image processing method | |
| US10445402B1 (en) | Fast and energy-efficient region of interest pooling for object detection with convolutional neural network | |
| US20120154541A1 (en) | Apparatus and method for producing 3d images | |
| US20150116464A1 (en) | Image processing apparatus and image capturing apparatus | |
| KR102658359B1 (en) | Method for the synthesis of intermediate views of a light field, system for the synthesis of intermediate views of a light field, and method for the compression of a light field | |
| US9207759B1 (en) | Method and apparatus for generating depth map from monochrome microlens and imager arrays | |
| KR102083721B1 (en) | Stereo Super-ResolutionImaging Method using Deep Convolutional Networks and Apparatus Therefor | |
| CN105141841A (en) | Camera equipment and method therefor | |
| CN108665415B (en) | Image quality improving method and device based on deep learning | |
| KR102342526B1 (en) | Method and Apparatus for Video Colorization | |
| JP2014522596A (en) | Method and device for retargeting 3D content | |
| Karch et al. | Adaptive Wiener filter super-resolution of color filter array images | |
| KR102493492B1 (en) | Method and Device for Fast Adaptation through Meta-learning of Super Resolution Model | |
| CN115272565A (en) | Head three-dimensional model reconstruction method and electronic equipment | |
| KR20210098398A (en) | Method and apparatus for upscaling image | |
| JPWO2006033257A1 (en) | Image conversion method, image conversion apparatus, server client system, portable device, and program | |
| Yang et al. | Mipi 2022 challenge on rgbw sensor fusion: Dataset and report | |
| RU2661537C2 (en) | Method and system of superresolution by combined sparse approximation | |
| KR102213765B1 (en) | An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module | |
| JP7389565B2 (en) | Encoding device, decoding device, and program | |
| US20150262339A1 (en) | Image processing apparatus, image processing system, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |