KR101975472B1 - System and method for generating continuous digital zooming image using super-resolution - Google Patents
System and method for generating continuous digital zooming image using super-resolution Download PDFInfo
- Publication number
- KR101975472B1 KR101975472B1 KR1020170091568A KR20170091568A KR101975472B1 KR 101975472 B1 KR101975472 B1 KR 101975472B1 KR 1020170091568 A KR1020170091568 A KR 1020170091568A KR 20170091568 A KR20170091568 A KR 20170091568A KR 101975472 B1 KR101975472 B1 KR 101975472B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- wide
- angle image
- telephoto
- cropped
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 230000009466 transformation Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 7
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims description 4
- 229910052709 silver Inorganic materials 0.000 claims description 4
- 239000004332 silver Substances 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H04N5/23296—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
본 발명은 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법에 관한 것이다. 더 상세하게는 동일한 피사체를 포함하는 망원 영상과 광각 영상을 획득하고, 상기 획득된 광각 영상을 보간 및 크롭하고, 상기 획득된 망원 영상의 고주파 성분을 이용하여 상기 망원 영상과 같은 시점을 갖는 중앙 영역과 다른 시점을 갖는 외곽 영역별로 상기 광각 영상의 해상도를 각각 복원한 후, 상기 복원된 각 영역을 합성하여 재구성한다. 이를 통해 비대칭 듀얼 카메라 시스템에서 광각 영상과 망원 영상의 특성을 이용하여 디지털 줌 영상의 해상력을 복원할 수 있는 효과를 가진다.The present invention relates to a system and method for generating high quality digital continuous zoom image based on super resolution. The method includes obtaining a telephoto image and a wide-angle image that include the same object, interpolating and cropping the obtained wide-angle image, and interpolating and cropping the acquired wide-angle image using a high-frequency component of the obtained telephoto image, And the resolution of the wide-angle image is restored for each of the outer regions having different viewpoints, and then the reconstructed regions are combined and reconstructed. Thus, the resolution of the digital zoom image can be restored by using the characteristics of the wide angle image and the telephoto image in the asymmetric dual camera system.
Description
본 발명은 고품질의 줌 영상을 생성하는 기술에 관한 것으로, 구체적으로는 망원 영상의 고주파 성분을 이용하여 광각 영상을 망원 영상과 같은 시점을 갖는 중앙 영역과, 망원 영상과 다른 시점을 갖는 외곽 영역을 각각 복원하여 고품질 디지털 연속 줌 영상을 생성하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법에 관한 것이다.More particularly, the present invention relates to a technique for generating a high quality zoom image by using a high frequency component of a telephoto image to generate a wide angle image with a central region having the same point of view as the telephoto image, Resolution digital continuous zoom image based on a super resolution based on the reconstructed high quality digital continuous zoom image.
광학적 줌 시스템(Optical zooming system)은 광학축을 따라서 렌즈를 앞뒤로 움직여 획득된 영상의 공간 해상도를 지속적으로 변경할 수 있다. 경제적인 대안으로, 디지털 줌 시스템이 많은 저가 카메라에서 널리 사용되었다. 하지만, 디지털 줌 시스템(Digital zooming system)에서 사용된 영상 보간과 같은 디지털 영상 처리 알고리즘은 결과 영상의 화질을 현저하게 저하시키는 계단 현상(Jagging)과 블러링(Blurring) 아티팩트가 발생한다. 이 문제를 해결하기 위해서, 초해상도(SR : Super-resolution) 방법은 지난 수십 년간 관련 분야에서 제안되어왔다.An optical zooming system can constantly change the spatial resolution of an acquired image by moving the lens back and forth along the optical axis. As an economical alternative, digital zoom systems have been widely used in many low-cost cameras. However, digital image processing algorithms such as image interpolation used in a digital zooming system cause jagging and blurring artifacts that significantly degrade the image quality of the resultant image. To solve this problem, a super-resolution (SR) method has been proposed in the related field for several decades.
기존의 SR 복원 기법은 단일 영상 기반의 방법과 다중 영상을 이용한 초고해상도 복원 방법이 있다. 그 중 단일 영상을 이용한 방법의 경우, 영상 내부에서 반복적으로 나타나는 유사한 데이터를 이용한 자기예제기반 방법과 외부 데이터를 이용한 학습기반 해상도 복원 방법이 있다. 특히 자기예제기반 방법은 영상 내부의 데이터만을 이용하여 영상을 복원하기 때문에 복원 성능이 제한되는 단점이 있다. 외부 데이터를 이용한 학습기반 방법은 외부 데이터의 양과 특성 및 학습과정에 따라 성능이 크게 좌우되는 단점이 있다.Conventional SR reconstruction methods include a single image-based method and an ultra-high resolution reconstruction method using multiple images. Among these methods, there is a self-based method using similar data repeatedly appearing in the image and a learning-based resolution restoration method using external data. In particular, the self-based method has a disadvantage in that restoration performance is limited because the image is restored using only the data inside the image. Learning - based methods using external data have a disadvantage in that performance depends largely on the amount and characteristics of external data and the learning process.
다중 영상 기반의 영상 복원 방법의 경우, 같은 시점에서의 다중 영상을 획득하는 것이 어려운 단점이 있으며, 영상 복원 성능이 영상들 간의 정합성능에 의존하는 단점이 있다.In the case of the multi-image-based image restoration method, it is difficult to acquire multiple images at the same time, and the image restoration performance depends on the matching performance between images.
Bicubic 보간법은 간단한 수학적 수식을 통하여 빠르게 영상 확대가 가능하여 많은 초고해상도 영상 확대 방법의 전처리로서 사용된다. 하지만 보간법의 한계 상 에지(Edge) 근처에서의 정보가 손실되고, 아티팩트(Artifact)가 발생하는 단점이 있다.Bicubic interpolation is used as a preprocessing method for many ultra-high resolution image enlargement methods because it can enlarge the image quickly through a simple mathematical formula. However, in the limit of the interpolation method, there is a disadvantage in that information near an edge is lost and an artifact occurs.
Yang의 방법은 영상 내부의 다중스케일 공간에서 유사 패치를 찾기 때문에, 연산량이 많고 찾아진 유사 패치가 고해상도로 복원할 수 있는지 보장할 수 없다. Yang의 방법은 외부 데이터를 희소 표현(Sparse representation)을 이용하여 학습하였기 때문에 외부 데이터 성능이 의존적이고, 역투사(Back-projection) 과정에 의하여 성능이 제한된다는 단점이 있다.Yang's method finds similar patches in multi-scale space inside the image, so it can not guarantee that there is a large amount of computation and that the similar patches found can be restored to high resolution. Yang's method has a disadvantage in that the performance of external data is dependent and the performance is limited by a back-projection process because external data is learned using a sparse representation.
Timofte의 방법은 고해상도 및 저해상도 패치간의 관계를 정의하는 함수와 사전을 결합하여 초고해상도 영상 복원을 수행한다. Dong의 방법은 딥 러닝(Deep learning)을 이용하여 미리 학습된 데이터를 이용하므로 고품질의 영상으로 복원이 가능하다. 다만, 이 또한 외부 데이터 의존성과 사전에 수많은 데이터를 학습해야 된다는 단점이 있다.Timofte's method combines a function dictionary defining the relationship between high-resolution and low-resolution patches to perform ultrahigh-resolution image reconstruction. Dong's method uses the previously learned data using Deep learning, so it can be restored to high quality image. However, this also has the disadvantage of learning external data dependency and a lot of data in advance.
Yu의 방법은 다중 스케일에서 유사 패치들을 선형회귀를 이용하여 새로 추정하기 때문에 이 또한 추정된 패치가 영상 품질을 향상시킨다는 점을 보장하기 어려운 한계가 있다. 또한 Yu의 방법은 입력 파라미터 성능에 크게 의존한다는 단점이 있다.Since Yu's method estimates similar patches in multi-scale using linear regression, there is also a limitation that it is difficult to guarantee that the estimated patch improves the image quality. Also, Yu's method has a disadvantage that it greatly depends on the input parameter performance.
이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 비대칭 듀얼 카메라 시스템에서 화각이 넓지만 해상도가 저하된 광각 영상과, 화각이 좁지만 고해상도인 망원 영상의 특성을 이용하여 디지털 줌 영상의 해상력을 복원하는 것을 목적으로 한다.Accordingly, the present invention has been made in view of the above-mentioned circumstances, and it is an object of the present invention to provide an asymmetric dual camera system, in which a wide angle image having a wide angle of view but having a reduced resolution and a telephoto image having a narrow angle of view, And to restore the resolution.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해할 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템은 동일한 피사체를 포함하는 망원 영상과 광각 영상을 획득하는 획득부, 상기 획득된 광각 영상을 보간(Interpolation) 및 크롭(Crop)하고, 상기 획득된 망원 영상의 고주파 성분을 이용하여 상기 망원 영상과 같은 시점을 갖는 중앙 영역과 다른 시점을 갖는 외곽 영역별로 상기 광각 영상의 해상도를 각각 복원하는 복원부, 상기 복원된 각 영역을 합성하여 재구성하는 재구성부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a super-resolution-based high-quality digital continuous zoom image generation system including an acquisition unit for acquiring a telephoto image and a wide-angle image including the same subject, A reconstruction unit for reconstructing the resolutions of the wide-angle image by using the obtained high-frequency components of the telephoto image, And a reconstruction unit for reconstructing the reconstructed regions by synthesizing each reconstructed region.
상기 재구성부는 상기 보간 및 크롭된 광각 영상과 상기 획득된 망원 영상 사이의 기하학적 변환 행렬을 추정하고, 상기 추정된 변환 행렬을 이용하여 생성된 이진화 마스크 맵(Binary mask map)에 따라 상기 복원된 광각 영상의 중앙 영역과 외곽 영역을 합성하여 재구성하는 것을 특징으로 한다.Wherein the reconstructing unit estimates a geometric transformation matrix between the interpolated and cropped wide-angle image and the obtained telephoto image, and outputs the restored wide-angle image according to a binary mask map generated using the estimated transformation matrix And the center area and the outer area are reconstructed.
상기 중앙 영역 복원은 상기 보간 및 크롭된 광각 영상과 상기 망원 영상 간 특징점(Feature point)을 기반으로 한 기하학적 변환 행렬 추정을 통해 상기 두 개의 영상을 정합하여 정합된 망원 영상을 생성하는 망원 영상 생성부, 상기 정합된 망원 영상의 중앙 영역에 존재하는 패치들과 상기 보간 및 크롭된 광각 영상의 중앙 영역에 존재하는 입력 패치를 비교하여 상기 두 개의 영상 간 가장 유사한 패치 위치를 나타내는 최적의 이동벡터를 산출하는 산출부, 상기 산출된 이동벡터에 의해 결정되는 망원 영상의 중심 영역 위치에 존재하는 유사 패치를 이용하여 상기 보간 및 크롭된 광각 영상의 중앙 영역을 복원하는 중앙 영역 복원부를 포함하는 것을 특징으로 한다.Wherein the central region restoration comprises a telescopic image generation unit for generating a matched telephoto image by matching the two images through the geometric transformation matrix estimation based on the feature point between the interpolated and cropped wide angle image and the telephoto image, And comparing the patches existing in the central region of the matched telephoto image with the input patches existing in the central region of the interpolated and cropped wide-angle image to calculate an optimal motion vector indicating a patch position most similar between the two images And a central region reconstructing unit for reconstructing a central region of the interpolated and cropped wide angle image using a similar patch existing at a central region position of the telephoto image determined by the calculated motion vector .
상기 산출부에서 상기 보간 및 크롭된 광각 영상은 디블러링(Deblurring)한 결과 영상인 것을 특징으로 한다.And the interpolated and cropped wide-angle image in the calculation unit is a deblurring result image.
상기 산출부는 하기 수학식5를 이용하여 최적의 이동벡터를 산출하는 것을 특징으로 한다.And the calculating unit calculates an optimal motion vector using the following equation (5).
상기 중앙 영역 복원은 하기 수학식7을 이용하여 상기 보간 및 크롭된 광각 영상에 상기 정합된 망원 영상의 고주파 성분을 추가함으로써, 중앙 영역을 복원하는 것을 특징으로 한다.The central region restoration may restore the central region by adding high frequency components of the matched telephoto image to the interpolated and cropped wide angle image using Equation (7).
상기 정합된 망원 영상의 고주파 성분은 상기 정합된 망원 영상을 블러링(Blurring)하여 차분한 결과 영상인 것을 특징으로 한다.The high frequency component of the matched telephoto image is a resultant image obtained by blurring the matched telephoto image.
상기 외곽 영역 복원은 하기 수학식9를 이용하여 상기 보간 및 크롭된 광각 영상에 상기 광각 영상의 고주파 성분을 추가함으로써, 외곽 영역을 복원하는 것을 특징으로 한다.The outer region reconstruction is performed by adding high frequency components of the wide-angle image to the interpolated and cropped wide-angle image using Equation (9).
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법은 획득부에서 동일한 피사체를 포함하는 망원 영상과 광각 영상을 획득하는 획득단계, 복원부에서 상기 획득된 광각 영상을 보간(Interpolation) 및 크롭(Crop)하고, 상기 획득된 망원 영상의 고주파 성분을 이용하여 상기 망원 영상과 같은 시점을 갖는 중앙 영역과 다른 시점을 갖는 외곽 영역별로 상기 광각 영상의 해상도를 각각 복원하는 복원단계, 재구성부에서 상기 복원된 각 영역을 합성하여 재구성하는 재구성단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method for generating a high resolution digital continuous zoom image based on a super resolution, including: acquiring a telephoto image and a wide-angle image including an identical subject in an acquiring unit; Interpolating and cropping the wide angle image of the wide angle image and using the obtained high frequency components of the telephoto image to adjust the resolution of the wide angle image by the outer region having a different viewpoint from the central region having the same viewpoint as the telephoto image, And a reconstruction step of reconstructing each reconstructed area by reconstructing the reconstructed image.
상기 재구성단계는 상기 보간 및 크롭된 광각 영상과 상기 획득된 망원 영상 사이의 기하학적 변환 행렬을 추정하고, 상기 추정된 변환 행렬을 이용하여 생성된 이진화 마스크 맵(Binary mask map)에 따라 상기 복원된 광각 영상의 중앙 영역과 외곽 영역을 합성하여 재구성하는 것을 특징으로 한다.Wherein the reconstructing step estimates a geometric transformation matrix between the interpolated and cropped wide angle image and the obtained telephoto image, and outputs the restored wide angle image according to a binary mask map generated using the estimated transformation matrix. The central region and the outer region of the image are synthesized and reconstructed.
상기 중앙 영역 복원은 망원 영상 생성부에서 상기 보간 및 크롭된 광각 영상과 상기 망원 영상 간 특징점(Feature point)을 기반으로 한 기하학적 변환 행렬 추정을 통해 상기 두 개의 영상을 정합하여 정합된 망원 영상을 생성하는 망원 영상 생성단계, 산출부에서 상기 정합된 망원 영상의 중앙 영역에 존재하는 패치들과 상기 보간 및 크롭된 광각 영상의 중앙 영역에 존재하는 입력 패치를 비교하여 상기 두 개의 영상 간 가장 유사한 패치 위치를 나타내는 최적의 이동벡터를 산출하는 산출단계, 중앙 영역 복원부에서 상기 산출된 이동벡터에 의해 결정되는 망원 영상의 중심 영역 위치에 존재하는 유사 패치를 이용하여 상기 보간 및 크롭된 광각 영상의 중앙 영역을 복원하는 중앙 영역 복원단계를 포함하는 것을 특징으로 한다.The central region restoration is performed by matching the two images through the geometric transformation matrix estimation based on the feature point between the wide angle image and the telephoto image interpolated and cropped in the telephoto image generation unit to generate a matched telephoto image And comparing the patches existing in the central region of the matched telephoto image with the input patches existing in the central region of the interpolated and cropped wide-angle image in the calculation unit, A central region reconstructing unit for reconstructing a center region of the interpolated and cropped wide-angle image using a similar patch existing at a center region position of a telephoto image determined by the calculated motion vector, And a central region restoration step of restoring the central region.
상기 산출단계에서 상기 보간 및 크롭된 광각 영상은 디블러링(Deblurring)한 결과 영상인 것을 특징으로 한다.And the interpolated and cropped wide-angle image in the calculation step is a deblurring result image.
상기 산출단계는 하기 수학식5를 이용하여 최적의 이동벡터를 산출하는 것을 특징으로 한다.And the calculating step calculates an optimal motion vector using the following equation (5).
상기 중앙 영역 복원은 하기 수학식7을 이용하여 상기 보간 및 크롭된 광각 영상에 상기 정합된 망원 영상의 고주파 성분을 추가함으로써, 중앙 영역을 복원하는 것을 특징으로 한다.The central region restoration may restore the central region by adding high frequency components of the matched telephoto image to the interpolated and cropped wide angle image using Equation (7).
상기 정합된 망원 영상의 고주파 성분은 상기 정합된 망원 영상을 블러링(Blurring)하여 차분한 결과 영상인 것을 특징으로 한다.The high frequency component of the matched telephoto image is a resultant image obtained by blurring the matched telephoto image.
상기 외곽 영역 복원은 하기 수학식9를 이용하여 상기 보간 및 크롭된 광각 영상에 상기 광각 영상의 고주파 성분을 추가함으로써, 외곽 영역을 복원하는 것을 특징으로 한다.The outer region reconstruction is performed by adding high frequency components of the wide-angle image to the interpolated and cropped wide-angle image using Equation (9).
이상에서 설명한 바와 같은 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법에 따르면, 비대칭 듀얼 카메라 시스템에서 화각이 넓지만 해상도가 저하된 광각 영상과, 화각이 좁지만 고해상도인 망원 영상의 특성을 이용하여 디지털 줌 영상의 해상력을 복원할 수 있는 효과가 있다.According to the system and method for generating high quality digital continuous zoom image based on the super resolution as described above, by using the characteristics of a wide angle image having a wide angle of view but having a reduced angle of view and a telephoto image having a narrow angle of view but high resolution in an asymmetric dual camera system The digital zoom can restore the resolution of the image.
도 1은 본 발명의 일 실시예로서, 비대칭 듀얼 카메라 시스템에 의해 획득된 광각 영상과 망원 영상을 보여주는 도면.
도 2는 본 발명의 일 실시예로서, 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템을 나타낸 구성도.
도 3은 본 발명의 일 실시예로서, 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법을 나타낸 순서도.
도 4는 본 발명의 일 실시예로서, 서로 다른 해상도 영상들을 이용하여 고화질 광각 줌 영상을 획득하는 과정을 나타낸 구성도.
도 5는 본 발명의 일 실시예로서, 두 개의 입력 영상들 간 지역적 자기 유사도(Local self-similarity)를 보장하도록 입력 광각 영상과 망원 영상을 정합하는 과정을 나타낸 구성도.
도 6은 본 발명의 일 실시예로서, 보간된 광각 영상, 정합된 망원 영상 및 선택된 유사 패치의 해상도 비교를 나타낸 도면.
도 7은 본 발명의 일 실시예로서, 외곽 영역 아티팩트를 제거하기 위한 검색 범위 축소를 나타낸 도면.
도 8은 본 발명의 일 실시예로서, 단순한 합성 및 본 발명의 비교를 나타낸 도면.
도 9는 본 발명의 일 실시예로서, 객관적인 영상 품질 평가를 위한 테스트 영상을 나타낸 도면.
도 10은 본 발명의 일 실시예로서, 비대칭 듀얼 카메라 시스템에서 1.5 배율을 가진 다른 시점 줌 영상 및 이상적인 줌 영상의 시뮬레이션을 나타낸 도면.
도 11 및 도 12는 본 발명의 일 실시예로서, 1.5 배율로 디지털 줌 결과 비교를 나타낸 도면.
도 13 및 도 14는 본 발명의 일 실시예로서, 2.0 배율로 디지털 줌 결과 비교를 나타낸 도면.
도 15는 본 발명의 일 실시예로서, 3개의 다른 표준 편차를 이용한 비교 결과를 나타낸 도면.
도 16은 본 발명의 일 실시예로서, 1.5 및 2.0 배율로 다양한 
도 17 및 도 18은 본 발명의 일 실시예로서, 실제 다른 해상도를 가진 영상들을 사용하여 1.5 배율로 디지털 줌 결과 비교를 나타낸 도면.
도 19는 본 발명의 일 실시예로서, 1.5 배율로 시뮬레이션된 입력 노이즈 영상 및 줌 결과를 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram showing a wide-angle image and a telephoto image obtained by an asymmetric dual camera system according to an embodiment of the present invention; Fig.
BACKGROUND OF THE
FIG. 3 is a flowchart illustrating a method for generating a high-quality digital continuous zoom image based on a super resolution, according to an embodiment of the present invention.
4 is a diagram illustrating a process of acquiring a high-resolution wide-angle zoom image using different resolution images according to an embodiment of the present invention.
5 is a diagram illustrating a process of matching an input wide-angle image and a telephoto image so as to ensure local self-similarity between two input images according to an embodiment of the present invention.
6 illustrates resolution comparisons of an interpolated wide-angle image, a matched telephoto image, and a selected similar patch, according to one embodiment of the present invention.
FIG. 7 is a diagram illustrating search range reduction for removing outer area artifacts, according to one embodiment of the present invention. FIG.
Figure 8 illustrates a simple synthesis and comparison of the present invention as an embodiment of the present invention.
9 is a diagram illustrating a test image for objective image quality evaluation as an embodiment of the present invention.
10 is a diagram illustrating simulation of another viewpoint zoom image and an ideal zoom image with 1.5 magnification in an asymmetric dual camera system, according to an embodiment of the present invention.
Figures 11 and 12 illustrate digital zoom result comparisons at 1.5 magnification as an embodiment of the present invention.
Figures 13 and 14 illustrate digital zoom result comparisons at 2.0 magnification as one embodiment of the present invention.
15 is a diagram showing a comparison result using three different standard deviations as an embodiment of the present invention.
16 is a diagram showing an example of the present invention.
FIGS. 17 and 18 illustrate digital zoom result comparisons at 1.5 magnification using images with different resolutions, according to one embodiment of the present invention. FIG.
Fig. 19 is a diagram showing an input noise image and a zoom result simulated at 1.5 magnification as an embodiment of the present invention; Fig.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 발명의 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명의 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한 본 발명과 관련된 공지 기능 및 그 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명을 생략하였음에 유의해야할 것이다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention. The features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. Prior to this, terms and words used in this specification and claims are to be interpreted relative to the technical idea of the present invention based on the principle that the inventor can properly define the concept of the term to describe it in the best way of its own invention It should be interpreted in terms of meaning and concept. In the following description, well-known functions and constructions are not described in detail to avoid obscuring the subject matter of the present invention.
비대칭 듀얼 카메라는 다른 초점 거리를 갖는 렌즈(Lens) 및 이미징 센서(Imaging sensor)를 갖는 두 개의 카메라로 구성되어있다. 결과적으로, 획득된 영상 한 쌍은 동일한 장면에서 서로 다른 시점을 보여준다. 구체적으로, 짧은 초점거리를 가진 카메라는 단일 저해상도(LR : Low-resolution) 광각 영상을 생성하고, 긴 초점거리를 가진 다른 카메라는 고해상도(HR : High-resolution) 망원 영상을 생성한다. 이는 LR 광각 영상의 광학적 줌 버전이다. Asymmetric dual cameras consist of two cameras with a lens and imaging sensor with different focal lengths. As a result, a pair of acquired images show different viewpoints in the same scene. Specifically, a camera with a short focal length produces a single low-resolution (LR) wide-angle image, while another camera with a long focal length produces a high-resolution (HR) telephoto image. This is an optical zoom version of the LR wide-angle image.
도 1은 본 발명의 일 실시예로서, 비대칭 듀얼 카메라 시스템에 의해 획득된 광각 영상과 망원 영상을 보여주는 도면이다. 도 1에서 도시된 바와 같이, 여기서 망원 카메라의 초점거리는 광각 카메라보다 2배 더 길다. 광각 렌즈는 배럴 왜곡(Barrel distortion)으로 인한 기하학적 열화를 생성하여, 획득된 광각 영상의 해상도 및 품질을 감소시킨다. 광각 영상 
여기서 f(x)는 이상적인 원본 영상을 나타내고, 
한편, 망원 카메라는 광각 영상이 
여기서 
도 1에 도시된 바와 같이, 두 개의 입력 영상 
본 발명을 도 2 내지 도 19를 참조하여 설명하면 다음과 같다.The present invention will now be described with reference to FIGS. 2 to 19. FIG.
도 2는 본 발명의 일 실시예로서, 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템을 나타낸 구성도이다. 도 2에 도시된 바와 같이, 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템은 동일한 피사체를 포함하는 망원 영상과 광각 영상을 획득하는 획득부(100), 상기 획득된 광각 영상을 보간(Interpolation) 및 크롭(Crop)하고, 상기 획득된 망원 영상의 고주파 성분을 이용하여 상기 망원 영상과 같은 시점을 갖는 중앙 영역과 다른 시점을 갖는 외곽 영역별로 상기 광각 영상의 해상도를 각각 복원하는 복원부(200), 상기 복원된 각 영역을 합성하여 재구성하는 재구성부(300)를 포함하는 것을 특징으로 한다.FIG. 2 is a block diagram illustrating a high definition digital continuous zoom image generation system based on a super resolution, according to an embodiment of the present invention. As shown in FIG. 2, a high resolution digital continuous zoom image generation system based on super resolution includes an
상기 재구성부(300)는 상기 보간 및 크롭된 광각 영상과 상기 획득된 망원 영상 사이의 기하학적 변환 행렬을 추정하고, 상기 추정된 변환 행렬을 이용하여 생성된 이진화 마스크 맵(Binary mask map)에 따라 상기 복원된 광각 영상의 중앙 영역과 외곽 영역을 합성하여 재구성하는 것을 특징으로 한다.The reconstructing
상기 중앙 영역 복원은 상기 보간 및 크롭된 광각 영상과 상기 망원 영상 간 특징점(Feature point)을 기반으로 한 기하학적 변환 행렬 추정을 통해 상기 두 개의 영상을 정합하여 정합된 망원 영상을 생성하는 망원 영상 생성부, 상기 정합된 망원 영상의 중앙 영역에 존재하는 패치들과 상기 보간 및 크롭된 광각 영상의 중앙 영역에 존재하는 입력 패치를 비교하여 상기 두 개의 영상 간 가장 유사한 패치 위치를 나타내는 최적의 이동벡터를 산출하는 산출부, 상기 산출된 이동벡터에 의해 결정되는 망원 영상의 중심 영역 위치에 존재하는 유사 패치를 이용하여 상기 보간 및 크롭된 광각 영상의 중앙 영역을 복원하는 중앙 영역 복원부를 포함하는 것을 특징으로 한다.Wherein the central region restoration comprises a telescopic image generation unit for generating a matched telephoto image by matching the two images through the geometric transformation matrix estimation based on the feature point between the interpolated and cropped wide angle image and the telephoto image, And comparing the patches existing in the central region of the matched telephoto image with the input patches existing in the central region of the interpolated and cropped wide-angle image to calculate an optimal motion vector indicating a patch position most similar between the two images And a central region reconstructing unit for reconstructing a central region of the interpolated and cropped wide angle image using a similar patch existing at a central region position of the telephoto image determined by the calculated motion vector .
상기 산출부에서 상기 보간 및 크롭된 광각 영상은 디블러링(Deblurring)한 결과 영상인 것을 특징으로 한다.And the interpolated and cropped wide-angle image in the calculation unit is a deblurring result image.
상기 산출부는 하기 수학식5를 이용하여 최적의 이동벡터를 산출하는 것을 특징으로 한다.And the calculating unit calculates an optimal motion vector using the following equation (5).
상기 중앙 영역 복원은 하기 수학식7을 이용하여 상기 보간 및 크롭된 광각 영상에 상기 정합된 망원 영상의 고주파 성분을 추가함으로써, 중앙 영역을 복원하는 것을 특징으로 한다.The central region restoration may restore the central region by adding high frequency components of the matched telephoto image to the interpolated and cropped wide angle image using Equation (7).
상기 정합된 망원 영상의 고주파 성분은 상기 정합된 망원 영상을 블러링(Blurring)하여 차분한 결과 영상인 것을 특징으로 한다.The high frequency component of the matched telephoto image is a resultant image obtained by blurring the matched telephoto image.
상기 외곽 영역 복원은 하기 수학식9를 이용하여 상기 보간 및 크롭된 광각 영상에 상기 광각 영상의 고주파 성분을 추가함으로써, 외곽 영역을 복원하는 것을 특징으로 한다.The outer region reconstruction is performed by adding high frequency components of the wide-angle image to the interpolated and cropped wide-angle image using Equation (9).
도 3은 본 발명의 일 실시예로서, 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법을 나타낸 순서도이다. 도 3에 도시된 바와 같이, 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법은 획득부(100)에서 동일한 피사체를 포함하는 망원 영상과 광각 영상을 획득하는 획득단계(S100), 복원부(200)에서 상기 획득된 광각 영상을 보간(Interpolation) 및 크롭(Crop)하고, 상기 획득된 망원 영상의 고주파 성분을 이용하여 상기 망원 영상과 같은 시점을 갖는 중앙 영역과 다른 시점을 갖는 외곽 영역별로 상기 광각 영상의 해상도를 각각 복원하는 복원단계(S200), 재구성부(300)에서 상기 복원된 각 영역을 합성하여 재구성하는 재구성단계(S300)를 포함하는 것을 특징으로 한다.3 is a flowchart illustrating a method for generating a high-resolution digital continuous zoom image based on a super resolution, according to an embodiment of the present invention. As shown in FIG. 3, a method for generating a high-quality digital continuous zoom image based on a super resolution includes an acquiring step S100 for acquiring a telephoto image and a wide-angle image including the same subject in the acquiring
상기 재구성단계(S300)는 상기 보간 및 크롭된 광각 영상과 상기 획득된 망원 영상 사이의 기하학적 변환 행렬을 추정하고, 상기 추정된 변환 행렬을 이용하여 생성된 이진화 마스크 맵(Binary mask map)에 따라 상기 복원된 광각 영상의 중앙 영역과 외곽 영역을 합성하여 재구성하는 것을 특징으로 한다.In the reconstruction step S300, a geometric transformation matrix between the interpolated and cropped wide-angle image and the obtained telephoto image is estimated, and the geometric transformation matrix is calculated using the binarization mask map And reconstructs a composite image by synthesizing a central area and an outer area of the restored wide-angle image.
상기 중앙 영역 복원은 망원 영상 생성부에서 상기 보간 및 크롭된 광각 영상과 상기 망원 영상 간 특징점(Feature point)을 기반으로 한 기하학적 변환 행렬 추정을 통해 상기 두 개의 영상을 정합하여 정합된 망원 영상을 생성하는 망원 영상 생성단계, 산출부에서 상기 정합된 망원 영상의 중앙 영역에 존재하는 패치들과 상기 보간 및 크롭된 광각 영상의 중앙 영역에 존재하는 입력 패치를 비교하여 상기 두 개의 영상 간 가장 유사한 패치 위치를 나타내는 최적의 이동벡터를 산출하는 산출단계, 중앙 영역 복원부에서 상기 산출된 이동벡터에 의해 결정되는 망원 영상의 중심 영역 위치에 존재하는 유사 패치를 이용하여 상기 보간 및 크롭된 광각 영상의 중앙 영역을 복원하는 중앙 영역 복원단계를 포함하는 것을 특징으로 한다.The central region restoration is performed by matching the two images through the geometric transformation matrix estimation based on the feature point between the wide angle image and the telephoto image interpolated and cropped in the telephoto image generation unit to generate a matched telephoto image And comparing the patches existing in the central region of the matched telephoto image with the input patches existing in the central region of the interpolated and cropped wide-angle image in the calculation unit, A central region reconstructing unit for reconstructing a center region of the interpolated and cropped wide-angle image using a similar patch existing at a center region position of a telephoto image determined by the calculated motion vector, And a central region restoration step of restoring the central region.
상기 산출단계에서 상기 보간 및 크롭된 광각 영상은 디블러링(Deblurring)한 결과 영상인 것을 특징으로 한다.And the interpolated and cropped wide-angle image in the calculation step is a deblurring result image.
상기 산출단계는 하기 수학식5를 이용하여 최적의 이동벡터를 산출하는 것을 특징으로 한다.And the calculating step calculates an optimal motion vector using the following equation (5).
상기 중앙 영역 복원은 하기 수학식7을 이용하여 상기 보간 및 크롭된 광각 영상에 상기 정합된 망원 영상의 고주파 성분을 추가함으로써, 중앙 영역을 복원하는 것을 특징으로 한다.The central region restoration may restore the central region by adding high frequency components of the matched telephoto image to the interpolated and cropped wide angle image using Equation (7).
상기 정합된 망원 영상의 고주파 성분은 상기 정합된 망원 영상을 블러링(Blurring)하여 차분한 결과 영상인 것을 특징으로 한다.The high frequency component of the matched telephoto image is a resultant image obtained by blurring the matched telephoto image.
상기 외곽 영역 복원은 하기 수학식9를 이용하여 상기 보간 및 크롭된 광각 영상에 상기 광각 영상의 고주파 성분을 추가함으로써, 외곽 영역을 복원하는 것을 특징으로 한다.The outer region reconstruction is performed by adding high frequency components of the wide-angle image to the interpolated and cropped wide-angle image using Equation (9).
상기 도 2 및 도 3을 좀 더 구체적으로 설명하기 위해 도 4 내지 도 19를 참조하면 다음과 같다.2 and 3 will be described in more detail with reference to FIGS. 4 to 19. FIG.
도 4는 본 발명의 일 실시예로서, 서로 다른 해상도 영상들을 이용하여 고화질 광각 줌 영상을 획득하는 과정을 나타낸 구성도이다. 4 is a block diagram illustrating a process of acquiring a high-resolution wide-angle zoom image using different resolution images according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예로서, 두 개의 입력 영상들 간 지역적 자기 유사도(Local self-similarity)를 보장하도록 입력 광각 영상과 망원 영상을 정합하는 과정을 나타낸 구성도이다. 5 is a diagram illustrating a process of matching an input wide-angle image and a telephoto image so as to ensure local self-similarity between two input images according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예로서, 보간된 광각 영상, 정합된 망원 영상 및 선택된 유사 패치의 해상도 비교를 나타낸 도면이다. (도 6의 (a), (b)는 보간된 광각 영상 및 정합된 망원 영상의 크롭 및 확대된 영역, (c)는 입력 광각 영상으로부터 선택된 유사 패치들, (d)는 정합된 망원 영상으로부터 선택된 유사 패치들이다.) 6 is a diagram illustrating a resolution comparison of an interpolated wide-angle image, a matched telephoto image, and a selected similar patch, according to an embodiment of the present invention. (C) shows similar patches selected from the input wide-angle image, (d) shows the extracted patch image from the matched telephoto image, (c) Selected similar patches.)
도 7은 본 발명의 일 실시예로서, 외곽 영역 아티팩트를 제거하기 위한 검색 범위 축소를 나타낸 도면이다. (도 7의 (a)는 
도 8은 본 발명의 일 실시예로서, 단순한 합성 및 본 발명의 비교를 나타낸 도면이다. (도 8의 (a)는 줌 광각 영상, (b)는 줌 광각 영상 및 정합된 망원 영상의 단순한 합성 결과, (c)는 본 발명을 이용한 합성 영상이다.)8 is a diagram showing a simple synthesis and a comparison of the present invention, as an embodiment of the present invention. ((A), (b), and (c) are merely synthesized results of the zoom wide angle image and the matched telephoto image, respectively.
도 9는 본 발명의 일 실시예로서, 객관적인 영상 품질 평가를 위한 테스트 영상을 나타낸 도면이다.9 is a diagram illustrating a test image for an objective image quality evaluation according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예로서, 비대칭 듀얼 카메라 시스템에서 1.5 배율을 가진 다른 시점 줌 영상 및 이상적인 줌 영상의 시뮬레이션을 나타낸 도면이다.10 is a diagram illustrating simulation of another viewpoint zoom image and an ideal zoom image having 1.5 magnification in an asymmetric dual camera system according to an embodiment of the present invention.
도 11 및 도 12는 본 발명의 일 실시예로서, 1.5 배율로 디지털 줌 결과 비교를 나타낸 도면이다. (도 11 및 도 12의 (a)는 시뮬레이션된 광각 영상, (b)는 시뮬레이션된 망원 영상, (c)는 시뮬레이션된 이상적인 영상, (d)는 큐빅-스플라인(Cubic-spline) 보간, (e)는 Yang의 방법, (f)는 Yang의 방법, (g)는 Timofte의 방법, (h)는 Yu의 방법, (i)는 Dong의 방법, (j)는 본 발명의 결과( 
도 13 및 도 14는 본 발명의 일 실시예로서, 2.0 배율로 디지털 줌 결과 비교를 나타낸 도면이다. (도 13 및 도 14의 (a)는 시뮬레이션된 광각 영상, (b)는 시뮬레이션된 망원 영상, (c)는 시뮬레이션된 이상적인 영상, (d)는 큐빅-스플라인(Cubic-spline) 보간, (e)는 Yang의 방법, (f)는 Yang의 방법, (g)는 Timofte의 방법, (h)는 Yu의 방법, (i)는 Dong의 방법, (j)는 본 발명의 결과( 
도 15는 본 발명의 일 실시예로서, 3개의 다른 표준 편차를 이용한 비교 결과를 나타낸 도면이다. (도 15의 (a)는 
도 16은 본 발명의 일 실시예로서, 1.5 및 2.0 배율로 다양한 
도 17 및 도 18은 본 발명의 일 실시예로서, 실제 다른 해상도를 가진 영상들을 사용하여 1.5 배율로 디지털 줌 결과 비교를 나타낸 도면이다. (도 17 및 도 18의 (a)는 입력 광각 영상, (b)는 입력 망원 영상, (c)는 큐빅-스플라인(Cubic-spline) 보간, (d)는 Yang의 방법, (e)는 Yang의 방법, (f)는 Timofte의 방법, (g)는 Yu의 방법, (h)는 Dong의 방법, (i)는 본 발명의 결과( 
도 19는 본 발명의 일 실시예로서, 1.5 배율로 시뮬레이션된 입력 노이즈 영상 및 줌 결과를 나타낸 도면이다. (도 19의 (a)는 시뮬레이션된 노이즈 광각 영상, (b)는 시뮬레이션된 노이즈 망원 영상, (c)는 결과 영상이다.)FIG. 19 is a diagram showing an input noise image and a zoom result simulated at 1.5 magnification as an embodiment of the present invention. FIG. (Fig. 19 (a) is a simulated noise wide angle image, (b) is a simulated noise telephoto image, and (c) is a result image.)
도 4 내지 도 19에 도시된 바와 같이, 본 발명은 서로 다른 시점을 가진 두 개의 입력 영상을 이용하여 고화질 광각 줌 영상을 획득하는 SR 방법을 보여준다. 본 발명은 광각 영상과 망원 영상이 각각 같은 시점에서의 LR 및 HR 영상이라는 것을 정의한다.4 to 19, the present invention shows an SR method for acquiring a high-resolution wide-angle zoom image using two input images having different viewpoints. The present invention defines that the wide angle image and the telephoto image are LR and HR images at the same time, respectively.
본 발명은 도 4에 나타난 것처럼 4가지 단계로 구성된다.:The present invention consists of four steps as shown in Figure 4:
(ⅰ) 망원 영상 및 보간된 광각 영상의 정합(I) matching of telephoto image and interpolated wide-angle image
(ⅱ) 줌 광각 영상의 중앙 영역에서 SR 재구성(Ii) SR reconstruction in the central region of the zoom wide angle image
(ⅲ) 줌 광각 영상의 외곽 영역에서 SR 재구성(Iii) SR reconstruction in the outer region of the zoom wide angle image
(ⅳ) (ⅱ) 및 (ⅲ)단계로부터 재구성된 결과 합성(Fusion)(Iv) reconstructed results from steps (ii) and (iii)
본 발명은 지역적 자기 유사도(Local self-similarity)를 기반으로 망원 영상에서 선택된 유사 패치를 사용하여 LR 광각 영상의 해상도을 복원한다. 또한, 본 발명은 YCbCr 컬러 공간에서 Y 채널을 처리한 다음, 처리된 Y 채널 및 보간된 Cb 및 Cr 채널을 다시 RGB 컬러 공간으로 변환한다.The present invention restores the resolution of an LR wide-angle image using a similar patch selected from a telephoto image based on local self-similarity. The present invention also processes the Y channel in the YCbCr color space and then converts the processed Y channel and interpolated Cb and Cr channels back to the RGB color space.
추가로, 본 발명은 입력 영상이 렌즈 왜곡이나 밝기 변화 없이 획득된다고 가정한다. 실제 경우, 광각 렌즈의 배럴 왜곡(Barrel distortion)은 기존 렌즈 왜곡 보정 알고리즘을 사용하여 수정될 수 있다. 추가로, 두 개의 입력 영상 사이 컬러 명암도의 차이는 밝기 보정 및 색 향상성 방법(Color constancy method)을 사용하여 수정될 수 있다.Further, it is assumed that the input image is obtained without lens distortion or brightness change. In practice, the barrel distortion of the wide-angle lens can be modified using the existing lens distortion correction algorithm. In addition, the difference in color intensity between the two input images can be corrected using the brightness constancy method and the color constancy method.
다른 해상도를 가진 영상을 정합하는 과정은 다음과 같다.The process of matching images with different resolutions is as follows.
비대칭 듀얼 카메라 시스템은 카메라와 다른 초점 거리 간 거리 때문에 두 개의 입력 영상 간 기하학적 격차가 발생한다. 기하학적 차이는 광각 영상의 입력 LR 패치가 주어졌을 때, 망원 영상에 존재하는 유사한 HR 패치를 정확히 추정하는 성능을 저하시킨다. 이 문제를 해결하기 위해, 본 발명의 정합 과정은 먼저 단순한 보간법을 사용하여 확대 배율 상수(Magnification factor) 
본 발명에서, 망원 영상과 보간된 광각 영상의 정합은 추출된 특징점 사이 기하학적 관계를 추정함으로써 수행된다. 여기에서, SURF(Speeded-up robust features)을 사용하여 특징 포인트를 검출한 다음, RANSAC(Random sample consensus) 알고리즘을 통해 아웃라이어(Outliers)를 제거했다. 정합된 망원 영상 
여기서 
여기서 
망원 영상은 기하학적 변환 과정에서 다운샘플링(Downsample)되기 때문에, 도 3에 도시된 바와 같이, 
중심 영역에서의 해상도 복원 방법은 다음과 같다.The resolution restoration method in the center area is as follows.
HR 광각 영상을 획득하기 위해서, 본 발명의 SR 방법은 정합된 망원 영상 
여기서 
도 6은 해상도에서 보간된 광각 영상과 정합된 망원 영상으로부터의 유사한 패치 집합 2개를 비교한다. 도 6(a) 및 6(b)는 보간된 광각 영상과 정합된 망원 영상의 선택된 2개의 영역을 나타낸다. 도 6에 도시된 바와 같이, 입력 광각 영상은 영상 보간 과정에서 블러링 아티팩트(Blurring artifact)를 보여준다. Figure 6 compares two similar sets of patches from a wide angle image interpolated at resolution and a matched telephoto image. 6 (a) and 6 (b) show selected two regions of the telephoto image matched with the interpolated wide-angle image. As shown in FIG. 6, the input wide-angle image shows a blurring artifact in the image interpolation process.
도 6(c) 및 6(d)는 각각 입력 광각 영상 및 정합된 망원 영상에서 선택된 유사 패치 집합 2개를 보여준다. 도 6(c)에 도시된 유사 패치를 선택하기 위해, 크롭된 입력 LR 패치가 단일 LR 영상의 지정된 검색 영역에서 반복된다고 가정한다. 입력 LR 패치가 단일 입력 LR 영상 내의 유사 패치와 일치하지만, 블러 아티팩트에 의해 에지와 질감의 디테일 성분을 보존할 수는 없다. 한편, 도 6(d)에서 도시된 것처럼, 정합된 망원 영상에서 선택된 유사 패치는 입력 LR 영상 내에서 선택된 유사 패치보다 에지 및 질감을 더 잘 보존한다. 이러한 이유로, 본 발명은 고주파 성분을 재구성하는 의미에서 복원 성능을 현저하게 향상시킬 수 있다.6 (c) and 6 (d) show two similar patch sets selected from the input wide-angle image and the matched telephoto image, respectively. In order to select the similar patch shown in Fig. 6 (c), it is assumed that the cropped input LR patch is repeated in a designated search area of a single LR image. Although the input LR patch matches a similar patch in a single input LR image, it can not preserve edge and texture detail components by blur artifacts. On the other hand, as shown in Fig. 6 (d), the similar patch selected in the matched telephoto image better preserves the edge and texture than the similar patch selected in the input LR image. For this reason, the present invention can remarkably improve the restoration performance in the sense of reconstructing a high-frequency component.
여기서 
추정된 HR 패치 
외곽 영역에서의 해상도 복원 방법은 다음과 같다.The resolution restoration method in the outer area is as follows.
도 1에 도시된 바와 같이, 망원 카메라에 의해 획득되는 망원 영상을 이상적인 원본 영상을 크롭하여 생성되기 때문에 상기 보간 및 크롭된 광각 영상 
여기서 
최종적으로 복원된 HR 광각 영상 
도 8은 광각 영상과 망원 영상의 단순한 합성 및 본 발명의 결과를 비교하여 보여준다. HR 광각 영상을 획득하는 간단한 방법은 정합된 망원 영상을 광각 영상의 중앙 영역으로 적절히 삽입하는 것이다. 하지만 도 8(b)에 도시된 바와 같이, 서로 다른 렌즈의 초점거리와 영상 센서간의 거리는 합성된 영상의 경계에서 기하학적 차이를 발생시킨다. 한편, 도 8(c)에 도시된 바와 같이, 본 발명은 정합된 망원 영상에서 발견된 유사 패치를 사용하기 때문에, 초해상도 영상 복원 과정중에 발생할 수 있는 아티팩트 없이 HR 영상을 획득할 수 있다. FIG. 8 shows a simple synthesis of a wide-angle image and a telephoto image and a comparison of the results of the present invention. A simple way to acquire a HR wide-angle image is to insert the matched telephoto image into the central region of the wide-angle image as appropriate. However, as shown in FIG. 8 (b), the focal lengths of the different lenses and the distance between the image sensors generate geometric differences at the boundaries of the synthesized image. Meanwhile, as shown in FIG. 8 (c), since the similar patches found in the matched telephoto images are used, HR images can be obtained without artifacts that may occur during the super resolution image restoration process.
본 발명의 일 실시예에 따른 실험 결과는 다음과 같다.Experimental results according to an embodiment of the present invention are as follows.
실험에서는 비대칭 듀얼 카메라 시스템에 의해 획득된 다른 해상도를 갖는 영상을 이용하여 본 발명의 디지털 줌 방법의 성능을 평가하였다. 이 실험에서, 망원 카메라의 초점거리를 광각 카메라의 초점거리 보다 2배 더 길게 설정했다. 복원된 영상의 정량적인 평가는 최대 신호 대 잡음비(PSNR : Peak signal-to-noise ratio)와 구조적 유사도 지수(SSIM : Structural similarity index measure)를 사용하여 기존의 SR 방법들의 결과들과 비교를 통해 수행되었다.In the experiment, the performance of the digital zooming method of the present invention was evaluated using images having different resolutions obtained by the asymmetric dual camera system. In this experiment, the focal length of the telephoto camera was set to be twice as long as the focal length of the wide-angle camera. Quantitative evaluation of reconstructed images is performed by comparing the results with those of existing SR methods using the maximum signal-to-noise ratio (PSNR) and the structural similarity index (SSIM) .
본 발명에서는, 서로 다른 렌즈를 이용하여 두 개의 다른 시점 영상이 획득되기 때문에, 입력 LR 광각 영상 및 HR 망원 영상은 단순하게 LR 영상의 열화 모델(Degradation model)을 사용하여 시뮬레이션 될 수 없다. 이러한 이유로, 광각 카메라와 망원 카메라의 영상 획득 모델을 사용하여 다른 시점 영상을 시뮬레이션 했다. 시뮬레이션 과정 중, 상기 수학식2에서 명암도 변환 함수에 의한 명암도와 상기 수학식1에서 렌즈 왜곡 연산자(Operator) 
도 10은 본 발명의 비대칭 듀얼 카메라 시스템에서 다른 시점을 갖는 영상을 시뮬레이션을 수행하는 과정을 보여준다. 여기에서, 도 9의 표준 테스트 영상이 무한한 해상도를 가진 이상적인 원본 장면이라고 가정한다. 이상적인 원본 장면 f(x)을 고려하였을 때, 광각 영상은 다운샘플링 연산자 
256X256 크기의 시뮬레이션된 영상을 사용하여 본 발명의 디지털 줌 방법 성능을 비교 및 평가한다. 도 11 및 12에 도시된 바와 같이, 본 발명의 SR 방법 및 기존 SR 방법을 사용하여 시뮬레이션된 입력 광각 영상에 대해 1.5 배율로 확대를 수행하였고, 확대된 결과 영상은 256X256 크기로 크롭되었다. 본 발명은 표준 편차 
도 11(d) 및 12(d)에 도시된 바와 같이, 단순한 보간 방법은 다항식 보간 커널(Polynomial interpolation kernel)을 사용하여 HR 영상의 픽셀 값을 추정하기 때문에 확대된 결과 영상의 에지 근처에서 블러링 아티팩트를 보여준다. Yang은 다중스케일 공간에서 입력 LR 패치에 대해 반복적으로 나타나는 HR 패치를 추정하여 고해상도 영상 복원을 수행하였다. 하지만 이들은 도 11(e) 및 12(e)에 도시된 바와 같이, 에지 근처에서 블러링 및 계단 현상(Jagging) 아티팩트가 발생한 결과를 제공했다.As shown in FIGS. 11 (d) and 12 (d), the simple interpolation method uses a polynomial interpolation kernel to estimate the pixel value of the HR image, so that blurring near the edge of the enlarged result image Show artifacts. Yang estimates HR patches repeatedly appearing on input LR patches in multi-scale space, and performs high-resolution image reconstruction. However, they provided the result that blurring and jagging artifacts occurred near the edges, as shown in Figures 11 (e) and 12 (e).
Yang은 LR 및 HR 패치의 희소를 나타내는 사전 집합을 사용하여 입력 LR 영상을 복원했다. 이 방법은 단순한 보간 방법보다 더 좋은 결과를 제공하였지만, Yang의 방법은 복원된 HR 및 입력 LR 영상 사이의 데이터 충실도를 최소화 하기 위한 역투사(Backprojection) 과정에서 블러링 및 계단 현상 아티팩트를 생성했다. 추가로, Timofte 방법은 도 11(g) 및 12(g)에 도시된 바와 같이, 영상 복원을 빠르게 수행할 수 있지만, 모서리 근처 부자연스러운 아티팩트가 발생하는 문제점이 있다.Yang restored the input LR image using a dictionary set representing the scarcity of the LR and HR patches. Although this method provided better results than the simple interpolation method, Yang's method generated blurring and staircase artifacts in the backprojection process to minimize the data fidelity between the reconstructed HR and input LR images. In addition, the Timofte method can quickly perform image restoration as shown in FIGS. 11 (g) and 12 (g), but there is a problem that unnatural artifacts near edges occur.
Yu는 다른 확장된 공간에서 선택된 다중 LR 패치를 가진 다중 선형 regression을 사용하여 HR 패치를 추정했고, 상기 추정된 HR 패치를 이상적인 HR 영상에 대한 제약으로서 사용했다. 하지만, 이 방법은 블러링된 HR 영상과 성능이 정규화 파라미터(Regularization parameters)에 따라 달라진다는 것을 보여준다. Dong은 컨볼루션 신경망 모델(Convolutional neural network model)의 다양한 HR 트레이닝 영상으로부터 학습된 데이터 특징을 사용하여 HR 영상을 재구성했다. 이 방법은 다양한 트레이닝 데이터로부터 학습된 특징을 사용하여 향상된 결과를 제공하지만, 이는 입력 LR 패치에 대한 예시가 없을 경우 모서리 근처 또는 평탄한 영역에서의 아티팩트를 피할 수는 없다.Yu estimated the HR patch using multiple linear regression with multiple LR patches selected in different extended spaces and used the estimated HR patch as a constraint on the ideal HR image. However, this method shows that the blurred HR image and its performance are dependent on the regularization parameters. Dong reconstructed the HR image using data features learned from various HR training images of the convolution neural network model. This method provides improved results using features learned from various training data, but it can not avoid artifacts near edges or flat areas without an illustration of the input LR patch.
기존 단일 영상 기반 SR 방법이 향상된 결과 영상을 제공했다하더라도, 이 방법은 복원 아티팩트를 극복할 수 없다. 반면에, 본 발명에서는 광학 줌에 의해 생성된 망원 영상에서 고주파 성분을 추정하기 때문에 복원 과정에서 블러링 또는 계단 현상 아티팩트가 없는 상당히 향상된 결과를 제공했다.Although the existing single-image-based SR method provided an improved result image, this method can not overcome restoration artifacts. On the other hand, in the present invention, since the high frequency component is estimated from the telephoto image generated by the optical zoom, the reconstruction process provides a considerably improved result without blurring or staircase artifacts.
추가로, 도 13 및 14에서 도시된 바와 같이, 같은 방식으로 디지털 줌 성능을 2.0 배율로 비교했다. 이 실험에서, 시뮬레이션된 영상이 이상적인 원본 영상 f(x)의 공간해상도가 절반이 되는 중심 영역을 크로핑함으로써 생성되었기 때문에 시뮬레이션된 망원 영상을 두 배로 확대한 이상적인 영상으로 사용했다. 표 1 및 2는 각각 결과 영상의 PSNR 및 SSIM 값의 비교를 보여준다. (표 1은 본 발명의 일 실시예로서, 1.5배율 PSNR 및 SSIM을 사용하여 객관적인 품질 비교 평가이고, 표 2는 본 발명의 일 실시예로서, 2.0 배율 PSNR 및 SSIM을 사용하여 객관적인 품질 비교 평가이다.) 표에 요약된 바와 같이, 본 발명은 객관적인 영상 품질 평가에서 기존 SR 방법보다 품질이 향상된 HR 영상을 제공했다. 표 3은 규약과 표기법을 요약한 것이다.In addition, as shown in FIGS. 13 and 14, the digital zoom performance was compared at the same magnification of 2.0. In this experiment, because the simulated image was generated by cropping the center area with half the spatial resolution of the ideal original image f (x), we used the simulated telephoto image as an ideal image doubled in size. Tables 1 and 2 show the comparison of the PSNR and SSIM values of the resultant image, respectively. (Table 1 is an objective quality comparison evaluation using 1.5 magnification PSNR and SSIM as one embodiment of the present invention. Table 2 is an objective quality comparison evaluation using 2.0 magnification PSNR and SSIM as one embodiment of the present invention . As summarized in the table, the present invention provides an HR image with improved quality over the existing SR method in objective image quality evaluation. Table 3 summarizes the conventions and notations.
본 발명의 성능은 3.6GHz CPU 및 16Gbyte RAM을 가진 개인용 컴퓨터를 사용하여 평가되었다. 256X256 크기의 테스트 영상이 확대배율 1.5에 의해 확대되었다. 자기 유사도 기반 방법은 다중스케일 공간에서 유사한 패치를 검색하기 때문에 1시간 이상이 소요되었다. 스파스 코딩(Sparse coding) 기반 SR 방법, Timofte 방법 및 Dong 방법은 각각 많은 시간이 소요되는 학습과정 없이 각각 96.09, 1.09 및 8.45초가 걸렸다. Yu 방법은 20번 반복동안 71.04초가 걸렸지만, 영상 복원 성능은 반복 횟수에 따라 의존적이다. 한편, 본 발명은 결과 영상을 성공적으로 생성하기 위해 11X11 크기의 검색 영역 및 
추가적으로, 다양한 가우시안 커널, 패치 크기 및 배율 
도 16은 
실제 다른 시점 영상들의 비교하면 다음과 같다.A comparison of the actual viewpoint images is as follows.
다른 해상도를 가진 실제 사진들을 사용하여 본 발명의 SR 방법과 기존 SR 방법의 성능을 비교했다. 실제 입력 영상을 획득하기 위해, 광각 카메라 및 망원 카메라의 초점거리는 각각 
서로 다른 해상도 영상이 디지털 카메라의 다른 노출 및 화이트 밸런스 조건 하에 획득되어, 입력 영상 간 명암도 차이가 발생했다. 이 문제를 해결하기 위해, 본 발명은 광각 영상과 정합된 망원 영상 사이 히스토그램 매칭 과정(Histogram matching process)을 수행했다. 추가로, 가려짐(Occlusion) 현상은 일반적인 두 개의 카메라 시스템에서 발생할 수 있다. 하지만, 본 발명은 정합된 망원 영상에서 고주파 성분을 이용하여 영상 복원을 수행하기 때문에 가려짐 현상 없는 결과를 제공할 수 있다. Different resolution images were obtained under different exposure and white balance conditions of the digital camera, resulting in differences in contrast between input images. In order to solve this problem, the present invention has performed a histogram matching process between a wide-angle image and a matched telephoto image. In addition, occlusion can occur in two common camera systems. However, since the present invention performs image reconstruction using a high-frequency component in a matched telephoto image, it can provide a result without blindness.
도 17 및 18은 실제 다른 해상도 영상을 사용하여 본 발명의 SR 방법과 기존 SR 방법의 고해상도 영상 복원 결과를 보여준다. 단순한 보간 방법은 에지 영역에서 블러링 아티팩트를 생성한다. 도 17 및 18의 크롭되고 확대된 버전에서 보여진 것처럼, 기존 단일 영상 기반 SR 방법이 단순한 보간 방법과 비교하여 향상된 결과를 제공했지만, 이는 에지와 질감에서의 블러링 및 재깅 아티팩트 현상을 극복할 수 없다. 한편, 본 발명에서는 입력 LR 광각 영상이 망원 영상에서 추정된 최적의 고주파 성분을 사용하여 복원되기 때문에 기존 방법과 달리 에지와 질감을 보존하는 복원 결과를 제공할 수 있다.FIGS. 17 and 18 show high resolution image restoration results of the SR method and the conventional SR method of the present invention using actually different resolution images. A simple interpolation method generates blurring artifacts in the edge region. As shown in the cropped and enlarged versions of FIGS. 17 and 18, the existing single image based SR method provides improved results compared to the simple interpolation method, but this can not overcome the blurring and jagging artifacts at the edges and textures . In the present invention, since the input LR wide-angle image is reconstructed using the optimal high-frequency component estimated from the telephoto image, unlike the conventional method, it is possible to provide a restoration result preserving the edge and texture.
실제 환경에서 입력 영상을 획득하는 과정에서 노이즈가 포함된다. 노이즈가 포함된 입력 영상의 경우, 노이즈에 의한 잘못된 특징 매칭으로 인해 정합 과정이 부정확해질 수 있고, 추정된 HR 패치 또한 노이즈를 포함할 수 있다. 도 19는 시뮬레이션된 노이즈 입력 영상을 사용한 실험적 결과를 보여준다. 도 19(c)에 도시된 바와 같이, 줌 영상 결과는 노이즈에 의해 열화되었다. 이 문제를 해결하기 위해 노이즈 제거 방법은 전처리로서 적용될 수 있다. Noise is included in the process of acquiring the input image in the real environment. In the case of an input image including noise, the matching process may be inaccurate due to erroneous feature matching due to noise, and the estimated HR patch may also include noise. Figure 19 shows experimental results using a simulated noise input image. As shown in Fig. 19 (c), the zoom image result is deteriorated by noise. To solve this problem, the noise cancellation method can be applied as a preprocessing.
결론적으로, 본 발명은 비대칭 듀얼 카메라 시스템에서 고품질로 확대된 광각 영상을 획득하기 위해 새로운 디지털 줌 방법을 제안했다. 본 발명은 광학적 줌 영상에서 발견된 유사한 패치의 고주파 성분을 사용하여 입력 LR 광각 영상을 복원했다. 실험적 결과에서 보여진 것처럼, 입력 LR 광각 영상의 입력 패치와 유사한 패치는 더 정확한 고주파 성분을 포함하고 있는 망원 영상에서 추정되기 때문에, 본 발명은 모서리와 질감을 보존하는 측면에서 더 좋게 복원된 HR 광각 영상을 제공할 수 있다. 본 발명은 고해상도 센서와 다중의 저해상도 센서를 이용하여 획득되는 다중 분광 영상인 위성 영상 복원에 적용될 수 있다. 향후, 본 발명은 입력 LR 광각 영상의 이상적인 영상에 대한 선험적 지식으로서 망원 영상을 사용하여 변분최적화(Variational optimization method)을 적용함으로써 발전될 수 있다.In conclusion, the present invention proposes a new digital zooming method to obtain a high-quality enlarged wide-angle image in an asymmetric dual camera system. The present invention restores an input LR wide angle image using high frequency components of a similar patch found in an optical zoom image. As shown in the experimental results, since the patch similar to the input patch of the input LR wide-angle image is estimated from the telephoto image containing the more accurate high-frequency component, the present invention can be applied to a HR- Can be provided. The present invention can be applied to satellite image restoration, which is a multi-spectral image obtained using a high-resolution sensor and multiple low-resolution sensors. In the future, the present invention can be developed by applying a variational optimization method using a telephoto image as an a priori knowledge of an ideal image of an input LR wide-angle image.
이상에서 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정들도 본 발명의 범위에 속하는 것으로 간주되어야할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be appreciated by those skilled in the art that numerous changes and modifications may be made without departing from the invention. It is therefore intended that all such pertinent modifications and variations be considered within the scope of the present invention.
100 : 획득부 200 : 복원부
300 : 재구성부100: Acquiring unit 200:
300: reconstruction unit
Claims (16)
상기 획득된 광각 영상을 보간(Interpolation) 및 크롭(Crop)하고, 상기 획득된 망원 영상의 고주파 성분을 이용하여 상기 망원 영상과 같은 시점을 갖는 중앙 영역과 다른 시점을 갖는 외곽 영역별로 상기 광각 영상의 해상도를 각각 복원하는 복원부; 및
상기 복원된 각 영역을 합성하여 재구성하는 재구성부;를 포함하며,
상기 중앙 영역 복원은,
상기 보간 및 크롭된 광각 영상과 상기 망원 영상 간 특징점(Feature point)을 기반으로 한 기하학적 변환 행렬 추정을 통해 상기 두 개의 영상을 정합하여 정합된 망원 영상을 생성하는 망원 영상 생성부;
상기 정합된 망원 영상의 중앙 영역에 존재하는 패치들과 상기 보간 및 크롭된 광각 영상의 중앙 영역에 존재하는 입력 패치를 비교하여 상기 두 개의 영상 간 가장 유사한 패치 위치를 나타내는 최적의 이동벡터를 산출하는 산출부; 및
상기 산출된 이동벡터에 의해 결정되는 망원 영상의 중심 영역 위치에 존재하는 유사 패치를 이용하여 상기 보간 및 크롭된 광각 영상의 중앙 영역을 복원하는 중앙 영역 복원부;를 포함하고,
상기 산출부에서 상기 보간 및 크롭된 광각 영상은 디블러링(Deblurring)한 결과 영상인 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템.An acquiring unit acquiring a telephoto image and a wide-angle image including the same subject;
Interpolating and cropping the obtained wide angle image, and using the obtained high frequency component of the telephoto image, extracting the wide angle image from the center area having the same point of view as the telephoto image, A reconstruction unit for reconstructing each of the resolutions; And
And a reconstruction unit for synthesizing and reconstructing each of the reconstructed regions,
The central area restoration may include:
A telephoto image generation unit for generating a matched telephoto image by matching the two images through the geometric transformation matrix estimation based on the interpolated and cropped wide angle image and the feature point between the telephoto images;
An optimal motion vector indicating a patch position most similar between the two images is calculated by comparing patches existing in a central region of the matched telephoto image and input patches existing in a central region of the interpolated and cropped wide angle image A calculating unit; And
And a central region reconstruction unit for reconstructing a central region of the interpolated and cropped wide-angle image using a similar patch existing at a central region position of the telephoto image determined by the calculated motion vector,
Wherein the interpolation and the cropped wide-angle image are deblurring resultant images in the calculation unit, and the super-resolution-based high-quality digital continuous-zoom image generation system.
상기 보간 및 크롭된 광각 영상과 상기 획득된 망원 영상 사이의 기하학적 변환 행렬을 추정하고, 상기 추정된 변환 행렬을 이용하여 생성된 이진화 마스크 맵(Binary mask map)에 따라 상기 복원된 광각 영상의 중앙 영역과 외곽 영역을 합성하여 재구성하는 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템.2. The apparatus according to claim 1,
Estimating a geometric transformation matrix between the interpolated and cropped wide-angle image and the obtained telephoto image, and estimating a center area of the restored wide-angle image according to a binary mask map generated using the estimated transformation matrix And the outer region is synthesized and reconstructed. A high-resolution digital continuous zoom image generation system based on super resolution.
다음 수식 1을 이용하여 최적의 이동벡터를 산출하는 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템.
<수식 1>
(
Wherein the optimal motion vector is calculated using Equation (1): " (1) "
≪ Formula 1 >
(
다음 수식 2을 이용하여 상기 보간 및 크롭된 광각 영상에 상기 정합된 망원 영상의 고주파 성분을 추가함으로써, 중앙 영역을 복원하는 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템.
<수식 2>
(
Wherein the central region is reconstructed by adding high-frequency components of the matched telephoto image to the interpolated and cropped wide-angle image using Equation (2).
&Quot; (2) "
(
상기 정합된 망원 영상을 블러링(Blurring)하여 차분한 결과 영상인 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템.7. The method of claim 6, wherein the high-
And blurring the matched telephoto image to obtain a calibrated result image.
다음 수식 3을 이용하여 상기 보간 및 크롭된 광각 영상에 상기 광각 영상의 고주파 성분을 추가함으로써, 외곽 영역을 복원하는 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템.
<수식 3>
(
Wherein the outer region is reconstructed by adding a high frequency component of the wide angle image to the interpolated and cropped wide angle image using Equation (3).
&Quot; (3) "
(
복원부에서 상기 획득된 광각 영상을 보간(Interpolation) 및 크롭(Crop)하고, 상기 획득된 망원 영상의 고주파 성분을 이용하여 상기 망원 영상과 같은 시점을 갖는 중앙 영역과 다른 시점을 갖는 외곽 영역별로 상기 광각 영상의 해상도를 각각 복원하는 복원단계; 및
재구성부에서 상기 복원된 각 영역을 합성하여 재구성하는 재구성단계;를 포함하며,
상기 중앙 영역 복원은,
망원 영상 생성부에서 상기 보간 및 크롭된 광각 영상과 상기 망원 영상 간 특징점(Feature point)을 기반으로 한 기하학적 변환 행렬 추정을 통해 상기 두 개의 영상을 정합하여 정합된 망원 영상을 생성하는 망원 영상 생성단계;
산출부에서 상기 정합된 망원 영상의 중앙 영역에 존재하는 패치들과 상기 보간 및 크롭된 광각 영상의 중앙 영역에 존재하는 입력 패치를 비교하여 상기 두 개의 영상 간 가장 유사한 패치 위치를 나타내는 최적의 이동벡터를 산출하는 산출단계; 및
상기 산출된 이동벡터에 의해 결정되는 망원 영상의 중심 영역 위치에 존재하는 유사 패치를 이용하여 상기 보간 및 크롭된 광각 영상의 중앙 영역을 복원하는 중앙 영역 복원단계;를 포함하고,
상기 산출단계에서 상기 보간 및 크롭된 광각 영상은 디블러링(Deblurring)한 결과 영상인 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법.An acquisition step of acquiring a telephoto image and a wide-angle image including the same object in an acquisition unit;
The restoration unit interpolates and crops the acquired wide angle image, and calculates a distance between the center area having the same point of view as the telephoto image and the outer area having a different point of view using the high frequency component of the obtained telephoto image. A restoration step of restoring the resolution of the wide-angle image, respectively; And
And a reconstruction step of reconstructing each of the reconstructed areas in a reconstructing part,
The central area restoration may include:
A telephoto image generation step of generating a matched telephoto image by matching the two images through the geometric transformation matrix estimation based on the feature point between the wide angle image and the telephoto image, ;
The calculating unit compares the patches existing in the central region of the matched telephoto image with the input patches existing in the central region of the interpolated and cropped wide-angle image to determine an optimal motion vector ; And
And restoring a central region of the interpolated and cropped wide angle image using a similar patch existing at a central region position of the telephoto image determined by the calculated motion vector,
Wherein the interpolated and cropped wide-angle image is a result of deblurring in the calculating step.
상기 보간 및 크롭된 광각 영상과 상기 획득된 망원 영상 사이의 기하학적 변환 행렬을 추정하고, 상기 추정된 변환 행렬을 이용하여 생성된 이진화 마스크 맵(Binary mask map)에 따라 상기 복원된 광각 영상의 중앙 영역과 외곽 영역을 합성하여 재구성하는 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법.10. The method of claim 9,
Estimating a geometric transformation matrix between the interpolated and cropped wide-angle image and the obtained telephoto image, and estimating a center area of the restored wide-angle image according to a binary mask map generated using the estimated transformation matrix And a reconstructing unit for reconstructing the reconstructed high quality digital continuous zoom image.
다음 수식 1을 이용하여 최적의 이동벡터를 산출하는 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법.
<수식 1>
(
Wherein the optimal motion vector is calculated using Equation (1): " (1) "
≪ Formula 1 >
(
다음 수식 2를 이용하여 상기 보간 및 크롭된 광각 영상에 상기 정합된 망원 영상의 고주파 성분을 추가함으로써, 중앙 영역을 복원하는 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법.
<수식 2>
(
Wherein the central region is reconstructed by adding high-frequency components of the matched telephoto image to the interpolated and cropped wide-angle image using Equation (2).
&Quot; (2) "
(
상기 정합된 망원 영상을 블러링(Blurring)하여 차분한 결과 영상인 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법.15. The method of claim 14, wherein the high-
And blurring the matched telephoto image to obtain a calibrated resultant image.
다음 수식 3을 이용하여 상기 보간 및 크롭된 광각 영상에 상기 광각 영상의 고주파 성분을 추가함으로써, 외곽 영역을 복원하는 것을 특징으로 하는 초해상도 기반 고품질 디지털 연속 줌 영상 생성 방법.
<수식 3>
(
Wherein the outer region is reconstructed by adding a high frequency component of the wide angle image to the interpolated and cropped wide angle image using Equation (3).
&Quot; (3) "
(
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170091568A KR101975472B1 (en) | 2017-07-19 | 2017-07-19 | System and method for generating continuous digital zooming image using super-resolution |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170091568A KR101975472B1 (en) | 2017-07-19 | 2017-07-19 | System and method for generating continuous digital zooming image using super-resolution |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190009588A KR20190009588A (en) | 2019-01-29 |
| KR101975472B1 true KR101975472B1 (en) | 2019-05-07 |
Family
ID=65323187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170091568A KR101975472B1 (en) | 2017-07-19 | 2017-07-19 | System and method for generating continuous digital zooming image using super-resolution |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101975472B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210041694A (en) | 2019-10-07 | 2021-04-16 | 한국항공대학교산학협력단 | Method and apparatus for upscaling image |
| US11627257B2 (en) | 2020-11-26 | 2023-04-11 | Samsung Electronics Co., Ltd. | Electronic device including image sensor having multi-crop function |
| KR20230105242A (en) | 2022-01-03 | 2023-07-11 | 연세대학교 산학협력단 | Method for improving quality of image based on deep learning using deblurring and super-resolution |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200142883A (en) | 2019-06-13 | 2020-12-23 | 엘지이노텍 주식회사 | Camera Device and Image Generation Method Of Camera Device |
| US11900561B2 (en) | 2020-11-25 | 2024-02-13 | Electronics And Telecommunications Research Institute | Deep learning-based image stitching method and apparatus |
| KR102479066B1 (en) * | 2020-11-25 | 2022-12-20 | 한국전자통신연구원 | Deep learning-based image stitching method and device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014215604A (en) * | 2013-04-30 | 2014-11-17 | ソニー株式会社 | Image processing apparatus and image processing method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101615479B1 (en) | 2014-09-30 | 2016-04-25 | 한국전자통신연구원 | Method and apparatus for processing super resolution image using adaptive pre/post-filtering |
-
2017
- 2017-07-19 KR KR1020170091568A patent/KR101975472B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014215604A (en) * | 2013-04-30 | 2014-11-17 | ソニー株式会社 | Image processing apparatus and image processing method |
Non-Patent Citations (1)
| Title |
|---|
| Byeongho Moon et al., Local self similarity-based super-resolution for asymmetric dual-camera, Consumer Electronics - Berlin (ICCE-Berlin), 2016 IEEE 6th International Conference on, 2016.09.07* |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210041694A (en) | 2019-10-07 | 2021-04-16 | 한국항공대학교산학협력단 | Method and apparatus for upscaling image |
| KR20210098398A (en) | 2019-10-07 | 2021-08-10 | 한국항공대학교산학협력단 | Method and apparatus for upscaling image |
| US11627257B2 (en) | 2020-11-26 | 2023-04-11 | Samsung Electronics Co., Ltd. | Electronic device including image sensor having multi-crop function |
| KR20230105242A (en) | 2022-01-03 | 2023-07-11 | 연세대학교 산학협력단 | Method for improving quality of image based on deep learning using deblurring and super-resolution |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190009588A (en) | 2019-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101975472B1 (en) | System and method for generating continuous digital zooming image using super-resolution | |
| KR101795271B1 (en) | Image Processing Apparatus and Method for Performing Pre-process for Clean Image | |
| US9105086B2 (en) | Method and device for generating a super-resolution version of a low resolution input data structure | |
| CN108765343B (en) | Image processing method, device, terminal and computer readable storage medium | |
| US8330827B2 (en) | Increasing image resolution using combined differential image | |
| US8379120B2 (en) | Image deblurring using a combined differential image | |
| KR20140135968A (en) | Method and apparatus for performing super-resolution | |
| CN108694705A (en) | A kind of method multiple image registration and merge denoising | |
| CN108288256B (en) | Multispectral mosaic image restoration method | |
| JP2002369071A (en) | Picture processing method and digital camera mounted with the same and its program | |
| JP2017010095A (en) | Image processing apparatus, imaging device, image processing method, image processing program, and recording medium | |
| Khattab et al. | Regularization-based multi-frame super-resolution: a systematic review | |
| US9202265B2 (en) | Point spread function cost function with non-uniform weights | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| JP2017010093A (en) | Image processing apparatus, imaging device, image processing method, image processing program, and recording medium | |
| JP2009111921A (en) | Image processing device and image processing method | |
| Jing et al. | Gradient guided image interpolation | |
| KR20100097858A (en) | Super-resolution using example-based neural networks | |
| Kim et al. | Blind single image super resolution with low computational complexity | |
| Shen et al. | Universal reconstruction method for radiometric quality improvement of remote sensing images | |
| Yu et al. | Continuous digital zooming of asymmetric dual camera images using registration and variational image restoration | |
| CN112488920B (en) | Image regularization super-resolution reconstruction method based on Gaussian-like fuzzy core | |
| Mohan | Adaptive super-resolution image reconstruction with lorentzian error norm | |
| He et al. | Joint motion deblurring and superresolution from single blurry image | |
| JP2013069012A (en) | Multi-lens imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |