KR101711589B1 - 초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치 - Google Patents
초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치 Download PDFInfo
- Publication number
- KR101711589B1 KR101711589B1 KR1020150173990A KR20150173990A KR101711589B1 KR 101711589 B1 KR101711589 B1 KR 101711589B1 KR 1020150173990 A KR1020150173990 A KR 1020150173990A KR 20150173990 A KR20150173990 A KR 20150173990A KR 101711589 B1 KR101711589 B1 KR 101711589B1
- Authority
- KR
- South Korea
- Prior art keywords
- image patch
- resolution image
- patch
- dictionary
- high resolution
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000007726 management method Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 41
- 239000000284 extract Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 10
- 230000007547 defect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
본 발명은 초해상도 기반 영상 확대 기술에 관한 것이다.
본 발명에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법은, 적어도 하나 이상의 고해상도 영상 패치와 저해상도 영상 패치의 쌍이 저장되어 있는 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 패치 선택 단계; 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성하는 패치 보간 단계; 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 영상 간 거리 산출 단계; 및 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거하는 아웃라이어 제거 단계;를 포함할 수 있다.
본 발명에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법은, 적어도 하나 이상의 고해상도 영상 패치와 저해상도 영상 패치의 쌍이 저장되어 있는 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 패치 선택 단계; 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성하는 패치 보간 단계; 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 영상 간 거리 산출 단계; 및 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거하는 아웃라이어 제거 단계;를 포함할 수 있다.
Description
본 발명은 초해상도 기반 영상 확대 기술에 관한 것이다.
저해상도의 영상을 고해상도의 영상으로 확대하는 기술은 디스플레이 장치의 해상도에 따라 영상 컨텐츠의 해상도를 조정하거나, 저해상도의 영상을 크게 볼 필요가 있는 경우에 사용되는 기술로서 그 활용도가 매우 높다. 특히 디스플레이 장치의 해상도가 지속적으로 높아져 현재 UHD TV 시장이 확대되고 있는 상황 속에서, 기존의 저해상도로 만들어진 영상 컨텐츠를 고해상도의 장치에서 시청할 수 있도록 영상을 확대하는 기술에 대한 필요성이 더욱 대두되고 있다.
그런데 이와 같이 저해상도의 영상을 고해상도로 확대함에 있어서는 영상의 에지 부분에서의 선명도가 떨어지거나 영상 확대 방법에 따라 왜곡이 일어나는 경우가 많이 있다. 따라서 확대된 영상에서 선명도를 유지하면서도 왜곡이 발생하지 아니하도록 영상을 확대하는 것이 영상 확대 기술의 주된 목표이다.
이와 같은 영상 확대 기술 중 하나로 초해상도 기법이 있다. 초해상도(Super Resolution) 기법에서는 위와 같은 목표를 달성하기 위하여 여러 가지 영상들을 학습하여 이들로부터 저해상도 영상과 고해상도 영상 간의 상관관계를 획득하고, 이를 이용하여 특정 저해상도 영상을 고해상도 영상으로 확대하는 방법을 사용하고 있다.
여기서 학습기반 초해상도 기법은 사전(Dictionary) 정보를 이용해 저해상도 영상을 고해상도 영상으로 업-스케일링 하는 기법이다. 사전 정보는 저해상도 영상과 그에 대응하는 고해상도 영상 패치로 구성되어 있다. 여기서 사전의 저해상도 영상은 원본 고해상도 영상을 블러(blur)시키고 다운-샘플링(down-sampling)함으로써 이루어진다. 초해상도 기법은 확대하고자 하는 대상 영상 블록과 유사한 저해상도 영상 패치를 사전 정보에서 찾고, 찾은 저해상도 영상 패치에 대응하는 고해상도 영상 패치를 이용하여(예를 들면 대체 또는 가중합하여) 대상 영상 블록을 확대한다. 따라서 사전 정보에서 정확하고, 상관도가 높은 고해상도 영상 패치와 저해상도 영상 패치의 쌍들을 저장하는 것이 중요하다.
그런데, 확대 계수(저해상도 영상 패치와 고해상도 영상 패치 간의 확대 비율)가 커질 경우 고해상도-저해상도 패치간의 상관도(correlation)이 떨어지는 경우가 발생한다. 이와 같은 패치 쌍(patch pair)은 고해상도 영상 복원 시 결함(artifact)를 야기하는 문제점이 있다.
(비특허문헌 0001) W. T. Freeman, T. R. Jones, and E. C. Pasztor, "Example-based super-resolution," IEEE Comput. Graph. Appl., vol. 22, no.2, pp. 56-65, Mar.Apr. 2002.
본 발명은 사전 정보에서 저해상도 영상 패치와 고해상도 영상 패치 간에 상관도가 떨어지는 패치의 쌍을 제거하여, 고해상도 영상 복원 시 오류가 발생하는 것을 사전에 방지하는 사전 생성 방법 및, 이와 같이 생성된 사전을 이용한 초해상도 기법 기반 영상 확대 방법을 제공하고자 한다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법은, 적어도 하나 이상의 고해상도 영상 패치와 저해상도 영상 패치의 쌍이 저장되어 있는 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 패치 선택 단계; 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성하는 패치 보간 단계; 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 영상 간 거리 산출 단계; 및 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거하는 아웃라이어 제거 단계;를 포함할 수 있다.
일 실시예에 있어서 상기 패치 보간 단계는 상기 선택한 저해상도 영상 패치를 바이큐빅 보간 하여 상기 고해상도 영상 패치와 대응하는 크기를 가지는 상기 보간 영상 패치를 생성할 수 있다.
일 실시예에 있어서 상기 영상 간 거리 산출 단계는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 차분 영상을 생성하고, 상기 차분 영상을 이용하여 상기 영상 간 거리를 산출할 수 있다.
일 실시예에 있어서 상기 영상 간 거리 산출 단계는 상기 차분 영상을 이용하여 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 유클리디안 거리를 산출하여 상기 영상 간 거리를 획득할 수 있다.
일 실시예에 있어서 상기 아웃라이어 제거 단계는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할지 여부를 결정할 수 있다.
일 실시예에 있어서 상기 아웃라이어 제거 단계는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기가 상기 임계치 보다 큰 경우, 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 초해상도 기반 영상 확대 방법은, 확대할 대상 영상 패치를 입력받는 대상 영상 패치 입력 단계; 상기 대상 영상 패치에서 특징 벡터를 추출하는 특징 벡터 추출 단계; 사전에 저장된 저해상도 영상 패치의 상기 특징 벡터와 상기 대상 영상 패치에서 추출한 상기 특징 벡터를 비교하여, 그 비교 결과에 따라 적어도 하나 이상의 이웃 저해상도 영상 패치를 상기 사전에서 선정하는 이웃 패치 선정 단계; 상기 선정한 이웃 저해상도 영상 패치에 대응하는 상기 사전에 저장되어 있는 고해상도 영상 패치를 이용하여, 상기 대상 영상 패치에 대응하는 확대 영상 패치를 생성하는 확대 패치 생성 단계를 포함할 수 있다.
일 실시예에 있어서 상기 사전은, 적어도 하나 이상의 상기 고해상도 영상 패치와 상기 저해상도 영상 패치의 쌍이 저장되어 있는 상기 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 과정; 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성하는 과정; 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 과정; 및 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거하는 과정;을 통해 미리 생성된 사전이 될 수 있다.
일 실시예에 있어서 상기 이웃 패치 선정 단계는 상기 저해상도 영상 패치의 상기 특징 벡터와 상기 대상 영상 패치의 상기 특징 벡터 간의 거리를 산출하고, 상기 산출한 거리를 기준으로 상기 사전에서 상기 이웃 저해상도 영상 패치를 선정할 수 있다.
일 실시예에 있어서 상기 확대 패치 생성 단계는 상기 이웃 저해상도 영상 패치에 대응하는 상기 고해상도 영상 패치들을 가중합하여 상기 확대 영상 패치를 생성할 수 있다.
일 실시예에 있어서 상기 보간 영상 패치를 생성하는 과정은 상기 선택한 저해상도 영상 패치를 바이큐빅 보간 하여 상기 고해상도 영상 패치와 대응하는 크기를 가지는 상기 보간 영상 패치를 생성할 수 있다.
일 실시예에 있어서 상기 제거하는 과정은 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기를 소정의 임계치와 비교하여, 상기 영상 간 거리의 크기가 상기 임계치보다 큰 경우, 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 초해상도 기반 영상 확대를 위한 사전 관리 장치는, 적어도 하나 이상의 고해상도 영상 패치와 저해상도 영상 패치의 쌍이 저장되어 있는 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 패치 선택부; 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성하는 패치 보간부; 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 영상 간 거리 산출부; 및 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거하는 아웃라이어 제거부;를 포함할 수 있다.
일 실시예에 있어서 상기 패치 보간부는 상기 선택한 저해상도 영상 패치를 바이큐빅 보간 하여 상기 고해상도 영상 패치와 대응하는 크기를 가지는 상기 보간 영상 패치를 생성할 수 있다.
일 실시예에 있어서 상기 영상 간 거리 산출부는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 차분 영상을 생성하고, 상기 차분 영상을 이용하여 상기 영상 간 거리를 산출할 수 있다.
일 실시예에 있어서 상기 아웃라이어 제거부는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할지 여부를 결정할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 초해상도 기반 영상 확대 장치는 확대할 대상 영상 패치를 입력받고, 상기 대상 영상 패치에서 특징 벡터를 추출하는 특징 벡터 추출부; 사전에 저장된 저해상도 영상 패치의 상기 특징 벡터와 상기 대상 영상 패치에서 추출한 상기 특징 벡터를 비교하여, 그 비교 결과에 따라 적어도 하나 이상의 이웃 저해상도 영상 패치를 상기 사전에서 선정하는 이웃 패치 선정부; 상기 선정한 이웃 저해상도 영상 패치에 대응하는 상기 사전에 저장되어 있는 고해상도 영상 패치를 이용하여, 상기 대상 영상 패치에 대응하는 확대 영상 패치를 생성하는 확대 패치 생성부를 포함할 수 있다.
여기서 상기 사전은, 적어도 하나 이상의 상기 고해상도 영상 패치와 상기 저해상도 영상 패치의 쌍이 저장되어 있는 상기 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 과정; 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성하는 과정; 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 과정; 및 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거하는 과정;을 통해 미리 생성된 사전일 수 있다.
본 발명에 따른 초해상도 기반 영상 확대 방법에 의하면, 초해상도 기법으로 영상을 확대할 때 이용하는 고해상도 영상 패치와 저해상도 영상 패치의 쌍 중에서 고해상도 영상 패치로 이용하면 확대된 영상에 결함을 야기할 아웃라이어들을 사전에서 미리 제거함으로써, 확대된 영상의 품질을 보다 향상시키는 효과가 있다.
도 1은 사전 생성 시 상관도가 유지되어 적절히 사용될 수 있는 패치 쌍이 생성되는 예를 나타내는 참고도이다.
도 2는 사전 생성 시 상관도가 떨어져 결함이 발생할 수 있는 경우의 예를 나타내는 참고도이다.
도 3은 본 발명의 일 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법의 흐름도이다.
도 4는 본 발명에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법을 설명하기 위한 참고도이다.
도 5는 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대 방법의 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 장치의 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대 장치의 블록도이다.
도 2는 사전 생성 시 상관도가 떨어져 결함이 발생할 수 있는 경우의 예를 나타내는 참고도이다.
도 3은 본 발명의 일 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법의 흐름도이다.
도 4는 본 발명에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법을 설명하기 위한 참고도이다.
도 5는 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대 방법의 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 장치의 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대 장치의 블록도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
저해상도의 영상을 고해상도의 영상으로 확대하는 기술은 디스플레이 장치의 해상도에 따라 영상 컨텐츠의 해상도를 조정하거나, 저해상도의 영상을 크게 볼 필요가 있는 경우에 사용되는 기술로서 그 활용도가 매우 높다. 특히 디스플레이 장치의 해상도가 지속적으로 높아져 현재 UHD TV 시장이 확대되고 있는 상황 속에서, 기존의 저해상도로 만들어진 영상 컨텐츠를 고해상도의 장치에서 시청할 수 있도록 영상을 확대하는 기술에 대한 필요성이 더욱 대두되고 있다.
그런데 이와 같이 저해상도의 영상을 고해상도로 확대함에 있어서는 영상의 에지 부분에서의 선명도가 떨어지거나 영상 확대 방법에 따라 왜곡이 일어나는 경우가 많이 있다. 따라서 확대된 영상에서 선명도를 유지하면서도 왜곡이 발생하지 아니하도록 영상을 확대하는 것이 영상 확대 기술의 주된 목표이다.
이와 같은 영상 확대 기술 중 하나로 초해상도 기법이 있다. 초해상도(Super Resolution) 기법에서는 위와 같은 목표를 달성하기 위하여 여러 가지 영상들을 학습하여 이들로부터 저해상도 영상과 고해상도 영상 간의 상관관계를 획득하고, 이를 이용하여 특정 저해상도 영상을 고해상도 영상으로 확대하는 방법을 사용하고 있다.
여기서 학습기반 초해상도 기법은 사전(Dictionary) 정보를 이용해 저해상도 영상을 고해상도 영상으로 업-스케일링 하는 기법이다. 사전 정보는 저해상도 영상과 그에 대응하는 고해상도 영상 패치로 구성되어 있다. 여기서 사전의 저해상도 영상은 원본 고해상도 영상을 블러(blur)시키고 다운-샘플링(down-sampling)함으로써 이루어진다. 초해상도 기법은 확대하고자 하는 대상 영상 블록과 유사한 저해상도 영상 패치를 사전 정보에서 찾고, 찾은 저해상도 영상 패치에 대응하는 고해상도 영상 패치를 이용하여(예를 들면 대체 또는 가중합하여) 대상 영상 블록을 확대한다. 따라서 사전 정보에서 정확하고, 상관도가 높은 고해상도 영상 패치와 저해상도 영상 패치의 쌍들을 저장하는 것이 중요하다.
그런데, 확대 계수(저해상도 영상 패치와 고해상도 영상 패치 간의 확대 비율)가 커질 경우 고해상도-저해상도 패치간의 상관도(correlation)이 떨어지는 경우가 발생한다. 이와 같은 패치 쌍(patch pair)은 고해상도 영상 복원 시 결함(artifact)를 야기한다.
도 1은 상관도가 유지되어 적절히 사용될 수 있는 패치 쌍이 생성되는 예를 나타내는 참고도이다. 도 1의 (a)는 원본 영상 패치이고, (b)는 크기를 2배 축소한 패치, (c)는 3배 축소한 패치, (d)는 4배 축소한 패치이다. (d)를 보면 (a)의 곡면 정보가 그대로 나타나고 있어 (a)와 (d) 간의 상관도가 유지됨을 확인할 수 있다.
도 2는 다운 샘플링 시에 상관도가 떨어져 결함이 발생할 수 있는 경우의 예를 나타내는 참고도이다. 도 2의 (a)는 원본 영상 패치이고, (b)는 크기를 2배 축소한 패치, (c)는 3배 축소한 패치, (d)는 4배 축소한 패치이다. (d)를 보면 (a)의 격자 정보가 모두 상실되어, (a)와 (d)간의 상관도가 떨어짐을 확인할 수 있다. 따라서 (d)와 같은 저해상도 패치를 사전에서 검색하여 (a)와 같은 고해상도 패치를 이용하여 고해상도 영상을 복관하게 될 경우 결함이 발생할 수 있다.
이에 본 발명에서는 사전 정보에서 저해상도 영상 패치와 고해상도 영상 패치 간에 상관도가 떨어지는 패치의 쌍을 제거하여, 고해상도 영상 복원 시 오류가 발생하는 것을 사전에 방지하는 사전 생성 방법 및, 이와 같이 생성된 사전을 이용한 초해상도 기법 기반 영상 확대 방법을 제공하고자 한다. 이하 상세히 설명할 본 발명에 따른 초해상도 기법 기반 영상 확대 방법 및 그 장치에 의하면, 초해상도 기법으로 영상을 확대할 때 이용하는 고해상도 영상 패치와 저해상도 영상 패치의 쌍 중에서 고해상도 영상 패치로 이용하면 확대된 영상에 결함을 야기할 아웃라이어들을 사전에서 미리 제거함으로써, 확대된 영상의 품질을 보다 향상시킬 수 있는 효과가 있다.
도 3은 본 발명의 일 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법의 흐름도이다.
상기 본 발명의 일 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법은 패치 선택 단계(S100), 패치 보간 단계(S200), 영상 간 거리 산출 단계(S300), 아웃라이어 제거 단계(S400)를 포함할 수 있다.
패치 선택 단계(S100)는 적어도 하나 이상의 고해상도 영상 패치와 저해상도 영상 패치의 쌍이 저장되어 있는 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택한다.
패치 보간 단계(S200)는 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성한다.
영상 간 거리 산출 단계(S300)는 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출한다.
아웃라이어 제거 단계(S400)는 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거한다.
먼저 패치 선택 단계(S100)에 대하여 설명한다.
패치 선택 단계(S100)는 적어도 하나 이상의 고해상도 영상 패치와 저해상도 영상 패치의 쌍이 저장되어 있는 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택한다. 여기서 상기 사전(Dictionary)은 초해상도(Super-Resolution) 기반 영상 확대에서 이용하기 위한 고해상도 영상 패치와 저해상도 영상 패치를 저장한다. 여기서 고해상도 영상 패치와 저해상도 영상 패치의 쌍은 동일한 영상 부분에 대하여 생성된 영상 패치의 쌍이다.
여기서 저해상도 영상 패치는 이에 대응하는 고해상도 영상 패치의 크기를 축소시켜 생성한 영상 패치이다. 예를 들어 고해상도 영상 패치가 64 x 64 크기를 가지는 경우, 이에 대응하는 저해상도 영상 패치는 한 축 방향에 대하여 4배 축소한 16 x 16 크기를 가지는 영상 패치가 될 수 있고, 또는 8배 축소한 8 x 8 크기를 가지는 영상 패치가 될 수도 있다. 여기서 고해상도 영상 패치와 저해상도 영상 패치 간의 크기 비율은 필요에 따라 다양한 수치로 사전에 설정될 수 있다.
또한 필요에 따라 상기 사전은 다양한 스케일의 영상 패치를 저장할 수도 있다. 여기서 사전은 동일한 영상 부분에 대하여 가장 큰 해상도를 가지는 영상 패치와 가장 작은 해상도를 가지는 영상 패치 간에 적어도 하나 이상의 중간 크기의 해상도를 가지는 영상 패치를 저장할 수도 있다. 예를 들면 사전은 64 x 64, 32 x 32, 16 x 16, 8 x 8의 각 크기를 가지는 영상 패치를 저장할 수도 있다. 이와 같은 경우 고해상도 영상 패치와 저해상도 영상 패치는 영상 패치 간의 크기에 따라 상대적인 의미로 사용될 수 있다.
패치 선택 단계(S100)에서 선택된 고해상도 영상 패치와 저해상도 영상 패치의 쌍은 이하 설명할 각 단계를 거쳐 사전에서 제거하여야 할 아웃라이어인지 여부를 판단하여, 아웃라이어로 판단되는 경우 사전에서 제거된다.
다음으로 패치 보간 단계(S200)에 대하여 설명한다.
패치 보간 단계(S200)는 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성한다. 일 실시예에 있어서 보간 영상 패치는 고해상도 영상 패치와 동일한 크기를 가지도록 보간될 수 있다. 예를 들면 저해상도 영상 패치가 8 x 8인 경우 각 축 방향으로 4배씩 크기를 확대하기 위하여 영상 보간(Interpolation)을 수행하여 고해상도 영상 패치의 크기에 대응하는 64 x 64 크기의 보간 영상 패치를 생성할 수 있다.
또 다른 실시예에 있어서 보간 영상 패치는 영상 블록 주변부 처리를 위하여 고해상도 영상 패치보다 소정 픽셀 수 만큼 더 크거나 더 작은 보간 영상으로 생성될 수도 있다. 어느 경우이든 상기 보간 영상 패치는 영상 블록의 소정의 픽셀 만큼의 주변부를 제외한 부분에 있어서 상기 고해상도 영상 패치와 대응하는 크기를 가지도록 보간되어 생성될 수 있다.
여기서 패치 보간 단계(S200)는 상기 선택한 저해상도 영상 패치를 바이큐빅 보간하여 상기 고해상도 영상 패치와 대응하는 크기를 가지는 상기 보간 영상 패치를 생성할 수 있다. 바이큐빅 보간 기법은 적은 연산량으로 빠르게 수행할 수 있는 장점이 있다. 또한 이와 같은 바이큐빅 보간 기법을 이용하는 경우 이하 설명하는 영상 간 거리 산출 단계(S300) 및 아웃라이어 제거 단계(S400)에서 아웃라이어들이 신뢰도 있게 제거될 수 있는 효과가 있다. 이와 같이 바이큐빅 보간 기법을 이용하여 보간한 보간 영상 패치를 기준으로 아웃라이어를 제거한 사전을 이용하여 초해상도 기법으로 영상을 확대할 때 확대 영상의 품질이 향상될 수 있는 효과가 있다. 즉 아웃라이어를 제거하기 위한 영상 간 거리를 산출하기 위하여, 바이큐빅 보간 기법을 사용하여 보간한 보간 영상 패치를 이용하는 경우, 바이큐빅 보간 기법은 간단한 다항식 연산으로 보간을 수행할 수 있어 적은 연산량으로 빠르게 보간 영상 패치를 생성할 수 있는 장점이 있고, 또한 바이큐빅 보간 기법을 이용하여 생성한 보간 영상 패치만으로도 상당한 신뢰도를 가지고 아웃라이어들을 제거할 수 있는 효과가 있다.
또 다른 실시예에 있어서 패치 보간 단계(S200)는 바이큐빅 보간 기법 이외에 다양한 보간법(Interpolation)을 이용하여 저해상도 영상 패치를 확대하여 보간 영상 패치를 생성할 수 있다. 즉 Spline 보간, 선형 보간, Polynomial 보간 등의 기본 보간법에서부터, 보간 영상의 PSNR을 향상시키기 위하여 제안된 보간법에 이르기까지 다양한 공지된 보간법들을 사용할 수도 있다.
다음으로 영상 간 거리 산출 단계(S300)에 대하여 설명한다.
영상 간 거리 산출 단계(S300)는 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출한다. 여기서 영상 간 거리는 영상에 포함된 각 화소의 영상 신호 값의 차이에 따라 설정되는 값이 될 수 있다. 여기서 영상 간 거리는 영상 화소의 영상 신호 값의 차이의 크기를 입력으로 하여, 놈(Norm) 연산 등 기존의 벡터 또는 행렬 간 거리를 산출하는 다양한 기법을 이용하여 산출하는 거리가 될 수 있다.
일 실시예에 있어서 영상 간 거리 산출 단계(S300)는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 차분 영상을 생성하고, 상기 차분 영상을 이용하여 상기 영상 간 거리를 산출할 수 있다. 여기서 영상 간 거리 산출 단계(S300)는 차분 영상의 각 화소의 크기의 합, 또는 크기의 제곱의 합, 또는 크기의 제곱의 합의 루트 값 등으로 상기 영상 간 거리를 산출할 수 있다.
일 실시예에 있어서 보간 영상 패치와 고해상도 영상 패치 간의 영상 간 거리는 유클리디안 거리로 산출될 수 있다. 이를 위하여 영상 간 거리 산출 단계(S300)는 상기 차분 영상을 이용하여 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 유클리디안 거리를 산출하여 상기 영상 간 거리를 획득할 수 있다.
여기서 보간 영상 패치와 고해상도 영상 패치 간의 거리 d 는 하기 수학식 1과 같이 산출될 수 있다.
여기서 
는 상기 보간 영상 패치이고, 
는 상기 고해상도 영상 패치이다.
다음으로 아웃라이어 제거 단계(S400)에 대하여 설명한다.
아웃라이어 제거 단계(S400)는 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거한다. 즉 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할지 말지 여부를 결정할 수 있다.
여기서 아웃라이어 제거 단계(S400)는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할지 여부를 결정할 수 있다. 여기서 상기 임계치는 필요에 따라 미리 설정되는 값이 될 수 있다. 또는 상기 임계치는 보간 영상 패치나 저해상도 영상 패치나 고해상도 영상 패치로부터 추출된 특징에 따라 복수개의 임계치 값 중 어느 하나로 선택될 수도 있다.
여기서 아웃라이어 제거 단계(S400)는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기가 상기 임계치 보다 큰 경우, 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할 수 있다. 다시 말하면 상기 영상 간 거리의 크기를 미리 설정한 임계값과 비교하여 거리 크기가 임계값보다 큰 경우 아웃라이어로 판단하여 상기 입력받은 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할 수 있다.
도 4는 본 발명에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법을 설명하기 위한 참고도이다. 도 4의 (a-1)은 도 1의 (d)와 동일한 저해상도 영상 패치이고, 도 4의 (a-3)은 도 1의 (a)와 동일한 고해상도 영상 패치이다. 또한 도 4의 (b-1)은 도 2의 (d)와 동일한 저해상도 영상 패치이고, 도 4의 (b-3)은 도 2의 (a)와 동일한 고해상도 영상 패치이다. 도 4와 같이 먼저 도 4의 (a-1) 및 (b-1)에 대하여 패치 보간 단계(S200)를 거쳐 각각 (a-2) 및 (b-2)와 같은 보간 영상 패치가 생성될 수 있다. 다음으로 영상 간 거리 산출 단계(S300)에서는 위와 같이 생성된 보간 영상 패치 (a-2) 및 (b-2)와 (a-1) 및 (b-1)와 대응하는 고해상도 영상 패치인 (a-3) 및 (b-3) 간의 영상 간 거리 d를 산출할 수 있다. 다음으로 아웃라이어 제거 단계(S400)에서는 (a-2)와 (a-3) 간의 거리를 산출한 결과 소정의 임계치 t0 보다 작다고 판단하여 (a-1)와 (a-3)의 영상 패치 쌍을 사전에 계속 저장할 수 있다. 반대로 (b-2)와 (b-3) 간의 거리를 산출한 결과 소정의 임계치 t0 보다 크다고 판단하여 (b-1)와 (b-3)의 영상 패치 쌍을 아웃라이어로 판단하고 사전에서 제거할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대 방법의 흐름도이다.
상기 본 발명의 일 실시예에 따른 초해상도 기반 영상 확대 방법은 대상 영상 패치 입력 단계(S1000), 특징 벡터 추출 단계(S2000), 이웃 패치 선정 단계(S3000), 확대 패치 선정 단계(S4000)를 포함할 수 있다.
대상 영상 패치 입력 단계(S1000)는 확대할 대상 영상 패치를 입력받는다.
특징 벡터 추출 단계(S2000)는 상기 대상 영상 패치에서 특징 벡터를 추출한다. 여기서 특징 벡터(Feature Vector)는 영상 신호 처리 분야에서 영상 블록 또는 패치를 특정, 식별 또는 검출하기 위하여 영상 블록에서 추출하는 공지된 다양한 특징 벡터를 이용할 수 있다. 예를 들면 에지 특성이나 코너 특성, 또는 LoG(Laplacian of Gaussian), DoG(Difference of Gaussian) 등의 다양한 특징을 추출하여 이용할 수 있고, SIFT(Scale-invariant feature transform), SURF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients)를 비롯한 공지된 다양한 특징 서술(Feature Description) 방식을 이용할 수도 있다.
이웃 패치 선정 단계(S3000)는 사전(Dictionary)에 저장된 저해상도 영상 패치의 상기 특징 벡터와 상기 대상 영상 패치에서 추출한 상기 특징 벡터를 비교하여, 그 비교 결과에 따라 적어도 하나 이상의 이웃 저해상도 영상 패치를 상기 사전에서 선정한다. 여기서 이웃 패치 선정 단계(S3000)는 상기 대상 영상 패치에 대응하는 크기를 가지는 저해상도 영상 패치의 특징 벡터를 비교하고, 특징 벡터 간의 비교 결과에 따라 이웃 저해상도 영상 패치를 선정할 수 있다. 여기서 이웃은 공간적으로 인접하는 영상 패치를 의미하는 것이 아니라, 특징 벡터 간의 비교 결과 특징 벡터가 유사한 것으로 판단되는 영상 패치들을 이웃 영상 패치로 지칭하는 것이다.
여기서 이웃 패치 선정 단계(S3000)는 상기 저해상도 영상 패치의 상기 특징 벡터와 상기 대상 영상 패치의 상기 특징 벡터 간의 거리를 산출하고, 상기 산출한 거리를 기준으로 상기 사전에서 상기 이웃 저해상도 영상 패치를 선정할 수 있다. 여기서 특징 벡터 간의 거리는 벡터 간 거리를 산출하는 공지된 다양한 방법을 이용하여 산출되는 값이 될 수 있다.
확대 패치 생성 단계(S4000)는 상기 선정한 이웃 저해상도 영상 패치에 대응하는 상기 사전에 저장되어 있는 고해상도 영상 패치를 이용하여, 상기 대상 영상 패치에 대응하는 확대 영상 패치를 생성한다. 일 실시예에 있어서 이웃 저해상도 영상 패치에 대응하는 고해상도 영상 패치를 상기 사전에서 검색하여, 이를 확대 영상 패치로 설정할 수도 있다.
여기서 확대 패치 생성 단계(S5000)는 상기 이웃 저해상도 영상 패치에 대응하는 상기 고해상도 영상 패치들을 가중합하여 상기 확대 영상 패치를 생성할 수도 있다. 즉 복수개의 이웃 저해상도 영상 패치가 선정되는 경우 각 이웃 저해상도 영상 패치에 대응하는 고해상도 영상 패치들을 가중합하여 확대 영상 패치를 생성할 수 있다.
여기서 상기 사전은, 도 3을 참조하면서 상세히 설명한 초해상도 기반 영상 확대를 위한 사전 관리 방법을 이용하여 생성된 사전이 될 수 있다.
즉 상기 사전은 적어도 하나 이상의 상기 고해상도 영상 패치와 상기 저해상도 영상 패치의 쌍이 저장되어 있는 상기 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 과정; 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성하는 과정; 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 과정; 및 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거하는 과정;을 통해 미리 생성된 사전이 될 수 있다.
여기서 보간 영상 패치를 생성하는 과정은 상기 선택한 저해상도 영상 패치를 바이큐빅 보간하여 상기 고해상도 영상 패치와 대응하는 크기를 가지는 상기 보간 영상 패치를 생성할 수 있다.
여기서 상기 제거하는 과정은 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기를 소정의 임계치와 비교하여, 상기 영상 간 거리의 크기가 상기 임계치 보다 큰 경우, 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 장치의 블록도이다.
상기 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 장치는 패치 선택부(100), 패치 보간부(200), 영상 간 거리 산출부(300), 아웃라이어 제거부(400)를 포함할 수 있다. 여기서 상기 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 장치의 각 구성은 도 3 및 도 4를 참조하면서 상세히 설명한 본 발명의 일 실시예에 따른 초해상도 기반 영상 확대를 위한 사전 관리 방법의 각 단계가 동작하는 방식과 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 설명한다.
패치 선택부(100)는 적어도 하나 이상의 고해상도 영상 패치와 저해상도 영상 패치의 쌍이 저장되어 있는 사전(10)에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택한다.
패치 보간부(200)는 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성한다. 여기서 패치 보간부(200)는 상기 선택한 저해상도 영상 패치를 바이큐빅 보간하여 상기 고해상도 영상 패치와 대응하는 크기를 가지는 상기 보간 영상 패치를 생성할 수 있다.
영상 간 거리 산출부(300)는 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출한다. 여기서 영상 간 거리 산출부(300)는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 차분 영상을 생성하고, 상기 차분 영상을 이용하여 상기 영상 간 거리를 산출할 수 있다.
아웃라이어 제거부(400)는 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 사전(10)에서 제거한다. 여기서 아웃라이어 제거부(400)는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 사전(10)에서 제거할지 여부를 결정할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대 장치의 블록도이다.
상기 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대 장치는 특징 추출부(2000), 이웃 패치 선정부(3000), 확대 패치 생성부(4000)를 포함할 수 있다. 여기서 상기 본 발명의 또 다른 실시예에 따른 초해상도 기반 영상 확대 장치의 각 구성은 도 5를 참조하면서 상세히 설명한 본 발명의 일 실시예에 따른 초해상도 기반 영상 확대 방법의 각 단계가 동작하는 방식과 동일한 방식으로 동작할 수 있다.
특징 벡터 추출부(2000)는 확대할 대상 영상 패치를 입력받고, 상기 대상 영상 패치에서 특징 벡터를 추출한다.
이웃 패치 선정부(3000)는 사전(10)에 저장된 저해상도 영상 패치의 상기 특징 벡터와 상기 대상 영상 패치에서 추출한 상기 특징 벡터를 비교하여, 그 비교 결과에 따라 적어도 하나 이상의 이웃 저해상도 영상 패치를 사전(10)에서 선정한다.
확대 패치 생성부(4000)는 상기 선정한 이웃 저해상도 영상 패치에 대응하는 사전(10)에 저장되어 있는 고해상도 영상 패치를 이용하여, 상기 대상 영상 패치에 대응하는 확대 영상 패치를 생성한다.
여기서 사전(10)은, 적어도 하나 이상의 상기 고해상도 영상 패치와 상기 저해상도 영상 패치의 쌍이 저장되어 있는 사전(10)에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 과정; 상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 보간 영상 패치를 생성하는 과정; 상기 획득한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 과정; 및 상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 사전(10)에서 제거하는 과정;을 통해 미리 생성된 사전이 될 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
S100 : 패치 선택 단계
S200 : 패치 보간 단계
S300 : 영상 간 거리 산출 단계
S400 : 아웃라이어 제거 단계
S1000 : 대상 영상 패치 입력 단계
S2000 : 특징 벡터 추출 단계
S3000 : 이웃 패치 선정 단계
S4000 : 확대 패치 선정 단계
100 : 패치 선택부
200 : 패치 보간부
300 : 영상 간 거리 산출부
400 : 아웃라이어 제거부
2000 : 특징 벡터 추출부
3000 : 이웃 패치 선정부
4000 : 확대 패치 선정부
S200 : 패치 보간 단계
S300 : 영상 간 거리 산출 단계
S400 : 아웃라이어 제거 단계
S1000 : 대상 영상 패치 입력 단계
S2000 : 특징 벡터 추출 단계
S3000 : 이웃 패치 선정 단계
S4000 : 확대 패치 선정 단계
100 : 패치 선택부
200 : 패치 보간부
300 : 영상 간 거리 산출부
400 : 아웃라이어 제거부
2000 : 특징 벡터 추출부
3000 : 이웃 패치 선정부
4000 : 확대 패치 선정부
Claims (15)
- 초해상도 기반 영상 확대를 위한 사전 관리 방법에 있어서,
적어도 하나 이상의 고해상도 영상 패치와 상기 고해상도 영상 패치의 크기를 축소시켜 생성한 저해상도 영상 패치의 쌍이 저장되어 있는 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 패치 선택 단계;
상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 그 보간한 결과로 상기 선택한 고해상도 영상 패치의 크기를 갖는 보간 영상 패치를 생성하는 패치 보간 단계;
상기 생성한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 영상 간 거리 산출 단계; 및
상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 아웃라이어인지 결정하여 상기 결정한 아웃라이어를 상기 사전에서 제거하는 아웃라이어 제거 단계;를 포함하는 초해상도 영상 확대를 위한 사전 관리 방법. - 제1항에 있어서,
상기 패치 보간 단계는 상기 선택한 저해상도 영상 패치를 바이큐빅 보간하여 상기 고해상도 영상 패치와 대응하는 크기를 가지는 상기 보간 영상 패치를 생성하는 것을 특징으로 하는 초해상도 영상 확대를 위한 사전 관리 방법. - 제1항에 있어서,
상기 영상 간 거리 산출 단계는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 차분 영상을 생성하고, 상기 차분 영상을 이용하여 상기 영상 간 거리를 산출하는 것을 특징으로 하는 초해상도 영상 확대를 위한 사전 관리 방법. - 제3항에 있어서,
상기 영상 간 거리 산출 단계는 상기 차분 영상을 이용하여 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 유클리디안 거리를 산출하여 상기 영상 간 거리를 획득하는 것을 특징으로 하는 초해상도 영상 확대를 위한 사전 관리 방법. - 제1항에 있어서,
상기 아웃라이어 제거 단계는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할지 여부를 결정하는 것을 특징으로 하는 초해상도 영상 확대를 위한 사전 관리 방법. - 제5항에 있어서,
상기 아웃라이어 제거 단계는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기가 상기 임계치 보다 큰 경우, 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거하는 것을 특징으로 하는 초해상도 영상 확대를 위한 사전 관리 방법. - 초해상도 기반 영상 확대 방법에 있어서,
확대할 대상 영상 패치를 입력받는 대상 영상 패치 입력 단계;
상기 대상 영상 패치에서 특징 벡터를 추출하는 특징 벡터 추출 단계;
사전에 저장된 저해상도 영상 패치의 상기 특징 벡터와 상기 대상 영상 패치에서 추출한 상기 특징 벡터를 비교하여, 그 비교 결과에 따라 적어도 하나 이상의 이웃 저해상도 영상 패치를 상기 사전에서 선정하는 이웃 패치 선정 단계;
상기 선정한 이웃 저해상도 영상 패치에 대응하는 상기 사전에 저장되어 있는 고해상도 영상 패치를 이용하여, 상기 대상 영상 패치에 대응하는 확대 영상 패치를 생성하는 확대 패치 생성 단계를 포함하고,
상기 사전은,
적어도 하나 이상의 상기 고해상도 영상 패치와 상기 고해상도 영상 패치의 크기를 축소시켜 생성한 저해상도 영상 패치의 쌍이 저장되어 있는 상기 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 과정;
상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 그 보간한 결과로 상기 선택한 고해상도 영상 패치의 크기를 갖는 보간 영상 패치를 생성하는 과정;
상기 생성한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 과정; 및
상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 아웃라이어인지 결정하여 상기 결정한 아웃라이어를 상기 사전에서 제거하는 과정;을 통해 미리 생성된 사전인 것을 특징으로 하는 초해상도 기반 영상 확대 방법. - 제7항에 있어서,
상기 이웃 패치 선정 단계는 상기 저해상도 영상 패치의 상기 특징 벡터와 상기 대상 영상 패치의 상기 특징 벡터 간의 거리를 산출하고, 상기 산출한 거리를 기준으로 상기 사전에서 상기 이웃 저해상도 영상 패치를 선정하는 것을 특징으로 하는 초해상도 기반 영상 확대 방법. - 제7항에 있어서,
상기 확대 패치 생성 단계는 상기 이웃 저해상도 영상 패치에 대응하는 상기 고해상도 영상 패치들을 가중합하여 상기 확대 영상 패치를 생성하는 것을 특징으로 하는 초해상도 기반 영상 확대 방법. - 제7항에 있어서,
상기 보간 영상 패치를 생성하는 과정은 상기 선택한 저해상도 영상 패치를 바이큐빅 보간하여 상기 고해상도 영상 패치와 대응하는 크기를 가지는 상기 보간 영상 패치를 생성하는 것을 특징으로 하는 초해상도 기반 영상 확대 방법. - 제7항에 있어서,
상기 제거하는 과정은 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기를 소정의 임계치와 비교하여, 상기 영상 간 거리의 크기가 상기 임계치 보다 큰 경우, 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거하는 것을 특징으로 하는 초해상도 기반 영상 확대 방법. - 초해상도 기반 영상 확대를 위한 사전 관리 장치에 있어서,
적어도 하나 이상의 고해상도 영상 패치와 상기 고해상도 영상 패치의 크기를 축소시켜 생성한 저해상도 영상 패치의 쌍이 저장되어 있는 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 패치 선택부;
상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 그 보간한 결과로 상기 선택한 고해상도 영상 패치의 크기를 갖는 보간 영상 패치를 생성하는 패치 보간부;
상기 생성한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 영상 간 거리 산출부; 및
상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 아웃라이어인지 결정하여 상기 결정한 아웃라이어를 상기 사전에서 제거하는 아웃라이어 제거부;를 포함하는 초해상도 영상 확대를 위한 사전 관리 장치. - 제12항에 있어서,
상기 패치 보간부는 상기 선택한 저해상도 영상 패치를 바이큐빅 보간하여 상기 고해상도 영상 패치와 대응하는 크기를 가지는 상기 보간 영상 패치를 생성하는 것을 특징으로 하는 초해상도 영상 확대를 위한 사전 관리 장치. - 제12항에 있어서,
상기 영상 간 거리 산출부는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 차분 영상을 생성하고, 상기 차분 영상을 이용하여 상기 영상 간 거리를 산출하고,
상기 아웃라이어 제거부는 상기 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 상기 영상 간 거리의 크기를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 상기 사전에서 제거할지 여부를 결정하는 것을 특징으로 하는 초해상도 영상 확대를 위한 사전 관리 장치. - 초해상도 기반 영상 확대 장치에 있어서,
확대할 대상 영상 패치를 입력받고, 상기 대상 영상 패치에서 특징 벡터를 추출하는 특징 벡터 추출부;
사전에 저장된 저해상도 영상 패치의 상기 특징 벡터와 상기 대상 영상 패치에서 추출한 상기 특징 벡터를 비교하여, 그 비교 결과에 따라 적어도 하나 이상의 이웃 저해상도 영상 패치를 상기 사전에서 선정하는 이웃 패치 선정부;
상기 선정한 이웃 저해상도 영상 패치에 대응하는 상기 사전에 저장되어 있는 고해상도 영상 패치를 이용하여, 상기 대상 영상 패치에 대응하는 확대 영상 패치를 생성하는 확대 패치 생성부를 포함하고,
상기 사전은,
적어도 하나 이상의 상기 고해상도 영상 패치와 상기 고해상도 영상 패치의 크기를 축소시켜 생성한 저해상도 영상 패치의 쌍이 저장되어 있는 상기 사전에서 상기 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 선택하는 과정;
상기 선택한 저해상도 영상 패치를 상기 선택한 고해상도 영상 패치와 대응하는 크기를 가지도록 보간하여 그 보간한 결과로 상기 선택한 고해상도 영상 패치의 크기를 갖는 보간 영상 패치를 생성하는 과정;
상기 생성한 보간 영상 패치와 상기 선택한 고해상도 영상 패치 간의 영상 간 거리를 산출하는 과정; 및
상기 산출한 영상 간 거리를 기준으로 상기 선택한 고해상도 영상 패치와 저해상도 영상 패치의 쌍을 아웃라이어인지 결정하여 상기 결정한 아웃라이어를 상기 사전에서 제거하는 과정;을 통해 미리 생성된 사전인 것을 특징으로 하는 초해상도 기반 영상 확대 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150173990A KR101711589B1 (ko) | 2015-12-08 | 2015-12-08 | 초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150173990A KR101711589B1 (ko) | 2015-12-08 | 2015-12-08 | 초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101711589B1 true KR101711589B1 (ko) | 2017-03-02 |
Family
ID=58427250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150173990A KR101711589B1 (ko) | 2015-12-08 | 2015-12-08 | 초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101711589B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211193A (zh) * | 2019-05-17 | 2019-09-06 | 山东财经大学 | 三维ct层间图像插值修复与超分辨处理方法及装置 |
| KR20210098398A (ko) * | 2019-10-07 | 2021-08-10 | 한국항공대학교산학협력단 | 영상의 업샘플링 방법 및 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060047552A (ko) * | 2004-04-27 | 2006-05-18 | 마이크로소프트 코포레이션 | 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭 |
| KR101544171B1 (ko) * | 2014-12-29 | 2015-08-12 | 연세대학교 산학협력단 | 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법 |
-
2015
- 2015-12-08 KR KR1020150173990A patent/KR101711589B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060047552A (ko) * | 2004-04-27 | 2006-05-18 | 마이크로소프트 코포레이션 | 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭 |
| KR101544171B1 (ko) * | 2014-12-29 | 2015-08-12 | 연세대학교 산학협력단 | 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법 |
Non-Patent Citations (1)
| Title |
|---|
| (비특허문헌 0001) W. T. Freeman, T. R. Jones, and E. C. Pasztor, "Example-based super-resolution," IEEE Comput. Graph. Appl., vol. 22, no.2, pp. 56-65, Mar.Apr. 2002. |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211193A (zh) * | 2019-05-17 | 2019-09-06 | 山东财经大学 | 三维ct层间图像插值修复与超分辨处理方法及装置 |
| KR20210098398A (ko) * | 2019-10-07 | 2021-08-10 | 한국항공대학교산학협력단 | 영상의 업샘플링 방법 및 장치 |
| KR102522186B1 (ko) * | 2019-10-07 | 2023-04-14 | 한국항공대학교산학협력단 | 영상의 업샘플링 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1347410B1 (en) | Edge-based enlargement and interpolation of images | |
| JP6362333B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US8330827B2 (en) | Increasing image resolution using combined differential image | |
| US10726539B2 (en) | Image processing apparatus, image processing method and storage medium | |
| KR101795271B1 (ko) | 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법 | |
| US8150197B2 (en) | Apparatus and method of obtaining high-resolution image | |
| JP6512100B2 (ja) | 画像処理を実行する情報処理装置及び画像処理方法 | |
| Mousavi et al. | Sparsity-based color image super resolution via exploiting cross channel constraints | |
| JP2011501835A (ja) | 画像をスケーリングするシステムおよび方法 | |
| JP2015232869A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| KR101975472B1 (ko) | 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법 | |
| Harb et al. | Improved image magnification algorithm based on Otsu thresholding | |
| JP2010218271A (ja) | パラメータ制御処理装置及び画像処理装置 | |
| JP2009212969A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| Yang et al. | Antialiasing recovery | |
| Khattab et al. | Regularization-based multi-frame super-resolution: a systematic review | |
| Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
| KR101711589B1 (ko) | 초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치 | |
| JP2010212782A (ja) | 画像鮮鋭化装置、画像鮮鋭化方法 | |
| KR101836238B1 (ko) | 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법 | |
| JP5737387B2 (ja) | 画像処理装置 | |
| JP4857975B2 (ja) | 画像処理システムおよび画像処理プログラム | |
| WO2014077024A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US8493416B2 (en) | Image processing apparatus, image processing method, and computer readable medium | |
| Khosravi et al. | A new statistical technique for interpolation of landsat images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |