KR101125765B1 - 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법 - Google Patents

다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법 Download PDF

Info

Publication number
KR101125765B1
KR101125765B1 KR1020110006926A KR20110006926A KR101125765B1 KR 101125765 B1 KR101125765 B1 KR 101125765B1 KR 1020110006926 A KR1020110006926 A KR 1020110006926A KR 20110006926 A KR20110006926 A KR 20110006926A KR 101125765 B1 KR101125765 B1 KR 101125765B1
Authority
KR
South Korea
Prior art keywords
color
image
channels
original image
label map
Prior art date
Application number
KR1020110006926A
Other languages
English (en)
Inventor
백준기
이진희
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020110006926A priority Critical patent/KR101125765B1/ko
Priority to US13/356,842 priority patent/US8644604B2/en
Application granted granted Critical
Publication of KR101125765B1 publication Critical patent/KR101125765B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)

Abstract

다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법이 개시된다. 영상 분할부는 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영된 원영상의 에지 정보를 포함하는 이진영상을 생성하고, 이진영상에서 서로 연결된 화소들로 이루어진 구성요소들을 각각 레이블링(labeling)하여 원영상에 포함된 복수의 객체에 각각 대응하는 복수의 관심영역으로 이루어진 레이블맵(label map)을 생성한다. 이동 벡터 추정부는 각각의 관심영역을 구성하는 영상 데이터의 주파수 성분을 기초로 각각의 관심영역에 대응하여 원영상의 컬러 채널들의 이동 방향 및 거리를 나타내는 색상 이동 벡터를 추정한다. 채널 정합부는 각각의 색상 이동 벡터에 의해 컬러 채널들을 이동시켜 레이블맵에 포함된 각각의 관심영역에 대응하는 복수의 정합영상을 획득하고, 정합영상들을 융합하여 원영상에 포함된 복수의 객체에 모두 초점이 맞추어진 다초점 영상을 생성한다. 본 발명에 따르면, 서로 다른 거리에 위치한 복수의 객체에 대응하여 영상을 분할하고 각각의 관심영역에 대응하여 컬러 채널의 이동 벡터를 자동으로 추정함으로써 복수의 객체에 모두 초점이 맞추어진 다초점 영상을 생성할 수 있다.

Description

다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법{Apparatus and method for registration between color channels based on depth information of image taken by multiple color filter aperture camera}
본 발명은 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법에 관한 것으로, 보다 상세하게는, 복수의 컬러 필터에 의해 획득된 영상의 컬러 채널들의 초점을 보정함으로써 다초점 영상을 생성할 수 있는 장치 및 방법에 관한 것이다.
영상 등록(registration)은 영상 처리 및 컴퓨터 비젼 분야에 있어서의 근본적인 문제이다. 다양한 응용 분야 중에서 고품질의 컬러 영상 획득은 컬러 채널 사이의 정확하고 비경직(nonrigid)의 등록을 필요로 한다. 보다 구체적으로, 컬러 형상의 디지털 방식의 획득은 스펙트럼 샘플링(spectral sampling), 공간 샘플링(spatial sampling) 및 시간 샘플링(temporal sampling) 중의 하나를 사용하여 수행된다.
스펙트럼 샘플링 시스템에서는 입사광이 색선별 프리즘 및 세 개의 이미지 센서를 사용하여 파장에 의해 분리되며, 세 개의 컬러 채널은 기계적 또는 전자적 정렬에 의해 완벽한 컬러 영상을 생성한다. 공간 샘플링 시스템은 컬러 필터 어레이 및 단일의 이차원 이미지 센서를 사용하며, 공간 샘플링으로 인하여 손실된 색상 정보는 디모자이킹(demosicing)이라는 보간 기법에 의해 복구된다.
한편, 시간 샘플링 기법은 내시경 순차 영상과 같은 고해상도 기기에 사용된다. 각각의 영상 프레임이 서로 다른 색상의 조명 하에서 얻어지므로, 각 프레임마다 하나의 컬러 채널만이 샘플링된다. 전체 컬러 영상 시퀀스는 컬러 채널들 간의 비경직 정렬을 요구하는 시간적 보간에 의해 복구된다. 고해상도 컬러 영상의 시간적 샘플링 뿐만 아니라, 현대식 디지털 카메라의 영상 신호 처리(ISP) 계통 및 차세대 비디오 코딩 시스템은 실시간의 견고한 영상 등록 기법을 필요로 한다.
간단하고 직관적인 영상 등록 기법은 컬러 채널 간의 편차 자승합(sum of squared difference : SSD)을 최소화시키는 방식으로 수행된다. 그러나 SSD 기반의 등록은 동일한 화소가 각각의 컬러 채널에서 서로 다른 화소값을 가짐으로 인하여 실패할 확률이 높다. 최근의 연구에서는 컬러 공간에서의 화소값 사이에 상수 관계가 있는 것으로 가정하며, 이러한 가정은 상호 정보 기반의 등록 기법의 이론적 기반이 되었다.
최근 컬러 채널들 사이의 결합 히스토그램을 사용하는, 시간적으로 샘플링된 의학 영상 시퀀스를 위한 비경직의 등록 기법이 제안되었다. 이러한 방법은 주된 부분공간에서만 처리됨으로써 계산 부하를 줄일 수 있으나, 디지털 카메라 또는 비디오 코딩 시스템에 적용되기에는 적합하지 않다는 단점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 단일 카메라 기반의 다초점 시스템에 있어서 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상을 복수의 균등 깊이 영역으로 분할하여 각 영역의 컬러 채널 간의 색상 이동 벡터를 자동으로 추정함으로써 컬러 채널을 정렬하는 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 단일 카메라 기반의 다초점 시스템에 있어서 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상을 복수의 균등 깊이 영역으로 분할하여 각 영역의 컬러 채널 간의 색상 이동 벡터를 자동으로 추정함으로써 컬러 채널을 정렬하는 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치는, 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영된 원영상의 에지 정보를 포함하는 이진영상을 생성하고, 상기 이진영상에서 서로 연결된 화소들로 이루어진 구성요소들을 각각 레이블링(labeling)하여 상기 원영상에 포함된 복수의 객체에 각각 대응하는 복수의 관심영역으로 이루어진 레이블맵(label map)을 생성하는 영상 분할부; 상기 각각의 관심영역을 구성하는 영상 데이터의 주파수 성분을 기초로 상기 각각의 관심영역에 대응하여 상기 원영상의 컬러 채널들의 이동 방향 및 거리를 나타내는 색상 이동 벡터를 추정하는 이동 벡터 추정부; 및 상기 각각의 색상 이동 벡터에 의해 상기 컬러 채널들을 이동시켜 상기 레이블맵에 포함된 각각의 관심영역에 대응하는 복수의 정합영상을 획득하고, 상기 정합영상들을 융합하여 상기 원영상에 포함된 복수의 객체에 모두 초점이 맞추어진 다초점 영상을 생성하는 채널 정합부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬방법은, 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영된 원영상의 에지 정보를 포함하는 이진영상을 생성하고, 상기 이진영상에서 서로 연결된 화소들로 이루어진 구성요소들을 각각 레이블링(labeling)하여 상기 원영상에 포함된 복수의 객체에 각각 대응하는 복수의 관심영역으로 이루어진 레이블맵(label map)을 생성하는 영상 분할단계; 상기 각각의 관심영역을 구성하는 영상 데이터의 주파수 성분을 기초로 상기 각각의 관심영역에 대응하여 상기 원영상의 컬러 채널들의 이동 방향 및 거리를 나타내는 색상 이동 벡터를 추정하는 이동 벡터 추정단계; 및 상기 각각의 색상 이동 벡터에 의해 상기 컬러 채널들을 이동시켜 상기 레이블맵에 포함된 각각의 관심영역에 대응하는 복수의 정합영상을 획득하고, 상기 정합영상들을 융합하여 상기 원영상에 포함된 복수의 객체에 모두 초점이 맞추어진 다초점 영상을 생성하는 채널 정합단계;를 갖는다.
본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법에 의하면, 서로 다른 거리에 위치한 복수의 객체에 대응하여 영상을 분할하고 각각의 관심영역에 대응하여 컬러 채널의 이동 벡터를 자동으로 추정함으로써 복수의 객체에 모두 초점이 맞추어진 다초점 영상을 생성할 수 있다. 또한 각각의 관심영역으로부터 추정된 색상 이동 벡터의 특성을 기초로 잘못 결정된 관심영역을 컬러 채널의 정렬 대상으로부터 제외함으로써 컬러 채널 정렬의 정확도를 높일 수 있다.
도 1은 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 컬러 채널 간의 균등한 컬러 이동이 나타난 컬러 영상의 일부를 나타낸 도면,
도 3은 2비트 변환 기반의 위상 상관 매칭에 의하여 색상 이동 벡터를 추정하는 일 예를 나타낸 도면,
도 4는 원영상으로부터 추정된 색상 이동 벡터에 의해 컬러 채널이 정렬되는 일 예를 나타낸 도면,
도 5는 내시경 컬러 영상 및 그에 대응하는 결합 히스토그램을 나타낸 도면,
도 6은 초점 위치에 따라 다르게 추정되는 색상 이동 벡터의 예를 나타낸 도면,
도 7은 단일 센서 MCA 카메라에 의한 영상 획득 방법을 보여주는 도면,
도 8은 레이블링 과정의 결과를 나타낸 도면,
도 9는 초점 위치보다 가깝게 위치한 객체 및 멀리 위치한 객체에 대하여 실제로 추정된 색상 이동 벡터의 분포를 나타낸 그래프,
도 10은 영상에서 초점이 맞추어진 영역 및 해당 영역에 대응하여 영상의 다른 영역에서 추정되는 색상 이동 벡터 분포를 나타낸 도면,
도 11은 원영상이 분할되어 생성된 레이블맵의 색상 이동 벡터를 사용하여 컬러 채널 정렬의 대상이 될 영역을 결정하는 일 예를 나타낸 도면,
도 12는 색상 이동 벡터의 특성을 기초로 관심영역이 제거된 레이블맵의 다른 예를 나타낸 도면,
도 13은 관심영역을 기반으로 한 컬러 채널 정렬의 예를 나타낸 도면,
도 14는 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 15는 본 발명의 성능을 평가하기 위한 실험에 사용된 MCA 카메라의 실제 형태를 나타낸 도면,
도 16은 DSLR-A 카메라를 사용하여 얻어진 실험 결과를 나타낸 도면, 그리고,
도 17은 본 발명을 사용하여 컬러 채널의 정렬을 수행한 다른 실험 결과를 나타낸 도면이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 컬러 채널 정렬장치는, 영상 분할부(110), 이동 벡터 추정부(120) 및 채널 정합부(130)를 구비한다. 또한 본 발명에 따른 컬러 채널 정렬장치는 복수의 컬러 필터가 설치된 조리개를 구비한 카메라에 의해 촬영된 원영상의 컬러 채널 정렬에 사용된다. 이하에서는 이러한 카메라를 다중 컬러 필터 조리개(Multiple Color-filtered Aperture : MCA) 카메라라 한다. MCA 카메라의 조리개에는 복수의 개구부가 형성되어 있으며, 각 개구부에는 적색, 녹색 및 청색의 컬러 필터가 설치된다. MCA 카메라는 이와 같이 복수의 컬러 필터가 설치된 조리개를 이용하여 카메라로부터 서로 다른 거리에 위치하는 객체들의 깊이 정보를 측정하고, 다중 초점을 수행한다.
조리개의 컬러 필터들을 투과한 객체의 촬영광은 촬상 소자에 결상되어 원영상으로 생성되며, 촬영광의 수렴 패턴은 원영상에서 추출한 적색, 녹색 및 청색의 컬러 채널에 대하여 서로 다르게 나타난다. 또한 조리개에서 각 컬러 필터의 위치가 서로 상이하므로 각 컬러 필터를 투과한 촬영광으로부터 생성되는 원영상에서도 서로 다른 위치에 촬영광의 수렴 패턴이 형성된다.
이와 같이 MCA 카메라에 의해 촬영된 컬러 영상은 컬러 채널의 오정렬 문제를 가지고 있으며, 이러한 컬러 채널 오정렬의 원인으로는 광학 시스템의 색수차, 고해상도 컬러 영상 시퀀스의 시간적 샘플링 및 MCA 카메라에서의 깊이 기반 컬러 이동이 있다. 일반적으로 컬러 오정렬은 공간적 가변 방식으로 발생하며, 컬러 채널 간의 비경직 정렬이 필요하게 한다.
도 2는 컬러 채널 간의 균등한 컬러 이동이 나타난 컬러 영상의 일부를 나타낸 도면이다. 도 2의 (a)는 컬러 이동이 발생한 원영상의 일부이고, (b)는 R,G,B 컬러 채널에 대응하는 영상을 나타낸 것이다. 본 발명에 따른 컬러 채널 정렬장치는 도 2의 (c)와 같이 원영상을 이진화하여 원영상의 각각의 컬러 채널에 대응하는 이진영상을 생성한 후 위상 상관 매칭(Phase Correlation Matching : PCM)을 통해 각 컬러 채널의 색상 이동 벡터(Color Shifting Vector : CSV)를 추정하고, 추정된 색상 이동 벡터를 사용하여 컬러 채널을 정렬함으로써 도 2의 (d)와 같이 초점이 맞은 다초점 영상을 생성한다.
구체적으로, R,G,B 컬러 채널들 중에서 어느 하나의 컬러 채널, 예를 들면 G 채널을 기준으로 R 채널과 G 채널 사이의 색상 이동 벡터, 그리고 G 채널과 B 채널 사이의 색상 이동 벡터가 추정되며, G 채널을 중심으로 R 채널과 B 채널을 추정된 색상 이동 벡터에 따라 이동시켜 초점이 맞추어진 영상이 생성된다.
비록 전체 원영상에 나타난 컬러 채널들 간의 이동은 공간 가변적이지만, 도 2와 같이 원영상의 작은 영역에서는 균등한 컬러 이동이 나타난다고 가정한다. 따라서 본 발명에 따른 컬러 채널 정렬장치는 원영상 내에서 서로 다른 거리에 위치하는 객체들 각각에 대응하도록 원영상을 복수의 관심영역으로 분할하고, 각각의 관심영역에 대응하는 색상 이동 벡터를 추정함으로써 각각의 관심영역에 대하여 컬러 채널을 정렬하는 방법을 사용한다.
이하에서는 먼저 위상 상관 매칭을 기반으로 한 색상 이동 벡터의 추정에 관하여 설명한 후 구체적으로 원영상을 복수의 관심영역으로 분할하여 컬러 채널의 정렬을 수행하는 방법에 관하여 설명한다.
앞에서 언급한 바와 같이 컬러 채널을 정렬하기 위한 색상 이동 벡터의 추정은 위상 상관 매칭을 기반으로 한다. 두 영상 간의 균등한 이동은 주파수 영역에서의 위상 전이에 의해 고유하게 특징될 수 있다. 본 발명에 따른 컬러 채널 정렬장치는 두 영상 사이의 공간 좌표에서의 이동은 주파수 영역에서의 선형 위상 차이로 변환된다는 푸리에 변환의 이동 이론을 기반으로 하여 색상 이동 벡터를 추정한다. 원영상의 G 채널 fG(x,y) 및 R 또는 B 채널 fC(x,y)는 R2 영역에서 절대적으로 적분 가능한 함수이며, 다음의 수학식 1과 같은 관계를 가진다고 가정한다.
Figure 112011005666177-pat00001
여기서, (x,y)는 영상 내에서 화소의 위치이며, (Δx,Δy)는 두 영상 사이의 변위를 나타낸다.
다음으로 RGB 컬러 영상의 이산 푸리에 변환(DFT)은 다음의 수학식 2와 같이 상대적으로 이동된다.
Figure 112011005666177-pat00002
따라서 정규화된 교차 파워 스펙트럼은 다음의 수학식 3과 같이 주어진다.
Figure 112011005666177-pat00003
복소 지수 함수의 푸리에 역변환은 크로네커 델타 함수의 이동된 형태이므로 다음의 수학식 4와 같이 표현된다.
Figure 112011005666177-pat00004
이러한 결과는 상호 상관의 직접적인 산출에 의해 얻어질 수 있다. 위상 상관 매칭은 이산 푸리에 변환과 그의 역변환이 고속 푸리에 변환(FFT)을 사용하여 산출됨으로써 M×N 크기의 영상에 대하여 O(MNlogMN)의 연산만을 필요로 하므로 보통의 이산 푸리에 변환에 대하여 O(M2N2)의 연산이 수행되는 것에 비해 이점을 가진다.
도 2의 (c)와 같은 이진 에지 영상은 윈도우 함수를 적용하고 개별적인 RGB 화소값들을 정규화함으로써 얻어질 수 있다. 정규화 과정은 영상의 노이즈 효과를 감소시키며, 원영상에 대응하는 이진 에지 영상을 생성한다. 영상 이진화는 움직임 추정에 있어서 연산의 복잡도를 줄이기 위한 중요한 전처리 방법이다. 이때 다양한 에지 검출 알고리즘이 사용될 수 있으며, 일 실시예로서 캐니 에지 검출 방법을 사용하여 에지 이미지를 생성할 수 있다. 에지 이미지는 현저하게 감소된 계산량으로 원영상의 배경과 객체를 분리하는 데 사용된다.
도 3은 2비트 변환 기반의 위상 상관 매칭에 의하여 색상 이동 벡터를 추정하는 일 예를 나타낸 도면이다. 도 3의 (a)는 영상의 R 채널과 G 채널 사이의 교차 파워 스펙트럼, (b)는 R 채널과 B 채널 사이의 교차 파워 스펙트럼을 나타낸 것이고, 도 3의 (c)는 (a)에서 나타나는 피크(peak) 위치, 그리고 (d)는 (b)에서 나타나는 피크 위치를 표시한 것이다. 교차 파워 스펙트럼에서의 피크 위치는 (Δx,Δy)와 같이 나타나며, 이는 곧 색상 이동 벡터가 된다.
도 4는 원영상으로부터 추정된 색상 이동 벡터에 의해 컬러 채널이 정렬되는 일 예를 나타낸 도면이다. 도 4의 (a)는 MCA 카메라에 의해 촬영된 원영상에 본 발명을 적용하여 컬러 채널이 정렬된 결과를 나타낸 영상이며, 영상에 표시된 두 개의 사각형 영역은 각각 동일한 색상 이동 벡터에 의해 컬러 채널이 정렬되는 영역에 해당한다. 도 4의 (b)를 참조하면, 컬러 채널의 정렬을 위한 영역을 포함하는 바깥쪽 영역이 색상 이동 벡터의 추정에 사용되며, 여기서 추정된 색상 이동 벡터에 의해 안쪽 영역에 포함된 화소들이 정렬된다.
이상에서 제안된 컬러 이동 모델 기반의 위상 상관 정합은 시간적으로 샘플링된 내시경 영상의 컬러 채널 정렬에도 적용될 수 있다. 구체적으로, 적절하게 분할된 영역은 컬러 채널 간의 이동만을 포함하며, 위상 상관 정합에 의해 정렬될 수 있음을 가정한다. 도 5는 내시경 컬러 영상 및 그에 대응하는 결합 히스토그램을 나타낸 도면이다. 도 5의 (a)는 컬러 채널이 완벽하게 정렬된 내시경 영상이며, (b) 내지 (d)는 각 컬러 채널 사이의 결합 히스토그램이다. 도 5의 (e)는 컬러 채널의 오정렬에 의해 얻어진 영상이고, (f) 내지 (h)는 그에 대응하는 결합 히스토그램이다. 위상 상관 정합에 의해 도 5의 (e)의 영상에서 컬러 채널이 정렬된 결과가 도 5의 (i)이며, 그에 대응하는 결합 히스토그램인 (j) 내지 (l)은 컬러 채널의 정렬 전에 비해 더 좁은 영역에 집중되어 있는 것을 확인할 수 있다.
앞에서 설명한 바와 같이 색상 이동 벡터는 MCA 카메라의 초점 위치에 따라 다르게 나타난다. 도 6은 초점 위치에 따라 다르게 추정되는 색상 이동 벡터의 예를 나타낸 도면으로, (a)는 근거리 초점 위치, (b)는 초점 위치와 객체의 위치가 일치하는 경우, 그리고 (c)는 원거리 초점 위치를 나타낸다. MCA 카메라의 조리개에서 각 개구부는 광학 중심으로부터 치우쳐 있기 때문에 도 6에 나타난 것과 같은 컬러 채널의 오정렬 문제를 가진다. 이때 (Δx,Δy)로 표현되는 컬러 채널들 사이의 색상 이동 벡터의 추정은 객체의 깊이 정보 추정 및 다초점을 동시에 가능하게 한다.
도 7은 단일 센서 MCA 카메라에 의한 영상 획득 방법을 보여주는 도면이다. 도 7을 참조하면, (a)와 같이 카메라로부터 서로 다른 거리에 놓인 복수의 객체는 (b)와 같이 복수의 컬러 필터가 구비된 MCA 카메라의 광학 시스템에 의해 (c)와 같이 컬러 채널간의 오정렬로 인하여 초점이 맞지 않은 영상으로 나타난다.
본 발명에 따른 컬러 채널 정렬장치는 3차원 카메라 움직임에 의해 유도된 사영평면에 대한 2차원 병진 운동 모델을 채용하여 컬러 채널을 정렬시킨다. 어느 하나의 컬러 채널에서 (x,y) 위치에 해당하는 화소가 다른 컬러 채널의 (x',y') 위치로 이동한다면, 이러한 병진 운동은 다음의 수학식 5와 같이 표현될 수 있다.
Figure 112011005666177-pat00005
여기서 (Δx,Δy)는 컬러 채널들 사이의 대응하는 화소의 색상 이동 벡터이다. 도 7의 (c)에 각 컬러 채널의 이동 정도가 화살표로 표시되어 있다.
이상에서 설명한 바와 같이 색상 이동 벡터는 공간 가변적이므로 원영상의 각 화소마다 다르게 얻어진다. 그러나 원영상을 동일한 색상 이동 벡터가 적용될 수 있는 것으로 판단되는 크기의 영역으로 충분히 알맞게 분할함으로써 비경직의 영상 등록을 수행할 수 있다.
따라서 본 발명에 따른 컬러 채널 정렬장치의 영상 분할부(110)는 원영상으로부터 생성된 이진영상을 원영상에 포함된 복수의 객체에 대응하는 복수의 관심영역으로 분할하며, 이를 위하여 영역 분할 이전에 원영상에서 객체가 존재하는 전경영역과 배경영역을 분리한다. 또한 보다 나은 결과를 얻을 수 있도록 필터링 또는 디블러링(de-blurring)과 같은 전처리가 수행될 수 있다.
원영상으로부터 얻어진 이진영상에 포함된 정보는 전경영역 내의 서로 연결된 구성요소들의 크기, 모양 및 위치에 의해 표현된다. 영상 분할부(110)는 원영상을 복수의 관심영역으로 분할하기 위해 이진영상에 대한 구성요소 레이블링(component labeling) 과정을 통해 원영상의 크기와 동일한 행렬 형태의 레이블맵을 생성한다. 레이블맵은 특정 객체를 구성하는 화소들을 포함하며, 어떠한 화소가 Pixel(LIk)<TH의 조건을 만족한다면 해당 화소는 배경영역에 속하며, 그렇지 않은 경우에는 전경영역에 속하게 된다. 도 8은 레이블링 과정의 결과를 나타낸 도면이다. 도 8의 (a) 및 (c)는 레이블링 과정의 결과를 나타낸 것이고, (b) 및 (d)는 레이블링 과정에 의해 이진영상이 복수의 관심영역으로 분할된 결과를 나타낸 것이다.
이동 벡터 추정부(120)는 이와 같은 레이블링 과정에 의해 분할된 원영상의 각 관심영역에 대하여 개별적으로 색상 이동 벡터를 추정한다. 색상 이동 벡터는 길이 및 각도 정보에 의해 특정될 수 있다. 각 객체의 위치에 대응하는 색상 이동 벡터의 길이 및 각도는 다음의 수학식 6 및 수학식 7에 의해 각각 산출된다.
Figure 112011005666177-pat00006
Figure 112011005666177-pat00007
수학식 6 및 수학식 7에서 i∈{GR,GB}, 즉 i=GR은 G 채널과 R 채널 사이의 색상 이동 벡터, i=GB는 G 채널과 B 채널 사이의 색상 이동 벡터이다.
수학식 7로부터, GR 컬러 채널과 GB 컬러 채널 사이의 각도 차를 다음의 수학식 8과 같이 정의할 수 있다.
Figure 112011005666177-pat00008
MCA 카메라의 조리개에 형성된 세 개의 개구부가 정삼각형 형태로 배치된다면 이론적으로 수학식 8의 각도는 60°이다. 따라서 도 6에서와 같이 객체의 위치가 초점 위치보다 MCA 카메라에 가깝거나 먼 경우에 GR 컬러 채널의 색상 이동 벡터와 GB 컬러 채널의 색상 이동 벡터는 서로 60°의 각도로 어긋나게 된다.
도 9는 초점 위치보다 가깝게 위치한 객체 및 멀리 위치한 객체에 대하여 실제로 추정된 색상 이동 벡터의 분포를 나타낸 그래프이다. 복수의 객체에 대하여 추정된 색상 이동 벡터를 평균하면 색상 이동 벡터 간의 평균이 60°에 가까워지는 것을 확인할 수 있다.
도 10은 영상에서 초점이 맞추어진 영역 및 해당 영역에 대응하여 영상의 다른 영역에서 추정되는 색상 이동 벡터 분포를 나타낸 도면이다. 도 10의 (a), (c) 및 (e)에서 사각형으로 표시된 영역은 초점이 맞추어진 영역을 나타내며, MCA 카메라로부터 서로 다른 거리에 놓인 객체에 초점이 맞추어져 있다. 도 10의 (b)를 참조하면, MCA 카메라로부터 가장 가까운 곳에 위치한 객체에 초점이 맞추어져 있으므로 대응하는 색상 이동 벡터의 방향은 모두 그래프에서 위쪽을 향하는 것을 확인할 수 있다.
한편, 색상 이동 벡터의 길이는 초점 위치로부터의 거리에 비례하므로, 이러한 특성은 초점 영역에 위치한 객체의 깊이 정보를 추정하는 데 사용할 수 있다. 도 10의 (b)에는 색상 정보 벡터들을 길이에 따라 분류하여 깊이 클러스터링(depth clustering)을 수행한 결과가 표시되어 있다.
앞에서 설명한 바와 같이 색상 이동 벡터는 각도 및 길이 정보에 의해 특정된다. 따라서 이동 벡터 추정부(120)는 원영상으로부터 분할된 각각의 관심영역에 대응하여 이상에서 설명한 것과 같은 방법에 의해 컬러 채널들 간의 색상 이동 벡터를 추정하고, 추정된 색상 이동 벡터의 각도 및 길이가 사전에 설정된 기준을 벗어나는 경우에 해당 관심영역은 잘못 설정된 영역, 즉 컬러 채널 정렬의 대상이 아닌 영역으로 판단하여 레이블맵으로부터 제거할 수 있다.
도 11은 원영상이 분할되어 생성된 레이블맵의 색상 이동 벡터를 사용하여 컬러 채널 정렬의 대상이 될 영역을 결정하는 일 예를 나타낸 도면이다. 도 11의 (a)는 앞에서 설명한 것과 같은 방법에 의해 원영상의 이진영상에 대응하여 생성된 레이블맵, (b)는 각각의 관심영역에 대하여 추정된 GR 색상 이동 벡터 및 GB 색상 이동 벡터의 각도 정보를 나타낸 정규화된 히스토그램, (c)는 각각의 관심영역에 대하여 추정된 GR 색상 이동 벡터 및 GB 색상 이동 벡터의 길이 정보를 나타낸 정규화된 히스토그램, (e)는 추정된 색상 이동 벡터들의 분포를 나타낸 그래프, 그리고 (d)는 색상 이동 벡터의 각도 및 길이 정보를 기초로 최종적으로 선택된 관심영역들이 표시된 레이블맵을 나타낸 도면이다.
도 11의 (a) 및 (d)를 대비하여 보면, 레이블링된 관심영역들 중에서 일부가 레이블맵으로부터 제거된 것을 확인할 수 있다. 도 11의 (b)의 두 히스토그램에서 원으로 표시된 빈(bin) 사이의 각도는 도 11의 (e)에도 나타난 바와 같이 약 60°로 얻어진다. 따라서 레이블링된 관심영역들 중에서 GR 색상 이동 벡터와 GB 색상 이동 벡터 사이의 각도가 60° 또는 60°를 중심으로 설정된 일정한 기준범위를 벗어나는 관심영역은 레이블맵으로부터 제거될 수 있다. 또한 각각의 관심영역에 대응하여 추정된 색상 이동 벡터의 길이에 대한 기준값은 관심영역의 크기로 설정될 수 있으며, 관심영역들 중에서 색상 이동 벡터의 길이가 관심영역의 크기보다 큰 관심영역이 레이블맵으로부터 제거될 수 있다.
도 12는 색상 이동 벡터의 특성을 기초로 관심영역이 제거된 레이블맵의 다른 예를 나타낸 도면이다. 도 12의 (a)의 그래프는 좌상측에 도시된 레이블맵의 각 관심영역에 대응하여 얻어진 색상 이동 벡터들을 나타낸 것이다. 그래프에서 레이블 10번 및 18번에 대응하는 관심영역의 색상 이동 벡터가 나머지 색상 이동 벡터들과 다른 방향을 향하고 있는 것을 확인할 수 있다. 따라서 해당 관심영역들은 컬러 채널 정렬의 대상이 아니므로 레이블맵으로부터 제거된다. 도 12의 (b)의 그래프는 우상측에 도시된 레이블맵의 각 관심영역에 대응하여 얻어진 색상 이동 벡터들을 나타낸 것으로서, 잘못 설정된 관심영역이 레이블맵으로부터 제거됨에 따라 모든 색상 이동 벡터들이 각도 조건을 만족하게 된다.
이상에서 설명한 레이블맵을 기초로 채널 정합부(130)는 각각의 관심영역에 대응하여 추정된 색상 이동 벡터를 사용하여 컬러 채널이 정렬된 복수의 정합영상을 생성하고, 정합영상들을 융합함으로써 원영상에 포함된 복수의 객체에 모두 초점이 맞추어진 다초점 영상을 생성한다.
도 13은 관심영역을 기반으로 한 컬러 채널 정렬의 예를 나타낸 도면이다. 도 13의 (a)는 컬러 채널의 오정렬이 나타난 원영상이고 그중 채널 오정렬이 가장 심하게 나타난 영역을 도 13의 (c)와 같이 확대하여 나타내었다. 도 13의 (b)는 본 발명에 따른 컬러 채널 정렬장치에 의해 생성된 다초점 영상으로, 앞에서 설명하였던 레이블맵으로부터의 부적합한 관심영역의 제거 과정이 수행되지 않아 컬러 채널이 잘못 정렬된 영역이 표시되어 있다. 도 13의 (c)는 부적합한 관심영역이 제거되어 정확하게 컬러 채널의 정렬이 수행된 다초점 영상을 나타낸 것이다. 도 13의 (d) 및 (e)는 도 3의 (b) 및 (c)에서 동일한 위치의 영역을 확대하여 나타낸 것으로, 부적합한 관심영역이 제거됨에 따라 확대된 영역에서 초점이 정확하게 맞추어진 것을 확인할 수 있다.
도 14는 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 14를 참조하면, 영상 분할부(110)는 MCA 카메라에 의해 획득된 원영상을 이진영상으로 변환하고(S1010), 이진영상의 에지 정보를 기초로 원영상에 포함된 복수의 객체에 대응하는 전경영역을 복수의 관심영역으로 분할한다(S1020). 이때 구성요소 레이블링 과정을 통해 각각의 관심영역에 서로 다른 레이블이 부여된 원영상과 동일한 크기의 레이블맵이 생성된다.
이동 벡터 추정부(120)는 각각의 관심영역에 대응하는 컬러 채널들 사이의 위상 상관 매칭을 통해 색상 이동 벡터를 추정하고(S1030), 부가적으로 색상 이동 벡터의 각도 및 길이 정보를 기초로 하여 색상 이동 벡터가 사전에 설정된 기준범위를 벗어나는 관심영역을 레이블맵으로부터 제거한다.
채널 정합부(130)는 레이블맵에 포함된 관심영역들 각각에 대하여 추정된 색상 이동 벡터를 사용하여 컬러 채널을 정렬함으로써 복수의 관심영역에 대응하는 복수의 정합영상을 생성하고, 정합영상들을 융합하여 다초점 영상을 생성한다(S1050).
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험을 위하여 MCA 카메라에 의해 획득된 다양한 테스트 영상이 사용되었으며, 도 15에 실험에 사용된 MCA 카메라의 실제 형태를 나타내었다. MCA 카메라의 하드웨어 상세정보는 다음의 표 1에 나타내었다.
카메라 DSLR-A DSLR-B

R,G,B 필터
 Green-K-Wratten Filter No.58
Blue-K-Wratten Filter No.47
Red-K-Wratten Filter No.25
초점 F-5.6 F-1.0
센서 23.7×15.6mm RGB CCD 22.2×14.8mm RGB CCD
렌즈 마운트 S-Apo-Tele-Xnear
Relative aperture focal length-5.6/250
노출 시간 1/5 초 1/25, 1/15 초
컬러 모드 Triple mode for RGB channels
도 16은 DSLR-A 카메라를 사용하여 얻어진 실험 결과를 나타낸 도면이다. 초점 화소를 중심으로 하는 영역이 도 16의 (a)와 같이 분류된다고 가정한다. 도 16의 (a)는 MCA 카메라에 의해 얻어진 원영상으로, 초점이 빗나간 객체가 다수 포함되어 있다. 본 발명을 적용하여 컬러 채널을 정렬한 결과 도 16의 (b)와 같이 복수의 객체에 모두 초점이 맞추어진 것을 확인할 수 있다. 도 16의 (c)에서 확대되어 표시된 영역에는 영역 겹침에 따라 나타나는 화질 열화 현상이 나타나며, 이러한 화질 열화는 초점 화소에 대응하는 영역이 보다 적절히 분류됨으로써 도 16의 (d)와 같이 개선될 수 있다.
도 17은 본 발명을 사용하여 컬러 채널의 정렬을 수행한 다른 실험 결과를 나타낸 도면이다. 도 17의 (a) 및 (i)는 모두 MCA 카메라에 의해 촬영되어 컬러 채널이 오정렬된 원영상이다. 이러한 원영상의 R,G,B 채널이 각각 도 17의 (b) 내지 (d) 및 (j) 내지 (l)에 나타나 있다. 또한 도 17의 (e) 내지 (g) 및 (m) 내지 (o)는 각각 R,G,B 채널의 이진영상을 나타낸 것이다. 본 발명에 의해 컬러 채널이 정렬되어 생성된 다초점 영상을 도 17의 (h) 및 (p)에 각각 나타내었으며, 원영상인 (a) 및 (i)와 비교하였을 때 영상의 모든 부분에서 초점이 맞추어진 것을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 영상 분할부
120 - 이동 벡터 추정부
130 - 채널 정합부

Claims (11)

  1. 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영된 원영상의 에지 정보를 포함하는 이진영상을 생성하고, 상기 이진영상에서 서로 연결된 화소들로 이루어진 구성요소들을 각각 레이블링(labeling)하여 상기 원영상에 포함된 복수의 객체에 각각 대응하는 복수의 관심영역으로 이루어진 레이블맵(label map)을 생성하는 영상 분할부;
    상기 각각의 관심영역을 구성하는 영상 데이터의 주파수 성분을 기초로 상기 각각의 관심영역에 대응하여 상기 원영상의 컬러 채널들의 이동 방향 및 거리를 나타내는 색상 이동 벡터를 추정하는 이동 벡터 추정부; 및
    상기 각각의 색상 이동 벡터에 의해 상기 컬러 채널들을 이동시켜 상기 레이블맵에 포함된 각각의 관심영역에 대응하는 복수의 정합영상을 획득하고, 상기 정합영상들을 융합하여 상기 원영상에 포함된 복수의 객체에 모두 초점이 맞추어진 다초점 영상을 생성하는 채널 정합부;를 포함하는 것을 특징으로 하는 컬러 채널 정렬장치.
  2. 제 1항에 있어서,
    상기 이동 벡터 추정부는 상기 각각의 관심영역에 대응하여 상기 컬러 채널들 중에서 선택된 기준 채널에 대한 다른 채널들의 이동 벡터인 복수의 색상 이동 벡터를 결정하고, 상기 레이블맵에 포함된 관심영역들 중에서 상기 색상 이동 벡터들 사이의 각도 및 상기 색상 이동 벡터들의 길이가 사전에 설정된 기준범위에 속하지 않는 관심영역을 상기 레이블맵으로부터 제거하는 것을 특징으로 하는 컬러 채널 정렬장치.
  3. 제 2항에 있어서,
    상기 이동 벡터 추정부는 상기 색상 이동 벡터들 사이의 각도가 상기 조리개에 형성된 복수의 개구부가 이루는 각도를 기초로 설정된 기준 각도범위에 속하지 않는 관심영역을 상기 레이블맵으로부터 제거하는 것을 특징으로 하는 컬러 채널 정렬장치.
  4. 제 2항에 있어서,
    상기 이동 벡터 추정부는 상기 색상 이동 벡터들의 길이가 상기 관심영역의 크기를 기초로 설정된 기준 길이범위에 모두 속하지 않는 관심영역을 상기 레이블맵으로부터 제거하는 것을 특징으로 하는 컬러 채널 정렬장치.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 조리개에 형성된 복수의 개구부에는 적색, 청색 및 녹색의 컬러 필터가 각각 설치되며, 상기 원영상의 컬러 채널들은 상기 복수의 객체로부터의 입사광이 상기 컬러 필터를 통과하여 생성되는 것을 특징으로 하는 컬러 채널 정렬장치.
  6. 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영된 원영상의 에지 정보를 포함하는 이진영상을 생성하고, 상기 이진영상에서 서로 연결된 화소들로 이루어진 구성요소들을 각각 레이블링(labeling)하여 상기 원영상에 포함된 복수의 객체에 각각 대응하는 복수의 관심영역으로 이루어진 레이블맵(label map)을 생성하는 영상 분할단계;
    상기 각각의 관심영역을 구성하는 영상 데이터의 주파수 성분을 기초로 상기 각각의 관심영역에 대응하여 상기 원영상의 컬러 채널들의 이동 방향 및 거리를 나타내는 색상 이동 벡터를 추정하는 이동 벡터 추정단계; 및
    상기 각각의 색상 이동 벡터에 의해 상기 컬러 채널들을 이동시켜 상기 레이블맵에 포함된 각각의 관심영역에 대응하는 복수의 정합영상을 획득하고, 상기 정합영상들을 융합하여 상기 원영상에 포함된 복수의 객체에 모두 초점이 맞추어진 다초점 영상을 생성하는 채널 정합단계;를 포함하는 것을 특징으로 하는 컬러 채널 정렬방법.
  7. 제 6항에 있어서,
    상기 이동 벡터 추정단계에서, 상기 각각의 관심영역에 대응하여 상기 컬러 채널들 중에서 선택된 기준 채널에 대한 다른 채널들의 이동 벡터인 복수의 색상 이동 벡터를 결정하고, 상기 레이블맵에 포함된 관심영역들 중에서 상기 색상 이동 벡터들 사이의 각도 및 상기 색상 이동 벡터들의 길이가 사전에 설정된 기준범위에 속하지 않는 관심영역을 상기 레이블맵으로부터 제거하는 것을 특징으로 하는 컬러 채널 정렬방법.
  8. 제 7항에 있어서,
    상기 이동 벡터 추정단계에서, 상기 색상 이동 벡터들 사이의 각도가 상기 조리개에 형성된 복수의 개구부가 이루는 각도를 기초로 설정된 기준 각도범위에 속하지 않는 관심영역을 상기 레이블맵으로부터 제거하는 것을 특징으로 하는 컬러 채널 정렬방법.
  9. 제 7항에 있어서,
    상기 이동 벡터 추정단계에서, 상기 색상 이동 벡터들의 길이가 상기 관심영역의 크기를 기초로 설정된 기준 길이범위에 모두 속하지 않는 관심영역을 상기 레이블맵으로부터 제거하는 것을 특징으로 하는 컬러 채널 정렬방법.
  10. 제 6항 내지 제 9항 중 어느 한 항에 있어서,
    상기 조리개에 형성된 복수의 개구부에는 적색, 청색 및 녹색의 컬러 필터가 각각 설치되며, 상기 원영상의 컬러 채널들은 상기 복수의 객체로부터의 입사광이 상기 컬러 필터를 통과하여 생성되는 것을 특징으로 하는 컬러 채널 정렬방법.
  11. 제 6항 내지 제 9항 중 어느 한 항에 기재된 컬러 채널 정렬방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110006926A 2011-01-24 2011-01-24 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법 KR101125765B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110006926A KR101125765B1 (ko) 2011-01-24 2011-01-24 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
US13/356,842 US8644604B2 (en) 2011-01-24 2012-01-24 Apparatus and method for aligning color channels

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110006926A KR101125765B1 (ko) 2011-01-24 2011-01-24 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법

Publications (1)

Publication Number Publication Date
KR101125765B1 true KR101125765B1 (ko) 2012-03-27

Family

ID=46142141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110006926A KR101125765B1 (ko) 2011-01-24 2011-01-24 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법

Country Status (2)

Country Link
US (1) US8644604B2 (ko)
KR (1) KR101125765B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080966A (ko) * 2018-12-27 2020-07-07 인천대학교 산학협력단 다초점 이미지 융합 방법
WO2020159160A1 (ko) * 2019-01-30 2020-08-06 엘지이노텍(주) 액체 렌즈를 포함하며 색수차 보정 기능을 갖는 광학 기기 및 영상 처리 방법
KR102388831B1 (ko) * 2021-02-09 2022-04-21 인천대학교 산학협력단 지능형 다중 초점 영상 융합 장치 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619182B2 (en) * 2012-03-06 2013-12-31 Csr Technology Inc. Fast auto focus techniques for digital cameras
WO2014006514A2 (en) * 2012-07-04 2014-01-09 Opera Imaging B.V. Image processing in a multi-channel camera
CN102999892B (zh) * 2012-12-03 2015-08-12 东华大学 基于区域遮罩的深度图像与rgb图像的智能融合方法
TWI485690B (zh) * 2013-03-28 2015-05-21 Innolux Corp 應用於顯示器的顯示方法
KR101566619B1 (ko) * 2014-06-03 2015-11-09 중앙대학교 산학협력단 듀얼 오프 액시스 컬러 필터 조리개를 이용한 거리 추정 장치 및 방법
US9928598B2 (en) * 2014-10-31 2018-03-27 Canon Kabushiki Kaisha Depth measurement apparatus, imaging apparatus and depth measurement method that calculate depth information of a target pixel using a color plane of which a correlation value is at most a threshold
US9998666B2 (en) * 2015-08-26 2018-06-12 Duke University Systems and methods for burst image deblurring
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
CN108933904B (zh) * 2018-06-13 2021-07-20 努比亚技术有限公司 一种拍照装置、拍照方法、移动终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260858A (ja) * 2004-05-12 2004-09-16 Nec Corp 色信号処理装置および色信号処理方法
KR20090125029A (ko) * 2009-11-11 2009-12-03 중앙대학교 산학협력단 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057865A (en) * 1997-09-23 2000-05-02 Eastman Kodak Company Transferring of color segments to a receiver
DE10022009C2 (de) * 1999-11-26 2002-12-05 Inb Vision Ag Verfahren und Einrichtung zur Bestimmung und mindestens teilweisen Korrektur der Fehler eines Bildwiedergabesystems
US7940280B2 (en) * 2007-12-06 2011-05-10 Seiko Epson Corporation System and method for color format conversion in a graphics environment
US7852531B2 (en) * 2007-12-12 2010-12-14 Xerox Corporation Digital correction for alignment of a plurality of color channels of a color image forming device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260858A (ja) * 2004-05-12 2004-09-16 Nec Corp 色信号処理装置および色信号処理方法
KR20090125029A (ko) * 2009-11-11 2009-12-03 중앙대학교 산학협력단 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080966A (ko) * 2018-12-27 2020-07-07 인천대학교 산학협력단 다초점 이미지 융합 방법
KR102160690B1 (ko) 2018-12-27 2020-09-29 인천대학교 산학협력단 다초점 이미지 융합 방법
WO2020159160A1 (ko) * 2019-01-30 2020-08-06 엘지이노텍(주) 액체 렌즈를 포함하며 색수차 보정 기능을 갖는 광학 기기 및 영상 처리 방법
KR102388831B1 (ko) * 2021-02-09 2022-04-21 인천대학교 산학협력단 지능형 다중 초점 영상 융합 장치 및 방법

Also Published As

Publication number Publication date
US20120189195A1 (en) 2012-07-26
US8644604B2 (en) 2014-02-04

Similar Documents

Publication Publication Date Title
KR101125765B1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
US10462362B2 (en) Feature based high resolution motion estimation from low resolution images captured using an array source
US11665427B2 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
US10929718B2 (en) Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium
GB2501810B (en) Method for determining the extent of a foreground object in an image
US9483825B2 (en) Apparatus and method for estimating distance using dual off-axis color filter aperture
KR101223046B1 (ko) 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
US20180063511A1 (en) Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture
TWI425445B (zh) 用於判斷一移動平台之自我運動量的方法以及偵測系統
KR20120039352A (ko) 다중 컬러-필터 조리개를 이용하여 촬영된 영상의 화질 개선 장치 및 방법
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
US20110085026A1 (en) Detection method and detection system of moving object
CN106471804A (zh) 用于图像捕捉和同时深度提取的方法及装置
US8270755B2 (en) Method to evaluate contrast value for an image and applications thereof
US20120033888A1 (en) Image processing system, image processing method, and computer readable medium
TWI517100B (zh) 移動物體追蹤方法及電子裝置
Huang et al. Image registration among UAV image sequence and Google satellite image under quality mismatch
KR101373471B1 (ko) 스테레오 영상 보정 장치 및 그 방법
JP5148573B2 (ja) 画像処理システム、画像処理方法およびプログラム
CN114782502B (zh) 一种多光谱多传感器协同处理方法及装置、存储介质
KR101216668B1 (ko) 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법
KR101454815B1 (ko) 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법
Lee et al. Simultaneous object tracking and depth estimation using color shifting property of a multiple color-filter aperture camera
KR101121014B1 (ko) 다중 컬러 필터 조리개에 의해 촬영된 저노출 영상의 색상 개선 장치 및 방법
Guthier et al. Histogram-based image registration for real-time high dynamic range videos

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170104

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 8