KR101632514B1 - 깊이 영상 업샘플링 방법 및 장치 - Google Patents

깊이 영상 업샘플링 방법 및 장치 Download PDF

Info

Publication number
KR101632514B1
KR101632514B1 KR1020140193915A KR20140193915A KR101632514B1 KR 101632514 B1 KR101632514 B1 KR 101632514B1 KR 1020140193915 A KR1020140193915 A KR 1020140193915A KR 20140193915 A KR20140193915 A KR 20140193915A KR 101632514 B1 KR101632514 B1 KR 101632514B1
Authority
KR
South Korea
Prior art keywords
image
depth
depth image
directions
optical flow
Prior art date
Application number
KR1020140193915A
Other languages
English (en)
Inventor
노준용
정승화
이정진
김범기
김계현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020140193915A priority Critical patent/KR101632514B1/ko
Application granted granted Critical
Publication of KR101632514B1 publication Critical patent/KR101632514B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 고해상도 컬러 영상과의 시간적 일관성을 유지시키면서 깊이 영상을 업샘플링할 수 있도록 함으로써, 보다 높은 정확성과 신뢰성을 가지는 깊이 영상을 획득할 수 있도록 하는 깊이 영상 업샘플링 방법 및 장치에 관한 것으로,
상기 깊이 영상 업샘플링 장치의 깊이 영상 업샘플링 방법은, X,Y 방향의 결합형 양방향 필터를 기반으로 고해상도의 컬러 영상을 이용하여 저해상도의 깊이 영상을 업샘플링 단계; X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 고해상도의 컬러 영상을 이용하여 옵티컬 플로우를 개선하는 단계; 및 상기 X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 개선된 옵티컬 플로우를 이용하여 상기 업샘플링된 깊이 영상을 보정함으로써, 상기 업샘플링된 깊이 영상의 시간적 일관성을 유지시키는 단계를 포함할 수 있다.

Description

깊이 영상 업샘플링 방법 및 장치{Method and apparatus for upsampling depth image}
본 발명은 고해상도의 컬러 영상을 통해 저해상도의 깊이 영상을 고해상도로 업샘플링할 수 있도록 하는 깊이 영상 업샘플링 방법 및 장치에 관한 것이다.
최근 3차원 TV가 널리 보급되어 3차원 영화를 극장 뿐만 아니라 가정에서도 시청할 수 있다. 또한, 양안식(Stereoscopic) 영상이 다양한 미디어에서 널리 사용되면서 넓은 시야각을 제공하는 다시점 영상에 대한 관심이 증가하고 있다. 양안식 영상은 시청자의 좌우 눈에 각각 좌영상과 우영상이 보이게 하여 3차원 입체 효과를 나타내게 한다.
다시점 영상은 3 대 이상의 카메라를 일정한 간격으로 배치시켜 촬영한다. 이는 2대의 카메라를 이용하는 양안식 영상에 비해 사용자가 원하는 시점을 선택할 수 있다는 장점이 있다.
그러나 다시점 영상을 촬영하기 위해 사용되는 카메라의 숫자는 비용 및 공간 문제 등으로 제한될 수밖에 없다. 따라서 촬영되지 않은 위치에서의 영상은 가상시점 영상합성 기술을 이용하여 생성할 수 있다.
도1은 3차원 비디오 시스템을 나타내며, 획득 과정에서 부호화 및 송신, 복호화 뒤 디스플레이 하는 과정을 보인다. 다시점 카메라, 양안식 카메라 또는 깊이 카메라를 이용하여 3차원 영상을 획득할 수 있다. 이를 이용하여 깊이 정보를 획득한 뒤, 다시점 비디오 부호화 기술을 사용하여 전송하는 데이터양을 줄인다. 수신단에서는 받은 데이터를 복호화한 뒤, 사용자의 디스플레이 환경에 맞게 3차원 콘텐츠로 변환하여 재생한다.
색상 영상과 깊이 영상을 이용하여 단일 시점의 영상을 합성하는 기술을 깊이 영상 기반 렌더링(Depth-Image-Based Rendering, DIBR) 기술이라고 한다[3]. 이때 깊이 영상은 3차원 장면에서 카메라와 객체 사이의 거리 정보로 활용한다. 색상 영상의 화소들은 이미 존재하는 카메라 정보와 깊이 영상을 통해 세계 좌표계(World Coordinate)로 역사상(Back Projection)된다. 역사상된 화소들은 가상 시점에서의 평면 영상으로 사상되는데, 이 과정을 3차원 워핑이라 한다.
3차원 정보를 획득하는 방법으로는 크게 능동 센서 방식(Active Depth Sensor)과 수동 센서 방식(Passive Depth Sensor)으로 분류할 수 있다. 능동 센서 방식은 레이저나 적외선 센서 등을 이용하여 3차원 공간상의 깊이 정보를 직접 획득한다. 이는 깊이 영상을 실시간으로 획득할 수 있지만, 하드웨어의 한계 때문에 해상도가 낮다. 수동 센서 방식은 2 대 이상의 카메라로부터 획득된 영상으로부터 상관관계를 이용하여 깊이 정보를 계산하는 방법이다. 이는 넓은 시야각을 제공한다는 장점이 있지만, 깊이 정보를 획득하여 처리하는 시간이 길고 정확도가 상대적으로 떨어진다. 이에 관련하여 현재까지도 양질의 깊이 영상을 획득하는 방법과 획득된 데이터를 보정하여 정확도를 증대시키는 기술들이 활발히 연구되고 있다.
즉, 논문("권 순 철, 강 원 영, 정 영 후, 이 승 현,"키넥트 깊이 정보와 DSLR을 이용한 스테레오스코픽 비디오 합성", 한국통신학회논문지(J-KICS) '13-10 Vol.38C No.10) 등에서는 마이크로소프트사의 키넥트로부터 획득된 저해상도 깊이 정보와 고해상도의 컬러 영상간의 정합 기술에 대해 개시하고 있다.
다만, 이와 같은 종래 기술은 깊이 영상 업샘플링시에 시간적 일관성을 전혀 고려하지 않는 문제를 가진다. 즉, 종래의 기술에 따른 양안 비디오 합성 기술에 따르면 깊이 정보 업 샘플링시에, 시간적 일관성을 전혀 고려하지 않고 스테레오스코픽 비디오 합성 동작을 수행함으로써, 시퀀스 재생시 프레임간의 지글거림 현상이 발생하는 단점을 가지게 된다.
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명에서는 고해상도 컬러 영상과의 시간적 일관성을 유지시키면서 저해상도의 깊이 영상을 고해상도로 업샘플링할 수 있도록 함으로써, 보다 높은 정확성과 신뢰성을 가지는 깊이 영상을 획득할 수 있도록 하는 깊이 영상 업샘플링 방법 및 장치를 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 깊이 영상 업샘플링 장치의 깊이 영상 업샘플링 방법은, X,Y 방향의 결합형 양방향 필터를 기반으로 고해상도의 컬러 영상을 이용하여 저해상도의 깊이 영상을 업샘플링하는 단계; X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 고해상도의 컬러 영상을 이용하여 옵티컬 플로우를 개선하는 단계; 및 상기 X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 개선된 옵티컬 플로우를 이용하여 상기 업샘플링된 깊이 영상을 보정함으로써, 상기 업샘플링된 깊이 영상의 시간적 일관성을 유지시키는 단계를 포함할 수 있다.
상기 깊이 영상을 업샘플링하는 단계는 상기 깊이 영상의 데이터가 상기 컬러 영상을 통해 획득한 커널 크기보다 작을 경우에는 2n 만큼 축소된 영상을 업샘플링하고 2배로 업스케일링하면서 깊이 영상을 업샘플링 하는 기능을 더 포함하는 것을 특징으로 한다.
상기 옵티컬 플로우를 개선하는 단계는 상기 X,Y,T 방향의 결합형 양방향 필터가 상기 옵티컬 플로우에서 제공하는 매 프레임 픽셀의 이동방향에 대응되는 T 방향의 방향성을 가지도록 하는 것을 특징으로 한다.
상기 업샘플링된 깊이 영상을 보정하는 단계는 상기 X,Y,T 방향의 결합형 양방향 필터가 상기 개선된 옵티컬 플로우와 동일한 T 방향의 방향성을 가지도록 하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 깊이 영상 업샘플링 장치는 고해상도의 컬러 영상, 저해상도의 깊이 영상 및 상기 컬러 영상에 대응되는 옵티컬 플로우를 저장하는 메모리; 및 X,Y 방향의 결합형 양방향 필터를 기반으로 고해상도의 컬러 영상을 이용하여 상기 깊이 영상을 업샘플링하고, X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 컬러 영상을 이용하여 옵티컬 플로우를 개선한 후, 상기 X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 개선된 컬러 영상을 이용하여 상기 업샘플링된 깊이 영상을 보정함으로써, 상기 업샘플링된 깊이 영상의 시간적 일관성이 유지시키는 깊이 영상 처리부를 포함할 수 있다.
상기 깊이 영상 처리부는 상기 깊이 영상의 데이터가 상기 컬러 영상을 통해 획득한 커널 크기보다 작을 경우에는 2n 만큼 축소된 영상을 업샘플링하고 2배로 업스케일링하면서 깊이 영상을 업샘플링하는 기능을 더 포함하는 것을 특징으로 한다.
본 발명에서는 고해상도의 컬러 영상을 이용하여 저해상도의 깊이 영상을 고해상도의 깊이 영상으로 업샘플링하는 것에서 더 나아가 고해상도의 컬러 영상에 대응되는 옵티컬 플로우를 기반으로 시퀀스의 시간적 일관성까지 유지할 수 있도록 해준다. 그리고 이에 따라 보다 정확하고 높은 신뢰성을 가지는 3차원 편집 작업이 가능해지게 된다.
도1은 일반적인 3차원 비디오 시스템을 나타낸 도면이다.
도2는 본 발명의 일 실시예에 따른 깊이 영상 업샘플링 방법을 설명하기 위한 도면이다.
도3는 본 발명의 일 실시예에 따른 깊이 영상에 대한 이미지 피라미드 원리 적용 방법을 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 T 방향의 방향성을 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 옵티컬 플로우 개선 동작의 효과를 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 깊이 영상 업샘플링 장치를 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 사용자 인터페이스의 일예를 도시한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도2는 본 발명의 일 실시예에 따른 깊이 영상 업샘플링 방법을 설명하기 위한 도면이다.
도2를 참고하면, 본 발명의 깊이 영상 업샘플링 방법은 데이터 입력 단계(S10), 깊이 영상 업샘플링 단계(S20), 옵티컬 플로우 개선 단계(S30), 및 깊이 영상 시간적 일관성 유지 단계(S40) 등을 포함하여 구성된다.
데이터 입력 단계(S10)에서는 최초 입력값으로 고해상도의 컬러 영상(즉, 이미지 또는 시퀀스)와 키넥트(kinnect), 지-캠(Z-Cam) 등과 깊이 카메라에서 획득된 저해상도의 깊이 영상 이외에, 컬러 영상 내에 존재하는 객체에 대한 움직임 정보를 가지는 옵티컬 플로우(optical flow)를 추가로 더 제공받도록 한다.
깊이 정보 업샘플링 단계(S20)에서는 X,Y 방향의 결합형 양방향 필터를 기반으로 고해상도의 컬러 영상을 이용하여 저해상도의 깊이 정보를 업샘플링하도록 한다.
수학식1은 X 방향의 결합형 양방향 필터(Do(x))와 Y 방향의 결합형 양방향 필터(Do(y))의 수식을 나타낸 것이다.
[수학식1]
Figure 112014128041498-pat00001
이때, Do는 출력 영상, p의 픽셀 좌표(x,y), W는 가중치 인자, Di는 입력 영상, G()는 가우시안 함수, C(p)의 픽셀의 컬러값, C(x)는 픽셀의 x축 컬러값, C(y)는 픽셀의 y축 컬러값,
Figure 112014128041498-pat00002
는 필터 커널 내부의 특정 위치를 나타내는 벡터를 각각 의미한다.
본 발명에서는 컬러 영상의 색상이 비슷한 영역끼리는 앞으로 보정될 깊이 정보도 비슷할 것이라는 가정 하에 깊이 데이터가 없는 픽셀에서의 깊이 값은 주변에 비슷한 색상을 가진 픽셀에서의 깊이 값과 동일한 값으로 계산하도록 한다.
다만, 깊이 영상의 데이터가 컬러 영상을 통해 획득한 커널 크기보다 작을 경우에는 모든 깊이 영상의 데이터가 업샘플링 되지 않기 때문에, 도3에서와 같이 본 발명에서는 이미지 피라미드의 원리를 적용하여, 2n 만큼 다운 스케일링된 이미지를 업샘플링하고 2배로 업스케일링하면서 깊이 영상을 업샘플링하도록 한다.
상기의 결합 양방향 필터와 같은 공간 필터(spatial filter)를 이용하여 깊이 영상을 업샘플링 경우, 모든 프레임의 깊이 영상을 업샘플링 할 수 있으나, 시간적 일관성을 유지시켜주지 못해 시퀀스 재생 시 프레임간에 지글거림이 존재하는 현상이 발생할 수 있다.
이에 본 발명에서는 옵티컬 플로우를 활용한 T 방향(시간적 프레임)의 결합형 양방향 필터를 적용하여 깊이 영상의 시간적 일관성을 유지할 수 있도록 한다. T 방향의 방향성은 도4에서와 같이, 단순히 매 프레임 같은 위치의 픽셀값이 아니라, 옵티컬 플로우에서 제공하는 매 프레임 픽셀의 이동방향을 따라가는 특징을 가진다.
한편, 옵티컬 플로우가 OpenCV에서 제공하는 일반적인 '옵티컬 플로우' 함수를 활용하여 생성된 경우, 해당 결과 값은 특징 정보가 많은 없는 이미지 영역에서 많은 에러를 발생할 수 있다. 이에 본 발명에서는 X,Y,T 방향의 결합형 양방향 필터를 통해 개선된 옵티컬 플로우를 개선한 후, 이를 통해 깊이 영상을 보정하도록 한다. 만약, 옵티컬 플로우 개선동작 없이 깊이 영상 보정 동작을 수행한다면, 도5과 같이 움직이는 영역에서 이전 프레임 정보에 영향을 심하게 받아 폐색(Occlusion)영역이 존재하게 된다.
옵티컬 플로우 개선 단계(S30)에서는, X,Y,T 방향의 결합형 양방향 필터를 기반으로 고해상도의 컬러 영상을 이용하여 옵티컬 플로우를 개선하도록 한다.
본 발명의 X,Y,T 방향의 결합형 양방향 필터(Do(x), Do(y), Do(t))는 수학식 2에서와 같이 표현되는 수학식에 따라 1개 방향(x,y,t 방향 중 하나)의 픽셀을 따로 따로 처리하도록 하고, 조금 더 다듬기 위해 2,3 번 정도 X,Y,T 방향으로 상기의 필터링 동작을 반복 수행하도록 한다.
[수학식2]
Figure 112014128041498-pat00003
이때, Do는 출력 영상, p의 픽셀 좌표(x,y), W는 가중치 인자, Di는 입력 영상, G()는 가우시안 함수, C(p)의 픽셀의 컬러값, C(x)는 픽셀의 x축 컬러값, C(y)는 픽셀의 y축 컬러값, C(t)는 픽셀의 t방향의 컬러값,
Figure 112014128041498-pat00004
는 필터 커널 내부의 특정 위치를 나타내는 벡터이다.
참고로, 본 발명에서는 t방향이 옵티컬 플로우를 따라가도록 하는 데, 이는 t 방향의 모든 시퀀스의 좌표별 컬러값을 계산하는 것이 아니라, n 번째 프레임에서 (3,3)에서의 옵티컬 플로우의 값이(1,-1)일 경우에, n+1 번째 프레임에서는 (4 (=3+1), 2 (=3-1)) 좌표의 컬러값을 계산하는 것을 의미한다(도4 참고).
마지막으로 깊이 영상 시간적 일관성 유지 단계(S40)에서는, X,Y,T 방향의 결합형 양방향 필터를 통해 개선된 옵티컬 플로우를 기반으로 업샘플링된 깊이 영상을 최종 보정함으로써, 업샘플링된 깊이 영상의 시간적 일관성이 유지되도록 한다. 이때, T 방향의 커널은 개선된 옵티컬 플로우의 방향을 따르도록 한다.
도6은 본 발명의 일 실시예에 따른 깊이 영상 업샘플링 장치를 설명하기 위한 도면이다.
도6을 참고하면, 본 발명의 깊이 영상 업샘플링 장치는 메모리(10), 결합형 양방향 필터(20), 깊이 영상 처리부(30), 및 사용자 인터페이스(40) 등을 포함한다.
메모리(10)는 고해상도의 카메라(예를 들어, 방송용 카메라, DSLR 카메라 등)를 통해 획득된 고해상도의 컬러 영상과 저해상도의 깊이 카메라(예를 들어, 키넥트, 지-캠 등)를 통해 획득된 저해상도 깊이 영상과 컬러 영상 내에 존재하는 객체 움직임에 대한 정보를 가지는 옵티컬 플로우를 저장하도록 한다.
결합형 양방향 필터(20)는 X,Y 방향의 결합형 양방향 필터(21), 및 X,Y,T 방향의 결합형 양방향 필터(22)를 구비한다.
깊이 영상 처리부(30)는 깊이 영상 업샘플링부(31), 옵티컬 플로우 개선부(32), 및 깊이 영상 보정부(33) 등을 포함하고, 이들을 통해 시간적 일관성이 유지되는 깊이 영상을 생성하도록 한다.
즉, 깊이 영상 업샘플링부(31)는 X,Y 방향의 결합형 양방향 필터(21)를 기반으로 고해상도의 컬러 영상을 이용하여 저해상도의 깊이 영상을 업샘플링하도록 한다.
옵티컬 플로우 개선부(32)는 X,Y,T 방향의 결합형 양방향 필터(22)를 기반으로 고해상도의 컬러 영상을 이용하여 옵티컬 플로우를 개선하도록 한다. 만약, 메모리(10)에 옵티컬 플로우가 별도로 저장되어 있지 않으면, 공지된 기술의 OPEN CV 함수를 통해 고해상의 컬러 영상을 기반으로 옵티컬 플로우를 추출할 수도 있음 물론 당연할 것이다.
깊이 영상 보정부(33)는 X,Y,T 방향의 결합형 양방향 필터(22)를 기반으로 개선된 옵티컬 플로우를 이용하여 깊이 영상을 보정하여, 깊이 영상이 시간적 일관성을 유지할 수 있도록 한다.
사용자 인터페이스(40)는 도7과 같은 그래픽 유저 인터페이스를 제공하고, 이를 통해 사용자가 깊이 영상 생성에 관련된 각종 제어값을 입력하거나, 깊이 영상 생성 작업 현황을 실시간으로 사용자에게 안내할 수 있도록 한다.
도7은 본 발명의 일 실시예에 따른 사용자 인터페이스의 일예를 도시한 도면으로, 이를 참고하면 깊이 보정을 위한 모든 작업을 거치고 나면, 최종적으로 입력 고해상도 컬러이미지, 입력 저해상도 깊이 영상, Spatial Filter가 적용된 깊이 영상, Optical Flow, 개선된 Optical Flow, 시간적 일관성이 적용된 깊이 영상의 6가지 입출력 정보를 양 측면 버튼을 통해 비교확인할 수 있도록 하는 미리보기 메뉴(1), 깊이 영상 보정에 필요한 고해상도 컬러이미지시퀀스, 저해상도 깊이이미지시퀀스, 옵티컬 플로우를 불러오는 기능을 수행하는 불러오기 메뉴(2), 슬라이드를 움직여주면 우측에 표시된 시퀀스 번호에 맞게 원하는 프레임의 이미지를 확인할 수 있도록 하는 프레임 슬라이드 메뉴(3), 깊이 영상을 sigma_r, sigma_s값에 따라 이미지의 X, Y축 방향으로 결합형 양방향 필터의 원리를 적용하여 업샘플링하거나, 깊이 영상의 데이터가 컬러 영상을 통해 획득한 커널 크기보다 작을 경우에는 모든 깊이 영상의 데이터가 업샘플링 되지 않음을 고려하여 필요시에 이미지 피라미드('Image Pyramid'버튼)를 적용하여, 2n 만큼 축소된 이미지를 업샘플링하고 2배로 업스케일링하면서 깊이 영상을 업샘플링하거나, 이미지 피라미드의 스케일(Scale) 변수와 sigma_r, sigma_s 값에 따라 깊이 정보가 다른 형태로 업샘플링이 됨을 고려하여 사용자가 Check버튼을 눌러주면서 해당 변수값에 따른 결과를 인터랙티브하게 확인할 수 있도록 하거나, 'Spatial Filter'버튼을 누르게 되면 모든 프레임에서 Spatial Filter가 확인된 결과를 볼 수 있도록 하거나, 'Save Sequence' 버튼을 이용해 결과 이미지를 저장할 수 있도록 하는 필터링 제어 메뉴(4), 'Generate Flow' 버튼을 통해 OpenCV에서 제공하는 옵티컬 플로우를 생성할 수 있으며, 미리보기 메뉴(1)를 통해 해당 결과를 시각적으로 확인 할 수 있도록 하거나, 'Flow Filter'를 통해, 앞서 설명한 결합형 양방향 필터(X,Y,T 방향)을 통해 개선된 옵티컬 플로우를 추출하고, 'Save Flow' 및 'Save Visual Flow'를 통해 원본데이터 및 시각화된 옵티컬 플로우 이미지를 저장 할 수 있도록 하거나, 'Generate Flow'는 많은 시간을 소모함을 고려하여 미리 저장된 옵티컬 플로우가 있다면, 불러오기 메뉴(2)에 표시된 'Load Flow'를 통해 불러올 수 있도록 하는 옵티컬 플로우 제어 메뉴(5), 'Temporal Filter' 버튼을 누르면, 앞서 필터링 제어 메뉴(4)의 Spatial Filter 과정을 거치고 난 후의 깊이 영상의 결과에서, 시간적 일관성이 유지된 최종 깊이 시퀀스의 결과물을 얻을 수 있도록 하거나, 최종 깊이 시퀀스의 결과물을 'Save Result'버튼을 통해 저장할 수 있도록 하는 T 방향 필터링 메뉴(6), 실험적으로 Sigma_r, Sigma_s값들은 우리가 제공하는 기본 변수에서 크게 바뀌지 않음을 고려하여 'Auto-Process'버튼을 통해 다소 번거로울 수 있는 단계 S10 및 단계 S20에 관련된 절차를 자동으로 수행하도록 하는 자동 프로세싱 메뉴(6) 등을 포함할 수 있다.
즉, 본 발명에서는 고해상도의 컬러 영상과 저해상도 깊이 영상 이외에 컬러 영상내에 존재하는 객체 움직임에 대한 정보를 가지는 옵티컬 플로우를 추가 활용하여 시간적 일관성이 유지된 고해상도의 깊이 영상을 생성할 수 있도록 한다.
그리고 도7과 같은 사용자 인터페이스를 통해 사용자가 작업 현황을 실시간 확인하고, 깊이 영상 생성 작업에 관련된 각종 제어값을 수동적으로 입력 및 조정하면서 보다 최적의 결과물을 획득할 수 있도록 해준다. 즉, 보다 정확한 깊이 보정을 위해 사용자가 변수를 조정하고, 인터랙티브하게 결과 이미지를 확인하고 보정할 수 있도록 한다.
또한 자동 프로세싱 메뉴(6)와 같이, 깊이 이미지 시퀀스를 자동으로 보정할 수 있는 프레임웍 제안함으로써, 사용자의 편이성을 극대화시켜 줄 수도 있도록 한다.
이상에서 전술한 바와 같은 이를 구현하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.
본 발명의 각 실시예에 따른 깊이 영상 업샘플링 방법 및 장치를 구동시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (7)

  1. 깊이 영상 업샘플링 장치의 깊이 영상 업샘플링 방법에 있어서,
    X,Y 방향의 결합형 양방향 필터를 기반으로 고해상도의 컬러 영상을 이용하여 저해상도의 깊이 영상을 업샘플링 단계;
    X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 고해상도의 컬러 영상을 이용하여 옵티컬 플로우를 개선하는 단계; 및
    상기 X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 개선된 옵티컬 플로우를 이용하여 상기 업샘플링된 깊이 영상을 보정함으로써, 상기 업샘플링된 깊이 영상의 시간적 일관성을 유지시키는 단계를 포함하며,
    상기 X,Y,T 방향의 결합형 양방향 필터는
    X축 방향의 결합형 양방향 필터, Y축 방향의 결합형 양방향 필터, 및 T축 방향의 결합형 양방향 필터를 구비하며, 상기 X축 방향의 결합형 양방향 필터, 상기 Y축 방향의 결합형 양방향 필터, 및 상기 T축 방향의 결합형 양방향 필터 각각을 통해 1개 방향(X,Y,T 방향 중 하나)의 픽셀을 따로 따로 필터링하며, 상기 필터링 동작을 기 설정 횟수 반복 수행하는 것을 특징으로 하는 깊이 영상 업샘플링 방법.
  2. 제1항에 있어서, 상기 깊이 영상을 업샘플링 단계는
    상기 깊이 영상의 데이터가 상기 컬러 영상을 통해 획득한 커널 크기보다 작을 경우에는 2n 만큼 축소된 영상을 업샘플링하고 2배로 업스케일링하면서 깊이 영상을 업샘플링 기능을 더 포함하는 것을 특징으로 하는 깊이 영상 업샘플링 방법.
  3. 제1항에 있어서, 상기 옵티컬 플로우를 개선하는 단계는
    상기 X,Y,T 방향의 결합형 양방향 필터가 상기 옵티컬 플로우에서 제공하는 매 프레임 픽셀의 이동방향에 대응되는 T 방향의 방향성을 가지도록 하는 것을 특징으로 하는 깊이 영상 업샘플링 방법.
  4. 제1항에 있어서, 상기 업샘플링된 깊이 영상을 보정하는 단계는
    상기 X,Y,T 방향의 결합형 양방향 필터가 상기 개선된 옵티컬 플로우와 동일한 T 방향의 방향성을 가지도록 하는 것을 특징으로 하는 깊이 영상 업샘플링 방법.
  5. 제1항 내지 제4항의 어느 한 항에 따른 깊이 영상 업샘플링 방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.
  6. 고해상도의 컬러 영상, 저해상도의 깊이 영상 및 상기 컬러 영상에 대응되는 옵티컬 플로우를 저장하는 메모리; 및
    X,Y 방향의 결합형 양방향 필터를 기반으로 고해상도의 컬러 영상을 이용하여 상기 깊이 영상을 업샘플링하고, X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 컬러 영상을 이용하여 옵티컬 플로우를 개선한 후, 상기 X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 개선된 컬러 영상을 이용하여 상기 업샘플링된 깊이 영상을 보정함으로써, 상기 업샘플링된 깊이 영상의 시간적 일관성이 유지시키는 깊이 영상 처리부를 포함하며,
    상기 X,Y,T 방향의 결합형 양방향 필터는
    X축 방향의 결합형 양방향 필터, Y축 방향의 결합형 양방향 필터, 및 T축 방향의 결합형 양방향 필터를 구비하며, 상기 X축 방향의 결합형 양방향 필터, 상기 Y축 방향의 결합형 양방향 필터, 및 상기 T축 방향의 결합형 양방향 필터 각각을 통해 1개 방향(X,Y,T 방향 중 하나)의 픽셀을 따로 따로 필터링하며, 상기 필터링 동작을 기 설정 횟수 반복 수행하는 것을 특징으로 하는 깊이 영상 업샘플링 장치.
  7. 제6항에 있어서, 상기 깊이 영상 처리부는
    상기 깊이 영상의 데이터가 상기 컬러 영상을 통해 획득한 커널 크기보다 작을 경우에는 2n 만큼 축소된 영상을 업샘플링하고 2배로 업스케일링하면서 깊이 영상을 업샘플링 기능을 더 포함하는 것을 특징으로 하는 깊이 영상 업샘플링 장치.
KR1020140193915A 2014-12-30 2014-12-30 깊이 영상 업샘플링 방법 및 장치 KR101632514B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140193915A KR101632514B1 (ko) 2014-12-30 2014-12-30 깊이 영상 업샘플링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140193915A KR101632514B1 (ko) 2014-12-30 2014-12-30 깊이 영상 업샘플링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101632514B1 true KR101632514B1 (ko) 2016-06-21

Family

ID=56354069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140193915A KR101632514B1 (ko) 2014-12-30 2014-12-30 깊이 영상 업샘플링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101632514B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410259A (zh) * 2018-08-27 2019-03-01 中国科学院自动化研究所 基于置信度的结构化的双目深度图上采样方法
KR20220136774A (ko) 2021-04-01 2022-10-11 중앙대학교 산학협력단 다중 영상을 이용한 업샘플링 시스템 및 방법
KR20220139114A (ko) 2021-04-07 2022-10-14 중앙대학교 산학협력단 단일 영상을 이용한 업샘플링 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082053A (ko) * 2012-01-10 2013-07-18 삼성전자주식회사 깊이 영상을 처리하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082053A (ko) * 2012-01-10 2013-07-18 삼성전자주식회사 깊이 영상을 처리하는 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410259A (zh) * 2018-08-27 2019-03-01 中国科学院自动化研究所 基于置信度的结构化的双目深度图上采样方法
CN109410259B (zh) * 2018-08-27 2020-10-27 中国科学院自动化研究所 基于置信度的结构化的双目深度图上采样方法
KR20220136774A (ko) 2021-04-01 2022-10-11 중앙대학교 산학협력단 다중 영상을 이용한 업샘플링 시스템 및 방법
KR20220139114A (ko) 2021-04-07 2022-10-14 중앙대학교 산학협력단 단일 영상을 이용한 업샘플링 시스템 및 방법

Similar Documents

Publication Publication Date Title
US20200051269A1 (en) Hybrid depth sensing pipeline
KR102458339B1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
US11978225B2 (en) Depth determination for images captured with a moving camera and representing moving features
CN104641633B (zh) 用于组合来自多个深度相机的数据的系统和方法
US20180329485A1 (en) Generation of virtual reality with 6 degrees of freedom from limited viewer data
JP4966431B2 (ja) 画像処理装置
CN110456967B (zh) 信息处理方法、信息处理设备以及程序
EP3997662A1 (en) Depth-aware photo editing
EP3281400A1 (en) Automated generation of panning shots
CN110738736B (zh) 图像处理装置、图像处理方法和存储介质
CN111164971B (zh) 用于3d内容的视差观察器系统
JP2010522469A (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
JP2011250125A (ja) 画像処理装置およびその方法
EP3340619A1 (en) Geometric warping of a stereograph by positional constraints
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
KR20140121529A (ko) 광 필드 영상을 생성하는 방법 및 장치
CN107209949B (zh) 用于产生放大3d图像的方法和系统
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
EP3190566A1 (en) Spherical virtual reality camera
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
JP5832211B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6128748B2 (ja) 画像処理装置及び方法
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
US20120121163A1 (en) 3d display apparatus and method for extracting depth of 3d image thereof
JP2012105172A (ja) 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 4