KR101653724B1 - 가상 레퍼런스 뷰 - Google Patents

가상 레퍼런스 뷰 Download PDF

Info

Publication number
KR101653724B1
KR101653724B1 KR1020107019737A KR20107019737A KR101653724B1 KR 101653724 B1 KR101653724 B1 KR 101653724B1 KR 1020107019737 A KR1020107019737 A KR 1020107019737A KR 20107019737 A KR20107019737 A KR 20107019737A KR 101653724 B1 KR101653724 B1 KR 101653724B1
Authority
KR
South Korea
Prior art keywords
view
image
virtual
location
accessing
Prior art date
Application number
KR1020107019737A
Other languages
English (en)
Other versions
KR20100125292A (ko
Inventor
퍼빈 비브하스 판디트
펭 인
동 티안
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20100125292A publication Critical patent/KR20100125292A/ko
Application granted granted Critical
Publication of KR101653724B1 publication Critical patent/KR101653724B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

다양한 구현예가 기재되어 있다. 여러 가지 구현예는 가상의 레퍼런스 뷰에 관한 것이다. 일 양태에 따르면, 제1의 뷰 이미지에 대한 코딩된 정보가 액세스된다. 제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지가 액세스된다. 레퍼런스 이미지는 제1의 뷰와 제2의 뷰 사이에 있는 위치에 대한 합성된 이미지를 기초로 한다. 레퍼런스 이미지를 기초로 하여 코딩된 제2의 뷰 이미지에 대한 코딩된 정보가 액세스된다. 제2의 뷰 이미지가 디코딩된다. 다른 양태에 따르면, 제1의 뷰 이미지가 액세스된다. 제1의 뷰 위치와는 다른 가상의 뷰 위치에 대해, 제1의 뷰 이미지를 기초로 하여 가상 이미지가 합성된다. 가상 이미지를 기초로 한 레퍼런스 이미지를 이용하여, 제2의 뷰 이미지가 인코딩된다. 제2의 뷰 위치는 가상의 뷰 위치와는 다르다. 상기 인코딩은, 인코딩된 제2의 뷰 이미지를 생성한다.

Description

가상 레퍼런스 뷰{VIRTUAL REFERENCE VIEW}
본 특허출원은 "가상 레퍼런스 뷰"라는 명칭의 2008년 3월 4일자로 출원된 가출원 일련번호 61/068,070호로부터 발생하는 권리를 청구하며, 상기 가특허출원은 그 전체가 다양한 목적으로 본 명세서에 참고로 병합되어 있다.
본 명세서에는 코딩(coding: 부호화) 시스템과 관련된 구현예들이 기재되어 있다. 다양한 구체적인 구현예들은 가상 레퍼런스 뷰에 관한 것이다.
멀티뷰(multi-view) 비디오 코딩은 자유시점(free-viewpoint: 보는 각도가 자유로움) 및 3D(three-dimensional) 비디오 애플리케이션, 홈엔터테인먼트 및 감시(surveillance)를 포함하는 광범위한 애플리케이션에 이용되는 핵심 기술로 널리 인식되고 있다. 게다가, 깊이 데이터(depth data)는 각각의 뷰와 연관될 수 있다. 깊이 데이터는 일반적으로 뷰의 합성(synthesis)에 필수적이다. 이러한 멀티뷰 애플리케이션에서, 비디오 및 관련된 깊이 데이터의 양은 일반적으로 방대하다. 그래서, 적어도 개별 뷰의 시뮬캐스트(simulcast:동시 방송)를 행하는 현재의 비디오 코딩 해법의 코딩 효율을 향상시키는데 도움을 줄 수 있는 프레임워크(framework)에 대한 요구가 존재한다.
멀티뷰 비디오 소스는 동일한 장면(scene)에 대한 복수의 뷰(multiple views)를 포함한다. 그 결과, 전형적으로 복수의 뷰 이미지들 사이에 높은 상관도(degree of correlation)가 존재한다. 따라서, 시간 중복성(temporal redundancy)에 더해서, 뷰 중복성(view redundancy)이 이용될 수 있다. 뷰 중복성은 예들 들면, 다양한 뷰들에 대해 뷰 예측(view prediction)을 행함으로써 이용될 수 있다.
실질적인 상황에서, 멀티뷰 비디오 시스템은 성기게 배치된 카메라들을 사용하여 장면을 캡쳐하게 된다. 그리고 나서, 이들 카메라 사이의 뷰들은 가용(可用) 깊이 데이터 및 뷰 합성/보간에 의해 캡쳐된 뷰들을 사용하여 생성될 수 있다. 또한, 어떤 뷰들은 깊이 정보만을 지닐 수 있으며, 그에 따라 연관된 깊이 데이터를 이용하여 디코더에서 합성된다. 깊이 데이터는 중간의 가상 뷰를 생성하는데에도 또한 사용될 수 있다. 이러한 성긴 시스템에서는, 캡쳐된 뷰들 사이의 상관관계는 크지 않을 수 있으며, 뷰들에 대한 예측은 제한적일 수 있다.
이러한 멀티뷰 애플리케이션에서, 비디오 및 관련된 깊이 데이터의 양은 일반적으로 방대하다. 그래서, 적어도 개별 뷰의 시뮬캐스트를 행하는 현재의 비디오 코딩 해법의 코딩 효율을 향상시키는데 도움을 줄 수 있는 프레임워크에 대한 요구가 존재한다.
일반적인 양태에 따르면, 제1의 뷰 위치에 대응하는 제1의 뷰 이미지에 대한 코딩된 비디오 정보가 액세스된다. 상기 제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 상기 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지(reference image)가 액세스된다. 레퍼런스 이미지는 상기 제1의 뷰 위치와 제2의 뷰 위치 사이에 있는 위치에 대한 합성 이미지를 기초로 한다. 제2의 뷰 위치에 대응하는 제2의 뷰 이미지에 대한 코딩된 비디오 정보가 액세스되며, 상기 제2의 뷰 이미지는 상기 레퍼런스 이미지를 기초로 하여 코딩되었다. 상기 제2의 뷰 이미지는 디코딩된 제2의 뷰 이미지를 생성하기 위해서 상기 레퍼런스 이미지 및 상기 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 이용하여 디코딩된다.
다른 일반적인 양태에 따르면, 제1의 뷰 위치에 대응하는 제1의 뷰 이미지가 액세스된다. 상기 제1의 뷰 위치와는 다른 가상의 뷰 위치에 대해, 상기 제1의 뷰 이미지를 기초로 하여 가상 이미지가 합성된다. 제2의 뷰 위치에 대응하는 제2의 뷰 이미지가 인코딩된다. 이 인코딩은 상기 가상 이미지를 기초로 한 레퍼런스 이미지를 이용한다. 상기 제2의 뷰 위치는 상기 가상의 뷰 위치와는 다르다. 상기 인코딩은 인코딩된 제2의 뷰 이미지를 생성한다.
첨부된 도면 및 이하의 상세한 설명에는 하나 이상의 구현예에 대한 구체적인 사항이 명시되어 있다. 하나의 특정 방식으로 기재되더라도, 구현예들은 다양한 방식으로 구현되거나 구성될 수 있음을 분명히 해야 한다. 예를 들면, 구현예는 방법으로 실행될 수도 있고, 아니면 예컨대 일련의 동작들을 행하도록 구성된 장치 또는 일련의 동작들을 실행하는 명령어들을 저장하는 장치 등과 같은 장치로 구현되거나, 또는 신호로 구현될 수도 있다. 다른 양태들 및 특징들은 첨부된 도면 및 특허청구범위와 함께 고찰될 때 이하의 발명의 상세한 설명으로부터 분명히 드러날 것이다.
도 1은 깊이 정보를 갖는 멀티뷰 비디오를 송신 및 수신하는 시스템의 구현예의 도면.
도 2는 깊이를 갖는 3개의 입력 뷰(input view)(K=3)로부터 9개의 출력 뷰(output view)(N=9)를 생성하는 프레임워크의 구현예의 도면.
도 3은 인코더의 구현예의 도면.
도 4는 디코더의 구현예의 도면.
도 5는 비디오 송신기의 구현예의 블록도.
도 6은 비디오 수신기의 구현예의 블록도.
도 7a는 인코딩 프로세스의 구현예의 도면.
도 7b는 디코딩 프로세스의 구현예의 도면.
도 8a는 인코딩 프로세스의 구현예의 도면.
도 8b는 디코딩 프로세스의 구현예의 도면.
도 9는 깊이맵(depth map)의 일례의 도면.
도 10a는 홀 필링(hole-filling)을 행하지 않은 와핑된 픽쳐(warped picture)의 일례의 도면.
도 10b는 홀 필링을 행한, 도 10a의 와핑된 픽쳐의 일례의 도면.
도 11은 인코딩 프로세스의 구현예의 도면.
도 12는 디코딩 프로세스의 구현예의 도면.
도 13은 연속 가상 뷰 생성기(successive virtual view generator)의 구현예의 도면.
도 14는 인코딩 프로세스의 구현예의 도면.
도 15는 디코딩 프로세스의 구현예의 도면.
적어도 하나의 구현예에서, 가상 뷰를 레퍼런스로 사용하기 위한 프레임워크를 제안한다. 적어도 하나의 구현예에서, 예측될 뷰와 병치(竝置: collocate)되지 않는 가상 뷰를 부가적인 레퍼런스로 사용하는 것을 제안한다. 다른 구현예에서는, 소정의 품질 대 복잡도의 타협점이 찾아질 때까지 가상의 레퍼런스 뷰를 연속적으로 리파이닝(refining)하는 것을 또한 제안한다. 그리고 나서, 여러 개의 가상적으로 생성된 뷰를 부가적인 레퍼런스로서 포함할 수 있으며, 높은 수준에서 레퍼런스 리스트 내의 그 위치들을 나타낼 수 있다.
적어도 몇몇의 구현예에서 다루어진 적어도 하나의 문제는, 가상 뷰를 레퍼런스 뷰로 사용한 멀티뷰 비디오 시퀀스의 효율적인 코딩이다. 멀티뷰 비디오 시퀀스는 동일한 장면을 상이한 시점(視點)으로부터 캡쳐한 2개 이상의 비디오 시퀀스들의 세트를 말한다.
자유시점 TV(FTV: free-viewpoint television)는 멀티뷰 비디오 및 깊이 정보에 대한 코딩된 표현(coded representation)을 포함하는 새로운 프레임워크이며 수신기에서 고품질의 중간 뷰(intermediate views)의 생성을 목표로 한다. 이는 오토-스테레오스코픽 디스플레이(auto-stereoscopic display)를 위한 뷰의 생성 및 자유시점 기능을 가능케 한다.
도 1은 본 발명의 원리의 실시예에 따른, 본 발명의 원리가 적용될 수 있는 깊이 정보를 갖는 멀티뷰 비디오를 송신 및 수신하는 예시적인 시스템(100)을 도시한다. 도 1에서, 비디오 데이터는 실선으로 표시되고, 깊이 데이터는 파선(dashed line)으로 표시되고, 메타(meta) 데이터는 점선으로 표시되어 있다. 시스템(100)은 예를 들면 자유시점 TV 시스템일 수 있으나, 이에 국한되지는 않는다. 송신기(110)측에서, 시스템(100)은 각각의 복수의 소스들로부터 하나 이상의 비디오, 깊이 및 메타 데이터를 수신하는 복수의 입력을 갖는 3D 콘텐츠 생성기(120)를 포함한다. 이러한 소스들은 스테레오 카메라(111), 깊이 카메라(112), 멀티-카메라 셋업(113), 및 2D/3D 변환 프로세스(114)를 포함할 수 있으나, 이에 국한되지 않는다. 멀티뷰 비디오 코딩(MVC) 및 디지털 비디오 방송(DVB)와 관련된 하나 이상의 비디오, 깊이 및 메타 데이터를 전송하기 위해서 하나 이상의 네트워크(130)가 사용될 수 있다.
수신기(140)측에서, 깊이 이미지 기반의 렌더러(renderer)(150)는 신호를 다양한 유형의 디스플레이에 투사하기 위해 깊이 이미지 기반의 렌더링(rendering)을 행한다. 깊이 이미지 기반의 렌더러(150)는 디스플레이 구성 정보 및 사용자 선호도를 수신할 수 있다. 깊이 이미지 기반의 렌더러(150)의 출력은 하나 이상의 2D 디스플레이(161), M-뷰 3D 디스플레이(162), 및/또는 헤드 추적 스테레오 디스플레이(163)에 제공될 수 있다.
전송할 데이터의 양을 저감시키기 위해서, 조밀한 배열의 카메라(V1, V2,... V9)는 서브샘플링(sub-sampling)될 수 있으며, 성기게 배열된 카메라 세트만이 실제로 장면을 캡쳐한다. 도 2는 본 발명의 원리의 실시예에 따른, 본 발명의 원리가 적용될 수 있는 깊이를 갖는 3개의 입력 뷰(K=3)로부터 9개의 출력 뷰(N=9)를 생성하는 예시적인 프레임워크(200)를 도시한다. 프레임워크(200)는 오토 스테레오스코픽 3D 디스플레이(210)를 포함하며, 이 오토 스테레오스코픽 3D 디스플레이(210)는 복수의 뷰의 출력, 제1의 깊이 이미지 기반의 렌더러(220), 제2의 깊이 이미지 기반의 렌더러(230), 및 디코딩된 데이터를 위한 버퍼(240)를 지원한다. 디코딩된 데이터는 MVD(Multiple View plus Depth)로 알려진 표현이다. 9개의 카메라는 V1 내지 V9로 지칭되어 있다. 3개의 입력 뷰에 대응하는 깊이 맵은 D1, D5 및 D9으로 지칭되어 있다. 캡쳐된 카메라 위치들(예를 들면, Pos 1, Pos 2, Pos 3) 사이의 임의의 가상의 카메라 위치들은 도 2에 도시된 바와 같이 가용(可用) 깊이 맵(D1, D5 및 D9)을 사용하여 생성될 수 있다. 도 2에 도시된 바와 같이, 데이터를 캡쳐하는데 사용되는 실제 카메라들(V1, V5 및 V9) 사이의 베이스라인은 클 수 있다. 그 결과, 이 카메라들 사이의 상관관계는 크게 감소될 수 있으며, 코딩 효율은 시간 상관관계에만 의존하기 때문에 이들 카메라의 코딩 효율은 저하될 수 있다.
적어도 하나의 기재된 구현예에서, 큰 베이스라인을 갖는 카메라들의 코딩 효율을 향상시키는 이 문제를 다루는 것을 제안한다. 해법은 멀티뷰 뷰 코딩에 국한되지 않으며, 멀티뷰 깊이 코딩에도 또한 적용될 수 있다.
도 3은 본 발명의 원리의 실시예에 따라, 본 발명의 원리가 적용될 수 있는 예시적인 인코더(300)를 도시한다. 인코더(300)는, 출력이 트랜스포머(310)의 입력에 신호 통신에 의해 접속되는 결합기(305)를 포함한다. 트랜스포머(310)의 출력은 양자화기(quantizer)(315)의 입력에 신호 통신에 의해 접속된다. 양자화기(315)의 출력은 엔트로피 코더(entropy coder)(320)의 입력 및 역양자화기(inverser quantizer)(325)의 입력에 신호 통신에 의해 접속된다. 역양자화기(325)의 출력은 역 트랜스포머(inverse transformer)(330)의 입력에 신호 통신에 의해 접속된다. 역 트랜스포커(330)의 출력은 결합기(335)의 제1의 비반전(non-inverting) 입력에 신호 통신에 의해 접속된다. 결합기(335)의 출력은 인트라 예측기(intra predictor)(345)의 입력 및 디블로킹 필터(deblocking filter)(350)의 입력에 신호 통신에 의해 접속된다. 디블로킹 필터(350)는 예를 들면, 매크로블록(macroblock)의 경계를 따라 아티팩트(artifact)를 제거한다. 디블로킹 필터(350)의 제1의 출력은 (시간 예측을 위한) 레퍼런스 픽쳐 저장소(355)의 입력 및 (뷰간(間) 예측을 위한) 레퍼런스 픽쳐 저장소(360)의 제1의 입력에 신호 통신에 의해 접속된다. 레퍼런스 픽쳐 저장소(355)의 출력은 움직임 보상기(motion compensator)(375)의 제1의 입력 및 움직임 추정기(motion estimator)(380)의 제1의 입력에 신호 통신에 의해 접속된다. 움직임 추정기(380)의 출력은 움직임 보상기(375)의 제2의 입력에 신호 통신에 의해 접속된다. 레퍼런스 픽쳐 저장소(360)의 출력은 디스패리티 추정기(disparity estimator)(370)의 제1의 입력 및 디스패리티 보상기(365)의 제1의 입력에 신호 통신에 의해 접속된다. 디스패리티 추정기(370)의 출력은 디스패리티 보상기(365)의 제2의 입력에 신호 통신에 의해 접속된다.
디블로킹 필터(350)의 제2의 출력은 (가상 픽쳐 생성을 위한) 레퍼런스 픽쳐 저장소(371)의 입력에 신호 통신에 의해 접속된다. 레퍼런스 픽쳐 저장소(371)의 출력은 뷰 합성기(372)의 제1의 입력에 신호 통신에 의해 접속된다. 가상 레퍼런스 뷰 제어기(373)의 제1의 출력은 뷰 합성기(372)의 제2의 입력에 신호 통신에 의해 접속된다.
엔트로피 디코더(320)의 출력, 가상 레퍼런스 뷰 제어기(373)의 제2의 출력, 모드(mode) 결정 모듈(395)의 제1의 출력, 및 뷰 선택기(302)의 출력은 각각 비트스트림(bitstream)을 출력하는 인코더(300)의 각각의 출력으로 이용할 수 있다. 스위치(388)의 제1의 입력(뷰 i를 위한 픽쳐 데이터용), 제2의 입력(뷰 j를 위한 픽쳐 데이터용), 및 제3의 입력(합성 뷰를 위한 픽쳐 데이터용) 각각은 인코더의 각각의 입력으로 이용할 수 있다. 뷰 합성기(372)의 출력(합성 뷰를 제공)은 레퍼런스 픽쳐 저장소(360)의 제2의 입력 및 스위치(388)의 제3의 입력에 신호 통신에 의해 접속된다. 뷰 선택기(302)의 제2의 출력은 어느 입력(예를 들면, 뷰 i 또는 뷰 j를 위한 픽쳐 데이터, 혹은 합성 뷰)이 스위치(388)에 제공될 지를 결정한다. 스위치(388)의 출력은 결합기(305)의 비반전 입력, 움직임 보상기(375)의 제3의 입력, 움직임 추정기(380)의 제2의 입력, 및 디스패리티 추정기(370)의 제2의 입력에 신호 통신에 의해 접속된다. 인트라 예측기(345)의 출력은 스위치(385)의 제1의 입력에 신호 통신에 의해 접속된다. 디스패리티 보상기(365)의 출력은 스위치(385)의 제2의 입력에 신호 통신에 의해 접속된다. 움직임 보상기(375)의 출력은 스위치(385)의 제3의 입력에 신호 통신에 의해 접속된다. 모드 결정 모듈(395)의 출력은 어느 입력이 스위치(385)에 제공될 지를 결정한다. 스위치(385)의 출력은 결합기(335)의 제2의 비반전 입력 및 결합기(305)의 반전 입력에 신호 통신에 의해 접속된다.
도 3의 일부는, 예를 들면 블록(310, 315 및 320)과 같이 개별적으로 혹은 집합적으로 인코더, 인코딩 유닛, 또는 액세싱 유닛으로도 지칭될 수 있다. 유사하게, 예를 들면 블록(325, 330, 335 및 350)들은 개별적으로 혹은 집합적으로 디코더 또는 디코딩 유닛으로 지칭될 수 있다.
도 4는 본 발명의 원리의 실시예에 따라, 본 발명의 원리가 적용될 수 있는 예시적인 디코더(400)를 도시한다. 디코더(400)는, 출력이 역양자화기(410)의 입력에 신호 통신에 의해 접속되는 엔트로피 디코더(405)를 포함한다. 역양자화기의 출력은 역 트랜스포머(415)의 입력에 신호 통신에 의해 접속된다. 역 트랜스포머(415)의 출력은 결합기(420)의 제1의 비반전 입력에 신호 통신에 의해 접속된다. 결합기(420)의 출력은 디블로킹 필터(425)의 입력 및 인트라 예측기(430)의 입력에 신호 통신에 의해 접속된다. 디블로킹 필터(425)의 출력은 (시간 예측용의) 레퍼런스 픽쳐 저장소(440)의 입력, (뷰간(間) 예측용의) 레퍼런스 픽쳐 저장소(445)의 제1의 입력, 및 (가상 픽쳐 생성용의) 레퍼런스 픽쳐 저장소(472)의 제1의 입력에 신호 통신에 의해 접속된다. 레퍼런스 픽쳐 저장소(440)의 출력은 움직임 보상기(435)의 제1의 입력에 신호 통신에 의해 접속된다. 레퍼런스 픽쳐 저장소(445)의 출력은 디스패리티 보상기(450)의 제1의 입력에 신호 통신에 의해 접속된다.
비트스트림 수신기(401)의 출력은 비트스트림 파서(parser)(402)의 입력에 신호 통신에 의해 접속된다. 비트스트림 파서(402)의 제1의 출력(잔여 비트스트림을 제공)은 엔트로피 디코더(405)의 입력에 신호 통신에 의해 접속된다. 비트스트림 파서(402)의 제2의 출력(어느 입력이 스위치(455)에 의해 선택되는지를 제어하는 제어 신택스(syntax)를 제공)은 모드 선택기(422)의 입력에 신호 통신에 의해 접속된다. 비트스트림 파서(402)의 제3의 출력(움직임 벡터를 제공)은 움직임 보상기(435)의 제2의 입력에 신호 통신에 의해 접속된다. 비트스트림 파서(402)의 제4의 출력(디스패리티 벡터 및/또는 휘도 오프셋(illumination offset)을 제공)은 디스패리터 보상기(450)의 제2의 입력에 신호 통신에 의해 접속된다. 비트스트림 파서(402)의 제5의 출력(가상 레퍼런스 뷰 제어 정보를 제공)은 레퍼런스 픽쳐 저장소(472)의 제2의 입력 및 뷰 합성기(471)의 제1의 입력에 신호 통신에 의해 접속된다. 레퍼런스 픽쳐 저장소(472)의 출력은 뷰 합성기의 제2의 입력에 신호 통신에 의해 접속된다. 뷰 합성기(471)의 출력은 레퍼런스 픽쳐 저장소(445)의 제2의 입력에 신호 통신에 의해 접속된다. 휘도 오프셋은 선택적인 입력이며 구현예에 따라서 사용될 수도 있고 사용되지 않을 수도 있음을 알 수 있다.
스위치(455)의 출력은 결합기(420)의 제2의 비반전 입력에 신호 통신에 의해 접속된다. 스위치(455)의 제1의 입력은 디스패리티 보상기(450)의 출력에 신호 통신에 의해 접속된다. 스위치(455)의 제2의 입력은 움직임 보상기(435)의 출력에 신호 통신에 의해 접속된다. 스위치(455)의 제3의 입력은 인트라 예측기(430)의 출력에 신호 통신에 의해 접속된다. 모드 모듈(422)의 출력은 어느 입력이 스위치(455)에 의해 선택되는지를 제어하기 위해 스위치(455)에 신호 통신에 의해 접속된다. 디블로킹 필터(425)의 출력은 디코더의 출력으로 이용할 수 있다.
도 4의 일부는, 예를 들면 비트스트림 파서(402) 및 특정 데이터 또는 정보에 대한 액세스를 제공하는 임의의 다른 블록과 같이 개별적으로 혹은 집합적으로 액세싱 유닛으로도 지칭될 수 있다. 유사하게, 예를 들면 블록(405, 410, 415, 420 및 425)들은 개별적으로 혹은 집합적으로 디코더 또는 디코딩 유닛으로 지칭될 수 있다.
도 5는 본 발명의 원리의 구현예에 따라, 본 발명의 원리가 적용될 수 있는 비디오 전송 시스템(500)을 도시한다. 비디오 전송 시스템(500)은 예를 들면, 위성, 케이블, 전화선, 또는 지상파 방송과 같은 다양한 매체들을 이용하여 신호를 전송하는 전송 시스템 또는 헤드엔드(head-end: 전파 중계소)일 수 있다. 인터넷 또는 다른 네트워크를 통해서 전송이 이루어질 수 있다.
비디오 전송 시스템(500)은 가상 레퍼런스 뷰를 포함하는 비디오 콘텐츠를 생성 및 전송할 수 있다. 이는, 하나 이상의 가상 레퍼런스 뷰 또는 예를 들면 디코더를 구비할 수 있는 수신기에서 상기 하나 이상의 가상 레퍼런스 뷰를 합성하는데 사용될 수 있는 정보를 포함하는 인코딩된 신호를 생성함으로써 달성된다.
비디오 전송 시스템(500)은 인코더(510) 및 인코딩된 신호를 전송할 수 있는 송신기(520)를 포함한다. 인코더(510)는 비디오 정보를 수신하고, 이 비디오 정보를 기초로 하여 하나 이상의 가상 레퍼런스 뷰를 합성하며, 이로부터 인코딩된 신호를 생성한다. 인코더(510)는 예를 들면 위에서 상세히 설명한 인코더(300)일 수도 있다.
송신기(520)는 예를 들면, 인코딩된 픽쳐 및/또는 그와 관련된 정보를 나타내는 하나 이상의 비트스트림을 갖는 프로그램 신호를 송신하도록 구성될 수 있다. 전형적인 송신기는 예를 들면, 에러 정정 코딩(error-correction coding)의 제공, 신호 내의 데이터의 인터리빙(interleaving), 신호 내의 에너지의 무작위화(randomizing), 및 하나 이상의 반송파로의 신호의 변조와 같은 하나 이상의 기능을 수행한다. 송신기는 안테나(도시하지 않음)을 포함하거나, 또는 이에 접속될 수 있다. 따라서, 송신기(520)의 구현예는 변조기(modulator)를 포함하거나, 또는 이에 국한될 수 있다.
도 6은 비디오 수신 시스템(600)의 구현예의 도면을 도시한다. 비디오 수신 시스템(600)은 예를 들면, 위성, 케이블, 전화선, 또는 지상파 방송과 같은 다양한 매체들을 통하여 신호를 수신하도록 구성될 수 있다. 이들 신호는 인터넷 또는 다른 네트워크를 통해서 수신될 수 있다.
비디오 수신 시스템(600)은 예를 들면, 휴대전화기, 컴퓨터, 셋톱박스, 텔레비젼, 또는 인코딩된 비디오를 수신하고 예를 들면, 사용자에게 디스플레이하기 위한 용도로 또는 저장 용도로 디코딩된 비디오를 제공하는 다른 장치일 수 있다. 그래서, 비디오 수신 시스템(600)은 그 출력을 예를 들면, 텔레비젼의 스크린, 컴퓨터 모니터, (저장, 처리, 또는 디스플레 용도로) 컴퓨터, 또는 다른 저장, 처리 또는 디스플레이 장치에 제공할 수 있다.
비디오 수신 시스템(600)은 비디오 정보를 포함하는 비디오 컨텐츠를 수신하고 처리할 수 있다. 게다가, 비디오 수신 시스템(600)은 하나 이상의 가상 레퍼런스 뷰를 합성 및/또는 재생할 수 있다. 이는 비디오 정보 및 하나 이상의 가상 레퍼런스 뷰 또는 상기 하나 이상의 가상 레퍼런스 뷰를 합성하는데 사용될 수 있는 정보를 포함하는 인코딩된 신호를 수신함으로써 달성된다.
비디오 수신 시스템(600)은 예들 들면, 본 특허출원의 구현예에 기재된 신호와 같은 인코딩된 신호를 수신할 수 있는 수신기(610) 및 수신된 신호를 디코딩할 수 있는 디코더(620)를 포함한다.
수신기(610)는 예를 들면, 인코딩된 픽쳐를 나타내는 복수의 비트스트림을 갖는 프로그램 신호를 수신하도록 구성될 수 있다. 전형적인 수신기는 예를 들면, 변조되고 인코딩된 데이터 신호의 수신, 하나 이상의 반송파로부터의 데이터 신호의 복조, 신호내의 에너지의 무작위화의 해소, 신호 내의 데이터의 인터리빙의 제거, 및 신호의 에러 정정 디코딩과 같은 하나 이상의 기능을 수행한다. 수신기(610)는 안테나(도시하지 않음)를 포함하거나, 또는 이에 접속될 수 있다. 수신기(610)의 구현예는 복조기를 포함하거나, 또는 이에 국한될 수 있다.
디코더(620)는 비디오 정보 및 깊이 정보를 포함하는 비디오 신호를 출력한다. 디코더(620)는 예를 들면, 위에서 상세하게 설명된 디코더(400)일 수 있다.
도 7a는 본 발명의 원리의 실시예에 따른, 가상 레퍼런스 뷰를 인코딩하는 방법(700)의 순서도를 도시한다. 단계(710)에서, 제1의 뷰 위치에 있는 장치로부터 취해진 제1의 뷰 이미지가 액세스된다. 단계(710)에서, 제1의 뷰 이미지가 인코딩된다. 단계(715)에서, 제2의 뷰 위치에 있는 장치로부터 취해진 제2의 뷰 이미지가 액세스된다. 단계(720)에서, 복원된 제1의 뷰 이미지를 기초로 하여 가상 이미지가 합성된다. 가상 이미지는 상기 제1의 뷰 위치와는 다른 가상의 뷰 위치에 있는 장치로부터 취해질 경우 이미지가 어떠한 형상일지를 추정한다. 단계(725)에서, 가상 이미지가 인코딩된다. 단계(730)에서, 복원된 제1의 뷰 이미지에 대한 추가적인 레퍼런스로서의 복원된 가상 뷰와 함께, 제2의 뷰 이미지가 인코딩된다. 제2의 뷰 위치는 가상 뷰 위치와는 다르다. 단계(735)에서, 코딩된 제1의 뷰 이미지, 코딩된 가상 뷰 이미지, 및 코딩된 제2의 뷰 이미지가 전송된다.
상기 방법(700)의 일 구현예에서, 가상 이미지가 합성되는 제1의 뷰 이미지는 제1의 뷰 이미지의 합성된 버전이며, 레퍼런스 이미지는 가상 이미지이다.
도 7a의 일반적인 프로세스 및 본 특허출원에 기재된 다른 프로세스(예들 들면, 도 7b, 8a 및 8b의 프로세스들을 포함)의 다른 구현예에서, 가상 이미지(또는 복원)는 제2의 뷰 이미지를 인코딩하는데 사용되는 유일한 레퍼런스 이미지일 수 있다. 또한, 구현예에서는 가상 이미지가 디코더에서 출력으로서 디스플레이되는 것도 가능할 수 있다.
많은 구현예에서, 가상 뷰 이미지를 인코딩하고 전송한다. 이러한 구현예에서, 전송 및 전송에 사용되는 비트(bit)는 HRD(hypothetical reference decoder: 가상 레퍼런스 디코더)(예를 들면, 인코더에 포함되는 HRD 또는 독립적인 HRD 체커)에 의해 행해지는 인증(validation)시에 고려될 수 있다. 현재의 멀티뷰 코딩(MVC: multi-view coding) 표준에서는, HRD 입증이 각 뷰마다 개별적으로 행해진다. 제2의 뷰가 제1의 뷰로부터 예측되는 경우, 제1의 뷰를 전송하는데 사용되는 레이트(rate)는 제2의 뷰에 대한 CPB(coded picture buffer)의 HRD 체킹(인증)시에 계수된다. 이는 제2의 뷰를 디코딩하기 위해 제1의 뷰가 버퍼링되는 사실을 의미한다. 다양한 구현예들은 MVC와 관련하여 방금 설명한 것과 동일한 원리를 이용한다. 이러한 구현예에서는, 전송되는 가상 뷰 레퍼런스 이미지가 제1의 뷰와 제2의 뷰 사이에 있으면, 가상 뷰에 대한 HRD 모델 매개변수들은 이 가상 뷰가 마치 실제 뷰인 것처럼 SPS(sequence parameter set) 내에 삽입된다. 또한, 제2의 뷰에 대한 CPB의 HRD 적합성(인증)을 체킹할 때, 가상 뷰에 사용된 레이트가 가상 뷰의 버퍼링을 나타내기 위한 공식 내에 계수된다.
도 7b는 본 발명의 원리의 실시예에 따른, 가상 레퍼런스 뷰를 디코딩하는 방법(750)의 순서도를 도시한다. 단계(755)에서, 제1의 뷰 위치에 있는 장치로부터 취해진 제1의 뷰 이미지, 레퍼런스용으로만 사용되는 가상 이미지(가상 이미지를 디스플레이하는 것과 같은 출력 없음), 및 제2의 뷰 위치에 있는 장치로부터 취해진 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 포함하는 신호가 수신된다. 단계(760)에서, 제1의 뷰 이미지가 디코딩된다. 단계(765)에서, 가상 뷰 이미지가 디코딩된다. 단계(770)에서, 디코딩된 제1의 뷰 이미지에 대한 추가적인 레퍼런스로서 사용되는 디코딩된 가상 뷰 이미지 및 제2의 뷰 이미지가 디코딩된다.
도 8a는 본 발명의 원리의 실시예에 따른, 가상 레퍼런스 뷰를 인코딩하는 방법(800)의 순서도를 도시한다. 단계(805)에서, 제1의 뷰 위치에 있는 장치로부터 취해진 제1의 뷰 이미지가 액세스된다. 단계(810)에서, 제1의 뷰 이미지가 인코딩된다. 단계(815)에서, 제2의 뷰 위치에 있는 장치로부터 취해진 제2의 뷰 이미지가 액세스된다. 단계(820)에서, 복원된 제1의 뷰 이미지를 기초로 하여 가상 이미지가 합성된다. 가상 이미지는 상기 제1의 뷰 위치와는 다른 가상의 뷰 위치에 있는 장치로부터 취해질 경우 이미지가 어떠한 형상일지를 추정한다. 단계(825)에서, 복원된 제1의 뷰 이미지에 대한 추가적인 레퍼런스로서 생성된 가상 이미지를 이용하여, 제2의 뷰 이미지가 인코딩된다. 제2의 뷰 위치는 가상 뷰 위치와는 다르다. 단계(830)에서, 복수의 뷰들 중 어느 뷰가 레퍼런스 이미지로 사용되는지를 나타내는 제어 정보가 생성된다. 이러한 경우에, 예를 들면 레퍼런스 이미지는 다음 중 어느 하나가 될 수 있으며:
(1) 제1의 뷰 위치와 제2의 뷰 위치 사이의 중간 지점의 합성 뷰;
(2) 현재 코딩되는 뷰와 동일한 위치의 합성 뷰로서, 이 합성 뷰는 중간 지점에서의 뷰의 합성을 생성하는 것으로부터 시작하여 그 다음에 그 결과를 이용하여 현재 코딩되는 뷰의 위치에서 또 다른 뷰를 합성하도록 증분적으로 합성되며;
(3) 비합성 뷰 이미지;
(4) 가상 이미지; 및
(5) 가상 이미지로부터 합성된 또 다른 별도의 합성 이미지, 레퍼런스 이미지는 제1의 뷰 이미지와 제2의 뷰 이미지 사이의 위치 또는 제2의 뷰 이미지의 위치에 있다.
단계(835)에서, 코딩된 제1의 뷰 이미지, 코딩된 제2의 뷰 이미지, 및 코딩된 제어 정보가 전송된다.
도 8a의 프로세스 및 본 특허출원에 기재된 다양한 다른 프로세스들은 디코더에서의 디코딩 단계를 포함할 수도 있다. 예를 들면, 인코더는 인코딩된 제2의 뷰 이미지를 합성된 가상 이미지를 이용하여 디코딩할 수 있다. 이는 디코더가 생성하게 되는 것과 일치하는 복원된 제2의 뷰 이미지를 생성할 것으로 예측된다. 인코더는 그리고 나서 이 복원 이미지를 레퍼런스 이미지로 사용하여, 후속 이미지들을 인코딩하는데 이 복원 이미지를 사용할 수 있다. 이러한 방식으로, 인코더는 후속 이미지를 인코딩하기 위해 제2의 뷰 이미지의 복원 이미지를 사용하며, 디코더도 후속 이미지를 디코딩하기 위해 이 복원 이미지를 사용하게 된다. 그 결과, 인코더는 그 레이트-왜곡 최적화(rate-distortion optimizaton) 및 그 인코딩 모드의 선택을, 예를 들면 디코더가 생성할 것으로 예측되는 동일한 최종 출력(후속 이미지의 복원)을 기초로 하여 행할 수 있다. 이 디코딩 단계는 예를 들면, 동작(825) 이후의 임의의 시점에 행해질 수 있다.
도 8b는 본 발명의 원리의 실시예에 따른, 가상 레퍼런스 뷰를 디코딩하는 방법(800)의 순서도를 도시한다. 단계(855)에서, 신호가 수신된다. 이 신호는 제1의 뷰 위치에 있는 장치로부터 취해진 제1의 뷰 이미지와 제2의 뷰 위치에 있는 장치로부터 취해진 제2의 뷰 이미지에 대한 코딩된 비디오 정보, 및 가상 이미지가 어떻게 생성되는지 어느 가상 이미지가 (출력 없이) 레퍼런스용으로만 사용되는지에 대한 제어 정보를 포함한다. 단계(860)에서, 제1의 뷰 이미지가 디코딩된다. 단계(865)에서, 제어 정보를 이용하여 가상 뷰 이미지가 생성/합성된다. 단계(870)에서, 디코딩된 제1의 뷰 이미지에 대한 추가적인 레퍼런스로서 생성된/합성된 가상 뷰 이미지를 이용하여, 제2의 뷰 이미지가 디코딩된다.
실시예 1:
가상 뷰는 3D 와핑(warping) 기술을 이용하여 기존 뷰로부터 생성될 수 있다. 가상 뷰를 획득하기 위해, 카메라의 인트린식(intrinsic) 및 익스트린식(extrinsic) 매개변수에 대한 정보가 이용된다. 인트린식 매개변수는 예를 들면, 초점거리(focal length), 줌, 및 다른 내부 특징들을 포함할 수 있으며, 이에 국한되지 않는다. 익스트린식 매개변수는 예를 들면, 위치(translation), 배향(pan, tilt, rotatioin), 및 다른 외부 특징들을 포함할 수 있으며, 이에 국한되지 않는다. 게다가, 장면의 깊이 맵(depth map)이 또한 사용된다. 도 9는 본 발명의 원리의 실시예에 따라, 본 발명의 원리가 적용될 수 있는 예시적인 깊이 맵(900)을 도시한다. 특히, 깊이 맵(900)은 뷰 0(view 0)를 위한 것이다.
3D 와핑에 대한 투시도법 매트릭스(perspective projection matrix)는 다음과 같이 표현될 수 있다:
Figure 112010057429912-pct00001
여기서, A, R 및 t는 각각 인트린식 매트릭스, 회전 매트릭스, 및 이동(translation) 매트릭스이며, 이들 값은 카메라 매개변수로 지칭된다. 투영 방정식(projection equation)을 이용하여 이미지 좌표로부터의 픽셀(화소) 위치들을 3D 전체 좌표(3차원 좌표)로 투영할 수 있다. 수학식 2는 투영 방정식이며, 이는 깊이 데이터와 수학식 1을 포함한다. 수학식 2는 수학식 3으로 변환될 수 있다.
Figure 112010057429912-pct00002
Figure 112010057429912-pct00003
여기서, D는 깊이 데이터를 나타내고, P는 레퍼런스 이미지 좌표계의 동치좌표(homogeneous coordinate) 또는 3D 전체 좌표상의 픽셀 위치를 나타내며,
Figure 112010057429912-pct00004
는 3D 전체 좌표계의 동치좌표를 나타낸다.
투영 후, 3D 전체 좌표의 픽셀 위치들은 수학식 1의 역변환 형태인 수학식 4에 의해 원하는 목표 이미지 내의 위치들로 매핑(mapping)된다.
Figure 112010057429912-pct00005
그리고 나서, 레퍼런스 이미지 내의 픽셀 위치들에 대해 목표 이미지 내의 정확한 픽셀 위치들을 얻을 수 있다. 그 다음에, 레퍼런스 이미지 상의 픽셀 위치들로부터 픽셀 값을 목표 이미지 상의 투영된 픽셀 위치들에 복사할 수 있다.
가상 뷰를 합성하기 위해, 레퍼런스 뷰 및 가상 뷰의 카메라 매개변수를 사용한다. 하지만, 가상 뷰에 대한 매개변수의 전체 세트가 반드시 신호로 전송될 필요는 없다. 가상 뷰가 수평 평면에서 쉬프트(shift)만 되면(예를 들면, 뷰 1로부터 뷰 2로의 도 2의 예 참조), 이동 벡터(translation vector)만 업데이트될 필요가 있고, 나머지 매개변수는 변화가 없게 된다.
도 3 및 도 4와 관련하여 설명되고 도시된 장치(300 및 400)와 같은 장치에서, 하나의 코딩 구조는 뷰 5가 뷰 1을 예측 루프(prediction loop) 내에서 레퍼런스로 사용하도록 이루어진다. 하지만 전술한 바와 같이, 그들 사이의 큰 베이스라인 거리로 인해서, 상관관계는 제한적이게 되며, 뷰 5가 뷰 1을 레퍼런스로 사용할 확률은 매우 낮다.
뷰 1을 뷰 5의 카메라 위치로 와핑시킬 수 있으며, 그리고 나서 이렇게 가상적으로 생성된 픽쳐를 추가적인 레퍼런스로 사용할 수 있다. 하지만, 큰 베이스라인으로 인해서, 가상 뷰는 채우는데 쉽지 않은 많은 홀들(holes) 또는 큰 홀을 갖게 된다. 홀 필링(hole filling) 후에도, 최종 이미지는 레퍼런스로서 사용하는데 만족할 만한 품질을 갖지 못할 수 있다. 도 10a는 홀 필링(1000)을 행하지 않은 예시적인 와핑된 픽쳐를 도시하고 있다. 도 10b는 홀 필링(1050)을 행한, 도 10a의 예시적인 와핑된 픽쳐를 도시하고 있다. 도 10a에 도시된 바와 같이, 브레이크 댄서(break dancer)의 좌측 및 프레임의 우측에는 여러 개의 홀이 존재한다. 그리고 나서 이들 홀들은 인페인팅(inpainting)과 같은 홀 필링 알고리즘을 이용하여 채워지며, 그 결과가 도 10b에 도시되어 있다.
큰 베이스라인 문제를 다루기 위해서, 뷰 1을 뷰 5의 카메라 위치로 직접 와핑하는 대신에, 뷰 1과 뷰 5 사이의 어딘가에 있는 한 위치, 예를 들면 두 카메라 사이의 중간점을 와핑하는 것을 제안한다. 이 위치는 뷰 5에 비해 뷰 1에 보다 더 가까우며, 더 적은 그리고 더 작은 홀들을 가질 가능성이 있다. 이들 더 작은/더 적은 홀들은 큰 베이스라인을 갖는 큰 홀들에 비해 관리하기가 더 쉽다. 실제로, 뷰 5에 대응하는 위치를 직접 생성하는 대신에, 두 카메라 사이의 임의의 위치가 생성될 수 있다. 사실, 추가적인 레퍼런스로서 복수의 가상 카메라 위치들이 생성될 수 있다.
선형 및 평행 카메라 배치의 경우에, 모든 다른 정보는 이미 이용 가능하기 때문에, 생성되는 가상 위치에 대응하는 이동 벡터를 신호로 전송하는 것만이 전형적으로 필요하게 된다. 하나 이상의 추가적인 와핑된 레퍼런스의 생성을 지원하기 위해, 예를 들면 슬라이스 헤더(slice header)에 신택스(syntax)를 추가하는 것을 제안한다. 제안된 슬라이스 헤더 신택스의 실시예가 표 1에 예시되어 있다. 제안된 가상 뷰 정보 신택스의 실시예가 표 2에 예시되어 있다. 표 1의 로직(logic)에 의해 주지되는 바와 같이(이탤릭체로 나타냄), 표 2에 제시된 신택스는 표 1에 특정된 조건들이 만족될 때에만 존재한다. 이들 조건들은: 현재 슬라이스가 EP 또는 EB 슬라이스이고; 프로파일이 멀티뷰 비디오 프로파일이다. 표 2가 P, EP, B, 및 EB 슬라이스에 대해 "I0" 정보를 포함하고, B와 EB 슬라이스에 대해 "I1" 정보를 더 포함함을 주지할 필요가 있다. 적절한 레퍼런스 리스트 배열(ordering) 신택스를 이용함으로써, 복수의 와핑된 레퍼런스를 생성할 수 있다. 예를 들면, 제1의 레퍼런스 픽쳐는 본래의 레퍼런스일 수 있으며, 제2의 레퍼런스 픽쳐는 레퍼런스와 현재 뷰 사이의 지점에 있는 와핑된 레퍼런스일 수 있고, 제3의 레퍼런스 픽쳐는 현재의 뷰 위치에 있는 와핑된 레퍼런스일 수 있다.
Figure 112010057429912-pct00006
Figure 112010057429912-pct00007
전형적으로 비트스트림에 나타나게 되는 표 1 및 표 2에 볼드체(bold font)로 표시된 신택스 요소들을 주의할 필요가 있다. 또한, 표 1은 기존의 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고(이하, "MPEG-4 AVC 표준"이라 지칭함) 슬라이스 헤더 신택스의 변형 형태이므로, 편의상, 변경 사항이 없는 기존 신택스의 일부는 생략되어 예시되어 있다.
이 새로운 신택스의 의미는 다음과 같다:
virtual_view_flag_I0가 1과 같다는 건, 리매핑(remapping)되는 LIST 0 내의 레퍼런스 픽쳐가 생성될 필요가 있는 가상 레퍼런스 뷰라는 것을 나타낸다. virtual_view_flag_I0가 0과 같다는 건, 리매핑되는 레퍼런스 픽쳐가 가상 레퍼런스 뷰가 아니라는 것을 나타낸다.
translation_offset_x_I0는, LIST 0 내의 abs_diff_view_idx_minus1에 의해 나타내어지는 뷰와 생성될 가상 뷰 사이의 이동 벡터의 제1 성분을 나타낸다.
translation_offset_y_I0는, LIST 0 내의 abs_diff_view_idx_minus1에 의해 나타내어지는 뷰와 생성될 가상 뷰 사이의 이동 벡터의 제2 성분을 나타낸다.
translation_offset_z_I0는, LIST 0 내의 abs_diff_view_idx_minus1에 의해 나타내어지는 뷰와 생성될 가상 뷰 사이의 이동 벡터의 제3 성분을 나타낸다.
pan_I0는 LIST 0 내의 abs_diff_view_idx_minus1에 의해 나타내어지는 뷰와 생성될 가상 뷰 사이의 (y축을 따라서의) 패닝(panning) 매개변수를 나타낸다.
tilt_I0는 LIST 0 내의 abs_diff_view_idx_minus1에 의해 나타내어지는 뷰와 생성될 가상 뷰 사이의 (x축을 따라서의) 틸팅(tilting) 매개변수를 나타낸다.
rotatioin_I0는 LIST 0 내의 abs_diff_view_idx_minus1에 의해 나타내어지는 뷰와 생성될 가상 뷰 사이의 (z축을 따라서의) 회전 매개변수를 나타낸다.
zoom_I0는 LIST 0 내의 abs_diff_view_idx_minus1에 의해 나타내어지는 뷰와 생성될 가상 뷰 사이의 줌 매개변수를 나타낸다.
hole_filling_mode_I0는 LIST 0 내의 와핑된 픽쳐 내의 홀들이 어떻게 채워지게 되는지를 나타낸다. 다양한 홀 필링 모드가 나타내어질 수 있다. 예를 들면, 수치 0은 근방의 가장 멀리 떨어진 픽셀(즉, 가장 깊은 깊이를 갖는)을 복사함을 의미하고, 수치 1은 근방의 배경을 확장함을 의미하며, 수치 2는 홀 필링을 행하지 않음을 의미한다.
depth_filter_type_I0는 어떠한 종류의 필터가 LIST 0 내의 깊이 신호에 사용되는지를 나타낸다. 다양한 필터들이 나타내어질 수 있다. 일 실시예에서, 수치 0은 필터를 사용하지 않음을 의미하고, 수치 1은 중간 필터를 의미하며, 수치 2는 양방향 필터를 의미하고, 수치 3은 가우시안 필터(Gaussian filter)를 의미한다.
video_filter_type_I0는 어떠한 종류의 필터가 LIST 0 내의 가상 비디오 신호에 사용되는지를 나타낸다. 다양한 필터들이 나타내어질 수 있다. 일 실시예에서, 수치 0은 필터를 사용하지 않음을 의미하고, 수치 1은 노이즈 제거 필터를 의미한다.
virtual_view_flag_I1은 I0가 I1으로 대체되는 것을 제외하고는 virtual_view_flag_I0와 동일한 의미를 사용한다.
translation_offset_x_I1은 I0가 I1으로 대체되는 것을 제외하고는 translation_offset_x_I0와 동일한 의미를 사용한다.
translation_offset_y_I1은 I0가 I1으로 대체되는 것을 제외하고는 translation_offset_y_I0와 동일한 의미를 사용한다.
translation_offset_z_I1은 I0가 I1으로 대체되는 것을 제외하고는 translation_offset_z_I0와 동일한 의미를 사용한다.
pan_I1은 I0가 I1으로 대체되는 것을 제외하고는 pan_I0와 동일한 의미를 사용한다.
tilt_I1은 I0가 I1으로 대체되는 것을 제외하고는 tilt_I0와 동일한 의미를 사용한다.
rotation_I1은 I0가 I1으로 대체되는 것을 제외하고는 rotation_I0와 동일한 의미를 사용한다.
zoom_I1은 I0가 I1으로 대체되는 것을 제외하고는 zoom_I0와 동일한 의미를 사용한다.
hole_filling_mode_I1은 I0가 I1으로 대체되는 것을 제외하고는 hole_filling_mode_I0와 동일한 의미를 사용한다.
depth_filter_type_I1은 I0가 I1으로 대체되는 것을 제외하고는 depth_filter_type_I0와 동일한 의미를 사용한다.
video_filter_type_I1은 I0가 I1으로 대체되는 것을 제외하고는 video_filter_type_I0와 동일한 의미를 사용한다.
도 11은 본 발명의 원리의 다른 실시예에 따른, 가상 레퍼런스 뷰를 인코딩하는 방법(1100)의 순서도를 도시한다. 단계(1100)에서, 뷰 i에 대해 인코더 구성 파일이 판독된다. 단계(1115)에서, 가상 레퍼런스가 위치 "t"에서 생성될 것인지 여부가 판단된다. 만약 생성되는 경우, 제어는 단계(1120)로 진행된다. 생성되지 않는 경우, 제어는 단계(1125)로 진행된다. 단계(1120)에서, 위치 "t"에서 레퍼런스 뷰로부터 뷰 합성이 행해진다. 단계(1125)에서, 현재의 뷰 위치에 가상 레퍼런스가 생성될 것인지 여부가 판단된다. 만약 생성되는 경우, 제어는 단계(1130)로 진행된다. 생성되지 않는 경우, 제어는 단계(1135)로 진행된다. 단계(1130)에서, 현재의 뷰 위치에서 뷰 합성이 행해진다. 단계(1135)에서, 레퍼런스 리스트가 생성된다. 단계(1140)에서, 현재 픽쳐가 인코딩된다. 단계(1145)에서, 레퍼런스 리스트 재배열(reordering) 명령이 전송된다. 단계(1150)에서, 가상 뷰 생성 명령이 전송된다. 단계(1155), 현재의 뷰의 인코딩이 완료되었는지 여부가 판단된다. 완료되었으면, 본 방법은 종료된다. 완료되지 않았으면, 제어는 단계(1160)로 진행된다. 단계(1160)에서, 본 방법은 인코딩할 후속 픽쳐로 진행되며, 단계(1105)로 되돌아간다.
그래서, 도 11에서, 인코더 구성(단계(1110) 참조)을 판독한 후에, 위치 "t"에 가상 뷰가 생성되어야 하는지가 판단된다(단계(1115) 참조). 이러한 뷰가 생성되어야 하면, 홀 필링(도 11에 명시적으로 예시되지는 않음)과 함께 뷰 합성이 행해지며(단계(1120) 참조), 가상 뷰가 레퍼런스로서 추가된다(단계(1135) 참조). 이어서, 또 다른 가상 뷰가 현재의 카메라 위치에 생성될 수 있으며(단계(1125) 참조), 또한 레퍼런스 리스트에 추가될 수 있다. 그리고 나서, 현재 뷰의 인코딩은 추가적인 레퍼런스로서의 이들 뷰와 함께 진행된다.
도 12는 본 발명의 원리의 다른 실시예에 따른, 가상 레퍼런스 뷰를 디코딩하는 방법(1200)의 순서도를 도시한다. 단계(1205)에서, 비트스트림이 분석된다. 단계(1210)에서, 레퍼런스 리스트 재배열 명령이 분석된다. 단계(1215)에서, 가상 뷰 정보가 존재하는 경우에는 이 가상 뷰 정보가 분석된다. 단계(1220)에서, 가상 레퍼런스가 위치 "t"에서 생성될 것인지 여부가 판단된다. 생성되는 경우, 제어는 단계(1225)로 진행된다. 생성되지 않는 경우, 제어는 단계(1230)로 진행된다. 단계(1225)에서, 위치 "t"에서 레퍼런스 뷰로부터 뷰 합성이 행해진다. 단계(1230)에서, 현재의 뷰 위치에 가상 레퍼런스가 생성될 것인지 여부가 판단된다. 만약 생성되는 경우, 제어는 단계(1235)로 진행된다. 생성되지 않는 경우, 제어는 단계(1240)로 진행된다. 단계(1235)에서, 현재의 뷰 위치에서 뷰 합성이 행해진다. 단계(1240)에서, 레퍼런스 리스트가 생성된다. 단계(1245)에서, 현재 픽쳐가 디코딩된다. 단계(1250)에서, 현재 뷰의 디코딩이 완료되었는지 여부가 판단된다. 완료되었으면, 본 방법은 종료된다. 완료되지 않았으면, 제어는 단계(1055)로 진행된다. 단계(1255)에서, 본 방법은 디코딩할 후속 픽쳐로 진행되며, 단계(1205)로 되돌아간다.
그래서, 도 12에서, 레퍼런스 리스트 재배열 신택스 요소들을 분석함으로써(단계(1210) 참조), 가상 뷰가 위치 "t"에 추가적인 레퍼런스로서 생성될 필요가 있는지가 판단된다(단계(1220) 참조). 생성될 필요가 있는 경우, 이 가상 뷰를 생성하기 위해 뷰 합성(단계(1225) 참조) 및 홀 필링(도 12에 명시적으로 예시되지는 않음)이 행해진다. 또한, 비트스트림에 표시된 경우, 현재의 뷰 위치에 다른 가상 뷰가 생성된다(단계(1230) 참조). 이들 뷰 모두는 그리고 나서 추가적인 레퍼런스로서 레퍼런스 리스트에 배치되고(단계(1240) 참조), 디코딩이 진행된다.
실시예 2:
다른 실시예에서는, 상기의 신택스를 이용하여 인트린식 및 익스트린식 매개변수를 전송하는 대신에, 표 3에 예시된 바와 같이 상기 매개변수를 전송할 수 있다. 표 3은 (본 발명의) 다른 실시예에 따른, 제안된 가상 뷰 정보 신택스를 예시하고 있다.
Figure 112010057429912-pct00008
Figure 112010057429912-pct00009
그러면, 신택스 요소들은 다음과 같은 의미를 갖는다.
intrinsic_param_flag_I0가 1과 같다는 건, LIST_0에 대한 인트린식 카메라 매개변수가 존재함을 나타낸다. intrinsic_param_flag_I0가 0과 같다는 건, LIST_0에 대한 인트린식 카메라 매개변수가 존재하지 않음을 나타낸다.
intrinsic_params_eqaul_I0가 1과 같다는 건, LIST_0에 대한 인트린식 카메라 매개변수가 모든 카메라에 대해서 동일하며 단 한 세트의 인트린식 카메라 매개변수만이 존재함을 나타낸다. intrinsic_params_eqaul_I0가 0과 같다는 건, LIST_1에 대한 인트린식 카메라 매개변수가 각 카메라마다 다르며 각 카메라에 대해 한 세트의 인트린식 카메라 매개변수가 존재함을 나타낸다.
prec_focal_length_I0는, 2- prec _ focal _ length _ I0로 주어지는 focal_length_I0_x[i] 및 focal_length_I0_y[i]에 대한 최대 허용 절단 오차(truncation error)의 지수를 특정한다.
prec_principal point_I0는, 2- prec _ principal point _ I0로 주어지는 principal_point_I0_x[i] 및 principal_point_I0_y[i]에 대한 최대 허용 절단 오차의 지수를 특정한다.
prec_radial_distortion_I0는 2- prec _ radial _ distortion _ I0로 주어지는 radial_distortion_I0에 대한 최대 허용 절단 오차의 지수를 특정한다.
sign_focal_length_I0_x[i]가 1과 같다는 건, 수평 방향으로의 LIST 0 내의 i번째 카메라의 초점거리의 부호가 양(+)이라는 것을 나타낸다. sign_focal_length_I0_x[i]가 0과 같다는 건, 부호가 음(-)이라는 것을 나타낸다.
exponent_focal_length_I0_x[i]는 수평 방향으로의 LIST 0 내의 i번째 카메라의 초점거리의 지수 부분을 특정한다.
mantissa_focal_length_I0_x[i]는 수평 방향으로의 LIST 0 내의 i번째 카메라의 초점거리의 가수(假數: mantissa) 부분을 특정한다. mantissa_focal_length_I0_x[i] 신택스 요소의 크기는 아래에 구체화된 바와 같이 결정된다.
sign_focal_length_I0_y[i]가 0과 같다는 건, 수직 방향으로의 LIST 0 내의 i번째 카메라의 초점거리의 부호가 양(+)이라는 것을 나타낸다. sign_focal_length_I0_y[i]가 0과 같다는 건, 부호가 음(-)이라는 것을 나타낸다.
exponent_focal_length_I0_y[i]는 수직 방향으로의 LIST 0 내의 i번째 카메라의 초점거리의 지수 부분을 특정한다.
mantissa_focal_length_I0_y[i]는 수직 방향으로의 LIST 0 내의 i번째 카메라의 초점거리의 가수 부분을 특정한다. mantissa_focal_length_I0_y[i] 신택스 요소의 크기는 아래에 구체화된 바와 같이 결정된다.
sign_principal_point_I0_x[i]가 0과 같다는 건, 수평 방향으로의 LIST 0 내의 i번째 카메라의 주점(主點: principal point)의 부호가 양(+)이라는 것을 나타낸다. sign_principal_point_I0_x[i]가 0과 같다는 건, 부호가 음(-)이라는 것을 나타낸다.
exponent_principal_point_I0_x[i]는 수평 방향으로의 LIST 0 내의 i번째 카메라의 주점의 지수 부분을 특정한다.
mantissa_principal_point_I0_x[i]는 수평 방향으로의 LIST 0 내의 i번째 카메라의 주점의 가수 부분을 특정한다. mantissa_principal_point_I0_x[i] 신택스 요소의 크기는 아래에 구체화된 바와 같이 결정된다.
sign_principal_point_I0_y[i]가 0과 같다는 건, 수직 방향으로의 LIST 0 내의 i번째 카메라의 주점의 부호가 양(+)이라는 것을 나타낸다. sign_principal_point_I0_y[i]가 0과 같다는 건, 부호가 음(-)이라는 것을 나타낸다.
exponent_principal_point_I0_y[i]는 수직 방향으로의 LIST 0 내의 i번째 카메라의 주점의 지수 부분을 특정한다.
mantissa_principal_point_I0_y[i]는 수직 방향으로의 LIST 0 내의 i번째 카메라의 주점의 가수 부분을 특정한다. mantissa_principal_point_I0_y[i] 신택스 요소의 크기는 아래에 구체화된 바와 같이 결정된다.
sign_radial_distortion_I0[i]가 0과 같다는 건, LIST 0 내의 i번째 카메라의 원주방향 왜곡 계수(radial distortion coefficient)의 부호가 양(+)이라는 것을 나타낸다. sign_radial_distortion_I0[i]가 0과 같다는 건, 부호가 음(-)이라는 것을 나타낸다.
exponent_radial_distortion_I0[i]는 LIST 0 내의 i번째 카메라의 원주방향 왜곡 계수의 지수 부분을 특정한다.
mantissa_radial_distortion_I0[i]는 LIST 0 내의 i번째 카메라의 원주방향 왜곡 계수의 가수 부분을 특정한다. mantissa_radial_distortion_I0[i] 신택스 요소의 크기는 아래에 구체화된 바와 같이 결정된다.
표 4는 i번째 카메라의 인트린식 매트릭스 A(i)를 예시한다.
Figure 112010057429912-pct00010
extrinsic_param_flag_I0가 1과 같다는 건, LIST 0에 익스트린식 카메라 매개변수가 존재함을 나타낸다. extrinsic_param_flag_I0가 0과 같다는 건, 익스트린식 카메라 매개변수가 존재하지 않음을 나타낸다.
prec_rotation_param_I0는, List 0에 대해 2- prec _ rotation _ param _ I0로 주어지는 r[i][j][k]에 대한 최대 허용 절단 오차의 지수를 특정한다.
prec_translation_papam_I0는, List 0에 대해 2- prec _ translation _ param _ I0로 주어지는 t[i][j]에 대한 최대 허용 절단 오차의 지수를 특정한다.
sign_I0_r[i][j][k]가 0과 같다는 건, LIST 0 내의 i번째 카메라의 회전 매트릭스의 (j,k) 성분의 부호가 양(+)이라는 것을 나타낸다. sign_I0_r[i][j][k]가 0과 같다는 건, 부호가 음(-)이라는 것을 나타낸다.
exponent_I0_r[i][j][k]는 LIST 0 내의 i번째 카메라에 대한 회전 매트릭스의 (j,k) 성분의 지수 부분을 특정한다.
mantissa_I0_r[i][j][k]는 LIST 0 내의 i번째 카메라에 대한 회전 매트릭스의 (j,k) 성분의 가수 부분을 특정한다. mantissa_IO_r[i][j][k] 신택스 요소의 크기는 아래에 구체화된 바와 같이 결정된다.
표 5는 i번째 카메라의 회전 매트릭스 R(i)를 예시한다.
Figure 112010057429912-pct00011
sign_I0_t[i][j]가 0과 같다는 건, LIST 0 내의 i번째 카메라의 이동 벡터의 j번째 성분의 부호가 양(+)이라는 것을 나타낸다. sign_I0_t[i][j]가 0과 같다는 건, 부호가 음(-)이라는 것을 나타낸다.
exponent_I0_t[i][j]는 LIST 0 내의 i번째 카메라에 대한 이동 벡터의 j번째 성분의 지수 부분을 특정한다.
mantissa_I0_t[i][j]는 LIST 0 내의 i번째 카메라에 대한 이동 벡터의 j번째 성분의 가수 부분을 특정한다. mantissa_IO_t[i][j] 신택스 요소의 크기는 아래에 구체화된 바와 같이 결정된다.
표 6은 i번째 카메라의 이동 벡터 t(i)를 예시한다.
Figure 112010057429912-pct00012
인트린식 및 회전 매트릭스와 함께 이동 벡터의 성분들은 IEEE 754 표준과 유사한 방식으로 다음과 같이 얻어진다.
E=63이고 M이 0이 아니면, X는 숫자가 아니다.
E=63이고 M이 0이면, X = (-1)S·∞.
0<E<63이면, X = (-1)S·2E-31·(1.M).
E=0이고 M이 0이 아니면, X = (-1)S·2-30·(0.M).
E=0이고 M이 0이면, X = (-1)S·0.
여기서, 0≤M<1에 대해 M=bin2float(N)이고, X, s, N 및 E 각각은 표 7의 첫 번째, 두 번째, 세 번째 및 네 번째 열(column)에 대응된다. 분수의 2진 표기(binary representation)를 상응하는 부동 소수점 수(floating point number)로 변환하는 함수 bin2float()의 c-스타일(c 프로그램 방식)의 기술(記述)과 관련해서는 아래를 참조하기 바란다.
Figure 112010057429912-pct00013
분수 N (0≤N<1)의 2진 표기를 상응하는 부동 소수점 수 M으로 변환하는 M=bin2float(N)의 일례의 c 언어 구현이 표 8에 예시되어 있다.
Figure 112010057429912-pct00014
가수(mantissa) 신택스 요소의 크기 v는 다음과 같이 결정된다:
v = max(0,-30 + Precision_Syntax_Element), if E=0.
v = max(0, E-31 + Precision_Syntax_Element), if 0<E<63.
v = 0, if E=31.
여기서, 가수 신택스 요소 및 그 대응하는 E 및 Precision_Syntax_Element는 표 9에 주어져 있다.
Figure 112010057429912-pct00015
"I1"을 갖는 신택스 요소에 대해서는, "I0"를 갖는 신택스의 의미에 있어서 LIST 0를 LIST 1으로 대체하면 된다.
실시예 3:
또 다른 실시예에서, 가상 뷰는 다음과 같이 연속적으로 리파이닝(refining)될 수 있다.
먼저, 뷰 1으로부터 t1 거리에서 뷰 1과 뷰 5의 사이에 가상 뷰를 생성한다. 3D 와핑 후에, 위치 P(t1)에 최종 가상 뷰를 생성하기 위해 홀 필링이 행해진다. 그리고 나서, 가상 카메라 위치 V(t1)에서 뷰 1의 깊이 신호를 와핑할 수 있고, 이 깊이 신호에 대해 홀 필링이 행해지며, 다른 필요한 후처리 단계들이 행해질 수 있다. 구현예에서는, 와핑된 뷰를 생성하기 위해 와핑된 깊이 데이터를 또한 사용할 수 있다.
그 후에, V(t1)와 동일한 방식으로 V(t1)로부터 거리 t2에서 뷰 5와 V(t1)에 있는 가상 뷰의 사이에 다른 가상 뷰를 생성할 수 있다. 이것이 도 13에 도시되어 있다. 도 13은 본 발명의 원리의 실시예에 따라, 본 발명의 원리가 적용될 수 있는 연속적인 가상 뷰 생성장치(1300)의 일례를 도시하고 있다. 가상 뷰 생성장치(1300)는 제1의 뷰 합성기 및 홀 필러(hole filler)(1310)와, 제2의 뷰 합성기 및 홀 필러(1320)를 포함한다. 본 예에서, 뷰 5는 코딩될 뷰를 나타내고, 뷰 1은 (예를 들면, 뷰 5 또는 다른 뷰의 코팅에 사용하는데) 이용 가능한 레퍼런스 뷰를 나타낸다. 본 예에서, 두 카메라 사이의 중앙 지점(mid point)을 중간 위치(intermediate location)로 사용하도록 선택하였다. 그래서 제1단계에서, 제1의 뷰 합성기 및 홀 필러(1310)에 의한 홀 필링의 후에, t1이 D/2로 선택되고 가상 뷰가 V(D/2)로 생성된다. 이어서, 제2의 뷰 합성기 및 홀 필러(1320)에 의해 V(D/2) 및 V5를 사용하여 위치 3D/4에서 다른 중간 뷰가 생성된다. 그리고 나서, 이 가상 뷰 V(3D/4)는 레퍼런스 리스트(1330)에 추가될 수 있다.
유사하게, 품질 규준이 만족될 때까지 필요에 따라 더 많은 가상 뷰를 생성할 수 있다. 품질 측정의 일례로는, 가상 뷰와 예측될 뷰, 예를 들면 뷰 5 사이의 예측 오차(prediction error)가 될 수 있다. 그리고 나서 최종 가상 뷰는 뷰 5에 대한 레퍼런스로서 사용될 수 있다. 모든 중간 뷰들도 또한 적합한 레퍼런스 리스트 배열 신택스를 사용하여 레퍼런스로서 추가될 수 있다.
도 14는 본 발명의 원리의 또 다른 실시예에 따른, 가상 레퍼런스 뷰를 인코딩하는 방법(1400)의 순서도를 도시한다. 단계(1410)에서, 뷰 i에 대해 인코더 구성 파일이 판독된다. 단계(1415)에서, 복수의 위치에 가상 레퍼런스가 생성될 것인지 여부가 판단된다. 만약 생성되는 경우, 제어는 단계(1420)로 진행된다. 생성되지 않는 경우, 제어는 단계(1425)로 진행된다. 단계(1420)에서, 연속적인 리파이닝에 의해 레퍼런스 뷰로부터 복수의 위치에서 뷰 합성이 행해진다. 단계(1425)에서, 현재의 뷰 위치에 가상 레퍼런스가 생성될 것인지 여부가 판단된다. 만약 생성되는 경우, 제어는 단계(1430)로 진행된다. 생성되지 않는 경우, 제어는 단계(1435)로 진행된다. 단계(1430)에서, 현재의 뷰 위치에서 뷰 합성이 행해진다. 단계(1435)에서, 레퍼런스 리스트가 생성된다. 단계(1440)에서, 현재 픽쳐가 인코딩된다. 단계(1445)에서, 레퍼런스 리스트 재배열 명령이 전송된다. 단계(1450)에서, 가상 뷰 생성 명령이 전송된다. 단계(1455), 현재의 뷰의 인코딩이 완료되었는지 여부가 판단된다. 완료되었으면, 본 방법은 죵료된다. 완료되지 않았으면, 제어는 단계(1460)로 진행된다. 단계(1460)에서, 본 방법은 인코딩할 후속 픽쳐로 진행되며, 단계(1405)로 되돌아간다.
도 15는 본 발명의 원리의 또 다른 실시예에 따른, 가상 레퍼런스 뷰를 디코딩하는 방법(1500)의 순서도를 도시한다. 단계(1505)에서, 비트스트림이 분석된다. 단계(1510)에서, 레퍼런스 리스트 재배열 명령이 분석된다. 단계(1515)에서, 가상 뷰 정보가 존재하는 경우에는 이 가상 뷰 정보가 분석된다. 단계(1520)에서, 복수의 지점에서 가상 레퍼런스가 생성될 것인지 여부가 판단된다. 생성되는 경우, 제어는 단계(1525)로 진행된다. 생성되지 않는 경우, 제어는 단계(1530)로 진행된다. 단계(1525)에서, 연속적인 리파이닝에 의해 레퍼런스 뷰로부터 복수의 위치에서 뷰 합성이 행해진다. 단계(1530)에서, 현재의 뷰 위치에 가상 레퍼런스가 생성될 것인지 여부가 판단된다. 만약 생성되는 경우, 제어는 단계(1535)로 진행된다. 생성되지 않는 경우, 제어는 단계(1540)로 진행된다. 단계(1535)에서, 현재의 뷰 위치에서 뷰 합성이 행해진다. 단계(1540)에서, 레퍼런스 리스트가 생성된다. 단계(1545)에서, 현재 픽쳐가 디코딩된다. 단계(1550)에서, 현재 뷰의 디코딩이 완료되었는지 여부가 판단된다. 완료되었으면, 본 방법은 종료된다. 완료되지 않았으면, 제어는 단계(1555)로 진행된다. 단계(1555)에서, 본 방법은 디코딩할 후속 픽쳐로 진행되며, 단계(1505)로 되돌아간다.
알 수 있는 바와 같이, 본 실시예와 실시예 1의 차이점은, 인코더에서 "t"에서의 단 하나의 가상 뷰 대신에 연속적인 리파이닝에 의해서 위치 t1, t2, t3에서 여러 개의 가상 뷰가 생성될 수 있다. 그리고 나서 이 모든 가상 뷰, 또는 예를 들면 가장 우수한 가상 뷰가 최종 레퍼런스 리스트에 배치될 수 있다. 디코더에서, 레퍼런스 리스트 재배열 신택스는 얼마나 많은 위치에서 가상 뷰가 생성될 필요가 있는지를 나타내게 된다. 그리고 나서 이들은 디코딩에 앞서 레퍼런스 리스트에 배치된다.
그래서, 다양한 구현예가 제공된다. 이러한 구현예에는 예를 들면, 하나 이상의 다음의 이점들/특징들을 포함하는 구현예들이 포함된다:
1. 적어도 하나의 다른 뷰로부터 가상 뷰를 생성하고, 이 가상 뷰를 인코딩시의 레퍼런스 뷰로 이용한다,
2. 적어도 제1의 가상 뷰로부터 제2의 가상 뷰를 생성한다,
2a. (바로 위에 있는 항목 2의) 제2의 가상 뷰를 인코딩시의 레퍼런스 뷰로 이용한다,
2b. (2의) 제2의 가상 뷰를 3D 애플리케이션에서 생성한다,
2e. (2의) 적어도 제2의 가상 뷰로부터 제3의 가상 뷰를 생성한다,
2f. 카메라 위치(또는 기존 "뷰" 위치)에서 (2의) 제2의 가상 뷰를 생성한다,
3. 2개의 기존 뷰들 사이에 복수의 가상 뷰를 생성하고, 복수의 가상 뷰들 중 선행 가상 뷰를 기초로 하여 복수의 가상 뷰들 중 후속 가상 뷰를 생성한다,
3a. 생성되는 연속적인 뷰들 각각에 대해 품질 규준(metric)을 향상시키도록 (3의) 연속적인 가상 뷰를 생성한다,
3b. 예측되는 2개의 기존 뷰 중 어느 하나와 가상 뷰 사이의 예측 오차(또는 유수(residue))의 측정법인 (3에서의) 품질 규준을 이용한다.
이들 구현예들 중 몇 가지는, 디코딩이 이루어진 후에 애플리케이션(예컨대, 3D 애플리케이션)에서 가상 뷰를 생성하는 대신에(또는 가상 뷰를 생성하는 것에 더해서), 인코더에서 가상 뷰가 생성되는 특징을 포함한다. 게다가, 여기에 기재된 구현예 및 특징들은 MPEG-4 AVC 표준, 또는 MVC(multi-view video coding) 확장을 갖는 MPEG-4 AVC 표준, SVC(scalable video coding) 확장을 갖는 MPEG-4 AVC 표준 환경 하에서 사용될 수 있다. 하지만, 이들 구현예 및 특징들은 다른 표준 및/또는 권고(기존 및 추후) 환경 하에, 또는 표준 및/또는 권고를 수반하지 않는 환경 하에서 사용될 수도 있다. 그래서, 구체적인 특징 및 양태를 갖는 하나 이상의 구현예들을 제공한다. 하지만, 기재된 구현예들의 특징 및 양태는 다른 구현예를 위해서 변경될 수도 있다.
구현예들은 슬라이스 헤더, SEI 메시지, 다른 고레벨(high-level) 신택스, 비-고레벨(non-high-level) 신택스, 대역외(out-of-band) 정보, 데이터스트림 데이터, 및 암시적 신호방식(implicit signaling)을 포함하나, 이에 국한되지 않는 다양한 기법들을 이용하여 정보를 나타낼 수 있다. 따라서, 본 명세서에 기재된 구현예들이 특정 환경에서 기재되었을 수 있으나, 이러한 기재는 결코 이러한 구현예 또는 환경에 특징 및 개념들을 국한시키는 것으로 받아들여져서는 안 된다.
그래서 구체적인 특징 및 양태를 갖는 하나 이상의 구현예들을 제공한다. 하지만, 기재된 구현예들의 특징 및 양태는 다른 구현예들을 위해서 변경될 수도 있다. 구현예들은 SEI 메시지, 다른 고레벨 신택스, 비-고레벨 신택스, 대역외 정보, 데이터스트림 데이터, 및 암시적 신호방식을 포함하나, 이에 국한되지 않는 다양한 기법들을 이용하여 정보를 나타낼 수 있다. 따라서, 본 명세서에 기재된 구현예들이 특정 환경에서 기재되었을 수 있으나, 이러한 기재는 결코 이러한 구현예 또는 환경에 특징 및 개념들을 국한시키는 것으로 받아들여져서는 안 된다.
게다가, 많은 구현예들이 인코더 및 디코더 중 어느 하나, 또는 양자 모두에서 실현될 수 있다.
특허청구범위를 포함하는 명세서에서 "액세스하는" 은 일반적인 의미를 갖는다. 예를 들면, 하나의 데이터에의 "액세스"는 예를 들면, 이 데이터의 수신, 송신, 저장, 송신, 또는 처리시에 행해질 수 있다. 그래서, 예를 들면 이미지는 메모리에 저장될 때, 메모리로부터 검색될 때, 새로운 이미지를 합성하기 위한 기초(basis)로서 인코딩될 때, 디코딩될 때, 또는 사용될 때 전형적으로 액세스된다.
명세서에서 다른 이미지(예를 들면, 합성된 이미지)를 "기초로 하는" 레퍼런스 이미지는, 이 레퍼런스 이미지가 나머지 하나의 이미지와 동일하게 되거나(더 이상의 처리가 이루어지지 않음), 또는 나머지 하나의 이미지를 처리하여 생성될 수 있게 한다. 예를 들면, 레퍼런스 이미지는 제1의 합성된 이미지와 동일하게 설정될 수 있으며, 여전히 이 제1의 합성된 이미지를 "기초로 할" 수 있다. 또한, 레퍼런스 이미지는 (예들 들면, 증분적인 합성 구현예에 설명된 바와 같이) 제1의 합성된 이미지의 추가적인 합성이 이루어지고 가상 위치를 새로운 위치로 이동시킴으로써 제1의 합성된 이미지를 "기초로 할" 수 있다.
명세서에서 본 발명의 원리의 "일 실시예(one embodiment 혹은 an embodiment)" 또는 "일 구현예(one implementation 혹은 an implementation)" 및 다른 변형예들은, 본 발명의 원리의 적어도 하나의 실시예에 포함된 실시예와 연계되어 기재된 구체적인 특징, 구조, 특성 등을 의미한다. 그래서, "일 실시예에서(in one embodiment 혹은 in an embodiment)" 또는 "일 구현예에서(in one implementation 혹은 in an implementation)"라는 표현 및 본 명세서에 걸쳐서 다양한 곳에서 나타나는 다른 변형 표현들은 반드시 동일한 실시예를 지칭하지는 않는다.
다음 표현들의 사용 "/", "및/또는", 및 "중 적어도 하나", 예를 들면 "A/B", "A 및/또는 B", "A와 B 중 적어도 하나"의 경우에, 첫 번째로 기재된 선택사항(A)만의 선택, 두 번째로 기재된 선택사항(B)만의 선택, 또는 양자 모두의 선택사항(A와 B)의 선택을 포함하는 것으로 이해해야 한다. 추가적인 예로서, "A, B, 및/또는 C" 및 "A, B, 및 C 중 적어도 하나"의 경우에, 이러한 표현은 첫 번째로 기재된 선택사항(A)만의 선택, 두 번째로 기재된 선택사항(B)만의 선택, 세 번째로 기재된 선택사항(C)만의 선택, 또는 첫 번째와 두 번째로 기재된 선택사항(A와 B)만의 선택, 첫 번째와 세 번째로 기재된 선택사항(A와 C)만의 선택, 두 번째와 세 번째로 기재된 선택사항(B와 C)만의 선택, 또는 모든 선택사항(A와 B와 C)의 선택을 포함하도록 의도된다. 이는 당해업자에게 자명한 바와 같이 나열된 다수의 항목에 대해서도 확장될 수 있다.
본 명세서에 기재된 구현예들은, 예를 들면 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 한 가지 형태의 구현예의 환경 하에서만 논의되었어도(예를 들면, 방법으로만 논의되었어도), 논의된 특징들의 구현예는 다른 형태(예를 들면, 장치 또는 프로그램)로도 또한 구현될 수 있다. 장치는 예를 들면, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은 예를 들면, 컴퓨터, 마이크로프로세서, 집적회로, 또는 프로그램 가능한 논리 장치를 포함하는 처리 장치를 일반적으로 지칭하는 예컨대, 프로세서와 같은 장치로 구현될 수 있다. 프로세서는 예를 들면, 컴퓨터, 휴대전화기, PDA(portable/personal digital assistant), 및 사용자들 사이의 정보의 전송을 용이하게 하는 다른 장치와 같은 통신 장치를 또한 포함한다.
본 명세서에 기재된 다양한 프로세스 및 특징의 구현예는 다양한 다른 장치 또는 애플리케이션으로, 특히, 예를 들면 데이터 인코딩 및 디코딩과 연관된 장치 및 애플리케이션으로 실시될 수 있다. 이러한 장치의 예로는 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트 프로세서(post-processor), 인코더에 입력을 제공하는 프리-프로세서(pre-processor), 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱박스, 랩톱, PC, 휴대전화기, PDA, 및 다른 통신 장치가 포함된다. 자명한 바와 같이, 이러한 장치는 휴대형일 수 있으며, 또한 모바일 차량에 설치될 수도 있다.
또한, 방법은 프로세서에 의해 실행되는 명령어로 구현될 수도 있으며, 이러한 명령어(및/또는 구현예에 의해 생성된 데이터 값)는 예를 들면, 집적회로, 소프트웨어 캐리어(software carrier), 또는 예를 들면 하드디스크, CD(compact disquett), RAM(random access memory), 또는 ROM(read-only memory)과 같은 다른 저장장치와 같은 프로세서가 판독 가능한 매체에 저장될 수 있다. 이러한 명령어는 프로세서가 판독 가능한 매체 상에 유형으로 구현되는 응용 프로그램을 형성할 수 있다. 이러한 명령어는 예를 들면, 하드웨어, 펌웨어, 소프트웨어, 또는 조합형 내에 존재할 수 있다. 이러한 명령어는 예를 들면, 운영체계(OS), 개별 애플리케이션, 또는 이 둘의 혼합형에서 발견될 수 있다. 따라서, 프로세서는 예를 들면, 프로세스를 실행하도록 구성된 장치 및 프로세스를 실행하는 명령어들을 구비한 (저장장치와 같은) 프로세서가 판독 가능한 매체를 포함하는 장치의 양자 모두로 특징지어질 수 있다. 게다가, 프로세서가 판독 가능한 매체는, 명령어 대신에 또는 이에 더해서, 구현예에 의해 생성된 데이터 값을 저장할 수 있다.
당업자에 자명한 바와 같이, 구현예는 예를 들면, 저장되거나 전송될 수 있는 정보를 반송(搬送)하도록 포맷된 다양한 신호들을 생성할 수 있다. 이러한 정보는 예를 들면, 방법을 실행하는 명령어, 또는 전술한 구현예들 중 하나에 의해 성성된 데이터를 포함할 수 있다. 예를 들면, 신호는 기재된 실시예의 신택스를 기록하거나 판독하는 규칙(rule)을 데이터로서 반송하거나, 기재된 실시예에 의해서 기록된 실제 신택스 값을 데이터로서 반송하도록 포맷될 수 있다. 이러한 신호는 예를 들면, 전자기파(예를 들면, 스펙트럼의 무선 주파수 부분을 이용)로서, 또는 베이스밴드 신호로서 포맷될 수 있다. 포매팅(formatting)은 예를 들면, 데이터 스트림의 인코딩 및 인코딩된 데이터 스트림을 갖는 반송파의 변조를 포함할 수 있다. 이러한 신호가 반송하는 정보는 예를 들면, 아닐로그 또는 디지털 정보일 수 있다. 이러한 신호는 알려진 바와 같이, 다양한 다른 유선 또는 무선 링크를 통해서 전송될 수 있다. 이러한 신호는 프로세서가 판독 가능한 매체에 저장될 수 있다.
다수의 구현예가 기재되었다. 여전히, 다양한 변형예들이 실행될 수 있음을 이해할 수 있을 것이다. 예를 들면, 다른 구현예를 형성하기 위해 상이한 구현예의 요소들이 결합되나, 보완되거나, 변형되거나, 또는 제거될 수 있다. 또한, 다른 구조 및 프로세스가 개시된 구조 및 프로세스를 대체할 수 있으며, 그에 따라 이루어지는 구현예는 개시된 구현예와 적어도 실질적으로 동일한 결과를 달성할 수 있도록 적어도 실질적으로 동일한 방법으로 적어도 실질적으로 동일한 기능을 수행함을 당업자는 이해할 수 있을 것이다. 따라서, 이들 및 다른 구현예들은 본 특허출원에 의해 고찰되며, 이하의 특허 청구의 범위 내에 있다.
100: 시스템 111: 스테레오 카메라
112: 깊이 카메라 113: 멀티-카메라 셋업
114: 2D/3D 변환 프로세스 130: 네트워크
140: 수신기 150: 깊이 이미지 기반의 렌더러
161: 2D 디스플레이 162: M-뷰 3D 디스플레이
163: 헤드 추적 스테레오 디스플레이
200: 프레임워크
210: 오토 스테레오스코픽 3D 디스플레이(210)
220: 제1의 깊이 이미지 기반의 렌더러
230: 제2의 깊이 이미지 기반의 렌더러
240: 디코딩된 데이터를 위한 버퍼
300: 인코더 305: 결합기
310: 트랜스포머 400: 디코더
500: 비디오 전송 시스템 600: 비디오 수신 시스템

Claims (35)

  1. 방법으로서,
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 단계와;
    제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지(reference image)를 액세스하는 단계로서, 제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 합성함으로써 레퍼런스 이미지는 증분적으로 합성되는, 액세스하는 단계와;
    제2의 뷰 위치에 대응하는 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 단계로서, 제2의 뷰 이미지는 레퍼런스 이미지를 기초로 하여 코딩되는, 액세스하는 단계; 및
    디코딩된 제2의 뷰 이미지를 생성하기 위해서 레퍼런스 이미지 및 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 이용하여 제2의 뷰 이미지를 디코딩하는 단계를
    포함하는, 방법.
  2. 삭제
  3. 제1항에 있어서, 레퍼런스 이미지를 인코딩하고 전송하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서, 레퍼런스 이미지를 수신하는 단계를 더 포함하는, 방법.
  5. 제1항에 있어서, 레퍼런스 이미지는 원래의 레퍼런스 이미지의 복원 이미지인, 방법.
  6. 제1항에 있어서, 복수의 뷰들 중 어느 뷰가 레퍼런스 이미지의 가상 뷰 위치에 대응하는지를 나타내는 제어 정보를 수신하는 단계를 더 포함하는, 방법.
  7. 제6항에 있어서, 제1의 뷰 이미지와 제2의 뷰 이미지를 수신하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서, 제1의 뷰 이미지와 제2의 뷰 이미지를 전송하는 단계를 더 포함하는, 방법.
  9. 제1항에 있어서, 제1의 뷰 이미지는 원래의 제1의 뷰 이미지의 복원된 버전을 포함하는, 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제1항에 있어서, 인코더(encoder)에서 후속 이미지를 인코딩하기 위해 디코딩된 제2의 뷰 이미지를 이용하는 단계를 더 포함하는, 방법.
  15. 제1항에 있어서, 디코더(decoder)에서 후속 이미지를 디코딩하기 위해 디코딩된 제2의 뷰 이미지를 이용하는 단계를 더 포함하는, 방법.
  16. 장치로서,
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 수단과;
    제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지를 액세스하는 수단으로서, 제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 합성함으로써 레퍼런스 이미지는 증분적으로 합성되는, 액세스하는 수단과;
    제2의 뷰 위치에 대응하는 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 수단으로서, 제2의 뷰 이미지는 레퍼런스 이미지를 기초로 하여 코딩되는, 액세스하는 수단; 및
    디코딩된 제2의 뷰 이미지를 생성하기 위해서 레퍼런스 이미지 및 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 이용하여 제2의 뷰 이미지를 디코딩하는 수단을
    포함하는, 장치.
  17. 제16항에 있어서, 비디오 인코더 및 비디오 디코더 중 적어도 하나로 구현되는, 장치.
  18. 프로세서 판독 가능 매체로서,
    프로세서가 적어도 다음의:
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 단계와;
    제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지를 액세스하는 단계로서, 제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 합성함으로써 레퍼런스 이미지는 증분적으로 합성되는, 액세스하는 단계와;
    제2의 뷰 위치에 대응하는 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 단계로서, 제2의 뷰 이미지는 레퍼런스 이미지를 기초로 하여 코딩되는, 액세스하는 단계; 및
    디코딩된 제2의 뷰 이미지를 생성하기 위해서 레퍼런스 이미지 및 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 이용하여 제2의 뷰 이미지를 디코딩하는 단계를
    수행하도록 하는 명령어들이 저장된, 프로세서 판독 가능 매체.
  19. 장치로서,
    적어도 다음의:
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 단계와;
    제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지를 액세스하는 단계로서, 제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 합성함으로써 레퍼런스 이미지는 증분적으로 합성되는, 액세스하는 단계와;
    제2의 뷰 위치에 대응하는 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 단계로서, 제2의 뷰 이미지는 레퍼런스 이미지를 기초로 하여 코딩되는, 액세스하는 단계; 및
    디코딩된 제2의 뷰 이미지를 생성하기 위해서 레퍼런스 이미지 및 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 이용하여 제2의 뷰 이미지를 디코딩하는 단계를
    수행하도록 구성된 프로세서를 포함하는, 장치.
  20. 장치로서,
    (1) 제1의 뷰 위치에 대응하는 제1의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하고, (2) 제2의 뷰 위치에 대응하는 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 액세싱 유닛으로서, 제2의 뷰 이미지는 레퍼런스 이미지를 기초로 하여 코딩되는, 액세싱 유닛과,
    제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지를 액세스하는 저장 장치로서, 제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 합성함으로써 레퍼런스 이미지는 증분적으로 합성되는, 저장 장치, 및
    디코딩된 제2의 뷰 이미지를 생성하기 위해서 레퍼런스 이미지 및 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 이용하여 제2의 뷰 이미지를 디코딩하는 디코딩 유닛을
    포함하는, 장치.
  21. 제20항에 있어서, 액세싱 유닛은 인코딩 유닛과 비트스트림 파서(bitstream parser)를 포함하는, 장치.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 비디오 신호 구조가 저장된 프로세서 판독 가능 매체로서,
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지에 대한 코딩된 비디오 정보를 포함하는 제1의 뷰 부분과,
    제2의 뷰 위치에 대응하는 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 포함하는 제2의 뷰 부분으로서, 제2의 뷰 이미지는 레퍼런스 이미지를 기초로 하여 코딩되는, 제2의 뷰 부분, 및
    제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지를 나타내는 코딩된 정보를 포함하는 레퍼런스 부분으로서, 제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 합성함으로써 레퍼런스 이미지는 증분적으로 합성되는, 레퍼런스 부분을
    포함하는, 비디오 신호 구조가 저장된 프로세서 판독 가능 매체.
  28. 장치로서,
    (1) 제1의 뷰 위치에 대응하는 제1의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하고, (2) 제2의 뷰 위치에 대응하는 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 액세싱 유닛으로서, 제2의 뷰 이미지는 레퍼런스 이미지를 기초로 하여 코딩되는, 액세싱 유닛과,
    제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지를 액세스하는 저장 장치로서, 제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 합성함으로써 레퍼런스 이미지는 증분적으로 합성되는, 저장 장치와,
    디코딩된 제2의 뷰 이미지를 생성하기 위해서 레퍼런스 이미지 및 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 이용하여 제2의 뷰 이미지를 디코딩하는 디코딩 유닛, 및
    제1의 뷰 이미지와 제2의 뷰 이미지를 포함하는 신호를 변조하는 변조기를
    포함하는, 장치.
  29. 장치로서,
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지에 대한 코딩된 비디오 정보를 포함하고 제2의 뷰 위치에 대응하는 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 포함하는 신호를 수신하여 복조하는 복조기(demodulator)로서, 제2의 뷰 이미지는 레퍼런스 이미지를 기초로 하여 코딩되는, 복조기와,
    제1의 뷰 이미지에 대한 코딩된 비디오 정보와 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 액세스하는 액세싱 유닛과,
    제1의 뷰 위치와는 다른 가상의 뷰 위치로부터 제1의 뷰 이미지를 묘사하는 레퍼런스 이미지를 액세스하는 저장 장치로서, 제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 합성함으로써 레퍼런스 이미지는 증분적으로 합성되는, 저장 장치와,
    디코딩된 제2의 뷰 이미지를 생성하기 위해서 레퍼런스 이미지와 제2의 뷰 이미지에 대한 코딩된 비디오 정보를 이용하여 제2의 뷰 이미지를 디코딩하는 디코딩 유닛을
    포함하는, 장치.
  30. 제29항에 있어서, 레퍼런스 이미지를 합성하는 뷰 합성기를 더 포함하는, 장치.
  31. 방법으로서,
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지를 액세스하는 단계와,
    제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 증분적으로 합성하는 단계와,
    제2의 뷰 위치에 대응하는 제2의 뷰 이미지를 인코딩하는 단계로서, 인코딩은 가상 이미지를 기초로 하는 레퍼런스 이미지를 이용하며, 제2의 뷰 위치는 가상의 뷰 위치와는 다르며, 인코딩된 제2의 뷰 이미지를 생성하는, 인코딩하는 단계를
    포함하는, 방법.
  32. 제31항에 있어서, 레퍼런스 이미지는 가상 이미지인, 방법.
  33. 장치로서,
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지를 액세스하는 수단과,
    제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 증분적으로 합성하는 수단과,
    제2의 뷰 위치에 대응하는 제2의 뷰 이미지를 인코딩하는 수단으로서, 인코딩은 가상 이미지를 기초로 하는 레퍼런스 이미지를 이용하며, 제2의 뷰 위치는 가상의 뷰 위치와는 다르며, 인코딩은 인코딩된 제2의 뷰 이미지를 생성하는, 인코딩하는 수단을
    포함하는, 장치.
  34. 장치로서,
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지를 액세스하고 제2의 뷰 위치에 대응하는 제2의 뷰 이미지를 인코딩하는 인코딩 유닛으로서, 인코딩은 가상 이미지를 기초로 하는 레퍼런스 이미지를 이용하며, 제2의 뷰 위치는 가상의 뷰 위치와는 다르며, 인코딩은 인코딩된 제2의 뷰 이미지를 생성하는, 인코딩 유닛과,
    제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 증분적으로 합성하는 뷰 합성기로서, 가상 이미지는 제1의 뷰 위치 및 제2의 뷰 위치와는 다른 가상의 뷰 위치에 대한 것인, 뷰 합성기를
    포함하는, 장치.
  35. 장치로서,
    제1의 뷰 위치에 대응하는 제1의 뷰 이미지를 액세스하고 제2의 뷰 위치에 대응하는 제2의 뷰 이미지를 인코딩하는 인코딩 유닛으로서, 인코딩은 가상 이미지를 기초로 하는 레퍼런스 이미지를 이용하며, 제2의 뷰 위치는 가상의 뷰 위치와는 다르며, 인코딩은 인코딩된 제2의 뷰 이미지를 생성하는, 인코딩 유닛과,
    제1의 뷰 위치와 제2의 뷰 위치 사이의 위치에서 제1의 뷰 이미지의 합성을 생성하는 것으로 시작하여, 그 결과를 이용하여 제2의 뷰 위치에 더 가까운 또 다른 이미지를 증분적으로 합성하는, 뷰 합성기로서, 가상 이미지는 제1의 뷰 위치 및 제2의 뷰 위치와는 다른 가상의 뷰 위치에 대한 것인, 뷰 합성기, 및
    인코딩된 제2의 뷰 이미지를 포함하는 신호를 변조하는 변조기(modulator)를
    포함하는, 장치.
KR1020107019737A 2008-03-04 2009-03-03 가상 레퍼런스 뷰 KR101653724B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US6807008P 2008-03-04 2008-03-04
US61/068,070 2008-03-04

Publications (2)

Publication Number Publication Date
KR20100125292A KR20100125292A (ko) 2010-11-30
KR101653724B1 true KR101653724B1 (ko) 2016-09-02

Family

ID=40902110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107019737A KR101653724B1 (ko) 2008-03-04 2009-03-03 가상 레퍼런스 뷰

Country Status (7)

Country Link
US (1) US20110001792A1 (ko)
EP (1) EP2250812A1 (ko)
JP (1) JP5536676B2 (ko)
KR (1) KR101653724B1 (ko)
CN (1) CN102017632B (ko)
BR (1) BRPI0910284A2 (ko)
WO (1) WO2009111007A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
KR101199498B1 (ko) 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US8395642B2 (en) * 2009-03-17 2013-03-12 Mitsubishi Electric Research Laboratories, Inc. Method for virtual image synthesis
US8854428B2 (en) * 2009-03-19 2014-10-07 Lg Electronics, Inc. Method for processing three dimensional (3D) video signal and digital broadcast receiver for performing the method
US8933989B2 (en) * 2009-04-22 2015-01-13 Lg Electronics Inc. Reference picture list changing method of multi-view video
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US10095953B2 (en) 2009-11-11 2018-10-09 Disney Enterprises, Inc. Depth modification for display applications
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US9013547B2 (en) 2010-04-30 2015-04-21 Lg Electronics Inc. Apparatus of processing an image and a method of processing thereof
WO2012026768A2 (en) 2010-08-27 2012-03-01 Samsung Electronics Co., Ltd. Rendering apparatus and method for generating multi-views
US20130250056A1 (en) * 2010-10-06 2013-09-26 Nomad3D Sas Multiview 3d compression format and algorithms
US9094660B2 (en) * 2010-11-11 2015-07-28 Georgia Tech Research Corporation Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
US8849014B2 (en) * 2011-09-06 2014-09-30 Mediatek Inc. Photographic system
US20130100245A1 (en) * 2011-10-25 2013-04-25 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding using virtual view synthesis prediction
KR101945720B1 (ko) 2012-01-10 2019-02-08 삼성전자주식회사 다중 뷰를 활용한 영상복원 시스템에서 가상 뷰 생성 장치 및 방법
CN102571652A (zh) * 2012-01-13 2012-07-11 中国科学院国家授时中心 一种gnss基带信号的评估方法
US20130271567A1 (en) * 2012-04-16 2013-10-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for predicting motion vector and disparity vector
WO2014005297A1 (en) * 2012-07-04 2014-01-09 Intel Corporation Panorama based 3d video coding
KR20140034400A (ko) * 2012-09-11 2014-03-20 삼성전자주식회사 시점간 상관성을 이용한 영상 처리 방법 및 장치
US9571812B2 (en) 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
WO2015141613A1 (ja) * 2014-03-20 2015-09-24 日本電信電話株式会社 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
US10743004B1 (en) * 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10743003B1 (en) * 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
KR102376593B1 (ko) * 2016-09-29 2022-03-21 코닌클리케 필립스 엔.브이. 이미지 처리
EP4131960A1 (en) * 2021-08-06 2023-02-08 Koninklijke Philips N.V. Coding hybrid multi-view sensor configurations

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070109409A1 (en) * 2004-12-17 2007-05-17 Sehoon Yea Method and System for Processing Multiview Videos for View Synthesis using Skip and Direct Modes
JP2007159111A (ja) 2005-11-30 2007-06-21 Mitsubishi Electric Research Laboratories Inc マルチビュービデオを管理する方法及びシステム
KR100731979B1 (ko) 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
WO2008008331A2 (en) 2006-07-11 2008-01-17 Thomson Licensing Methods and apparatus using virtual reference pictures

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP4414379B2 (ja) * 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5054092B2 (ja) * 2006-03-30 2012-10-24 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
RU2443074C2 (ru) * 2006-07-06 2012-02-20 Томсон Лайсенсинг Способ и устройство для отделения номера кадра и/или счетчика очередности изображения (рос) для мультивидового видеокодирования и видеодекодирования
US8613030B2 (en) * 2007-05-28 2013-12-17 Philip S Kossin Transmission of uncompressed video for 3-D and multiview HDTV

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070109409A1 (en) * 2004-12-17 2007-05-17 Sehoon Yea Method and System for Processing Multiview Videos for View Synthesis using Skip and Direct Modes
KR100731979B1 (ko) 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
JP2007159111A (ja) 2005-11-30 2007-06-21 Mitsubishi Electric Research Laboratories Inc マルチビュービデオを管理する方法及びシステム
WO2008008331A2 (en) 2006-07-11 2008-01-17 Thomson Licensing Methods and apparatus using virtual reference pictures

Also Published As

Publication number Publication date
EP2250812A1 (en) 2010-11-17
US20110001792A1 (en) 2011-01-06
JP2011519078A (ja) 2011-06-30
BRPI0910284A2 (pt) 2015-09-29
CN102017632B (zh) 2013-06-12
CN102017632A (zh) 2011-04-13
WO2009111007A1 (en) 2009-09-11
JP5536676B2 (ja) 2014-07-02
KR20100125292A (ko) 2010-11-30

Similar Documents

Publication Publication Date Title
KR101653724B1 (ko) 가상 레퍼런스 뷰
JP5566385B2 (ja) 洗練された奥行きマップ
JP5614901B2 (ja) ３ｄｖの参照ピクチャ・リスト
JP5346076B2 (ja) 奥行きを用いた視点間スキップモード
JP2020188517A (ja) ビデオ符号化及び復号化におけるタイリング
US20110038418A1 (en) Code of depth signal
KR101676059B1 (ko) 비디오 코딩을 위한 프레임 패킹
CN103703777A (zh) 对具有深度范围变化的运动深度图进行译码
KR20130116832A (ko) 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치
CN114600466A (zh) 基于交叉分量滤波的图像编码设备和方法
CN114391252A (zh) 基于自适应环路滤波器的视频或图像编码
CN112262581A (zh) 视频码流中的约束标志指示
CN115023954A (zh) 用于控制环路滤波的图像编码装置和方法
WO2010021664A1 (en) Depth coding
CN115668935A (zh) 基于卷绕运动补偿的图像编码/解码方法和设备及存储比特流的记录介质
WO2024061660A1 (en) Dynamic structures for volumetric data coding
CN115152214A (zh) 基于画面划分的图像编码装置和方法
CN115152237A (zh) 图像编码装置和方法
CN115152238A (zh) 基于滤波的图像编码装置和方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant