KR101506217B1 - 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치 - Google Patents

스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치 Download PDF

Info

Publication number
KR101506217B1
KR101506217B1 KR1020080010320A KR20080010320A KR101506217B1 KR 101506217 B1 KR101506217 B1 KR 101506217B1 KR 1020080010320 A KR1020080010320 A KR 1020080010320A KR 20080010320 A KR20080010320 A KR 20080010320A KR 101506217 B1 KR101506217 B1 KR 101506217B1
Authority
KR
South Korea
Prior art keywords
image data
information
image
stream
format
Prior art date
Application number
KR1020080010320A
Other languages
English (en)
Other versions
KR20090084259A (ko
Inventor
김용태
김재승
김대식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080010320A priority Critical patent/KR101506217B1/ko
Priority to JP2008175831A priority patent/JP5221227B2/ja
Priority to US12/178,707 priority patent/US8259162B2/en
Publication of KR20090084259A publication Critical patent/KR20090084259A/ko
Priority to JP2013045653A priority patent/JP5705250B2/ja
Application granted granted Critical
Publication of KR101506217B1 publication Critical patent/KR101506217B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 스테레오스코픽 영상 데이터스트림 복호화 방법은, 스테레오스코픽 영상 데이터스트림의 영상 데이터 구간 중 모노스코픽 영상 데이터 구간들을 결정하고, 모노스코픽 영상 데이터 구간들의 각각의 표시 시간 정보를 추출하여, 모노스코픽 영상 데이터 구간들의 추출된 표시 시간 정보들이 동일한 충돌 영상 데이터 구간들이 있는 경우, 충돌 영상 데이터 구간들 중 주 스트림의 모노스코픽 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출함으로써, 3차원 영상을 부분적으로 재생하여 스테레오스코픽 영상 시청시 발생할 수 있는 피로도를 낮추며 효과적인 입체감을 전달할 수 있다.
스테레오스코픽 영상, 3차원 영상, 부분적 3차원 영상, 시청 피로도

Description

스테레오스코픽 영상의 부분 데이터 구간 재생을 위한 스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및 스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치{Method and appratus for generating stereoscopic image data stream for temporally partial three dimensional data, and method and apparatus for displaying temporally partial three dimensional data of stereoscopic image}
본 발명은 스테레오스코픽 영상 데이터스트림을 생성하는 방법 및 장치와 상기 스테레오스코픽 영상 데이터스트림을 복호화하는 방법 및 장치에 관한 것으로, 더 상세하게는 부분적 3차원 데이터 구간 및 2차원 데이터 구간을 포함하는 스테레오스코픽 영상에 대한 데이터 구간 별 3차원/2차원 영상에 대한 정보를 나타내는 파라미터가 기록된 스테레오스코픽 영상 데이터스트림을 생성하는 방법 및 장치, 그리고 이러한 파라미터가 기록된 스테레오스코픽 영상 데이터스트림을 복호화하여 영상을 복원하는 방법 및 장치에 관한 것이다.
현재 스테레오스코픽 영상의 전송에 대한 여러 방법들이 제안되어 왔다. MPEG-2 MVP(Muliti-view Video Profile)을 시작으로 MPEG-4 MAC(Multiple Auxiliary Component)를 이용한 깊이 맵 전송 방법, MPEG-4 AVC/H.264의 MVC(Multi-view Video Coding) 등 많은 표준 기술들이 개발되었다. 현재 MAF(Multimedia Application Format)에서 스테레오스코픽 영상에 대한 파일 포맷에 대한 표준을 채택하기 위한 작업이 진행중이다.
도 1는 스테레오스코픽 영상 데이터스트림의 기초 스트림이 2개일 때 시간축 상으로 부분적인 3차원/2차원 영상 구간의 일례를 도시한다.
스테레오스코픽 영상 데이터스트림은 복수 개의 기초스트림을 가질 수 있다. 스테레오스코픽 영상 데이터스트림(100)의 mdat 박스에 두 개의 기초 스트림(110, 120)이 기록되어 있다. 제 1 기초 스트림(110)은 제 1 표시 시간 구간에 좌시점 영상 1(112), 제 2 표시 시간 구간에 단일 시점 영상(114), 제 3 표시 시간 구간에 좌시점 영상 2(116)이 기록되어 있다. 제 2 기초 스트림(120)은 제 1 표시 시간 구간에 우시점 영상 1(122), 제 3 표시 시간 구간에 우시점 영상 2(126)이 기록되어 있다.
도 1의 스테레오스코픽 영상 데이터스트림(100)은 하나의 기초 스트림(110)에만 2차원 영상, 즉 단일 시점 영상 데이터(114)이 기록되고, 다른 기초 스트림(120)에는 스테레오 영상 데이터만이 기록된다.
도 2는 스테레오스코픽 영상 데이터스트림의 기초 스트림이 2개일 때 시간축 상으로 부분적인 3차원/2차원 영상 구간의 다른 예를 도시한다.
도 2의 스테레오스코픽 영상 데이터스트림(200)은 두 개의 기초 스트림(210, 220)이 기록되어 있으며, 기초 스트림들은 모두 스테레오 영상(212, 216, 222, 226) 및 단일 시점 영상(214, 224)의 데이터가 기록되어 있다. 그러나 두 기초 스 트림(210, 220) 각각에 동일한 표시 시간 정보(CT, composition time)를 갖는 단일 시점 영상(214, 224)이 기록되어 있다면, 재생 장치는 어느 기초 스트림의 단일 시점 영상을 재생해야 하는지 알 수 없다.
도 3은 ISO 기반의 미디어 파일 포맷의 기준적인 구조를 도시한다.
ISO 기반의 미디어 파일 포맷은 'ftyp' 박스, 'moov' 박스, 'mdat' 박스를 포함한다.
'ftyp' 박스에는 파일 타입과 호환 포맷에 대한 내용이 포함된다. 호환 타입에 따라 해당 디코더가 영상 데이터를 정상적으로 재생할 수 있다.
'moov' 박스의 각각의 데이터는 'atom'이라는 오브젝트 기반의 구조체로 구성되어 있으며, 프레임률(frame rate), 비트율(bit rate), 영상 사이즈 등의 컨텐츠 정보와 빨리 감기(FF)/빨리 되감기(REW) 등의 재생 기능을 지원하기 위한 'sync' 정보 및 파일을 재생하기 위한 모든 정보가 포함된다.
'mdat' 박스는 각각의 트랙(trak)에 따라 실제 스트림 데이터를 포함하며, 비디오와 오디오 데이터가 각각의 프레임 단위로 저장된다.
따라서 본 발명이 해결하고자 하는 과제는, 스테레오스코픽 영상 데이터스트림의 복수 개의 기초 스트림에 동일한 표시 시간 정보의 단일 시점 영상이 기록된 경우, 자동적으로 재생할 단일 시점 영상이 선택될 수 있도록 스테레오스코픽 영상에 대한 파라미터를 포함하는 스테레오스코픽 영상 데이터스트림을 생성하는 방법 및 장치를 제안하는데 있다.
또한, 수신단에서 상기 스테레오스코픽 영상에 대한 파라미터를 이용하여, 동일한 표시 시간 정보를 갖는 단일 시점 영상들 중 자동적으로 재생할 단일 시점 영상을 선택하여 복호화하는 방법 및 장치를 제안하는데 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법은, 스테레오스코픽 영상의 기준 시점 영상 정보 및 부가 시점 영상 정보를 구비하는 혼합 영상을 구성하는 방법에 대한 스테레오 영상 포맷 정보를 상기 스테레오스코픽 영상 데이터스트림의 헤더 영역에 기록하는 단계; 상기 혼합 영상에서 상기 기준 시점 영상 정보 및 상기 부가 시점 영상 정보가 배치되는 순서에 대한 정보인 배치 순서 정보를 상기 스테레오스코픽 영상 데이터스트림의 헤더 영역에 기록하는 단계; 및 상기 스테레오스코픽 영상에 대한 혼합 영상의 데이터를 상기 스테레오스코픽 영상 데이터스트림의 페이로드 영역에 기록하는 단계를 포함한다.
일 실시예에서, 상기 스테레오스코픽 영상 데이터스트림은 데이터 구간 별로 구분되며, 상기 스테레오 영상 포맷 정보 및 상기 배치 순서 정보는 적어도 하나의 데이터 구간 별로 결정된다.
일 실시예의 상기 스테레오 영상 포맷 정보는, 수직 방향 라인 인터리브드 포맷, 수평 방향 라인 인터리브드 포맷, 탑 다운 포맷, 사이드 바이 사이드 포맷, 필드 시퀀셜 포맷, 프레임 시퀀셜 포맷, 블록 인터리브드 포맷, 변이 맵(disparity map), 깊이 맵(depth map), 변이 및 움직임 맵(disparity and motion map), 단일 기준 시점 영상 포맷(Monoscopic base view image format) 및 단일 부가 시점 영상 포맷(Monoscopic additional view image format) 중 적어도 하나를 포함한다.
일 실시예에서, 상기 혼합 영상의 데이터가 주 기초 스트림 및 부 기초 스트림에 기록되는 경우 상기 배치 순서 정보는, 상기 주 데이터스트림에 상기 혼합 영상의 기준 시점 영상 정보 및 부가 시점 영상 정보 중 어느 시점 영상 정보가 배치되고, 상기 부 데이터스트림에 상기 혼합 영상의 기준 시점 영상 정보 및 부가 시점 영상 정보 중 나머지 시점 영상 정보가 배치되는지 여부를 나타내는 정보이다.
일 실시예의 상기 스테레오스코픽 영상 데이터스트림은 ISO(International Standardization Organization) 기반의 미디어 파일 포맷이다.
일 실시예에서 상기 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 스테레오 영상 포맷 정보 및 상기 배치 순서 정보는, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 기록된다.
상기 해결하고자 하는 과제를 달성하기 위해, 스테레오스코픽 영상 데이터스트림 복호화 방법은, 상기 스테레오스코픽 영상 데이터스트림의 영상 데이터 구간 중 모노스코픽 영상 데이터 구간들을 결정하는 단계; 상기 모노스코픽 영상 데이터 구간들의 각각의 표시 시간 정보를 추출하는 단계; 및 상기 모노스코픽 영상 데이터 구간들의 추출된 표시 시간 정보들이 동일한 충돌 영상 데이터 구간들이 있는 경우, 상기 충돌 영상 데이터 구간들 중 주 스트림의 모노스코픽 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출하는 단계재생 스트림재생 스트림를 포함한다.
일 실시예의 스테레오스코픽 영상 데이터스트림은 상기 주 스트림 및 적어도 하나의 부 스트림을 포함한다.
일 실시예의 상기 모노스코픽 영상 데이터 구간 결정 단계는, 상기 스테레오스코픽 영상 데이터스트림으로부터, 상기 스테레오스코픽 영상 데이터스트림의 적어도 하나의 영상 데이터 구간에 대한 스테레오 영상 포맷 정보를 추출하는 단계; 및 상기 추출된 스테레오 영상 포맷 정보를 이용하여 상기 영상 데이터 구간 중 모노스코픽 영상 데이터 구간을 결정하는 단계를 포함하고, 상기 스테레오 영상 포맷 정보는 상기 스테레오스코픽 영상의 기준 시점 영상 정보 및 부가 시점 영상 정보가 혼합 영상으로 구성되는 방법에 따른 영상 포맷에 대한 정보를 나타낸다.
일 실시예의 상기 모노스코픽 영상 데이터 추출 단계는, 상기 스테레오스코픽 영상 데이터스트림으로부터, 상기 충돌 영상 데이터 구간들에 대한 각각의 배치 순서 정보들을 추출하는 단계; 상기 추출된 배치 순서 정보를 이용하여, 상기 주 스트림 및 상기 부 스트림 중 상기 주 스트림으로 결정된 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출하는 단계를 포함하고, 상기 배치 순서 정보는 적어도 하나의 데이터 구간에 대한 상기 혼합 영상에서 상기 기준 시점 영상 정보 및 상기 부가 시점 영상 정보가 배치되는 순서에 대한 정보를 나타낸다.
일 실시예의 상기 모노스코픽 영상 데이터 구간 결정 단계는, 상기 스테레오스코픽 영상 데이터스트림으로부터, 상기 스테레오스코픽 영상 데이터스트림의 적어도 하나의 영상 데이터 구간에 대한 스테레오 영상 포맷 정보 및 배치 순서 정보를 추출하는 단계; 및 상기 추출된 스테레오 영상 포맷 정보 및 추출된 배치 순서 정보에 따라, 상기 영상 데이터 구간 중 상기 주 스트림의 적어도 하나의 모노스코픽 영상 데이터 구간을 결정하는 단계를 포함하고, 상기 모노스코픽 영상 데이터 추출 단계는, 상기 결정된 주 스트림의 모노스코픽 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출하는 단계를 포함하고, 상기 스테레오 영상 포맷 정보는 상기 스테레오스코픽 영상의 기준 시점 영상 정보 및 부가 시점 영상 정보가 혼합 영상으로 구성되는 방법에 따른 영상 포맷에 대한 정보이고, 상기 배치 순서 정보는 적어도 하나의 데이터 구간에 대한 상기 혼합 영상에서 상기 기준 시점 영상 정보 및 상기 부가 시점 영상 정보가 배치되는 순서에 대한 정보재생 스트림재생 스트림를 나타낸다.
일 실시예의 상기 모노스코픽 영상 데이터 추출 단계는, 상기 재생 스트림으로부터 추출된 영상 데이터를 복원하여 재생하는 단계를 포함한다.
일 실시예의 재생 스트림스테레오스코픽 영상 데이터스트림 복호화 방법은, 상기 스테레오스코픽 영상 데이터스트림의 영상 데이터 중 모노스코픽 영상이 재생될 때 상기 주 스트림 및 부 스트림 중 우선적으로 재생될 우선 재생 스트림을 결정하는 단계를 더 포함한다.
일 실시예의 상기 스테레오 영상 포맷 정보는, 수직 방향 라인 인터리브드 포맷, 수평 방향 라인 인터리브드 포맷, 탑 다운 포맷, 사이드 바이 사이드 포맷, 필드 시퀀셜 포맷, 프레임 시퀀셜 포맷, 블록 인터리브드 포맷, 변이 맵, 깊이 맵, 변이 및 움직임 맵, 단일 기준 시점 영상 포맷 및 단일 부가 시점 영상 포맷 중 적어도 하나를 포함한다.
일 실시예의 상기 스테레오스코픽 영상 데이터스트림은 ISO 기반의 미디어 파일 포맷이다.
일 실시예에서 상기 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고, 상기 스테레오 영상 포맷 정보 및 상기 배치 순서 정보는, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 추출된다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림을 생성하는 장치는, 스테레오스코픽 영상의 기준 시점 영상 정보 및 부가 시점 영상 정보를 구비하는 혼합 영상을 구성하는 방법에 대한 스테레오 영상 포맷 정보를 상기 스테레오스코픽 영상 데이터스트림의 헤더 영역에 기록하는 스테레오 영상 포맷 정보 기록부; 상기 혼합 영상에서 상기 기준 시점 영상 정보 및 상기 부가 시점 영상 정보가 배치되는 순서에 대한 정보인 배치 순서 정보를 상기 스테레오스코픽 영상 데이터스트림의 헤더 영역에 기록하는 배치 순서 정보 기록부; 및 상기 스테레오스코픽 영상에 대한 혼합 영상의 데이터를 상기 스테레오스코픽 영상 데이터스트림의 페이로드 영역에 기록하는 영상 데이터 기록부를 포함한다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림을 복호화하는 장치는, 상기 스테레오스코픽 영상 데이터스트림의 영상 데이터 구간 중 모노스코픽 영상 데이터 구간들을 결정하는 모노스코픽 영상 데이터 구간 결정부; 상기 모노스코픽 영상 데이터 구간들의 각각의 표시 시간 정보를 추출하는 표시 시간 정보 추출부; 및 상기 모노스코픽 영상 데이터 구간들의 추출된 표시 시간 정보들이 동일한 충돌 영상 데이터 구간들이 있는 경우, 상기 충돌 영상 데이터 구간들 중 주 스트림의 모노스코픽 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출하는 충돌 모노스코픽 영상 데이터 추출부를 포함한다.
본 발명은, 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법을 구현하기 위한 컴퓨터로 판독 가능한 기록 매체를 포함한다.
또한 본 발명은, 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 복호화 방법을 구현하기 위한 컴퓨터로 판독 가능한 기록 매체를 포함한다.
본 발명의 스테레오스코픽 영상 데이터스트림 생성 방법 및 장치는, 스테레오스코픽 영상 데이터스트림의 복수 개의 기초 스트림에 동일한 표시 시간 정보의 단일 시점 영상이 기록된 경우, 자동적으로 재생될 단일 시점 영상을 선택하여 복호화할 수 있도록 스테레오스코픽 영상의 혼합 영상 포맷에 대한 정보, 혼합 영상에서 각각의 시점 영상들이 배치된 순서 정보를 포함하는 스테레오스코픽 영상 데이터스트림을 생성할 수 있다.
또한, 수신단에서 상기 스테레오스코픽 영상에 대한 혼합 영상 포맷에 대한 정보 및 혼합 영상 상에서 각각 시점의 영상이 배치된 순서 정보를 이용하여, 단일 시점 영상의 표시 시간이 충돌이 발생하는 경우에도 자동적으로 재생할 단일 시점 영상이 선택되어 복호화될 수 있다.
따라서 본 발명에 따른 스테레오스코픽 영상 데이터스트림 복호화 방법 및 장치에 의하면, 다양한 재생 장치에서 스테레오스코픽 영상이 올바른 시점에서 재생될 수 있고 입체감이 극대화될 수 있다. 또한, 스테레스코픽 영상의 2차원 영상 및 3차원 영상이 부분적으로 재생되므로 오랜 시간 3차원 영상을 시청함으로써 발생될 수 있는 피로감을 낮추며 효과적인 입체감을 전달할 수 있다.
본 발명은 3차원 영상 중 가장 간단한 형태의 스테레오스코픽 영상의 포맷에 관한 기술이며, 3차원 영상의 활용 분야는 현재 사용되고 있는 모든 2차원 부복호화 기기를 포함하므로, 본 발명 기술은 스테레오스코픽 디지털 TV(PDP, LCD, DLP 방식), 스테레오스코픽 PC 모니터, 스테레오스코픽 캠코더, 스테레오스코픽 BD 플레이어 등에 활용될 수 있다.
도 4a 및 도 4b를 참조하여, 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치를 설명한다.
도 4a는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 블록도를 도시한다.
스테레오스코픽 영상 데이터스트림 생성 장치(400)는 3차원 재생 구간 정보 기록부(410), 혼합 영상 구성 정보 기록부(420), 카메라 정보 기록부(430), 시차 정보 기록부(450), 스케일링 정보 기록부(440) 및 영상 기록부(470)를 포함한다.
3차원 재생 구간 정보 기록부(410)는 스테레오스코픽 영상 데이터스트림의 페이로드 영역에 기록된 영상 데이터 중 3차원으로 재생되는 스테레오스코픽 영상 데이터에 대한 3차원 재생 구간 정보를 영상 데이터스트림의 헤더 영역에 기록하여, 영상 기록부(470)로 출력한다.
혼합 영상 구성 정보 기록부(420)는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상을 구성하는 방법 정보를 헤더 영역에 기록하여 영상 기록부(470)로 출력한다.
카메라 정보 기록부(430)는 스테레오스코픽 영상을 획득한 카메라에 대한 카 메라 정보를 헤더 영역에 기록하여 영상 기록부(470)로 출력한다.
스케일링 정보 기록부(440)는 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상으로 구성될 때 사용되는 스케일링 방법 정보를 헤더 영역에 기록하여 영상 기록부(470)로 출력한다.
시차 정보 기록부(450)는 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차(parallax) 정보를 헤더 영역에 기록하여, 영상 기록부(470)로 출력한다.
3차원 재생 구간 정보 기록부(410), 혼합 영상 구성 정보 기록부(420), 카메라 정보 기록부(430), 스케일링 정보 기록부(440) 및 시차 정보 기록부(450)에서 헤더 정보가 스테레오스코픽 영상 데이터스트림의 헤더 영역에 모두 저장된 후, 영상 기록부(470)로 출력된다.
영상 기록부(470)는 영상 데이터를 영상 데이터스트림의 페이로드 영역에 기록하여 스테레오스코픽 영상 데이터스트림을 출력한다.
따라서 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(400)에 의해 생성된 스테레오스코픽 영상 데이터스트림은 페이로드 영역에 영상 데이터를 저장하고, 헤더 영역에 3차원 재생 구간 정보, 혼합 영상 구성 정보, 카메라 정보, 스케일링 정보 기록부, 시차 정보 중 적어도 하나의 헤더 정보를 저장한다.
도 4b는 본 발명의 일 실시예에 따른 혼합 영상 구성 정보 기록부만을 구비하는 스테레오스코픽 영상 데이터스트림 생성 장치의 블록도를 도시한다.
본 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(405)는 혼합 영상 구성 정보 기록부(420) 및 영상 데이터 기록부(470)를 포함하며, 혼합 영상 구성 정보 기록부(420)는 스테레오 영상 포맷 정보 기록부(422) 및 배치 순서 정보 기록부(424)를 포함한다.
스테레오 영상 포맷 정보 기록부(422)는 스테레오스코픽 영상의 기준 시점 영상 정보 및 부가 시점 영상 정보가 혼합 영상으로 구성되는 방법에 따른 영상 포맷에 대한 정보인 스테레오 영상 포맷 정보를 스테레오스코픽 영상 데이터스트림의 헤더 영역에 기록하고, 배치 순서 정보 기록부(424)로 출력한다.
배치 순서 정보 기록부(424)는 스테레오스코픽 영상의 혼합 영상에서 기준 시점 영상 정보 및 부가 시점 영상 정보가 배치되는 순서에 대한 정보인 배치 순서 정보를 스테레오스코픽 영상 데이터스트림의 헤더 영역에 기록하고, 영상 데이터 기록부(470)로 출력한다.
스테레오스코픽 영상 데이터스트림은 데이터 구간으로 구분되며, 스테레오 영상 포맷 정보 및 배치 순서 정보는 적어도 하나의 데이터 구간 별로 설정될 수 있다. 따라서, 모든 데이터 구간에 대해 스테레오 포맷 정보 또는 배치 순서 정보가 통일될 수도 있으며, 복수 개의 데이터 구간 별로 스테레오 포맷 정보 또는 배치 순서 정보가 변할 수도 있다.
일 실시예의 혼합 영상의 데이터가 스테레오스코픽 영상 데이터스트림의 주 기초 스트림 및 부 기초 스트림에 기록되는 경우, 배치 순서 정보는, 주 기초스트림에 혼합 영상의 기준 시점 영상 정보 및 부가 시점 영상 정보 중 어느 시점 영상 정보가 배치는지에 대한 정보를 나타낸다. 즉, 배치 순서 정보에 의해, (i) 주 기초스트림에 기준 시점 영상 정보가 배치되고, 부 기초스트림 정보에 부가 시점 영상 정보가 배치되는 경우, 또는 (ii) 주 기초스트림에 부가 시점 영상 정보가 배치되고, 부 기초스트림에 기준 시점 영상 정보가 배치되는지 경우가 표현된다.
영상 데이터 기록부(470)는 혼합 영상 데이터를 스테레오스코픽 영상 데이터스트림의 페이로드 영역에 기록하여 스테레오스코픽 영상 데이터스트림을 출력한다.
일 실시예의 영상 데이터 기록부(470)는 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 스테레오 영상 포맷 정보 및 배치 순서 정보는, meta 박스의 하위 레벨 박스, moov 박스의 하위 레벨 박스, moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, trak 박스의 하위 레벨 박스 및 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나에 기록한다.
도 5는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 복호화 장치의 블록도를 도시한다.
스트레오스코픽 영상 데이터스트림 복호화 장치(500)는 모노스코픽 영상 데이터 구간 결정부(510), 재생 스트림표시 시간 정보 추출부(520), 및 충돌 모노스코픽 영상 데이터 추출부(530)를 포함한한다.
모노스코픽 영상 데이터 구간 결정부(510)는 스테레오스코픽 영상 데이터스트림을 수신받고, 스테레오스코픽 영상 데이터스트림의 영상 데이터 구간 중 모노스코픽 영상 데이터 구간을 결정하여, 재생 스트림표시 시간 정보 추출부(520)로 출력한다.
일 실시예의 모노스코픽 영상 데이터 구간 결정부(510)는, 스테레오스코픽 영상 데이터스트림으로부터 스테레오스코픽 영상 데이터스트림의 적어도 하나의 데이터 구간에 대한 스테레오 영상 포맷 정보를 추출하는 스테레오 영상 포맷 정보 추출하고, 추출된 스테레오 영상 포맷 정보를 이용하여 영상 데이터 구간 중 모노스코픽 영상 데이터 구간을 결정한다. 즉, 영상 데이터 구간의 스테레오 영상 포맷이 모노스코픽 영상 포맷인 영상 데이터 구간이 검출된다.
재생 스트림표시 시간 정보 추출부(520)는 모노스코픽 영상 데이터 구간들의 각각의 표시 시간 정보를 추출재생 스트림하여, 모노스코픽 영상 데이터 추출부(530)로 출력한다.
표시 시간 정보(Composition Time Stamp, CTS)는 스테레오스코픽 영상 데이터스트림의 영상 데이터가 복원되어 재생될 때, 해당 데이터 구간의 영상 데이터가 재생되는 시간을 나타낸다. 스테레오 영상의 경우 다른 스트림 상의 영상 데이터의 표시 시간 정보가 동일하면, 스테레오 영상 재생 방식에 기초하여 동일 시간대에 각각의 영상 데이터를 모두 표시할 수 있다. 그러나 모노스코픽 영상의 경우 한 스트림 상의 영상 데이터만이 표시되어야 하며, 동일한 표시 시간 정보를 갖는 영상 데이터가 존재하는 경우 충돌이 발생된다.
모노스코픽 영상 데이터 추출부(530)는, 모노스코픽 영상 데이터 구간들 중 표시 시간 정보 추출부(520)으로부터 추출된 표시 시간 정보들이 동일한 충돌 영상 데이터 구간들이 있는 경우, 충돌 영상 데이터 구간들 중 주 스트림의 모노스코픽 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출한다.
일 실시예의 모노스코픽 영상 데이터 추출부(530)는, 모노스코픽 영상 데이터 구간 결정부는, 스테레오스코픽 영상 데이터스트림으로부터 스테레오스코픽 영상 데이터스트림의 적어도 하나의 데이터 구간에 대한 배치 순서 정보를 추출한다. 모노스코픽 영상 데이터 구간 추출부(510)는 추출된 배치 순서 정보를 이용하여 주 스트림 및 부 스트림 중 주 스트림으로 결정된 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출한다.
여기서 스테레오스코픽 영상 데이터스트림 복호화 장치(500)에서의 스테레오 영상 포맷 정보 및 배치 순서 정보는, 스테레오스코픽 영상 데이터스트림 생성 장치(405)에서의 스테레오 영상 포맷 정보 및 배치 순서 정보와 동일하다.
또 다른 실시예의 모노스코픽 영상 데이터 구간 결정부(510)는, 스테레오스코픽 영상 데이터스트림으로부터, 영상 데이터 구간에 대한 스테레오 영상 포맷 정보 및 배치 순서 정보를 추출하고, 스테레오 영상 포맷 정보 및 배치 순서 정보에 따라, 영상 데이터 구간 중 주 스트림의 적어도 하나의 모노스코픽 영상 데이터 구간을 결정한다. 이 때, 모노스코픽 영상 데이터 추출부(530)는, 결정된 주 스트림의 모노스코픽 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출한다.
모노스코픽 영상 데이터 추출부(530)의 다른 실시예는, 우선 재생 스트림으로부터 추출된 영상 데이터를 복원하여 재생한다.
스테레오스코픽 영상 데이터스트림 복호화 장치(500)는 스테레오스코픽 영상 데이터스트림의 영상 데이터 중 모노스코픽 영상이 재생될 때 주 스트림 및 부 스 트림 중 우선적으로 재생될 우선 재생 스트림을 결정하는 우선 재생 스트림 결정부를 더 포함할 수 있다. 재생 스트림사용자로부터 우선 재생 스트림 선택 신호를 입력받는 우선 재생 스트림 선택부가 부가될 수 있고, 충돌 모코스코픽 영상 데이터 추출부(530)는, 스테레오 영상 포맷 정보 및 배치 순서 정보와 관계없이 입력된 우선 재생 스트림 선택 신호에 의해 결정된 우선 재생 스트림으로부터 영상 데이터를 추출할 수도 있다.
본 발명의 일 실시예에서는, 모노스코픽 영상의 재생 시간에 충돌이 발생하는 경우 주 스트림 상의 영상 데이터가 우선적으로 재생되지만, 재생 스트림 선택 신호에 따라 소정의 부 스트림 상의 영상 데이터가 우선적으로 재생될 수도 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치(500)에 수신된 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 스테레오 영상 포맷 정보 및 배치 순서 정보는, meta 박스의 하위 레벨 박스, moov 박스의 하위 레벨 박스, moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, trak 박스의 하위 레벨 박스 및 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 추출된다.
이하, 스테레오스코픽 영상 데이터스트림으로부터 여러가지 헤더 정보를 추출하여 영상을 복원하는 복호화 방법이 서술된다.
스테레오스코픽 영상 데이터스트림 복호화 장치는, 스테레오스코픽 영상 데이터스트림을 수신받는 수신부, 수신된 스테레오스코픽 영상 데이터스트림으로부터 파라미터 정보를 추출하는 파라미터 추출부, 추출된 파라미터 정보를 이용하여 영 상 데이터를 복원하는 영상 복원부를 포함한다.
복호화 장치가 MPEG-4 또는 H.264 규격 기반인 경우, 영상 복원부는 가변 길이 부호 복호기(Variable Length code Decoder) 모듈, 움직임 보상/예측(Motion Compensation/Prediction) 모듈, 주파수 역변환(Inverse Discrete Cosine Transformation) 모듈, 역양자화(Inverse Quantization) 모듈 및 디블로킹(Deblocking) 모듈를 포함할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 스테레오스코픽 영상 데이터스트림의 페이로드 영역에 기록된 영상 데이터 중 3차원으로 재생되는 데이터 구간에 대한 3차원 재생 구간 정보를 추출할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 스테레오 영상 포맷 정보를 추출할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 정보를 추출할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차 정보를 추출할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테 레오스코픽 영상 데이트스트림으로부터 혼합 영상에서의 기준 시점 영상 및 부가 시점 영상의 스케일링 방법에 대한 스케일링 방법 정보를 추출할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 3차원 재생 구간의 개수 정보를 추출할 수 있다.
또한 스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 3차원 재생 구간의 범위 정보를 추출할 수 있다. 3차원 재생 구간의 범위 정보는 페이로드 영역에 기록된 3차원 재생 구간의 시작 프레임의 인덱스를 나타내는 시작 인덱스 정보, 및 3차원 재생 구간의 마지막 프레임의 인덱스를 나타내는 종료 인덱스 정보를 포함할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 스테레오스코픽 영상을 획득한 카메라의 종류에 대한 카메라 종류 정보를 추출할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 파라미터 정보를 전송하는지 여부를 나타내는 카메라 파라미터 전송 정보를 추출할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 파라미터 정보를 추출할 수 있다. 또한, 스테레오스코픽 영상 데이터스 트림 복호화 장치의 파라미터 추출부는, 카메라 파라미터 정보를 전송하는지 여부를 나타내는 카메라 파라미터 전송 정보를 추출하고, 카메라 파라미터 정보는, 카메라 파라미터 전송 정보에 따라 스테레오스코픽 영상 데이터스트림으로부터 추출될 수 있다.
카메라 파라미터로부터 카메라 파라미터 계수의 개수 정보, 기준 시점 카메라 및 부가 시점 카메라 중 각각의 카메라의 회전 정보, 평행 이동 정보, 영상 중심 정보, 초점 길이 정보 및 종횡비 정보 중 적어도 하나가 추출될 수 있다.
카메라 파라미터로부터 기준 시점 카메라의 회전 정보 및 부가 시점 카메라의 회전 정보 중 적어도 하나가 추출될 수 있다.
카메라 파라미터로부터 기준 시점 카메라의 평행 이동 정보 및 부가 시점 카메라의 평행 이동 정보 중 적어도 하나가 추출될 수 있다.
또한 카메라 파라미터로부터 기준 시점 카메라의 초점 길이 정보 및 부가 시점 카메라의 초점 길이 정보 중 적어도 하나가 추출될 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이터스트림으로부터 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 상의 소정 객체에 대한 대표 변이 벡터의 시차 정보를 추출할 수 있다.
대표 변이 벡터의 시차 정보로부터 복수 개의 대표 변이 벡터들 중 최소 변이 벡터값 및 최대 변이 벡터값 중 적어도 어느 하나가 추출될 수 있다. 대표 변이 벡터의 시차 정보로부터, 배경 및 전경의 대표 변이 벡터들 중 최대 벡터값 및 최 소 벡터값 중 적어도 어느 하나가 추출될 수 있다.
대표 변이 벡터의 시차 정보로부터, 각각의 객체의 대표 변이 벡터들 중 최대 벡터값 및 최소 벡터값 중 적어도 어느 하나가 추출될 수 있다.
또한, 대표 변이 벡터의 시차 정보로부터, 변이 맵/깊이 맵의 표현 가능한 대표 벡터들 중 최대 벡터값 및 최소 벡터값 중 적어도 어느 하나가 추출될 수 있다.
대표 변이 벡터의 시차 정보로부터, 대표 변이 벡터의 개수 정보 및 대표 변이 벡터 값 정보가 추출될 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 기준 시점 영상 및 부가 시점 영상의 대한 전역 변이 벡터의 시차 정보를 추출할 수 있다.
전역 변이 벡터의 시차 정보로부터, 페이로드 영역에 기록된 프레임 중 전역 변이 벡터 값의 변화가 있는 영역의 개수 정보, 전역 변이 벡터 값의 변화가 있는 프레임의 인덱스를 나타내는 전역 변이 시작 인덱스 정보 및 전역 변이 벡터 값 정보가 추출될 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 스테레오스코픽 영상 데이트스트림으로부터 기준 시점 영상 및 부가 시점 영상 상의 소정 객체에 대한 시차 정보를 추출할 수 있으며, 시차 정보는 복수 개의 변이 벡터들 중 최소 변이 벡터값 및 최대 변이 벡터값 중 적어도 어느 하나를 나타낸다.
시차 정보는, 배경 및 전경의 대표 변이 벡터들 중 최대 벡터값 및 최소 벡 터값 중 적어도 어느 하나일 수도 있다. 시차 정보는, 각각의 객체의 대표 변이 벡터들 중 최대 벡터값 및 최소 벡터값 중 적어도 어느 하나일 수도 있다. 시차 정보는, 변이 맵/깊이 맵의 표현 가능한 대표 벡터들 중 최대 벡터값 및 최소 벡터값 중 적어도 어느 하나로 표현될 수도 있다. 시차 정보로부터, 대표 변이 벡터의 개수 정보 및 대표 변이 벡터 값 정보가 추출될 수도 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는, 혼합 영상에서 배치 순서 정보를 추출할 수 있다.
스테레오스코픽 영상 데이터스트림 복호화 장치의 파라미터 추출부는 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 스테레오 영상 포맷 정보 및 배치 순서 정보는, meta 박스의 하위 레벨 박스, moov 박스의 하위 레벨 박스, moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, trak 박스의 하위 레벨 박스 및 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 파라미터 정보를 추출할 수 있다.
도 6a 내지 도 9b를 참조하여, 본 발명의 스트레오스코픽 영상 데이터스트림 생성 장치에 의해 생성된 스테레오스코픽 영상 데이터스트림의 헤더 정보에 대해 상세히 설명한다.
도 6a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 3차원 재생 구간 정보의 신택스(syntax)의 일 실시예를 도시한다.
3D_Period는 3차원 재생 구간 정보를 나타낸다. 본 발명의 일 실시예는 3차원 재생 구간 정보를 32비트(u(32))로 나타낸다. 3차원 재생 구간 정보(3D_Period) 는 3차원 재생 구간의 개수 정보(number_of_3D_period), 시작 인덱스 정보(start_position) 및 종료 인덱스 정보(end_position)를 포함한다.
number_of_3D_period는 3차원 재생 구간의 개수 정보, 즉 사용자가 3차원으로 볼 수 있는 영상 데이터 구간의 수를 나타낸다.
start_position은 시작 인덱스 정보로, 영상 데이터스트림의 페이로드 영역에서의 3차원 재생 구간의 시작 프레임이 위치하는 영상 데이터스트림의 페이로드 영역에서의 위치 인덱스를 나타낸다. 본 발명의 일 실시예는 3차원 재생 구간 정보를 32비트(u(32))로 나타낸다.
end_position는 종료 인덱스 정보로, 3차원 재생 구간의 마지막 프레임이 위치하는 영상 데이터스트림의 페이로드 영역에서의 위치 인덱스를 나타낸다. 본 발명의 일 실시예는 3차원 재생 구간 정보를 32비트(u(32))로 나타낸다.
3차원 재생 구간마다 시작 인덱스 정보(start_position) 및 종료 인덱스 정보(end_position)가 필요하므로, i가 정수일 때 0 ≤ i < number_of_3D_period 범위에서 시작 인덱스 정보(start_position[i]) 및 종료 인덱스 정보(end_position[i])가 결정되어야 한다.
일 실시예에서, 3차원 재생 구간이 하나의 기초스트림(elementary stream, ES)으로 구성된 경우, 시작 인덱스 정보(start_position) 및 종료 인덱스 정보(end_position)는 하나의 기초스트림에 대한 인덱스를 나타낸다.
또한 다른 실시예에서, 3차원 재생 구간의 복수 개의 기초스트림(ES)으로 구성된 경우, 시작 인덱스 정보(start_position) 및 종료 인덱스 정보(end_position) 는 복수 개의 기초스트림 중 주(base) 기초스트림에 대한 인덱스를 나타낸다.
도 6b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 혼합 영상 구성 정보의 신택스(syntax)의 일 실시예를 도시한다. 본 발명의 일 실시예는 복수 개의 시점 영상 중 기준 시점 영상(base image) 및 부가 시점 영상(additional image)을 좌측 시점 및 우측 시점으로 선택한다.
혼합 영상 구성 정보(stereoFormat_params)는 스테레오스코픽 영상의 혼합 영상 포맷 종류(Stereo_format_type), 기준 시점 영상 및 부가 시점 영상의 배치 순서(LR_first), 너비 비율(LR_width_ratio), 높이 비율(LR_height_ratio), 스케일링 방법(scaling_method) 및 스케일링 함수(scaling_func)를 포함한다.
Stereo_format_type은 스테레오스코픽 영상의 혼합 영상 포맷 종류로, 복수 개의 시점의 2차원 영상을 이용하여 혼합 영상을 구성하는 방법에 따른 포맷 종류를 나타낸다. 스테레오스코픽 영상의 혼합 영상 포맷은 도 6c를 참조하여 상세히 설명한다. 일 실시예는 혼합 영상 포맷 종류(Stereo_format_type)를 8비트(u(8))로 나타낸다.
도 6c는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 혼합 영상 구성 정보에 사용되는 혼합 영상 구성 포맷의 일 실시예를 도시한다.
Stereo_format_type이 0인 경우 수직 방향 라인 인터리브드 포맷(Vertical line interleaved format)을 나타낸다. 수직 방향 라인 인터리브드 포맷(Vertical line interleaved format)의 일 실시예는 기준 시점 영상 및 부가 시점 영상의 수 직 방향의 라인을 교대로 혼합 영상의 라인에 배치하여 혼합 영상을 구성한다.
Stereo_format_type이 1인 경우 수평 방향 라인 인터리브드 포맷(Horizontal line interleaved format)을 나타낸다. 수평 방향 라인 인터리브드 포맷(Horizontal line interleaved format)의 일 실시예는 기준 시점 영상 및 부가 시점 영상의 수평 방향의 라인을 교대로 혼합 영상의 라인에 배치하여 혼합 영상을 구성한다.
Stereo_format_type이 2인 경우 탑 다운 포맷(top-down format)을 나타낸다. 탑 다운 포맷(top-down format)은 예를 들면, 혼합 영상의 상단과 하단 각각에 해상도가 세로 방향으로 반으로 축소된 기준 시점 영상 및 부가 시점 영상이 배치되어 한 장의 혼합 영상을 구성한다.
Stereo_format_type이 3인 경우 사이드 바이 사이드 포맷(Side by side format)을 나타낸다. 사이드 바이 사이드 포맷(Side by side format)은 예를 들면, 혼합 영상의 좌측 영역과 우측 영역 각각에 각각에 해상도가 가로 방향으로 반으로 축소된 기준 시점 영상 및 부가 시점 영상이 배치되어 한 장의 혼합 영상을 구성한다.
Stereo_format_type이 4인 경우 필드 시퀀셜 포맷(Field sequential format)을 나타낸다. 필드 시퀀셜 포맷(Field sequential format)은 예를 들면, 기준 시점 영상 필드 및 부가 시점 영상 필드가 번갈아 재생부에 표시함으로써 혼합 영상을 구성하는 방식에 따른 영상 포맷이다.
Stereo_format_type이 5인 경우 프레임 시퀀셜 포맷(Frame sequential format)을 나타낸다. 프레임 시퀀셜 포맷(Frame sequential format)은 예를 들면, 기준 시점 영상 프레임 및 부가 시점 영상 프레임이 번갈아 재생부에 표시함으로써 혼합 영상을 구성하는 방식에 따른 영상 포맷이다.
Stereo_format_type이 6인 경우 블록 인터리브드 포맷(Block interleaved format)을 나타낸다. 블록 인터리브드 포맷(Block interleaved format)은 예를 들면, 기준 시점 영상 및 부가 시점 영상이 블록 단위로 번갈아 혼합 영상의 블록에 배치됨으로써 혼합 영상을 구성한다.
Stereo_format_type이 7인 경우 변위 맵(Disparity map)을 나타낸다. 이 포맷에 의하면, 기준 시점 영상과 변위 맵(Disparity map)을 이용하여 혼합 영상을 구성하는 방식에 따른 영상 포맷이다.
Stereo_format_type이 8인 경우 깊이 맵(Depth map)을 나타낸다. 이 포맷에 의하면, 기준 시점 영상과 깊이 맵(Depth map)을 이용하여 혼합 영상이 생성된다.
Stereo_format_type이 9인 경우 변위 및 움직임 맵(Disparity + Motion map)을 나타낸다. 이 포맷에 의하면, 기준 시점 영상과 변위 및 움직임 맵(Disparity + Motion map)을 이용하여 혼합 영상이 생성된다.
Stereo_format_type이 10인 경우 단일 시점 영상(Monoscopic image) 중 좌 시점(Left view) 영상 형식을 나타낸다. 이 포맷에 의하면, 좌 시점 영상 하나의 단시점 영상이 사용된다.
Stereo_format_type이 11인 경우 단일 시점 영상(Monoscopic image) 중 우시점 영상(Right view) 형식을 나타낸다. 이 포맷에 의하면, 우시점 영상 하나의 단 시점 영상이 사용된다.
Stereo_format_type이 12 내지 255인 경우 사용자 지정(User private) 포맷을 나타낸다. 따라서 혼합 영상을 구성하기 위해 사용자가 지정하는 영상 포맷이 이용된다.
LR_first는 기준 시점 영상 및 부가 시점 영상의 배치 순서 정보에 대한 파라미터로, 예를 들면 좌우 영상의 배치 방법에 대한 정보를 나타낸다. 도 6d를 참조하여 좌우 영상의 배치 방법 정보를 상세히 설명한다. 본 발명의 일 실시예는 LR_first를 한 비트(u(1))로 나타낸다.
도 6d는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 혼합 영상 구성 정보에 사용되는 기준 시점 영상 및 부가 시점 영상의 배치 방법의 일 실시예을 도시한다.
LR_first가 0인 경우 좌측 영상이 기준 시점 영상이며, 좌측 영상의 영상 데이터가 수직 방향 라인 인터리브드 포맷에서의 홀수 번째 라인, 수평 방향 라인 인터리브드 포맷에서의 홀수 번째 라인, 탑 다운 포맷에서의 상단, 사이드 바이 사이드 포맷에서의 좌측 영역, 필드 시퀀셜 포맷에서의 홀수 번째 필드, 프레임 시퀀셜 포맷에서의 홀수 번째 프레임 및 블록 인터리비드 포맷에서의 홀수 번째 블록에 배치된다. 두 개의 기초 스트림으로 구성된 스테레오스코픽 영상 데이터스트림의 경우, LR_first가 0인 경우이라면 좌측 영상이 메인 미디어(main media), 즉 주 기초스트림의 데이터로 결정되며, 우측 영상이 서브 미디어(sub media), 즉 부 기초스트림의 데이터로 결정된다. 마찬가지로 우측 영상은 부가 시점 영상이 되어, 전술 한 각 혼합 영상 포맷에서 좌측 영상의 배치 영역의 반대 영역에 배치된다.
LR_first가 1인 경우 우측 영상이 기준 시점 영상이며, 우측 영상 및 좌측 영상의 배치가 전술한 LR_first가 0인 경우와 정반대가 된다.
LR_width_ratio는 기준 시점 영상 및 부가 시점 영상의 너비 비율에 대한 파라미터로, 혼합 영상 포맷이 사이드 바이 사이드 포맷 또는 탑 다운 포맷인 경우 기준 시점 및 부가 시점 영상의 폭의 비율을 조절하는 파라미터이다. 본 발명의 일 실시예는 LR_width_ratio를 32비트(u(32))로 나타낸다. LR_width_ratio는 수학식 1과 같이 계산된다.
LR_width_ratio = widthbase / widthadditional
LR_height_ratio는 기준 시점 영상 및 부가 시점 영상의 높이 비율에 대한 파라미터로, 혼합 영상 포맷이 사이드 바이 사이드 포맷 또는 탑 다운 포맷인 경우 기준 시점 및 부가 시점 영상의 높이의 비율을 조절하는 파라미터이다. 본 발명의 일 실시예는 LR_height_ratio를 32비트(u(32))로 나타낸다. LR_height_ratio는 수학식 2과 같이 계산된다.
LR_height_ratio = heightbase / heightadditional
scaling_method는 스케일링 방법 파라미터로, 기초스트림이 하나인 경우 좌우 영상을 조합할 때 발생하는 스케일링 과정에서의 스케일링 방법을 나타낸다. 스 케일링 방법을 전송해야 복호화단에서 좌우 영상을 정확히 복원할 수 있다. 이 파라미터에 의해 정의되는 스케일링 방법은 도 9a을 참조하여 설명한다. 일 실시예의 스케일링 방법 파라미터(scaling_method)는 8비트(u(8))로 나타낸다.
도 7a는 본 발명의 일 실시예에 따른 스테레오 영상 포맷 정보 및 배치 순서 정보를 가지고 있는 스테레오스코픽 영상 데이터스트림에서, 두 기초 스트림의 모노스코픽 데이터 구간들이 충돌이 발생하지 않는 경우를 도시한다.
도 7b는 도 7a의 스테레오스코픽 영상 데이터스트림의 두 기초 스트림의 표시 구간 정보 테이블을 도시한다.
도 7a 및 도 7b에서는 주 기초스트림으로 기초 스트림 1(730)이, 부 기초스트림으로 기초 스트림 2(740)가 사용된다.
스테레오스코픽 영상 데이터스트림(700)은 'moov' 박스(710)에 각각의 트랙이 가리키는 영상 데이터스트림에 대한 각각의 파라미터 정보를 포함하고 있다. 'mdat' 박스(720)는 영상 데이터가 기록된 기초 스트림 1(730) 및 기초 스트림 2(740)이 기록되어 있다. 즉, 'moov' 박스에는 트랙 1이 가리키는 기초 스트림 1(730)에 기록된 영상 데이터에 대한 스테레오 영상 포맷 정보(712) 및 배치 순서 정보(714), 및 트랙 2이 가리키는 기초 스트림 2(740)에 기록된 영상 데이터에 대한 스테레오 영상 포맷 정보(716) 및 배치 순서 정보(718)를 포함하고 있다.
기초 스트림 1(730)는 데이터 구간 1(732), 데이터 구간 2(734) 및 데이터 구간 3(736)를 포함하고 있으며, 기초 스트림 2(740)는 데이터 구간 1(742), 데이터 구간 2(744) 및 데이터 구간 3(746)를 포함하고 있다. 데이터 구간의 상측 번호 는 프레임 번호를 나타내며, 하측 번호는 표시 시간 정보(CTS)를 나타낸다.
ISO 기반의 미디어 파일 포맷에서는 'ctts'라는 표시 시간 정보(Composition Time, CT)를 저장하는 박스가 존재한다. 표시 시간 정보는 해당 프레임이 언제 재생되는지를 나타낸다. 'ctts' 박스의 표시 시간 정보(CTS)를 이용하여 별도의 프로세스 없이 디코더가 각각 프레임을 원하는 시간에 재생할 수 있다.
각각의 데이터 구간 1(732, 742)은 프레임 번호 1부터 300까지의 영상 데이터를, 각각의 데이터 구간 2(734, 744)은 프레임 번호 301 부터 500까지의 영상 데이터를, 또한 각각의 데이터 구간 3(736, 746)은 프레임 번호 501부터 800까지의 영상 데이터를 포함하고 있다.
도 7a 및 도 7b를 참조하면 현재 데이터 구간인 데이터 구간 734 및 데이터 구간 744는 표시 시간 정보(CTS)가 겹치지 않는다. 즉, 데이터 구간 734의 표시 시간 정보(CTS)는 3010부터 5000까지이며, 데이터 구간 744의 표시 시간 정보(CTS)는 5001부터 7000까지이므로 표시 시간 정보(CTS)이 충돌되지 않는다. 따라서 이러한 경우는 스테레오스코픽 영상 데이터스트림 복호화 장치(500)의 모노스코픽 영상 데이터 구간 결정부(510) 및 충돌 모노스코픽 영상 데이터 추출부(530)가 재생할 데이터 구간을 결정할 필요가 없다.
도 8a는 본 발명의 일 실시예에 따른 스테레오 영상 포맷 정보 및 배치 순서 정보를 가지고 있는 스테레오스코픽 영상 데이터스트림에서, 두 기초 스트림의 모노스코픽 데이터 구간들이 충돌이 발생하는 경우를 도시한다.
도 8b는 도 8a의 스테레오스코픽 영상 데이터스트림의 두 기초 스트림의 표 시 구간 정보 테이블을 도시한다.
도 8a 및 도 8b에서는 주 기초스트림으로 기초 스트림 1(830)이, 부 기초스트림으로 기초 스트림 2(840)가 사용된다.
스테레오스코픽 영상 데이터스트림(800)은 'moov' 박스(810)에는 트랙 1이 가리키는 'mdat' 박스(820)의 기초 스트림 1(830)에 기록된 영상 데이터에 대한 스테레오 영상 포맷 정보(812) 및 배치 순서 정보(814), 및 트랙 2이 가리키는 'mdat' 박스(820)의 기초 스트림 2(840)에 기록된 영상 데이터에 대한 스테레오 영상 포맷 정보(816) 및 배치 순서 정보(818)를 포함하고 있다.
도 8a 및 도 8b를 참조하면, 현재 데이터 구간인 기초 스트림 1(830)의 데이터 구간 2(834) 및 기초 스트림 2(840)의 데이터 구간 2(844)의 표시 시간 정보(CTS)가 동일하므로, 데이터 구간 834 및 844가 모노스코픽 영상 데이터 구간이라면 양 데이터 구간(834, 844)의 재생시 어느 데이터 구간을 재생해야 할지 결정되지 않아 충돌의 우려가 있다.
따라서, 스테레오스코픽 영상 데이터스트림 복호화 장치(500)의 모노스코픽 영상 데이터 구간 결정부(510)는 기초 스트림들(830, 840)의 데이터 구간 중 모노스코픽 영상 데이터 구간을 검색한다. 모노스코픽 영상 데이터 구간 결정부(510)는 모노스코픽 영상 데이터 구간을 검색하기 위해, 'moov' 박스의 스테레오 영상 포맷 정보(812, 816)를 이용한다.
또한, 충돌이 일어나는 경우 어느 기초 스트림들(830, 840) 중 어느 기초 스트림을 재생해야 할지 결정하기 위해, 모노스코픽 영상 데이터 추출부(530)는 'moov' 박스의 배치 순서 정보(814, 818)를 이용한다.
마찬가지로, 모노스코픽 영상 데이터 구간 중 상기 우선 재생 스트림의 영상 데이터 구간을 결정하기 위해, 모노스코픽 영상 데이터 추출부(530)는 'moov' 박스의 스테레오 영상 포맷 정보(812, 816) 및 배치 순서 정보(814, 818)를 모두 이용한다.
도 8a를 예를 들면, 현재 데이터 구간이 데이터 구간 2(834, 844)일 때, 기초 스트림 1(830)의 파라미터들은 스테레오 포맷 영상 정보(812)가 '10'이므로 도 6c의 정의에 따르면 기초 스트림 1의 데이터 구간 2(834)에는 단일 좌시점 영상이 기록되어 있다. 또한 배치 순서 정보(814)는 '0'이므로 도 6d의 정의에 따르면 좌시점 영상이 기초 스트림 1, 즉 주 기초스트림이 된다.
또한 기초 스트림 2(840)의 파라미터들은 스테레오 포맷 영상 정보(816)가 '11'이므로 도 6c의 정의에 따르면 기초 스트림 2의 데이터 구간 2(844)에는 단일 우시점 영상이 기록되어 있다. 또한, 배치 순서 정보(818)는 '0'이므로 도 6d의 정의에 따르면 우시점 영상이 부 기초스트림이 된다.
우선 재생 스트림 결정부는 표시 시간 정보 상에 충돌이 발생하는 경우, 주 기초스트림(메인 미디어) 및 부 기초스트림(서브 미디어) 중 어느 스트림을 재생할지를 결정한다. 예를 들어, 우선 재생 스트림 결정부에 의해 주 기초스트림(메인 미디어)을 재생하는 것으로 결정되면, 데이터 구간 834와 데이터 구간 844의 충돌시 기초 스트림 1(주 기초스트림)의 데이터 구간 834가 재생('on')된다. 따라서, 표시 시간 3010부터 5000까지는 데이터 구간 834의 영상 데이터가 우선시되며 재생 된다.
전술했듯이, 우선 재생 스트림 결정부는 스테레오 영상 포맷 정보(812, 816) 및 배치 순서 정보(814, 818)와 관계 없이, 사용자 입력에 따라 원하는 데이터스트림을 결정할 수 있다. 예를 들어, 사용자가 무조건 모노스코픽 영상 데이터 구간에서 표시 시간 정보의 충돌이 발생하는 경우, 기초 스트림 2의 데이터를 재생하도록 우선 재생 스트림 선택 신호를 입력했다면, 모노스코픽 영상 데이터 추출부(530)는 충돌 발생시 기초 스트림 2의 모노스코픽 영상 데이터를 추출한다.
도 9a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 스케일링 방법 정보(scaling_method)에 사용되는 스케일링 함수의 일 실시예를 도시한다.
스케일링 방법 파라미터 값(scaling_method)이 0인 경우, 스테레오스코픽 영상은 샘플링 방식(Sampling method)으로 스케일링 되었음을 나타낸다. 샘플링 방식(Sampling method)은 단시점 영상에서 소정 주기의 화소가 추출되어 스케일링되는 방식이다.
스케일링 방법 파라미터 값(scaling_method)이 1인 경우, 스테레오스코픽 영상은 선형 방식(Linear method)으로 스케일링 되었음을 나타낸다. 선형 방식(Linear method)은 단시점 영상에서 적어도 하나 이상의 화소값을 이용한 선형식을 통해 계산된 화소값으로 혼합 영상의 화소를 구성한다.
스케일링 방법 파라미터 값(scaling_method)이 2인 경우, 스테레오스코픽 영상은 큐빅 컨벌루션 방식(Cubic convolution)으로 스케일링 되었음을 나타낸다. 큐 빅 컨벌루션 방식(Cubic convolution)은 현재 화소를 둘러싸고 있는 16개의 주위 화소에 대한 거리를 고려하여 연산된 평균값을 이용해 혼합 영상의 화소를 구성한다.
스케일링 방법 파라미터 값(scaling_method)이 3 내지 255인 경우, 스테레오스코픽 영상은 사용자가 설정한(User private) 스케일링 함수로 스케일링 되었음을 나타낸다.
도 9b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 스케일링 방법 정보(scaling_method)의 신택스(syntax)의 일 실시예를 도시한다.
scaling_func는 스케일링 방법 파라미터(scaling_method)가 3 이상인 경우 사용자에 의해 설정되는 스케일링 함수이다. 본 발명의 일 실시예는 스케일링 함수를 설정하기 위해 가로 방향, 세로 방향의 2차원 스케일링 함수 계수가 필요하다.
number_of_hor_coeff는 사용자가 설정한 스케일링 함수의 가로 방향 계수의 개수를 나타낸다. 일 실시예는 number_of_hor_coeff를 8비트로 나타낸다.
hor_scaling_coeff는 사용자가 설정한 스케일링 함수의 가로 방향 계수값을 나타낸다. 계수값은 number_of_hor_coeff의 수만큼 필요하므로, i가 정수일 때 0 ≤ i < number_of_hor_coeff 범위에서 hor_scaling_coeff[i]가 설정되어야 한다. 일 실시예는 hor_scaling_coeff[i]를 32비트로 나타낸다.
yhor[i]가 스케일된 영상의 가로 방향 화소값, xhor[i]가 원 영상의 가로 방향 화소값, hhor[i]는 사용자 설정의 스케일링 함수의 가로 방향 계수값을 나타낼 때, yhor[i], xhor[i] 및 hhor[i]의 관계식은 다음과 같다.
yhor[i] = xhor[i] * hhor[i]
여기서 *는 컨벌루션 연산 기호를 나타낸다.
number_of_ver_coeff는 사용자가 설정한 스케일링 함수의 세로 방향 계수의 개수를 나타낸다. 일 실시예는 number_of_ver_coeff를 8비트로 나타낸다.
ver_scaling_coeff는 사용자가 설정한 스케일링 함수의 세로 방향 계수값을 나타낸다. 계수값은 number_of_ver_coeff만큼 필요하므로, i가 정수일 때 0 ≤ i < number_of_ver_coeff 범위에서 ver_scaling_coeff[i]가 설정되어야 한다. 일 실시예는 ver_scaling_coeff[i]를 32비트로 나타낸다.
yver[i]가 스케일된 영상의 세로 방향 화소값, xver[i]가 원 영상의 세로 방향 화소값, hver[i]는 사용자 설정의 스케일링 함수의 세로 방향 계수값을 나타낼 때, yver[i], xver[i] 및 hver[i]의 관계식은 다음과 같다.
yver[i] = xver[i] * hver[i]
마찬가지로, 여기서 *는 컨벌루션 연산 기호를 나타낸다.
도 9c는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생 성 장치를 위한 카메라 정보의 신택스(syntax)의 일 실시예를 도시한다.
camera_distance는 스테레오스코픽 카메라 사이의 간격을 나타낸다. 일 실시예의 camera_distance는 32비트로 표시된다.
view_type은 스테레오스코픽 영상이 크로스드 아이(crossed-eye) 시점 또는 패러럴 아이(parallel-eye) 시점 등의 시점 종류를 나타낸다. 일 실시예의 view_type은 8비트로 표시된다.
View_distance_vs_depth는 시거리(viewing distance) 대 유효깊이(use/validity depth) 비율을 나타낸다. 일 실시예에서, View_distance_vs_depth는 32비트로 표시된다.
camera_type은 스테레오스코픽 영상을 획득할 때 사용된 카메라 타입을 나타내는 카메라 종류 파라미터이다. 일 실시예의 camera_type은 8비트로 표시된다.
is_camera_params은 카메라 파라미터 전송 여부 정보에 관한 파라미터로, 0이 아닌 경우 기준 시점 및 부가 시점 카메라의 파라미터(Camera_params)를 전송하게 된다. 일 실시예의 is_camera_params는 1비트로 표시된다.
is_parallel_info은 시차 정보(Parallax_info) 전송 여부를 나타낸다. 0이 아닌 경우 시차 정보를 전송하게 된다. 일 실시예의 is_parallax_info는 1비트로 표시된다.
도 9d는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 카메라 정보에 사용되는 카메라 파라미터 정보의 신택스(syntax)의 일 실시예를 도시한다. 본 실시예는 기준 시점 및 부가 시점의 예시로써에 좌측 시 점 및 우측 시점을 이용하였다.
카메라 파라미터 정보(Camera_params)는 카메라 파라미터 계수의 개수(number_of_camera_params), 좌측 및 우측 카메라의 파라미터(Left_camera_params, Right_camera_params)를 포함한다.
number_of_camera_params는 카메라 파라미터 계수의 개수로써, 일 실시예의 number_of_camera_params는 8비트로 표시된다.
Left_camera_params는 좌측 카메라의 파라미터를 나타낸다. Left_camera_params는 좌측 시점 카메라의 회전(rotation) 정보, 평행 이동(translation) 정보 및 영상 중심(image center), 초점 거리(focal length), 종횡비(aspect ratio) 등의 고유 성질에 관한 파라미터가 포함된다. 일 실시예의 Left_camera_params는 32비트로 표시된다.
Right_camera_params는 우측 시점 카메라의 파라미터를 나타낸다. Right_camera_params는 우측 시점 카메라의 회전 정보, 평행 이동 정보 및 영상 중심, 초점 거리, 종횡비 등의 고유 성질에 관한 파라미터가 포함된다. 일 실시예의 Right_camera_params는 32비트로 표시된다.
도 9e는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 시차 정보(Parallex_info)의 신택스(syntax)의 일 실시예를 도시한다.
시차 정보(Parallex_info)는 스테레오스코픽 영상 전체에 대해 발생한 변이를 의미하는 전역 변이 및 스테레오스코픽 영상의 소정의 객체에 대해 발생한 대표 변이 벡터에 대한 시차 정보를 포함한다. 대표 변이 벡터의 대상이 되는 벡터는 복수 개의 변이 벡터들 중 최소값의 벡터값을 갖는 변이 벡터 및 최대값의 벡터값을 갖는 변이 벡터가 있다. 또한 대표 변이의 대상이 되는 소정의 객체는 배경, 전경 및 개별적인 각각의 객체를 포함한다.
시차 정보(Parallex_info)는 전역 변이 벡터의 개수 정보(num_of_global_disparity), 전역 변이 시작 인덱스 정보(global_disparity_index), 전역 변이 벡터값(global_disparity), 대표 변이 벡터의 개수 정보(num_of_representative_disparity) 및 전역 변이 벡터값(representative_disparity)를 포함한다.
num_of_global_disparity는 페이로드 영역에 기록된 프레임 중 전역 변이 정보가 바뀐 회수를 나타낸다. 일 실시예의 num_of_global_disparity는 32비트로 표시된다.
global_disparity_index는 전역 벡터가 발생한 프레임 중 전역 변이가 발생하기 시작한 프레임의 인덱스를 나타낸다. 일 실시예의 global_disparity_index는 32비트로 표시된다.
global_disparity는 전역 변이의 벡터값을 나타낸다. 일 실시예의 global_disparity는 16비트로 표시된다.
i는 정수이며, 0 ≤ i < num_of_global_disparity의 범위를 가질 때, global_disparity_index[i] 와 global_disparity_index[i+1]번째 프레임들 사이의 전역 변이는 global_disparity[i]의 값을 갖는다.
num_of_representative_disparity는 대표 변이의 개수 정보를 나타낸다. 일 실시예의 num_of_representative_disparity는 8비트로 표시된다.
representative_disparity는 대표 변이의 벡터값을 나타낸다. 일 실시예의 representative_disparity는 16비트로 표시된다.
i는 정수이며, 0 ≤ i < num_of_representative_disparity의 범위를 가질 때, representative_disparity[i]는 대표 변이 값을 갖는다. 이에 해당하는 정보는 변이 벡터의 최소값, 최대값, 대표 객체의 변이 벡터 정보, 변이/깊이 벡터 맵이 표현할 수 있는 최대 최소값들을 나타낸다.
도 10는 본 발명의 바람직한 실시예에 따른 스트레오스코픽 영상 데이터스트림의 헤더 영역의 일 실시예를 도시한다.
본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치(400, 405)에 의해 생성된 스테레오스코픽 영상 데이터스트림의 헤더 영역에는 3차원 재생 정보 영역(1010), 혼합 영상 구성 정보 영역(1030) 및 카메라 정보 영역(1050)를 포함한다.
3차원 재생 정보 영역(3D period, 1010)은 3차원 재생 구간의 개수 정보(number_of_3D_period,1011), 시작 인덱스(start_position, 1012) 및 종료 인덱스(end_position, 1013)을 포함한다.
혼합 영상 구성 정보 영역(Stereoscopic format,1030)은 스테레오스코픽 영상의 포맷 종류(Stereo_format_type,1031), 기준 시점 영상 및 부가 시점 영상의 배치 순서 정보(LR_first, 1032), 기준 시점 영상 및 부가 시점 영상의 너비 비율 에 대한 파라미터(LR_width_ratio, 1033), 기준 시점 영상 및 부가 시점 영상의 높이 비율에 대한 파라미터(LR_height_ratio, 1034), 스케일링 방법(scaling_method,1035), 스케일링 함수의 가로 방향 계수의 개수(number_of_hor_coeff, 1036), 스케일링 함수의 가로 방향 계수값(hor_scaling_coeff[i], 1037), 스케일링 함수의 세로 방향 계수의 개수(number_of_ver_coeff[i], 1038), 스케일링 함수의 세로 방향 계수값(ver_scaling_coeff[i], 1039)를 포함한다.
카메라 정보 영역(Stereoscopic camera, 1050)는 스테레오스코픽 카메라 사이의 간격(camera_distance, 1051), 스테레오스코픽 영상의 시점 종류(view_type, 1052), 시거리 대 유효깊이 비율(View_distance_vs_depth, 1053), 스테레오스코픽 영상 획득시 사용된 카메라 타입(camera_type, 1054), 카메라 파라미터 전송 정보(is_camera_params, 1055), 카메라 파라미터 계수의 개수(number_of_camera_params, 1056), 좌측 카메라의 파라미터(Left_camera_params, 1057) 및 우측 카메라의 파라미터(Right_camera_params, 1058)를 포함한다.
또한, 카메라 정보 영역(Stereoscopic camera, 1050)는 시차 정보 전송 정보(is_parallel_info, 1059) , 전역 변이 벡터의 개수 정보(num_of_global_disparity, 1060), 전역 변이 시작 인덱스 정보(global_disparity_index[i], 1061), 전역 변이 벡터값(global_disparity[i], 1062), 대표 변이 벡터의 개수 정보(num_of_representative_disparity, 1063) 및 대표 변이 벡터값(representative_disparity[i], 1064)를 포함한다.
도 11a는 본 발명의 바람직한 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 흐름도를 도시한다.
단계 1110에서, 영상 데이터스트림의 페이로드 영역에 기록될 영상 데이터 중 3차원으로 재생되는 스테레오스코픽 영상 데이터에 대한 3차원 재생 구간 정보가 영상 데이터스트림의 헤더 영역에 기록된다.
단계 1120에서, 기준 시점 영상 및 부가 시점 영상의 정보를 구비하는 혼합 영상으로 구성될 때 사용되는 스케일링 방법 정보가 헤더 영역에 기록된다.
단계 1130에서, 스테레오스코픽 영상을 획득한 카메라에 대한 카메라 정보가 헤더 영역에 기록된다.
단계 1140에서, 기준 시점 영상 및 부가 시점 영상을 이용하여 혼합 영상을 구성하는 방법에 대한 혼합 영상 구성 정보가 헤더 영역에 기록된다.
단계 1150에서, 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상 사이의 시차 정보가 헤더 영역에 기록된다.
단계 1170에서, 혼합 영상 데이터가 영상 데이터스트림의 페이로드 영역에 기록된다.
도 11b는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법 중 혼합 영상 구성 정보 기록 단계만을 포함하는 흐름도를 도시한다.
단계 1122에서, 스테레오스코픽 영상의 기준 시점 영상 정보 및 부가 시점 영상 정보를 구비하는 혼합 영상을 구성하는 방법에 대한 스테레오 영상 포맷 정보 가 스테레오스코픽 영상 데이터스트림의 헤더 영역에 기록된다.
단계 1124에서, 혼합 영상에서 기준 시점 영상 정보 및 부가 시점 영상 정보가 배치되는 순서에 대한 정보인 배치 순서 정보가 스테레오스코픽 영상 데이터스트림의 헤더 영역에 기록된다.
단계 1170에서, 스테레오스코픽 영상에 대한 혼합 영상의 데이터가 스테레오스코픽 영상 데이터스트림의 페이로드 영역에 기록된다.
도 12는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 복호화 방법의 흐름도를 도시한다.단계 1210에서, 스테레오스코픽 영상 데이터스트림의 영상 데이터 구간 중 모노스코픽 영상 데이터 구간들이 결정된다. 스테레오스코픽 영상 데이터스트림은 주 스트림 및 적어도 하나의 부 스트림을 포함할 수 있다. 주 스트림 및 부 스트림 중 각각의 스트림 상의 영상 데이터 구간들 중 모노스코픽 영상 데이터 구간들이 결정된다. 모노스코픽 영상 포맷인지 여부는 영상 데이터 구간의 스테레오 영상 포맷 정보로부터 확인될 수 있다.
단계 1220에서, 모노스코픽 영상 데이터 구간들의 각각의 표시 시간 정보가 추출된다.
단계 1230에서, 모노스코픽 영상 데이터 구간들의 추출된 표시 시간 정보들이 동일한 충돌 영상 데이터 구간들이 있는 경우, 충돌 영상 데이터 구간들 중 주 스트림의 모노스코픽 영상 데이터 구간으로부터 모노스코픽 영상 데이터가 추출된다. 현재 영상 데이터 구간이 주 스트림의 영상 데이터 구간인지 여부는 영상 데이터 구간의 배치 순서 정보로부터 확인될 수 있다. 추출된 모노스코픽 영상 데이터 는 모노스코픽 영상으로 복원되어 재생될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1는 스테레오스코픽 영상 데이터스트림의 기초 스트림이 2개일 때 시간축 상으로 부분적인 3차원/2차원 영상 구간의 일례를 도시한다.
도 2는 스테레오스코픽 영상 데이터스트림의 기초 스트림이 2개일 때 시간축 상으로 부분적인 3차원/2차원 영상 구간의 다른 예를 도시한다.
도 3은 ISO 기반의 미디어 파일 포맷의 기준적인 구조를 도시한다.
도 4a는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 장치의 블록도를 도시한다.
도 4b는 본 발명의 일 실시예에 따른 혼합 영상 구성 정보 기록부만을 구비하는 스테레오스코픽 영상 데이터스트림 생성 장치의 블록도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 복호화 장치의 블록도를 도시한다.
도 6a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 3차원 재생 구간 정보의 신택스(syntax)의 일 실시예를 도시한다..
도 6b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 혼합 영상 구성 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 6c는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 혼합 영상 구성 정보에 사용되는 스테레오 영상 구성 포맷의 일 실시예를 도시한다.
도 6d는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생 성 장치를 위한 혼합 영상 구성 정보에 사용되는 기준 시점 영상 및 부가 시점 영상의 배치 방법의 일 실시예를 도시한다.
도 7a는 본 발명의 일 실시예에 따른 스테레오 영상 포맷 정보 및 배치 순서 정보를 가지고 있는 스테레오스코픽 영상 데이터스트림에서, 두 기초 스트림의 모노스코픽 데이터 구간들이 충돌이 발생하지 않는 경우를 도시한다.
도 7b는 도 7a의 스테레오스코픽 영상 데이터스트림의 두 기초 스트림의 표시 구간 정보 테이블을 도시한다.
도 8a는 본 발명의 일 실시예에 따른 스테레오 영상 포맷 정보 및 배치 순서 정보를 가지고 있는 스테레오스코픽 영상 데이터스트림에서, 두 기초 스트림의 모노스코픽 데이터 구간들이 충돌이 발생하는 경우를 도시한다.
도 8b는 도 8a의 스테레오스코픽 영상 데이터스트림의 두 기초 스트림의 표시 구간 정보 테이블을 도시한다.
도 9a는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 스케일링 방법 정보에 사용되는 스케일링 함수의 일 실시예를 도시한다.
도 9b는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 스케일링 방법 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 9c는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 카메라 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 9d는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생 성 장치를 위한 카메라 정보에 사용되는 카메라 파라미터 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 9e는 본 발명의 일 실시예에 따른 스트레오스코픽 영상 데이터스트림 생성 장치를 위한 시차 정보의 신택스(syntax)의 일 실시예를 도시한다.
도 10는 본 발명의 바람직한 실시예에 따른 스트레오스코픽 영상 데이터스트림의 헤더 영역의 일 실시예를 도시한다.
도 11a는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법의 흐름도를 도시한다.
도 11b는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 생성 방법 중 혼합 영상 구성 정보 기록 단계만을 포함하는 흐름도를 도시한다.
도 12는 본 발명의 일 실시예에 따른 스테레오스코픽 영상 데이터스트림 복호화 방법의 흐름도를 도시한다.

Claims (19)

  1. 주 스트림 및 부 스트림을 포함하는 스테레오스코픽 영상 데이터스트림을 복호화하는 방법에 있어서,
    상기 주 스트림 및 상기 부 스트림 각각으로부터 모노스코픽 영상 데이터 구간들의 표시 시간 정보(Composition Time Stamp, CTS)를 추출하는 단계;
    상기 모노스코픽 영상 데이터 구간들이 동일한 표시 시간 정보를 갖는 경우, 상기 주 스트림 및 상기 부 스트림을 포함하는 스트림들 중 어떠한 스트림이 기준 시점 영상들을 포함하는 주 스트림인지 결정하는 단계; 및
    상기 결정된 주 스트림의 적어도 하나의 모노스코픽 영상 데이터 구간으로부터 추출된 모노스코픽 영상 데이터를 재생하는 단계를 포함하고,
    상기 주 스트림 및 상기 부 스트림 각각은 적어도 하나의 스테레오스코픽 영상 데이터 구간 및 적어도 하나의 모노스코픽 영상 데이터 구간을 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 방법.
  2. 제 1 항에 있어서, 상기 모노스코픽 영상 데이터 구간들의 표시 시간 정보를 추출하는 단계는,
    상기 스테레오스코픽 영상 데이터스트림으로부터 적어도 하나의 영상 데이터 구간에 대한 스테레오 영상 포맷 정보를 추출하는 단계; 및
    상기 추출된 스테레오 영상 포맷 정보에 기초하여 상기 적어도 하나의 영상 데이터 구간 중 적어도 하나의 모노스코픽 영상 데이터 구간을 결정하는 단계를 포함하고,
    상기 스테레오 영상 포맷 정보는, 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상에 대한 정보를 이용하여 혼합 영상을 구성하는 방법에 따른 영상 포맷에 대한 정보인 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 방법.
  3. 제 1 항에 있어서, 상기 모노스코픽 영상 데이터를 재생하는 단계는,
    상기 스테레오스코픽 영상 데이터스트림으로부터, 상기 동일한 표시 시간 정보를 갖는 모노스코픽 영상 데이터 구간들 각각에 대한 각각의 배치 순서 정보를 추출하는 단계;
    상기 배치 순서 정보에 기초하여, 상기 주 스트림 및 상기 부 스트림 중 하나의 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출하는 단계를 포함하고,
    상기 배치 순서 정보는, 적어도 하나의 데이터 구간에 대한 혼합 영상에서 상기 스테레오스코픽 영상의 기준 시점 영상에 대한 정보 및 부가 시점에 대한 영상 정보가 배치되는 순서를 나타내는 정보인 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 방법.
  4. 제 2 항에 있어서,
    상기 적어도 하나의 모노스코픽 영상 데이터 구간을 결정하는 단계는, 상기 스테레오스코픽 영상 데이터스트림으로부터, 적어도 하나의 영상 데이터 구간에 대한 상기 스테레오 영상 포맷 정보 및 배치 순서 정보를 추출하는 단계; 및
    상기 스테레오 영상 포맷 정보 및 상기 배치 순서 정보에 기초하여, 상기 주 스트림의 적어도 하나의 모노스코픽 영상 데이터 구간을 결정하는 단계를 포함하고,
    상기 모노스코픽 영상 데이터를 재생하는 단계는, 상기 결정된 주 스트림의 모노스코픽 영상 데이터 구간으로부터 상기 모노스코픽 영상 데이터를 추출하는 단계를 포함하고,
    상기 스테레오 영상 포맷 정보는, 상기 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상에 대한 정보를 이용하여 혼합 영상을 구성하는 방법에 따른 영상 포맷에 대한 정보이고, 상기 배치 순서 정보는 적어도 하나의 데이터 구간에 대한 상기 혼합 영상에서 상기 기준 시점 영상 및 상기 부가 시점 영상에 대한 정보가 배치되는 순서를 나타내는 정보인 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 방법.
  5. 제 1 항에 있어서,
    상기 스테레오스코픽 영상 데이터스트림의 영상 데이터 중 모노스코픽 영상이 재생될 때, 상기 주 스트림 및 부 스트림 중 우선적으로 재생될 우선 재생 스트림을 결정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 방법.
  6. 제 5 항에 있어서, 상기 모노스코픽 영상 데이터를 재생하는 단계는,
    상기 우선 재생 스트림으로부터 추출된 영상 데이터를 복원하여 재생하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 방법.
  7. 제 2 항에 있어서,
    상기 스테레오 영상 포맷 정보는, 수직 방향 라인 인터리브드 포맷, 수평 방향 라인 인터리브드 포맷, 탑 다운 포맷, 사이드 바이 사이드 포맷, 필드 시퀀셜 포맷, 프레임 시퀀셜 포맷, 블록 인터리브드 포맷, 변이 맵, 깊이 맵, 변이 및 움직임 맵, 단일 기준 시점 영상 포맷 및 단일 부가 시점 영상 포맷 중 적어도 하나를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 방법.
  8. 제 1 항에 있어서,
    상기 스테레오스코픽 영상 데이터스트림은 ISO 기반의 미디어 파일 포맷인 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 방법.
  9. 제 4 항에 있어서,
    상기 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포함하고,
    상기 스테레오 영상 포맷 정보 및 상기 배치 순서 정보는, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 추출되는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 방법.
  10. 주 스트림 및 부 스트림을 포함하는 스테레오스코픽 영상 데이터스트림을 복호화하는 장치에 있어서,
    상기 주 스트림 및 상기 부 스트림 각각으로부터 복수의 모노스코픽 영상 데이터 구간들의 표시 시간 정보를 추출하는 표시 시간 정보 추출부;
    상기 복수의 모노스코픽 영상 데이터 구간들 중에서 동일한 표시 시간 정보를 갖는 영상 데이터 구간들이 있는 경우, 상기 주 스트림 및 상기 부 스트림을 포함하는 스트림들 중 어떠한 스트림이 기준 시점 영상들을 포함하는 주 스트림인지 결정하는 충돌 모노스코픽 영상 데이터 추출부; 및
    상기 결정된 주 스트림의 모노스코픽 영상 데이터 구간 각각으로부터 추출된 모노스코픽 영상 데이터를 재생하는 재생부를 포함하고,
    상기 주 스트림 및 상기 부 스트림 각각은 적어도 하나의 스테레오스코픽 영상 데이터 구간 및 적어도 하나의 모노스코픽 영상 데이터 구간을 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 장치.
  11. 제 10 항에 있어서,
    상기 스테레오스코픽 영상 데이터스트림으로부터 적어도 하나의 영상 데이터 구간에 대한 스테레오 영상 포맷 정보를 추출하고,
    상기 추출된 스테레오 영상 포맷 정보에 기초하여 상기 적어도 하나의 영상 데이터 구간 중 적어도 하나의 모노스코픽 영상 데이터 구간을 결정하는 모노스코픽 영상 데이터 구간 결정부를 더 포함하고,
    상기 스테레오 영상 포맷 정보는, 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상에 대한 정보를 이용하여 혼합 영상을 구성하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 장치.
  12. 제 10 항에 있어서, 상기 재생부는,
    상기 스테레오스코픽 영상 데이터스트림으로부터, 상기 동일한 표시 시간 정보를 갖는 모노스코픽 영상 데이터 구간들 각각에 대한 배치 순서 정보들을 추출하고,
    상기 배치 순서 정보를 이용하여, 상기 주 스트림 및 상기 부 스트림 중 하나의 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출하고,
    상기 배치 순서 정보는 적어도 하나의 데이터 구간에 대한 혼합 영상에서 상기 스테레오스코픽 영상의 기준 시점 영상에 대한 정보 및 부가 시점에 대한 영상 정보가 배치되는 순서를 나타내는 정보인 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 장치.
  13. 제 11 항에 있어서,
    상기 모노스코픽 영상 데이터 구간 결정부는, 상기 스테레오스코픽 영상 데이터스트림으로부터, 적어도 하나의 영상 데이터 구간에 대한 상기 스테레오 영상 포맷 정보 및 배치 순서 정보를 추출하고, 상기 스테레오 영상 포맷 정보 및 상기 배치 순서 정보에 따라, 상기 주 스트림의 적어도 하나의 모노스코픽 영상 데이터 구간을 결정하고,
    상기 재생부는, 상기 결정된 주 스트림의 모노스코픽 영상 데이터 구간으로부터 모노스코픽 영상 데이터를 추출하고,
    상기 스테레오 영상 포맷 정보는 상기 스테레오스코픽 영상의 기준 시점 영상 및 부가 시점 영상에 대한 정보를 이용하여 혼합 영상을 구성하는 방법에 따른 영상 포맷에 대한 정보이고,
    상기 배치 순서 정보는 적어도 하나의 데이터 구간에 대한 상기 혼합 영상에서 상기 기준 시점 영상 및 상기 부가 시점 영상에 대한 정보가 배치되는 순서를 나타내는 정보인 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 장치.
  14. 제 10 항에 있어서, 상기 스테레오스코픽 영상 데이터스트림 복호화 장치는,
    상기 스테레오스코픽 영상 데이터스트림의 영상 데이터 중 모노스코픽 영상이 재생될 때 상기 주 스트림 및 부 스트림 중 우선적으로 재생될 우선 재생 스트림을 결정하는 우선 재생 스트림 결정부를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 장치.
  15. 제 14 항에 있어서, 상기 재생부는,
    상기 우선 재생 스트림으로부터 추출된 모노스코픽 영상 데이터를 추출하여 복원하고 재생하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 장치.
  16. 제 11 항에 있어서,
    상기 스테레오 영상 포맷 정보는, 수직 방향 라인 인터리브드 포맷, 수평 방향 라인 인터리브드 포맷, 탑 다운 포맷, 사이드 바이 사이드 포맷, 필드 시퀀셜 포맷, 프레임 시퀀셜 포맷, 블록 인터리브드 포맷, 변이 맵, 깊이 맵, 변이 및 움직임 맵, 단일 기준 시점 영상 포맷 및 단일 부가 시점 영상 포맷 중 적어도 하나를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 장치.
  17. 제 10 항에 있어서,
    상기 스테레오스코픽 영상 데이터스트림은 ISO 기반의 미디어 파일 포맷인 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 장치.
  18. 제 13 항에 있어서,
    상기 스테레오스코픽 영상 데이터스트림이 ISO 기반의 미디어 파일 포맷일 때, 상기 ISO 기반의 미디어 파일 포맷은 moov 박스, mdat 박스 및 meta 박스를 포 함하고,
    상기 스테레오 영상 포맷 정보 및 상기 배치 순서 정보는, 상기 meta 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨 박스, 상기 moov 박스의 하위 레벨인 trak 박스의 하위 레벨 박스, 상기 trak 박스의 하위 레벨 박스 및 상기 trak 박스의 하위 레벨인 meta 박스의 하위 레벨 박스 중 적어도 어느 하나로부터 추출되는 것을 특징으로 하는 스테레오스코픽 영상 데이터스트림 복호화 장치.
  19. 제 1 항 내지 제 9 항 중 어느 하나의 스테레오스코픽 영상 데이터스트림 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020080010320A 2008-01-31 2008-01-31 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치 KR101506217B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080010320A KR101506217B1 (ko) 2008-01-31 2008-01-31 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
JP2008175831A JP5221227B2 (ja) 2008-01-31 2008-07-04 ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置
US12/178,707 US8259162B2 (en) 2008-01-31 2008-07-24 Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image
JP2013045653A JP5705250B2 (ja) 2008-01-31 2013-03-07 ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080010320A KR101506217B1 (ko) 2008-01-31 2008-01-31 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치

Publications (2)

Publication Number Publication Date
KR20090084259A KR20090084259A (ko) 2009-08-05
KR101506217B1 true KR101506217B1 (ko) 2015-03-26

Family

ID=40931259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080010320A KR101506217B1 (ko) 2008-01-31 2008-01-31 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치

Country Status (3)

Country Link
US (1) US8259162B2 (ko)
JP (2) JP5221227B2 (ko)
KR (1) KR101506217B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019231234A1 (en) * 2018-05-30 2019-12-05 Samsung Electronics Co., Ltd. Method of transmitting 3-dimensional 360 degree video data, display apparatus using the method, and video storage apparatus using the method

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP1552617A2 (en) 2002-10-05 2005-07-13 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
JP4971144B2 (ja) 2004-05-07 2012-07-11 デジタル ファウンテン， インコーポレイテッド ファイルダウンロードおよびストリーミングのシステム
KR101292851B1 (ko) 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 ｆｅｃ 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
KR102044130B1 (ko) 2007-04-12 2019-11-12 돌비 인터네셔널 에이비 비디오 인코딩 및 디코딩의 타일링
JP5027305B2 (ja) 2007-09-12 2012-09-19 デジタル ファウンテン， インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
ES2727567T3 (es) * 2007-12-27 2019-10-17 Psholix Ag Procedimiento y dispositivo para la generación de imágenes multivista en tiempo real
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
EP2328337A4 (en) * 2008-09-02 2011-08-10 Huawei Device Co Ltd 3D VIDEO COMMUNICATION, TRANSMISSION DEVICE, SYSTEM AND IMAGE RECONSTRUCTION, SYSTEM
MY151243A (en) 2008-09-30 2014-04-30 Panasonic Corp Recording medium, playback device, system lsi, playback method, glasses, and display device for 3d images
US20110234775A1 (en) * 2008-10-20 2011-09-29 Macnaughton Boyd DLP Link System With Multiple Projectors and Integrated Server
US10742953B2 (en) * 2009-01-20 2020-08-11 Koninklijke Philips N.V. Transferring of three-dimensional image data
CN104702960B (zh) 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
PL2433429T3 (pl) * 2009-05-18 2019-03-29 Koninklijke Philips N.V. Punkty wejścia trójwymiarowego odtwarzania 3d ze zmienioną prędkością
TWI411870B (zh) * 2009-07-21 2013-10-11 Teco Elec & Machinery Co Ltd 立體影像產生方法及系統
KR101347744B1 (ko) * 2009-08-19 2014-01-03 서울시립대학교 산학협력단 영상 처리 장치 및 방법
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
JP5375489B2 (ja) 2009-09-29 2013-12-25 ソニー株式会社 画像信号処理装置、画像信号処理方法、プログラム、および画像信号処理システム
US8953019B2 (en) * 2009-10-20 2015-02-10 Samsung Electronics Co., Ltd. Method and apparatus for generating stream and method and apparatus for processing stream
JP5482254B2 (ja) 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
US10095953B2 (en) 2009-11-11 2018-10-09 Disney Enterprises, Inc. Depth modification for display applications
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
WO2011078883A1 (en) * 2009-12-24 2011-06-30 Trumbull Ventures Llc Method and apparatus for photographing and projecting moving images in three dimensions
US9848182B2 (en) 2009-12-24 2017-12-19 Magi International Llc Method and apparatus for photographing and projecting moving images in three dimensions
TWI404405B (zh) * 2009-12-25 2013-08-01 Mstar Semiconductor Inc 具有螢幕顯示功能之影像處理裝置及影像處理方法
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP5526929B2 (ja) * 2010-03-30 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5494152B2 (ja) * 2010-04-08 2014-05-14 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
KR20110115087A (ko) * 2010-04-14 2011-10-20 삼성전자주식회사 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
EP2582142B1 (en) * 2010-06-09 2017-03-15 Samsung Electronics Co., Ltd Method for providing fragment-based multimedia streaming service and device for same, and method for receiving fragment-based multimedia streaming service and device for same
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
CN105847780B (zh) * 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
WO2012037713A1 (en) * 2010-09-20 2012-03-29 Mediatek Singapore Pte. Ltd. Method for performing display management regarding three-dimensional video stream, and associated video display system
JP5697938B2 (ja) * 2010-10-19 2015-04-08 シャープ株式会社 送信機、受信機、通信システム、表示制御方法、およびプログラム
JP2012114575A (ja) * 2010-11-22 2012-06-14 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2012074331A2 (ko) * 2010-12-02 2012-06-07 한국전자통신연구원 스테레오스코픽 영상 정보의 전송 방법 및 장치
KR20120088100A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 디스플레이 컨트롤러 및 디스플레이 시스템
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US8643699B2 (en) 2011-04-26 2014-02-04 Mediatek Inc. Method for processing video input by detecting if picture of one view is correctly paired with another picture of another view for specific presentation time and related processing apparatus thereof
GB2546641B (en) 2011-05-13 2017-12-27 Snell Advanced Media Ltd Video processing method and apparatus for use with a sequence of stereoscopic images
US20140104383A1 (en) * 2011-06-22 2014-04-17 Sony Corporation Image processing device and method
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) * 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US20140240472A1 (en) * 2011-10-11 2014-08-28 Panasonic Corporation 3d subtitle process device and 3d subtitle process method
JP2013085157A (ja) * 2011-10-12 2013-05-09 Toshiba Corp 画像処理装置、画像処理方法および画像処理システム
JP4984193B2 (ja) * 2012-02-01 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4984192B2 (ja) * 2012-02-01 2012-07-25 ソニー株式会社 記録方法
GB201202754D0 (en) * 2012-02-17 2012-04-04 Qatar Foundation Multicasting multiview 3D videos
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9571812B2 (en) 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
JP6214233B2 (ja) * 2013-06-21 2017-10-18 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム。
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
WO2018009799A1 (en) 2016-07-08 2018-01-11 Magi International Llc Portable motion picture theater

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134642A (ja) 1998-10-21 2000-05-12 Toshiba Corp 立体モードと平面モードを持つ立体映像再生装置とその方法
JP2005094168A (ja) 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
KR20060041171A (ko) * 2003-05-30 2006-05-11 샤프 가부시키가이샤 영상 수신 장치 및 영상 재생 장치
KR20060100347A (ko) * 2006-08-31 2006-09-20 한국정보통신대학교 산학협력단 멀티미디어 방송 콘텐츠용 통합 파일 포맷 구조와 이를이용한 멀티미디어 방송 콘텐츠 서비스 시스템 및 그 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581638A (en) * 1993-07-26 1996-12-03 E-Systems, Inc. Method for autonomous image registration
JPH0984057A (ja) * 1995-09-20 1997-03-28 Sanyo Electric Co Ltd 立体映像装置
WO1998025413A1 (en) * 1996-12-04 1998-06-11 Matsushita Electric Industrial Co., Ltd. Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device
JPH11168711A (ja) * 1997-12-03 1999-06-22 Toshiba Corp テレビジョン送信装置および受信装置
JP4145122B2 (ja) * 2002-09-27 2008-09-03 シャープ株式会社 立体画像表示装置
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2006129463A (ja) * 2005-09-26 2006-05-18 Kazunari Era 立体視化パラメータ記憶媒体
EP2501137A3 (en) * 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
CN101803394A (zh) * 2007-06-19 2010-08-11 韩国电子通信研究院 存储和播放立体数据的元数据结构以及使用该元数据存储立体内容文件的方法
KR101533114B1 (ko) * 2007-10-19 2015-07-03 삼성전자주식회사 입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법
CN101933335B (zh) * 2008-01-29 2012-09-05 汤姆森特许公司 将二维图像数据转换为立体图像数据的方法和系统
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
JP5351146B2 (ja) * 2008-05-01 2013-11-27 パナソニック株式会社 再生装置、光ディスク再生システム、プログラム、集積回路
AU2009287465B2 (en) * 2008-09-17 2014-09-11 Panasonic Corporation Recording medium, playback device, and integrated circuit
KR20100040640A (ko) * 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
CN102124746B (zh) * 2008-12-26 2014-01-15 松下电器产业株式会社 记录介质、再现装置、及集成电路
WO2010089995A1 (ja) * 2009-02-04 2010-08-12 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US8593511B2 (en) * 2009-06-11 2013-11-26 Panasonic Corporation Playback device, integrated circuit, recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134642A (ja) 1998-10-21 2000-05-12 Toshiba Corp 立体モードと平面モードを持つ立体映像再生装置とその方法
KR20060041171A (ko) * 2003-05-30 2006-05-11 샤프 가부시키가이샤 영상 수신 장치 및 영상 재생 장치
JP2005094168A (ja) 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
KR20060100347A (ko) * 2006-08-31 2006-09-20 한국정보통신대학교 산학협력단 멀티미디어 방송 콘텐츠용 통합 파일 포맷 구조와 이를이용한 멀티미디어 방송 콘텐츠 서비스 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019231234A1 (en) * 2018-05-30 2019-12-05 Samsung Electronics Co., Ltd. Method of transmitting 3-dimensional 360 degree video data, display apparatus using the method, and video storage apparatus using the method

Also Published As

Publication number Publication date
KR20090084259A (ko) 2009-08-05
US8259162B2 (en) 2012-09-04
US20090195640A1 (en) 2009-08-06
JP2009182953A (ja) 2009-08-13
JP2013118701A (ja) 2013-06-13
JP5221227B2 (ja) 2013-06-26
JP5705250B2 (ja) 2015-04-22

Similar Documents

Publication Publication Date Title
KR101506217B1 (ko) 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR101427663B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
US9172942B2 (en) Method and apparatus for generating header information of stereoscopic image data
JP4174001B2 (ja) 立体画像表示装置、記録方法、及び伝送方法
KR101439850B1 (ko) 3차원 영상 시청시 발생하는 피로도 감소 방법 및 장치, 그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및 장치
JP2004207772A (ja) 立体画像表示装置、記録方法、及び伝送方法
KR101390810B1 (ko) 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 5