KR100780844B1 - 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체 - Google Patents

다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR100780844B1
KR100780844B1 KR1020060039038A KR20060039038A KR100780844B1 KR 100780844 B1 KR100780844 B1 KR 100780844B1 KR 1020060039038 A KR1020060039038 A KR 1020060039038A KR 20060039038 A KR20060039038 A KR 20060039038A KR 100780844 B1 KR100780844 B1 KR 100780844B1
Authority
KR
South Korea
Prior art keywords
gop
picture
viewpoint
time zone
decoded
Prior art date
Application number
KR1020060039038A
Other languages
English (en)
Other versions
KR20070106318A (ko
Inventor
김만배
김종원
호요성
김윤
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020060039038A priority Critical patent/KR100780844B1/ko
Publication of KR20070106318A publication Critical patent/KR20070106318A/ko
Application granted granted Critical
Publication of KR100780844B1 publication Critical patent/KR100780844B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Abstract

본 발명은 다시점 화상 시스템에 관한 것으로, 보다 상세하게는 하나의 부호화기와 복호화기를 이용하는 다시점 화상 데이터 처리 시스템에 관한 것이다. 본 발명의 일 실시예에 따르는 다시점 화상 복호화기는 K(임의의 자연수)개의 시점(view)에 상응하는 데이터를 각각 저장하는 K개의 시점 버퍼; 동일한 GOP(Group Of Picture) 구조를 가지는 K개의 시점 화상 시퀀스(sequence)를 재배열하여 부호화한 단일 비트열을 전송받고, 상기 단일 비트열을 상기 각 시점에 상응하는 시점 화상 데이터 단위로 분리하여 상응하는 상기 시점 버퍼에 각각 저장하는 비트열 분배기; 상기 시점 버퍼에 저장된 상기 시점 화상 데이터를 처리하도록 하는 제어신호를 출력하는 스케쥴러; 및 상기 제어신호에 따라 상기 시점 버퍼에 저장된 상기 시점 화상 데이터를 각각 복호화하여 출력하는 화상 복호화부를 포함한다. 하나의 부호화기와 하나의 복호화기를 이용하여 다시점 화상을 처리함으로써 전체 시스템의 복잡도를 감소시킬 수 있다.
다시점 화상, 부호화기, 복호화기, 단일

Description

다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템, 다시점 화상 데이터 처리 방법 및 이를 수행하는 프로그램을 기록한 기록매체 {Decoder, processing system and processing method for multi-view frame data, and recording medium having program performing this}
도 1a는 평행(parallel) 데이터인 다시점 화상 데이터의 획득을 위한 다수의 카메라 배열 방법을 나타낸 도면.
도 1b는 아크(arc) 데이터인 다시점 화상 데이터의 획득을 위한 다수의 카메라 배열 방법을 나타낸 도면.
도 2는 본 발명의 바람직한 일 실시예에 따른 다시점 화상 부호화기의 간략한 구성블록도.
도 3은 시점 화상 데이터를 재배열한 단일 비트열을 생성하는 방법을 나타낸 도면.
도 4는 본 발명의 바람직한 일 실시예에 따른 다시점 화상 복호화기의 간략한 구성블록도.
도 5는 GoGOP의 각 GOP들의 복호화 시간의 일례.
도 6은 도 4의 다시점 화상 복호화기의 화상 스킵부의 간략한 구성블록도.
도 7은 본 발명의 바람직한 일 실시예에 다른 GOP 내에서 복호화 화상을 선택하는 방법.
도 8은 본 발명의 바람직한 다른 실시예에 다른 GOP 내에서 복호화 화상을 선택하는 방법.
<도면의 주요부분에 대한 부호의 설명>
200 : 다시점 화상 부호화기
210 : 다시점 화상 재배열부
220 : 화상 부호화부
400 : 다시점 화상 복호화기
410 : 비트열 분배기
420a, 420b, …, 420K : 시점 버퍼
430 : 화상 복호화부
440 : 스케쥴러
본 발명은 다시점 화상 시스템에 관한 것으로, 보다 상세하게는 하나의 부호화기와 복호화기를 이용하는 다시점 화상 데이터 처리 시스템에 관한 것이다.
일반적으로, 디지털 데이터는 일정한 타입의 전송 장치로부터 일정한 타입의 수신 장치로 전송된다. 그리고, 전송 장치는 전송을 위한 데이터를 부호화(encoding)하는 부호화기(encoder)를 통상적으로 포함하고, 수신 장치는 수신된 데이터를 복호화(decoding)하는 복호화기(decoder)를 포함한다. 비디오 데이터, 오디오 데이터, 오디오/비디오 데이터 등과 같은 다양한 형태의 디지털 데이터가 전송 장치로부터 수신 장치로 전송되어 수신 장치를 통해 출력될 수 있다.
지배적인 비디오 압축 및 전송 포맷들은 혼성 블록 기반 화상 신호 보정 변환 비디오 부호기(hybrid block-based motion-compensated transform video coder)라고 불리는 군(family)으로부터 유래하는데, 상기 부호기의 예는 ITU-T VCEG 비디오 코딩 표준들을 포함하고, 비디오 코딩 표준들로는 VCEG(Video Coding Experts Group) 및 ISO/IEC MPEG(Moving Picture Experts Group)의 H.261, MPEG-1, H.262/MPEG-2 비디오, H.263, MPEG-4 비쥬얼 및 인-프로세스 초안 표준(in-process draft standard) H.264/AVC 등이 있다. 또한, 정지 화상(still picture), 오디오, 문서, 웹 페이지 등을 포함하는 다양한 다른 유형의 매체를 위하여, 또한 이러한 신호들을 동기화하고 함께 멀티플렉싱하기 위하여 부호화 및 압축 표준들이 지정되어 있다.
일반적으로 비디오 스트림은 세 가지 타입의 프레임들(Frames) 또는 픽쳐들(pictures)로 구성(이하, '화상'이라는 용어로 통칭하여 설명함)된다. 세 가지 타입의 화상들이란 화면 내 화상(I 화상 : intra frame), 예측 화상(P 화상 : predictive frame) 및 양방향 예측 화상(B 화상 : bi-directionally predictive frame)이다.
I 화상은 움직임 벡터 추정/보상을 이용하지 않고 단순히 그 화상만을 DCT하여 부호화하고, P 화상은 I 화상 또는 다른 P 화상을 참조하면서 움직임 추정/보상을 한 후, 나머지 차분의 데이터를 DCT하여 부호화하며, B 화상은 P 화상과 같이 움직임 보상을 사용하지만 시간축 상에 있는 두 개의 화상으로부터 움직임 추정/보상을 수행한다.
비디오 스트림 또는 시퀀스는 GOP(Group of Pictures)라 불리는 세그먼트에 의해 정의되며, I, B, B, P, B, B, P, …와 같이 이루어진 구조에서 I 화상부터 다음의 I 화상까지를 GOP(Group of Picture)라 칭한다. 통상적으로, GOP는 의도된 속도로 디스플레이되는 경우, 미리 설정된 시간(예를 들어, 0.5초)의 지속시간(duration)을 갖는 한 세트의 화상으로 구성된다.
상술한 바와 같은 비디오 스트림 등의 화상 정보 전달을 위한 매체는 텔레비전과 같은 2차원 단말기 기술로부터 발전해왔다. 즉, 흑백 화상에서 출발하여 칼라 화상, 즉 SD(Standard Definition)급 텔레비전에서 고해상도 텔레비전(예로, HDTV)으로 발전함에 따라 화상 정보의 데이터량은 증가하는 추세인 것이다. 또한, 정보 통신의 기술 발달과 사용자의 요구에 따라 오락, 게임, 입체 영화 등의 다양한 컨텐츠들이 개발되고 있다. 이에, 현재 화상 정보는 평면적인 2차원의 세계가 아니라 공간을 포함하는 3차원적인 실감 컨텐츠로서, 현실감 및 자연 자체의 멀티미디어 정보의 전달을 위해서는 그 자체 그대로 재현할 수 있는 3차원 화상 정보와 관련된 기술이 개발되고 있다. 이러한 3차원 화상 정보와 관련된 기술의 하나로 다시점 화 상(multi-view video)이 있다.
다시점 화상 장치는 여러 대의 카메라로부터 획득한 화상을 사용자에게 전달해 원하는 시점(view)에서 화상을 시청할 수 있도록 하는 차세대 화상 장치이다. 즉, 사용자는 하나의 정적 시점보다는 다수의 시점 영상을 제공받아 임의의 시점으로 변경함으로써, 해당 시점의 영상 컨텐츠를 시청할 수 있다. 다시점 화상을 공급하기 위한 다시점 화상 시스템 방식은 일반적으로 다시점 입력 비디오 신호가 들어오면 카메라 개수와 같은 개수의 부호화기를 사용하여 개별적인 압축 비트열(compressed bitstream)으로 만드는 동시(simulcast) 방식이다. 각 비트열은 MUX(멀티플렉서)를 통해 전송되는데, MUX는 일반적으로 해당 전송 규격에 맞추어 데이터 구조를 만든 후 채널로 전송한다. 이렇게 전달된 압축 비트열, 즉 부호화 화상은 수신 측에서 각각의 복호화기를 통해 복호화되며, 최종적으로 사용자에게 전달된다. 따라서, 시점 카메라의 수가 증가할수록 필요로 하는 부호화기 및 복호화기의 수가 증가하게 되고, 시스템이 복잡해짐으로 인해 다시점 화상의 전송을 위한 실용적인 시스템의 구현에 어려움이 있다.
따라서, 본 발명은 시점 카메라의 수와 무관하게 하나의 부호화기와 복호화기를 이용하여 다시점 화상을 전송하고 처리할 수 있는 다시점 화상 데이터 처리 시스템을 제공한다.
또한, 본 발명은 다시점 화상을 재배열함으로써 하나의 단일 압축 비트열로 부호화하는 다시점 화상 처리를 위한 다시점 화상 부호화기 및 그 방법을 제공한다.
또한, 본 발명은 하나의 단일 압축 비트열로 부호화된 다시점 화상을 복호화하여 사용자에게 각 시점에 따른 화상을 제공할 수 있는 다시점 화상 복호화기 및 그 방법을 제공한다.
또한, 본 발명은 하나의 부호화기와 하나의 복호화기를 이용하여 다시점 화상을 처리함으로써 전체 시스템의 복잡도를 감소시키면서도 채널 대역폭 및 부호화하는 매크로 블록의 수 등은 영향을 받지 않는 다시점 화상 데이터 처리 시스템을 제공한다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 일 측면에 따르면, K(임의의 자연수)개의 시점(view)에 상응하는 데이터를 각각 저장하는 K개의 시점 버퍼; 동일한 GOP(Group Of Picture) 구조를 가지는 K개의 시점 화상 시퀀스(sequence)를 재배열하여 부호화한 단일 비트열을 전송받고, 상기 단일 비트열을 상기 각 시점에 상응하는 시점 화상 데이터 단위로 분리하여 상응하는 상기 시점 버퍼에 각각 저장하는 비트열 분배기; 상기 시점 버퍼에 저장된 상기 시점 화상 데이터를 처리하도록 하는 제어신호를 출력하는 스케쥴러; 및 상기 제어신호에 따라 상기 시점 버퍼 에 저장된 상기 시점 화상 데이터를 각각 복호화하여 출력하는 화상 복호화부를 포함하는 다시점 화상 복호화기가 제공될 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 다른 측면에 따르면, K(임의의 자연수)개의 카메라로부터 동일한 GOP 구조를 가지는 각각의 시점 화상 시퀀스를 입력받고, 상기 각 시점 화상 시퀀스를 GOP 단위로 구분하여 순차적으로 재배열한 단일 비트열을 생성하는 다시점 화상 재배열부; 상기 단일 비트열을 부호화하여 전송하는 화상 부호화부; 상기 각 카메라의 시점에 상응하는 데이터를 각각 저장하는 K개의 시점 버퍼; 상기 단일 비트열을 전송받고, 상기 단일 비트열을 상기 각 시점에 상응하는 시점 화상 데이터 단위로 분리하여 상응하는 상기 시점 버퍼에 각각 저장하는 비트열 분배기; 상기 시점 버퍼에 저장된 상기 시점 화상 데이터를 처리하도록 하는 제어신호를 출력하는 스케쥴러; 및 상기 제어신호에 따라 상기 시점 버퍼에 저장된 상기 시점 화상 데이터를 각각 복호화하여 출력하는 화상 복호화부를 포함하는 다시점 화상 데이터 처리 시스템이 제공될 수 있다.
바람직하게는, 상기 화상 부호화부는 상기 부호화된 단일 비트열을 단일 채널로 전송할 수 있다. 상기 다시점 화상 재배열부는 상기 각 시점 화상 시퀀스를 GOP 단위로 구분하며, 동일 시간대의 GOP 단위별로 그룹화하여 순차적으로 재배열할 수 있으며, 상기 시점 화상 데이터는 상기 단일 비트열 중 상기 각 시점에 상응하는 부호화된 상기 시점 화상 시퀀스 중 최소 하나의 GOP에 속하는 화상들을 포함하거나 최대 상기 시점 화상 시퀀스를 모두 포함할 수 있다.
상기 다시점 화상 복호화기 또는 상기 다시점 화상 데이터 처리 시스템은 하기와 같은 특징을 더 포함할 수 있다.
바람직하게는, 상기 시점 화상 데이터는 상기 단일 비트열 중 상기 각 시점에 상응하는 부호화된 상기 시점 화상 시퀀스 중 최소 하나의 GOP에 속하는 화상들을 포함하고 최대 상기 시점 화상 시퀀스를 모두 포함할 수 있다.
여기서, 상기 스케쥴러는, 상기 화상 복호화부로부터 가장 최근에 복호화된 시간대의 GOP에서의 상기 각 시점 화상 데이터의 복호화 시간을 수신하고 상기 복호화 시간에 따른 화상 복호화부 이용률을 계산하는 이용률 산출부; 및 상기 화상 복호화부 이용률로부터 상기 화상 복호화부에서 직후에 복호화될 시간대의 GOP에서의 화상 스킵 방법을 결정하는 화상 스킵부를 포함할 수 있다. 상기 화상 스킵부는 상기 시점별로 상기 가장 최근에 복호화된 시간대의 GOP에서의 상기 화상 복호화부 이용률이 클수록 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수가 증가되도록 할 수 있다.
상기 화상 스킵부는, 상기 가장 최근에 복호화된 시간대의 GOP에서의 상기 화상 복호화부 이용률에 따라 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수를 결정하는 스킵 화상 결정 모듈; 및 상기 화상 스킵 수에 따라 스킵될 화상을 선택하는 복호화 화상 선택 모듈을 포함할 수 있다.
상기 복호화 화상 선택 모듈은 GOP 내에서 스킵 시작 화상 및 상기 스킵 시작 화상 이후의 화상들을 연속적으로 스킵할 수 있으며, 상기 시점 화상 데이터는 베이스밴드 프로파일 시퀀스 및 메인 프로파일 시퀀스 중 어느 하나일 수 있다.
또는 상기 복호화 화상 선택 모듈은 GOP 내에서 화상들을 불연속적으로 스킵할 수 있으며, 상기 시점 화상 데이터는 메인 프로파일 시퀀스일 수 있다.
여기서, 상기 스케쥴러는, 상기 화상 복호화부 이용률로부터 직후에 복호화될 시간대의 GOP에서의 시점 우선순위를 결정하는 시점 우선순위 결정부를 더 포함할 수 있다. 상기 시점 우선순위 결정부는 상기 시점별로 가장 최근에 복호화된 시간대의 GOP에서의 상기 화상 복호화부 이용률이 작을수록 상기 직후에 복호화될 시간대의 GOP에서의 시점 우선순위가 높아지도록 할 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 또 다른 측면에 따르면, (a) 동일한 GOP 구조를 가지는 K(임의의 자연수)개의 시점 화상 시퀀스를 재배열하여 부호화한 단일 비트열을 전송받는 단계; (b) 상기 단일 비트열을 각 시점에 상응하는 시점 화상 데이터 단위로 분리하여 상응하는 시점 버퍼에 저장하는 단계; (c) 상기 시점 버퍼에 저장된 시점 화상 데이터를 동일 시간대의 GOP 단위별로 복호화하는 단계; 및 (d) 상기 시점 화상 데이터별로 가장 최근에 복호화된 시간대의 GOP의 복호화 시간에 따라 직후에 복호화될 시간대의 GOP에서의 화상 스킵 방법을 결정하고, 순차적으로 상기 단계 (c)를 반복하는 단계를 포함하는 다시점 화상 데이터 처리 방법이 제공될 수 있다.
바람직하게는, 상기 단계 (d)는 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 GOP의 복호화 시간이 길수록 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수가 증가되도록 할 수 있다.
그리고 상기 단계 (d)는, (d1) 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 복호화 시간에 따라 상기 직후에 복호화될 시간대의 화상 스킵 수를 결정하는 단계; (d2) 상기 화상 스킵 수에 따라 스킵될 화상을 선택하는 단계를 포함할 수 있다. 여기서, 상기 단계 (d2)는 GOP 내에서 스킵 시작 화상 및 상기 스킵 시작 화상 이후의 화상들을 연속적으로 스킵하거나 GOP 내에서 화상들을 불연속적으로 스킵할 수 있다.
또한, 상기 단계 (d)는 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 GOP의 복호화 시간이 길수록 상기 직후에 복호화될 시간대의 GOP에서의 시점 우선순위가 높아지도록 할 수 있다.
여기서, 상기 시점 화상 데이터는 상기 단일 비트열 중 상기 각 시점에 상응하는 부호화된 상기 시점 화상 시퀀스 중 최소 하나의 GOP에 속하는 화상들을 포함하거나 최대 상기 시점 화상 시퀀스를 모두 포함할 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 또 다른 측면에 따르면, 동일한 GOP 구조를 가지는 K(임의의 자연수)개의 시점 화상 시퀀스를 재배열하여 부호화한 단일 비트열을 각 시점에 상응하는 시점 화상 데이터 단위로 분리하고 동일 시간대의 GOP 단위별로 순차적으로 복호화하는 방법에 있어서, (a) 가장 최근에 복호화된 시간대의 GOP의 복호화 시간 정보를 입력받는 단계; (b) 상기 복호화 시간에 따라 직후에 복호화될 시간대의 GOP에서의 화상 스킵 방법을 결정하는 단계; 및 (c) 상기 화상 스킵 방법에 따라 상기 직후에 복호화될 시간대의 GOP의 복호화를 제어하 는 신호를 출력하는 단계를 포함하는 다시점 화상 데이터 처리 방법이 제공될 수 있다.
바람직하게는, 상기 단계 (b)는 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 GOP의 복호화 시간이 길수록 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수가 증가되도록 할 수 있다.
또한, 상기 단계 (b)는, (b1) 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 복호화 시간에 따라 상기 직후에 복호화될 시간대의 화상 스킵 수를 결정하는 단계; (b2) 상기 화상 스킵 수에 따라 스킵될 화상을 선택하는 단계를 포함할 수 있다.
그리고 상기 단계 (b2)는 GOP 내에서 스킵 시작 화상 및 상기 스킵 시작 화상 이후의 화상들을 연속적으로 스킵하거나 GOP 내에서 화상들을 불연속적으로 스킵할 수 있다.
상기 단계 (b)는 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 GOP의 복호화 시간이 길수록 상기 직후에 복호화될 시간대의 GOP에서의 시점 우선순위가 높아지도록 할 수 있으며, 상기 시점 화상 데이터는 상기 단일 비트열 중 상기 각 시점에 상응하는 부호화된 상기 시점 화상 시퀀스 중 최소 하나의 GOP에 속하는 화상들을 포함하거나 최대 상기 시점 화상 시퀀스를 모두 포함할 수 있다.
상기 목적들을 달성하기 위하여, 본 발명의 또 다른 측면에 따르면, 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서, 제32항 내지 제38항 중 어느 한 항에 기재된 다시점 화상 데이터 처리 방법을 수행하는 프로그램을 기록한 기록매체가 제공될 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있 을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1a는 평행(parallel) 데이터인 다시점 화상 데이터의 획득을 위한 다수의 카메라 배열 방법을 나타낸 도면이고, 도 1b는 아크(arc) 데이터인 다시점 화상 데이터의 획득을 위한 다수의 카메라 배열 방법을 나타낸 도면이다.
도 1a에 도시된 평행 데이터인 다시점 화상 데이터를 획득하기 위한 다수의 카메라 배열 방법은 피사체(110)와 수직으로 배치된 임의의 카메라를 기준으로 K(임의의 자연수)개의 카메라들(120a, 120b, …, 120K-1, 120K)을 일렬로 배치하는 것이다. 도 1a에 도시된 방법에 따라 K개의 카메라(120a, 120b, …, 120K-1, 120K)를 배열하는 경우 각 카메라와 피사체 간의 거리는 일반적으로 동일하지 않게 된다. 물론, 중앙에 배치된 카메라를 기준으로 양측에 배치된 두 개의 카메라와 피사체(110) 간의 거리는 일치할 수 있다.
도 1b에 도시된 아크 데이터인 다시점 화상 데이터를 획득하기 위한 다수의 카메라 배열 방법은 피사체(110)를 중심으로 일정 거리(d) 이격된 원주 상에 K개의 카메라(120a, 120b, …, 120K-1, 120K)를 배치하는 것이다. 도 1b에 도시된 방법에 따라 K개의 카메라(120a, 120b, …, 120K-1, 120K)를 배열하는 경우 각 카메라와 피사체(110) 간의 거리는 d로 동일하다.
도 1a 내지 도 1b에 각각 예시된 방법으로 배치된 각각의 카메라는 시간이 경과함에 따라 설치된 렌즈 각도에 통해 입력되는 피사체 화상을 입력받아 화상 정 보를 생성하며, 당해 화상 정보는 앞서 설명한 바와 같이 I, B, B, P, B, B, P, …와 같이 이루어진 GOP(Group Of Picture)라는 세그먼트들로 구성된다.
상술한 도 1a 내지 도 1b에 도시된 다수의 카메라에 의해 생성된 각 화상 정보는 서로 동기화(synchronization)되어 있으며, 동일한 GOP 구조를 가지고 있다. 이하에서는 각 카메라에서 생성된 화상 정보를 시점 화상 시퀀스(sequence)라 한다.
이하에서 사용될 변수들은 다음과 같이 정의된다.
N : GOP 내의 화상의 개수. 즉, 인트라 구간(intra period)
M : I/P 구간
K : 시점(view)의 개수. 즉, 다시점 카메라의 개수
Vk : k번째 시점의 화상 시퀀스(view sequence), k ∈ {1, 2, …, K}
GoGOP(Group of GOPs) : 시간 영역 [t1, t1+N]에 있는 GOP의 집합
Dk : GoGOP 내의 Vk 화상들의 복호화 시간의 합
Uk : GoGOP 내의 Vk 화상들의 화상 복호화부(후술함) 이용률
S : GoGOP에서 복호화되는 화상의 개수
일반적으로 사용되는 동화상 데이터 압축 기술로는 국제전기통신연합(ITU: International Telecommunication Union)에서 권고하는 H.261, H.262, H.263등과 국제표준화기구(ISO: International Organization for Standardization)의 동화상 전문가 그룹(MPEG: Motion Picture Experts Group)에서 제안하는 MPEG-1, MPEG-2, MPEG-4 등이 있다. 그리고, 최근에는 국제전기통신연합과 국제표준화기구에서 공동으로 더 높은 압축률을 구현할 수 있는 차세대 동화상 압축기술인 H.264 또는 MPEG-4 part10 AVC가 제정되었다. H.264 표준은 기존의 압축기술들에 비해 복잡하여 실제 구현이 어렵다는 단점이 있지만, 높은 압축률을 구현할 수 있고, 다양한 네트워크 환경에 쉽게 적응시킬 수 있는 장점이 있어 차세대 동화상 압축기술로서 그 연구가 활발히 진행되고 있는 바 이를 기초로 하여 이하 설명한다.
한편, H.264 표준에서는 베이스라인 프로파일(Baseline profile)과 메인 프로파일(Main profile) 형태의 표준 프로파일들을 정의하고 있다. 프로파일이란 사용할 수 있는 툴을 나타내는 것이며, 이중 베이스라인 프로파일은 휴대통신, 비디오폰 비디오 회의용 단말기의 A/V통신에 주로 사용되고, 메인 프로파일은 HD 급까지 망라한 셋탑, TV방송, DVD저장 등과 같은 방송 서비스에서의 고화질의 동화상 데이터를 사용하는 단말들의 특성을 정의한 집합이다.
일반적으로 앞서 상술한 바와 같이 화상을 I, P, B 화상으로 분류하는 경우, 본 발명에서는 B 화상이 없으면 베이스라인 프로파일로, B 화상이 있으면 메인 프로파일로 정의하도록 한다. 이 구조는 MPEG-1, MPEG-2, MPEG-4에서도 적용 가능함은 물론이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 다시점 화상 부호화기의 간략한 구성블록도이고, 도 3은 시점 화상 데이터를 재배열한 단일 비트열을 생성하는 방법을 나타낸 도면이다.
도 2를 참조하면, 다시점 화상 부호화기(multi-view frame encoder, 200)는 다시점 화상 재배열부(210)와, 화상 부호화부(220)를 포함하여 구성된다.
다시점 화상 재배열부(210)는 K(자연수)개의 카메라들(120a, 120b, …, 120K-1, 120K)이 각각 촬영한 시점 화상 시퀀스를 입력받는다. 시점 화상 시퀀스는 각 카메라들이 동기화되어 있는 바, 시점 화상 시퀀스들은 모두 동일한 GOP 구조(예를 들어, 하나의 GOP 내의 프레임 수가 4라면, IPPPI…)를 가진다.
도 3을 참조하면, 각 시점에 해당하는 카메라들은 다수의 GOP를 가지는 시점 화상 시퀀스들(예를 들어, 카메라가 4대인 경우 시점은 V1, V2, V3, V4의 4개가 있음)을 생성한다. 각 시점 화상 시퀀스는 시간 경과에 따라 GOP1, GOP2, …를 가지게 되며, 동일 번호의 GOP들은 동일한 시간대에 생성된 것을 의미한다. GOPi(Vk)는 k번째 시점 화상 시퀀스 Vk의 i번째 GOP를 가리킨다. 이하에서는 K = 4, N = 4인 것을 기준으로 설명한다.
다시점 화상 재배열부(210)는 4개의 시점 화상 시퀀스 V1, V2, V3, V4를 재배열한 1개의 단일 비트열을 생성한다. 도 3의 (b)에 도시된 것과 같이, 재배열의 방법은 GOP1(V1), GOP1(V2), GOP1(V3), GOP1(V4), GOP2(V1), GOP2(V2) 순으로 정렬하는 것이다. 같은 시간대의 GOP들의 그룹인 GoGOPi(Group of GOPs, 310)는 {GOPi(V1), GOPi(V2), GOPi(V3), GOPi(V4)}로 구성된다. 그리고 각 GoGOP는 시간대 순서별로 재배 치된다. 즉, GoGOP1, GoGOP2, GoGOP3 순으로 배열되어 단일 비트열을 생성하게 된다.
카메라의 개수(즉, 시점의 개수), MPEG GOP의 크기, 복호화기 프로파일 등 중 하나 이상의 정보는 단일 비트열의 헤더에 포함되거나 별도의 비트열로 생성되어 후술할 다시점 화상 복호화기로 전송하는 것이 가능하다.
화상 부호화부(220)는 GoGOP가 시간대 순서별로 재배치된 단일 비트열을 다시점 화상 재배열부(210)로부터 입력받아 H.264/AVC로 부호화한다. 이렇게 부호화된 단일 비트열은 하나의 비트열이므로, 기존에 다시점 화상 데이터를 동시 방식으로 부호화하기 위해 시점 개수와 동일한 개수의 부호화기가 필요하던 것과는 달리 하나의 부호화기로 다시점 화상 데이터, 즉 K개의 시점 화상 시퀀스를 부호화하는 것이 가능하다. 그리고 부호화된 단일 비트열은 단일 전송 채널(300)을 통해 전송된다.
이하에서는 단일 전송 채널(300)을 통해 전송된 부호화된 단일 비트열을 동시 방식으로 복호화하여 다시점 화상을 생성하면서도 각 시점 간의 동등한 화질 유지가 가능한 장치 및 그 방법에 대하여 상세히 설명한다.
도 4는 본 발명의 바람직한 일 실시예에 따른 다시점 화상 복호화기의 간략한 구성블록도이고, 도 5는 GoGOP의 각 GOP들의 복호화 시간의 일례이다. 도 6은 도 4의 다시점 화상 복호화기의 화상 스킵부의 간략한 구성블록도이고, 도 7은 본 발명의 바람직한 일 실시예에 다른 GOP 내에서 복호화 화상을 선택하는 방법이고, 도 8은 본 발명의 바람직한 다른 실시예에 다른 GOP 내에서 복호화 화상을 선택하는 방법이다.
도 4를 참조하면, 다시점 화상 복호화기(400)는 비트열 분배기(410), K개의 시점 버퍼(420a, 420b, …, 420K), 화상 복호화부(430) 및 스케쥴러(440)를 포함한다. 스케쥴러(440)는 이용률 산출부(441), 시점 우선순위 결정부(443), 화상 스킵부(445)를 포함한다.
비트열 분배기(410)는 단일 전송 채널(300)을 통해 전송되는 단일 비트열을 입력받는다. 단일 비트열은 상술한 바와 같이 다시점 화상 부호화기(200)에 의해 K개의 시점 화상 시퀀스들이 재배열되고 부호화된 데이터를 의미한다.
단일 비트열의 헤더 또는 단일 비트열과 함께 전송되는 별도의 비트열에는 카메라의 개수, MPEG GOP의 크기 등의 정보가 포함되어 있다. 비트열 분배기(410)는 이러한 정보를 통해 이용하고자 하는 시점 버퍼의 수를 결정하고, 단일 비트열에 순차적으로 배열되어 있는 GOP들을 시점 화상 데이터 단위로 분리하여 각 카메라(즉, 시점)에 상응하는 K개의 시점 버퍼(420a, 420b, …, 420K)에 저장한다. 시점 화상 데이터는 각 시점 화상 시퀀스를 최소 크기인 경우에는 GOP 크기만큼, 최대 크기인 경우에는 시점 화상 시퀀스를 모두 포함할 수 있다. 시점 버퍼는 시점 화상 데이터의 크기에 따라 하나의 GOP 크기만큼의 시점 화상 시퀀스 중 일부를 저장하고 각 GOP마다 복호화 후에 버퍼를 비우고 다음 GOP를 새롭게 저장하거나 복수의 GOP를 저장할 수 있다.
각 시점 버퍼(420a, 420b, …, 420K)는 K개의 카메라에서 촬영한 시점 화상 시퀀스에 상응하는 부호화된 GOP들을 저장하게 된다. 시점 버퍼에는 시점 화상 데이터가 저장된다. 시점 화상 데이터는 최소 크기가 GOP 단위이며(이는 화상 복호화부(430)에서의 복호화 처리 기준이 GOP 이기 때문이다), 최대 크기는 각 시점의 시점 화상 시퀀스 전체가 될 수 있다.
시점 화상 데이터가 최소 단위인 GOP 크기를 가지고 있는 경우에, 특정 시점 버퍼에서 후술할 우선순위에 따라 복호화가 이루어진 후 타 시점 버퍼에서 복호화가 이루어지는 동안에 특정 시점 버퍼에 저장되어 있던 시점 화상 데이터가 시점 버퍼에서 바로 삭제되고, 다음 시간대의 GOP의 시점 화상 데이터가 기록될 수 있다. 또는 특정 시간대의 각 시점의 시점 화상 데이터, 즉 GOP들의 복호화가 모두 완료된 후에 일괄적으로 각 시점 버퍼들을 다음 시간대의 GOP들로 갱신할 수도 있다. 그 외에도 시점 버퍼에 시점 화상 데이터를 저장하고 읽어내는 방법은 다양한 바 이는 해당 기술 분야에서 통상의 지식을 가진 자라면 변형이 가능하다.
그리고 화상 복호화부(430)는 필요에 따라 각 시점 버퍼(420a, 420b, …, 420K)에 저장된 각 시점의 GOP들을 읽어낸다.
화상 복호화부(430)는 각 시점 버퍼(420a, 420b, …, 420K)에 저장된 시점 화상 데이터 중에서 동일 시간대에 해당하는 각 시점의 GOP들, 즉 하나의 GoGOP 단위로 부호화된 데이터를 복호화 처리한다. 복호화 처리를 함에 있어서 스케쥴러(440)에서 출력되는 제어 신호에 따라 GoGOP 내의 각 시점의 GOP의 복호화 시간, 복호화 대상 화상, 스킵 화상, 스킵 화상 수 등이 변화될 수 있다. GOP의 복호화 시간, 복화화 대상 화상, 스킵 화상, 스킵 화상 수는 복호화하고자 하는 GOP의 시 간대에 따라 후술할 스케쥴러(440)에 의해 적응적으로 변화가 가능하다.
스케쥴러(440)는 화상 복호화부(430)에서의 복호화에 있어서 가장 최근에 복호화된 GOP 내의 시점 화상 데이터들의 복호화 시간으로부터 적응적으로 변화시킬 직후에 복호화될 GOP에서의 각 시점 화상 데이터들의 복호화 시간, 복호화 대상 화상, 스킵 화상, 스킵 화상 수 등을 제어하는 제어 신호를 화상 복호화부(430)에 전송한다.
스케쥴러(440)는 각 시점의 시점 화상 데이터를 GOP 단위로 처리한다.
K개의 시점이 있는 경우 각 시점의 GOP들이 N개의 화상으로 구성된 것으로 가정하면, 하나의 GoGOP의 화상 개수는 KㅧN이다. 따라서, KㅧN 화상을 정해진 프레임률(frame rate)(예를 들어, 24 fps, 30 fps)을 만족하며 모두 복호화하는 것은 시스템 성능 등의 문제로 어려움이 있다. 따라서, KㅧN 개의 화상 중에서 일부는 드롭(drop)/스킵(skip)(이하에서는 '스킵'이라 통칭한다)된다. 즉, 스킵된 화상들을 제외한 나머지 화상들만이 복호화되는 바 스킵할 화상을 결정하는 방법은 후술한다.
이용률 산출부(441)는 도 5에 도시된 바와 같이, 화상 복호화부(430)로부터 동일 시간대의 GOP들, 즉 동일 GoGOP(310) 내의 각 시점의 GOP들(GOP(V1), GOP(V2), GOP(V3), …, GOP(VK))의 가장 최근의 각각의 복호화 시간(D1, D2, D3, …, DK)을 입력받는다. 가장 최근의 GOP(Vk)의 복호화 시간 Dk으로부터 시점 Vk의 화상 복호화부 이용률 Uk을 산출하면, 하기의 수학식 1과 같다.
Figure 112006030413089-pat00001
여기서,
Figure 112006030413089-pat00002
이다.
복호화 시간의 총합 중에서 당해 시점 Vk의 복호화 시간 Dk이 차지하는 비중을 화상 복호화부 이용률 Uk로 결정한다.
시점 우선순위 결정부(443)는 이용률 산출부(441)에서 산출된 가장 최근에 복호화된 시간대의 각 시점의 GOP의 화상 복호화부 이용률을 이용하여 화상 복호화부(430)에서 직후에 복호화될 시간대의 각 시점의 GOP의 복호화를 위한 우선순위를 결정한다. 예를 들어, n번째 GoGOP 처리 후 스케쥴러(440)에서의 제어 신호 생성 동안 n+1번째 GoGOP는 이미 복호화처리될 수 있으므로, n번째 GoGOP 처리에서의 복호화 시간을 이용하여 산출한 우선순위 또는 후술할 스킵 화상 수, 스킵 화상들은 n+1번째가 아닌 n+2번째, n+3번째 GoGOP가 될 수도 있다.
가장 최근에 복호화된 GOP 내에서의 화상 복호화부 이용률에 따라 직후에 복호화될 GOP에서 복호화되는 시점의 우선순위는 매 GOP마다 동적으로 변화하게 된다. 가장 최근에 복호화된 시간대의 화상 복호화부 이용률이 낮은 시점은 상대적으로 값이 큰 시점에 비해 적은 개수의 화상이 복호화되었음을 의미하므로, 직후에 복호화될 시간대의 GOP에서 복호화를 위한 우선순위를 높임으로써, 재생 프레임률 을 동등하게 유지시키게 되고, 시간 축상으로 각 시점이 동등한 복호화 시간을 가지며, 또한 각 시점이 균등한 재생 기회를 가지도록 구현한다. 예를 들어, 하기의 표 1과 같이 가장 최근에 복호화된 GOP 내에서의 각 시점의 화상 복호화부 이용률을 산출하고, 이 중 가장 작은 화상 복호화부 이용률을 가지는 시점 V4에 대해서 직후에 복호화될 GOP의 복호화시 가장 큰 우선순위를 할당하도록 한다.
시점 가장 최근에복호화된 GOP의 화상 복호화부 이용률 직후에 복호화될 GOP에서의 우선 순위
V1 0.35 4
V2 0.24 3
V3 0.21 2
V4 0.20 1
시점 우선순위 결정부(443)의 결정 결과는 화상 복호화부(430)에 입력되어, 화상 복호화부(430)에서 복호화를 함에 있어서 각 시점의 복호화 순서를 결정하게 된다.
화상 스킵부(445)는 각 시점의 현재 시간대의 GOP의 화상 복호화부 이용률을 활용하여 다음 시간대의 GOP의 복호화시 화상 스킵 방법을 결정한다. 다음 시간대의 GOP의 복호화가 시작되기 전에 화상 복호화부 이용률이 높은 시점의 화상을 상대적으로 많이 드롭시킴으로써 모든 시점들이 공평하게 복호화되도록 한다. 즉, 해당 버퍼의 모든 시점의 화상들의 복호화가 끝나면 화상 복호화부 이용률은 다시 계산되어 다음 시간대의 GOP의 화상 스킵을 결정하게 된다.
화상 스킵부(445)는 도 6을 참조하여 설명한다. 화상 스킵부(445)는 각 시점마다 스킵되는 화상의 개수를 결정하는 스킵 화상 결정 모듈(510)과, 복호화되는 화상들을 선택하는 복호화 화상 선택 모듈(520)을 포함할 수 있다.
스킵 화상 결정 모듈(510)은 현재 시간대의 GOP의 화상 복호화부 이용률로부터 다음 시간대의 GOP에서의 화상 스킵 수를 결정하게 된다. 화상 스킵 수를 결정하는 방법은 다음과 같다.
N개의 화상으로 구성되는 1개의 GOP(Vk)가 있으며, ℓ번째 화상인 Fℓ을 스킵하면 후속하는 Fℓ+1, Fℓ+2, Fℓ+3, …, FN도 스킵된다고 가정한다. 이 경우 실제 복호화되는 화상의 개수는 (ℓ-1)이 된다. 따라서, GoGOP에서 총 복호화되는 화상의 개수는 하기의 수학식 2와 같다.
Figure 112006030413089-pat00003
여기서, ℓk는 GOP(Vk)에서 스킵되는 첫번째 화상 번호이다. 예를 들어, ℓ1은 첫번째 시점의 GOP(V1)에서 스킵되는 첫번째 화상 번호, ℓ2은 두번째 시점의 GOP(V2)에서 스킵되는 첫번째 화상 번호이다.
GoGOP에서의 최적의 성능은 KㅧN 개의 화상, 즉 모든 화상을 복호화했을 때가 된다. 하지만, 실제 다시점 화상에서 모든 화상의 복호화가 가능한 시스템은 불가능하기 때문에, GoGOP에서 복호화되는 화상의 개수를 S로 가정한다. S는 [0, Kㅧ N]에 포함되는 어느 한 값이 되며, 시스템 성능에 따라 증감이 가능하다. 따라서, 상기의 수학식 2는 하기의 수학식 3, 4와 같은 결과를 획득하게 된다.
Figure 112006030413089-pat00004
Figure 112006030413089-pat00005
상기 수학식 4와 같은 결과를 만족하는 ℓk 값을 구하기 위하여 상기의 수학식 2를 다시 이용한다. 계산된 화상 복호화부 이용률 Uk에 따라 ℓk는 역선형 매핑을 이용하여 구한다. 즉, U = [0, 1] 은
Figure 112006030413089-pat00006
= [S, 1]로 역매핑된다. 즉, 서로 수직하는 가로축과 세로축을 가정할 때, 가로축은 화상 복호화부 이용률 U 을, 세로축은
Figure 112006030413089-pat00007
를 의미한다. U가 0일 때
Figure 112006030413089-pat00008
는 S에, U가 1일 때
Figure 112006030413089-pat00009
는 1에 대응하는 일차함수를 생각하면, 화상 복호화부 이용률 U에 따른
Figure 112006030413089-pat00010
이 결정될 수 있다.
이는 가장 최근에 복호화된 시간대의 GOP에서의 화상 복호화부 이용률이 높은 경우 직후에 복호화될 시간대의 GOP에서는 복호화되는 화상의 개수를 작게 한다. 이때 복호화되는 화상의 개수가 작다는 것은 스킵되는 첫번째 화상 번호인 ℓk 가 작다는 것을 의미하므로, 가장 최근에 복호화된 시간대의 GOP에서 특정 시점의 화상 복호화부 이용률과 직후에 복호화될 시간대의 GOP에서 해당 시점의 스킵되는 첫번째 화상 번호인 ℓk 는 화상 복호화부 이용률이 증가함에 따라 스킵되는 첫번째 화상 번호가 작아지는 역선형 관계에 있게 된다.
수식으로 표현하면 하기의 수학식 5와 같다.
Figure 112006030413089-pat00011
모든 K개의 시점에 대하여 산출된 스킵되는 첫번째 화상 번호를 합하게 되면, 하기의 수학식 6과 같다.
Figure 112006030413089-pat00012
수학식 4와 수학식 6으로부터 GOP(Vk)에서 스킵하게 되는 첫번째 화상 번호
Figure 112006030413089-pat00013
는 하기의 수학식 7과 같이 계산된다.
Figure 112006030413089-pat00014
여기서,
Figure 112006030413089-pat00015
는 플로어(floor) 함수이다. 플로어 함수는
Figure 112006030413089-pat00016
안의 값보다 작거나 같은 최대의 정수를 출력값으로 한다.
이렇게 구해진
Figure 112006030413089-pat00017
값을 이용하여 해당 시점 이후에 복호화될 시간대의 GOP 복호화시 스킵해야 하는 화상의 개수를 결정하는 것이 가능하게 된다.
복호화 화상 선택 모듈(520)은 스킵 화상 결정 모듈(510)에서 결정된 스킵 화상 수로부터 화상 스킵 방법을 결정하게 된다. 화상 스킵 방법은 연속 스킵 또는 불연속 스킵이 있을 수 있다.
연속 스킵부(521)는 구해진
Figure 112006030413089-pat00018
값을 스킵 시작 화상 번호로 결정한다. 도 7에 도시된 바와 같이, 하나의 GOP 내에 10개의 화상이 있는 경우, 스킵 시작 화상은 6번째 화상으로 계산되었으면, 스킵 시작 화상 및 스킵 시작 화상 이후의 화상들(7, 8, 9, 10번째 화상들)은 모두 스킵되도록 한다. 불연속 스킵부(523)는 구해진
Figure 112006030413089-pat00019
값으로부터 하나의 GOP 내에서 스킵되는 화상의 수를 결정하게 된다. 그리고 스킵 화상 수에 따라, 그리고 시각 화상 화질을 이용하여 스킵되는 화상의 간격을 조절하여 불연속으로 스킵 화상을 결정하여 스킵되도록 한다.
복호화 화상 선택 모듈(520)은 화상 스킵 방법을 결정함에 있어서, 프로파일 모듈(610) 및/또는 비용 함수 모듈(620)에서의 출력값에 영향을 받는다. 여기서, 프로파일 모듈(610) 및/또는 비용 함수 모듈(620)은 화상 스킵부(445)에 더 포함될 수 있다.
프로파일 모듈(610)은 복호화되는 화상이 베이스파인 프로파일 시퀀스인지 메인 프로파일 시퀀스인지 여부를 결정한다. 일반적으로 H.264/AVC의 베이스라인 프로파일은 I, P 화상만을 사용하므로 복호화는 상대적으로 간단한다. P 화상은 전방위 예측(forward perdiction)으로 부호화되기 때문에, 이전 참조 화상이 존재해야 복원이 가능하다. 다음은 베이스라인 프로파일에서 사용하는 GOP 구조를 나타낸다. N=6이고, M=1이다.
I1 P1 P2 P3 P4 P5 I2 P6 P7 P8 …
화상 스킵은 다음과 같은 특징을 가지고 수행된다.
1) I1 화상이 스킵되면 다음 P1, …, P5 화상들이 모두 스킵된다.
2) P1 화상이 스킵되면 P2, …, P5 화상들이 모두 스킵된다. 따라서, Pi 화상이 스킵되면, Pi+1 부터의 해당 GOP의 모든 P 화상들이 스킵된다.
3) 따라서, 현재 GOP에서 3개의 화상 및 다음 GOP에서 2개의 화상을 복호화하게 되면, I1 P1 P2 및 I2 P6가 재생된다.
여기서, 베이스라인 프로파일은 상술한 화상 스킵 방법 중에서 연속 스킵 방법만이 사용가능하다. 복호화되는 화상들이 연속적으로 발생하고, 마찬가지로 스킵되는 화상들로 연속적으로 발생한다.
메인 프로파일에서의 선택 순서는 화상 타입에 따라 달라진다. 스킵되는 첫번째 프레임의 번호
Figure 112006030413089-pat00020
가 정해지면, 즉 복호화되는 화상의 수가 결정되면, 화상 간의 예측 구조에 따라 연속적 또는 불연속적으로 복호화하고자 하는 화상 또는 스킵하고자 하는 화상을 선택하게 된다.
비용 함수 모듈(620)은 시각 화상 화질을 객관적으로 정량화한 비용 함수(cost function)를 통해 시각 화상 화질을 결정하고, 화상 스킵 방법을 결정하도록 한다.
비용 함수는 다음과 같이 계산된다.
1) 화상 i가 연속적으로 발생하는 드롭 화상에 속하고, 동시에 ki번째의 연속적인 화상이라면, 해당 화상의 비용 ci는 ki이다.
2) 연속적이 아닌 2개의 스킵 화상 간의 거리가 di이면, 비용 ci는
Figure 112006030413089-pat00021
이다.
3) 전체 비용 함수
Figure 112006030413089-pat00022
이다. 여기서, F는 시퀀스에서 스킵되는 화상들의 집합이고, G는 고려하는 GOP 내의 전체 화상의 집합이다.
도 7 및 도 8에 도시된 비용 함수의 값은 하기의 수학식 8, 9와 같이 계산된다.
Figure 112006030413089-pat00023
Figure 112006030413089-pat00024
따라서,
Figure 112006030413089-pat00025
가
Figure 112006030413089-pat00026
보다 작으며, 비용 함수가 작은 도 8의 방법이 우수한 시각 화상 화질을 가지게 된다. 동일한 개수의 화상을 스킵하지만, 실제 계산되는 비용은 다른 결과를 가져오게 된다. 따라서, 시스템 성능 및 화질에 따라 적응적으로 화상 스킵 방법을 결정하는 것이 가능하다.
화상 스킵부(445)는 스킵 화상 결정 모듈(510)에서 결정된 스킵 화상 수에 따라 프로파일 모듈(610) 및/또는 비용 함수 모듈(620)에서의 출력값을 참조하여 화상 스킵 방법을 결정하게 되고, 이에 따라 스킵되는 화상을 제외한 나머지, 즉 복호화되는 화상 번호(530)를 결정하여 화상 복호화부(430)에 제어 신호로서 이를 알려준다. 화상 복호화부(430)는 제어 신호의 한 형태인 복호화되는 화상 번호(530)에 상응하는 화상들을 직후 복호화될 시간대의 GOP 복호화시 복호화하게 된다.
이하에서는 다시점 화상 복호화기(400)에서의 다시점 화상 데이터 처리 방법을 설명한다.
우선, 다시점 화상 복호화기(400)는 동일한 GOP 구조를 가지는 K(자연수)개의 시점 화상 시퀀스를 재배열하여 부호화한 단일 비트열을 단일 전송 채널(300)을 통하여 다시점 화상 부호화기(200)로부터 전송받는다.
그리고 비트열 분배기(410)를 통해 단일 비트열을 시점 화상 데이터 단위로 분리하여 상응하는 시점 버퍼(420a, 420b, …, 420K)에 저장한다.
화상 복호화부(430)는 시점 버퍼(420a, 420b, …, 420K)에 저장된 시점 화상 데이터를 동일 시간대의 GOP 단위별로 복호화하게 된다.
그리고 복호화함에 있어서 각 시점 별로, 즉 시점 화상 데이터별로 현재 시간대의 GOP의 복호화 시간에 따라 다음 시간대의 GOP에서의 화상 스킵 방법을 스케쥴러(440)에서 결정하고, 시간 순서에 따라 GOP의 복호화를 반복하게 된다. 화상 스킵 방법은 도 5 내지 도 8을 참조하여 상세히 설명하였는 바 자세한 설명은 생략한다.
본 발명의 바람직한 다른 실시예에 따르면, 다시점 화상 부호화기(200)와 다시점 화상 복호화기(400)를 포함하는 다시점 화상 데이터 처리 시스템을 구현할 수 있다. 다시점 화상 부호화기(200)의 동작과, 다시점 화상 복호화기(400)의 동작은 앞서 상술한 바와 동일하다.
또한, 본 발명의 바람직한 또 다른 실시예에 따른 다시점 화상 데이터 처리 방법은 다음과 같다.동일한 GOP 구조를 가지는 K(임의의 자연수)개의 시점 화상 시퀀스를 재배열하여 부호화한 단일 비트열을 각 시점에 상응하는 시점 화상 데이터 단위로 분리하고 동일 시간대의 GOP 단위별로 순차적으로 복호화하는 방법에 있어서, 우선 가장 최근에 복호화된 시간대의 GOP의 복호화 시간 정보를 입력받는다.
그리고 복호화 시간에 따라 직후에 복호화될 시간대의 GOP에서의 화상 스킵 방법을 결정한다. 화상 스킵 방법은 도 5 내지 도 8을 참조하여 상세히 설명하였는 바 자세한 설명은 생략한다.
이후에 화상 스킵 방법에 따라 직후에 복호화될 시간대의 GOP의 복호화를 제어하는 신호를 출력한다.
상술한 다시점 화상 데이터 처리 방법을 수행할 수 있는 프로그램을 외부의 서버에서 저장하고 있으며, 유무선 네트워크를 통해 프로그램을 다운로드하여 다시점 화상 복호화기에 내장함으로써 다시점 화상 복호화를 할 수도 있다.
상술한 바와 같이, 본 발명에 따른 다시점 화상 시스템은 시점 카메라의 수와 무관하게 하나의 부호화기와 복호화기를 이용하여 다시점 화상을 전송하고 처리할 수 있다.
또한, 하나의 부호화기와 하나의 복호화기를 이용하여 다시점 화상을 처리함으로써 전체 시스템의 복잡도를 감소시키면서도 채널 대역폭 및 부호화하는 매크로 블록의 수 등은 영향을 받지 않는다.
또한, 다시점 화상을 재배열함으로써 하나의 단일 압축 비트열로 부호화하고, 이를 복호화하여 사용자에게 각 시점에 따른 화상을 제공할 수 있다. 단일 압축 비트열은 기존 H.264/AVC를 포함하는 MPEG 비디오 압축을 이용하여 부호화가 가능하다.
또한, 동시 방식에 기반한 효율적인 다시점 화상을 부호화함에 따라 DPB(Decoded Picture Buffer) 개수의 증가가 불필요하다. 그리고 복호화시에도 단일 복호화기를 이용하면서도 화상 복호화부 이용률에 따라 다음 시간대에서의 복호화 우선순위, 스킵 화상 수, 스킵 화상 방법 등을 적응적으로 변화시킴으로써 시점 간에 동등한 화질을 유지하는 것이 가능하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (39)

  1. K(임의의 자연수)개의 시점(view)에 상응하는 데이터를 각각 저장하는 K개의 시점 버퍼;
    동일한 GOP(Group Of Picture) 구조를 가지는 K개의 시점 화상 시퀀스(sequence)를 재배열하여 부호화한 단일 비트열을 전송받고, 상기 단일 비트열을 상기 각 시점에 상응하는 시점 화상 데이터 단위로 분리하여 상응하는 상기 시점 버퍼에 각각 저장하는 비트열 분배기;
    상기 시점 버퍼에 저장된 상기 시점 화상 데이터를 처리하도록 하는 제어신호를 출력하는 스케쥴러; 및
    상기 제어신호에 따라 상기 시점 버퍼에 저장된 상기 시점 화상 데이터를 각각 복호화하여 출력하는 화상 복호화부
    를 포함하고,
    상기 스케쥴러는 상기 화상 복호화부로부터 가장 최근에 복호화된 시간대의 GOP에서의 상기 각 시점 화상 데이터의 복호화 시간을 수신하고 상기 복호화 시간에 따른 화상 복호화부 이용률을 계산하는 이용률 산출부와, 상기 화상 복호화부 이용률로부터 상기 화상 복호화부에서 직후에 복호화될 시간대의 GOP에서의 화상 스킵 방법을 결정하는 화상 스킵부를 포함하는 것을 특징으로 하는 다시점 화상 복호화기.
  2. 제1항에 있어서,
    상기 시점 화상 데이터는 상기 단일 비트열 중 상기 각 시점에 상응하는 부호화된 상기 시점 화상 시퀀스 중 최소 하나의 GOP에 속하는 화상들을 포함하거나 최대 상기 시점 화상 시퀀스를 모두 포함하는 것을 특징으로 하는 다시점 화상 복호화기.
  3. 삭제
  4. 제1항에 있어서,
    상기 화상 스킵부는 상기 시점별로 상기 가장 최근에 복호화된 시간대의 GOP에서의 상기 화상 복호화부 이용률이 클수록 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수가 증가되도록 하는 것을 특징으로 하는 다시점 화상 복호화기.
  5. 제1항에 있어서, 상기 화상 스킵부는,
    상기 가장 최근에 복호화된 시간대의 GOP에서의 상기 화상 복호화부 이용률에 따라 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수를 결정하는 스킵 화상 결정 모듈; 및
    상기 화상 스킵 수에 따라 스킵될 화상을 선택하는 복호화 화상 선택 모듈을 포함하는 다시점 화상 복호화기.
  6. 제5항에 있어서,
    상기 복호화 화상 선택 모듈은 GOP 내에서 스킵 시작 화상 및 상기 스킵 시작 화상 이후의 화상들을 연속적으로 스킵하는 것을 특징으로 하는 다시점 화상 복호화기.
  7. 제6항에 있어서,
    상기 시점 화상 데이터는 베이스밴드 프로파일 시퀀스 및 메인 프로파일 시퀀스 중 어느 하나인 것을 특징으로 하는 다시점 화상 복호화기.
  8. 제5항에 있어서,
    상기 복호화 화상 선택 모듈은 GOP 내에서 화상들을 불연속적으로 스킵하는 것을 특징으로 하는 다시점 화상 복호화기.
  9. 제8항에 있어서,
    상기 시점 화상 데이터는 메인 프로파일 시퀀스인 것을 특징으로 하는 다시점 화상 복호화기.
  10. 제1항에 있어서, 상기 스케쥴러는,
    상기 화상 복호화부 이용률로부터 직후에 복호화될 시간대의 GOP에서의 시점 우선순위를 결정하는 시점 우선순위 결정부를 더 포함하는 다시점 화상 복호화기.
  11. 제10항에 있어서,
    상기 시점 우선순위 결정부는 상기 시점별로 가장 최근에 복호화된 시간대의 GOP에서의 상기 화상 복호화부 이용률이 작을수록 상기 직후에 복호화될 시간대의 GOP에서의 시점 우선순위가 높아지도록 하는 것을 특징으로 하는 다시점 화상 복호화기.
  12. K(임의의 자연수)개의 카메라로부터 동일한 GOP 구조를 가지는 각각의 시점 화상 시퀀스를 입력받고, 상기 각 시점 화상 시퀀스를 GOP 단위로 구분하여 순차적으로 재배열한 단일 비트열을 생성하는 다시점 화상 재배열부;
    상기 단일 비트열을 부호화하여 전송하는 화상 부호화부;
    상기 각 카메라의 시점에 상응하는 데이터를 각각 저장하는 K개의 시점 버퍼;
    상기 단일 비트열을 전송받고, 상기 단일 비트열을 상기 각 시점에 상응하는 시점 화상 데이터 단위로 분리하여 상응하는 상기 시점 버퍼에 각각 저장하는 비트열 분배기;
    상기 시점 버퍼에 저장된 상기 시점 화상 데이터를 처리하도록 하는 제어신호를 출력하는 스케쥴러; 및
    상기 제어신호에 따라 상기 시점 버퍼에 저장된 상기 시점 화상 데이터를 각각 복호화하여 출력하는 화상 복호화부
    를 포함하고,
    상기 스케쥴러는, 상기 화상 복호화부로부터 가장 최근에 복호화된 시간대의 GOP에서의 상기 각 시점 화상 데이터의 복호화 시간을 수신하고 상기 복호화 시간에 따른 화상 복호화부 이용률을 계산하는 이용률 산출부와, 상기 화상 복호화부 이용률로부터 상기 화상 복호화부에서 직후에 복호화될 시간대의 GOP에서의 화상 스킵 방법을 결정하는 화상 스킵부를 포함하는 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  13. 제12항에 있어서,
    상기 화상 부호화부는 상기 부호화된 단일 비트열을 단일 채널로 전송하는 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  14. 제12항에 있어서,
    상기 다시점 화상 재배열부는 상기 각 시점 화상 시퀀스를 GOP 단위로 구분하며, 동일 시간대의 GOP 단위별로 그룹화하여 순차적으로 재배열하는 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  15. 제12항에 있어서,
    상기 시점 화상 데이터는 상기 단일 비트열 중 상기 각 시점에 상응하는 부호화된 상기 시점 화상 시퀀스 중 최소 하나의 GOP에 속하는 화상들을 포함하거나 최대 상기 시점 화상 시퀀스를 모두 포함하는 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  16. 삭제
  17. 제12항에 있어서,
    상기 화상 스킵부는 상기 시점별로 상기 가장 최근에 복호화된 시간대의 GOP에서의 상기 화상 복호화부 이용률이 클수록 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수가 증가되도록 하는 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  18. 제12항에 있어서, 상기 화상 스킵부는,
    상기 가장 최근에 복호화된 시간대의 GOP에서의 상기 화상 복호화부 이용률에 따라 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수를 결정하는 스킵 화상 결정 모듈; 및
    상기 화상 스킵 수에 따라 스킵될 화상을 선택하는 복호화 화상 선택 모듈을 포함하는 다시점 화상 데이터 처리 시스템.
  19. 제18항에 있어서,
    상기 복호화 화상 선택 모듈은 GOP 내에서 스킵 시작 화상 및 상기 스킵 시작 화상 이후의 화상들을 연속적으로 스킵하는 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  20. 제19항에 있어서,
    상기 시점 화상 데이터는 베이스밴드 프로파일 시퀀스 및 메인 프로파일 시퀀스 중 어느 하나인 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  21. 제18항에 있어서,
    상기 복호화 화상 선택 모듈은 GOP 내에서 화상들을 불연속적으로 스킵하는 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  22. 제21항에 있어서,
    상기 시점 화상 데이터는 메인 프로파일 시퀀스인 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  23. 제12항에 있어서, 상기 스케쥴러는,
    상기 화상 복호화부 이용률로부터 직후에 복호화될 시간대의 GOP에서의 시점 우선순위를 결정하는 시점 우선순위 결정부를 더 포함하는 다시점 화상 데이터 처리 시스템.
  24. 제23항에 있어서,
    상기 시점 우선순위 결정부는 상기 시점별로 가장 최근에 복호화된 시간대의 GOP에서의 상기 화상 복호화부 이용률이 작을수록 상기 직후에 복호화될 시간대의 GOP에서의 시점 우선순위가 높아지는 것을 특징으로 하는 다시점 화상 데이터 처리 시스템.
  25. (a) 동일한 GOP 구조를 가지는 K(임의의 자연수)개의 시점 화상 시퀀스를 재배열하여 부호화한 단일 비트열을 전송받는 단계;
    (b) 상기 단일 비트열을 각 시점에 상응하는 시점 화상 데이터 단위로 분리하여 상응하는 시점 버퍼에 저장하는 단계;
    (c) 상기 시점 버퍼에 저장된 시점 화상 데이터를 동일 시간대의 GOP 단위별로 복호화하는 단계; 및
    (d) 상기 시점 화상 데이터별로 가장 최근에 복호화된 시간대의 GOP의 복호화 시간에 따라 직후에 복호화될 시간대의 GOP에서의 화상 스킵 방법을 결정하는 단계로서 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 복호화 시간에 따라 상기 직후에 복호화될 시간대의 화상 스킵 수를 결정하는 단계 (d1)과, 상기 화상 스킵 수에 따라 스킵될 화상을 선택하는 단계 (d2)를 포함하고, 순차적으로 상기 단계 (c)를 반복하는 단계
    를 포함하는 다시점 화상 데이터 처리 방법.
  26. 제25항에 있어서,
    상기 단계 (d1)은 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 GOP의 복호화 시간이 길수록 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수가 증가되도록 하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  27. 삭제
  28. 제25항에 있어서,
    상기 단계 (d2)는 GOP 내에서 스킵 시작 화상 및 상기 스킵 시작 화상 이후의 화상들을 연속적으로 스킵하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  29. 제25항에 있어서,
    상기 단계 (d2)는 GOP 내에서 화상들을 불연속적으로 스킵하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  30. 제25항에 있어서,
    상기 단계 (d)는 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 GOP의 복호화 시간이 길수록 상기 직후에 복호화될 시간대의 GOP에서의 시점 우선순위가 높아지도록 하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  31. 제25항에 있어서,
    상기 시점 화상 데이터는 상기 단일 비트열 중 상기 각 시점에 상응하는 부호화된 상기 시점 화상 시퀀스 중 최소 하나의 GOP에 속하는 화상들을 포함하거나 최대 상기 시점 화상 시퀀스를 모두 포함하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  32. 동일한 GOP 구조를 가지는 K(임의의 자연수)개의 시점 화상 시퀀스를 재배열하여 부호화한 단일 비트열을 각 시점에 상응하는 시점 화상 데이터 단위로 분리하고 동일 시간대의 GOP 단위별로 순차적으로 복호화하는 방법에 있어서,
    (a) 가장 최근에 복호화된 시간대의 GOP의 복호화 시간 정보를 입력받는 단계;
    (b) 상기 복호화 시간에 따라 직후에 복호화될 시간대의 GOP에서의 화상 스킵 방법을 결정하는 단계; 및
    (c) 상기 화상 스킵 방법에 따라 상기 직후에 복호화될 시간대의 GOP의 복호화를 제어하는 신호를 출력하는 단계를 포함하는 다시점 화상 데이터 처리 방법.
  33. 제32항에 있어서,
    상기 단계 (b)는 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 GOP의 복호화 시간이 길수록 상기 직후에 복호화될 시간대의 GOP에서의 화상 스킵 수가 증가되도록 하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  34. 제32항에 있어서, 상기 단계 (b)는,
    (b1) 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 복호화 시간에 따라 상기 직후에 복호화될 시간대의 화상 스킵 수를 결정하는 단계;
    (b2) 상기 화상 스킵 수에 따라 스킵될 화상을 선택하는 단계를 포함하는 다시점 화상 데이터 처리 방법.
  35. 제34항에 있어서,
    상기 단계 (b2)는 GOP 내에서 스킵 시작 화상 및 상기 스킵 시작 화상 이후의 화상들을 연속적으로 스킵하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  36. 제34항에 있어서,
    상기 단계 (b2)는 GOP 내에서 화상들을 불연속적으로 스킵하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  37. 제32항에 있어서,
    상기 단계 (b)는 상기 시점 화상 데이터별로 상기 가장 최근에 복호화된 시간대의 GOP의 복호화 시간이 길수록 상기 직후에 복호화될 시간대의 GOP에서의 시점 우선순위가 높아지도록 하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  38. 제32항에 있어서,
    상기 시점 화상 데이터는 상기 단일 비트열 중 상기 각 시점에 상응하는 부호화된 상기 시점 화상 시퀀스 중 최소 하나의 GOP에 속하는 화상들을 포함하거나 최대 상기 시점 화상 시퀀스를 모두 포함하는 것을 특징으로 하는 다시점 화상 데이터 처리 방법.
  39. 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,
    제32항 내지 제38항 중 어느 한 항에 기재된 다시점 화상 데이터 처리 방법을 수행하는 프로그램을 기록한 기록매체.
KR1020060039038A 2006-04-28 2006-04-28 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체 KR100780844B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060039038A KR100780844B1 (ko) 2006-04-28 2006-04-28 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060039038A KR100780844B1 (ko) 2006-04-28 2006-04-28 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체

Publications (2)

Publication Number Publication Date
KR20070106318A KR20070106318A (ko) 2007-11-01
KR100780844B1 true KR100780844B1 (ko) 2007-11-29

Family

ID=39062325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060039038A KR100780844B1 (ko) 2006-04-28 2006-04-28 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체

Country Status (1)

Country Link
KR (1) KR100780844B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004783A1 (ko) * 2017-06-29 2019-01-03 포디리플레이코리아 주식회사 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 재생 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016882A (ja) * 2000-06-30 2002-01-18 Toshiba Corp 多重化映像情報のエンコード／デコードシステム
KR20030042090A (ko) * 2001-11-21 2003-05-28 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR20050122717A (ko) * 2004-06-25 2005-12-29 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016882A (ja) * 2000-06-30 2002-01-18 Toshiba Corp 多重化映像情報のエンコード／デコードシステム
KR20030042090A (ko) * 2001-11-21 2003-05-28 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR20050122717A (ko) * 2004-06-25 2005-12-29 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004783A1 (ko) * 2017-06-29 2019-01-03 포디리플레이코리아 주식회사 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 재생 방법 및 장치
JP2020524450A (ja) * 2017-06-29 2020-08-13 ４ディーリプレー コリア，インコーポレイテッド 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置

Also Published As

Publication number Publication date
KR20070106318A (ko) 2007-11-01

Similar Documents

Publication Publication Date Title
US20220159272A1 (en) Regional random access in pictures
CN109417642B (zh) 用于高分辨率影像流的影像比特流生成方法和设备
KR101904625B1 (ko) 비디오 코딩에서 서브-디코딩된 픽처 버퍼 (서브-dpb) 기반의 dpb 동작들을 위한 시그널링
JP5072996B2 (ja) 三次元ビデオ符号化に関するシステム及び方法
RU2668284C1 (ru) Способ и устройство для мультиплексирования и демультиплексирования видеоданных, чтобы идентифицировать состояние воспроизведения видеоданных
TWI517720B (zh) 編碼方法及編碼裝置
KR100779875B1 (ko) 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
US20070041443A1 (en) Method and apparatus for encoding multiview video
US20110280311A1 (en) One-stream coding for asymmetric stereo video
EP2538675A1 (en) Apparatus for universal coding for multi-view video
US20070104276A1 (en) Method and apparatus for encoding multiview video
US9743061B2 (en) Multiview video encoding method and device, and multiview video decoding method and device
US20110081133A1 (en) Method and system for a fast channel change in 3d video
WO2007024072A1 (en) Method and apparatus for encoding multiview video
CN102598673A (zh) 用于帧连续立体视频编码的动态参考帧重排序
Van Wallendael et al. 3D video compression based on high efficiency video coding
EP1527613B1 (en) Method and apparatus for encoding a digital video signal
Haskell et al. Mpeg video compression basics
KR20220147668A (ko) 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR100780844B1 (ko) 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
CN116134821A (zh) 用于在图像/视频编码系统中处理高级语法的方法和设备
CN116325759A (zh) 用于处理媒体文件的方法及其设备
Pereira Video compression: An evolving technology for better user experiences
KR20090030779A (ko) 데이터 분할 방식을 이용한 저지연 인트라 프레임 부호화방법
Zare et al. Self-contained slices in H. 264 for partial video decoding targeting 3D light-field displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20101230

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee