KR20140002447A

KR20140002447A - 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치

Info

Publication number: KR20140002447A
Application number: KR1020120086373A
Authority: KR
Inventors: 유성열; 박경모; 황승오; 송재연
Original assignee: 삼성전자주식회사
Priority date: 2012-06-29
Filing date: 2012-08-07
Publication date: 2014-01-08
Also published as: EP2869569A1; WO2014003515A1; US20140007172A1; CN104380754A; EP2869569A4; JP2015527788A

Abstract

본 발명은 멀티미디어 시스템에 관한 것으로, 특히 멀티미디어 시스템에서 적응적 미디어 송수신 방법 및 장치에 관한 것이다. 본 발명에 따른 멀티미디어 시스템에서 적응적 미디어 구조를 송신하는 방법은, 부호화된 미디어 데이터를 포함하는 MFU(Media Fragment Unit) 및 MPU(Media Processing Unit)를 하나의 에셋(Asset)으로 구성하는 과정과, 상기 구성된 에셋을 CI(Composition information)에 포함시켜 송신하는 과정을 포함한다.

Description

멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING/RECEIVING ADAPTIVE MEDIA IN A MULTIMEDIA SYSTEM}

본 발명은 멀티미디어 시스템에 관한 것으로, 특히 멀티미디어 시스템에서 적응적 미디어 송수신 방법 및 장치에 관한 것이다.

최근 디지털로 인한 방통융합 시대가 도래하여 IPTV, 스마트 TV 등의 방통융합 매체를 통해 영상. 음악. 기타 엔터테인먼트 미디어의 소비 환경이 확대되었다. 이는 소비 매체들을 이용하여 한가지 미디어에 대한 서비스를 단 방향으로 제공 받는 환경에서, 단말과 통신기술의 발달로 다양한 정보를 동시에 소비할 수 있는 환경으로 진보하였고, 소비자가 원하는 정보만을 얻기 위한 미디어 소비의 보편화가 흐름을 주도하고 있다.

MPEG(Mathematical programming with equilibrium constraints)-2 시스템(파트(Part) 1)은 방송을 위한 시스템으로, 비디오와 오디오 데이터의 동기화와 다중 송신을 정의한다. 그리고 상기 MPEG-2 시스템은 새로운 프로그램의 추가 및 기존 프로그램의 삭제가 자유롭고, 비디오와 오디오의 동기화를 위해 188 바이트 단위로 다중화되어있어 편집 및 일부 프로그램만의 재생을 위해서는 역다중화가 필요하며, 새로운 코덱이 만들어질 때마다 전송을 위한 스펙이 개정된다.

또한 MPEG-4 시스템은 파일의 저장을 위한 시스템으로, 편집 및 외부 리소스 참조를 위한 메타 데이터와 미디어 데이터로 구성된다. 그리고 상기 MPEG-4 시스템은 새로운 프로그램의 추가 및 기존 프로그램의 삭제가 쉽지 않고, 메타 데이터를 모두 갱신해야 하며, 새로운 코덱이 만들어질 때마다 전송을 위한 스펙이 개정된다.

이러한 종래 멀티미디어 시스템에서는 프로그램의 추가 및 삭제를 동적으로 수행할 수 없고, 전송이나 저장 계층에서 코덱에 대한 이해없이 미디어를 다룰 수 없었으며, 전송과 저장에 공통으로 사용될 수 있는 저장소(container)가 없었다.

본 발명은 멀티미디어 시스템에서 프로그램의 추가 및 삭제를 동적으로 수행하기 위한 적응적 미디어 구조를 송수신하는 방법 및 장치를 제공한다.

또한 본 발명은 멀티미디어 시스템에서 전송이나 저장 계층에서 코덱에 대한 이해없이 적응적 미디어 구조를 송수신하는 방법 및 장치를 제공한다.

또한 본 발명은 멀티미디어 시스템에서 전송과 저장에 공통으로 사용될 수 있는 저장소를 포함하는 적응적 미디어 구조를 송수신하는 방법 및 장치를 제공한다.

본 발명에 따른 멀티미디어 시스템에서 적응적 미디어 구조를 송신하는 방법은, 부호화된 미디어 데이터를 포함하는 MFU(Media Fragment Unit) 및 MPU(Media Processing Unit)를 하나의 에셋(Asset)으로 구성하는 과정과, 상기 구성된 에셋을 CI(Composition information)에 포함시켜 송신하는 과정을 포함한다.

도 1은 본 발명에서 MPU 및 MFU 설계가 요구되는 경우의 동작을 나타낸 도면,
도 2는 본 발명의 제3 실시 예에 따른 EDC와 start code를 사용한 동작을 나타낸 도면,
도 3은 본 발명의 제4 실시 예에 따른 MPU내의 Asset 식별자와 Sequence number를 이용한 논리적 Asset 구성을 나타낸 도면,
도 4는 본 발명의 제5 실시 예에 따른 IDR Picture와 B,P picture가 decoding 순서로 배열된 Closed GOP에서 presentation 정보 제공 방법을 나타낸 도면,
도 5는 본 발명의 제5 실시 예에 따른 IDR picture와 B,P picture가 presentation 순서로 배열된 Closed GOP에서 decoding 순서정보 제공 방법을 나타낸 도면,
도 6은 본 발명의 제5 실시 예에 따른 CRA picture와 B,P picture가 decoding 순서로 배열된 Open GOP에서 presentation 순서정보 제공 방법을 나타낸 도면,
도 7은 본 발명의 제5 실시 예에 따른 CRA picture와 B,P picture가 presentation 순서로 배열된 Open GOP에서 decoding 순서정보 제공 방법을 나타낸 도면,
도 8은 본 발명의 제6 실시 예에 따른 MPU구조에서 재생하려는 시점을 찾아 재생하는 방법을 나타낸 도면,
도 9는 본 발명의 제8 실시 예에 따른 MFU box의 구조를 나타낸 도면,
도 10은 본 발명의 제9 실시 예에 따른 mfu_ Box의 구조를 나타낸 도면,
도 11은 본 발명의 제10 실시 예에 따른 mpu_ Box와 mfu_ Box의 구조를 나타낸 도면.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

본 발명의 주요한 요지는 멀티미디어 시스템에서 프로그램의 추가 및 삭제를 동적으로 수행하고, 전송이나 저장 계층에서 코덱에 대한 이해없이 적응적 미디어 구조를 송신하며, 전송과 저장에 공통으로 사용될 수 있는 저장소(container)를 포함하는 적응적 미디어 구조를 제공하기 위하여, MFU(Media Fragment Unit) 및 MPU(Media Processing Unit)의 설계와 이를 이용하는 전송 및 저장계층의 동작을 제공하는 것이다.

이를 위해 본 발명의 실시 예에 따른 멀티미디어 시스템에서 적응적 미디어 구조를 송수신하는 방법 및 장치에 대하여 상세히 설명하기로 한다.먼저, 현재(w12690참조)까지 논의된 인캡슐레이션(Encapsulation) 계층과 전송 계층의 동작은 다음과 같다.

먼저, 코덱 계층(Codec layer)에서 작성된 부호화 미디어 데이터(coded media data)는 네트워크 추상 계층 단위(Network Abstraction Layer Unit, NALU)로 부호화되어 하위 계층으로 전달된다.

MMT(MPEG Media Transport)의 경우 이와 같은 부호화된 미디어 데이터를 MFU으로 감싸고, 다시 MPU으로 감싸 하나의 에셋(Asset)을 구성하게 된다. 상기 Asset은 다시 여러 개의 Asset들과 그들의 관계를 표현하는 MMT-CI(Composition Information)에 의해 시/공간적으로 표현 및 소비되어진다.

MMT-CI는 시그널링 메시지(Signaling message)를 통해 수신측에 주기적으로 전송되어 어떤 컨텐트가 방송되고 있는지 또는 재생가능한 지에 대하여 알 수 있게 한다. Asset은 전송 계층을 통해 전송되어 수신측에서 CI와 함께 결합해 필요한 Asset만을 수신하여 사용한다.

MFU_Header(){
MFU_Information(){
mfu_length;
header_length;
start_end_indicator;
}
MFU_Indicator(){
priority;
If(priority != 0)
dependency_counter;
}
}
MFU_Payload()

상기 <표 1>은 본 발명에서 적용되는 MFU의 구조를 나타낸다. 현재의 MFU는 MFU 자신의 길이와 헤더의 길이, MFU가 담고 있는 AU(Access Unit)의 부분이 하나의 온전한 AU중 어디에 위치하는지 (시작, 중간 또는 끝), MFU가 AU내에서 어떤 우선순위를 가지는 지, 및 몇 개의 다른 MFU가 이 MFU를 참조하는지 등을 나타내고 있다.

MPU_Header(){
MPU_Information(){
mpu_length;
header_length;
}
MPU_Identifier(){
rap_flag;
mpu_sequence_number;
}
MPU_Internal(){
number_of_au;
for(int i=0; i<number_of_au; i++){
au_length;
}
}
private_header_flag;
if(private_header_flag == 1){
MPU_Private(){
private_header_length
private_header
}
}
}
MPU_Payload()

<표 2>는 본 발명에서 적용되는 MPU의 구조를 나타낸다. 현재의 MPU 는 MPU 자신의 길이와 헤더의 길이, MPU에 RAP(Random Access Point)가 있는지 여부와 Asset내 MPU중 몇 번째 MPU인지를 나타내는 시퀀스 번호, MPU가 담고 있는 AU의 개수와 각각의 길이, 그리고 향후의 확장을 위해 프라이빗 헤더(private header)를 담고 있다.

MMT_Asset() {
asset_identification
asset_type
asset_codepoint
mpu_index_flag
if(mpu_index_flag == '1')
no_of_mpu
for(i=0;i< no_of_mpu; i++){
mpu_position
}
}
T.B.D
asset_length
For(i=0;i<no_of_mpu;i++){
MPU()
}
}

<표 3>은 본 발명에서 적용되는 Asset의 구조를 나타낸다. 현재의Asset은 식별자, 미디어 타입, 호환성 식별을 위한 Code point, MPU의 개수, 각 MPU의 위치, 전체 Asset의 길이, 그리고 MPU를 담고 있다.

제1 실시 예

상기 <표 1>에서 MFU는 MFU가 AU인지 슬라이스(Slice)인지를 구분할 수 있는 타입(type)을 가지는 것이 바람직하다. MFU가 AU라면 우선순위(Priority) 및 종속 카운터(Dependency counter)와 같이 하나의 AU내에서 MFU가 가지고 있는 AU 부분에 대한 의미를 표현하는 속성들은 제공할 필요가 없다.

따라서 본 발명의 제1 실시 예에서는 아래 <표 4>와 같이 MFU type이 AU인 경우에는 Priority와 dependency counter는 제공하지 않으며 MFU type이 AU가 아닌 경우에는 Priority와 dependency counter를 제공하도록 하는 것이 제안된다.

만약 AU가 아닌 type에는 AU의 부분만이 존재한다면, mfu_type은 <표 5>와 같이 start_end_indicator를 사용해 표현될 수 있으며, 이 경우 start_end_indicator의 값이 온전한 AU를 지시하면 mfu_type의 값이 AU인 것과 같이 동작하도록 하는 것이 바람직하다.

MFU_header(){

mfu_type;

if(mfu_type == AU){

}
else(mfu_type != AU){
priority;
dependency_counter;
}

}

MFU_header(){

mfu_type;

if(start_end_indicator == AU){

}
else(start_end_indicator != AU){
priority;
dependency_counter;
}

}

제2 실시 예

도 1은 본 발명에서 MPU 및 MFU 설계가 요구되는 경우의 동작을 보이고 있는 것으로, 전송오류에 강건한 MPU 및 MFU 설계의 필요성을 보이고 있다.MPU는 도 1과 같이 전송 또는 저장 계층에서 일부 MFU가 효율적인 전송 또는 저장을 위해 전송되어지지 않는 것을 허용하는 것이 바람직하다. MPU가 전송될 때 전송계층은 MPU를 조각내어(fragmentation) MMT 패킷에 실어 전송한다. MMT 패킷은 다양한 전송 경로상의 에러를 고려하여 ARQ 및 FEC등으로 그 전송을 보장하려고 하지만, 그래도 전송이 실패하는 경우 MMT Packet 단위로 전송이 실패하게 된다. 여러 개의 MMT Packet은 하나의 MPU에 대응되고, 하나의 MPU는 여러 개의 MFU에 대응되지만 MMT Packet과 MFU의 대응은 전송효율상 고려하지 않는다. 따라서 수 개의 MMT Packet이 손실되면 이것이 어떤 MFU의 어디부터 어디까지 전송되지 않은 것인지 알 수 없다.

MPU는 현재 설계에서 <표 2>와 같이 AU의 정보를 옵셋(offset)으로 표현하고 있으므로 전송 또는 저장계층에 의해 페이로드(Payload)의 일부가 누락/손상된 경우, offset에 기반한 정보는 모두 신뢰할 수 없는 데이터가 되며 완전한 상태(integrity)를 확인할 방법도 현재 제공하고 있지 않다.

따라서 본 발명의 제2 실시 예에서는 MPU가 MFU를 지시하는 개선된 방법을 제안하고, MPU 및 MFU가 integrity를 확인하는 방법을 제안한다.

전술한 바와 같이 MPU는 AU를 구성하는 MFU들을 묶기 위해 offset을 사용하고 있으나 일부 MMT Packet의 누락이 발생하면 누락된 MMT Packet이 싣고 있던 MFU 이후의 AU정보는 모두 무효화되어야 한다. 따라서 offset보다는 AU를 구성하고 있는 MFU가 무엇인지 지시하는 것이 필요하다.

MFU를 지시하기 위해 AU가 MFU의 개수를 표현할 수 있다. 아래 <표 6>은 MPU에서 AU를 구성하는 MFU의 개수를 표현하는 방법이다.

mpu_header(){

number_of_au;
for(...){
number_of_mfu; //3개, 4개,3개, ...
}}

이 경우 전체 MFU의 개수가 표현된 것과 다르면 누락된 MFU가 있다는 것을 알 수 있다. 하지만 이 경우 만약 3번째 MFU가 누락되면 payload내의 MFU에 대한 분석만으로는 어떤 MFU가 누락되었는지는 여전히 알 수 없다는 단점이 있다.

따라서 <표 7>과 같이 MFU는 ID를 가지고, <표 8>와 같이 MPU에서는 AU마다 어떤 MFU들을 포함하는 지 서술하는 것이 필요하다. 아래 <표 7>은 Mfu_id가 적용된 MFU를 나타낸 것, <표 8>은 Mfu_id를 지시하는 MPU의 AU 정보를 나타낸 것이다.

Mfu_header(){

mfu_id;

}

mpu_header(){

number_of_au;
for(i=0;i<number_of_au;i++){
number_of_mfu;
for(j=0;j<number_of_mfu;j++){
mfu_id;
}
}

}

상기 <표 8>과 같이 작성하면 중간에 임의의 MFU가 누락되어도 AU의 정보가 유효할 수 있다는 장점이 있다.

제3 실시 예

한 편, MFU의 누락에 있어, 그 누락이 MFU 단위로 발생할 때와 MFU의 경계를 유지하지 않고 발생할 때를 구분해야 한다. 누락이 MFU 단위로 발생할 때에는 MFU의 ID를 사용해 어떤 AU에 속하는 MFU가 누락되었는 지를 감지할 수 있으나 도 1과 같이 MFU의 일부분 - 예를 들어 헤더 정보 - 이 누락되었을 때에는 MFU의 Parsing에 있어 문제가 발생한다.

이와 같이 MFU의 일부가 누락되었을 때 이를 감지하고, 다음의 유효(valid)한 MFU를 찾아내기 위해서는 시작 코드(start code)와 EDC(error detection code)의 사용이 요구된다.

아래 <표 9>는 start code를 사용해 MFU의 경계를 감지하고 EDC 를 사용해 validity를 검증하는 예를 나타낸 것이다.

Mfu_header(){
Start_code;
EDC;

}

도 2는 본 발명의 제3 실시 예에 따른 EDC와 start code를 사용한 동작을 보이고 있다.

도 2에서 전송된 패킷중 적색 음영처리한 구간에 해당하는 MMT Packet에 전송오류가 발생한 경우를 가정하고 있다. 이때 MFU1번의 중간 이후와 MFU2번의 중간 이전이 MMT Packet 손실로 누락된다. 이에 따라 수신패킷과 같이 MFU1의 header및 payload 일부와 MFU2의 payload 일부로 이루어진 MFU1'수신된다.

MPU 처리기는 MFU1의 header 정보 중 EDC를 읽고 MFU1의 길이만큼의 데이터에 대해 에러 감지 프로세스를 수행한다. 이에 따른 값과 EDC값을 비교하면 다른 값이 나오므로 MFU1은 오류가 발생했다는 것을 알 수 있다. 문제가 되는 MFU1에 대한 수행을 보류하고 다음 MFU를 찾기 위해 예상되는 MFU1의 종료지점으로부터 이전 및 이후에 대해 start_code의 탐색을 수행한다. Start_code는 약속된 패턴을 갖는 값으로, 00 00 01B 또는 'M''F''U'와 같이 반복될 확률이 낮은 패턴으로 결정하여 사용한다. 탐색을 수행하여 start_code를 발견하고, 이후 나오는 EDC를 사용해 에러 감지 프로세스를 수행하여, valid한 MFU임이 확인되면, 해당 MFU의 mfu_id를 인지해 어떤 MFU가 누락 또는 손실되고 어떤 MFU가 valid한지 알아낼 수 있다.

제4 실시 예

MPU는 전후의 다른 MPU에 대한 억세스의 필요 없이 독립적으로 프로세싱할 수 있는 단위이다.

현재의 MPU는 모여서 Asset이 되고, Asset header에는 해당 Asset에 속한 MPU의 개수와 각각의 길이 등이 포함된다.

하지만 방송을 고려했을 때 Asset은 무한히 긴 길이를 가질 수 있다는 점 및 방송의 중간에 청취를 개시했을 때 Asset의 header를 찾아 억세스한 후 다시 현재 방송 시점에 해당하는 MPU를 찾아와야 한다는 점 등을 고려했을 때, Asset이 어떤 MPU를 가지는지 서술하는 것보다, MPU가 어떤 Asset에 포함되는지 서술하는 것이 훨씬 효율적이다. 또한 MPU가 재생을 위해 필요한 초기화 정보를 포함하고 있는 것이 효율적이다.

이에 따라 <표 3>과 같이Asset header가 가지고 있는 정보중 식별자(asset_identification)는 MPU에 포함시키는 것이 바람직하다. Asset_type 및 Asset_codepoint는 Asset을 소비하기 전에 판단의 근거로 사용할 정보이므로 CI에 포함시키는 것이 바람직하다. No_of_mpu, mpu_position 및 Asset_length은 파일로 저장되지 않는 한 의미가 없는 값으로 Asset에서 분리하여 MMT Package를 file로 저장할 때 서술할 정보 중의 하나로 포함시키는 것이 바람직하다.

이에 따라 MPU가 <표 10>과 같이 구성되면 도 3같이 여러 개의 MPU가 섞여 있을 때, 같은 Asset_식별자(Asset_id)를 가지는 MPU끼리 시퀀스_넘버(sequence_number)를 가지고 전후관계를 파악하여 사용되는 것이 바람직하다.

mpu_header(){

asset_id;
sequence_number;

}

도 3은 본 발명의 제4 실시 예에 따른 MPU내의 Asset 식별자와 Sequence number를 이용한 논리적 Asset 구성을 보이고 있다.

도 3에서와 같이, Asset 식별자와 Sequence number에 부가로 패키지의 식별자를 사용하면 MPU는 CDN 및 Cache등 네트워크 노드에서 독립적으로 저장되고 전송되는 단위로 사용될 수 있다.

제5 실시 예

본 발명의 제5 실시 예는 MPU의 시간 미디어 전송을 위한 부가 정보에 관한 것이다.

MPU는 시간 또는 비시간 미디어를 전송/저장하기 위한 단위이다. MPU가 전송하는 미디어의 종류를 구별하기 위해 mpu_type 속성을 제공하는 것이 바람직하다. MPU의 header정보는 mpu_type에 따라 시간 미디어의 특징 정보들, 비시간 미디어의 특징 정보들을 포함하게 될 것이므로 mpu_type의 사용은 효율적인 헤더 구조를 위해 필요한 정보라고 할 수 있다.

Mpu_header(){

mpu_type; //AU_SET, NON_TIMED

}

상기 <표 11>은 Mpu_type을 갖는 MPU를 나타낸 것이다.

만약 MPU의 데이터가 하나 또는 여러개의 AU로 구성된 시간 미디어라면 mpu_type은 AU_SET을 갖게 된다. 만약 MPU의 데이터가 비시간 미디어라면 mpu_type은 NON_TIMED을 갖게 된다.

현재의 MPU는 AU의 시간값을 가지고 있지 않으므로 mpu_type이 AU_SET인 경우 포함하고 있는 AU들의 시간값을 제공하는 것이 필요하다.

AU의 시간은 프리젠테이션 시간(presentation time) 및 디코딩 시간(decoding time) 등이 있으며, 부가적으로 디코딩 오더(decoding order) 및 프리젠테이션 듀레이션(presentation duration) 등을 고려할 수 있다.

AU는 일정한 시간 간격으로 배열되는 경우와 임의의 시간 간격으로 배열되는 경우를 고려할 수 있다. Presentation time의 간격은 duration으로 표현될 수 있으므로 default duration을 제공하면 presentation 순서로 배열된 AU들의 시간 표현 및 간격 표현을 제공할 수 있다.

임의의 시간 간격 배열을 표현하기 위해서는 <표 12>와 같이 default duration을 0으로 제공하면 AU마다 duration을 제공하도록 field을 on/off하거나, <표 13>과 같이default duration에 부가로 임의 AU에 duration을 제공하면 해당 AU만 별도의 duration을 갖고 나머지 AU는 default duration을 가지는 것으로 표현할 수 있다. 아래 <표 12> 및 <표 13>은 일정 또는 임의의 시간 길이를 갖는 AU의 표현 방법을 나타낸 것이다.

Mpu_header(){

number_of_au;
default_duration_of_au;
for(i=0; i<number_of_au;i++){
if(default_duration == 0){
duration_of_au;
}

}

}

Mpu_header(){

number_of_au;
default_duration_of_au;
for(i=0; i<number_of_au;i++){
duration_flag;//NONE, ARBITRARY_DURATION
if(duration_flag == ARBITRARY_DURATION){
duration_of_au;
}

}

}

각 시간 간격으로 배열된 AU의 순서는 presentation 순서와 decoding 순서, 그리고 임의의 순서를 고려할 수 있다.

Presentation 순서로 배열된 경우 decoding 순서를 별도로 제공해야 한다.

Decoding 순서로 배열된 경우 presentation 순서를 별도로 제공해야 한다.

임의의 순서인 경우 decoding과 presentation 순서를 별도로 제공해야 한다.

AU에 따라 어떤 AU는 다른 AU와의 의존관계에 따라 이전 AU의 decoding없이 재생이 가능한 RAP(Random Access Point)인 경우가 있으므로 이에 대한 표현은 RAP_flag를 통해 제공하도록 한다.

Mpu_header(){

number_of_au;
if(number_of_au > 1){
order_of_au;//PRESENTATION, DECODING, UNKNOWN
}
for(i=0; i<number_of_au;i++){
if(order_of_au == PRESENTATION){
decoding_order;
}
else if(order_of_au == DECODING){
presentation_order;
}
else if(order_of_au == UNKNOWN){
decoding_order;
presentation_order;
}
rap_flag;// TRUE,FALSE

}

}

상기 <표 14>는 여러가지 AU 배열에 따른 순서정보 제공에 대한 것으로, AU의 개수가 1개보다 많은 경우 AU간의 순서에 대한 부가 정보를 제공하는 방법을 제안하고 있다. 만약 AU가 1개라면 다른 AU와의 관계에서 발생하는 순서값은 성립되지 않는다.

전술한 order_of_au와 presentation_order 또는 decoding_order를 조합하면 도 4 내지 도 7과 같이 MPU내에서 AU가 배치된 형태를 모두 표현할 수 있다.

도 4는 본 발명의 제5 실시 예에 따른 IDR Picture와 B,P picture가 decoding 순서로 배열된 Closed GOP에서 presentation 정보 제공 방법을 보이고 있다. 본 발명에서 제안하는 AU 정보 표현방법은 AU의 order 종류(DECODING=Decoding순서로 배열), 각 AU들의 Presentation_order번호, RAP여부를 제공한다.

이에 따라 도 4와 같이 decoding 순서로 배열된 Closed GOP는 도18의 아래와 같이 presentation order로 재배열 가능하고 RAP로부터의 재생이 가능하다.

도 5는 본 발명의 제5 실시 예에 따른 IDR picture와 B,P picture가 presentation 순서로 배열된 Closed GOP에서 decoding 순서정보 제공 방법을 보이고 있는 것이다. 도 5의 위와 같이 presentaton 순서로 배열된 Closed GOP는 도 5의 아래와 같이 decoding order로 재배열 가능하고 RAP로부터의 재생이 가능하다.

도 6은 본 발명의 제5 실시 예에 따른 CRA picture와 B,P picture가 decoding 순서로 배열된 Open GOP에서 presentation 순서정보 제공 방법을 보이고 있다. 도 6을 참조하면, 도 6의 위와 같이 decoding순서로 배열된 Open GOP는 도 6의 아래와 같이 presentation order로 재배열 가능하고 RAP로부터의 재생이 가능하다. B4와 B5는 이른바 leading picture로, CRA6에 비해 decoding순서는 늦지만 presentation순서가 앞서므로, RAP여부와 presentation order, decoding order를 고려하면, 디코더에 해당 picture들을 입력값으로 전달하기 전에, 해당 picture(B4, B5)를 디코더에 넣지 않거나 디코딩은 하되 사용하지 않는등의 판단을 내리는 것이 가능하다.

도 7은 본 발명의 제5 실시 예에 따른 CRA picture와 B,P picture가 presentation 순서로 배열된 Open GOP에서 decoding 순서정보 제공 방법을 보이고 있다. 도 7을 참조하면, 도 7의 위와 같이 presentation순서로 배열된 Open GOP는 도 7의 아래와 같이 decoding 순서로 재배열 가능하고 RAP로부터의 재생이 가능하다.

제6 실시 예

본 발명의 제6 실시 예는 MPU의 독립적 사용을 위한 디코더 설정 정보에 대한 것이다.

MPU는 전후의 다른 MPU에 대한 접근없이 독립적으로 사용될 수 있는 단위이다. 이에 따라 MPU가 가지고 있는 AU들에 대한 디코더 설정 정보를 포함하고 있는 것이 바람직하다.

디코더 설정 정보는 MPU의 type이 AU인 경우 제공되어질 필요가 있으며 시구간에 따라 복수개의 디코더 설정 정보가 제공되는 경우, 해당 디코더 설정 정보가 적용되어질 AU의 부가정보로서 제공되는 것이 바람직하다.

Mpu_header(){

number_of_au;

for(i=0; i<number_of_au;i++){

decoder_config_flag; //TRUE, FALSE
if(decoder_config_flag == TRUE){
sps;
pps;
extra_decoder_configuration;
}
}
}

상기 <표 15>는 디코더 설정 정보를 제공하는 MPU의 header구조를 도시하고 있다. 디코더 설정 정보는 SPS(Sequence Parameter Set), PPS(Picture Parameter Set), DCT, Motion vector 등의 정보가 있으며 해당 정보들은 NAL Unit의 연속된 열 형태로 제공된다.

따라서 <표 16>과 같이 본 발명을 따르는 MPU를 RAP로부터 임의 억세스하는 경우 도 8과 같은 순서로 디코딩 프로세스를 처리하는 것이 제안된다.

Mpu_header(){
mpu_length;
mpu_type;
asset_id;
sequence_number;
if(mpu_type == AU_SET){
number_of_au;
default_duration_of_au;
if(number_of_au > 1){
order_of_au; //PRESENTATION,
//DECODING, UNKNOWN
}
for(i=0;i<number_of_au;i++){
if(default_duration == 0){
duration_of_au;
}
if(order_of_au == PRESENTATION){
decoding_order;
}
else if(order_of_au == DECODING){
presentation_order;
}
else if(order_of_au == UNKNOWN){
decoding_order;
presentation_order;
}
rap_flag;// TRUE,FALSE

number_of_mfu;
for(j=0;j<number_of_mfu;j++){
mfu_id;
}
}
}
else if(mpu_type == FILE){

}
}

도 8은 본 발명의 제6 실시 예에 따른 MPU구조에서 재생하려는 시점을 찾아 재생하는 방법을 보이고 있다.

도 8을 참조하면, MPU에서 재생하려는 시점을 찾는 프로세스 또는 재생장치는, (1) 먼저 MPU의 Asset ID와 Sequence number를 검토하여 재생하려는 시간이 들어있는 MPU인지 확인한다. 그 다음, (2) mpu_type을 확인하여 (3) AU_SET 타입인지 확인한다. AU_SET이면 (4) AU의 개수(number_of_au)를 확인한다. (5) 만약 AU의 개수가 1이면 MMT-CI에서 지시하는 MPU의 시작시간이 곧 AU의 시작시간이므로 더 이상의 검색을 진행하지 않고 종료한다. 만약 2개 이상의 AU가 있다면, (6) AU가 어떤 순서로 배열되었는지 확인한다. AU가 presentation order이면 AU의 duration을 더하는 것으로, 원하는 위치의 AU를 찾을 수 있고, decoding order나 unknown이라면 presentation order로 변환시켜 (7) 원하는 위치의 AU를 찾는 것이 필요하다. 이에 따라 AU를 검색하는 과정에서, (9) AU가 RAP라면 (10) 향후 사용을 위해 가장 최근의 RAP 로서 AU의 번호를 저장해둔다. (8,9,10,11) 이러한 과정을 반복하면 마침내 재생하려는 시간에 해당하는 (13) AU의 번호를 알 수 있고, (12) 만약 이 AU가 RAP가 아니라면 전술한 (14) 가장 최근의 RAP 번호로부터 재생을 개시한다.

제7 실시 예

본 발명의 제7 실시 예는 MPU의 비시간 미디어 전송을 위한 메타 정보에 대한 것이다.

MPU가 비시간 미디어를 전송하는 경우, MPU에는 하나 또는 그 이상의 비실시간 미디어가 포함될 수 있으며 해당 미디어를 파일로 처리한다.

파일은 이름과 크기 정보를 제공한다.

파일은 특성상 데이터 손실에 민감하기 때문에 EDC 정보를 제공한다. 손실을 허용하지 않으므로 AU_SET과는 달리 offset과 사이즈(size) 기반으로 MPU payload내의 파일(File)의 시작과 끝을 지시해도 무방하다. 아래 <표 17>은 파일을 전송하는 MPU header 구조를 나타낸 것이다.

Mpu_header(){

mpu_type;

if(mpu_type == NON_TIMED){
number_of_file;
for(i=0;i<number_of_file;i++){
file_name;
file_offset;
file_size;
file_edc;
}
}
}

제8 실시 예

본 발명의 제8 실시 예에서는 본 발명에서 제안된 MFU와 MPU를 MPEG-4에서 사용하고 있는 ISO Base Media File Format(ISOFF)을 활용해 표현하는 방법에 대해 제안한다.

ISOFF는 MFU에 해당하는 단위, 즉 subsample단위로 부호화된 미디어를 저장하거나 전송하지는 않지만 부호화된 미디어를 나타내기위해 전체 트랙 또는 Fragment의 단위로 subsample 의 정보는 표현하고 있다. 따라서 subsample의 정보를 표현하는 방법을 ISOFF에서 취해와 표현하는 방법에 대해 논의한다.

상기 <표 18>은 현 ISOFF의subs Box (SubSampleInformationBox)의 구조를 나타낸 것이다. 상기 <표 18>은 ISOFF에서 subsample의 정보를 표현하는 방법인 'subs' Box이다. 도시된 바와 같이 하나의 subs 박스는 한 트랙의 전체, 또는 한 fragment의 전체 샘플이 가진 subsample의 구조에 대한 테이블을 제공한다.

하지만 MMT의 MFU는, 각 MFU가 priority나 dependency_counter등을 근거로 한 판단에 따라 삭제되어질 수 있도록 설계되었으므로 트랙 전체나 fragment 전체에 대한 하나의 테이블은 MFU의 삭제를 불가능하게 한다.

따라서 도 9와 같이 mfu_ Box를 만들고 매 mfu_ Box마다 subs가 하나씩 포함되도록 구성하는 것이 바람직하다. 도 9는 본 발명의 제8 실시 예에 따른 MFU box의 구조를 보이고 있다.

종래 MFU의 구조에 따라 mfu_ Box는 아래 <표 19>와 같이 구성된다:

aligned(8) class MediaFragmentUnitBox
extends Box('mfu'){
uint(32) mfu_id;
SubSampleInformationBox;
data[];
}

상기 <표 19>는 mfu_ Box의 syntax를 나타낸 것이다. <표 19>에서 mfu_id는 mfu의 식별자로, MPU내에서 유일한 값을 갖는다. mfu_id의 값은 의미있는 값들의 조합 또는 일정한 크기로 증가하는 값 등이 가능하다.

SubSampleInformationBox는 subs Box(<표 20>)로, MFU의 목적에 맞게 사용하기 위해 다음과 같이 그 값을 제한(restrict)하여 사용한다.

aligned(8) class SubSampleInformationBox
extends FullBox('subs', version, 0) {//version is 0
unsigned int(32) entry_count;//always 1
int i,j;
for (i=0; i < entry_count; i++) {
unsigned int(32) sample_delta;//always zero
unsigned int(16) subsample_count;//always 1
if (subsample_count > 0) {
for (j=0; j < subsample_count; j++) {
if(version == 1) {
unsigned int(32) subsample_size; }
else {
unsigned int(16) subsample_size; }//mfu data size
unsigned int(8) subsample_priority;
unsigned int(8) discardable;
unsigned int(32) dependency_counter;
}
}
}
}

상기 <표 20>은 SubSampleInformationBox를 나타낸 것이다. <표 20>에서 version이 1인 경우, subsample의 priority를 나타낼 수 없으므로 version은 0으로 고정해야 한다. entry_count는 subs가 나타내는 subsample의 개수로, MFU-subs는 각각 하나씩 pair구조를 가지므로 entry_count의 값은 항상 1로 고정해야 한다. entry_delta는 이전에 표현한 sample대비 현재 표현하는 sample간 개수의 차이므로 하나의 sample에 대해 여러개의 MFU-subs pair가 존재하는 경우 entry_delta의 값은 0이다. Subsample_count도 MFU-subs는 각각 하나씩 pair구조를 가지므로 항상 1로 고정해야 한다. Subsample_size는 MFU가 포함하는 data, 즉 부호화된 미디어의 크기를 지시하도록 한다. (도 9에서 data Box의 크기)

한편, dependency_counter에 해당하는 값이 없으므로 reserved인 32비트는 dependency_counter로 그 값을 할당하도록 한다.

제9 실시 예

상기에서 설명한 제8 실시 예의 또 다른 방법으로, MFU의 구조는 도 10과 같을 수 있다.

도 10은 본 발명의 제9 실시 예에 따른 mfu_ Box의 구조을 보이고 있다.

상기 설명한 제8 실시 예와의 차이는 data Box가 mfu_ Box 내에 포함되어있는지의 여부이다.

단순히 data가 mfu_ Box의 바깥에 존재하는 것 이외에 MFU의 operation상 하나의 MFU-data pair가 온전히 삭제될 수 있도록 하기 위해서는 어떤 mfu_ Box와 어떤 data Box가 pair인지의 정보가 제공되어야 한다.

이에 따라 mfu_ Box에 존재하는 정보 중 subs Box의 subsample_size 정보와 data Box의 크기가 같은 경우 pair로 인지하여 MFU 삭제시 크기를 확인하는 단계를 거치는 것이 바람직하다.

즉, mfu_ Box와 data Box를 필요에 따라 삭제할 시에는 mfu_ Box내의 subs Box내의 subsample_size가 data Box의 크기와 일치하는지 확인하고, 만약 크기가 같을 경우에는 pair로 인지하여 mfu_ Box와 data Box를 삭제한다. 만약 크기가 다를 경우에는 MPU내에 크기가 일치하는 다른 data Box가 있는 지 확인하는 단계를 거치는 것이 바람직하다.

제10 실시 예

본 발명의 제10 실시 예에서는 본 발명의 제8 실시 예와 같은 목적으로, ISOFF를 활용해 MPU를 표현하는 방법에 대해 제안한다.

ISOFF는 MPU의 AU에 해당하는 단위, 즉 Fragment내의 Sample단위로 표현하는 방법을 가지고 있다. 하지만 MPU가 가진 모든 정보를 표현하고 있는 것은 아니므로 기존의 표현 방법 중 tfhd, trun Box를 활용하고, 이를 확장하는 방법에 대해 제시한다.

현 tfhd Box의 구조는 아래 <표 21>과 같다:

<표 21>은 현ISOFF의 tfhd Box (TrackFragmentHeaderBox)의 구조를 나타낸 것이다. 상기 <표 21>은 ISOFF의 fragment에서 trun들이 표현할 sample들의 기본값(default value)를 지정하는 tfhd Box이다. <표 21>의 내용중 base_data_offset으로부터 default_sample_flags 까지의 field들은 tf_flags값에 따라 on/off되는 optional field들로, MPU의 default_duration_of_au를 tfhd의 default_sample_duration으로 나타내도록 한다. 이에 따라 tf_flags는 MPU에서 사용될 때 0x000008을 반드시 가지도록 한다.

현 trun Box의 구조는 아래 <표 22>와 같다:

상기 <표 22>는 현ISOFF의 trun(TrackRunBox) Box의 구조를 나타낸 것이다. 상기 <표 22>에서 하나의 trun Box는 fragment내의 sample들에 대한 정보를 제공한다. MPU의 정보들 중 trun을 사용해 나타낼 수 있는 정보는 number_of_au, presentation_order, duration_of_au 등이 있다. 이 중 number_of_au는 sample_count를 사용하여 나타내고 presentation_order와 duration_of_au는 결합하여 sample_composition_time_offset을 사용하여 나타내는 것이 바람직하다.

한편 decoding_order와 number_of_mfu, mfu_id는 trun에서 표현하고 있지 않으므로 decoding_order는 sample_decoding_order로 나타내고, number_of_mfu와 mfu_id는 시작 mfu의 id와 끝 mfu의 id를 지시하는 것으로 표현을 바꾸어 subsample_start_id, subsample_end_id로 표현하는 것을 제시한다.

decoding_order와 subsample_start_id, subsample_end_id를 optional field로서 제공하기 위해, 본 발명에서는 tf_flags를 아래와 같이 확장할 것을 제안한다:

- 0x001000 decoding-order-present: each sample in trun has its decoding order, otherwise samples are aligned in decoding order.

- 0x002000 subsample-start/end-id-present: each sample consists of subsample from subsample_start_id to subsample_end_id. It refers mfu_id in mfu_ box.

tf_flags의 값에 0x1000이 포함되는 경우, decoding_order가 존재하고, 포함되지 않는 경우 AU는 decoding 순서대로 정렬되어 있어야 한다.

tf_flags의 값에 0x2000이 포함되는 경우, AU를 구성하는 MFU의 ID는 subsample_start_id와 subsample_end_id를 사용해 지시한다. Subsample_start_id와 subsample_end_id가 지시하는 값은 MFU의 mfu_id값이다. MPU에서 trun Box를 사용할 때에는 tf_flags의 값 중 0x2000은 항상 사용되는 것이 권장된다.

이에 따라 trun Box는 아래 <23>과 같이 확장되는 것이 제안된다:

aligned(8) class TrackRunBox
extends FullBox('trun', version, tf_flags) {
unsigned int(32) sample_count;//number_of_au
{
unsigned int(32) sample_duration;
if (version == 0) {
uint(32) sample_composition_time_offset;
}
else {
int(32) sample_composition_time_offset;
}
uint(32) decoding_order;//flag=0x1000
uint(32) subsample_start_id;//flag=0x2000
uint(32) subsample_end_id; //flag=0x2000
}[ sample_count ]
}

상기 <표 23>은 확장된 trun Box를 나타낸 것이다. <표 23>에서 trun이나 tfhd에서 표현하고 있지 않은 MPU의 정보로는 asset_id, mpu_sequence_number, parameter_set 등이 있다.

Asset_id, mpu_sequence_number는 MMT의 구성요소로서 MPU가 동작하게 하기 위한 정보이므로 mpu_ Box를 새로 정의하여 포함시키는 것이 바람직하다.

또한 parameter set의 정보는 여러가지 Codec에 따라 그 표현 방식이 다르므로 확장성을 갖도록 하기 위해 type에 따라 그 data의 내용이나 형식이 달라질 수 있도록 Decoder Configuration Initialization Information을 정의하여 아래 <표 24>와 같이 나타내도록 한다:

DecoderConfigurationInitializationInformation (){
uint(32) type;
uint(32) length;
bit(8*length) InitializationInfoData;
}

상기 <표 24>는 Decoder Configuration Initialization Information을 나타낸 것이다.이에 따라 MPU는 도 11과 같은 구조를 가진다:

도 11은 본 발명의 제10 실시 예에 따른 mpu_ Box와 mfu_ Box의 구조를 보이고 있다.

도 11의 mpu_ Box의 실제 syntax는 아래 <표 25>와 같다.

aligned(8) class MMTProcessingUnitBox
extends Box('mpu'){
uint(32) asset_id;
uint(32) mpu_sequence_number;

DecoderConfigurationInitializationInformation;
TrackFragmentHeaderBox;
TrackRunBox;
}

상기 <표 25>는 MMTProcessingBox를 나타낸 것이다. <표 25>에서 asset_id는 해당 MPU가 속한 Asset의 ID를 지시한다. mpu_sequence_number는 Asset내의 이전 MPU 로부터 1 증가한 값이 해당 MPU의 sequence number가 된다.DecoderConfigurationInitializationInformation, TrackFragmentHeaderBox, TrackRunBox는 위에서 설명한 바와 같다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims

멀티미디어 시스템에서 적응적 미디어 구조를 송신하는 방법에 있어서,
부호화된 미디어 데이터를 포함하는 MFU(Media Fragment Unit) 및 MPU(Media Processing Unit)를 하나의 에셋(Asset)으로 구성하는 과정과,
상기 구성된 에셋을 CI(Composition information)에 포함시켜 송신하는 과정을 포함하는 송신 방법.