KR101345284B1 - 멀티미디어 컨텐츠 부호화/재생 방법 및 장치 - Google Patents

멀티미디어 컨텐츠 부호화/재생 방법 및 장치 Download PDF

Info

Publication number
KR101345284B1
KR101345284B1 KR1020060049042A KR20060049042A KR101345284B1 KR 101345284 B1 KR101345284 B1 KR 101345284B1 KR 1020060049042 A KR1020060049042 A KR 1020060049042A KR 20060049042 A KR20060049042 A KR 20060049042A KR 101345284 B1 KR101345284 B1 KR 101345284B1
Authority
KR
South Korea
Prior art keywords
metadata
media
mpeg
data
maf
Prior art date
Application number
KR1020060049042A
Other languages
English (en)
Other versions
KR20070011093A (ko
Inventor
김상균
김지연
노용만
양승지
Original Assignee
한국과학기술원
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 삼성전자주식회사 filed Critical 한국과학기술원
Priority to KR1020060049042A priority Critical patent/KR101345284B1/ko
Priority to PCT/KR2006/002862 priority patent/WO2007029916A1/en
Priority to US11/489,452 priority patent/US20080018503A1/en
Priority to EP06823602A priority patent/EP1917810A4/en
Publication of KR20070011093A publication Critical patent/KR20070011093A/ko
Application granted granted Critical
Publication of KR101345284B1 publication Critical patent/KR101345284B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Abstract

멀티미디어 컨텐츠 부호화/재생 방법 및 장치가 개시된다. 그 멀티미디어 컨텐츠 부호화 방법은 멀티미디어 컨텐츠로부터 미디어 데이터와 메타데이터를 분리하는 단계; 그 분리된 메타데이터를 이용하여 소정의 멀티미디어 응용 포맷(MAF)에 맞는 메타데이터를 생성하는 단계; 및 그 미디어 데이터와 상기 MAF에 맞는 메타데이터를 인코딩하여, 그 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 MAF 파일로 생성하는 단계를 포함함을 특징으로 한다.
본 발명에 의하면, 디지털 사진 및 그 밖의 멀티미디어 컨텐츠를 하나로 통합하여 MAF라는 응용 파일 형식으로 구성하는 과정에서, 사진 데이터, 사진 영상의 내용으로부터 얻는 비주얼 특징 정보, 사진의 효과적인 인덱싱을 위한 다양한 힌트 특징 정보를 메타데이터로 포함하고, 메타데이터에 기반을 둔 컨텐츠 활용 방법적 도구들을 포함함으로써, 사용자에게 특별한 어플리케이션이 없거나, 메타데이터를 활용하는 기능을 포함하고 있지 않더라도, 멀티미디어 컨텐츠를 효과적으로 브라우징할 수 있는 통합된 범용적 멀티미디어 컨텐츠의 소비가 가능하다.

Description

멀티미디어 컨텐츠 부호화/재생 방법 및 장치{Method and apparatus for encoding/playing multimedia contents}
도 1은 본 발명의 일 실시예에 의한 전체 시스템 구성도를 도시한 것이다.
도 2는 본 발명의 일실시예에 따른 사진 MAF를 효과적으로 구성하고 인코딩 및 디코딩하는 방법을 흐름도로 도시한 것이다.
도 3은 본 발명에 의한 메타데이터의 구성 요소 및 요소들의 구조도를 도시한 것이다.
도 4은 본 발명에 의한 미디어 앨범화 힌트 정보 서술 구조도이다.
도 5는 본 발명에 의한 사진 앨범화 힌트 정보의 사진 획득 힌트 정보 서술 구조도이다.
도 6는 본 발명에 의한 사진 앨범화 힌트 정보의 인지 힌트 정보 서술 구조도이다.
도 7은 본 발명에 의한 인물에 대한 정보를 나타내는 인물 힌트의 서술 구조를 상세하게 도시한 구조도이다.
도 8은 본 발명에 의한 사진의 구도 힌트의 서술 구조를 상세하게 도시한 구조도이다.
도 9는 본 발명에 의한 사진을 촬영할 당시의 정보 및 카메라 정보 등을 표 현하기 위한 서술 구조를 XML 스키마로 표현한 블록도이다.
도 10은 본 발명에 의한 사진의 내용에 대한 사람의 인지적 특성을 표현하기 위한 서술 구조를 XML 스키마로 표현한 블록도이다.
도 11은 본 발명에 의한 사진에 포함된 인물에 대한 정보를 표현하기 위한 서술 구조를 XML 스키마로 표현한 블록도이다.
도 12는 본 발명에 의한 사진의 구도 정보를 표현하기 위한 상세 서술 구조를 XML 스키마로 표현한 블록도이다.
도 13은 본 발명에 의한 미디어 활용 방법 데이터의 상세 구조도이다.
도 14는 본 발명에 의한 MAF 파일의 상세한 구조도이다.
본 발명은 멀티미디어 컨텐츠 처리에 관한 것으로서, 특히 멀티미디어 컨텐츠 부호화/재생 방법 및 장치에 관한 것이다.
멀티미디어 관련 국제 표준화 기구인 MPEG(Moving Picture Experts Group)은 1988년 MPEG-1을 시작으로 현재까지, MPEG-2, MPEG-4, MPEG-7, MPEG-21의 표준화 작업을 진행하고 있다. 이렇듯 여러 가지의 표준이 개발됨에 따라, 서로 다른 표준 기술을 조합하여 하나의 프로파일을 만들어야 할 필요성이 대두되었다. 이러한 움직임의 하나가 MPEG-A(MPEG Application: ISO/ICE 230000) 멀티미디어 응용 표준화 활동이다. 현재 음악 컨텐츠에 대한 응용파일 형식 표준화가 MPEG Music Player Application Format(ISO/IEC 23000-2)이라는 이름으로 수행되어 현재 완성 단계에 있고, 영상 특히 사진 컨텐츠에 대한 응용파일 형식 표준화가 MPEG Photo Player Application Format(ISO/IEC 23000-3)이라는 이름으로 시작 단계에 있다.
기존에는 하나의 단일 표준 내에서 필요한 요소 규격을 기능 툴(tool)의 집합으로 묶어 하나의 프로파일로 만들어 특정한 응용 서비스를 지원하는 방식을 취하였다. 그러나 이는 산업의 다양한 기술적 요구 사항을 하나의 표준으로 만족시키기 어렵다는 점 때문에 그 동안 문제가 되어왔다. 새로이 표준화가 진행 중인 멀티미디어 응용 형식(Multimedia Application Format, MAF)은 기존의 MPEG 표준들뿐만 아니라 비 MPEG 표준들을 함께 조합함으로써 산업의 요구를 적극적으로 반영하여 표준의 활용가치를 높이고자 한다. 상기 MAF 표준화의 주요 목적은 MPEG 기술을 쉽게 산업에서 이용할 수 있는 기회를 제공하는데 있다. 이렇게 함으로써 산업에서 필요로 하는 응용 서비스를 위해 별도의 표준을 새로 만드는 노력없이 이미 검증된 표준기술을 쉽게 조합할 수 있다.
현재 음악 MAF는 FDIS(Final Draft International Standard) 상태로 표준화가 거의 완성 단계에 있다. 이로써 기존에 재생만 하던 MP3 재생기의 기능을 확장하여, 음악을 장르에 따라 자동으로 분류하여 재생하거나, 음악을 듣는 동시에 가사를 보여주거나, 음악과 관련된 앨범재킷 사진 등을 브라우징 할 수 있게 되었다. 사용자들이 보다 향상된 음악 서비스를 받을 수 있는 파일형식이 마련된 것이다. 특히 최근 MP3 재생기가 휴대폰, 게임기(소니의 PSP) 또는 휴대형 멀티미디어 재생기(Portable Multimedia Player, PMP)에 탑재되는 등 소비자에게 인기가 높아지고 있다. 따라서 MAF를 이용한 향상된 기능의 음악 재생기를 상용화하는 것도 빠른 시일 내에 가능할 것이다.
사진 MAF의 형식 표준화 작업은 이제 시작 단계에 있다. MP3 음악과 마찬가지로, 디지털 카메라 시장이 꾸준히 증가하면서 디지털 카메라를 통하여 획득된 사진(일반적으로 JPEG) 데이터가 급속도로 증가하고 있다. 사진 데이터를 저장하는 매체(메모리 카드)가 소형화되고 집적화됨에 따라, 하나의 메모리 카드에 수백장의 사진을 저장할 수 있게 되었다. 그러나 증가하는 사진의 양과 비례적으로 사용자들이 사진을 관리하면서 느끼는 어려움은 증가하고 있다.
MPEG은 최근 몇 년간 MPEG-7이라는 이름으로 내용기반 검색/인덱싱에 필요한 요소 기술들을 서술자(descriptor)와 서술 구조(description scheme)로 표준화하였다. 서술자는 영상의 질감, 형태, 움직임 등의 내용기반 특징값을 추출하고 표현하는 방법을 정의하고, 서술구조는 컨텐츠를 모델링하기 위해 둘 이상의 서술자와 서술구조 간의 관계를 정의하며 데이터가 어떻게 표현될 것인지를 정의한다. 관련된 많은 연구를 통하여 MPEG-7의 유용성이 증명되었으나, 적절한 응용 형식의 부재로 산업에서의 활용이 늦어지고 있다. 사진 MAF는 이러한 문제점을 해결하기 위하여 사진 컨텐츠와 관련된 메타데이터를 하나의 파일에 함께 묶는 새로운 파일 형식을 표준화하고자 한다.
MPEG은 또한 MPEG-21이라는 이름으로 멀티미디어 통함 프레임 워크를 표준화하고 있다. 독자적인 멀티미디어 컨텐츠의 전달 및 이용을 위한 기반 구조들과 관리 체계 시스템으로 인하여, 컨텐츠의 표현 방식에 대한 호환성, 네트워크 전달 방 식, 단말 간의 호환성 등의 잠재적인 문제점을 해결하기 위해, 다양한 네트워크 및 장비를 통하여 멀티미디어를 투명하게 접근, 사용, 가공 및 재활용하는 새로운 규격을 제안하고 있다. MPEG-21은 디지털아이템(멀티미디어 컨텐츠 + 메타데이터)의 선언(declaration), 적응 변환(adaptation), 처리(processing) 등을 포함한다.
그러나 MPEG-7 및 MPEG-21의 이러한 기술들을 어떻게 MAF와 연동시키는지에 대한 문제는 해결되어야 할 과제로 남아 있다.
본 발명이 이루고자 하는 기술적 과제는 사용자가 효과적으로 사진을 브라우징할 수 있도록 하기 위하여, 사진 데이터, 사진 영상의 내용으로부터 얻는 비주얼 특징 정보, 사진의 효과적인 인덱싱을 위한 다양한 힌트 특징 정보를 메타데이터로 활용하여 MAF 파일로 인코딩하는 멀티미디어 컨텐츠 인코딩 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 사용자가 MAF 파일을 효과적으로 브라우징할 수 있도록 MAF 파일을 디코딩하여 재생하는 멀티미디어 컨텐츠 재생 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 디지털 사진 데이터와 관계된 메타데이터를 결합하는 새로운 멀티미디어 응용 포맷(MAF)을 제공하는 것이다.
상술한 기술적 과제를 해결하기 위한 본 발명에 의한 멀티미디어 컨텐츠 인코딩 방법은, (a) 멀티미디어 컨텐츠로부터 미디어 데이터와 메타데이터를 분리하 는 단계; (b) 상기 분리된 메타데이터를 이용하여 소정의 멀티미디어 응용 포맷(MAF)에 맞는 메타데이터를 생성하는 단계; 및 (c) 상기 미디어 데이터와 상기 MAF에 맞는 메타데이터를 인코딩하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 MAF 파일로 생성하는 단계를 포함함을 특징으로 한다.
상기 (a)단계 전에 멀티미디어 장치로부터 멀티미디어 데이터를 획득하는 단계를 더 포함함이 바람직하다.
상기 멀티미디어 데이터 획득은 사진 컨텐츠 촬영장치로부터 사진 데이터를 멀티미디어 장치로부터 사진 데이터를 획득함을 포함하고, 상기 사진과 관련된 음악 및 비디오를 포함하는 멀티미디어 컨텐츠를 획득함이 바람직하다.
상기 (a)단계는 미디어에 포함된 Exif 메타데이터를 파싱하거나, JPEG 영상을 디코딩함으로써 해당 미디어의 메타데이터를 생성하기 위한 정보를 추출하는 단계임을 특징으로 하는 멀티미디어 컨텐츠를 획득함이 바람직하다.
상기 메타데이터는 JPEG 사진 파일의 Exif 메타데이터, MP3 음악 파일의 ID3 메타데이터, MPEG 비디오 파일의 압축 관련 메타데이터를 포함함을 특징으로 하는 멀티미디어 컨텐츠를 획득함이 바람직하다.
상기 (b)단계는 상기 분리된 메타데이터를 MPEG 표준에 맞는 메타데이터를 생성하거나 MPEG 기반의 표준화된 서술 툴을 이용하여 미디어로부터 메타데이터를 추출 및 생성하여 MPEG 표준에 맞는 메타데이터를 생성함이 바람직하다.
상기 MPEG표준에 맞는 메타데이터는 미디어 자체에 대한 메타데이터인 MPEG- 7 메타데이터; 및 미디어의 선언, 적응 변환 및 유통을 위한 메타데이터인 MPEG-21 메타데이터를 포함함이 바람직하다.
상기 MPEG-7 메타데이터는 미디어의 내용 기반 특징값에 대한 메타데이터인 MPEG-7 서술자(MPEG-7 descriptors); 미디어의 의미적 정보(semantic information)에 대한 메타데이터인 MPEG-7 의미적 서술자(MPEG-7 semantic descriptions); 및 미디어 생성 관련 메타데이터인 MPEG-7 미디어 생성 서술자(MPEG-7 media information/creation descriptions)을 포함함이 바람직하다.
상기 MPEG-7 미디어 생성 서술자는 미디어 앨범화 힌트를 포함함이 바람직하다.
상기 미디어 앨범화 힌트는 적어도 사진을 촬영할 당시의 정보 및 카메라 정보를 표현하기 위한 서술 구조(acquisition hints)와, 사진의 내용에 대한 사람의 인지적 특성을 표현하기 위한 서술 구조(perception hints)와, 사진에 포함된 인물에 대한 정보를 표현하기 위한 서술 구조(subject hints)와, 사진의 구도(view) 정보를 표현하기 위한 서술 구조(view hints)와, 사진의 인기도 정보를 표현하기 위한 서술 구조(popularity)를 포함함이 바람직하다.
상기 사진을 촬영할 당시의 정보 및 카메라 정보를 표현하기 위한 서술 구조(acquisition hints)는 사진을 촬영한 촬영자 정보와, 사진을 촬영한 시간 정보와, 사진을 촬영한 카메라를 생산한 회사 정보와, 사진을 촬영한 카메라 모델 정보와, 사진을 촬영할 때의 셔터 스피드 정보와, 사진을 촬영할 때의 색상 모드 정보와, 사진을 촬영할 때의 필름의 감도를 나타내는 정보와, 사진을 촬영할 때의 플래 쉬를 이용했는 지의 여부를 나타내는 정보와, 사진을 촬영할 때의 렌즈 조리개의 개방치를 나타내는 정보와, 사진을 촬영할 때 사용한 광학 줌의 거리를 나타내는 정보와, 사진을 촬영할 때 초점 거리를 나타내는 정보와, 사진을 촬영할 때의 초점에 맞은 객체와 카메라와의 거리를 나타내는 정보와, 사진을 촬영할 때의 장소에 대한 GPS 정보와, 사진을 촬영할 때의 카메라의 방향을 나타내는 정보로써 사진의 첫번째 픽셀이 위치하는 방향을 나타내는 정보와, 사진을 촬영할 때 함께 녹음된 사운드를 나타내는 정보와, 사진을 촬영한 후, 카메라 내에서의 고속 브라우징을 위하여 저장된 썸네일 이미지를 나타내는 정보 중 적어도 하나; 및 해당 사진 데이터가 Exif 정보를 메타데이터로 포함하고 있는 지의 여부를 나타내는 정보를 포함함이 바람직하다.
상기 사진에 포함된 인물에 대한 정보를 표현하기 위한 서술 구조(subject hints)는 사진에 포함된 인물의 인원 수를 나타내는 항목과, 사진에 포함된 각 인물의 얼굴 위치 정보 및 인물이 입고 있는 옷 위치 정보를 나타내는 항목과, 사진에 포함된 인물들 간의 관계를 나타내는 항목을 포함함이 바람직하다.
상기 사진의 구도(view) 정보를 표현하기 위한 서술 구조(view hints)는 사진에 표현된 주된 부분이 배경인지 전경인지의 여부를 나타내는 항목과, 사진에 표현된 내용들 가운데 배경에 해당하는 부분의 위치를 나타내는 항목과, 배경에 해당하는 부분의 위치를 나타내는 항목을 포함함이 바람직하다.
상기 MPEG-21 메타데이터는 MPEG-21 디지털아이템선언(digital item declaration, DID)에 관련된 메타데이터(MPEG-21 DID description)와, 디지털아이 템적응변환(digitlal item adaptation, DIA)에 관련된 메타데이터(MPEG-21 DIA description)와, 컨텐츠의 권리에 대한 메타데이터(right expression data)을 포함함이 바람직하다. 상기 컨텐츠의 권리에 대한 메타데이터(right expression data)는 사진 컨텐츠를 브라우징하는 행위에 대한 허가 정보를 나타내는 메타데이터(browsing permission)와, 사진 컨텐츠를 변형하는 행위에 대한 허가 정보를 나타내는 메타데이터(editing permission)를 포함함이 바람직하다.
본 발명에 의한 멀티미디어 컨텐츠 인코딩 방법은 MAF 활용 방법 데이터를 생성하는 단계를 더 포함하고, 상기 (c)단계는 상기 미디어 데이터와 상기 MAF에 맞는 메타데이터 및 상기 MAF활용방법 데이터를 이용하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 MAF 파일로 생성함이 바람직하다.
상기 MAF 활용방법 데이터는 MAF 활용 방법 데이터가 미디어 앨범화 툴에 의해 정의된 앨범화 방법 및 미디어 재생에 대한 절차 및 방법을 기술하기 위한 MPEG-4 장면 서술자(MPEG-4 scene description)와, 디지털아이템을 의도하는 형식 및 절차에 따라 처리(digital item processing, DIP)에 대한 MPEG-21 디지털아이템처리 서술자(MPEG-21 DIP description)를 포함함이 바람직하다.
상기 (c)단계의 MAF 파일은 MAF 파일이 하나의 미디어와 대응되는 메타데이터로 구성된 단일트랙 MAF(single track MAF)를 기본 구성 요소로 포함하고, 상기 단일트랙 MAF는 해당 트랙에 대한 헤더(MAF header)와, MPEG 메타데이터(MPEG metadata)와, 미디어 데이터(media data)를 포함함이 바람직하다.
상기 (c)단계의 MAF 파일은 하나 이상의 단일 트랙 MAF를 포함하는 다중트랙 MAF와, 상기 다중트랙에 대한 MAF 헤더(MAF header)와, 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)를 포함함이 바람직하다. 상기 (c)단계의 MAF 파일은 하나 이상의 단일 트랙 MAF를 포함하는 다중트랙 MAF와, 상기 다중트랙에 대한 MAF 헤더(MAF header)와, 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)와, MAF 파일의 활용 방법에 대한 데이터(application method data)을 포함함이 바람직하다.
상기 MPEG-7 의미적 서술자(MPEG-7 semantic descriptions)는 앨범화 힌트를 이용하여 멀티미디어 컨텐츠의 의미정보를 추출하여 생성함이 바람직하다. 상기 멀티미디어 컨텐츠의 의미정보를 추출은 미디어 앨범화 힌트만 이용하여 앨범화를 수행하거나, 미디어 앨범화 힌트와 내용 기반 특징값을 조합하여 앨범화를 수행함이 바람직하다.
상술한 기술적 과제를 해결하기 위한 본 발명에 의한 멀티미디어 컨텐츠 인코딩 장치는, 멀티미디어 컨텐츠로부터 미디어 데이터와 메타데이터를 분리하는 미디어 전처리부; 상기 분리된 메타데이터를 이용하여 소정의 멀티미디어 응용 포맷(MAF)에 맞는 메타데이터를 생성하는 미디어 메타데이터 생성부; 및 상기 미디어 데이터와 상기 MAF에 맞는 메타데이터를 인코딩하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 MAF 파일로 생성하는 MAF 인코딩부를 포함함을 특징으로 한다.
본 발명에 의한 멀티미디어 컨텐츠 인코딩 장치는 멀티미디어 장치로부터 멀티미디어 데이터를 획득/입력하는 미디어획득/입력부를 더 포함함이 바람직하다.
상기 멀티미디어 데이터 획득은 사진 컨텐츠 촬영장치로부터 사진 데이터를 멀티미디어 장치로부터 사진 데이터를 획득함을 포함하고, 상기 사진과 관련된 음악 및 비디오를 포함하는 멀티미디어 컨텐츠를 획득함이 바람직하다.
상기 미디어 전처리부는 미디어에 포함된 Exif 메타데이터를 파싱하거나, JPEG 영상을 디코딩함으로써 해당 미디어의 메타데이터를 생성하기 위한 정보를 추출함을 특징으로 하는 멀티미디어 컨텐츠를 획득함이 바람직하다. 상기 미디어 메타데이터 생성부는 상기 분리된 메타데이터를 MPEG 표준에 맞는 메타데이터를 생성하거나 MPEG 기반의 표준화된 서술 툴을 이용하여 미디어로부터 메타데이터를 추출 및 생성하여 MPEG 표준에 맞는 메타데이터를 생성함이 바람직하다.
상기 MPEG표준에 맞는 메타데이터는 미디어 자체에 대한 메타데이터인 MPEG-7 메타데이터; 및 미디어의 선언, 적응 변환 및 유통을 위한 메타데이터인 MPEG-21 메타데이터를 포함함이 바람직하다.
상기 MPEG-7 메타데이터는 미디어의 내용 기반 특징값에 대한 메타데이터인 MPEG-7 서술자(MPEG-7 descriptors); 미디어의 의미적 정보(semantic information)에 대한 메타데이터인 MPEG-7 의미적 서술자(MPEG-7 semantic descriptions); 및 미디어 생성 관련 메타데이터인 MPEG-7 미디어 생성 서술자(MPEG-7 media information/creation descriptions)을 포함함이 바람직하다.
상기 MPEG-7 미디어 생성 서술자는 미디어 앨범화 힌트를 포함함이 바람직하다.
상기 MPEG-21 메타데이터는 MPEG-21 디지털아이템선언(digital item declaration, DID)에 관련된 메타데이터(MPEG-21 DID description)와, 디지털아이템적응변환(digital item adaptation, DIA)에 관련된 메타데이터(MPEG-21 DIA description)와, 컨텐츠의 권리에 대한 메타데이터(right expression data)을 포함함이 바람직하다.
본 발명에 의한 멀티미디어 컨텐츠 인코딩 장치는 MAF 활용 방법 데이터를 생성하는 활용방법데이터 생성부를 더 포함하고, 상기 MAF인코딩부는 상기 미디어 데이터와 상기 MAF에 맞는 메타데이터 및 상기 MAF활용방법 데이터를 이용하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 MAF 파일로 생성함이 바람직하다.
상기 MAF 활용방법 데이터는 MAF 활용 방법 데이터가 미디어 앨범화 툴에 의해 정의된 앨범화 방법 및 미디어 재생에 대한 절차 및 방법을 기술하기 위한 MPEG-4 장면 서술자(MPEG-4 scene description)와, 디지털아이템을 의도하는 형식 및 절차에 따라 처리(digital item processing, DIP)에 대한 MPEG-21 디지털아이템처리 서술자(MPEG-21 DIP description)를 포함함이 바람직하다.
상기 MAF 파일은 MAF 파일이 하나의 미디어와 대응되는 메타데이터로 구성된 단일트랙 MAF(single track MAF)를 기본 구성 요소로 포함하고, 상기 단일트랙 MAF는 해당 트랙에 대한 헤더(MAF header)와, MPEG 메타데이터(MPEG metadata)와, 미디어 데이터(media data)를 포함함이 바람직하다.
상기 MAF 인코딩부의 MAF 파일은 하나 이상의 단일 트랙 MAF를 포함하는 다중트랙 MAF와, 상기 다중트랙에 대한 MAF 헤더(MAF header)와, 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)를 포함함이 바람직하다.
상기 MAF 파일은 하나 이상의 단일 트랙 MAF를 포함하는 다중트랙 MAF와, 상기 다중트랙에 대한 MAF 헤더(MAF header)와, 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)와, MAF 파일의 활용 방법에 대한 데이터(application method data)을 포함함이 바람직하다.
상술한 다른 기술적 과제를 해결하기 위한 본 발명에 의한 멀티미디어 컨텐츠 재생 방법은, 미디어 데이터를 가리키는 정보를 포함하는 헤더, 미디어 데이터 및 미디어 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고 상기 미디어 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 디코딩하여 미디어 데이터, 미디어 메타데이터 및 활용데이터를 추출하는 단계; 및 상기 추출된 메타데이터 및 활용데이터를 이용하여 멀티미디어 컨텐츠를 재생하는 단계를 포함함을 특징으로 한다. 상기 멀티미디어 컨텐츠 재생은 미디어 메타데이터 처리를 위한 미디어 메타데이터 툴(media metadata tools)과, 메타데이터 및 활용 데이터를 이용하여 미디어의 브라우징을 위한 활용방법 툴(application method tools)을 이용함이 바람직하다.
상술한 다른 기술적 과제를 해결하기 위한 본 발명에 의한 멀티미디어 컨텐츠 재생 장치는, 미디어 데이터를 가리키는 정보를 포함하는 헤더, 미디어 데이터 및 미디어 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고 상기 미디어 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 디코딩하여 미디어 데이터, 미디어 메타데이터 및 활용데이터를 추출하는 MAF 디코딩부; 및 상 기 추출된 메타데이터 및 활용데이터를 이용하여 멀티미디어 컨텐츠를 재생하는 MAF 재생부를 포함함을 특징으로 한다. 상기 멀티미디어 컨텐츠 재생은 미디어 메타데이터 처리를 위한 미디어 메타데이터 툴(media metadata tools)과, 메타데이터 및 활용 데이터를 이용하여 미디어의 브라우징을 위한 활용방법 툴(application method tools)을 이용함이 바람직하다.
상술한 다른 기술적 과제를 해결하기 위한 본 발명에 의한 멀티미디어 응용 포맷은 하나의 미디어와 대응되는 메타데이터로 구성된 단일트랙 멀티미디어 응용포맷(single track MAF)을 구성요소로 포함하고, 상기 단일트랙 MAF는 해당 트랙에 대한 헤더(MAF header)와, MPEG 메타데이터(MPEG metadata)와, 미디어 데이터(media data)를 포함하는 것을 특징으로 한다.
상술한 다른 기술적 과제를 해결하기 위한 본 발명에 의한 멀티미디어 응용 포맷은 하나 이상의 단일트랙 MAF를 포함하는 다중트랙 MAF와, 상기 다중트랙에 대한 MAF 헤더(MAF header)와, 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)를 포함하는 것을 특징으로 한다.
상기 본 발명에 의한 멀티미디어 응용 포맷은 MAF 파일의 활용 방법에 대한 데이터(application method data)을 더 포함하는 것이 바람직하다.
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다. 먼저, 도 1은 본 발명의 일실시예에 따른 사진 MAF를 효과적으로 구성하고 인코딩 및 디코딩하기 위한 시스템 구성을 도시한 블록도이다. 도 2는 본 발명의 일실시예에 따른 사진 MAF를 효과적으로 구성하고 인코딩 및 디코딩하는 방법을 흐름도로 도시한 것이다. 도 1 및 도 2를 참조하여 본 발명의 일실시예를 상세히 설명하기로 한다.
도 1을 참조하면, 미디어 획득/입력부(media acquisition/input part, 100)는 멀티미디어 장치로부터 멀티미디어 데이터를 획득/입력하며, 일예로 디지털 카메라와 같은 사진 촬영 장치(acquisition tool, 105)을 이용하여 사진을 획득하거나 입력받는다.(200단계) 상기 미디어 획득/입력부(100)는 사진 컨텐츠를 획득하거나 입력받으나, 상기 획득 또는 입력받는 미디어가 사진 컨텐츠에 한정되지는 않는다. 즉, 미디어 획득/입력부(100)는 사진, 음악, 비디오 등의 다양한 멀티미디어 컨텐츠를 획득하거나 입력받을 수 있다.
상기 미디어 획득/입력부(100)에서 획득/입력된 미디어 데이터는 미디어와 관련된 기본적인 전처리하는 전처리부(pre-processing part, 110)에 전달된다. 상기 미디어 전처리부(110)는 미디어에 포함된 Exif 메타데이터를 파싱하거나, JPEG 영상을 디코딩함으로써 해당 미디어의 메타데이터를 생성하기 위한 기본적인 정보를 추출한다.(210단계) 기본 메타데이터가 JPEG 사진 파일의 Exif 메타데이터, MP3 음악 파일의 ID3 메타데이터, MPEG 비디오 파일의 압축 관련 메타데이터 등을 포함할 수 있으나, 상기 예에 기본 메타데이터가 한정되지는 않는다.
상기 미디어 전처리부(110)에서 생성된 미디어 데이터와 관계된 기본 메타데이터는 미디어 메타데이터 생성부(media metadata creation part, 120)에 전달된다. 상기 미디어 메타데이터 생성부(120)는 전달된 기본 메타데이터를 MPEG 표준 에 맞도록 메타데이터를 생성하거나, MPEG 기반의 표준화된 서술 툴(125)을 이용함으로써 미디어로부터 직접 메타데이터를 추출 및 생성하여 MPEG 표준에 맞도록 메타데이터를 생성한다.(220단계)
본 발명은 메타데이터를 표준화된 형식 및 구조에 따라 서술하는 단계에 있어서, MPEG-7 및 MPEG-21을 이용하는 것을 특징으로 한다. 도 3은 상기 메타데이터의 구성요소와 그 구조를 도시한 것이다.
도 3을 참조하면, 메타데이터(300)는 미디어 자체에 대한 메타데이터인 MPEG-7 메타데이터(310)와 미디어의 선언, 관리, 적응 변환 및 유통을 위한 메타데이터인 MPEG-21 메타데이터(320)을 포함한다.
상기 MPEG-7 메타데이터(310)는 미디어의 내용 기반 특징값에 대한 메타데이터인 MPEG-7 서술자(MPEG-7 descriptors, 312)와, 미디어의 의미적 정보(semantic information)에 대한 메타데이터인 MPEG-7 의미적 서술자(MPEG-7 semantic descriptions, 314)와, 미디어 생성 관련 메타데이터인 MPEG-7 미디어 생성 서술자(MPEG-7 media information/creation descriptions, 316)을 포함한다.
본 발명은 미디어 생성 서술자(316)가 포함할 수 있는 다양한 메타데이터들 가운데 미디어 앨범화 힌트(318)를 포함하는 것을 중요한 특징으로 한다. 도 4는 본 발명이 포함하는 미디어 앨범화 힌트의 구성 요소들을 도시한 것이다.
도 4를 참조하면, 미디어 앨범화 힌트(318)는 사진을 촬영할 당시의 정보 및 카메라 정보 등을 표현하기 위한 서술구조(acquisition hints, 400), 사진의 내용에 대한 사람의 인지적 특성을 표현하기 위한 서술구조(perception hints, 410), 사진에 포함된 인물에 대한 정보를 표현하기 위한 서술구조(subject hints, 420), 사진의 구도(view) 정보를 표현하기 위한 서술구조(view hints, 430), 사진의 인기도 정보를 표현하기 위한 서술 구조(popularity, 440)를 포함한다.
도 5는 사진을 촬영할 당시의 정보 및 카메라 정보 등을 표현하기 위한 사진 획득 힌트 서술 구조(400)를 상세하게 도시한 구조도이다.
도 5를 참조하면, 사진 획득 힌트 서술구조(400)는 사진 앨범화에 사용될 수 있는 기본적인 사진 촬영 정보 및 카메라 정보를 포함하는 것을 기본 특징으로 한다.
상기, 사진획득 힌트 서술구조(400)는 해당 사진 데이터가 Exif 정보를 메타데이터로 포함하고 있는지의 여부를 나타내는 정보(ExifAvailable, 510), 사진을 촬영한 촬영자의 이름 및 ID에 대한 정보(artist, 512), 사진을 촬영한 시간 정보(takenDateTime, 532), 사진을 촬영한 카메라를 생산한 회사의 정보(manufacturer, 514), 사진을 촬영한 카메라 모델 정보(CameraModel, 534), 사진을 촬영할 때의 셔터스피드 정보(ShutterSpeed, 516), 사진을 촬영할 때의 색상 모드 정보(ColorMode, 536), 사진을 촬영할 때의 필름(디지털 카메라의 경우, CCD나 CMOS의 촬상 소자)의 감도를 나타내는 정보(ISO, 518), 사진을 촬영할 때의 플래쉬를 이용했는 지의 여부를 나타내는 정보(Flash, 538), 사진을 촬영할 때의 렌즈 조리개의 개방치를 나타내는 정보(Aperture, 520), 사진을 촬영할 때 사용한 광학 또는 디지털 줌의 거리를 나타내는 정보(ZoomingDistance, 540), 사진을 촬영할 때 초점 거리를 나타내는 정보(FocalLength, 522), 사진을 촬영할 때의 초점에 맞은 객체와 카메라와의 거리를 나타내는 정보(SubjectDistance, 542), 사진을 촬영할 때의 장소에 대한 GPS 정보(GPS, 524), 사진을 촬영할 때의 카메라의 방향을 사진 이미지의 첫번째 픽셀이 위치하는 방향을 나타내는 정보(Orientation, 544), 사진을 촬영할 때 함께 녹음된 음성 이나 사운드를 나타내는 정보(relatedSoundClip, 526), 사진을 촬영한 후, 카메라 내에서의 고속 브라우징을 위하여 저장된 썸네일 이미지를 나타내는 정보(ThumbnailImage, 546)를 포함할 수 있다.
상기 정보는 Exif 메타데이터 내에 존재하는 정보이지만, 사진 앨범화에 유용하게 사용될 수 있는 정보이다. 만일 사진파일이 Exif 메타데이터를 포함하고 있다면, 더 많은 정보를 이용할 수 있지만, 사진 파일이 Exif 메타데이터를 포함하고 있지 않은 경우가 있을 수 있으므로, 중요한 메타데이터를 사진 앨범화 힌트로 서술한다. 사진획득 힌트 서술구조의 구성요소들은 상기 중요 사진 획득 힌트 서술구조의 요소들을 포함하지만, 상기 요소들에 한정되지는 않는다.
도 6은 사람이 인지하는 사진의 내용의 인지적 특성들을 표현하기 위한 사진 인지 힌트 서술구조(410)을 상세하게 도시한 구조도 이다.
도 6을 참조하면, 사진인지 힌트 서술구조(410)는 사람의 인지적 특성 정보를 표현하는 서술구조로서, 사람이 사진의 내용을 직관적으로 인지하는 특성에 대한 정보를 포함한다. 사람이 사진을 볼 때, 일반적으로 가장 강하게 느껴지는 느낌이 존재하게 된다.
도 6을 참조하면, 인지힌트 서술구조(410)는 사진의 색상 표현의 화려함 정도를 나타내는 항목(avgColorfulness, 610), 사진에 나타낸 전체 색상의 응집도를 나타내는 항목(avgColorCoherence, 620), 사진에 포함된 내용의 정밀도를 나타내는 항목(avgLevelOfDetail, 630), 사진내용의 질감정보의 균질성(homogeniety)을 나타내는 항목(avgHomogenity, 640), 사진에 포함된 내용의 에지 정보의 강인성을 나타내는 항목(avgPowerOfEdge, 650), 사진에 포함된 내용에 대한 카메라 초점의 심도를 나타내는 항목(avgDepthOfField, 660), 카메라 셔터를 누르는 순간 발생한 흔들림 현상에 의해 사진의 흐려짐 정도를 나타내는 항목(avgBlurrness, 670), 사진을 촬영할 때 고도의 플래쉬의 광량이 사용되었거나, 강한 광량의 외부 광원에 의해 사진의 내용이 빛에 의해 가려진 정도를 나타내는 항목(avgGlareness, 680), 사진의 전체적인 밝기 정보를 나타내는 항목(avgBrightness, 690)을 포함한다.
사진의 색상 표현의 화려함 정도를 나타내는 항목(610)은 색상 히스토그램으로부터 각 RGB 색상값의 히스토그램 높이와 전체 색상값의 분포도값을 정규화하여 측정하거나, CIE L*u*v* 색상 공간을 이용하여 측정한 색상의 분포도값을 이용하여 측정할 수 있다. 그러나 사진의 색상 표현의 화려함 정도를 나타내는 항목을 측정하는 방법이 상기 방법에 한정되지는 않는다.
사진의 색상 표현의 응집도를 나타내는 항목(620)은 MPEG-7 비주얼 서술자 중 주 색상(dominant color) 서술자를 이용하여 측정할 수 있으며, 색상 히스토그램으로부터 각 색상값의 히스토그램 높이와 전체 색상값의 분포도 값을 정규화하여 측정할 수 있다. 그러나, 사진의 색상 표현의 응집도를 나타내는 항목을 측정하는 방법이 상기 방법에 한정되지는 않는다.
사진에 포함된 내용의 정밀도를 나타내는 항목(630)은 사진의 픽셀 정보로부 터 측정한 엔트로피를 이용하여 측정하거나, 사진의 실제 복잡성을 판단하는 요소인 isopreference curve를 이용하여 측정하거나, 동일 조건(영상 크기, 양자화 스텝 등)을 가지고 압축했을 경우에 압축율을 비교하는 상대적 측정 방법에 의해 측정될 수 있다. 그러나 사진에 포함된 내용의 정밀도를 나타내는 항목을 측정하는 방법이 상기 방법에 한정되지는 않는다.
사진 내용의 질감 정보의 균질성을 나타내는 항목(640)은 MPEG-7 비주얼 서술자중 질감 브라우징(texture browsing) 서술자의 특징값으로부터 질감의 균질함(regularity), 방향(direction), 크기(scale) 등을 이용하여 측정할 수 있다. 그러나 사진 내용의 질감 정보의 균질성을 나타내는 항목을 측정하는 방법은 상기 방법에 한정되지는 않는다.
사진에 포함된 내용의 에지 정보의 강인성을 나타내는 항목(650)은 사진으로부터 에지 정보를 추출하여, 추출된 에지 강도를 정규화하여 측정할 수 있다. 그러나, 사진에 포함된 내용의 에지 정보의 강인성을 나타내는 항목을 측정하는 방법이 상기 방법에 한정되지는 않는다.
사진에 포함된 내용에 대한 카메라 초점의 심도를 나타내는 항목(660)은 일반적으로 카메라 렌즈의 초점 거리, 렌즈의 지름, 조리개 수치 등을 이용하여 측정할 수 있다. 그러나 사진에 포함된 내용에 대한 카메라 초점의 심도를 나타내는 항목을 측정하는 방법이 상기 방법에 한정되지는 않는다.
카메라 셔터를 누르는 순간 발생한 흔들림 현상에 의해 사진 내용이 흐려진 정도를 나타내는 항목(670)은 사진 내용의 에지 강도를 이용하여 측정할 수 있다. 그러나, 카메라 셔터를 누르는 순간 발생한 흔들림 현상에 의해 사진 내용이 흐려진 정도를 나타내는 항목을 측정하는 방법이 상기 방법에 한정되지는 않는다.
강한 광량의 외부 광원에 의해 사진의 내용이 빛에 의해 가려진 정도를 나타내는 항목(680)은 사진의 일부 혹은 전체 영역에 걸쳐 기준치 이상의 광원이 찍힌 경우(과다 노출의 경우)를 나타내는 값으로, 사진 픽셀 값의 밝기를 이용하여 측정할 수 있다. 그러나, 강한 광량의 외부 광원에 의해 사진의 내용이 빛에 의해 가려진 정도를 나타내는 항목을 측정하는 방법이 상기 방법에 한정되지는 않는다.
사진의 전체적인 밝기 정보를 나타내는 항목(690)은 사진 픽셀 값의 밝기를 이용하여 측정할 수 있다. 그러나, 사진의 전체적인 밝기 정보를 나타내는 항목을 측정하는 방법이 상기 방법에 한정되지는 않는다.
도 7은 인물에 대한 정보를 나타내는 인물 힌트(subject hints, 420)의 서술 구조를 상세하게 도시한 구조도를 나타낸다.
도 7을 참조하면, 인물 힌트(420)는 사진에 포함된 인물의 인원 수를 나타내는 항목(numOfPersons, 710), 사진에 포함된 각 인물의 얼굴 위치 정보 및 인물이 입고 있는 옷 위치 정보를 나타내는 항목(PersionIdentityHints, 720), 사진에 포함된 인물들 간의 관계를 나타내는 항목(InterPersonRelationshipHints, 740)을 포함한다.
사진에 포함된 각 인물의 얼굴 위치 정보 및 인물이 입고 있는 옷 위치 정보를 나타내는 항목(720)은 해당 인물의 식별자(PersonID, 722), 해당 인물의 얼굴 위치(facePosition, 724), 인물이 입고 있는 옷의 위치(clothPosition, 726)를 포 함한다.
도 8은 사진의 구도 힌트(view hints, 430)의 서술 구조를 상세하게 도시한 구조도를 나타낸다. 도 8을 참조하면, 구도 힌트(430)는 사진에 표현된 주된 부분이 배경인지 전경인지의 여부를 나타내는 항목(centricView, 820), 사진에 표현된 내용들 가운데 배경에 해당하는 부분의 위치를 나타내는 항목(foregroundRegion, 840), 배경에 해당하는 부분의 위치를 나타내는 항목(backgroundRegion, 860)을 포함한다.
표 1은 상기 효과적인 멀티미디어 앨범화를 위해 필요한 힌트 파라미터들 가운데 사진 앨범화를 위해 필요한 힌트 파라미터들을 표현하기 위한 서술 구조를 XML 형식으로 표현한 것이다.
Figure 112006038612213-pat00001
표 2는 상기 효과적인 사진 앨범화를 위해 필요한 힌트 파라미터들 가운데, 사진을 촬영할 당시의 정보 및 카메라 정보 등을 표현하기 위한 서술 구조를 XML 형식으로 표현한 것이다. 도 9는 본 발명에 의한 사진을 촬영할 당시의 정보 및 카메라 정보 등을 표현하기 위한 서술 구조를 XML 스키마로 표현한 블록도이다.
Figure 112006038612213-pat00002
표 3은 상기 효과적인 사진 앨범화를 위해 필요한 힌트 파라미터들 가운데, 사진의 내용에 대한 사람의 인지적 특성을 표현하기 위한 서술 구조를 XML 형식으로 표현한 것이다. 도 10은 본 발명에 의한 사진의 내용에 대한 사람의 인지적 특성을 표현하기 위한 서술 구조를 XML 스키마로 표현한 블록도이다.
Figure 112006038612213-pat00003
표 4는 상기 효과적인 사진 앨범화를 위해 필요한 힌트 파라미터들 가운데, 사진에 포함된 인물에 대한 정보를 표현하기 위한 서술 구조를 XML 형식으로 표현한 것이다. 도 11은 본 발명에 의한 사진에 포함된 인물에 대한 정보를 표현하기 위한 서술 구조를 XML 스키마로 표현한 블록도이다.
Figure 112006038612213-pat00004
표 5는 상기 효과적인 사진 앨범화를 위해 필요한 힌트 파라미터들 가운데, 사진의 구도 정보를 표현하기 위한 서술 구조를 XML 형식으로 표현한 것이다. 도 12는 본 발명에 의한 사진의 구도 정보를 표현하기 위한 상세 서술 구조를 XML 스키마로 표현한 블록도이다.
Figure 112006038612213-pat00005
도 3에서, 선언, 관리, 적응 변환 및 유통을 위한 메타데이터인 MPEG-21 메타데이터(320)는 MPEG-21 디지털아이템선언(digital item declaration, DID)에 관련된 메타데이터(MPEG-21 DID description, 322)와 디지털아이템적응변환(digitlal item adaptation, DIA)에 관련된 메타데이터(MPEG-21 DIA description, 324)와, 컨텐츠의 저작권 및 사용/변형에 대한 권리에 대한 메타데이터(right expression data, 326)을 포함하는 것을 특징으로 한다.
컨텐츠 권리 메타데이터(326)는 사진 컨텐츠를 브라우징하는 행위에 대한 허가 정보를 나타내는 메타데이터(browsing permission, 328)와, 사진 컨텐츠를 변형하는 행위에 대한 허가 정보를 나타내는 메타데이터(editing permission, 329)를 포함하는 것을 특징으로 한다. 그러나, 컨텐츠 권리 메타데이터(326)가 상기 두 요소에 한정되지는 않는다.
상기에서와 같이 미디어 메타데이터 생성부(120)에서 생성된 미디어 메타데이터는 MAF 인코딩부(MAF encoding part, 140)에 전달된다.
본 발명은 미디어 앨범화 툴(media albuming tool, 125)이 상기 미디어 앨범 힌트(318)를 이용하여 멀티미디어 컨텐츠를 앨범화하는 방법을 포함하는 것을 중요한 특징으로 한다.
먼저, 앨범화를 수행할 N개의 멀티미디어 컨텐츠 집합 M이 있다고 가정하자. 멀티미디어 컨텐츠는 아래와 같은 수학식에서와 같이 표현된다.
Figure 112006038612213-pat00006
여기서, 앨범화를 수행하고자 하는 컨텐츠 집합 M에 속하는 컨텐츠는 단일한 미디어 형식(이미지, 오디오, 비디오)을 가진다고 가정한다.
임의의 (j)번째 컨텐츠 mj에 해당하는 앨범 힌트는 아래와 같은 수학식에서와 같이 표현된다.
Figure 112006038612213-pat00007
여기서, L은 앨범 힌트 요소의 개수 이다.
상기와 같은 표현 방법에 의해, 앨범화를 수행할 N개의 멀티미디어 컨텐츠 집합 M에 대한 앨범 힌트 집합은 아래와 같은 수학식에서와 같이 표현된다.
Figure 112006038612213-pat00008
임의의 (j)번째 컨텐츠 mj에 해당하는 K개의 내용 기반 특징값은 아래와 같은 수학식에서와 같이 표현된다.
Figure 112006038612213-pat00009
상기와 같은 표현 방법에 의해, 앨범화를 수행할 N개의 멀티미디어 컨텐츠 집합 M에 대한 내용 기반 특징값 집합은 아래와 같은 수학식에서와 같이 표현된다.
Figure 112006038612213-pat00010
본 발명은 상기 앨범화 힌트를 이용하여, 미디어 앨범화를 수행하는 두 가지 방법을 포함한다. 첫 번째 방법은 앨범화 힌트만으로 앨범화를 수행하는 것이다. 두 번째 방법은 앨범화 힌트를 내용 기반 특징값과 조합하여 사용하는 방법이다.
미디어 앨범화 힌트를 이용한 첫 번째 앨범화 방법은 다음과 같다. 앨범화를 수행하기 위해 먼저, 입력된 N개의 멀티미디어 컨텐츠를 앨범 라벨 집합 G로 인덱싱 또는 클러스터링하여 앨범화를 수행한다고 가정하자. T개의 라벨로 구성된 앨범 라벨 집합 G는 아래와 같은 수학식에서와 같이 표현된다.
Figure 112006038612213-pat00011
임의의 (j)번째 컨텐츠 mj를 앨범화 힌트만으로 (i)번째 라벨 gi로 인덱싱 또는 클러스터링을 수행하는 방법은 아래와 같은 수학식에서와 같이 표현된다.
Figure 112006038612213-pat00012
여기서, 함수 B(a, b)는 a = b인 경우 결과값이 1이고, 그렇지 않은 경우 결과값이0인 불리언 함수이다. 최종 결정된 Lj는 (j)번째 컨텐츠 mj의 라벨을 나타낸다.
미디어 앨범화 힌트를 이용한 두 번째 앨범화 방법은 다음과 같다.
먼저, 임의의 (j)번째 컨텐츠 mj의 앨범화 힌트 Hj와 개의 내용 기반 특징값 Fj을 조합하여 새로운 특징값을 생성한다. 조합된 새로운 특징값 Fj은 아래와 같은 수학식에서와 같이 표현된다.
Figure 112006038612213-pat00013
여기서,
Figure 112006038612213-pat00014
는 내용 기반 특징값과 앨범화 힌트를 조합하는 임의의 함수이다.
조합된 새로운 특징값은 라벨 집합 G에 대해 학습(learning)된 특징값과 비 교하여 유사도 거리값을 얻고, 가장 유사도가 큰 라벨을 (j)번째 컨텐츠 mj의 라벨로 결정한다. (j)번째 컨텐츠 mj의 라벨을 결정하는 방법은 아래의 수학식에서와 같이 표현된다.
Figure 112006038612213-pat00015
한편, 미디어 메타데이터 생성한 후에는 활용방법데이터 생성부(application method data creation part, 130)는 미디어를 활용하는 방법에 대한 데이터(application method data, 1300)를 생성한다.(230단계) 도 13은 미디어 활용 방법 데이터(1300)의 상세한 구조를 나타낸다.
도 13을 참조하면, 미디어 활용 방법 데이터(1300)는 미디어 활용 방법의 주요 요소로써, 미디어 앨범화 툴에 의해 정의된 앨범화 방법 및 미디어 재생에 대한 절차 및 방법을 기술하기 위한 MPEG-4 장면 서술자(MPEG-4 scene description, 1310)와, 디지털아이템을 의도하는 형식 및 절차에 따라 처리(digital item processing, DIP)에 대한 MPEG-21 디지털아이템처리 서술자(MPEG-21 DIP description, 1320)를 포함하는 것을 특징으로 한다. 디지털아이템처리 서술자는 기본적으로 디지털아이템을 활용하는 방법에 대한 서술자(MPEG-21 digital item method, 1325)를 포함하는 것을 특징으로 한다. 본 발명은 미디어 활용 방법 데이터(1300)로 상기 데이터를 포함하는 것을 특징으로 하나, 미디어 활용 방법 데이터(1300)에 포함되는 요소들이 상기 데이터들에 한정되지는 않는다.
미디어 데이터와 관계된 메타데이터 및 활용 방법 데이터는 MAF 인코딩부(140)에 전달되어 하나의 독립된 MAF 파일(150)을 생성해 낸다.(240단계)
도 14는 생성된 MAF 파일(150, 1400)의 상세한 구조를 나타낸다. 도 14를 참조하면, 본 발명은 MAF 파일이 하나의 미디어와 대응되는 메타데이터로 구성된 단일 트랙 MAF(single track MAF, 1440)를 기본 구성 요소로 포함하는 것을 특징으로 한다. 단일 트랙 MAF(1440)은 해당 트랙에 대한 헤더(MAF header, 1442)와, MPEG 메타데이터(MPEG metadata, 1444)와, 미디어 데이터(media data, 1446)를 포함한다. MAF 헤더는 미디어 데이터를 지시하는 데이터로 ISO 기본 미디어 파일 형식을 따르는 것을 기본 특징으로 한다.
또한, 여러 개의 단일 트랙 MAF(1440)들은 하나의 다중 트랙 MAF(multiple track MAF, 1420)을 구성할 수 있다. 다중 트랙 MAF(1420)에는 하나 이상의 단일 트랙 MAF(1440)과, 다중 트랙에 대한 MAF 헤더(MAF header, 1442)과, 다중 트랙에 대한 MPEG 메타데이터(MPEG metadata, 1430)와, MAF 파일의 활용 방법에 대한 데이터(application method data, 1300, 1450)을 포함하는 것을 특징으로 한다. 본 발명은 활용 방법 데이터(1450)가 멀티 트랙(1410)에 포함되거나 독립적으로 MAF 파일에 입력되는 것을 특징으로 한다.
상기 MAF 파일(1400)은 MAF 사용자에게 전달되어 표현되기 위하여 디코딩된다. MAF 디코딩부(MAF decoding part, 160)는 전달된 MAF 파일(150, 1400)으로부터 미디어 데이터, 미디어 메타데이터, 활용 데이터를 추출하여 MAF 파일을 디코딩한다.(250단계) 디코딩된 상기 정보들은 MAF 재생부(MAF player, 170)에 전달되어 사용자에게 보여진다.(260단계) MAF 재생부(170)는 미디어 메타데이터 처리를 위한 미디어 메타데이터 툴(media metadata tools, 180)과, 메타데이터 및 활용 데이터를 이용하여 미디어의 효과적인 브라우징을 위한 활용 방법 툴(application method tools, 190)을 포함한다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이 본 발명에 의하면, 디지털 사진 및 그 밖의 멀티미디어 컨텐츠를 하나로 통합하여 MAF라는 응용 파일 형식으로 구성하는 과정에서, 사진 데이터, 사진 영상의 내용으로부터 얻는 비주얼 특징 정보, 사진의 효과적인 인덱싱을 위한 다양한 힌트 특징 정보를 메타데이터로 포함하고, 메타데이터에 기반을 둔 컨텐츠 활용 방법적 도구들을 포함함으로써, 사용자에게 특별한 어플리케이션이 없 거나, 메타데이터를 활용하는 기능을 포함하고 있지 않더라도, 멀티미디어 컨텐츠를 효과적으로 브라우징할 수 있는 통합된 범용적 멀티미디어 컨텐츠의 소비가 가능해진다.

Claims (59)

  1. 멀티미디어 컨텐츠로부터 적어도 하나의 미디어에 대응하는 미디어 데이터와 각 미디어 데이터에 대응하는 메타데이터를 획득하는 단계; 및
    상기 획득된 미디어 데이터와 각 미디어 데이터에 대응하는 메타데이터를 인코딩하여 헤더정보와 함께 멀티미디어 응용 포맷(MAF) 파일로 생성하는 단계를 포함하고, 상기 MAF 파일은 적어도 하나의 단일 트랙을 포함하고, 상기 단일 트랙은 해당 트랙에 대한 헤더, 메타데이터와 미디어 데이터를 포함함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 획득 단계는
    상기 미디어 데이터에 포함된 Exif 메타데이터를 파싱하거나, JPEG 영상을 디코딩함으로써 해당 미디어 데이터의 메타데이터를 생성하기 위한 정보를 추출하는 단계임을 특징으로 하는 멀티미디어 컨텐츠를 획득함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  5. 제4항에 있어서, 상기 메타데이터는
    JPEG 사진 파일의 Exif 메타데이터, MP3 음악 파일의 ID3 메타데이터, MPEG 비디오 파일의 압축 관련 메타데이터 중 적어도 하나를 포함함을 특징으로 하는 멀티미디어 컨텐츠를 획득함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  6. 제1항에 있어서, 상기 생성 단계는
    상기 획득된 메타데이터로부터 MPEG 표준에 맞는 메타데이터를 생성하거나 MPEG 기반의 표준화된 서술 툴을 이용하여 상기 미디어 데이터로부터 추출된 메타데이터로부터 MPEG 표준에 맞는 메타데이터를 생성함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  7. 제6항에 있어서, 상기 MPEG표준에 맞는 메타데이터는
    미디어 자체에 대한 메타데이터인 MPEG-7 메타데이터; 및
    미디어의 선언, 적응 변환 및 유통을 위한 메타데이터인 MPEG-21 메타데이터 중 적어도 하나를 포함함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  8. 제7항에 있어서, 상기 MPEG-7 메타데이터는
    미디어의 내용 기반 특징값에 대한 메타데이터인 MPEG-7 서술자(MPEG-7 descriptors);
    미디어의 의미적 정보(semantic information)에 대한 메타데이터인 MPEG-7 의미적 서술자(MPEG-7 semantic descriptions); 및
    미디어 생성 관련 메타데이터인 MPEG-7 미디어 생성 서술자(MPEG-7 media information/creation descriptions) 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  9. 제8항에 있어서, 상기 MPEG-7 미디어 생성 서술자는
    미디어 앨범화 힌트를 포함함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 제7항에 있어서, 상기 MPEG-21 메타데이터는
    MPEG-21 디지털아이템선언(digital item declaration, DID)에 관련된 메타데이터(MPEG-21 DID description)와,
    디지털아이템적응변환(digital item adaptation, DIA)에 관련된 메타데이터(MPEG-21 DIA description)와,
    컨텐츠의 권리에 대한 메타데이터(right expression data) 중 적어도 하나를포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  27. 제26항에 있어서, 상기 컨텐츠의 권리에 대한 메타데이터(right expression data)는
    사진 컨텐츠를 브라우징하는 행위에 대한 허가 정보를 나타내는 메타데이터(browsing permission)와,
    사진 컨텐츠를 변형하는 행위에 대한 허가 정보를 나타내는 메타데이터(editing permission) 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  28. 제1항에 있어서,
    MAF 활용 방법 데이터를 생성하는 단계를 더 포함하고,
    상기 MAF활용방법 데이터를 상기 MAF 파일에 부가함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  29. 제28항에 있어서, 상기 MAF 활용방법 데이터는
    MAF 활용 방법 데이터가 미디어 앨범화 툴에 의해 정의된 앨범화 방법 및 미디어 재생에 대한 절차 및 방법을 기술하기 위한 MPEG-4 장면 서술자(MPEG-4 scene description)와, 디지털아이템을 의도하는 형식 및 절차에 따라 처리(digital item processing, DIP)에 대한 MPEG-21 디지털아이템처리 서술자(MPEG-21 DIP description) 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  30. 삭제
  31. 제1항에 있어서, 상기 MAF 파일은
    하나 이상의 단일 트랙을 포함하는 다중트랙과, 상기 다중트랙에 대한 헤더와, 상기 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  32. 제1항에 있어서, 상기 MAF 파일은
    하나 이상의 단일 트랙을 포함하는 다중트랙과, 상기 다중트랙에 대한 헤더 와, 상기 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)와, 상기 MAF 파일의 활용 방법에 대한 데이터(application method data)을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  33. 제8항에 있어서, 상기 MPEG-7 의미적 서술자(MPEG-7 semantic descriptions) 는
    앨범화 힌트를 이용하여 멀티미디어 컨텐츠의 의미정보를 추출하여 생성함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  34. 제33항에 있어서, 상기 멀티미디어 컨텐츠의 의미정보를 추출은
    미디어 앨범화 힌트만 이용하여 앨범화를 수행하거나, 미디어 앨범화 힌트와 내용 기반 특징값을 조합하여 앨범화를 수행함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 방법.
  35. 삭제
  36. 삭제
  37. 삭제
  38. 적어도 하나의 미디어로부터 획득된 미디어 데이터 및 상기 미디어 데이터에 대응하는 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고, 상기 미디어 데이터의 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 상기 단일 트랙에 포함된 헤더정보에 근거하여 디코딩하여 상기 미디어 데이터, 상기 메타데이터 및 상기 활용데이터를 추출하는 단계; 및
    상기 추출된 메타데이터, 미디어 데이터 및 활용데이터를 이용하여 멀티미디어 컨텐츠를 재생하는 단계를 포함함을 특징으로 하는 멀티미디어 컨텐츠 재생 방법.
  39. 제38항에 있어서, 상기 멀티미디어 컨텐츠 재생은
    미디어 메타데이터 처리를 위한 미디어 메타데이터 툴(media metadata tools)과, 메타데이터 및 활용 데이터를 이용하여 미디어의 브라우징을 위한 활용방법 툴(application method tools)을 이용함을 특징으로 하는 멀티미디어 컨텐츠 재생 방법.
  40. 멀티미디어 컨텐츠로부터 적어도 하나의 미디어로부터 획득된 미디어 데이터와 각 미디어 데이터에 대응하는 메타데이터를 분리하는 미디어 전처리부; 및
    상기 미디어 데이터와 상기 메타데이터를 인코딩하여, 헤더정보와 함께 MAF 파일로 생성하는 MAF 인코딩부를 포함하고, 상기 MAF 파일은 적어도 하나의 단일 트랙을 포함하고, 상기 단일 트랙은 해당 트랙에 대한 헤더, 메타데이터와 미디어 데이터를 포함함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  41. 삭제
  42. 삭제
  43. 제40항에 있어서, 상기 미디어 전처리부는
    미디어에 포함된 Exif 메타데이터를 파싱하거나, JPEG 영상을 디코딩함으로써 해당 미디어의 메타데이터를 생성하기 위한 정보를 추출함을 특징으로 하는 멀티미디어 컨텐츠를 획득함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  44. 제40항에 있어서, 상기 분리된 메타데이터는 MPEG 표준에 맞는 메타데이터로 생성되어 상기 MAF 파일에 포함됨을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  45. 제44항에 있어서, 상기 MPEG표준에 맞는 메타데이터는
    미디어 자체에 대한 메타데이터인 MPEG-7 메타데이터; 및
    미디어의 선언, 적응 변환 및 유통을 위한 메타데이터인 MPEG-21 메타데이터 중 적어도 하나를 포함함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  46. 제45항에 있어서, 상기 MPEG-7 메타데이터는
    미디어의 내용 기반 특징값에 대한 메타데이터인 MPEG-7 서술자(MPEG-7 descriptors);
    미디어의 의미적 정보(semantic information)에 대한 메타데이터인 MPEG-7 의미적 서술자(MPEG-7 semantic descriptions); 및
    미디어 생성 관련 메타데이터인 MPEG-7 미디어 생성 서술자(MPEG-7 media information/creation descriptions) 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  47. 제46항에 있어서, 상기 MPEG-7 미디어 생성 서술자는
    미디어 앨범화 힌트를 포함함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  48. 제46항에 있어서, 상기 MPEG-21 메타데이터는
    MPEG-21 디지털아이템선언(digital item declaration, DID)에 관련된 메타데이터(MPEG-21 DID description)와,
    디지털아이템적응변환(digital item adaptation, DIA)에 관련된 메타데이터(MPEG-21 DIA description)와,
    컨텐츠의 권리에 대한 메타데이터(right expression data) 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  49. 제40항에 있어서,
    MAF 활용 방법 데이터를 생성하는 활용방법데이터 생성부를 더 포함하고,
    상기 MAF 활용 방법 데이터를 상기 MAF 파일에 부가함을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  50. 제49항에 있어서, 상기 MAF 활용방법 데이터는
    MAF 활용 방법 데이터가 미디어 앨범화 툴에 의해 정의된 앨범화 방법 및 미디어 재생에 대한 절차 및 방법을 기술하기 위한 MPEG-4 장면 서술자(MPEG-4 scene description)와, 디지털아이템을 의도하는 형식 및 절차에 따라 처리(digital item processing, DIP)에 대한 MPEG-21 디지털아이템처리 서술자(MPEG-21 DIP description) 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  51. 삭제
  52. 제40항에 있어서, 상기 MAF 인코딩부의 MAF 파일은
    하나 이상의 단일 트랙을 포함하는 다중트랙과, 상기 다중트랙에 대한 헤더와, 상기 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  53. 제40항에 있어서, 상기 MAF 파일은
    하나 이상의 단일 트랙을 포함하는 다중트랙과, 상기 다중트랙에 대한 헤더와, 상기 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)와, 상기 MAF 파일의 활용 방법에 대한 데이터(application method data)을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 인코딩 장치.
  54. 적어도 하나의 미디어로부터 획득된 미디어 데이터 및 상기 미디어 데이터에 대응하는 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고 상기 미디어 데이터의 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 상기 단일 트랙에 포함된 헤더정보에 근거하여 디코딩하여 상기 미디어 데이터, 상기 메타데이터 및 상기 활용데이터를 추출하는 MAF 디코딩부; 및
    상기 추출된 메타데이터, 미디어 데이터 및 활용데이터를 이용하여 멀티미디어 컨텐츠를 재생하는 MAF 재생부를 포함함을 특징으로 하는 멀티미디어 컨텐츠 재생 장치.
  55. 제54항에 있어서, 상기 멀티미디어 컨텐츠 재생은
    미디어 메타데이터 처리를 위한 미디어 메타데이터 툴(media metadata tools)과, 메타데이터 및 활용 데이터를 이용하여 미디어의 브라우징을 위한 활용방법 툴(application method tools)을 이용함을 특징으로 하는 멀티미디어 컨텐츠 재생 장치.
  56. 해당 트랙에 대한 헤더(MAF header)와, MPEG 메타데이터(MPEG metadata)와, 미디어 데이터(media data)를 생성하는 단계;
    상기 헤더, 상기 MPEG 메타데이터와 상기 미디어 데이터를 포함하여 단일트랙을 생성하는 단계; 및
    MAF 파일의 활용방법에 대한 데이터(application method data)를 생성하여 상기 단일트랙과 함께 상기 MAF 파일을 생성하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 응용 포맷 생성방법.
  57. 하나 이상의 단일트랙을 포함하는 다중트랙에 대한 MAF 헤더(MAF header)와, 상기 다중트랙에 대한 MPEG 메타데이터(MPEG metadata)를 생성하는 단계;
    상기 MAF 헤더와 상기 MPEG 메타데이터를 포함하여 상기 다중트랙을 생성하는 단계; 및
    MAF 파일의 활용방법에 대한 데이터(application method data)를 생성하여 상기 다중트랙과 함께 상기 MAF 파일을 생성하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 응용포맷 생성방법.
  58. 삭제
  59. 제1항, 제4항, 제6항 내지 제9항, 제26항 내지 제29항, 제31항 내지 제34항, 제38항과 제39항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060049042A 2005-07-20 2006-05-30 멀티미디어 컨텐츠 부호화/재생 방법 및 장치 KR101345284B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020060049042A KR101345284B1 (ko) 2005-07-20 2006-05-30 멀티미디어 컨텐츠 부호화/재생 방법 및 장치
PCT/KR2006/002862 WO2007029916A1 (en) 2005-07-20 2006-07-20 Method and apparatus for encoding/playing multimedia contents
US11/489,452 US20080018503A1 (en) 2005-07-20 2006-07-20 Method and apparatus for encoding/playing multimedia contents
EP06823602A EP1917810A4 (en) 2005-07-20 2006-07-20 METHOD AND DEVICE FOR CODING / PLAYING MULTIMEDIA CONTENT

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US70073705P 2005-07-20 2005-07-20
US60/700,737 2005-07-20
KR1020060049042A KR101345284B1 (ko) 2005-07-20 2006-05-30 멀티미디어 컨텐츠 부호화/재생 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070011093A KR20070011093A (ko) 2007-01-24
KR101345284B1 true KR101345284B1 (ko) 2013-12-27

Family

ID=37836010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060049042A KR101345284B1 (ko) 2005-07-20 2006-05-30 멀티미디어 컨텐츠 부호화/재생 방법 및 장치

Country Status (4)

Country Link
US (1) US20080018503A1 (ko)
EP (1) EP1917810A4 (ko)
KR (1) KR101345284B1 (ko)
WO (1) WO2007029916A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050092688A (ko) * 2005-08-31 2005-09-22 한국정보통신대학교 산학협력단 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법
JP5307118B2 (ja) 2007-04-05 2013-10-02 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート デジタルマルチメディア放送アプリケーションフォーマットの生成方法及びその装置
US7949649B2 (en) * 2007-04-10 2011-05-24 The Echo Nest Corporation Automatically acquiring acoustic and cultural information about music
US7725454B2 (en) * 2007-07-20 2010-05-25 Microsoft Corporation Indexing and searching of information including handler chaining
US7849065B2 (en) * 2007-07-20 2010-12-07 Microsoft Corporation Heterogeneous content indexing and searching
US7899804B2 (en) * 2007-08-30 2011-03-01 Yahoo! Inc. Automatic extraction of semantics from text information
US9116988B2 (en) 2010-10-20 2015-08-25 Apple Inc. Temporal metadata track
US9009118B2 (en) 2010-10-20 2015-04-14 Apple Inc. Temporal metadata track
WO2015026136A1 (en) * 2013-08-20 2015-02-26 Lg Electronics Inc. Apparatus for transmitting media data via streaming service, apparatus for receiving media data via streaming service, method for transmitting media data via streaming service and method for receiving media data via streaming service
KR101646733B1 (ko) * 2014-12-29 2016-08-09 주식회사 오리진픽스 미디어 데이터 분류 방법 및 그 장치
US20170092800A1 (en) * 2015-08-17 2017-03-30 Solaero Technologies Corp. Four junction inverted metamorphic solar cell
US9934785B1 (en) 2016-11-30 2018-04-03 Spotify Ab Identification of taste attributes from an audio signal
US10915566B2 (en) * 2019-03-01 2021-02-09 Soundtrack Game LLC System and method for automatic synchronization of video with music, and gaming applications related thereto

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686521B1 (ko) 2005-09-23 2007-02-26 한국정보통신대학교 산학협력단 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829368B2 (en) * 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
JP3076260B2 (ja) * 1997-03-10 2000-08-14 松下電器産業株式会社 情報提供装置
US6226618B1 (en) * 1998-08-13 2001-05-01 International Business Machines Corporation Electronic content delivery system
US6549922B1 (en) * 1999-10-01 2003-04-15 Alok Srivastava System for collecting, transforming and managing media metadata
US6523046B2 (en) * 2000-02-25 2003-02-18 Microsoft Corporation Infrastructure and method for supporting generic multimedia metadata
JP2001325259A (ja) * 2000-05-16 2001-11-22 Hitachi Ltd デジタルアルバム登録公開方法とそのシステム及び電子サービスサイトの運営システム
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US6961754B2 (en) * 2001-01-12 2005-11-01 Telefonaktiebolaget Lm Ericsson Interactive access, manipulation, sharing and exchange of multimedia data
US7376155B2 (en) * 2001-01-30 2008-05-20 Electronics And Telecommunications Research Institute Method and apparatus for delivery of metadata synchronized to multimedia contents
US7076503B2 (en) * 2001-03-09 2006-07-11 Microsoft Corporation Managing media objects in a database
US6757684B2 (en) * 2001-10-01 2004-06-29 Ipac Acquisition Subsidiary I, Llc Network-based photosharing architecture
AU2003213555B2 (en) * 2002-02-25 2008-04-10 Sony Electronics, Inc. Method and apparatus for supporting AVC in MP4
JP3669967B2 (ja) * 2002-03-19 2005-07-13 富士写真フイルム株式会社 画像管理システム
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7451229B2 (en) * 2002-06-24 2008-11-11 Microsoft Corporation System and method for embedding a streaming media format header within a session description message
US7197158B2 (en) * 2002-06-28 2007-03-27 Microsoft Corporation Generation of metadata for acquired images
US7043477B2 (en) * 2002-10-16 2006-05-09 Microsoft Corporation Navigating media content via groups within a playlist
KR100501909B1 (ko) * 2003-03-28 2005-07-26 한국전자통신연구원 엠펙-4 데이터를 디지털 오디오 방송 데이터에 다중화하는 장치와 그 방법 및 그 역다중화 방법
EP1612680A4 (en) * 2003-04-07 2007-07-25 Seiko Epson Corp Image Accumulation Device and Program
US7369164B2 (en) * 2003-04-11 2008-05-06 Eastman Kodak Company Using favorite digital images to organize and identify electronic albums
KR100493896B1 (ko) * 2003-04-18 2005-06-10 삼성전자주식회사 디지털 콘텐트 메타데이터 변환 방법 및 장치, 그리고이를 이용한 네트워크 시스템
JP2004362106A (ja) * 2003-06-03 2004-12-24 Sony Corp 電子機器、ディレクトリ生成方法、ディレクトリ読込み方法及びコンピュータプログラム
US7532234B2 (en) * 2003-06-19 2009-05-12 Microsoft Corporation Automatic analysis and adjustment of digital images upon acquisition
US20050234896A1 (en) * 2004-04-16 2005-10-20 Nobuyuki Shima Image retrieving apparatus, image retrieving method and image retrieving program
US7756866B2 (en) * 2005-08-17 2010-07-13 Oracle International Corporation Method and apparatus for organizing digital images with embedded metadata
US20070204008A1 (en) * 2006-02-03 2007-08-30 Christopher Sindoni Methods and systems for content definition sharing
US7509347B2 (en) * 2006-06-05 2009-03-24 Palm, Inc. Techniques to associate media information with related information
US20080133327A1 (en) * 2006-09-14 2008-06-05 Shah Ullah Methods and systems for securing content played on mobile devices
US8452801B2 (en) * 2006-10-19 2013-05-28 Lg Electronics Inc. Encoding method and apparatus and decoding method and apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686521B1 (ko) 2005-09-23 2007-02-26 한국정보통신대학교 산학협력단 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MPEG-A Multimedia Application Format Overview, ISO/IEC JTC 1/SC 29/WG 11 N6832; October 2004, Palma de Mallorca, ES Wo Chang*
조준호외 3명, ‘사진앨범을 위한 MAF 기반 통합 미디어에 관한 연구’, 한국방송공학회논문지, v.10, no.3, pp.436-450, 2005년 9월

Also Published As

Publication number Publication date
EP1917810A1 (en) 2008-05-07
WO2007029916A1 (en) 2007-03-15
US20080018503A1 (en) 2008-01-24
KR20070011093A (ko) 2007-01-24
EP1917810A4 (en) 2010-07-07

Similar Documents

Publication Publication Date Title
KR101345284B1 (ko) 멀티미디어 컨텐츠 부호화/재생 방법 및 장치
KR101304480B1 (ko) 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템
KR101406843B1 (ko) 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템
KR20070011092A (ko) 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템
KR100686521B1 (ko) 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
Truong et al. Video abstraction: A systematic review and classification
US10410679B2 (en) Producing video bits for space time video summary
US7784077B2 (en) Network-extensible reconfigurable media appliance
US20060239591A1 (en) Method and system for albuming multimedia using albuming hints
JP2002529858A (ja) 相互使用可能なマルチメディアコンテンツ記述のためのシステムおよび方法
JP5878523B2 (ja) コンテンツ加工装置とその集積回路、方法、およびプログラム
Diepold et al. MPEG-A: multimedia application formats
JP5880558B2 (ja) 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム
EP1935183A1 (en) Method and apparatus for encoding multimedia contents and method and system for applying encoded multimedia contents
Hanjalic Video and image retrieval beyond the cognitive level: The needs and possibilities
KR100763911B1 (ko) 미디어 앨범화 힌트 정보를 이용한 멀티미디어 앨범화 방법및 시스템
Smith MPEG-7 multimedia content description standard
Garboan Towards camcorder recording robust video fingerprinting
Smith 6 MPEG-7 MULTIMEDIA
Yang et al. Semantic consumption of photos on mobile devices

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee