CN102782684B - 用于发送和接收包括多个流的内容文件的方法和设备 - Google Patents

用于发送和接收包括多个流的内容文件的方法和设备 Download PDF

Info

Publication number
CN102782684B
CN102782684B CN201180012492.0A CN201180012492A CN102782684B CN 102782684 B CN102782684 B CN 102782684B CN 201180012492 A CN201180012492 A CN 201180012492A CN 102782684 B CN102782684 B CN 102782684B
Authority
CN
China
Prior art keywords
content
information
described multiple
box
configuration information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180012492.0A
Other languages
English (en)
Other versions
CN102782684A (zh
Inventor
黄棲煐
柳诚烈
宋在涓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102782684A publication Critical patent/CN102782684A/zh
Application granted granted Critical
Publication of CN102782684B publication Critical patent/CN102782684B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供了一种用于发送和播放包括多个内容的复合内容的方法和设备。一种播放复合内容的方法包括：从服务器接收复合内容以及与复合内容相应的分类信息；根据分类信息来对所述多个内容进行分类；基于分类的所述多个内容播放复合内容。

Description

用于发送和接收包括多个流的内容文件的方法和设备
技术领域
本发明总体涉及一种用于发送和接收内容文件的方法和设备，更具体地讲，涉及一种用于提供包括多个流组的内容的语义配置和作用信息的内容文件发送和接收方法和设备。
背景技术
最近，随着数字内容市场的扩展以及可用平台的多样性，存在对复合内容而非单一类型内容的增长的需求。例如，主服务流和附加信息流(诸如广告流)可通过被创建为一个服务对象而非多个单独的流来构成复合内容。
最近制作并发布的内容的特征在于内容可被实时制作和发布、可被重新配置和重新发布、并且可根据用户偏爱被控制。最近反映这些特征的内容包括：例如，用户可自由使用、复制、改变和重新发布而没有任何特殊限制的自由内容、以及允许用户共享创作(诸如文本、视频和音乐)的公开内容。
使用自由内容和公开内容，可由不同的制作者根据他们的目的和意图来创建许多不同类型的内容。例如，使用源内容A、B和C，服务提供者可创建源内容A是其主内容的内容，并且还可创建源内容B或C是其主内容的内容。因此，内容的利用取决于构成内容的各种源流的语义配置和作用。
发明内容
技术问题
如上所述，考虑到内容的语义配置和作用，由于传统内容传输和提供技术仅集中在按预定次数提供预定大小和形状的传输的内容，因此传统内容传输和提供技术在提供内容上具有限制。
技术方案
因此，设计本发明来至少解决以上讨论的问题和/或缺点并且至少提供以下所述的优点。本发明的一方面在于提供一种用于记录并播放包括多个流组的内容的方法和设备。
本发明的另一方面在于提供一种通过提供所提供的内容的语义配置和作用信息来实现内容的自由调整和控制的内容提供方法和设备。
根据本发明的一方面，提供一种用于接收多个内容的方法。该方法包括：从服务器获取分类信息；根据分类信息对从服务器提供的多个内容进行分类。
根据本发明的另一方面，提供一种用于发送多个内容的方法。该方法包括：将分类信息提供给接收设备；将可基于分类信息分类的所述多个内容信息提供给接收设备。
根据本发明的另一方面，提供一种用于接收多个内容的设备。该设备包括：接收器，用于从服务器接收分类信息和所述多个内容；处理器，用于根据分类信息对所述多个内容进行分类。
根据本发明的另一方面，提供一种用于发送多个内容的设备。该设备包括：数据处理器，用于产生分类信息；发送器，用于将可基于分类信息分类的所述多个内容发送给接收设备。
有益效果
从本发明的上述实施例明显的是，在提供包括多个源内容或流的复合内容中，关于构成复合内容的各种源流的语义配置和作用的信息被证明，从而使得可根据各种内容类型和用户意图来利用内容。这种内容可作为适应用户的内容被提供。
附图说明
通过以下结合附图进行的描述，本发明的特定实施例的以上和其他方面、特点和优点将更加明显，其中：
图1是示出用于当在相同的时间段中提供多个内容时包括多个内容类型的复合内容的内容提供方法的示图；
图2是示出用于根据用户环境从多个源流中选择合适的源流并且将选择的流提供给用户的服务配置的示图；
图3是示出根据本发明实施例的用于发送多个内容类型的方法的流程图；
图4是示出根据本发明实施例的用于接收多个内容类型的方法的流程图；
图5是示出根据本发明实施例的服务器设备的框图；
图6是示出根据本发明实施例的用于接收多个内容类型的客户机设备的框图；
图7至图11示出根据本发明实施例的复合内容结构；
图12是示出根据本发明实施例的配置文件的示图；
图13是示出根据本发明实施例的用于提供流的语义配置和作用信息的配置文件结构的示图；
图14是示出基于基于国际标准化组织(ISO)的媒体文件格式的传统内容存储格式的示图；
图15是示出根据本发明实施例的包括用于提供构成内容的流的语义配置和作用信息的信息的存储格式的示图；
图16是示出根据本发明实施例的用于接收复合内容存储格式的方法的流程图；
图17是示出根据本发明实施例的包括用于提供构成内容的流的语义配置和作用信息的信息的存储格式的示图；
图18是示出根据本发明实施例的用于接收复合内容存储格式的方法的流程图；
图19是示出根据本发明实施例的包括新的moov-level盒(box)的盒配置的示图；
图20是根据本发明实施例的包括新的moov-level元盒的盒配置的示图；
图21至图24是示出根据本发明实施例的被单独配置的元信息和复合内容存储格式的示图；
图25和图26是示出根据本发明实施例的包括在复合内容存储格式中的元信息的示图；
图27是示出根据本发明实施例的被单独配置的包括分类信息的元信息和复合内容存储格式的示图；
图28是示出根据本发明实施例的接收包括在复合内容存储格式中的元信息的终端的操作的方法的流程图；
图29是示出根据本发明实施例的元信息的示图；
图30是示出根据本发明实施例的以“项”为单位提供的元信息的示图，所述“项”的语义配置和作用信息是逻辑配置单元；
图31和图32是示出根据本发明实施例的元信息的示图；
图33是示出根据本发明实施例的复合内容文件发送设备的框图；
图34是示出根据本发明实施例的复合内容文件接收设备的框图。
在整个附图中，将理解相同的附图标号指示相同的元件、特征和结构。
具体实施方式
现在将参照附图对本发明的各种实施例进行详细描述。在以下描述中，仅提供特定细节(诸如详细配置和组件)来帮助对本发明特定实施例的全面理解。因此，对于本领域技术人员明显的是，在不脱离本发明的范围和精神的情况下，可对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，省略了对公知功能和构造的描述。
图1是示出用于当在相同的时间段中提供多个内容时包括多个内容类型的复合内容的内容提供方法的示图。具体地讲，图1示出用于由多个内容类型100(即将在相同的时间段102中提供的内容1和内容2)构成的复合内容的内容提供方法。
参照图1，由于在相同时间102或相同的服务时间提供内容1和内容2，因此传统(或遗留)播放器可能不能确定如何渲染它们。具体地讲，对于实时创建和提供的意外内容(诸如，简明新闻或紧急消息)，考虑到正在进行的内容，传统播放器不能控制此内容。
图2是示出用于根据用户环境从多个源流中选择合适的源流并且将选择的流提供给用户的服务配置的示图。
参照图2，假设流1、2、3和4包括内容A200的关联片段，流5和6包括内容B202的关联片段，它们一起构成复合内容。用于接收位于时间段206中的片段的用户终端能够接收500K比特数据。在这种情况下，由于终端不具有关于内容A和内容B之间的关系的信息，所以终端可能不会确定它应该选择内容A和内容B中的任何一个还是选择内容A和内容B两者进行回放。因此，终端将仅选择与500K比特的大小(作为其可能容量)相应的数据流。然而，即使在这种情况下，由于如图2所示在500Kbps数据流中存在正在被发送的多个片段206a和206b，因此终端也可能不会确定它应该选择并接收哪个数据流或片段以在时间段206中将服务提供给用户。
为了解决这些缺点和其他缺点，根据本发明实施例的内容提供方法和设备通过提供包括由多个流构成的流组的内容的语义配置和作用信息，便于根据各种内容类型和用户意图来对内容进行自由调整和控制。这些多个流可包括在主内容的服务期间产生和提供的附加流。这里，术语“流”和“内容”将用于相同含义。另外，可在多个片段中发送流或内容。
如以下将在这里描述的用于内容控制的信息可被配置为存储和/或携带信息的记录和传输介质。尽管在这里不进行详细描述，但是控制信息或介质可被包括在能够记录、发送、传输和存储数据的任何数据格式中。
此外，如以下将在这里描述的由多个源内容类型构成的复合内容可被配置为流的逻辑对象或集合，并且复合源内容的集合可构成一个新的内容或对象。这里，术语“复合内容”是指多个内容类型的集合。
图3是示出根据本发明实施例的用于发送多个内容类型(即，复合内容)的方法的流程图。
参照图3，服务器设备在步骤300创建多个内容，并在步骤302识别多个内容类型之间的配置信息。在步骤304，服务器设备或发送设备基于识别的配置信息来产生分类信息，并在步骤306，将所述多个内容(即，复合内容)以及分类信息提供给接收设备或客户机设备。
图4是示出根据本发明实施例的用于接收复合内容的方法的流程图。
参照图4，在步骤400，播放器或客户机设备从服务器设备获取包括多个内容类型的复合内容，并获取用于该复合内容的分类信息。客户机设备可通过首先将请求发送给服务器设备来从服务器设备获取复合内容和分类信息，或者无需请求而从服务器设备接收复合内容和分类信息。
在接收到复合内容和分类信息之后，客户机设备在步骤402根据分类信息将所述多个内容类型进行分类，并在步骤404根据识别的所述多个内容类型之间的关系来处理该复合内容。在步骤404，根据所述多个内容类型之间的关系，客户机设备可确定哪个内容是主内容以及哪个内容是附加内容，并且还可确定所述多个内容类型中的附加内容的数量。基于识别的所述多个内容类型之间的关系，客户机设备可独立地处理主内容和附加内容。
例如，如果附加内容关于紧急广播，则客户机设备可在播放主内容的同时提供关于紧急广播的附加内容。然而，如果附加内容是广告，则客户机设备可在主内容的中间或在主内容完成之后提供附加内容。在步骤406，客户机设备播放该复合内容。
图5是示出根据本发明实施例的服务器设备500的框图。
参照图5，数据处理器502产生分类信息(即，用于对多个内容类型进行分类或识别的信息)。发送器504将分类信息和关联的复合内容发送给客户机设备。
图6是示出根据本发明实施例的用于接收复合内容的客户机设备的框图。
参照图6，客户机设备600包括接收器602，接收器602从服务器设备接收分类信息和关联的复合内容。处理器604使用分类信息来对包括在复合内容中的多个内容类型进行分类，并将内容提供在显示器606上以提供给用户。处理器604可使用分类信息来识别所述多个内容类型中的各个内容之间的关系，根据识别的关系在主内容与附加内容之间进行区分，并将各个内容合适地输出在显示器606上。
图7至图11示出根据本发明实施例的复合内容结构。
参照图7和图8，复合内容结构704包括配置文件700和复合内容702，复合内容702包括多个流或多个内容类型。因此，接收终端(或客户机终端)可通过预先分别接收并检查配置文件700和800来识别关于复合内容702和802的信息。
图9至图11示出根据本发明实施例的复合内容结构。
参照图9至图11，复合内容902、1006、1008、1104和1106在发送/接收流或内容的单元/大小方面根据它们的流或内容可不同。
这里描述的复合内容可被配置为如图10所示的多个复合内容1006和1008的集合，或者可被配置为如图11所示的复合内容1104和源内容或源流1106的集合。
更具体地讲，参照图9，配置文件900包括关于包括多个流的复合内容902的信息，并且接收设备通过检查配置文件900来识别流的语义配置和作用信息。根据本发明实施例，配置文件900包括用于对包括在复合内容902中的多个流(即，内容类型)分类的分类信息。
参照图10，复合内容结构1010包括分层结构。例如，高级别(或上层)配置文件1000具有两个低级别配置文件1002和1004，所述两个低级别配置文件1002和1004分别地包括用于它们关联的复合内容1006和1008的分类信息。当接收到复合内容结构1010时，接收设备首先分析高级别配置文件1000，识别作为分析的结果的存在于配置文件1000的低级别中的配置文件1002和1004，并且随后分别根据识别的配置文件1002和1004的分类信息来对复合内容1006和1008进行分类。如果如图10中高级别配置文件1000在其低级别中具有配置文件1002和1004，那么高级别配置文件1000另外具有用于它的低级别配置文件1002和1004的参考信息。
参照图11，复合内容结构1110包括高级别配置文件1100，高级别配置文件1100具有关于它的低级别配置文件1102的信息以及关于源流1106的信息。当接收到复合内容结构1110时，接收设备分析配置文件1100，并通过根据包括在配置文件1100中的分类信息或参考信息检查低级别配置文件1102来处理复合内容1106，或者通过直接地检查源流1106的配置来处理源流1106。
如上所述，用于提供信息(诸如用于服务的信息提供以及设置/初始化)的配置文件700、800、900、1000和1100可以是媒体呈现描述(MPD)、清单、配置等。另外，任何具有相同含义或者相同作用的信息可被确定为与配置信息相同的信息。
尽管在此说明书中已经或者将提供基本字段和属性信息，但是在本发明的每个实施例中描述的配置文件信息还可包括附加信息(诸如，根据使用中的环境和/或服务的字段和属性)，而这不意于限制本发明的范围。
另外，尽管在此说明书中示出和描述了包括在配置文件中的信息的逻辑语义，但是这些逻辑语义可根据系统、服务产生或提供环境而被表示为各种信息表示结构或格式(诸如，可扩展标记语言(XML)、二进制数据、格式化信息结构)。
图12是示出根据本发明实施例的配置文件的示图。
参照图12，配置文件1200包括顶级元素1202，顶级元素1202在它的低级别中具有表示关于复合内容(即，多个流)的信息的元素1204。关于每个流的详细信息可由属性字段1206标识。关于流发送或提供单元，可由属性字段1206根据系统或服务产生和提供环境来提供关于每个提供单元的详细信息。
在图12中，新的元素或流类型(streamType)1208被添加在流元素1204的属性字段1206中，以将流的语义配置和作用信息提供到配置文件1200中的信息。流类型(streamType)1208表示其在内容中的作用或重要性或者其自身的流作用。如以下表1的示例中的流类型(streamType)1208可提供指示流是内容提供中的主服务的信息。图12中示出的其他属性(即类型(type)、比特率(bitrate)和开始时间(StartTime))与本发明不直接相关，因此将省略对其的描述。
表1显示了根据本发明实施例的指示流是内容的主服务/内容流还是附加内容流的流类型(streamType)1208的示例。
表1
[表1]
值 streamType
0x01 主
0x02 附加
0x03 保留
如表2的示例所示，流类型(streamType)1208还可详细地描述内容流的作用。表2显示了指示流是用于紧急消息服务的内容流、用于广告的流还是用户定义的流的流类型(streamType)1208的示例。
表2
[表2]
值 streamType
0x01 紧急
0x02 广告
0x03 用户定义
0x04 保留
图13示出根据本发明实施例的用于提供流的语义配置和作用信息的配置文件结构1300。然而，与图12不同，在图13中，流元素1204的属性字段1306包括“is_mainStream”属性元素1308。
参照图13，由“is_mainStream”元素1308提供的信息具有与结合图12描述的“streamType”元素1208相同的含义。如果图13中的“is_mainStream”元素1308的值被设置为“真”，则其指示流在提供的服务中是主服务/内容流。作为另一示例，通过将“紧急”字段(未显示)设置为“真”，则其可用于指示内容流起到紧急消息的作用。
根据用于提供复合内容的语义配置和作用信息的本发明的另一实施例，以下将描述在一个文件或格式化内容存储格式中配置包括多个流或多个内容类型的复合内容结构的示例。在以下描述中，将根据基于国际标准化组织(ISO)的文件格式来描述包括多个内容类型/流的复合内容结构的示例。
基于ISO的媒体文件格式被定义为ISO/IEC国际标准14496-12：2005的“信息技术-音频视频对象的编码-部分12：ISO基础媒体文件格式”。此格式中的文件包括流的媒体数据以及包括用于播放流的信息的元数据。基于ISO的媒体文件格式中的基本构造块被称为“盒(box)”，并且盒是在基于ISO的媒体文件格式中的面向对象的基本构造块。每个盒包括头和净荷。头表示盒的类型并且以字节表示盒的大小。从头中包括版本号和标志的“全盒”结构中得到多个指定的盒。盒可包括另一盒，并且ISO文件格式在盒的指定字节中指定可允许的盒的类型。
流的媒体数据作为音频/视频(A/V)文件被存储在媒体数据(mdat)盒中，其元数据被存储在MOOV盒中，并且其文件类型被存储在文件类型(ftyp)盒中。因此，基于ISO的媒体文件格式包括多个盒，所述多个盒包括A/V数据和关于A/V数据的详细信息。在此说明书中，术语“盒”还可被称为“数据块”或“容器”。
将省略对基于ISO的媒体文件格式的更详细的描述，以便不会模糊本发明的主题内容。图14示出基于基于ISO的媒体文件格式的传统内容存储格式。尽管未在图14中示出，但文件类型(ftyp)盒包括关于文件类型和兼容文件类型的信息。兼容文件类型使得正常回放在解码器中可行。
参照图14，MOOV盒1402中的数据被配置为基于对象的结构，并且包括：内容信息(诸如帧率、比特率和图像大小)；用于支持回放功能(诸如快进(FF)/倒带(REW))的同步(sync)信息；以及用于播放包括在mdat盒1404中的媒体文件的详细信息。由于MOOV盒1402包括关于A/V数据帧的总数以及每帧的大小的信息，因此客户机设备可通过在回放期间解析MOOV盒1402来提供包括在mdat盒1404中的A/V数据。MOOV盒1402包括用于基于轨道来参考记录在mdat盒1404中的流的轨道(trak)盒1402a和1402b。
mdat盒1404包括与每个轨道相应的实际流数据，A/V数据可基于单元数据(诸如帧和样本)被存储mdat盒1404中。
尽管到目前为止已经通过示例考虑了图14中示出的基于ISO/IEC14496-12标准的媒体文件格式，但是在本发明中描述的复合内容结构可被用于任何基于ISO/国际电工委员会(IEC)14496-12标准的文件格式。此外，尽管复合内容结构不基于ISO/IEC14496-12标准，但是复合内容结构可被应用于以结构格式配置的任何可用存储格式和记录介质中。
图15和图17示出根据本发明实施例的包括用于提供构成内容的流的语义配置和作用信息的信息的存储格式。
图15和图17中示出的存储格式1500和1700的每一个在一个存储格式中包括服务的主内容流及其附加内容流(诸如，广告和紧急消息)。在这里，存储格式还可被称为复合内容结构。
在图15和图17中，为了提供流的语义配置和作用信息，附加媒体轨道(addm)被新定义为指示如在表3中的每个轨道的参考信息的参考类型(reference_type)的“handler_type”。
表3
[表3]
Handler_type 描述
vide 视频轨道
soun 音频轨道
hint 提示轨道
meta 时间元数据轨道
addm 附加媒体轨道
参考类型(reference_type)是包括在轨道参考(tref)盒1514b和1714中的信息，tref盒1514b和1714可用于通过使用参考类型(reference_type)和轨道ID(track_ID)来连接其他轨道，所述其他轨道被当前轨道参考或参考当前轨道。因此，通过检查根据本发明实施例的复合内容结构存储格式中的tref盒的参考类型(reference_type)，客户机设备可确定当前轨道将参考的轨道或者当前轨道被参考的轨道是附加媒体轨道(addm)，即包括除了主服务之外的内容的轨道，例如，紧急消息服务和广告。
更具体地讲，参照图15，复合内容结构存储格式1500包括具有两个轨道(trak)盒1512和1514的MOOV盒1510，trak盒1512和1514分别指定包括在mdat盒1520中的主服务内容1520a和附加服务内容1520b。轨道(trak)盒1512和1514分别包括轨道头(tkhd)盒1512a和1514a，tkhd盒1512a和1514a分别包括用于标识包括在mdat盒1520中的它们的关联轨道1520a和1520b的轨道标识符(Id)。
在图15中，包括用于参考附加服务内容1520b的信息的轨道参考盒1514b被包括在与附加服务内容1520b相应的轨道(trak)盒1514中。轨道参考盒1514b包括参考类型(reference_type)和轨道ID。客户机设备检查包括在轨道参考盒1514b中的参考类型(reference_type)，如果参考类型(reference_type)被设置为“addm”，则客户机设备确定与轨道(trak)盒1514相应并且包括附加服务内容的轨道1520b是附加内容。
图16是示出根据本发明实施例的接收如图15所示的复合内容存储格式的操作方法的流程图。
参照图16，终端在步骤1610接收复合内容存储格式1500，并且在步骤1620检查MOOV盒1510。尽管未在图16中示出，但可在步骤1620之前执行分析并检查将在存储格式中被分析的盒(诸如，文件类型(ftyp)盒1502)的处理。终端在步骤1630中检查低级别中的轨道(trak)盒1512和1514，并在步骤1640中检查轨道参考(tref)盒1514b的在席/缺席。对于具有轨道参考(tref)盒1514b的轨道，终端在步骤1640中检查轨道参考(tref)盒1514b。
终端在步骤1650中检查轨道参考(tref)盒1514b的参考类型(reference_type)，并且在步骤1660中确定参考类型(reference_type)的值是否为“addm”。如果参考类型(reference_type)的值为“addm”，则此指示该轨道是包括除了主服务之外的内容(诸如，紧急消息服务和广告)的轨道。因此，终端可在步骤1670通过检查轨道参考(tref)盒1514b的track_ID字段的值来确定包含主服务内容的轨道是哪种轨道类型。继检查轨道(trak)盒的步骤1630之后的所有步骤可从图像文件的第一轨道重复到最后轨道。
尽管检查盒的处理被包括在所有终端的操作的描述中，但是检查盒的顺序应该没必要遵循附图中的顺序。在这里没有进行详细描述的文件格式分析处理及其关联的终端操作可遵循ISO/IEC14496-12标准中的细节。
再次参照图17，复合内容结构存储格式1700包括具有轨道(trak)盒1712和1716的MOOV盒1710，轨道(trak)盒1712和1716分别指定包括在mdat盒1720中的主服务内容1720a和附加服务内容1720b。轨道(trak)盒1712和1716分别包括它们关联的轨道头(tkhd)盒。
包括在与主服务内容1720a相应的轨道(trak)盒1712中的轨道参考(tref)盒1714包括参考类型(reference_type)和轨道标识符(track_ID)。客户机设备检查包括在轨道参考(tref)盒1714中的参考类型(reference_type)，如果参考类型(reference_type)被设置为“addm”，则客户机设备确定与轨道(trak)盒1712相应的轨道是包括主服务内容1720a的轨道。
图18是示出根据本发明实施例的接收如图17所示的复合内容存储格式的操作方法的流程图。
参照图18，终端在步骤1810接收复合内容存储格式1700，并且在步骤1820检查MOOV盒1710。尽管未在图18中示出，但是可在步骤1820之前执行分析并检查将在存储格式1700中被分析的盒(诸如，文件类型(ftyp)盒)的处理。终端在步骤1830检查低级别中的轨道(trak)盒1712和1716，并且在步骤1840检查轨道参考(tref)盒1714的在席/缺席。对于具有轨道参考(tret)盒1714的轨道，终端在步骤1840检查轨道参考(tref)盒1714。
终端在步骤1850检查轨道参考(tref)盒1714中的参考类型(reference_type)，如果在步骤1860参考类型(reference_type)的值被设置为“addm”，则确定该轨道是包括主服务内容1720a的轨道，终端可在步骤1870通过检查轨道参考(tref)盒1714中的track_ID字段的值来确定包括除了主服务之外的内容(诸如，紧急消息服务和广告)的轨道是哪种轨道类型。继检查轨道(trak)盒的步骤1830之后的所有步骤可从图像文件的第一轨道重复到最后轨道。
尽管在所有终端的操作的描述中需要检查盒的处理，但是检查盒的顺序应该没必要遵循附图中的顺序。在这里没有进行详细描述的文件格式分析处理及其关联的终端操作可遵循ISO/IEC14496-12标准中的细节。图19和图20是示出根据本发明实施例的分别包括新的moov-level盒和新的moov-level元盒的盒配置的示图。
具体地讲，图19和图20示出提供流的语义配置和作用信息的复合内容存储格式的新的盒结构1900和2000的示例。可通过将其标识符定义为“uuid”并将“uuid”的ID字段的值设置为指示该盒是用于包括本发明中描述的信息的盒的特定值，来将新定义的盒1920和2070的每一个进行区分。可选择地，可通过设置它们的唯一名称来定义新定义的盒1920和2070。
参照图19和图20，新盒可包括指示包括除了主服务之外的内容(诸如紧急消息服务和广告)的轨道的数量并且还指示轨道的类型的信息。新盒1920和2070可被配置为包括表示内容配置的详细语义和作用信息的信息，所述内容配置指示轨道构成主服务流、广告等。
在本发明中提出的方法可配置在基于ISO的媒体文件格式中指定的各种格式的存储格式的新盒(诸如，file-level盒、moov-level盒、track-level盒、moov-level元盒、track-level元盒等)。尽管未在如图15和图17所示的盒中进行配置，但是需要的信息可被添加在字段中。
图19示出根据本发明第二实施例的以新moov-level盒的格式来配置包括这里描述的新信息的盒的示例，图20示出根据本发明第二实施例的以新moov-level元盒的格式来配置包括这里描述的新信息的盒的示例。
在图19中，新定义的uuid盒1920被定义在MOOV盒1910中，并且uuid盒1920的标识符被称为“addm”。MOOV盒1910包括轨道(trak)盒1930和1940，轨道(trak)盒1930在mdat盒1950中用trak_ID＝1来指定主服务内容1950a，而轨道(trak)盒1940在mdat盒1950中用track_ID＝2来指定附加服务内容1950b。
uuid盒1920包括作为指示多少附加内容类型被包括在mdat盒1950中的信息的附加媒体内容类型的数量。附加媒体内容类型的数量被定义在“附加媒体计数”字段中。uuid盒1920包括附加内容类型的轨道ID。
在图19中，当包括在uuid盒1920中的附加媒体计数字段被设置为1时，一个附加内容存在于mdat盒1950中，当track_ID被设置为2时，附加内容是具有track_ID＝2的附加内容。
图20示出通过不将uuid盒2070包括在MOOV盒2010中，而将uuid盒2070包括在moov-level元盒2060中所配置的存储格式2000。
图21至图27示出根据本发明实施例的复合内容存储格式和元信息。具体地讲，在图21至图27示出包括分类信息的元信息和包括复合内容的复合内容存储格式以及用于播放复合内容的信息可被单独地配置，或者元信息可被包括在复合内容存储格式中。
图21至图24示出根据本发明实施例的被单独配置的元信息和复合内容存储格式。
参照图21至图24，元信息或元信息文件可指定或参考包括实际内容的复合内容存储格式。例如，在图21中，元信息2102指定复合内容存储格式2100；在图22中，元信息2202指定复合内容存储格式2200；在图23中，元信息2302指示复合内容存储格式2300a和2300b；在图24中，元信息2402指定复合内容存储格式2404和2406。例如，元信息或元信息文件可被设置为指定或参考如图22或图24所示的详细的流或轨道(trak)盒。
另外，元信息或元信息文件可包括如图23和图24所示的在多个内容存储格式中配置的复合内容的相关信息。
当如图21至图24所示配置服务时，终端通过分析元文件来检查内容流的语义配置和作用信息，并且随后分析实际内容存储格式、流和/或轨道。
图25和图26示出根据本发明实施例的包括在复合内容存储格式中的元信息。
具体地讲，图25示出复合内容存储格式2500，其中，元信息文件2508被包括在元盒2504中的XML或二进制XML(bXML)盒2506中。元盒2504处于与MOOV盒2502相同的级别。
图26示出通过在元盒2608中产生包括元信息的新“admt”盒2610的复合内容存储格式2600中的元信息2612。元盒2608处于与MOOV盒2602相同的级别。
可以以在ISO/IEC14496-12标准中指定的各种格式(诸如，file-level盒、moov-level盒、track-level盒、moov-level元盒、track-level元盒等)来配置以上描述的复合内容存储格式的新盒。可通过将其标识符定义为“uuid”并将“uuid”的ID字段的值设置为指示该盒用于包括如根据本发明实施例描述的信息的特定值，来区分新定义的盒的每一个。可选择地，可通过设置其唯一名称(诸如，如图26所示的“admt”)来定义新定义的盒。
图27是示出根据本发明实施例的被单独配置的包括分类信息的元信息和复合内容存储格式的示图。具体地讲，图27示出被单独配置的包括分类信息的元信息2706以及复合内容存储格式2700。然而，与图21至图24不同，终端首先分析复合内容存储格式2700。
在这种情况下，终端可使用用于外部数据、内容或数据源的参考信息相关盒，来检查用于元信息或元信息文件的参考信息。作为示例，当在图27中元盒2702的项位置盒(iloc)和/或项信息盒(iinf)盒2704被用作参考信息相关盒时，其他盒可用作复合内容存储格式2700中的参考信息相关盒(诸如，数据信息盒(dinf)和/或数据参考盒(dref))，以提供用于元信息2706或元信息文件的参考信息。
如果如图25和图26所示元信息被包括在内容存储格式中，则终端可通过根据ISO/IEC14496-12标准的细节来分析存储格式的处理，按照盒级别和盒配置的顺序来顺序分析元盒、元盒的低级别中的XML或bXML以及元信息或元信息文件。
在以下描述中，如果如图25和图26所示元信息2508和2612被分别包括在复合内容存储格式2500和2600中，则可根据图28中的终端操作来分析该信息。
图28是示出根据本发明实施例的接收如图25和图26所示的包括在复合内容存储格式中的元信息的终端的操作方法的流程图。
参照图28，当在步骤2810接收到内容存储格式时，终端在步骤2820检查元盒。在检查元盒的步骤2820之前，终端可预先检查文件类型(fytp)盒。使用文件类型(fytp)盒中的兼容性相关信息(诸如，商标信息)，终端可确定复合内容存储格式是否为包括数据信息或本发明中描述的元信息盒的内容存储格式。
终端通过在步骤2830检查元信息或元信息盒来识别元信息，并且在步骤2840检查主媒体轨道和附加媒体轨道或者每个轨道的语义配置和作用。其后，终端可在步骤2850和2860分别检查moov盒和轨道(trak)盒。
如果在file-level盒、moov-level盒、track-level盒、moov-level元盒或track-level元盒中配置元信息或元信息盒，则终端可执行分析相关盒的高级别盒的步骤，代替步骤2820。
例如，如果元信息或元信息盒被配置在moov-level盒中，则终端可接收内容存储格式，确定接收的内容存储格式是否为包括元信息或元信息盒的内容存储格式，首先检查MOOV盒，并且在步骤2830检查在其低级别中配置的元信息(admt)。
图29是示出根据本发明实施例的元信息的示图。
参照图29，元信息2900包括内容元素2902和轨道元素2904，内容元素2902作为顶级别元素用于指示关于哪些内容被包括在元信息2900中的信息，轨道元素2904包括关于存在于内容中的多个轨道的信息。对于每个轨道元素2904，属性字段2906具有轨道ID(trackID)2908和内容类型(contentType)2910，其中，内容类型(contentType)2910是描述内容的类型的信息。内容类型(contentType)2910可提供如表1的示例中的指示内容是内容提供中的主服务的信息。另外，内容类型(contentType)2910可提供如表2的示例中的指示流是用于紧急消息服务的内容流还是用于广告的流的信息。
可由指示关于流或内容的信息的信息来替代图29中的轨道元素2904。例如，如果由内容来替代轨道，则提供的服务可包括内容A、内容B和内容C，内容类型(contentType)2910的属性信息可提供在提供复合内容中描述内容A、内容B和内容C的每一个的语义或作用的信息。
图30示出根据本发明实施例的以“项”为单位提供的元信息，所述“项”的语义配置和作用信息是逻辑配置单元。
参照图30，元信息3000包括内容元素3002和项元素3004，内容元素3002指示关于哪个内容被包括在元信息3000中的信息，项元素3004包括关于存在于内容中的项的信息。对于每个项元素3004，属性字段3006具有参考轨道标识符(ref_trackID)3008、项标识符(item_ID)3010和项类型(item_Type)3012，其中，项类型(item_Type)3012是描述项3004的类型的信息。
itemType_3012是提供与图29中的contentType2910相同的信息的属性信息。项3004是逻辑结构。物理地，项3004可包括多个轨道/流/内容，几个项可构成一个轨道/流/内容。
图31和图32示出根据本发明实施例的元信息。具体地讲，在图31和图32中，可通过提供用于使用元信息3100和3200提供内容的特定方法来提供内容的语义配置和作用信息。
参照图31，终端可通过检查流元素3104的属性字段3106中的is_mandatory元素3108的值来确定轨道/流/内容是否被设置用于强制提供，其中，流元素3104是元信息3100的顶级别“配置”元素3102的低级别元素。is_mandatory元素3108是指示轨道/流/内容必须被提供还是被提供用于附加服务的强制提供属性信息。基于此属性信息，终端可确定轨道/流/内容是用于主服务还是用于附加服务(诸如，广告)。如果is_mandatory元素的值或强制提供属性信息的值被设置为“真”，则其指示轨道/流/内容用于主服务。然而，如果is_mandatory元素的值被设置为“假”，则其指示轨道/流/内容用于附加服务。
参照图32，终端可通过检查元信息3200的顶级别配置元素3203的低级别流元素3204的属性字段3206中的“can_skip”元素3208的值或“跳过”属性信息的值，来确定轨道/流/内容是否可被跳过。如果can_skip元素3208的值或跳过属性信息的值被设置为“真”，则终端可确定轨道/流/内容对应于可被跳过的附加服务。然而，如果can_skip元素3208的值被设置为“假”，则终端可确定轨道/流/内容对应于不能被跳过的主服务。基于此属性信息，终端可确定轨道/流/内容是用于主服务还是用于附加服务(诸如广告)。
如上述本发明的实施例，关于图31和图32的内容提供方法的信息可被进一步提供作为附加信息以及配置信息和元信息。例如，在终端已经确定了轨道/流/内容用于主服务之后，如果轨道/流/内容的can_skip属性字段的值被设置为“真”，则终端可降低提供的主服务的优先级，诸如停止主服务并提供另一服务。
关于图31和图32的内容提供方法的信息可被用于在提供服务内容中反映内容提供者或服务提供者的意见，或者在提供服务内容中反映终端设置或用户偏爱。此信息还可包括在提供服务内容中反映内容提供者或服务提供者的意见的信息，或者还可包括在提供服务内容中反映终端设置或用户偏爱的信息。
这里描述的元信息可改变根据内容的语义配置和作用信息的内容提供方法、内容显示方法或内容存储方法，或者还可提供关于根据内容的语义配置和作用信息的内容提供方法、内容显示方法或内容存储方法的信息。
作为内容显示方法的示例，还可添加用于确定同时提供流1和流2的数据还是在流1的中间提供流2的信息，并且可基于在本发明中描述的元信息来确定内容提供方法。
作为内容显示方法的另一示例，对于视频内容，可通过提供用于布局信息的新属性信息来提供如表4所示的详细信息，并且可通过检查在第三实施例中描述的元信息来确定内容提供方法。
表4
[表4]
值 布局类型
0x01 分层
0x02 画中画
0x03 弹出
0x04～ 保留
作为内容显示方法的另一示例，对于音频内容，与视频内容不同，如果两个不同的音频流被同时播放，则正常音频服务可不被提供。在服务(诸如广告)根据内容的语义配置和作用正在被提供的同时，详细的服务提供相关属性信息(诸如减小用于主媒体的音量、将主媒体静音以及跳过主服务的数据)还可作为元信息被提供。另外，可通过检查包括上述内容的语义配置和作用信息的配置信息和元信息来确定内容提供方法。
另外，可根据包括上述内容的语义配置和作用信息的配置信息和元信息来控制存储在接收终端中的内容。在经历通过检查包括内容的语义配置和作用的配置信息和元信息来进行内容提供处理(诸如播放服务内容)之后，接收终端可根据包括内容的语义配置和作用的配置信息和元信息来选择并存储内容/流/轨道。
例如，如果复合内容包括作为其主服务内容的流1、流2和流3以及作为广告服务内容的流4和流5，则流1、流2和流3作为主服务内容被存储在接收终端的存储器中，并且随后被配置为单独的媒体文件并被管理。
在前述描述中发送单个媒体文件的同时，包括构成主服务内容的流1、流2和流3的一个文件以及包括构成广告服务内容的流4和流5的另一文件，可根据包括内容的语义配置和作用的配置信息和元信息作为单独的内容文件被独立地存储和管理。
图33是示出根据本发明实施例的复合内容文件发送设备的框图。
参照图33，复合内容文件发送设备3300(诸如，如图5所示的服务器设备500)包括数据产生器3310、输入单元3320、图像信号处理器3330、编码器3340、文件/流创建器3350、内容语义配置和作用信息产生器3360以及发送器3370。
数据产生器3310产生原始数据(诸如文本、视频、音频、图形)以及能够构成内容的元数据，数据产生器3310包括图像产生装置(诸如照相机和摄像机)、声学装置和文本产生器。从数据产生器3310输出的数据被输入到输入单元3320。输入单元3320将从数据产生器3310接收的数据提供给图像信号处理器3330，在图像信号处理器3330中，从输入单元3320输出的数据经历预处理。预处理可包括以下所有操作：将输入信号从模拟转换为数字，以及使用必需的外部输入值变换输入数据以提供图像数据。
由图像信号处理器3330预处理的数据被输出到编码器3340。尽管在图33中显示的部件之间没有单独地示出用于缓冲的存储结构，但是可根据产生装置、系统和数据产生方法来提供存储结构。编码器3340对从图像信号处理器3330提供的数据进行编码。编码器3340的编码操作是可选的。另外，如果对特定设计有益，则两个或更多的编码器3340可被提供，这使得提供不同类型或种类的服务可行。
文件/流创建器3350根据发送格式或单元从由编码器3340编码的数据创建内容文件或数据流，并将它们输出到内容语义配置和作用信息产生器3360。根据本发明实施例，内容语义配置和作用信息产生器3360产生内容文件的语义配置和作用信息。如果复合内容文件被配置为包括内容文件的语义配置和作用信息，则文件/流创建器3350可产生内容文件的语义配置和作用信息。当由文件/流创建器3350创建的文件被发送时，可由单独的数据产生器来产生内容文件的语义配置和作用信息，并且所述内容文件的语义配置和作用信息被发送给接收终端。
根据本发明实施例，内容语义配置和作用信息产生器3360产生关于包括在复合内容中的内容的作用之间的关系的信息。关于内容的作用之间的关系的信息可被包括在用于对内容分类的分类信息中。数据产生器3310、输入单元3320、图像信号处理器3330、编码器3340、文件/流创建器3350以及内容语义配置和作用信息产生器3360可被包括在如图5所示的数据处理器502中。
图34是示出根据本发明实施例的复合内容文件接收设备的框图。
参照图34，复合内容文件接收设备3400(诸如，如图6所示的客户机设备600)包括接收器3410、内容语义配置和作用信息分析器3420、文件/流分析器3430、解码器3440、播放器3450和显示器3460，其中，接收器3410用于从服务器接收复合内容文件。内容语义配置和作用信息分析器3420接收并分析由图33中的内容语义配置和作用信息产生器3360产生的信息。文件/流分析器3430分析由图33中的文件/流创建器3350创建并从文件/流创建器3350接收的文件。
如果复合内容文件被配置为包括内容语义配置和作用信息，则文件/流分析器3430可包括分析内容语义配置和作用信息的处理。解码器3440对由文件/流分析器3430分析并提取的内容数据进行解码。当复合内容文件发送设备3300使用编码器3340对文件/流进行编码时，解码处理被执行。由多于一个编码器编码的数据可由它们关联的解码器来解码，或者可选择性地根据系统或终端来解码，这使得提供不同类型/种类的服务可行。
尽管未在图34中示出单独的存储器，但是可在图34中示出的部件之间提供用于缓冲或存储数据的存储器。
播放器3450根据由内容语义配置和作用信息分析器3420和文件/流分析器3430分析的信息来播放从解码器3440提供的数据。显示器3460显示由播放器3450播放的内容。显示器3460是指最终输出装置或者物理输出装置，通过这些装置，实际数据被输出并提供给用户。内容语义配置和作用信息分析器3420、文件/流分析器3430、解码器3440和播放器3450可被包括在如图6所示的处理器604中。
在本发明实施例中描述并用于对包括在复合内容中的内容进行分类的信息被称为“分类信息”。例如，分类信息可包括“stream_type”；“is_mainStream”；包括在轨道参考(tref)盒中的reference_type和track_ID；包括在元盒或元数据中的“附加媒体计数”和track_ID；“content_type”、“item_Type”、“is_mandatory”和“can_skip”。
上述本发明实施例的前述细节可根据系统或服务环境而改变。例如，当检查用于实时服务的存储格式配置信息时，终端可确定将在附加媒体轨道的数据中接收广告，所述广告在终端还没有被接收，但是将在未来被接收。当服务被实时提供或者意外紧急消息被创建时，为了提供上述的内容语义配置和作用信息，更新和传递配置信息的处理或者重新发送和重新接收配置信息的处理可被执行。
尽管已经参照本发明的特定实施例显示和描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (32)

1.一种用于在内容播放装置中播放包括多个内容的复合内容的方法，包括：
从服务器接收复合内容以及与复合内容相应的分类信息；
根据分类信息来对包括在复合内容中的多个内容类型进行分类来识别所述多个内容类型中的各个内容之间的关系；
基于识别的所述多个内容之间的关系播放复合内容，
其中，从配置信息获取分类信息，并且配置信息包括高级别配置信息和多个低级别配置信息，高级别配置信息包括用于识别所述多个低级别配置信息的信息，所述多个低级别配置信息中的每个低级别配置信息包括复合内容的分类信息。
2.如权利要求1所述的方法，其中，接收分类信息的步骤包括：还从MOOV盒、元盒和元信息中的至少一个来获取分类信息。
3.如权利要求1所述的方法，其中，配置信息包括：在低级别属性中包括的流类型信息。
4.如权利要求2所述的方法，其中，MOOV盒包括：在多个轨道盒之一中包括的轨道参考盒中所包括的参考类型和轨道标识符。
5.如权利要求2所述的方法，其中，MOOV盒包括：在所述多个内容中包括的多个附加服务内容类型以及用于标识所述多个内容的每一个的轨道标识符。
6.如权利要求2所述的方法，其中，元盒包括：在所述多个内容中包括的多个附加服务内容类型以及用于标识所述多个内容的每一个的轨道标识符。
7.如权利要求2所述方法，其中，分类信息包括：用于标识所述多个内容中需要将被提供的内容的强制提供属性信息。
8.如权利要求2所述方法，其中，分类信息包括：用于标识所述多个内容中可由用户跳过的内容的跳过属性信息。
9.一种用于发送包括多个内容的复合内容的方法，包括：
创建包括所述多个内容的复合内容；
识别所述多个内容的配置信息；
基于所述多个内容的配置信息，产生与复合内容相应的分类信息；
将复合内容以及与复合内容相应的分类信息发送给接收设备，
其中，接收设备根据分类信息来对包括在复合内容中的多个内容类型进行分类来识别所述多个内容类型中的各个内容之间的关系，
其中，从配置信息获取分类信息，并且配置信息包括高级别配置信息和多个低级别配置信息，高级别配置信息包括用于识别所述多个低级别配置信息的信息，所述多个低级别配置信息中的每个低级别配置信息包括复合内容的分类信息。
10.如权利要求9所述的方法，其中，发送分类信息的步骤包括：还使用MOOV盒、元盒和元信息中的至少一个来提供分类信息。
11.如权利要求9所述的方法，其中，配置信息包括：在低级别属性字段中包括的流类型信息。
12.如权利要求10所述的方法，其中，MOOV盒包括：在多个轨道盒之一中包括的轨道参考盒中所包括的参考类型和轨道标识符。
13.如权利要求10所述的方法，其中，MOOV盒包括：在所述多个内容中包括的多个附加服务内容类型以及用于标识所述多个内容的每一个的轨道标识符。
14.如权利要求10所述的方法，其中，元盒包括：在所述多个内容中包括的多个附加服务内容类型以及用于标识所述多个内容的每一个的轨道标识符。
15.如权利要求10所述的方法，其中，分类信息包括：用于标识所述多个内容中需要将被提供的内容的强制提供属性信息。
16.如权利要求10所述的方法，其中，分类信息包括：用于标识所述多个内容中可由用户跳过的内容的跳过属性信息。
17.一种用于播放包括多个内容的复合内容的设备，所述设备包括：
接收器，用于从服务器接收复合内容以及与复合内容相应的分类信息；
处理器，用于根据分类信息对包括在复合内容中的多个内容类型进行分类来识别所述多个内容类型中的各个内容之间的关系；
播放器，用于基于识别的所述多个内容之间的关系播放复合内容，
其中，从配置信息获取分类信息，并且配置信息包括高级别配置信息和多个低级别配置信息，高级别配置信息包括用于识别所述多个低级别配置信息的信息，所述多个低级别配置信息中的每个低级别配置信息包括复合内容的分类信息。
18.如权利要求17所述的设备，其中，分类信息包括以下内容中的至少一个：
MOOV盒；
元盒；
元信息。
19.如权利要求17所述的设备，其中，配置信息包括：在低级别属性中包括的流类型信息。
20.如权利要求18所述的设备，其中，MOOV盒包括：在多个轨道盒之一中包括的轨道参考盒中所包括的参考类型和轨道标识符。
21.如权利要求18所述的设备，其中，MOOV盒包括：在所述多个内容中包括的多个附加服务内容类型以及用于标识所述多个内容的每一个的轨道标识符。
22.如权利要求18所述的设备，其中，元盒包括：在所述多个内容中包括的多个附加服务内容类型以及用于标识所述多个内容的每一个的轨道标识符。
23.如权利要求18所述的设备，其中，分类信息包括：用于标识所述多个内容中需要将被提供的内容的强制提供属性信息。
24.如权利要求18所述的设备，其中，分类信息包括：用于标识所述多个内容中可由用户跳过的内容的跳过属性信息。
25.一种用于发送包括多个内容的复合内容的设备，包括：
数据处理器，用于创建包括所述多个内容的复合内容，识别所述多个内容的配置信息，并且基于所述多个内容的配置信息来产生与复合内容相应的分类信息；
发送器，用于将复合内容以及与复合内容相应的分类信息发送给接收设备，
其中，接收设备根据分类信息来对包括在复合内容中的多个内容类型进行分类来识别所述多个内容类型中的各个内容之间的关系，
其中，从配置信息获取分类信息，并且配置信息包括高级别配置信息和多个低级别配置信息，高级别配置信息包括用于识别所述多个低级别配置信息的信息，所述多个低级别配置信息中的每个低级别配置信息包括复合内容的分类信息。
26.如权利要求25所述的设备，其中，分类信息包括以下内容中的至少一个：
MOOV盒；
元盒；
元信息。
27.如权利要求25所述的设备，其中，配置信息包括：在低级别属性字段中包括的流类型信息。
28.如权利要求26所述的设备，其中，MOOV盒包括：在多个轨道盒之一中包括的轨道参考盒中所包括的参考类型和轨道标识符。
29.如权利要求26所述的设备，其中，MOOV盒包括：在所述多个内容中包括的多个附加服务内容类型以及用于标识所述多个内容的每一个的轨道标识符。
30.如权利要求26所述的设备，其中，元盒包括：在所述多个内容中包括的多个附加服务内容类型以及用于标识所述多个内容的每一个的轨道标识符。
31.如权利要求26所述的设备，其中，分类信息包括：用于标识所述多个内容中需要将被提供的内容的强制提供属性信息。
32.如权利要求26所述的设备，其中，分类信息包括：用于标识所述多个内容中可由用户跳过的内容的跳过属性信息。
CN201180012492.0A 2010-03-05 2011-03-07 用于发送和接收包括多个流的内容文件的方法和设备 Expired - Fee Related CN102782684B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2010-0020027 2010-03-05
KR20100020027 2010-03-05
PCT/KR2011/001560 WO2011108908A2 (en) 2010-03-05 2011-03-07 Method and apparatus for transmitting and receiving a content file including multiple streams

Publications (2)

Publication Number Publication Date
CN102782684A CN102782684A (zh) 2012-11-14
CN102782684B true CN102782684B (zh) 2015-11-25

Family

ID=44542758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180012492.0A Expired - Fee Related CN102782684B (zh) 2010-03-05 2011-03-07 用于发送和接收包括多个流的内容文件的方法和设备

Country Status (6)

Country Link
US (1) US9106935B2 (zh)
EP (1) EP2542977A4 (zh)
JP (1) JP5638633B2 (zh)
KR (1) KR101802273B1 (zh)
CN (1) CN102782684B (zh)
WO (1) WO2011108908A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011073947A1 (en) * 2009-12-18 2011-06-23 Nokia Corporation Method and apparatus for projecting a user interface via partition streaming
CN104394487B (zh) * 2010-03-05 2018-02-06 三星电子株式会社 基于文件格式生成和再现自适应流的方法和装置
CA2871578C (en) * 2012-04-25 2020-06-02 Samsung Electronics Co., Ltd. Method and apparatus for transceiving data for multimedia transmission system
US10616297B2 (en) * 2012-07-09 2020-04-07 Futurewei Technologies, Inc. Content-specific identification and timing behavior in dynamic adaptive streaming over hypertext transfer protocol
CA2912744C (en) 2013-06-12 2018-01-16 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
GB2516826B (en) * 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
KR101799276B1 (ko) * 2013-09-27 2017-11-20 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법 및 방송 신호 수신 방법
US20160337716A1 (en) * 2013-12-19 2016-11-17 Lg Electronics Inc. Broadcast transmitting device and operating method thereof, and broadcast receiving device and operating method thereof
CA3210174A1 (en) * 2014-05-30 2015-12-03 Sony Corporation Information processing apparatus and information processing method
US11711526B2 (en) * 2018-04-05 2023-07-25 Canon Kabushiki Kaisha Method and apparatus for encapsulating images or sequences of images with proprietary information in a file

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1755701A (zh) * 2004-09-30 2006-04-05 株式会社东芝 播放数字内容的装置和方法
CN101647280A (zh) * 2007-01-26 2010-02-10 Lg电子株式会社 用于构建文件格式的方法和用于处理包括具有该文件格式的文件的数字广播信号的装置及其方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20011871A (fi) 2001-09-24 2003-03-25 Nokia Corp Multimediadatan prosessointi
JP2003297015A (ja) * 2002-03-29 2003-10-17 Toshiba Corp コンテンツ保存端末及びこのコンテンツ保存端末にコンテンツを配信する配信サーバ装置
JP4383721B2 (ja) 2002-07-01 2009-12-16 株式会社東芝 多重化分離装置
US20040158579A1 (en) * 2003-02-12 2004-08-12 Palamalai Gopalakrishnan Server side play-list
JP4619353B2 (ja) * 2003-02-26 2011-01-26 エヌエックスピー ビー ヴィ マルチメディアコンテンツを配信するためのシステム
JP2004312713A (ja) 2003-03-25 2004-11-04 Matsushita Electric Ind Co Ltd データ送信装置
EP1566966A4 (en) * 2003-03-25 2007-02-28 Matsushita Electric Ind Co Ltd DATA TRANSMISSION DEVICE
KR100524770B1 (ko) * 2003-09-17 2005-10-31 엘지전자 주식회사 주문형 비디오 서비스 장치 및 방법
KR20050092688A (ko) * 2005-08-31 2005-09-22 한국정보통신대학교 산학협력단 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법
JP2007243907A (ja) * 2006-02-10 2007-09-20 Sony Corp 記録装置、記録方法、記録方法のプログラム、記録方法のプログラムを記録した記録媒体、再生装置、再生方法、再生方法のプログラム及び再生方法のプログラムを記録した記録媒体
US20070260627A1 (en) 2006-05-03 2007-11-08 Lucent Technologies Inc. Method and apparatus for selective content modification within a content complex
JP4948147B2 (ja) * 2006-12-15 2012-06-06 富士通株式会社 複合コンテンツファイルの編集方法および装置
KR101388265B1 (ko) * 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
US20090199100A1 (en) * 2008-02-05 2009-08-06 Samsung Electronics Co., Ltd. Apparatus and method for generating and displaying media files
KR20090088771A (ko) * 2008-02-15 2009-08-20 삼성전자주식회사 디지털 비디오 방송 시스템에서 통신채널로 통지메시지를전송하는 장치 및 방법
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
KR20100030392A (ko) * 2008-09-10 2010-03-18 삼성전자주식회사 컨텐트 전송 방법 및 장치와 컨텐트 기록 방법 및 장치
CN102870424A (zh) * 2010-03-03 2013-01-09 三星电子株式会社 用于记录和播放媒体文件的设备和方法及其记录介质
CN104394487B (zh) * 2010-03-05 2018-02-06 三星电子株式会社 基于文件格式生成和再现自适应流的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1755701A (zh) * 2004-09-30 2006-04-05 株式会社东芝 播放数字内容的装置和方法
CN101647280A (zh) * 2007-01-26 2010-02-10 Lg电子株式会社 用于构建文件格式的方法和用于处理包括具有该文件格式的文件的数字广播信号的装置及其方法

Also Published As

Publication number Publication date
US9106935B2 (en) 2015-08-11
WO2011108908A3 (en) 2012-01-12
JP2013521739A (ja) 2013-06-10
CN102782684A (zh) 2012-11-14
KR101802273B1 (ko) 2017-11-28
EP2542977A2 (en) 2013-01-09
KR20110101104A (ko) 2011-09-15
EP2542977A4 (en) 2015-01-07
JP5638633B2 (ja) 2014-12-10
WO2011108908A2 (en) 2011-09-09
US20120005303A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
CN102782684B (zh) 用于发送和接收包括多个流的内容文件的方法和设备
US8191103B2 (en) Real-time bookmarking of streaming media assets
KR100868475B1 (ko) 객체기반 오디오 서비스를 위한 다중객체 오디오 콘텐츠파일의 생성, 편집 및 재생 방법과, 오디오 프리셋 생성방법
RU2534936C2 (ru) Управление мультимедийными контейнерными файлами
US8359370B2 (en) System and method for managing digital media content
US9621963B2 (en) Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
CN102067490A (zh) 产生和播放基于对象的音频内容的方法和记录具有用于基于对象的音频服务的文件格式结构的数据的计算机可读记录介质
CN104253999A (zh) 用于发送内容的设备和方法
CN101842786A (zh) 对于多媒体文件格式的快速和编辑友好的采样关联方法
CN101802823A (zh) 用于流式多媒体数据的分段的元数据和位标
CN101789257A (zh) 再现设备、再现方法、记录设备和记录介质的生产方法
CN103181164A (zh) 用于技巧模式操作中内容呈现的方法
CN101026725B (zh) 再现设备及再现方法
CN1867057B (zh) 信息记录介质、信息记录装置和方法及重放装置和方法
KR100302499B1 (ko) 방송프로그램재생관리정보생성방법과재생리스트자동생성방법및그장치
US20110069934A1 (en) Apparatus and method for providing object based audio file, and apparatus and method for playing back object based audio file
KR101295377B1 (ko) 파일 포맷을 구성하는 방법과 상기 파일 포맷을 가지는파일을 포함한 방송 신호를 처리하는 장치 및 방법
US8719864B2 (en) Multiple-resolution audio and video systems, methods of production, delivery and uses thereof
KR20050117828A (ko) 부가 데이터의 인터랙티브한 이용방법 및 장치, 그에 따른수신장치
KR101724326B1 (ko) 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
KR100582500B1 (ko) 프로그램 시청등급에 따른 재생 리스트 자동 생성방법 및 그 장치
WO2003036968A1 (en) Real-time bookmarking of streaming media assets
KR101656102B1 (ko) 컨텐츠 파일 생성/제공 장치 및 방법
Jang et al. File Format Design for Interactive Music Service
KR101125364B1 (ko) 객체기반 오디오 파일 제공 장치 및 객체기반 오디오 파일 재생 장치, 그리고, 객체기반 오디오 파일 제공 방법 및 객체기반 오디오 재생 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20200307

CF01 Termination of patent right due to non-payment of annual fee