CN104471562A - 组成用于排列多媒体元素的标记的方法和装置 - Google Patents

组成用于排列多媒体元素的标记的方法和装置 Download PDF

Info

Publication number
CN104471562A
CN104471562A CN201380037083.5A CN201380037083A CN104471562A CN 104471562 A CN104471562 A CN 104471562A CN 201380037083 A CN201380037083 A CN 201380037083A CN 104471562 A CN104471562 A CN 104471562A
Authority
CN
China
Prior art keywords
region
width
information
multimedia
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380037083.5A
Other languages
English (en)
Other versions
CN104471562B (zh
Inventor
柳永善
宋在涓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104471562A publication Critical patent/CN104471562A/zh
Application granted granted Critical
Publication of CN104471562B publication Critical patent/CN104471562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/14—Tree-structured documents
    • G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Abstract

提供一种在多媒体通信系统中配置用于多媒体元素的组成的标记的方法，所述方法包括：配置与在场景中包含的多个区域中的每个区域对应的区域描述信息，配置与在所述多个区域中的每个区域中包含的至少一个多媒体对应的多媒体描述信息，配置描述所述多个区域中的每个区域的空间组成和时间组成的场景组成信息，配置包含所述场景组成信息、所述区域描述信息和所述多媒体描述信息的标记。

Description

组成用于排列多媒体元素的标记的方法和装置
技术领域
本发明涉及多媒体元素，更具体说，本发明涉及一种组成用于在空间和时间上排列和同步多媒体元素的标记的方法和装置。
背景技术
对于多媒体服务的需求在持续增加，同时为当前显示设备提供各种多媒体服务以及配置用于提供各种多媒体服务的新标记的需求也在增加。
定义网络上多媒体元素的技术主要包括超文本链接标记语言(HTML)和同步多媒体集成语言(SMIL)。以下，将参照图1和2更详细描述HTML和SMIL。
图1图解根据现有技术的在多媒体通信系统中的HTML文档结构。
参照图1，HTML是定义超文本文档结构的标记语言，对应于当今在网络上最广泛使用的技术，其版本5的修订工作正在实施。HTML版本5具有对多媒体服务(诸如视频、音频等)的增强的支持，但是由于HTML基本上是定义静态文档结构的语言，因此不支持诸如媒体的时间组合或交互、同步等之类的功能。
如图1中所示，HTML文档结构包含<header>、<nav>、<section>、<article>、<footer>和<aside>。
<header>指示标识区域，<nav>指示菜单区域，<section>指示本体的内容，<article>指示在本体内的主要内容区域，<footer>指示网站的下部，<aside>指示子区域或广告内容区域。
图2图解根据现有技术的在多媒体通信系统中通过使用SMIL来排列多媒体元素的示例。
参照图2，SMIL是通过使用可扩展标记语言(XML)在时间和空间上组合并控制诸如视频、音频、图像、文本等之类的多媒体数据所建立的网际网路联盟(W3C)标准。
如图2中所示，通过使用SMIL在时间和空间上组合并控制多媒体数据是有优点的。然而，由于通过XML来定义SMIL，所以SMIL要求单独的播放器以再现通过SMIL定义的文件，并且因而对应于在当前工业领域中实际并不使用的标准。
如上所述，虽然通过上述HTML或SMIL来定义多媒体元素，但是HTML和SMIL两者都只能组成多媒体，并且两者都不能配置包含多个区域的场景。因此，需要将多媒体元素划分为场景、区域和媒体级别以配置标记的装置及方法。
发明内容
技术问题
提供以上信息作为背景信息仅用来帮助理解本公开。对于以上所述的任何内容是否可用作本公开的现有技术，不作任何决定和任何主张。
技术方案
本公开的各方面解决至少以上提到的问题和/或缺点，并提供至少以下所述的优点。相应地，本公开一个方面提供将多媒体元素划分为场景、区域和多媒体级别以配置标记的装置及方法。
本公开另一方面提供在多媒体通信系统中在时间和/或空间上组成多媒体元素并配置可支持多媒体之间的同步的标记的方法及装置。
根据本公开一个方面，提供一种在多媒体通信系统中配置用于组成多媒体元素的标记的方法。所述方法包括：配置包含场景组成信息、区域描述信息和多媒体描述信息的标记并根据所配置标记在时间和空间上组成多媒体元素。
根据本公开另一方面，提供一种在多媒体通信系统中配置用于多媒体元素的组成的标记的显示设备。所述显示设备包括：标记配置单元，被配置成配置与在场景中包含的多个区域中的每个区域对应的区域描述信息、配置与在所述多个区域中的每个区域中包含的至少一个多媒体对应的多媒体描述信息、配置描述所述多个区域中的每个区域的空间组成和时间组成的场景组成信息、以及配置包含所述场景组成信息、所述区域描述信息和所述多媒体描述信息的标记；以及显示单元，被配置成基于所述标记显示场景。
本公开不仅能在空间和/或时间上组成多媒体元素，而且能提供在多媒体之间的同步方式。并且，可在不支持扩展标记的浏览器中配置基本场景。另外，本公开提供其中通过将场景描述信息和实际区域描述和多媒体表达信息分开而在将来在多个设备中不同地配置和使用场景信息的方式。
从以下结合附图进行的、公开了本公开各种实施例的详细描述中，本公开的其它方面、优点和突出特征对于本领域技术人员来说将变得清楚。
附图说明
从以下结合附图进行的描述中，本公开的以上和其它方面、特性和优点将更加清楚，在附图中：
图1图解根据现有技术的在多媒体通信系统中的超文本链接标记语言(HTML)文档结构；
图2图解根据现有技术的在多媒体通信系统中的通过使用同步多媒体集成语言(SMIL)来组成多媒体元素的示例；
图3图解根据本公开一实施例的在多媒体通信系统中为显示设备配置场景的示例；
图4A图解根据本公开第一实施例的在多媒体通信系统中配置标记的示例；
图4B图解根据本公开第二实施例的在多媒体通信系统中配置标记的示例；
图5A图解根据本公开第一实施例的在多媒体通信系统中配置的标记和基于所述标记运行的场景的示例；
图5B图解根据本公开第二实施例的基于在多媒体通信系统中配置的标记运行的场景的示例；
图6A图解根据本公开一实施例的在支持多媒体通信系统中配置的标记的浏览器中配置的场景的示例；
图6B图解根据本公开一实施例的在仅支持多媒体通信系统中的HTML的浏览器中配置的场景的示例；
图7是图解根据本公开一实施例的其中显示设备基于在多媒体通信系统中配置的标记而在空间上配置场景的过程的流程图；
图8A是图解根据本公开第一实施例的其中显示设备基于在多媒体通信系统中配置的标记在时间上配置场景的过程的流程图；
图8B是图解根据本公开第二实施例的其中显示设备基于在多媒体通信系统中配置的标记在时间上配置场景的过程的流程图；
图9图解根据本公开一实施例的根据在多媒体通信系统中配置的标记配置场景的示例；
图10图解根据本公开一实施例的场景组成(诸如在图9中所示的场景组成)的示例的时间配置信息；以及
图11图解根据本公开一实施例的基于在多媒体通信系统中配置的标记在空间上和时间上配置场景的显示设备。
贯穿附图，相似的附图标号被理解为指代相似的部分、组件和结构。
具体实施方式
提供下列参考附图的描述以帮助全面理解由权利要求及其等效内容定义的本公开的各个实施例。它包括各种特定细节以帮助理解，但是这些将被认为是示例性的。因此，本领域普通技术人员应该认识到：在不脱离本公开的范围和精神的前提下，可以对在此描述的各种实施例进行各种变化和修改。另外，为了清楚和简洁，可能省略对公知功能和结构的描述。
在下列描述和权利要求中使用的术语和词汇不限于字面含义，而是仅被发明人用来使得能够清楚和一致地理解本公开。因此，本领域普通技术人员应当清楚：提供下列对本公开的各种实施例的描述仅仅是出于说明的目的，而不是出于限制由所附权利要求及其等效内容定义的本公开的目的。
应当理解，单数形式“一”、“一个”和“所述”，除非文中清楚地指明，否则包括多个指代，因此，例如，对“一部件表面”的指代包括对一个或多个这样的表面的指代。
图3图解根据本公开一实施例的在多媒体通信系统中为显示设备配置场景的示例。
参照图3，示出的场景300是在文档结构中的最上端，在该文档内可能存在多个场景300。例如，当假定一小时的广播节目由多个场景组成时，可通过包含在第一个30分钟中的场景1#和包含在第二个30分钟中的场景2#来配置该广播节目。
一个场景300被划分为多个区域。区域的个数基于一个场景可以是一到n。而且，区域可以被认为是独立单元，当前独立广播节目、视频点播(VoD)服务或者网络服务的文档可被认为是一个区域。也就是说，独立区域310、320和330聚集起来以形成一个场景300。
一个区域由多个多媒体组成。该多媒体可包含所有多媒体数据，诸如视频、音频、图像、文本等。也就是说，区域310、320和330分别包含多媒体315、325和335。
下文中，将参照图4A和4B描述根据本公开实施例的配置用于在图3中示出的场景300的标记的方法。
图4A图解根据本公开第一实施例的在多媒体通信系统中配置标记的示例。
参照图4A，示出的标记文档包含场景组成信息400、场景描述信息410和在场景300中包含的区域。而且，多媒体信息以一对一的关系对应关于标记文档的信息。也就是说，区域310和多媒体315的每一元素通过区域描述信息420和多媒体描述信息425来表达，区域320和多媒体325的每一元素通过区域描述信息430和多媒体描述信息435来表达，区域330和多媒体335的每一元素通过区域描述信息440和多媒体描述信息445来表达。
场景组成信息400描述在场景中包含的每一区域的空间组成和时间组成。关于每个区域的实际信息分开存在以便区域可独立运行。而且，可通过分开描述场景的空间组成和时间组成而在一个文档中配置多个场景。
虽然在图4A中示出了一个场景组成信息400，但是场景组成信息400的数目可以是表达包含场景#1、场景#2等多个场景的多个。而且，虽然在图4A中场景组成信息400与时间信息和空间信息一起描述，但是时间信息和空间信息可分开描述。下文中，将参照图4B描述根据本公开一实施例的分开描述时间信息和空间信息的示例。
图4B图解根据本公开第二实施例的在多媒体通信系统中配置标记的示例。
参照图4B，配置了包含场景组成信息450和描述在场景中包含的每个多媒体的时间信息的多媒体时间信息455的单独标记文档401，包含基本区域描述信息470、480和490以及多媒体描述信息475、485和495的场景描述信息460被描述为一个标记文档。在这种情况下，浏览器读取指示场景描述信息460的标记文本和一起指示场景组成信息450与多媒体时间信息455的单独标记文本401以配置最终场景。如上所述，当场景组成信息450和多媒体时间信息455被配置成单独标记文档时，不能支持本公开提供的方法的浏览器也能显示场景描述信息460。
图5A图解根据本公开第一实施例的在多媒体通信系统中配置的标记和基于所述标记运行的场景的示例。也就是说，图5A图解基于根据图4A的方法配置的标记运行的场景的示例。
参照图5A，示出的标记文档包含场景组成信息、场景描述信息、区域描述信息、多媒体描述信息和支持传统浏览器的描述信息。
(1)场景组成信息
场景组成信息包含<mmt-ci:composition>元素和<mmt-ci:divLocation>元素。<mmt-ci:composition>元素描述场景组成信息并且包含<mmt-ci:divLocation>元素作为低层元素，<mmt-ci:divLocation>元素描述每个区域的组成信息并且具有下表1所示的属性。
【表1】
(2)场景描述信息
场景描述信息包含<body>元素，不具有对场景描述新增加的内容，并且使用超文本标记(HTML)的<body>元素作为场景描述的最高单位。
(3)区域描述信息
区域描述信息包含<div>和<section>元素，并且在区域描述信息中直接使用HTML的<div>和<section>元素。然而，可以额外定义如在下表2中示出的新属性。
【表2】
(4)多媒体描述信息
多媒体描述信息不具有对多媒体描述新增的内容，并且在多媒体描述信息中直接使用HTML的<video>、<audio>、<source>、<canvas>、<svg>和<track>元素。当然，如果存在通过其它标准定义的其它多媒体，则该多媒体可被直接使用。
(5)支持传统浏览器的描述信息
上述场景组成信息、场景描述信息、区域描述信息和多媒体描述信息仅对能完全分析和支持新标记的浏览器有效。场景的区域描述和时间描述信息不能被HTML浏览器完全支持，但是最小量的场景描述信息可被配置以被HTML浏览器所支持。
HTML浏览器支持的属性如下表3和表4所述。也就是说，表3描述由<body>元素支持的属性，而表4描述由<div>和<section>元素支持的属性。
【表3】
方式 位置 绝对值、相对值
width 元素的水平尺寸
height 元素的垂直尺寸
background 元素的背景色彩
【表4】
方式 位置 绝对值、相对值
left 元素的x轴偏移
right 元素的y轴偏移
width 元素的水平尺寸
height 元素的垂直尺寸
background 元素的背景色彩
border 元素的边界
也就是说，在标记的示出的场景描述信息中，<body>元素包含三个区域，以便三个区域可被排列在一个场景中。
图5B图解根据本公开第二实施例的基于在多媒体通信系统中配置的标记运行的场景的示例。也就是说，图5B图解了根据图4B的方法配置的标记的示例。
参照图5B，示出的标记文档包含像图5A的标记的场景组成信息、场景描述信息、区域描述信息、多媒体描述信息和支持传统浏览器的描述信息，并且还包含多媒体时间信息。
(6)多媒体时间信息
多媒体时间信息包含<mmt-ci:MediaSync>元素和<Asset>元素。<mmt-ci:MediaSync>元素是配置多媒体时间信息的最高元素，并且包含<Asset>作为低级元素。<Asset>元素与多媒体一一对应，并且指示在多媒体描述信息中包含的每个多媒体时间信息。由<Asset>元素支持的属性通过下表5进行描述。
【表5】
图6A图解根据本公开一实施例的支持在多媒体通信系统中配置的标记的浏览器中配置的场景的示例。
参照图6A，当使用根据本公开的实施例配置的标记时，支持新元素和属性的浏览器可显示与场景切换与时间和空间组成有关的所有功能。而且，当与多媒体元素的空间描述的提供(provision)有关的事件生成时或在特定时间之后，支持根据本发明的实施例配置的标记(也就是可扩展标记)的浏览器可改变空间描述。
图6B图解根据本公开一实施例的在仅支持多媒体通信系统中的HTML的浏览器中配置的场景的示例。
参照图6B，仅支持HTML的浏览器仅能显示最小量的场景描述信息。也就是说，不支持可扩展标记的浏览器只能提供场景描述信息。
图7是图解根据本公开一实施例的显示设备基于在多媒体通信系统中配置的标记在空间上配置场景的过程的流程图。
参照图7，在操作700，显示设备读取标记的场景组成信息，并在操作702获取在场景中包含的区域的宽度和高度信息。当场景组成信息被实现为单独文档时，从该单独文档中获取区域的宽度和高度信息。在操作704，显示设备配置包含依据在操作702获取的宽度和高度信息配置的区域的整个场景。
显示设备在操作706读取标记的区域描述信息，并在操作708读取分区(下文中被称为div)参考标识符。显示设备在操作710加载div元素，在操作712获取div元素的宽度和高度信息。
在操作714，显示设备确定在操作702获取的区域是宽度和高度是否大于等于div元素的宽度和高度。当作为确定结果区域的宽度和高度大于或等于div元素的宽度和高度时，显示设备在操作716缩小区域的宽度和高度以匹配div元素的宽度和高度，并进行到操作720。
然而，当作为确定结果区域的宽度和高度小于div元素的宽度和高度时，显示设备在操作718扩大区域的宽度和高度以匹配div元素的宽度和高度，并进行到操作720。显示设备在操作720依据缩小后或扩大后的div元素的宽度和高度配置区域，并进行到操作722。
显示设备在操作722读取多媒体描述信息，并在操作724获取多媒体的宽度和高度信息。在操作726，显示设备确定在操作724获取的多媒体的宽度和高度是否大于等于在操作720配置的区域的宽度和高度。当作为确定结果多媒体的宽度和高度大于或等于区域的宽度和高度时，显示设备在操作728缩小多媒体的宽度和高度以匹配区域的宽度和高度。
然而，当作为确定结果多媒体的宽度和高度小于区域的宽度和高度时，显示设备在操作730通过场景的空间描述完成场景组成。
图8A是图解根据本公开第一实施例的显示设备基于在多媒体通信系统中配置的标记在时间上配置场景的过程的流程图。在图8A中，依据第一实施例配置的标记是指依据图4A的方法配置的标记。
参照图8A，显示设备在操作800读取标记的场景组成信息，并在操作802获取场景的时间信息。在操作804，显示设备依据在操作802获取的场景的时间信息配置整个场景。
显示设备在操作806读取标记的区域描述信息，并在操作808获取在整个场景中包含的每个区域的时间信息。显示设备在操作810依据在操作808获取的每个区域的时间信息配置每个区域，并在操作812读取div参考标识符。
显示设备在操作814加载div元素，并在操作816获取每个多媒体的时间信息。在操作818，显示设备依据在操作816获取的每个多媒体的时间信息配置每个多媒体以完成场景组成。
图8B是图解根据本公开第二实施例的显示设备基于在多媒体通信系统中配置的标记在时间上配置场景的过程的流程图。在图8B中，依据第二实施例配置的标记是指依据图4B的方法配置的标记。
参照图8B，显示设备在操作850读取标记的场景组成信息，并在操作852获取场景的时间信息。在操作854，显示设备依据在操作852获取的场景的时间信息配置整个场景。
显示设备在操作856读取标记的区域描述信息，并在操作858获取在整个场景中包含的每个区域的时间信息。显示设备在操作860依据在操作858获取的每个区域的时间信息在时间上配置每个区域，并在操作862读取div参考标识符。
显示设备在操作864加载div元素，并在操作866获取多媒体的标识符信息。显示设备从分开提供的标记文档的多媒体的时间信息中读取多媒体的时间信息，并在操作868检测匹配多媒体的标识符的时间信息。在操作890，显示设备通过将所检测到的时间信息反映到多媒体中，获取与在操作816获取的多媒体的时间信息相同的信息。此后，显示设备在操作892在时间上配置每个多媒体以完成场景组成。
如上所述，操作850至864与第一实施例的操作800至814基本相同，只有操作866至890与第一实施例的操作816不相同。
图9图解根据本公开一实施例的依据在多媒体通信系统中配置的标记配置场景的示例。在图9中，假定场景由三个区域组成，并且区域3被再现100秒，并且然后被划分为区域4和区域5。而且，假定当区域3的再现完成时，区域4被立即再现，而区域5在0.2秒后被再现。
参照图9，场景1包含区域1、区域2和区域3。其中，区域1再现视频和音频，区域2再现文本形式的信息，而区域3再现广告图像。在区域3的广告图像被再现达100秒后，场景被切换，并且因此区域4再现广告图像，区域5在0.2秒后再现文本形式的信息。
配置图9的场景的标记的示例编码可如表6所示。
【表6】
<html>
<head>
//场景信息
<mmt-ci：composition>
<area id＝”Area1_s”left＝”0”top＝”0”begin＝“0”/>
<area id＝”Area2_s”left＝”0”top＝”810”begin＝“0”/>
<area id＝”Area3_s”left＝”1440”top＝”0”begin＝“0”dur＝”100s”/>
<area id＝”Area4_s”left＝”1440”top＝”0”beginAfter＝”area3”/>
<area id＝”Area5_s”left＝”1440”top＝”410”beginAfter＝”area3”/>
</mmt-ci：composition>
//场景描述
<body style＝”position：absolute；width：1920px；height：1080px；background：#ffff00”>
//区域描述
<div id＝"areal"style＝"position：absolute；left：0px；top：0px；width：1440px；height：810px；background：#ff0000；border：1px solid#eee"mmt-ci：ref_spacial＝”area1_s”mmt-ci：ref_temporal＝”area1_t”width＝”1440”height＝”810”begin＝”0”>
//资源描述
<par>
<video id＝”video1”src＝”video1.mp4”>
<video id＝”video2”src＝”video2.mp4”>
</par>
</div>
<div id＝"area2"style＝"position：absolute；left：0px；top：810px；width：1920px；height：270px；background：#00ff00；border：1px solid#eee"mmt-ci：ref_spacial＝”area2_s”mmt-ci：ref_temporal＝”area2_t”width＝”1920”height＝”270”begin＝”0”>>
<par>
<p>Text information</p>
</par>
</div>
<div id＝"area3"style＝"position：absolute；left：1440px；top：0px；width：480px；height：810px；background：#0000ff；border：1px solid#eee"mmt-ci：ref_spacial＝”area3_s”mmt-ci：ref_temporal＝”area3_t”width＝”480”height＝”810”begin＝”0”>
<par>
<img id＝”Ad”src＝”image.png”>
</par>
</div>
<div id＝"area4"style＝"position：absolute；left：1440px；top：0px；width：480px；height：410px；background：#0000ff；border：1px solid#eee"left＝”1440”top＝”0”mmt-ci：ref_spacial＝”area4_s”mmt-ci：ref_temporal＝”area4_t”>
<par>
<img id＝”Ad”src＝”image2.png”>
</par>
</div>
<div id＝"area5"style＝"position：absolute；left：1440px；top：410px；width：480px；height：400px；background：#0000ff；border：1px solid#eee"mmt-ci：ref_spacial＝”area5_s”mmt-ci：ref_temporal＝”area5_t”width＝”480”height＝”400”>
<par>
<p>This is Text Area</p>
</par>
</div>
</body>
</html>
图10图解根据本公开一实施例的场景组成(诸如图9中示出的场景组成)的示例的时间配置信息。
参照图10，水平轴指时间轴，区域1和区域2在整个时间区域被再现，区域3直到所选时间后才被再现，而区域4和区域5在所选时间之后被同时再现。
图11图解根据本公开一实施例的基于在多媒体通信系统中配置的标记在空间和时间上配置场景的显示设备。
参照图11，显示设备1100包括标记配置单元1110和显示单元1120。
标记配置单元1110配置与在场景中包含的多个区域中的每个区域对应的区域描述信息，配置与在多个区域中的每个区域中包含的至少一个多媒体对应的多媒体描述信息，并配置描述多个区域中的每个区域的空间组成和时间组成的场景组成信息。然后，标记配置单元配置包含场景组成信息、区域描述信息和多媒体描述信息的标记。
显示单元1120从场景组成信息中获取多个区域中的每个区域的宽度和高度信息，从区域描述信息中获取多媒体元素的宽度和高度信息，并通过考虑区域的宽度和高度信息和多媒体元素的宽度和高度信息配置区域。然后，显示单元1120从多媒体描述信息中获取多媒体的宽度和高度信息并通过考虑区域的宽度和高度信息和多媒体的宽度和高度信息配置场景。
可以认识到：根据本公开实施例的配置用于在空间和时间上组成和同步多媒体组件的标记的方法可以以软件、硬件或它们的组合来实现。任何这样的软件可被存储在例如易失性或非易失性存储设备(诸如ROM、如RAM的存储器、存储芯片、存储设备或存储IC、或可记录光或磁介质(如CD、DVD、磁盘或磁带)中，而不考虑其被删除的能力或其被重新记录的能力。也可以认识到：在移动终端中包含的存储器是适合存储包含被处理设备运行以由此执行本公开的实施例的指令的程序的机器可读设备的一个示例。因此，本公开的实施例提供包含实现在所附权利要求书中的任一权利要求中所要求的系统或方法的代码的程序和存储这样的程序的机器可读设备。而且，可通过任何媒体(诸如经由有线或无线连接传递的通信信号)来电子传送所述程序，本公开实施例适合包含其等价物。
因此，本公开包括包含用于实现在本说明书的权利要求中所声明的装置和方法的代码的程序和存储该程序的机器(计算机)可读存储介质。而且，可通过随机介质(诸如通过有线或无线连接传输的通信信号)电子传送所述程序，本公开适当包含其等价物。
而且，根据本发明实施例的用于配置在空间和时间上组成和同步多媒体组件的标记的设备可从提供无线或有线连接到该设备的装置的程序中接收到该程序，并存储所接收的程序。提供装置的程序可包括存储器，用于存储包含允许设备执行预定内容保护方法的程序和该内容保护方法所要求的信息，通信单元，用于执行与设备有线或无线连接，以及控制器，用于根据设备的请求或自动向设备发送对应程序。
虽然已参考本公开的各种实施例对本公开进行了展示和描述，但是本领域技术人员应该理解，在不脱离由所附权利要求及其等效内容定义的本公开的精神和范围的前提下，可以在形式和细节上对其做各种变化。

Claims (17)

1.一种在多媒体通信系统中配置用于多媒体元素的组成的标记的方法，所述方法包括：
配置与在场景中包含的多个区域中的每个区域对应的区域描述信息；
配置与在所述多个区域中的每个区域中包含的至少一个多媒体对应的多媒体描述信息；
配置描述所述多个区域中的每个区域的空间组成和时间组成的场景组成信息；并且
配置包含所述场景组成信息、所述区域描述信息和所述多媒体描述信息的标记。
2.如权利要求1所述的方法，还包括：基于所述标记在空间上组成所述场景，
其中，所述场景的空间组成包括：
从所述场景组成信息中获取所述多个区域中的每个区域的宽度和高度信息，并从所述区域描述信息获取div元素的宽度和高度信息；
考虑所述区域的宽度和高度信息和div元素的宽度和高度信息配置区域；并且
从所述多媒体描述信息中获取多媒体的宽度和高度信息，并考虑所述区域的宽度和高度信息和所述多媒体的宽度和高度信息配置场景。
3.如权利要求2所述的方法，其中，所述场景的配置包括：
比较所述区域的宽度和高度与所述div元素的宽度和高度；
当所述区域的宽度和高度大于所述div元素的宽度和高度时，缩小所述区域的宽度和高度以匹配所述div元素的宽度和高度；以及
当所述区域的宽度和高度小于所述div元素的宽度和高度时，扩大所述区域的宽度和高度以匹配所述div元素的宽度和高度；
4.如权利要求3所述的方法，其中，所述场景的配置包括：
比较所述区域的宽度和高度与所述多媒体的宽度和高度；
当所述多媒体的宽度和高度大于所述区域的宽度和高度时，缩小所述多媒体的宽度和高度以匹配所述区域的宽度和高度；以及
当所述多媒体的宽度和高度小于所述区域的宽度和高度时，保持所述多媒体的宽度和高度；
5.如权利要求1所述的方法，还包括：基于所述标记在时间上组成场景，
其中，所述场景的时间组成包括：
从所述场景组成信息中获取所述场景的时间信息，并根据所述场景的时间信息组成整个场景；
从所述区域描述信息中获取所述区域的时间信息，并根据所述区域的时间信息组成每个区域；以及
从所述多媒体描述信息中获取多媒体时间信息，并根据所述多媒体时间信息组成所述多媒体。
6.如权利要求5所述的方法，其中，当通过与所述标记分开的标记来配置所述场景组成信息时，根据所述多媒体时间信息组成多媒体包括从所述分开的标记中检测与所述多媒体的标识符相匹配的时间信息，并通过将所检测到的时间信息反映到所述多媒体中而在时间上组成所述多媒体。
7.如权利要求1所述的方法，其中，所述场景组成信息包括x轴偏移、y轴偏移、区域的宽度、区域的高度、区域的起始时间、区域的结束时间、和区域的持续时间中的至少一个属性。
8.如权利要求1所述的方法，其中，所述区域描述信息包括div元素的宽度、div元素的高度、div元素的起始时间、div元素的结束时间和div元素的持续时间中的至少一个属性。
9.一种在多媒体通信系统中配置用于多媒体元素的组成的标记的显示设备，所述显示设备包括：
标记配置单元，被配置成配置与在场景中包含的多个区域中的每个区域对应的区域描述信息，配置与在所述多个区域中的每个区域中包含的至少一个多媒体对应的多媒体描述信息，配置描述所述多个区域中的每个区域的空间组成和时间组成的场景组成信息，配置包含所述场景组成信息、所述区域描述信息和所述多媒体描述信息的标记；以及
显示单元，被配置成基于所述标记显示场景。
10.如权利要求9所述的显示设备，其中，所述显示单元被配置成从所述场景组成信息中获取多个区域中的每个区域的宽度和高度信息，从所述区域描述信息获取所述div元素的宽度和高度信息，考虑所述区域的宽度和高度信息和所述div元素的宽度和高度信息配置区域，从所述多媒体描述信息中获取多媒体的宽度和高度信息，并考虑所述区域的宽度和高度信息和所述多媒体的宽度和高度信息配置场景。
11.如权利要求10所述的显示设备，其中，所述显示单元被配置成比较所述区域的宽度和高度与所述div元素的宽度和高度，当所述区域的宽度和高度大于所述div元素的宽度和高度时，缩小所述区域的宽度和高度以匹配所述div元素的宽度和高度，而当所述区域的宽度和高度小于所述div元素的宽度和高度时，扩大所述区域的宽度和高度以匹配所述div元素的宽度和高度。
12.如权利要求11所述的显示设备，其中，所述显示单元被配置成比较所述区域的宽度和高度与多媒体的宽度和高度，当所述多媒体的宽度和高度大于所述区域的宽度和高度时，缩小所述多媒体的宽度和高度以匹配所述区域的宽度和高度，而当所述多媒体的宽度和高度小于所述区域的宽度和高度时，保持所述多媒体的宽度和高度；
13.如权利要求9所述的显示设备，其中，所述显示单元被配置成从所述场景组成信息中获取所述场景的时间信息，并根据所述场景的时间信息组成整个场景，从所述区域描述信息中获取所述区域的时间信息，并根据所述区域的时间信息组成每个区域，从所述多媒体描述信息中获取多媒体时间信息，并根据所述多媒体时间信息组成所述多媒体。
14.如权利要求13所述的显示设备，其中，当通过与所述标记分开的标记配置所述场景组成信息时，所述显示单元被配置成从所述分开的标记中检测与所述多媒体的标识符相匹配的时间信息，并通过将所检测到的时间信息反映到所述多媒体中而在时间上组成所述多媒体。
15.如权利要求9所述的显示设备，其中，所述场景组成信息包括x轴偏移、y轴偏移、区域的宽度、区域的高度、区域的起始时间、区域的结束时间、和区域的持续时间中的至少一个属性。
16.如权利要求9所述的显示设备，其中，所述区域描述信息包括div元素的宽度、div元素的高度、div元素的起始时间、div元素的结束时间和div元素的持续时间中的至少一个属性。
17.一种存储下述指令的非暂时性计算机可读存储介质，所述指令被运行时使得至少一个处理器执行如权利要求1所述的方法。
CN201380037083.5A 2012-07-12 2013-07-12 组成用于排列多媒体元素的标记的方法和装置 Active CN104471562B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20120076304 2012-07-12
KR10-2012-0076304 2012-07-12
KR1020130031673A KR102069538B1 (ko) 2012-07-12 2013-03-25 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법
KR10-2013-0031673 2013-03-25
PCT/KR2013/006259 WO2014010984A1 (en) 2012-07-12 2013-07-12 Method and apparatus for composing markup for arranging multimedia elements

Publications (2)

Publication Number Publication Date
CN104471562A true CN104471562A (zh) 2015-03-25
CN104471562B CN104471562B (zh) 2018-11-09

Family

ID=50142628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380037083.5A Active CN104471562B (zh) 2012-07-12 2013-07-12 组成用于排列多媒体元素的标记的方法和装置

Country Status (6)

Country Link
US (1) US10152555B2 (zh)
EP (1) EP2873002A4 (zh)
JP (1) JP6218825B2 (zh)
KR (1) KR102069538B1 (zh)
CN (1) CN104471562B (zh)
WO (1) WO2014010984A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963892A1 (en) * 2014-06-30 2016-01-06 Thomson Licensing Method and apparatus for transmission and reception of media data
WO2016138628A1 (zh) 2015-03-03 2016-09-09 华为技术有限公司 传输数据的方法、装置和设备
US20170344523A1 (en) * 2016-05-25 2017-11-30 Samsung Electronics Co., Ltd Method and apparatus for presentation customization and interactivity
CN108023632B (zh) 2016-11-04 2022-06-28 华为技术有限公司 数据处理方法和发送设备
US11065345B2 (en) * 2017-01-04 2021-07-20 Nanotics, Llc Methods for assembling scavenging particles

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3171632B2 (ja) * 1991-01-29 2001-05-28 富士通株式会社 動画表示処理装置
JPH05242143A (ja) 1992-02-26 1993-09-21 Hitachi Ltd マルチメディアプレゼンテーションシステム
US5515490A (en) * 1993-11-05 1996-05-07 Xerox Corporation Method and system for temporally formatting data presentation in time-dependent documents
JPH0981361A (ja) 1995-09-12 1997-03-28 Toshiba Corp 画像表示方法、データ収集方法及び対象物特定方法
US6038573A (en) 1997-04-04 2000-03-14 Avid Technology, Inc. News story markup language and system and process for editing and processing documents
US6961954B1 (en) * 1997-10-27 2005-11-01 The Mitre Corporation Automated segmentation, information extraction, summarization, and presentation of broadcast news
JP4151158B2 (ja) * 1999-06-14 2008-09-17 ソニー株式会社 シーン記述生成装置及び方法
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
US7610559B1 (en) * 1999-07-27 2009-10-27 Samsung Electronics Co., Ltd. Device customized home network top-level information architecture
US7254825B1 (en) 1999-08-23 2007-08-07 Xperex Corporation Method and device with DVD and HTML control environments
CN1187929C (zh) 2000-01-24 2005-02-02 松下电器产业株式会社 数据接收装置、数据接收方法及数据传输方法
JP4411730B2 (ja) * 2000-02-29 2010-02-10 ソニー株式会社 ユーザインターフェースシステム、サーバ装置、及び、リモート端末装置
US7725812B1 (en) 2000-03-31 2010-05-25 Avid Technology, Inc. Authoring system for combining temporal and nontemporal digital media
JP2002064802A (ja) * 2000-08-21 2002-02-28 Sony Corp データ伝送システム、データ伝送装置及び方法、シーン記述処理装置及び方法
US7039875B2 (en) * 2000-11-30 2006-05-02 Lucent Technologies Inc. Computer user interfaces that are generated as needed
FR2819604B3 (fr) * 2001-01-15 2003-03-14 Get Int Procede et equipement pour la gestion des interactions multimedias mono-ou multi-uitilisateurs entre des peripheriques de commande et des applications multimedias exploitant la norme mpeg-4
US20040021684A1 (en) * 2002-07-23 2004-02-05 Dominick B. Millner Method and system for an interactive video system
KR100607949B1 (ko) * 2002-09-11 2006-08-03 삼성전자주식회사 계층화된 정보 구조를 이용한 멀티미디어 데이터 기록장치, 재생 장치 및 그 정보저장매체
KR101009629B1 (ko) * 2003-03-13 2011-01-21 한국전자통신연구원 디지털 방송 프로그램 서비스를 제공하기 위한 확장메타데이터의 데이터 구조와 이를 이용한 적응적 프로그램서비스 제공 시스템 및 그 방법
CA2461118C (en) * 2003-03-15 2013-01-08 Oculus Info Inc. System and method for visualizing connected temporal and spatial information as an integrated visual representation on a user interface
EP1503299A1 (en) * 2003-07-31 2005-02-02 Alcatel A method, a hypermedia communication system, a hypermedia server, a hypermedia client, and computer software products for accessing, distributing, and presenting hypermedia documents
TWI310545B (en) * 2003-10-04 2009-06-01 Samsung Electronics Co Ltd Storage medium storing search information and reproducing apparatus
ATE399429T1 (de) * 2004-04-12 2008-07-15 Ind Academic Coop Verfahren, vorrichtungen und speichermedien zur bereitstellung von multimedia-diensten unter berücksichtung der endeinrichtungsfähigkeiten
JP2006238147A (ja) 2005-02-25 2006-09-07 Toshiba Corp コンテンツ再生装置、字幕再生方法及びプログラム
FR2898707B1 (fr) * 2006-03-17 2009-05-15 Streamezzo Sa Procede, dispositif et systeme de gestion d'informations structurees au sein d'une scene graphique
EP2071837A4 (en) * 2006-09-25 2010-12-15 Korea Electronics Telecomm DEVICE AND METHOD FOR DIGITAL POST DESCRIPTION AND PROCESS WITH A SCENE REPRESENTATION LANGUAGE
EP2084708A4 (en) * 2006-10-19 2010-11-24 Lg Electronics Inc METHOD AND DEVICE FOR ENCODING; METHOD AND DEVICE FOR DECODING
KR101317204B1 (ko) * 2006-11-27 2013-10-10 삼성전자주식회사 동적 영상물의 프레임 정보를 생성하는 방법 및 이를이용한 장치
KR101058040B1 (ko) * 2006-12-21 2011-08-19 삼성전자주식회사 컨텐츠 출력 방법 및 그 장치
KR20080089119A (ko) * 2007-03-30 2008-10-06 삼성전자주식회사 Ｍｐｅｇ 기반의 ｕｉ 장치 및 이를 이용한 기능 제어 방법
US20080301545A1 (en) * 2007-06-01 2008-12-04 Jia Zhang Method and system for the intelligent adaption of web content for mobile and handheld access
KR20080114496A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 레이저 콘텐츠를 이용하여 장면을 구성하는 방법 및 장치
KR101445074B1 (ko) * 2007-10-24 2014-09-29 삼성전자주식회사 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치
US7831579B2 (en) * 2007-12-28 2010-11-09 Microsoft Corporation Adaptive page layout utilizing block-level elements
JP5512657B2 (ja) * 2008-04-21 2014-06-04 サムスン エレクトロニクス カンパニー リミテッド リッチメディアサービスのための端末のユーザインターフェース装置及び方法
GB2473370A (en) 2008-05-06 2011-03-09 Hewlett Packard Development Co Spatiotemporal media objects layouts
KR101621092B1 (ko) * 2008-07-15 2016-05-16 한국전자통신연구원 구조화된 정보의 장면 표시 장치 및 그 방법
KR20100040545A (ko) * 2008-10-10 2010-04-20 삼성전자주식회사 구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법
KR101472591B1 (ko) * 2008-11-14 2014-12-17 삼성전자주식회사 컨텐츠의 확대 영역 선택 방법, 컨텐츠 제공 장치 및 시스템
US8171401B2 (en) * 2009-06-19 2012-05-01 Microsoft Corporation Resizing an editable area in a web page
JP5528121B2 (ja) * 2010-01-05 2014-06-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20120159314A1 (en) 2010-12-16 2012-06-21 Microsoft Corporation Adaptive content layout

Also Published As

Publication number Publication date
US20140019408A1 (en) 2014-01-16
US10152555B2 (en) 2018-12-11
WO2014010984A1 (en) 2014-01-16
EP2873002A4 (en) 2016-04-13
JP2015530000A (ja) 2015-10-08
EP2873002A1 (en) 2015-05-20
KR20140009012A (ko) 2014-01-22
KR102069538B1 (ko) 2020-03-23
JP6218825B2 (ja) 2017-10-25
CN104471562B (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
US11064262B2 (en) Method and apparatus for creating and sharing customized multimedia segments
KR102173417B1 (ko) 콘텐츠 지문화를 위한 지문 레이아웃
CN104471562A (zh) 组成用于排列多媒体元素的标记的方法和装置
US9338422B2 (en) Display control method, recording medium, display control device
CN101998167B (zh) 电子节目菜单展示管理方法及系统
CN106804011B (zh) 一种播放视频时加载字幕文件的方法及系统
CN104967908A (zh) 视频热点标记方法及装置
EP2706751A2 (en) Data structure, recording medium, playing device and playing method, and program
CN103986938A (zh) 基于视频播放的预览的方法和系统
CN104981847A (zh) 显示装置、移动终端、电视接收机、显示方法、程序、以及记录介质
US9008492B2 (en) Image processing apparatus method and computer program product
CN104081762A (zh) 提示控制装置、提示控制方法、提示系统、提示控制程序、记录介质以及元数据
CA2893415C (en) Mark-up composing apparatus and method for supporting multiple-screen service
CN101909179A (zh) 机顶盒浏览器显示区域自动适配方法
US20110267360A1 (en) Stereoscopic content auto-judging mechanism
CN103905891A (zh) 用于广告显示的方法及终端、广告播放方法及系统
CN104683883A (zh) 一种播放策略的生成方法及装置
US9503774B2 (en) Information display device
KR20150031660A (ko) 디스플레이 디바이스 및 상기 디스플레이 디바이스에서 vod 서비스 제공 방법
CN105580381A (zh) 显示设备及其控制方法
KR102263897B1 (ko) 콘텐츠 지문화를 위한 지문 레이아웃
TW201939964A (zh) 資訊處理裝置及方法
KR20120035626A (ko) 디스플레이장치 및 그 제어방법
KR20120035625A (ko) 디스플레이장치 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant