CN102165722A - 用于提供富媒体业务的方法和装置 - Google Patents

用于提供富媒体业务的方法和装置 Download PDF

Info

Publication number
CN102165722A
CN102165722A CN2009801382496A CN200980138249A CN102165722A CN 102165722 A CN102165722 A CN 102165722A CN 2009801382496 A CN2009801382496 A CN 2009801382496A CN 200980138249 A CN200980138249 A CN 200980138249A CN 102165722 A CN102165722 A CN 102165722A
Authority
CN
China
Prior art keywords
attribute
rich
media content
scene
scene component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801382496A
Other languages
English (en)
Inventor
黄棲煐
宋在涓
李健日
李国熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102165722A publication Critical patent/CN102165722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/07Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information characterised by processes or methods for the generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/32Arrangements for monitoring conditions of receiving stations, e.g. malfunction or breakdown of receiving stations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4516Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了用于提供富媒体内容的方法和装置,所述方法和装置利用有关内容的复杂度以及绘制内容所需的操作级别和存储器空间的信息、适应于终端能力和条件提供富媒体内容业务。一种富媒体业务提供方法包括:定义构成富媒体内容的场景组成元素以及该场景组成元素的属性;计算绘制该富媒体内容所需的操作量;产生由所述场景组成元素和属性构成的富媒体内容,所述操作量包含在所述场景组成元素和所述属性之一中;以及编码和发送所述富媒体内容。

Description

用于提供富媒体业务的方法和装置
技术领域
本发明涉及媒体提供业务,具体来说,涉及用于提供能够提供富媒体内容的富媒体业务的方法和装置。
背景技术
随着广播和通信介质的融合,需要针对广播和通信市场的客户开发新型业务。因此,近来正在针对诸如移动电话和个人数字助理(PDA)的移动终端开发用于处理以混合内容的形式提供的富媒体业务的广播和通信技术,所述混合内容包含诸如文本、音频、视频、字体、图形的各种类型的内容。
公知的富媒体业务标准有两个:轻量级应用场景表示(Lightweight Application Scene Representation,LASeR)和场景的二进制格式(Binary Format for Scene,BIFS)。
富媒体业务通过利用诸如场景描述、视频、音频、图像、字体、文本、元数据和脚本之类的数据对各种多媒体元素进行自由表示以及与用户进行交互来提供丰富的内容。
一旦接收到富媒体业务内容,移动终端即解码所接收的富媒体业务内容。移动终端执行用于以适当的格式向用户提供解码的富媒体内容的业务配置操作。移动终端检查和执行命令并处理事件。为了向用户提供所配置的业务,移动终端通过相应的用户接口手段输出所配置的业务的诸如视频和音频的多媒体数据。作为示例的业务内容,可以通过表1中的语法来表示LASeR内容。
表1
参照表1,终端每次在执行LASeR命令(<NewScene>)时配置并显示包括在相应LASeR命令中的场景(<svg>...</svg>)。
根据最近的诸如广播和移动业务融合的数字视频广播(Digital Video Broadcasting-Convergence of Broadcasting and Mobile Service,DVB-CBMS)和网际协议电视(Internet Protocol Television,IPTV)的技术,在融合网络上每个终端能够接收相同的业务。在广播业务的示例情况中,广播流可以被具有不同显示器大小、能力和特性的终端所接收。也就是说,包括数字电视和移动电话在内的各种类型的终端能够接收相同的广播流。在这种情况下,那些能够在支持高速数据接收且具有快速数据处理能力的高清数字电视上播放的视频内容或图形效果,在移动终端上很可能由于数据接收环境改变以及与数字电视相比数据处理能力低下而出现接收延迟、中止或回放缓慢。
发明内容
技术问题
根据移动终端的条件和业务环境,能够表现出不同的结果。例如,尽管两个终端A和B具有相同的显示器大小和数据处理能力,但如果终端A在没有运行其他程序的情况下工作,而终端B在工作的同时还在运行其他几个程序,那么复杂的几何图形可能在终端A上正常显示,而在终端B上显示时却出现延迟。
如上所述,传统的富媒体业务方法具有如下缺点:取决于移动终端的能力、特性、业务环境和条件,相同的富媒体内容可能被以不同的质量呈现。
技术方案
为了克服现有技术的问题,本发明提供了用于提供富媒体业务的方法和装置,其能够利用有关内容的复杂度以及绘制(render)内容所需的操作级别(operation level)和存储器空间的信息,提供适合终端能力和条件的富媒体内容。
本发明还提供了用于提供富媒体业务的方法和装置,其使得接收方终端能够处理与诸如数据处理能力、设备特性、业务环境和操作条件之类的条件相适应的富媒体内容。
尽管数据处理能力、业务环境和操作状态是静态因素,但也存在诸如数据处理速度之类的可变因素。并且,同种类的终端可能根据操作系统和/或平台而显示出不同的业务结果。从业务提供商的角度来说,很难在提供富媒体业务时考虑到所有可能的终端类型和条件并且考虑到可变因素来预测业务结果。因此,本发明提供了这样的方法和装置:其能够参考包括富媒体内容的复杂度、终端处理该富媒体内容所需的操作级别和存储器空间在内的信息,向处于各种条件下的终端提供最优的富媒体业务。
根据本发明的实施例,一种用于提供富媒体业务的方法包括:定义构成富媒体内容的场景组成元素以及场景组成元素的属性;计算绘制该富媒体内容所需的操作级别;产生由场景组成元素和属性构成的富媒体内容,所述操作级别包含在所述场景组成元素和属性之一之中;以及编码和发送所述富媒体内容。
根据本发明的另一实施例,一种用于处理由场景组成元素和场景组成元素的属性构成的富媒体内容的方法包括:接收和解码富媒体内容,该富媒体内容具有绘制该富媒体内容所需的操作级别;通过分析该富媒体内容的场景组成元素和属性来提取该操作级别;以及使用所提取的操作级别绘制该富媒体内容。
根据本发明的另一实施例,一种用于提供富媒体业务的发射机包括:场景组成元素定义器,其定义构成富媒体内容的场景组成元素,并安排所述场景组成元素,使其位于预定位置;属性定义器,其定义所述场景组成元素的属性;操作级别计算器,其计算绘制所述富媒体内容所需的操作级别,并将该操作级别插入到场景组成元素和属性中的至少一个之中;编码器,其编码由场景组成元素和属性构成的富媒体内容;以及内容发送器,其发送编码的富媒体内容。
根据本发明的另一实施例,一种用于绘制由场景组成元素和场景组成元素的属性构成的富媒体内容的接收机包括:解码器,其解码富媒体内容,该富媒体内容具有绘制该富媒体内容所需的操作级别;场景树管理器,其分析该富媒体内容的场景信息,并根据分析结果构成该富媒体内容;以及绘制器,其绘制和输出所构成的富媒体内容。
有益效果
根据本发明的用于提供富媒体业务的方法和装置允许业务提供商发送包括诸如富媒体内容的处理复杂度、接收方终端绘制该内容所需的操作量和存储器空间之类的信息的富媒体内容,从而使接收方终端能够参照所述信息、根据其能力和条件控制对内容的接收和绘制,并且使业务提供商能够一致地提供富媒体业务而无需考虑接收方终端的能力。
附图说明
通过以下结合附图的详细描述,本发明的上述及其他目的、特征和优点将更加清楚,附图中:
图1是示出根据本发明实施例的终端的富媒体内容处理方法的流程图;
图2是示出图1的操作量和存储器空间分析过程的流程图;
图3是示出根据本发明实施例的、发射机生成和发送LASeR内容的方法的流程图;
图4是示出根据本发明实施例的、用于生成和发送LASeR内容的发射机的配置的框图;以及
图5是示出根据本发明实施例的、用于接收和处理由发射机发送的LASeR内容的接收机的配置的框图。
具体实施方式
参照附图具体描述本发明的实施例。附图中始终使用相同的参考标记来指代相同或相似的部分。可能省略对此处包括的公知功能和结构的具体描述,以免模糊本发明的主题。以下描述和权利要求中使用的术语和措词不局限于字面含义,而是仅仅被发明人用来使人能够清楚和一致地理解本发明。因此,对本领域技术人员应该清楚的是,提供以下对本发明实施例的描述仅仅是出于举例说明的目的,而不是为了限制本发明,本发明由权利要求及其等价物限定。
在以下描述中,富媒体内容与诸如内容复杂度和所需的操作级别和存储器空间之类的信息一起发送,以使接收该富媒体内容的终端能够提供与能力和业务环境相适应的富媒体业务。
尽管在以下描述中富媒体业务提供方法和装置针对的是基于LASeR引擎的终端,但是在其他实施例中,所述富媒体业务提供方法和装置也能够应用于以其他类型的富媒体引擎(Rich Media Engine,RME)实现的终端。尽管利用LASeR标准中规定的术语和元素对富媒体业务提供方法和装置进行描述,但对于本领域技术人员明显的是,当采用LASeR之外的另一RME或系统时,构成引擎、系统和数据的术语和元素可以有所改变。
在本发明的第一实施例中,发射机创建和发送包括终端配置富媒体内容的场景组成元素所需的操作级别的元素和属性信息,并且接收方终端考虑到终端的能力和条件,利用所述元素和属性信息来构成场景。这里,元素是构成场景的对象的基本单位,并且属性是指元素的性质。
在本发明的第二实施例中,发射机创建和发送包括配置富媒体内容所需的复杂度的元素和属性信息,并且接收方终端考虑到终端的能力和条件,利用富媒体内容的元素和属性信息绘制场景。这里,元素是构成场景的对象的基本单位,而属性是指元素的性质。
并且,元素和属性信息可以包含配置富媒体内容的场景组成元素所需的终端操作级别以及绘制富媒体内容的复杂度,以便终端考虑到终端的能力和条件、利用所述元素和属性信息来绘制场景。
尽管在以下描述中结合作为富媒体内容的LASeR内容对富媒体业务进行描述,但本发明可以应用于使用其他类型富媒体内容的各种富媒体业务。
第一实施例
在本发明的第一实施例中,定义了与终端配置用来绘制LASeR内容的场景组成元素所需的操作级别相关的新的元素和属性,并且描述了根据终端能力和条件利用所述属性绘制LASeR内容的场景的方法。
发射机生成与终端配置构成LASeR内容的场景组成元素所需的操作级别相关的元素和属性,并且将所述元素和属性的信息与LASeR内容一起发送到所述终端。终端按照图1中示出的过程播放所述LASeR内容。
图1是示出根据本发明实施例的终端的富媒体内容处理方法的流程图。
参照图1,终端首先在步骤100接收LASeR业务,并在步骤110解码该LASeR业务的LASeR内容。接着,在步骤120,终端检查在解码的LASeR内容中包含的LASeR命令,并执行该LASeR命令。此时,终端解释包括在该LASeR命令中的LASeR场景组成元素。LASeR命令以声明的方式指定对场景的改变。例如,‘NewScene’命令创建新的场景,‘Insert’命令插入任何元素或属性,而‘Delete’命令删除元素或属性。LASeR的场景组成元素包括以声明的方式指定构成场景的媒体和图形对象的元素、属性、事件和脚本。在本发明的第一实施例中,LASeR内容还包括与终端配置构成该LASeR内容的场景组成元素所需的操作级别和存储器空间相关的信息。因此,在步骤130,终端分析与终端配置场景组成元素所需的操作级别和存储器空间相关的信息。将参照图2更详细地描述终端如何分析操作量和存储器空间信息。
图2是示出图1的操作级别和存储器空间分析过程的流程图。
参照图2,终端在步骤210解释LASeR场景组成元素。接着,在步骤220,终端解释LASeR场景组成元素的属性。
经解释的场景组成元素和/或属性可以包括终端配置该场景组成元素所需的操作级别和存储器空间。在解释元素和属性之后,在步骤230,终端提取关于操作级别和存储器空间的信息。接下来,在步骤240,终端考虑其能力和条件,基于操作级别和存储器空间信息确定将要执行的操作。注意,步骤240是可选的。
在提取操作级别和存储器空间或基于操作级别和存储器空间确定将要执行的操作之后,终端根据其能力和条件绘制和显示LASeR内容的场景组成元素。表2示出了利用新定义的属性指定的LASeR内容的示例,所述新定义的属性指示终端配置LASeR场景所需的操作级别,如图1的步骤130所述。
表2
Figure BDA0000052621050000061
参照表2,‘g’元素作为包括在LASeR内容中的场景组成元素之一,可以包括‘multiply’(乘)、‘div’(除)、‘sub’(减)和‘add’(加)属性中的至少一个。像‘multiply’、‘div’、‘sub’和‘add’属性一样,与操作相关的性质也可被用作操作属性。在表2中,‘g’元素是用于将各种相关元素编组在一起的容器元素。因此,构成富媒体内容的各种场景组成元素可以嵌套在‘g’元素中。这里,组成元素包括诸如用于绘出矩形的‘rect’元素和用于绘出圆形的‘circle’元素之类的图形元素以及音频、视频和图像的场景组成元素。在表2的示例中,‘g’元素以5次乘法运算、3次除法运算、4次减法运算和7次加法运算来指定终端绘出所有场景组成元素所需的操作级别。
表3示出了与表2中使用的新的属性相关的示例性定义。在本发明的实施例中,使用一种方案(scheme)来定义元素和属性。该方案是描述数据的有效格式的文档。在本发明的实施例中,该方案遵循‘XML Schema’(xML纲要)语法,并且该方案可以使用方案的元素来定义。元素和属性的结构可以以各种方式定义,因而除了使用所述方案之外的、用来定义元素和属性的其他方法,如果其具有相同的含义,则也是本发明可预见的。并且,在本发明中定义的元素和属性的值可以被指定为限于独特的表示方法或通过扩展传统类型来定义。尽管在表3的示例中被设置为‘integer’(整数),但‘type’(类型)属性可以具有在富媒体内容中可用的各种数据类型,如整数(integer)、文本串(text string)、定点十进制数(fixed decimal)、浮点十进制数(floating decimal)以及包括′string′、′boolean′、′decimal′、′precisionDecimal′、′float′、′double′、′duration′、′dateTime′、′time′、′date′、′gYearMonth′、′gYear′、′gMonthDay′、′gDay′、′gMonth′、′hexBinary′、′base64Binary′、′anyURI′、′QName′、′NOTATION′、′normalizedString′、′token′、′language′、′NMTOKEN′、′NMTOKENS′、′Name′、′NCName′、′ID′、′IDREF′、′IDREFS′、′ENTITY′、′ENTITLES′、′integer′、′nonPositiveInteger′、′negativeInteger′、′long′、′int′、′short′、′byte′、′nonNegativeInteger′、′unsignedLong′、′unsignedInt′、′unsignedShorr′、′unsignedByte′、′positiveInteger′、′yearMonthDuration′、‘enumeration’等等的列表类型(list type)。这在本发明的所有实施例中都适用。
表3
Figure BDA0000052621050000071
表3中定义的属性可以被用作参照表2描述的诸如‘svg’和‘g’的包含其他元素的容器元素的属性以及构成LASeR内容的场景的所有元素的属性。并且,这些属性可以被用作LASeR首部(LASeRHeader)的属性。可以将新引入的、与影响内容的组成的操作级别、终端能力和条件以及业务环境相关的属性定义为针对相同的性质或角色指定的分组(group)。
表4和表5示出了利用新的元素和属性生成的示例的LASeR内容,所述新的元素和属性表示与终端绘制LASeR场景所需的操作量相关的信息,如图1的步骤130所述。
表4
Figure BDA0000052621050000081
如表4中所示,与操作相关的诸如‘multiply’(乘)、‘div’(除)、‘add’(加)和‘sub’(减)的新的“operation”(操作)元素可以包含‘g’元素作为构成LASeR内容的场景组成元素。在表4中,‘operation’元素以5次乘法运算、3次除法运算、4次减法运算和7次加法运算指定终端绘出包含在‘g’元素中的所有场景组成元素所需的操作级别。
表5
Figure BDA0000052621050000082
Figure BDA0000052621050000091
参照表5,包含新引入的‘multiply’、‘div’、‘sub’和‘add’元素的‘operation’元素被构成LASeR内容的诸如‘g’、‘rect’和‘animationMotion’的场景组成元素引用。
在表5中,终端绘出包含在‘id’属性被设置为‘group_01’的‘g’元素中的所有场景组成元素所需的操作级别通过引用‘id’属性被设置为‘ope_01’的‘operation’元素以5次乘法运算、3次除法运算、4次减法运算和7次加法运算来确定;终端绘出‘id’属性被设置为‘rectangle’的‘rect’元素所需的操作级别通过引用‘id’属性被设置为‘op_02’的‘operation’元素以1次乘法运算、1次除法运算、3次减法运算和2次加法运算来确定;并且终端绘出‘id’属性被设置为‘ani_01’的‘animationMotion’元素所需的操作级别通过引用‘id’属性被设置为‘op_03’的‘operation’元素以2次乘法运算、2次除法运算、4次减法运算和5次加法运算来确定。
表6示出了定义在表4和表5中使用的新的元素和属性的方案。
表6
Figure BDA0000052621050000092
与操作量相关的新的属性可以如表3中所示单独定义,或者也可以如表6中所示被指定到用于与操作量相关的新的属性的诸如′operationAttributeGroup′的分组(group)中。
表7示出了在图1的步骤130描述的与终端绘制LASeR场景所需的存储器空间相关的新的属性。
表7
Figure BDA0000052621050000101
在表7中,属性‘GraphicPoints’给出有关绘制图形元素所需的存储器空间的信息。该属性可以包括有关构成图形元素的点、线、网孔(mesh)和多边形(polygon)的信息,并且可以被用作用于根据图形元素的性质给出所需信息的属性。例如,如果用于提供绘制图形对象A所需的存储器空间的信息是点,则‘GraphicPoints’属性可以被设置为构成图形对象A所需的点的数量。该属性可以包括诸如点的大小以及存储器分配量等等的进一步的信息。在用于表示图形对象B所需的存储器空间的信息是网孔和多边形的情况中,‘GraphicPoints’属性可以包括诸如网孔和多边形的数量、量、大小的进一步的信息。
属性‘FontDataSize’给出与以相应的字体绘制数据所需的存储器空间有关的信息。‘FontData’属性可以被配置为给出有关字体文件的大小的信息。当存在用于使用字体文件绘制数据的进一步的信息,例如加载字体文件所需的信息时,可以定义用于给出相应信息的补充属性,或者可以将‘FontDataSize’属性设置成反映这样的信息的值。
属性‘TextDataSize’给出有关绘制文本数据所需的存储器空间的信息。该属性可以被配置为显示诸如文本数据的大小的信息。当存在用于绘制文本数据的需要存储器的进一步的信息时,可以定义给出相应信息的补充属性,或者可以将‘TextDataSize’属性设置成反映这样的信息的值。
属性‘ImageProcessingMemory’给出与绘制图像数据所需的存储器空间有关的信息。当存在用于绘制图像数据的需要存储器的进一步的信息时,可以定义用于表示相应信息的补充属性,或者可以将‘ImageProcessingMemory’属性设置成反映相应的信息的值。例如,如果存在用于处理图像文件的进一步的因素,诸如输入视频缓冲器、解码参数和输出视频缓冲器,则可能需要进一步的存储器空间,以用于大于图像文件大小的输入视频缓冲器大小、对应于水平和垂直长度的乘积与用于表示每像素数据的字节数的和的输出视频缓冲器大小、以及用于解码所述图像的变量。因此,‘ImageProcessingMemory’属性包括:有关图像文件大小的信息;用于确定输出视频缓冲器大小的有关图像的水平和垂直和颜色格式以及编解码器的信息;以及有关在解码图像时使用的变量所需的存储器大小的信息。这些信息可以在‘ImageProcessingMemory’属性内表示,或者可以通过定义单独的属性来表示。有关输入视频缓冲器大小以及解码变量的信息可能取决于传输方法和/或实现方法而需要不同大小的存储器,如果某信息是显著改变所需存储器空间的变量,则在表示ImageProcessingMemory’所需的存储器空间或以特定值表示的存储器空间时该信息可以被排除。
属性‘VideoProcessingMemory’给出与绘制视频数据所需的存储器空间有关的信息。当存在用于绘制视频数据的需要存储器的进一步的信息时,可以定义用于表示相应信息的补充属性,或者可以将‘VideoProcessingMemory’属性设置成反映相应的信息的值。例如,如果存在用于处理视频文件的进一步的因素,诸如输入视频缓冲器、解码参数,输出视频缓冲器以及解码的图片缓冲器,则可能需要进一步的存储器空间,以用于大于图像文件大小的输入视频缓冲器大小、对应于水平和垂直长度的乘积与用于表示每像素数据的字节数的和的输出视频缓冲器大小、解码的视频缓冲器以及用于解码视频数据的变量。因此,‘VideoProcessingMemory’属性包括:有关图像文件大小的信息;用于确定输出视频缓冲器大小的有关图像的水平和垂直长度和颜色格式以及编解码器的信息;以及有关在解码图像时使用的变量所需的存储器大小的信息。这些信息可以在‘VideoProcessingMemory’属性内表示,或者可以通过定义单独的属性来表示。有关输入视频缓冲器大小以及解码变量的信息可能取决于传输方法和/或实现方法而需要不同大小的存储器,如果某信息是显著改变所需存储器空间的变量,则在表示‘VideoProcessingMemory’所需的存储器空间或以特定值表示的存储器空间时该信息可以被排除。
用于表示与终端绘制LASeR场景所需的存储器相关的信息的新的属性可被用于构成LASeR内容的场景的所有种类的元素的属性,并且可以根据元素的特性与条件和限制一起使用。并且,新的属性可以被定义成针对相同的性质或角色而指定的分组。并且,参照表4和表5描述的与存储器相关的新的属性可以包含在新的元素‘min_Memory’中,并且可以按照以下方式使用:<min_Memory Graphicpoints=″...″FontDataSize=″...″TextDataSize=″...″ImageProcessingMemory=″...″VideoProcessingMemory=″...″>。并且,可以定义新的属性<attribute name=“min_Memory”>,其包括与存储器相关的新的属性的信息。例如,如果min_Memory=10,则意味着终端利用具有相应属性的元素绘制场景所需的最小存储量是10个存储器大小单位。这可以通过按照min_Memory=“2Graphicpoints2FontDataSize2TextDataSize2ImageProcessingMemory2Video ProcessingMemory2AudioProcessingMemory”来列出与该存储器相关的各个属性值,而被表示为列表类型的属性值。在这种情况下,Graphicpoints、FontDataSize、TextDataSize、mageProcessingMemory、VideoProcessingMemory和AudioProcessingMemory属性的值分别被表示为被转换成以2的平方表示的、相应对象所需的存储器的值。值的列表还可以包括用于提供与存储器相关的信息的各种参数。存储器的单位可以根据系统而改变,并且可以以所有可能的存储器表示单位来表示,如字节、比特、兆字节(MB)、千字节(KB)等等。并且,使用具有相应属性的元素绘制场景所需的最小存储器可以被分类为级别或分组,以便以符号值(symbolic value)、分组或级别(例如,高、中和低)来表示。
如上所述,元素和属性的结构可以以各种方式定义,因而除了使用所述方案之外的,用来定义元素和属性的其他方法,如果其具有相同的含义,则也是本发明可预见的。并且,在本发明中定义的元素和属性的值可以被指定为限于独特的表示方法或通过扩展传统类型来定义。新定义的属性的类型可以被指定为各种数据类型,如′string′、′boolean′、′decimal′、′precisionDecimal′、′float′、′double′、′duration′、′dateTime′、′time′、′date′、′gYearMonth′、′gYear′、′gMonthDay′、′gDay′、′gMonth′、′hexBinary′、′base64Binary′、′anyURI′、′QName′、′NOTATION′、′normalizedString′、′token′、′language′、′NMTOKEN′、′NMTOKENS′、′Name′、′NCName′、′ID′、′IDREF′、′IDREFS′、′ENTITY′、′ENTITIES′、′integer′、′nonPositiveInteger′、′negativeInteger′、′long′、′int′、′short′、′byte′、′nonNegativeInteger′、′unsignedLong′、′unsignedInt′、′unsignedShort′、′unsignedByte′、′positiveInteger′、′yearMonthDuration′等等。
尽管使用终端绘制富媒体业务的场景所需的操作级别和存储器空间作为与终端容量(capacity)和条件以及业务环境相关联的在构成内容时产生影响的示例性元素,但很显然,与终端容量和条件以及业务环境相关联的在构成内容时产生影响的其他元素也是本发明可预见的。
作为与终端容量和条件以及业务环境相关联的影响内容的组成的示例性元素,可以包括与诸如图像、字体、视频和音频的媒体相关的信息、与文本、图形和交互相关的信息、以及此处未列举的其他各种元素。与诸如图像、字体、视频和音频的媒体相关的信息、与交互相关的信息可以包括关于数据本身的信息(如数据大小)、回放时间、每秒数据量(如帧速率)、颜色表、更新速率以及元素和属性的数量。还可以进一步包括用户处理数据所需的分辩率、显示器大小、业务场景中的利用频率、处理数据所需的终端资源占用率、存储器大小、功耗、与数据传输所需的资源相关的信息、以及提供业务所需的终端的输入/输出能力和结构。
并且,用于定义所述信息的方法可以根据新引入的元素和属性的位置而改变。根据相应的数据定义格式新定义的元素和属性信息可以由初始的场景构成信息构成,如用于场景更新的首部信息和信令信息、场景更新数据组、场景片段(segment)和访问单元(access unit);或者由访问单元或首部信息构成,而不考虑实际的与信令相关的用于绘制场景的信息。在以用于信令的数据格式构造的情况下,新定义的元素和属性可以由用于指示相应信息的字段构成。
除了操作级别之外,可以使用有关构成内容的各种元素的信息,即构成内容的有关诸如图像、字体、视频和音频的媒体的信息以及与文本、图形和交互相关的信息来指定场景构成元素或指定经分组的元素、数据集或文件。
第二实施例
在本发明的第二实施例中,定义了与终端绘制LASeR内容的复杂度相关的新的元素和属性,并且描述了终端根据终端能力和条件、利用所述属性绘制LASeR内容的场景的过程。术语“元素”是指构成场景的对象的基本单位,术语“属性”是指场景的元素的性质。
用于绘制包括具有与终端绘制LASeR内容的复杂度相关的信息的元素和属性的LASeR内容的过程,除了在图1的步骤130终端检查绘制LASeR内容所需的复杂度之外,与本发明第一实施例的过程相同。终端根据终端能力和条件检查绘制LASeR内容所需的复杂度,并利用复杂度信息绘制业务的场景。
绘制LASeR内容的复杂度可以包括在本发明的第一实施例中描述的终端配置场景组成元素所需的操作级别。可以适应于诸如终端能力和特性中的数据处理性能、业务环境和条件之类的信息来绘制场景。这里,数据处理性能与时钟(以兆赫(MHz)为单位)成比例。当绘制业务所参照的终端的最大数据处理性能为作为参考数据处理单位的2000个时钟时,用于乘法运算或除法运算的时钟数量为5,并且用于加法运算或减法运算的时钟数量为1。由于存在用于表示数据处理性能的多种参考单位,因此可以用系统中使用的单位来表示数据处理性能。在LASeR内容的情况中,绘出作为场景组成元素的人类奔跑所需的总的操作级别包括20次乘法、10次除法、25次加法和12次减法。因此,时钟总数为通过对5个时钟x20次乘法=100个时钟、5个时钟x10次除法=50个时钟、1个时钟x25次加法=25个时钟以及1个时钟x12次减法=12个时钟求和而得到的187个时钟。结果,数据处理速率,即,用于绘出人类奔跑所需的时钟总数与参考数据处理单位的2000个时钟的比,为187/2000。187/2000的数据处理速率可以以百分比表示,即9.35%,因而终端绘出人类奔跑需要处理净空间(headroom)的9.35%。在本发明的第二实施例中,所述绘制场景所需的处理净空间被称为“复杂度”。也就是说,复杂度可以被定义为绘制内容所需的操作量与终端的最大数据处理性能的百分比。在这种情况下,人类奔跑的复杂度变为从1到100的等级(scale)中的9.35。
尽管利用与终端绘制内容所需的操作量相关的信息来解释复杂度计算,但可以使用与存储器、终端容量、业务环境等等相关的其他各种元素来进行复杂度计算。除上述操作级别之外,供复杂度计算使用的元素还可以包括与操作相关的其他性质。并且,还可以进一步使用与诸如图像、字体、视频和音频的媒体相关的信息、与文本、图形和交互相关的信息、以及有关构成内容的元素的信息。与诸如图像、字体、视频和音频的媒体相关的信息、以及与文本、图形和交互相关的信息可以包括数据本身的信息(如大小)、回放时间、以及每秒将处理的数据量(如帧速率)、颜色表和更新速率。并且,还可以进一步包括用户处理数据所需的分辩率、显示器大小、业务场景中的利用频率、处理数据所需的终端资源占用率、存储器大小、功耗、与数据传输所需的资源相关的信息、以及提供业务所需的终端的输入/输出能力和结构。
表8示出了利用新属性,即绘制LASeR内容所需的复杂度,生成的示例性LASeR内容。
表8
Figure BDA0000052621050000151
在表8的示例中,作为构成LASeR内容的场景组成元素之一的‘g’元素具有‘complexity’(复杂度)属性。‘g’元素是用于将相关元素分组在一起的容器元素,其包含用于绘出人类奔跑的元素。‘complexity’属性具有9.35的值,这意味着要求终端具有与最大处理性能100相比的至少9.35的可用性能净空间来绘制人类奔跑。‘complexity’属性能被用于包括容器元素的所有场景组成元素。并且,‘complexity’属性能被用作LAseRHeader的属性。
表9到表13示出了以表7的方案的语法定义的新的属性。‘complexity’属性用如表9和表13中所示的数据类型来定义。
表9
<attribute name=″complexity″type″float″use=″optional″/>
如表9中所示,‘complexity’属性可以被定义为以相应的富媒体中可用的诸如‘float’、‘integer’和‘anyURI’之类的各种数据类型来表示,而没有如第一实施例中所述的任何限制或条件。
表10
Figure BDA0000052621050000161
在表10中,‘complexity’属性以数据类型‘float’以及最小值为0和最大值为100的限制来定义。
表11
Figure BDA0000052621050000162
在表11的示例中,‘complexity’属性以数据类型‘integer’来定义,以便表示规范化(normalization)处理之后的‘complexity’属性的值。在采用规范化的情况中,‘complexity’可以被表示为在范围1到10内的整数值,即,与最大处理性能100相比低于10%的值被规范化为1,低于20%的值被规范化为2,等等。
表12
Figure BDA0000052621050000163
Figure BDA0000052621050000171
在表12中,‘complexity’属性以数据类型string来定义,从而由具有符号含义的文本来指示值。在这种情况下,‘complexity’属性的值可以被设置为指示高复杂度的‘high’(高)或指示低复杂度的‘low’(低)。
表13
Figure BDA0000052621050000172
在表13中,‘complexity’属性以数据类型string来定义,从而像表12中的定义那样通过具有符号含义的文本来指示值,只不过与表12中的‘high’(高)、‘middle’(中)和‘low’(低)相比,对复杂度进行了更精确地划分。
可以利用与诸如参考数据处理单元、参考终端平台和规范以及业务环境之类的进一步的信息有关的定义来定义‘complexity’属性,并且所述信息可以反映在‘complex’属性的属性值中。例如,当参考数据处理单元是时钟2000时,最少需要9.35%的处理性能净空间可以被表示为复杂度=‘9.35’并且complexity_criterion=‘2000’或复杂度=‘9.35(2000)’。
并且,用于定义所述信息的方法可以根据新引入的元素和属性的位置而改变。根据相应的数据定义格式新定义的元素和属性信息可以由初始的场景构成信息构成,诸如用于场景更新的首部信息和信令信息、场景更新数据分组、场景片段和访问单元;或者由访问单元或首部信息构成,而不考虑实际的与信令相关的用于绘制场景的场景信息。在以用于信令的数据格式构造的情况下,新定义的元素和属性可以由用于指示相应信息的字段构成。
可以包括诸如操作量、存储器、图像、字体、视频和音频的媒体相关信息、以及关于构成内容的诸如文本、图形和交互的各种元素的信息的复杂度信息,可以被用作描述场景组成元素的信息、用于描述分组的元素、数据集或文件的信息、或首部类型的信令信息。
第三实施例
在本发明的第三实施例中,终端检测绘制场景所需的存储器容量的变化,即,相对于终端的处理净空间以及复杂度的处理可用性(processing availability)的变化,并根据所需存储器容量的变化动态地改变场景。
在LASeR内容处理中,网络会话管理、解码过程和终端的条件和操作的变化以及接口上的数据和输入/输出可以被定义为事件。LASeR引擎可以检测这些事件并根据所检测的事件改变终端的场景或操作。因此,在本发明的第三实施例中,绘制场景所需的存储器容量的变化,即,相对于复杂度的处理净空间和处理可用性的变化,可以被定义为事件。
作为处理新事件的一个例子,当终端,即LASeR引擎,检测到新事件时,终端通过ev:listener(监听器)元素执行相关命令。这里,所述相关命令可以涉及包括功能执行或元素和命令执行的各种操作。
表14示出了关于与终端的存储器状态改变相关的新事件的定义。如果终端的存储器状态改变,则意味着相对于终端的处理净空间和复杂度的处理可用性发生改变。新事件可以使用特定的命名空间。可以使用任意类型的命名空间,只要其允许对新事件分组,即,其可以被用作标识符(ID)。
表14
Figure BDA0000052621050000191
在表14中,当确定由于终端的存储器的改变使相对于处理净空间和复杂度的终端的处理可用性发生改变时,发生‘MemoryStatusChanged’事件。当确定由于终端的存储器的改变量达到参数‘A’而使相对于处理净空间和复杂度的终端处理可用性发生改变时,发生‘MemoryStatus(A)’事件。参数‘A’是指示事件的发生的值,所述事件是由反映相对于处理净空间和复杂度的终端处理可用性发生变化的元素或性能的改变所导致的。
当确定由于存储器变为参数‘B’而使相对于处理净空间和复杂度的终端处理可用性发生改变时,发生‘MemoryStBtus(B)’事件。参数‘B’是指示当以区段(section)或间隔预定义相对于处理净空间和复杂度的终端处理可用性时终端条件改变为值‘B’的值。参数‘B’可以被表示为各种信息元素的组合。在参数‘B’被配置为(A,B)或(a,b,c,d,e)的情况中,‘MemoryStatus(B)’事件可以被定义为MemoryStatus(A,B)或MemoryStatus(a,b,c,d,e)。
当确定由于指示存储器相关信息的参数‘B’的改变量达‘A’,而使相对于处理净空间和复杂度的存储器处理可用性发生改变时,发生‘MemoryStatus(A,B)’事件。这意味着,存储器相关信息‘B’改变为由参数‘A’指示的区段值,因而相对于处理净空间和复杂度的终端处理可用性发生改变。
终端的存储器相关信息‘B’可以是能够表示在本发明中定义的相对于处理净空间和复杂度的终端处理可用性的任意元素和信息。因此,信息‘B’可以是操作量、与诸如图像、字体、视频和音频的媒体相关的信息、与文本统一码的数量、图形点的数量和交互相关的信息以及包括上述信息的复杂度信息。在这样的信息,即‘MemoryStatus(A,B)事件’中,信息‘B’可以用mimeType、预定义的表示式、或引用作为能够在外部引用的数据的内部/外部数据集合来表示。
在给定预定义的表达式“‘a’是文本统一码的数量、‘b’是图形点的数量、‘c’是用于绘制视频的存储器需求、‘d’是用于绘出图像的存储器需求、并且‘e’是采样音频所需的最大采样率的和”、并且发生‘memoryStatus(300,b)’事件时,终端识别出等于绘制300个图形点所需量的存储器大小发生改变。
当确定由于如参数a、b、c、d和e所指示的与终端的存储器相关的信息发生改变而使相对于处理净空间和复杂度的终端处理可用性发生改变时,‘MemoryStatus(a,b,c,d,e)’事件发生。在这种情况下,终端必须知道按顺序次序的参数序列a、b、c、d和e中各个位置的含义。例如,当参数序列‘a,b,c,d,e’被预定义为[文本统一码的数量,图形点的数量,绘制视频所需的存储器量,绘出图像所需的存储器量,用于采样音频的最大采样率的和]并且‘MemoryStatus(2,30,200,100,200)事件发生时,终端识别出等于处理两个文本统一码、30个图形点、200kb视频、100kb图像和200kb音频所需量的存储器大小发生了改变。
包括‘A’、‘B’等等的所有参数可以以各种类型来表示,包括绝对值、相对值以及其他类型的具有特定含义的值。具有特定含义的值可以以符号表达式提供,并且指示分组或集合,并且被在内部/外部预定义以便被引用。事件表示参数类型(A,B,C,...)和实际值(a,b,c)的对,就像在“MemoryStatus(a,B,b,c,C,...)”中那样而没有数量上的限制。如果需要以多个实例来表示一个参数对,则事件可以被定义以所需数量的对来表示。
表15到表17示出了使用接口定义语言对接口的定义,所述接口用于根据相对于处理净空间和复杂度的终端处理可用性的改变而发生的事件。接口定义语言(IDL)是用来描述接口的定义和功能的规范语言。IDL以语言中立的方式描述接口,从而实现了在不共用语言的软件组件之间的通信。表15到表17的‘MemoryStatus’接口能够提供有关在相对于处理净空间和复杂度的终端处理可用性改变时发生的事件的上下文信息,并且‘MemoryStatus’接口的事件类型可以是已参照表9和本发明的实施例描述过的根据相对于处理净空间和复杂度的终端处理可用性的改变的事件。‘MemoryStatus’接口的属性可以是任何能够表示与终端性能,即资源,相关的性质的属性。尽管在下面的描述中以float、Boolean和long参数类型来表示所述属性,但是所述属性不局限于此,而是,如果存在将被不同地表示的接口的特定属性,则其可以变成在LASeR中可用的所有数据类型中的任何一个。
表15
Figure BDA0000052621050000211
在表15中,‘memoryParameter’是指示代表终端的存储器的变化的值的偏差(即,位移)的值。这可以被表示为之前发生的事件与当前发生的事件之间的差。该参数可以以多于一个的变量来表示。在与终端的存储器相关的参数是[文本统一码的数量,图形点的数量,绘制视频所需的存储器量,绘出图像所需的存储器量,采样音频所需的最大采样率的和,...]的情况下,这可以使用如下的各个变量来表示:
Figure BDA0000052621050000221
上述接口可以以不同的方式表示如下:
接口的属性可以以表16所示的特定表达式来表示,并且值还可以包括DomString类型的细节的属性,ParameterType等等。
表16
Figure BDA0000052621050000223
Figure BDA0000052621050000231
Figure BDA0000052621050000241
在表17中,指示终端的存储器的变化的memoryParameter被利用5个信息元素配置为[文本统一码的数量,图形点的数量,绘制视频所需的存储器量,绘出图像所需的存储器量,采样音频所需的最大采样率的和],所述参数包括5个信息元素的组合[文本统一码的数量,图形点的数量,绘制视频所需的存储器量,绘出图像所需的存储器量,采样音频所需的最大采样率的和]。再例如,每个参数可以被表示为参数值和参数类型的对[参数值,参数类型]。
表17
Figure BDA0000052621050000242
可以以多种方式定义上述接口的类型。尽管在本发明的实施例中未以语法进行描述,但本发明可预见其他方法,只要其包括与指示表示终端的存储器的变化的值的改变的值相关的属性和信息即可。
表18示出了使用以上定义的事件的示例性场景构成。在以定义[文本统一码的数量,图形点的数量,绘制视频所需的存储器量,绘出图像所需的存储器量,用于采样音频的最大采样率的和]串行组合a,b,c,d和e、并且事件‘MemoryStatus(2,30,200,100,200)’发生时,事件监听器识别出等于处理两个文本统一码、30个图形点、200kb视频、100kb图像和200kb音频所需量的存储器大小发生了改变,并命令事件处理器执行‘MemoryChanged’的操作。‘MemoryChanged’执行<lsr:RefreshScene/>以重新绘出场景。
表18
Figure BDA0000052621050000252
根据第一到第三实施例生成富媒体内容的发射机以及绘制发射机所发送的富媒体内容的接收机的操作参照图2和图5进行描述。尽管基于富媒体内容是图2和图3中的LASeR内容的假设对发射机和接收机的操作进行描述,但本发明可应用于其他类型的媒体内容。在以下描述中,术语‘富媒体内容’和‘LASeR内容’作为同义词使用。
图3是示出根据本发明的第一到第三实施例的、发射机生成和发送LASeR内容的方法的流程图。
参照图3,在步骤310,发射机定义相应LASeR内容的场景组成元素。接下来,在步骤320,发射机排列所定义的场景组成元素,使其位于预定位置。
接下来,在步骤330,发射机定义场景组成元素的属性。在定义属性之后,在步骤340,发射机计算场景组成元素的操作级别,并将所计算的操作级别添加到场景组成元素或属性,以生成内容。
此时,如上所述,发射机可以将与存储器相关的信息以及操作量添加到场景组成元素或属性。在本发明的示范性实施例中,发射机还可以将包括操作信息的复杂度添加到场景组成元素或属性。
尽管在图3中描绘了在定义场景组成元素和场景组成元素的属性之后添加操作级别,但本发明不局限于此。例如,首先计算操作级别,然后,如果在计算操作级别之后定义场景组成元素及其属性,则将该操作级别添加到该场景组成元素或属性。
最后,在步骤350,发射机编码所产生的内容并发送该内容到接收机。
图4是示出根据本发明实施例的、用于生成和发送LASeR内容的发射机的配置的框图。
参照图4,发射机包括LASeR内容生成器400,LASeR编码器410和LASeR内容发送器420。
LASeR内容生成器400产生如在本发明的第一和第二实施例中描述的富媒体内容。这里,该富媒体内容可以是LASeR内容。也就是说,LASeR内容生成器400创建包含诸如富媒体内容的复杂度和接收方终端绘制该富媒体内容所需的操作级别和存储空间的信息的元素和属性中的至少一个。
这里,与接收方终端绘制富媒体内容所需的操作级别相关的元素和属性信息可以是这样的元素和属性:其包括与配置构成富媒体内容的场景组成元素所需的操作级别相关的信息。元素是指构成场景的对象的基本单位,而属性是指元素的性质。例如,作为构成LASeR内容的场景组成元素之一的‘g’元素具有与诸如‘multiply’、‘div’、‘sub’和‘add’的操作相关的属性。当生成LASeR内容时,LASeR内容生成器400创建与接收方终端绘制LASeR数据所需的操作级别相关的信息,并将该操作级别信息和LASeR数据封装到富媒体内容中。
LASeR内容生成器400还创建与接收方终端绘制LASeR场景所需的存储器空间相关的信息,并将该存储器空间信息与LASeR数据一起封装到富媒体内容中。存储器相关信息可以包括表7中列出的属性。在表7中,‘GraphicPoints’属性指示接收方终端绘制图形元素所需的存储器量,‘FontDataSize’属性指示接收方终端绘制相应的字体所需的存储器量,‘TextDataSize’属性指示接收方终端绘制文本数据所需的存储器量,‘ImageProcessingMemory’属性指示接收方终端绘制图像数据所需的存储器量,而‘VideoProcessingMemory’属性指示接收方终端绘制视频数据所需的存储器量。
LASeR内容生成器400还创建与接收方终端绘制LASeR场景所需的复杂度相关的信息,并将该复杂度信息与LASeR数据一起封装到富媒体内容中。为了计算复杂度,使用与关于接收方终端绘制内容所需的操作量和存储器量的信息等等相关的各种元素。在计算复杂度时使用的元素还可以包括:与诸如图像、字体、视频和音频的媒体相关的元素、与文本、图形和交互相关的元素、以及有关构成内容的各种元素的元素。与诸如图像、字体、视频和音频的媒体相关的元素以及与文本、图形和交互相关的元素可以包括:与数据本身相关的信息,如数据的大小和回放时间,诸如帧速率的每秒处理的数据量,颜色表以及更新速率;以及诸如接收方终端处理数据所需的分辩率、显示器大小、业务场景内的利用频率、接收方终端处理数据的资源占用率、存储器大小、功耗量、与数据传输相关的资源、输入/输出相关的终端能力和配置之类的信息。
并且,LASeR内容生成器400生成与终端绘制LASeR场景所需的存储器量相关的信息,并利用该LASeR数据和与存储器量相关的信息创建富媒体内容。终端识别出绘制LASeR场景所需的存储器量的变化,即,相对于终端处理净空间以及复杂度的处理可用性,并根据所需存储器量的变化动态地改变场景。在LASeR内容处理中,网络会话管理、解码过程和终端的条件和操作的变化以及接口上的数据和输入/输出可以被定义为事件。LASeR引擎可以检测这些事件并根据检测到的事件改变终端的场景或操作。因此,在本发明的第三实施例中,绘制场景所需的存储器容量的变化,即,处理净空间和相对于复杂度的处理可用性的改变,可以被定义为事件。作为处理新事件的一个例子,当终端检测到新事件时,终端通过ev:listener(监听器)元素执行相关命令。这里,所述相关命令可以与包括功能执行或元素和命令执行的各种操作相关。
为了执行上述功能,LASeR生成器400包括场景组成元素定义器403、属性定义器405和操作级别计算器407。尽管在图4中未示出,但发射机还可以包括其他功能块。然而,与本发明不直接相关的功能块被省略。
场景组成元素定义器403定义构成内容的场景的场景组成元素,并安排所述场景组成元素以使其位于预定位置。
属性定义器405定义场景组成元素的属性。
操作级别计算器407计算上面描述的存储器相关元素和属性的操作级别、复杂度和值。操作级别计算器407将所计算的值选择性地添加到所定义的场景组成元素和属性。
LASeR内容生成器400输出LASeR内容到LASeR编码器410。LASeR编码器410编码LASeR内容生成器400输出的LASeR内容(包括LASeR数据、与操作级别和存储器量相关的信息、以及复杂度信息中的至少一个)并将经编码的LASeR内容输出到LASeR内容发送器420。LASeR内容发送器420将LASeR编码器410输出的经编码的LASeR内容发送到接收方终端。
如上所述,发射机生成新的元素和属性,其包含与接收方终端绘制构成LASeR内容的场景组成元素所需的操作量相关的信息,并且,发射机将所述新的元素和属性信息与LASeR内容一起发送。
图5是示出根据本发明实施例的、用于接收和处理由发射机发送的LASeR内容的接收机的配置的框图。
参照图5,接收机包括LASeR解码器500、LASeR场景树管理器510和LASeR绘制器520。
一旦接收到LASeR内容,LASeR解码器500即解码该LASeR内容并将经解码的LASeR内容输出到LASeR场景树管理器510。LASeR场景树管理器510分析在本发明的第一和第二实施例中描述的有关绘制富媒体内容的复杂度的信息、处理富媒体内容所需的操作级别、和/或绘制富媒体内容所需的存储器量,并检查与事件相关的信息和与事件相关的行为。也就是说,LASeR场景树管理器510分析LASeR解码器500输出的LASeR数据并基于分析结果控制场景的配置。
为此,LASeR场景树管理器510包括场景组成元素分析器520、属性分析器504、操作级别提取器506和终端操作确定器508。
场景组成元素分析器502接收LASeR解码器500输出的经解码的LASeR内容,并分析包括在该LASeR内容中的场景组成元素。接下来,场景组成元素分析器502将经过分析的场景组成元素输出到操作级别提取器506。
属性分析器504接收场景组成元素分析器502输出的经解码的LASeR内容,并分析该LASeR内容的场景组成元素的属性。接下来,属性分析器将经过分析的属性输出到操作级别提取器506。
操作级别提取器506提取绘制富媒体内容的复杂度、绘制内容所需的操作级别和/或绘制内容时所需的存储空间。
在本发明的实施例中,富媒体内容包括关于接收机绘制富媒体内容所需的复杂度的信息或关于内容的复杂度和/或接收机绘制富媒体内容所需的操作级别和存储器的信息,并且分析了包括上述信息的场景组成元素信息的接收机借助于终端操作确定器508检查接收机容量和条件,并利用接收机所支持的场景组成元素绘制场景。
经LASeR场景树管理器510检查的场景组成元素信息被输出到LASeR绘制器520。LASeR绘制器520基于LASeR场景树管理器510输出的LASeR场景组成元素信息绘制LASeR内容,并输出所绘制的LASeR内容。
在包括诸如内容的复杂度和/或绘制内容所需的操作级别的信息的场景组成元素信息被用作用于描述分组元素、数据集合或文件的信息时,接收机可以在将内容输入到LASeR解码器500之前、在将经LASeR解码器500解码的内容输入到LASeR场景树管理器510之前、或者在分析输入到LASeR场景树管理器510的数据之前,检查所述信息,并参照接收机的能力和条件过滤分组的元素、数据集合和/或文件。
在本发明的实施例中,被用作新定义的属性的值的信息(即,与诸如操作量、图像、字体、视频和音频的媒体相关的信息;与文本、图形和交互相关的信息;以及包括相应信息的、诸如复杂度信息的与构成内容的各种元素相关的信息)可以被配置成供数据、文件、应用程序和LASeR内部或外部的业务引用。此时,所述属性可以在LASeR内部定义,以便只有属性值被引用,或者可以利用其他数据、文件、应用程序和业务来定义,以便使用具有引用功能的元素和属性来引用。即使在使用具有引用功能的元素和属性引用属性和属性值时,其他方法如果具有相同的含义,则也是本发明可预见的。例如,如果‘href’属性被用于引用特定元素,在另一文件中操作级别被定义为‘operation(add(5),mul(10))’,并且使用‘href=“operation(add(5),mul(10)”’,则这等同于<operation add=‘5’mul=‘10’>。
并且,定义了诸如‘contentsDescriptionType’的新的元素或新的属性,以用于媒体相关信息,诸如操作级别、复杂度、图像、字体、视频和音频,以及与诸如文本、图形和属性值的定义列表的构成内容的各种元素相关的信息,所述信息可以被携带(bring)和使用,或者引用其他数据、文件、应用程序或业务来使用。这适用于本发明的所有实施例。
如上所述,根据本发明的用于提供富媒体业务的方法和装置允许业务提供商发送包括诸如富媒体内容的处理复杂度、接收方终端绘制该内容所需的操作量和存储空间之类的信息的富媒体内容,从而使接收方终端能够参照所述信息、根据其能力和条件控制对内容的接收和绘制,并且使业务提供商能够一致地提供富媒体业务而无需考虑接收方终端的能力。
尽管已经在上文中详细描述了本发明的示范性实施例,但应当能清楚地理解到,本领域技术人员基于说明书的教导可预见的对于本发明基本发明构思的许多改变和/或修改均应落入本发明的精神和范围之内,本发明的范围由所附权利要求书限定。

Claims (15)

1.一种用于提供富媒体业务的方法,包括步骤:
定义构成富媒体内容的场景组成元素和所述场景组成元素的属性;
计算绘制所述富媒体内容所需的操作级别;
生成由所述场景组成元素和属性构成的富媒体内容,所述操作级别包含在所述场景组成元素和属性之一中;以及
编码并发送所述富媒体内容。
2.如权利要求1所述的方法,其中,所述操作级别包括创建乘法属性、除法属性、加法属性和减法属性中的至少一个。
3.如权利要求2所述的方法,其中,计算操作级别的步骤包括:产生所述富媒体内容的复杂度,所述复杂度是绘制富媒体内容所需的操作量与最大数据处理能力的比。
4.如权利要求2或3所述的方法,其中,计算操作级别的步骤包括:产生绘制所述富媒体内容所需的存储器量,所述存储器量包括图形点属性、字体数据大小属性、文本数据大小属性、图像处理存储器属性和视频处理存储器属性中的至少一个。
5.一种用于处理由场景组成元素和所述场景组成元素的属性构成的富媒体内容的方法,包括:
接收和解码富媒体内容,该富媒体内容具有绘制该富媒体内容所需的操作级别;
通过分析所述富媒体内容的场景组成元素和属性来提取所述操作量;以及
使用所提取的操作级别绘制所述富媒体内容。
6.如权利要求5所述的方法,其中,所述操作级别包括乘法属性、除法属性、加法属性和减法属性中的至少一个。
7.如权利要求5所述的方法,其中,所述操作级别包括:富媒体内容的复杂度,所述复杂度是绘制富媒体内容所需的操作量与最大数据处理能力的比。
8.如权利要求6或7所述的方法,其中,所述操作级别包括:绘制所述富媒体内容所需的存储器量,所述存储器量包括图形点属性、字体数据大小属性、文本数据大小属性、图像处理存储器属性和视频处理存储器属性中的至少一个。
9.一种用于提供富媒体业务的发射机,包括:
场景组成元素定义器,其定义构成富媒体内容的场景组成元素,并安排所述场景组成元素使其位于预定位置;
属性定义器,其定义所述场景组成元素的属性;
操作级别计算器,其计算绘制所述富媒体内容所需的操作级别,并将所述操作级别插入到所述场景组成元素和属性中的至少一个;
编码器,其编码由所述场景组成元素和属性构成的富媒体内容;和
内容发送器,其发送经编码的富媒体内容。
10.如权利要求9所述的发射机,其中,所述操作级别包括乘法属性、除法属性、加法属性和减法属性中的至少一个。
11.如权利要求9所述的发射机,其中,所述操作级别包括:富媒体内容的复杂度,所述复杂度是绘制富媒体内容所需的操作量与最大数据处理能力的比。
12.如权利要求10或11所述的发射机,其中,所述操作级别包括:绘制所述富媒体内容所需的存储器量,所述存储器量包括图形点属性、字体数据大小属性、文本数据大小属性、图像处理存储器属性和视频处理存储器属性中的至少一个。
13.一种用于绘制由场景组成元素和所述场景组成元素的属性构成的富媒体内容的接收机,包括:
解码器,其解码富媒体内容,该富媒体内容具有绘制该富媒体内容所需的操作级别;
场景树管理器,其分析所述富媒体内容的场景信息,并根据分析结果构成所述富媒体内容,包括:
场景组成元素分析器,其分析所接收的富媒体内容的场景组成元素;
属性分析器,其分析所述场景组成元素的属性;和
操作量提取器,其从经过分析的场景组成元素和属性提取绘制所述
富媒体内容所需的操作量;以及
绘制器,其绘制并输出所构成的富媒体内容。
14.如权利要求13所述的接收机,其中,所述操作级别包括乘法属性、除法属性、加法属性和减法属性中的至少一个。
15.如权利要求13所述的接收机,其中,所述操作级别包括:富媒体内容的复杂度,所述复杂度是绘制富媒体内容所需的操作量与最大数据处理能力的比。
CN2009801382496A 2008-09-29 2009-09-29 用于提供富媒体业务的方法和装置 Pending CN102165722A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20080095230 2008-09-29
KR10-2008-0095230 2008-09-29
KR20080099767 2008-10-10
KR10-2008-0099767 2008-10-10
KR1020090005590A KR20100036156A (ko) 2008-09-29 2009-01-22 리치미디어 서비스를 제공하는 방법 및 장치
KR10-2009-0005590 2009-01-22
PCT/KR2009/005574 WO2010036085A2 (en) 2008-09-29 2009-09-29 Method and apparatus for providing rich media service

Publications (1)

Publication Number Publication Date
CN102165722A true CN102165722A (zh) 2011-08-24

Family

ID=42213860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801382496A Pending CN102165722A (zh) 2008-09-29 2009-09-29 用于提供富媒体业务的方法和装置

Country Status (8)

Country Link
US (1) US20100083336A1 (zh)
EP (1) EP2329610A4 (zh)
JP (1) JP5489183B2 (zh)
KR (2) KR20100036156A (zh)
CN (1) CN102165722A (zh)
CA (1) CA2736377A1 (zh)
RU (1) RU2522108C2 (zh)
WO (1) WO2010036085A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104247438A (zh) * 2012-04-24 2014-12-24 夏普株式会社 发布装置、再现装置、数据结构、发布方法、控制程序以及记录介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120113057A (ko) * 2011-04-04 2012-10-12 한국전자통신연구원 단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법
EP2965529A2 (en) * 2013-03-06 2016-01-13 Interdigital Patent Holdings, Inc. Power aware adaptation for video streaming
WO2016170798A1 (en) 2015-04-22 2016-10-27 Sharp Kabushiki Kaisha Systems and methods for content information communication
CN108681925B (zh) * 2018-05-21 2024-06-11 中国联合网络通信有限公司重庆市分公司 一种基于移动互联网的场景还原方法
CN113613066B (zh) * 2021-08-03 2023-03-28 天翼爱音乐文化科技有限公司 一种实时视频特效的渲染方法、系统、装置及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075301A1 (en) * 1997-07-15 2002-06-20 Andrea Basso Interaction modalities for multimedia delivery and presentation using nodes
US7310811B1 (en) * 1997-07-15 2007-12-18 At&T Corp. Interaction modalities for multimedia delivery and presentation
KR100713435B1 (ko) * 2002-05-03 2007-05-07 삼성전자주식회사 이동통신시스템에서 다중 데이터 전송률 서비스 제공 장치 및 방법
AR039964A1 (es) * 2002-06-04 2005-03-09 Qualcomm Inc Metodo y sistema para emitir un contenido de multimedia en un dispositivo portatil y un medio legible por computadora
US7808900B2 (en) * 2004-04-12 2010-10-05 Samsung Electronics Co., Ltd. Method, apparatus, and medium for providing multimedia service considering terminal capability
RU2377736C2 (ru) * 2005-04-13 2009-12-27 Нокиа Корпорейшн Кодирование, хранение и передача информации о масштабируемости
EP1932315A4 (en) * 2005-09-01 2012-05-09 Nokia Corp METHOD FOR INTEGRATING SVG CONTENT INTO ISO MULTIMEDIA FILE FORMAT FOR PROGRESSIVE DOWNLOAD AND CONTINUOUS TRANSMISSION OF RICH MULTIMEDIA CONTENT
FR2892883B1 (fr) * 2005-11-02 2008-01-25 Streamezzo Sa Procede d'optimisation de rendu d'une scene multimedia, programme, signal, support de donnees, terminal et procede de reception correspondants.
KR100984694B1 (ko) * 2005-11-08 2010-10-01 노키아 코포레이션 리치 미디어 애플리케이션들에서 원격 상호작용을 위한 피드백 및 정방향 전송을 제공하기 위한 시스템 및 방법
FR2899364B1 (fr) * 2006-03-28 2008-12-26 Streamezzo Sa Procede de calcul des parametres d'animation des objets d'une scene mulitmedia.
KR100948608B1 (ko) * 2007-03-02 2010-03-24 미디어코러스 주식회사 개인 미디어 포탈 서비스 방법
US20100037258A1 (en) * 2008-08-07 2010-02-11 Research In Motion Limited Mobile broadcasting system and method for enhancing mobile broadcasting services with rich media including an enhanced service guide

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104247438A (zh) * 2012-04-24 2014-12-24 夏普株式会社 发布装置、再现装置、数据结构、发布方法、控制程序以及记录介质
CN104247438B (zh) * 2012-04-24 2018-05-25 夏普株式会社 发布装置及发布方法

Also Published As

Publication number Publication date
KR20100036156A (ko) 2010-04-07
WO2010036085A2 (en) 2010-04-01
RU2011111705A (ru) 2012-11-10
EP2329610A4 (en) 2012-08-08
US20100083336A1 (en) 2010-04-01
EP2329610A2 (en) 2011-06-08
RU2522108C2 (ru) 2014-07-10
JP2012504362A (ja) 2012-02-16
JP5489183B2 (ja) 2014-05-14
WO2010036085A3 (en) 2010-06-17
KR20110074853A (ko) 2011-07-04
CA2736377A1 (en) 2010-04-01

Similar Documents

Publication Publication Date Title
CN104540000B (zh) 一种动态缩略图的生成方法及终端
CN108495192B (zh) 页面编辑处理方法及装置
CN112653700B (zh) 一种基于webrtc网页视频通信的方法
CN105052107B (zh) 使用质量信息进行媒体内容自适应传输
CN102165722A (zh) 用于提供富媒体业务的方法和装置
CN101690203B (zh) 使用LASeR内容合成场景的方法和设备
CN107229749B (zh) 一种微信h5网页制作方法及系统
EP3177024B1 (en) Apparatus for cloud streaming service
CN105430534A (zh) 一种智能设备上报数据的方法和系统
CN110996160B (zh) 视频处理方法、装置、电子设备及计算机可读取存储介质
KR101568947B1 (ko) 폰트 파일을 다운로드하는 방법 및 시스템
CN101400167A (zh) 移动终端的动态菜单实现方法、装置及系统
CN112801719A (zh) 用户行为预测方法、用户行为预测装置、存储介质及设备
CN103517135A (zh) 一种连续播放mp4格式视频文件的方法、系统及电视
CN113312032A (zh) 前端项目资源更新方法、装置、电子设备及存储介质
CN113742518A (zh) 存储和提供视频的方法、设备和计算机程序产品
CN114501025A (zh) 一种视频转码方法、装置、设备及介质
CN115904167A (zh) 网页图标的处理方法、装置、存储介质及电子设备
CN113162628B (zh) 一种数据编码方法、数据解码方法、终端和存储介质
CN111368557B (zh) 视频内容的翻译方法、装置、设备及计算机可读介质
Joveski et al. Semantic multimedia remote display for mobile thin clients
CN111967001A (zh) 一种基于双容器的解码与编码安全隔离方法
CN117560417B (zh) 针对消息发送的队列控制方法、装置、电子设备与介质
CN117998165A (zh) 一种录像导出方法、装置、设备及存储介质
WO2001077894A1 (en) Paged web protocol

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110824