CN103875252A - 内容显示方法、内容同步方法、广播内容显示方法及显示装置 - Google Patents

内容显示方法、内容同步方法、广播内容显示方法及显示装置 Download PDF

Info

Publication number
CN103875252A
CN103875252A CN201280050457.2A CN201280050457A CN103875252A CN 103875252 A CN103875252 A CN 103875252A CN 201280050457 A CN201280050457 A CN 201280050457A CN 103875252 A CN103875252 A CN 103875252A
Authority
CN
China
Prior art keywords
content
configuration information
scene configuration
initial
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280050457.2A
Other languages
English (en)
Inventor
张庸硕
金奎宪
金炳澈
朴政昱
朴洪奭
金喜琎
朴勍模
朴光勋
徐德荣
柳诚烈
李大锺
李栽准
黄承吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2012/008343 external-priority patent/WO2013055164A1/ko
Publication of CN103875252A publication Critical patent/CN103875252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种内容显示方法。根据本发明的各种实施例的内容显示方法包括如下步骤:从外部装置接收以标记语言编写的关于内容的初始场景配置信息;对所述初始场景配置信息进行分析来进行结构化;根据所述结构化的初始场景配置信息来渲染所述内容;从所述外部装置接收关于所述内容的附加场景配置信息;基于所述接收到的附加场景配置信息更新所述结构化的初始场景配置信息;根据所述更新的初始场景配置信息来渲染所述内容。

Description

内容显示方法、内容同步方法、广播内容显示方法及显示装置
技术领域
本发明涉及一种内容的显示方法,更详细地讲,涉及一种通过实时更新场景配置信息来显示内容的内容显示方法、对从各种源接收的内容进行同步的内容同步方法、广播内容显示方法及可根据上述方法来显示内容的显示装置。
背景技术
图1是示出广播通信融合时代的广播通信网络的示图。
最近,随着基于数字化的广播通信融合时代的到来,通过IPTV、智能TV等广播通信融合媒体来扩大了图像、音乐、其他娱乐内容的消费环境。如图1所示,广播站的广播信号可通过卫星信号传送至家庭,还可以通过天空电波广播信号或者通过网络来传送。在利用消费媒体来单方向接收对于内容的服务的环境中,因终端和通信技术的发展而进化为能够同时消费多种信息的环境,并且为使只获得消费者所希望的信息的内容消费的普及化在主导潮流。
场景配置信息表示在消费视频音频以及多种内容时,关于各个要素在画面所占据的区域的空间信息和关于应在哪个时间点消费的时间信息,以及为了说明多个要素之间的关联关系而以标记语言的形式表示的信息。
为了表现各种多媒体的时空信息,场景配置信息主要使用可扩展标记语言(XML)。具有场景配置信息的XML不仅包括时空信息,而且包括关于构成多媒体的要素的逻辑结构和相关关系的信息,在终端通过分析XML文件来生成定义了包括在场景配置信息中的要素的客体和属性并定义了用于访问它们的接口的文档对象模型(DOM)。
由于以上的XML和DOM等技术是用于构成网页的标准,因此在变更网页的部分要素时,生成新的XML文件,且每次重组DOM。但是由于包括在网页中的要素大部分为文本和图像,因此即使再次重组所有要素,也不会对终端产生大的负担。
但是由于与网页不同,场景配置信息包括视频、音频、App等多种多媒体要素,因此在变更部分要素时,对其他要素也进行全部重组,给终端带来了大的负担。
在使用现有的场景配置技术时,在变更初始组成的场景的情况下,服务提供者需要重新创建由新的场景配置信息组成的文件并提供该文件,而接收服务的终端则在删除初始构成的场景之后,需要再次构成新的场景。在仅变更组成场景的多个要素中的部分要素的情况下,新生成和分析无需变更的要素的做法会造成非效率性地使用有限的终端资源的结果。
因此,在仅变更组成初始构成的场景的多个要素中的部分要素的情况下,需要一种只更新变更的部分以有效地构成场景的方案。
此外,广播通信融合的混合技术正发展为:使普通观众利用现有的广播网实时收看广播的同时,通过通信网进行对附加图像及应用等的双向通信从而提供IP VOD、广告、3D图像服务、多视图等多种服务的技术。
双重多视图服务是使观众通过广播通信融合服务能够在一个画面收看通过现有的广播网提供的实时内容和通过因特网提供的内容,从而给用户同时提供多个时间点和多种信息的服务。为了提供这种多视图服务,需要共同的时间信息,以使通过相互不同的传送方式传送的媒体被同步并被同时消费。但是由于通过异构网传送的多媒体的规范化的时间信息在形态及目的上不同,因此存在无法提供同步的问题。
通过现有的广播网接收到的MPEG-2TS(传输流)通过使用广播站系统内部的时钟(Clock)将时间信息按各个帧插入解码时间戳(DTS)/显示时间戳(PTS)并将其用作时间信息。而且,在终端接收到广播站的时钟值以实现视频和音频之间的同步化。并且在通过通信网接收到的媒体中,使用DASH(基于HTTP的动态自适应流)技术表示将时间信息按各个帧插入指数值的时间信息。因此,这两种媒体之间的时间信息形态相互不同,从而无法以个别技术来提供相互同步化。
因此,需要一种在包含所述多视图内容以可传送各种相互关联的内容的混合服务环境中通过异构网传送的媒体之间的同步方案。
此外,混合广播不仅提供现有的用户基于时间消费基于推送(Push)的流服务的传统方法,还提供基于用户事件的服务,其中,所述基于用户事件的服务中,新的内容根据用户的请求而被提供、消费、中断。
因此,接收混合广播的终端不是单纯地根据时间的推移将视频/音频内容呈现给用户,而是根据用户的请求来确定内容消费的日程,并基于此接收与各个场景对应的内容并进行消费。
即,在将多种内容通过融合了广播通信的异构网络来传送的情况下,广播网随着时间的推移来传送内容,通信网根据用户的请求而传送内容,从而可以提出从服务供应者到终端的消费者的多种服务方案。
MMT Package的组成信息(CI:Composition Information)的作用与先前的MPEG-4Systems的BIFS和LASeR的作用类似,即,对包括在场景配置信息中的各个要素的时空信息和要素之间的相关关系进行描述。现有的场景配置信息(例,LASeR、BIFS)以基于广播环境的被称为场景时间(Scene Time)的时间线为基准来表示要素的时间信息。但是,由于存在现有的时间线,所以难以进行为了满足根据包括MMT的使用实例(Use Case)的用户的要求的服务情况的根据用户请求的事件处理。
此外,由于在现有场景配置信息中,由内容制作者预先确定针对所有事件的服务日程的发送时间并提供服务,因此在服务过程中添加新的内容的情况下,很难将针对新添加的内容的时间线与之前提供服务的时间线关联起来。因此,在多个媒体根据用户的请求被分别消费的情况下,将针对各个媒体的用户的请求构成为一个时间线的方面存在局限性。
因此,需要如下的方案:与广播站的时间轴无关地,在发生各种内容显示事件的情况下,根据需要适当地配置多个内容来显示。
发明内容
技术问题
本发明是为了解决如上所述的问题而提出的,其目的在于,在变更场景配置信息中的一部分要素时,在不重新构成其他要素的情况下只重构应变更的要素的技术。即,本发明的目的在于,在使用场景配置信息的多媒体服务环境中,仅传送关于基于初始配置的场景的将被变更的要素的信息,利用将要变更的场景配置要素来更新现已配置的场景。
此外,本发明是为了解决如上所述的问题而提出的,本发明的目的是,提供一种用于将为了包括多视图的多个视频、音频服务而以彼此不同的物理传送方式传送的内容同时在一个画面上再现的同步方案。
即,本发明提供了如下方法的技术:通过将可计算通过通信网传送的内容的时间信息的参考信息包括在广播网的MPEG-2TS或者通信网的媒体来传送。具体地讲,本发明提出关于如下方法的技术:将特定数据添加到通过广播网传送的MPEG-2TS包的节目映射表(PMT)信息或者添加到通过通信网传送的媒体的元数据,从而提供能够实现通过广播网和通信网传送的媒体之间的同步的时间信息。
此外,本发明是为了解决如上所述的问题而提出的,本发明的目的是,提供一种对于与广播台的时间线无关地发生多种内容显示事件的情况,根据需要而适当地配置多个内容来显示的技术。
技术方案
用于实现如上所述的目的的根据本发明的一实施例的内容显示方法中,所述内容显示方法包括如下步骤:从外部装置接收以标记语言编写的关于内容的初始场景配置信息;对所述初始场景配置信息进行分析来进行结构化;根据所述结构化的初始场景配置信息来渲染所述内容;从所述外部装置接收关于所述内容的附加场景配置信息;基于所述接收到的附加场景配置信息更新所述结构化的初始场景配置信息;根据所述更新的初始场景配置信息来渲染所述内容。
此外,所述更新的步骤中,可将与所述接收到的场景配置信息对应的附加配置添加到所述结构化的初始场景配置信息,或者用与所述接收到的附加场景配置信息对应的大体配置替代所述结构化的初始场景配置信息中的一部分配置,或者根据所述接收到的附加场景配置信息来删除所述结构化的初始场景配置信息中的一部分配置。
此外,所述标记语言可以是可扩展标记语言(XML),所述结构化步骤可通过解析(parsing)所述初始场景配置信息来构成文档对象模型树(DOMtree)。
此外,所述更新的步骤可将与所述接收到的附加场景配置信息对应的树节点(Node)添加到所述构成的DOM树,或者用与所述接收到的附加场景配置信息对应的大体树节点(Node)替代所述构成的树节点中的一部分节点,或者根据所述接收到的附加场景配置信息来删除所述构成的树节点中的一部分节点。
此外,所述更新步骤可在每当接收所述附加场景信息时被实时执行。
用于实现上述目的的根据本发明的一实施例的内容同步方法,所述内容同步方法包括如下步骤:通过广播网接收传输流;对所述接收到的传输流进行分析;如果所述分析结果,包括在所述传输流中的第一内容被判断为多视图,则通过通信网接收与所述第一内容对应的第二内容;同时输出包括在所述传输流中的第一内容和所述接收到的第二内容。
此外,所述分析传输流的步骤可通过对包括在节目映射表(PMT)中的信息进行分析来判断所述多视图内容是否被提供。
此外,所述接收所述第二内容的步骤可包括:接收媒体演示描述(MPD)及初始化段(Initialization Segment)的步骤;接收与演示时间戳(PTS)值和所述多视图内容的演示时间戳(PTS)一致的所述第一内容的帧数对应的所述第二内容的段的步骤。
此外,所述接收所述第二内容的步骤可包括如下步骤:接收媒体呈现描述(MPD)及初始化段(Initialization Segment);基于所述第一内容的当前帧的PTS值和PTS开始值之差来计算所述第一内容的当前帧号,并接收与所述第一内容的当前帧号对应的所述第二内容的段。
此外,所述接收所述第二内容的步骤可包括如下步骤:接收MPD及初始化段;基于所述第一内容的SMPTE时间代码值和SMPTE时间代码开始值之差来计算所述第一内容的时间信息,并接收与所述第一内容的时间信息对应的所述第二内容的段。
此外,所述接收所述第二内容的步骤,考虑到通信网的延迟,可接收与在所述第一内容的当前帧的预定数量的帧之后的帧对应的第二内容。
用于实现如上所述的目的的根据本发明的一实施例的内容显示方法,所述内容显示方法包括如下步骤:第一服务器传送以标记语言编写的第一内容的场景配置信息;基于所述传送的第一内容的场景配置信息传送第一内容来进行渲染;如果发生第二内容收听事件,则第二服务器传送第二内容来进行渲染。
此外,如果发生所述第二内容收听事件,则中断所述第一内容的渲染,如果发生所述第二内容的渲染结束的事件,则接着从所述第一内容渲染呈现中断的位置开始渲染所述第一内容。
此外,如果发生所述第二内容收听事件,则所述第二服务器可将所述第二内容与所述第一内容进行同步来进行传送和渲染。
用于实现如上所述的目的的根据本发明的一实施例的内容显示装置,所述内容显示装置包括:接收单元,从外部装置接收以标记语言编写的关于内容的初始场景配置信息;输出单元,输出所述接收到的内容;控制单元,对所述初始场景配置信息进行分析来进行结构化,并根据所述结构化的初始场景配置信息渲染所述内容来进行输出,如果从所述外部装置接收到关于所述内容的附件场景配置信息,则所述控制单元基于所述接收到的附加场景配置信息更新所述结构化的初始场景配置信息,并根据所述更新的初始场景配置信息渲染所述内容来进行输出。
此外,所述更新的过程可将与所述接收到的附加场景配置信息对应的附加配置添加到所述结构化的初始场景配置信息,或者,用与所述接收到的附加场景配置信息对应的大体配置替代所述结构化的初始场景配置信息中的一部分配置,或者根据所述接收到的附加场景配置信息来删除所述结构化的初始场景配置信息中的一部分配置。
此外,所述标记语言可以是可扩展标记语言(XML),所述结构化过程可通过解析(parsing)所述初始场景配置信息来构成文档对象模型树(DOMtree)。
此外,所述更新的过程可将与所述接收到的附加场景配置信息对应的树节点(Node)附加到所述构成的DOM树,或者用与所述接收到的附加场景配置信息对应的大体树节点(Node)替代所述构成的树节点中的一部分节点,或者根据所述接收到的附加场景配置信息来删除所述构成的树节点中的一部分节点。
根据用于实现如上所述的目的的本发明的一实施例的记录媒体可记录执行所述方法中的任意一个的程序。
发明效果
根据本发明的各种实施例,提供了关于如下方法的技术:在初始配置的场景中需要变更一部分要素的情况下,不会重新生成关于所有要素的场景配置信息,而是只传送关于将被变更的要素的配置信息,从而对于当前正被消费的多媒体服务只实时更新将被变更的要素。
在变更场景配置信息中的一部分要素时,不会重新构成其他要素,而只是重新构成将被变更的要素的技术可应用于各种多媒体服务。
可以期待在本发明开发的只重新构成场景配置信息的一部分要素的技术会提供对于使用场景配置技术的技术标准以及通过网页的多媒体服务技术的日后方向。
本发明提供了关于如下方法的技术:为了提供通过异构网传送的媒体可共同使用的同步时间信息,将新的信息添加到通过广播网提供的MPEG2-TS上的PMT段,或者通过利用通过广播网和通信网提供的SMPT时间代码的方法来同时再现时间信息形式不同的媒体内容。
根据本发明的通过异构网传送的媒体间的同步方案可作为使利用广播网和通信网的混合服务激活的基础技术来利用。
此外,本发明开发的同步方案虽然以通过MPEG-2TS和通信网传送的DASH为基础,但是可期待其可示除两种技术标准之外多种混合传送技术开发的方向。
因此,根据本发明的多种实施例,本发明提供了如下的技术:根据与广播站的时间线无关地,在发生各种内容显示事件的情况下,提供根据需要适当地配置多个内容来进行显示。
附图说明
图1是示出广播通信融合时代的广播通信网络的示图;
图2是示出根据本发明的一实施例的内容显示方法的流程图;
图3是更详细地说明图2的内容显示方法的流程图;
图4是示出使用现有的场景配置信息来创建XML文件的示例的示图;
图5是示出将其他要素添加到现有的场景配置信息来创建XML文件的示例的示图;
图6是将需要添加到现有场景配置信息的要素单独生成为XML文件的示例的示图;
图7是用于说明图4的生成初始场景配置信息并传送到终端,并对其进行分析来生成DOM的步骤的示图;
图8是用于说明生成添加有图像的XML文件并传送到终端,并对其进行分析来新生成DOM的步骤的示图;
图9是示出另外生成只需要变更的要素并进行传送,不删除之前生成的DOM,只升级需要添加的要素的方法的示图;
图10是示出用于目前地面电波数字广播的MPEG-2TS系统的数据间同步化构造的示图;
图11是示出通过TS解复用器区分数据种类的过程的示图;
图12是示出关于作为通过通信网传送附加图像的示例的DASH技术的过程的示图;
图13是示出根据本发明的一实施例的内容同步方法的流程图;
图14是示出根据本发明的另一实施例的内容同步方法的流程图;
图15是示出根据本发明的在PMT中添加提供Frame_num的Multiview_Descriptor来进行多视图媒体内容之间的同步的方案的示图;
图16是示出根据本发明的在PMT中添加提供Init_PTS的Multiview_Descriptor来进行多视图媒体内容之间的同步的方案的示图;
图17是示出根据本发明的利用广播网和通信网的媒体内的SMPTE时间代码(SMPTE Timecode)来进行同步的方案的示图;
图18是示出考虑到本发明适用的网络延迟来请求未来的场景的多视图媒体内容之间的同步方案的示图;
图19是示出在图15的PMT中添加了提供Frame_num的Multiview_Descriptor的程序代码的示图;
图20是示出在图16的PMT中添加了提供Init_PTS的Multiview_Descriptor的程序代码的示图;
图21是按时间顺序示出根据本发明的各种实施例终端对从服务器和广播站接收到内容执行同步的过程的示图;
图22是示出作为基于事件的广播内容显示方法的一实施例的点播(Ondemand)方式的快报方案的示图;
图23是示出作为另一实施例的推送(Push)方式的快报方案的示图;
图24是示出快报方案的时间线的示图;
图25是示出作为基于事件的广播内容显示方法的一实施例的点播(Ondemand)方式的转播方案的示图;
图26是示出作为另一实施例的推送(Push)方式的转播方案的示图;
图27是示出转播方案的时间线的示图;
图28是示出作为基于事件的广播内容显示方法的一实施例的点播(Ondemand)方式的多视图方案的示图;
图29是示出作为另一实施例的推送(Push)方式的多视图方案的示图;
图30是示出多视图方案的时间线的示图;
图31是示出多视图方案的一实施例的个别媒体时间的示图;
图32和图33是示出根据本发明的一实施例的广播内容显示方法的流程图;
图34是示出表示在发生快报方案的事件时接收到的附加场景配置信息的示例的示图;
图35是示出表示包括关于转播方案的事件处理的信息的场景配置信息的示例的示图;
图36是示出表示包括关于多视图方案的事件处理的信息的场景配置信息的示例的示图;
图37是示出根据本发明的各种实施例的显示装置的构成的框图。
具体实施方式
以下参照附图对本发明各种实施例进行详细的说明。对本发明进行说明时,在对相关的公知功能或者结构的详细说明被确定为不必要地使本发明的主旨不清楚的情况下,省略其详细说明。并且,后述的术语是考虑其在本发明的功能而定义的术语,其可根据用户、运用者的意图或者习惯等而不同。因此,其定义应以贯穿本说明书的内容为基础来做出。
通过场景配置信息更新的内容显示
在对本发明的具体实施例进行说明之前,对用于实现本发明的几个前提条件进行说明。
本发明所描述的场景配置信息表示用于说明多媒体内容的时空位置信息和要素之间的关联关系的信息,并且以XML语音来描述。
本发明所描述的场景配置信息被划分为在初始创建以提供当前服务的初始场景配置信息和关于初始场景配置信息中的应被变更的部分要素的附加场景配置信息。
本发明所描述的终端应能够分析XML文件,并能够构成DOM。本发明所描述的终端应能够分析包括附加场景配置信息的XML文件,并能够实时更新通过初始场景配置信息生成的DOM。
以下将描述如下的方法,即,在初始场景中的一部分需要被变更的情况下,仅将要变更的部分作为附加场景配置信息来单独生成的方法和将生成的附加场景配置信息传送到终端的方法,通过分析传送的附加场景配置信息来更新由初始场景配置信息组成的终端的场景配置的方法。
此外,虽然在本发明中,描述通过使用XML和DOM技术的场景配置信息的服务,但是技术领域不应局限于通过场景配置信息的服务,而是可适用于通过将各种多媒体复合构成来提供服务的所有领域。
以下,将参照附图对本发明的优选实施例进行详细描述。此时,应注意的是:在附图中,尽可能以相同的符号来表示相同的构成要素。此外,省略对可使本发明的主旨不清楚的公知功能及构成的详细。
图2是示出根据本发明的一实施例的内容显示方法的流程图。
参照图2,根据本发明的一实施例的内容显示方法首先从外部装置接收通过标记语言编写的关于内容的初始场景配置信息(S210)。这里,标记语言可以是可扩展标记语言(XML)。
并且,通过分析所述初始场景配置信息来进行结构化(S220)。可通过对所述初始场景配置信息进行解析(parsing)来构成DOM树(DOM tree),来执行所述结构化步骤。
并且,根据所述结构化的初始场景配置信息来渲染(rendering)所述内容(S230)。在初始场景配置信息中存在变化的情况下,从所述外部装置接收与此相关的附加场景配置信息(S240)。例如,初始场景配置信息与多媒体服务提供者用视频音频构成的场景配置相关,在需要另外插入图像要素的情况下,接收包括这些内容的附加场景配置信息。
基于所述接收到的附加场景配置信息更新初始场景配置信息(S250)。此时,所述更新的步骤可以是,将与所述接收到的附加场景配置信息对应的附加构成添加到所述结构化的初始场景配置信息,或者用与所述接收到的附加场景配置信息对应的大体配置替代所述结构化的初始场景配置信息中的一部分配置,或者根据所述接收到的附加场景配置信息来删除所述结构化的初始场景配置信息中的一部分配置。
作为一实施例,将与所述接收到的附加场景配置信息对应的树节点(Node)添加到所述构成的DOM树,或者用于与所述接收到的附加场景配置信息对应的大体树节点(Node)替代所述构成的DOM树节点中的一部分节点,或者根据所述接收到的附加场景配置信息来删除所述构成的DOM树节点中的一部分节点。
此外,在每当接收到所述附加场景配置信息时实时执行所述更新的步骤。
最后,根据所述更新的初始场景配置信息来渲染所述内容(S260)。
图3是用于更详细地说明图2的内容显示方法的流程图。
在图3中,比较了在请求场景变更时传送再构成的初始场景配置信息的情况和传送附加场景配置信息的情况。初始场景配置信息(S310)遵循如下步骤:由服务提供者通过生成XML文件(S315)来将其传送至终端,终端通过分析整个XML文件来生成DOM(S320),并在根据DOM结构来对各个要素执行解码之后进行渲染并被消费(S330)。
此后,在需要变更场景配置信息时,在现有方式的情况下,会重新生成新的初始场景配置信息,并按如最初的步骤进行消费(S340-现有方式的情况)。即,通过变更场景配置信息来生成新的XML文件并将其传送至终端,终端在通过分析整个整体XML文件来删除现已生成的DOM之后新生成DOM,根据DOM的结构来重新对各个要素执行解码。此外,还会通过全部重新构成在实际显示中消费的画面来进行消费。
但是在如图3所示的本发明要进行的方式的情况(S340-提出的方式的情况)下,仅将关于需要变更的要素的信息生成为XML文件(S345)。此时,在数据量方面,相比于新生成包括无需变更的要素的全部场景配置信息,对于一部分要素的数据量显然少很多。此外,可以得知,由于数据少,因此在生成XML文件时所使用的服务器的资源也少。当然,虽然由于XML文件由文本构成,因此数据差异不会产生太大影响,但是由于在流环境中将由文本构成的场景配置信息转换为二进制并对其进行传送,因此对于复杂的场景配置的情况会产生资源使用的差异。
在现有方式的情况下,会从头到尾重新分析XML文件(XML File)。但是在本发明所提出的情况下,由于只分析包括变更的要素的XML文件,因此需要分析的数据的量减少(S350,S365)。
生成DOM的步骤被划分为:删除DOM并新生成DOM的方法以及在维持现有的DOM的情况下更新新的要素的方法。迄今为止,由于DOM根据网页的特征主要由文本和图像等构成,因此即使改变网页的一部分要素时也会删除全部DOM并再生成DOM,也无大碍。但是用于多媒体的DOM应表示关于视频和音频的结构,而因变更与视频无关的其他要素而每次重新生成视频的配置信息,不仅无法提供用户所期望的服务,还会造成极其低效地使用终端资源的结果。因此,本发明所提出的方式在原样维持生成于DOM的视频配置信息的情况下只更新应变更的音频、图像等要素(S360),从而预期不间断地向用户提供服务的同时带来不浪费终端的资源的结果。
图4是示出使用现有的场景配置信息编写的XML文件的示例的示图。
图4的场景配置信息包括关于视频流和音频流的链接信息,终端分析该场景配置信息来生成DOM。
图5是示出将其他要素添加到现有场景配置信息来编写的XML文件的示例的示图。
图5的场景配置信息是服务提供者为了将图像要素附加插入到由视频音频构成的场景配置而新编写的场景配置信息。
图6是将需要添加到现有场景配置信息的要素单独地生成为XML文件的示例的示图。
图6的场景配置信息是服务提供者为了将图像要素插入到由视频音频构成的场景配置而编写的附加场景配置信息。
图6中的“InsertScene”是表示将下面的要素添加到图4的初始场景信息的命令,“Ref”表示在要素应添加到初始场景配置信息中的对象的位置。
附加场景配置信息被描述为与现有场景配置信息相同的形式的XML文件,并以与现有场景配置信息的传送方式相同的方法被传送。即,附加场景配置信息包括应变更的要素和关于应添加、删除或变更的命令的要素,服务提供者独立于初始场景配置信息而将其生成为单独的XML文件并将其传送至终端。
图7是用于说明图4的生成初始场景配置信息并传送到终端,并对其进行分析以生成DOM的步骤的示图。
终端在接收到场景配置信息(701)的情况下,通过对其进行分析来生成DOM树(702),并消费形成在DOM树的要素。
图8是用于说明生成添加有图像的XML文件并传送到终端,并通过对其进行分析来新生成DOM的步骤的示图。
如果终端在对图7的场景配置信息进行分析并构成DOM树以提供服务的情况下,接收到变更的场景配置信息(801),则需要对应添加的图像要素以及关于视频音频的全部场景配置要素重新进行分析并生成DOM树。即,DOM树(802)看起来像只是添加了图像要素,但是是删除现有的DOM树(702)并生成新的DOM树(802)。
如图8所示,为了添加一部分要素而新生成关于全部要素的场景配置信息以及每次新生成DOM,这存在在多种多媒体混合的环境中会极其低效地使用终端的资源的问题。
为了解决这些问题有必要只更新应添加的要素。
图9是示出另外生成只需要变更的要素并进行传送,不删除之前生成的DOM,只更新需要添加的要素的方法的示图。
如图9所示,如果终端在对场景配置信息(901)进行分析并构成DOM树(902)来提供服务的情况下,接收到附加场景配置信息(901'),则只分析应添加的图像要素,不对现有的构成的DOM树的其他要素产生影响,并且只更新传送到的要素。即,相比于图8,示出了如下方法,即,在应变更初始构成的场景中的一部分要素的情况下,不新生成对于所有要素的场景配置信息,而是只传送关于变更的要素的配置信息,从而对于目前正被消费的多媒体服务只实时更新变更的要素。
本实施例为了有助于理解只对添加一个要素的简单的情况进行了说明。但是只传送附加场景配置信息来更新的技术包括对于现有场景配置信息添加、删除、变更要素的功能,添加、删除、变更要素所具有的特性的功能以及添加、删除、变更各个特性具有的值的功能。
混合服务环境中的内容同步方法
图10是示出用于目前地面电波数字广播的MPEG-2TS system的数据之间同步构造的示图。
参照图10,MPEG-2TS的视频、音频、数据通过编码器生成基础流(Element Stream)。该基础流通过封包操作而制作被称为经封包的基础流(PES:Packetized elementary stream)的数据块(101)。该PES头插入有数据的种类、数据的长度和数据之间的同步信息,且所述同步信息参照系统时序时钟(STC:System Timing Clocking)来生成DTS、PTS值,从而得知各个数据之间的解码及渲染时间点。并且,参照生成的PES数据和STC而生成的节目时钟参考(PCR:Program Clock Reference)值通过TS复用器(TSMultiplexer)以TS包形式被传送给接收者。接收方通过TS解复用器(TSDeMultiplexer)分类音频、视频元数据。并且,提取TS头的适应字段(Adaptation field)内的PCR值来重现与广播站相同的STC时钟,并且当其与在解包(Depackaketizing)PES而获得的DTS和PTS值一致时开始解码(102)及渲染。虽然通过这种时间信息形式可以进行A/V数据之间的同步,但是难以得知相关场景的位置。
图11是示出通过TS DeMultiplexer区分数据种类的过程的示图。
首先,接收器从通过广播网传送的TS流中找出在MPEG中规定的包ID(PID:Packet ID)=0的节目关联表(PAT:Program Association Table)。TS解复用器通过对PAT进行分析来掌握将在相关信道传送的节目号码和PMT的PID。并且对将在之后接收的PMT进行分析来掌握相关信道的视频、音频、元数据的PID值,从而可对数据包所具有的数据种类进行分类。
图12是示出关于通过通信网传送附加图像的示例的DASH技术的过程的示图。
参照图12,DASH是使用HTTP协议来从服务器将请求的多媒体数据按符合网络情况及终端环境的合适的品质和尺寸的数据传送至客户的方法。首先,服务器向客户提供描述了关于媒体的元数据及位置信息的XML形式的媒体呈现描述(MPD)。客户方对其进行分析来请求和接收对元数据解码所必需的初始化信息的初始化段(Initialization Segment)。并请求根据时间和品质被分组和存储的媒体段(Media Segment),从而通过在网络状态良好的情况下接收高品质的媒体段,而在网络状态不好时接收低品质的媒体段,来实现流(Streaming)。
图13是示出根据本发明的一实施例的内容同步方法的流程图。
参照图13,根据本发明一实施例的内容同步方法包括传输流接收步骤(S1310)、传输流分析步骤(S1320)、在传输流中包括多视图内容的情况下(S1330-是)通过通信网接收与第一内容对应的第二内容的步骤(S1340)、同时输出第一内容和第二内容的步骤(S1350)。
在步骤S1310,通过广播网接收传输流(S1320)。传输流可根据MPEG-2规定在一个流同时传送视频、音频、数据等。传输流的头包括构成整体流的节目信息、节目的时间信息及用于控制整个系统的控制信息等。
然后,对所述接收到的传输流进行分析。所述分析传送流的步骤可通过对包括在节目映射表(PMT)中的信息进行分析来判断是否提供了所述多视图内容。
并且,如果所述分析的结果,包括在所述传输流中的第一内容被判断为多视图内容(S1330-是),则通过通信网接收与所述第一内容对应的第二内容(S1340)。后面将对判断第一内容是否为多视图内容的过程进行描述。
在执行所述步骤之后,同时输出包括在传输流中的第一内容和所述接收到的第二内容(S1350)。
图14是示出根据本发明的另一实施例的内容同步方法的流程图。
参照图14,根据本发明另一实施例的内容同步方法包括传输流接收步骤(S1410)、传输流分析步骤(S1420)、在传输流中包括多视图内容的情况下(S1430-是)通过通信网接收与第一内容对应的第二内容的步骤、同时输出第一内容和第二内容的步骤(S1460)。由于所述S1410、S1420、S1430、S1460分别与前述的S1310、S1320、S1330、S1350相同,因此省略说明。
此时,第二内容接收步骤可包括接收媒体呈现描述(MPD)及初始化段的步骤(S1440),以及接收与呈现时间戳(PTS)值和所述多视图内容的呈现时间戳(PTS)一致的所述第一内容的帧号对应的段的步骤(S1450)。
图15是示出通过在本发明的PMT中添加提供Frame_num的Multiview_Descriptor来进行多视图媒体内容之间的同步的方案的示图。
首先,对于通过通信网传送的TS,分析PAT(S1510)来认知PMT_PID,并分析PMT来确认在后述的图19中示出的Multiview_Descriptor(S1520)。在Multiview_Flag的值被描述为0的情况下(S1520-否),遵循一般的广播服务;在该值被描述为1时(S1520-是)时,告诉观众多视图从此时起是可能的时间点。终端根据在MPD_URL描述的服务器地址预先请求MPD来对其进行分析(S1525、S1530),并下载初始化段(Initialization Segment)来对其进行分析以准备解码(S1535)。并且,在以TS包接收到的PES的PTS值与multiview_PTS一致(S1565-是)的情况下,确认Frame_num,并请求和下载包括相关场景的媒体段之后,通过同时再现TS和DASH媒体来实现同步(S1570、S1575、S1555)。
与此不同,所述接收第二内容的步骤还可以包括接收媒体演示描述(MPD)及初始化段(Initialization Segment)的步骤(未示出),以及基于所述第一内容的当前帧的演示时间戳(PTS)值和PTS开始值之差计算所述第一内容的当前帧号,并接收与所述第一内容的当前帧号对应的所述第二内容的段的步骤(未示出)。
图16是示出在本发明的PMT添加提供Init_PTS的Multiview_Descriptor来进行多视图媒体内容之间的同步的方案的示图。
图16也确定添加到PMT的Multiview_Descriptor(S1620)。经过Multiview_Flag为0的情况(S1640~)和下载及分析MPD和初始化段的过程(S1625~)。并且,从观众请求多视图的时间点开始,通过Multiview_Descriptor中的Init_PTS来确认包括节目的起始点的场景的PTS,并从当前PTS减去Init_PTS之后除以PTS之差而得到的值加上1的值来计算相关场景位置(S1670),在请求和下载包括相同的场景的媒体段之后对其进行解码(S1650、S1655),并通过同时再现TS和DASH来实现同步。例如,在当前PTS为1800且Init_PTS为1000、PTS之间的间隔为100的情况下,请求包括第9帧的媒体段。
此外,所述接收第二内容的步骤还可以包括接收媒体呈现描述(MPD)及初始化段(Initialization Segment)的步骤(未示出),以及基于所述第一内容的SMPTE时间代码(SMPTE Timecode)值和SMPTE时间代码(SMPTETimecode)开始值之差来计算所述第一内容的当前帧号,并接收与所述第一内容的时间信息对应的所述第二内容的段的步骤(未示出)。
图17是示出本发明的利用广播网和通信网媒体内的SMPTE时间代码来进行同步的方案的示图。
原先的SMPTE时间代码(SMPTE12M)是为了在SMPTE中对于各个视频(Video)或者影片(film)按帧(Frame)单位添加标签(Labeling)而制定的标准,时间代码(Timecode)可插入到影片(film)、视频(Video)、音频(audio)等,并起用于编辑或者同步的参考的作用。在将内容层面上管理的所述SMPTE时间代码传送至编码器的情况下,可根据按内容的压缩方式在各个编码阶段记录到流上,其结果是,通过广播网提供的内容及通过通信网提供的内容可将帧单位的相同的SMPTE时间代码包括在传输流中。图17也确认添加到PMT的Multiview_Descriptor(S1720)。经过Multiview_Flag为0的情况(S1740~)和下载及分析MPD和初始化段的过程(S1725~S1735)。此时,传送的MPD或者初始化段(Initialization segment)可包括指示媒体开始SMPTE时间代码的Init_Timecode值,并且通过从观众请求多视图的时间点开始经由广播网提供的内容的时间代码(Timecode)来从当前的时间代码减去Init_Timecode之后除以PTS之差而得到的值加上1的值来计算相关场景位置,并请求和下载包括相同的场景的媒体段来(S1750)之后,同时再现通过广播网提供的TS和通过通信网提供的DASH来实现同步(S1755、S1770)。此时,为了广播网内容和通信网内容间正确同步,可使用在时间代码一致时同时再现的方式。
根据情况,在请求MPD的步骤(S1725)中将通过广播网提供的内容的时间代码与MPD请求消息一起传送到服务器端,并且在接收端将与相关时间代码对应的Frame_num与MPD文件一起下载或者进行分析(S1730)。接收器确认Frame_num来请求和下载包括相关场景的媒体段之后,通过同时再现TS和DASH媒体来实现同步。
此外,考虑到通信网的延迟,接收所述第二内容的段的步骤中可接收与所述第一内容的当前帧相比在预定数量的帧之后的帧对应的第二内容。
图18是示出考虑应用本发明的网络延迟来请求未来的场景的多视图媒体内容之间的同步的方案的示图。
图18也确认添加到PMT的Multiview_Descriptor(S1820)。经过Multiview_Flag为0的情况(S1845~)和下载及分析MPD和初始化段的过程(S1825~)。并且在观众请求多视图时执行当前帧位置计算(S1840)来计算相关场景的位置,并且考虑到通信网的延迟,在请求和下载包括相对于当前场景是未来场景的媒体段之后(S1855),在TS媒体场景和DASH媒体场景一致时对其其进行同时再现,从而实现同步(S1860、S1870)。
图19是示出添加有向图15的PMT提供Frame_num的Multiview_Descriptor的程序代码的示图。图20是示出添加有向图16的PMT提供Init_PTS的Multiview_Descriptor的程序代码的示图。
图21是按时间顺序示出根据本发明的各种实施例终端从服务器和广播台接收内容并执行同步的过程的示图。
基于事件的广播内容显示
以下针对基于事件的广播内容显示方法进行说明。
-快报方案
图22是示出通过作为基于事件的广播内容显示方法的一实施例的点播(On demand)方式的快报方案的示图。图23是示出作为另一实施例的推送(Push)方式的快报方案的示图,图24是示出快报方案的时间线的示图。
用户通过TV从服务器接收CI,终端在对接收的CI进行分析之后,接收包括CI的视频和音频服务来对其进行再现。在基于相关CI提供服务的过程中,需要传送紧急灾难内容的情况下,服务提供者期望传送灾难内容来替代目前正在传送的主视频。此时,服务器传送替代为灾难广播的新的CI或者只将在现有的传送的CI中需要变更的部分作为附加场景信息而传送。
终端对新传送的CI进行分析来中断主内容的消费,并消费灾难内容。在灾难内容的消费结束之后,从中断的时间点重新消费在终端之前被提供服务的主内容。
图22示出基于传送到终端的CI以点播(On demand)形式从服务器向终端提供内容,在如图23所示的基于推送(Push)的服务的情况下,终端无需向服务器单独请求而在CI信息传送之后在相关时间内传送内容。此外,可通过混合Push和On demand服务形式来提供CI及各个视频内容的传送。
图24是示出快报方案的时间线。没有使用另外的基准时间(Scene Time)而仅使用事件来提示内容消费的时间轴。在特定X1时间点请求从A内容至B内容的转换情况下,通过使用告知内容开始和结束的事件来转换内容,并且终端通过发生用于存储中断的时间点的事件来存储A内容的中断位置。之后,如果在特定X2时间点B内容结束,则通过使用告知内容结束和开始的事件将内容重新转换为A,并可通过利用使用中断时间点的事件来从A内容的中断的时间点开始接着消费。
-转播方案
图25是示出作为基于事件的广播内容显示方法的一实施例的点播(Ondemand)方式的转播方案场景的示图,图26是示出作为另一实施例的推送(Push)方式的转播方案的示图,图27是示出转播方案的时间线的示图。
参照图25,用户通过TV从服务器接收CI,终端在对接收的CI进行分析之后,接收包括CI的视频和音频服务来对其进行再现。
视频A是关于棒球转播第一回合的内容,在视频A被开始消费的3分钟之后,关于比赛现状的视频B会被一起再现。棒球转播的第一回合结束,结束视频A的服务,然后再现关于广告的视频C。
图25示出基于传送到终端的CI以点播(On demand)形式从服务器向终端提供内容,在如图26所示的基于推送(Push)的服务的情况下,终端没有向服务器单独请求,而是在传送CI信息后,在相关时间内传送内容。此外,通过混合推送和点播服务形式来提供CI及各个视频内容的传送。
图27是示出体育转播方案的时间线。没有使用另外的基准时间(SceneTime)而仅使用事件来提示内容消费的时间轴。在以A内容的媒体时间为基准经过3分钟的时间点开始B内容的再现。之后,如果在特定X1时间点A内容结束,则通过使用告知内容结束和开始的事件来开始C内容的消费。
-多视图方案
图28是示出作为基于事件的广播内容显示方法的一实施例的点播(Ondemand)方式的多视图方案的示图,图29是示出作为另一实施例的推送(Push)方式的多视图方案的示图,图30是示出多视图方案的时间线的示图。
用户通过TV从服务器接收CI,终端在对传送的CI进行分析之后,接收包括CI的正面视点的视频A和音频服务来对其进行再现。
用户在收视中间请求变更至右边的视点的视频。终端存储消费视频A的时间并中断消费。并且,接收与在消耗视频A的时间点对应的视频B。此外,如果用户请求其他视点,则通过如上所述的过程来中断视频B,并且从中断的时间点开始消费视频C。
图28示出基于传送到终端的CI以点播形式从服务器向终端提供内容,在如图29所示的基于推送的服务的情况下,终端没有向服务器单独请求,而是在传送CI信息之后,可在相关时间内传送内容。在多视图方案中两种服务的传送方式不同。即,在点播环境中只传送用户所请求的特定内容,但是在推送环境中传送全部的A、B、C内容,并且无需用户请求而选择和呈现传送的内容中的一个。因此,由于诸如多视图的服务在基于推送环境中需要使用很多带宽,因此难以作为实际服务来提供。
因此,虽然通过混合推送和点播服务形式来提供CI及各个视频内容,但是相关场景中的B和C内容的传送适合于点播环境。
图30示出多视图服务场景的时间线。没有使用另外的基准时间(SceneTime)而仅使用事件来提示内容消费的时间线。如果在特定X1时间点用户请求其他视点的内容,则发生存储A内容的中断时间点的事件,并将其传送到B内容,从而从X1时间点开始B内容的消费。同样,用户又请求其他视点的内容,则发生存储B内容的中断时间点的事件,并将其传送到C内容,从而从X2时间点开始C内容的消费。
-要求事项(Requirement)
为了提供所述的方案需要以下的功能。
A.CI包括用于传送在初始场景配置信息和服务中间添加或者变更的要素的附加场景配置信息。
B.Asset(内容)个别的AV同步化(本身时间戳)及时间线(100分钟的Asset(内容))按内容分别独立(当前正在以DTS及PTS等进行标准化)。
C.为了描述构成CI(基于包(PACKAGE))的内容的时间关联关系而定义如下的事件。
1)CI事件中应定义告知各个Asset消费的开始的事件(3种方案中都需要)。
2)CI事件中应定义告知各个Asset消费的结束的事件(快报和体育转播方案中需要)。
3)CI事件中应将各个Asset消费时间(中断点)存储在终端,并且为了其他Asset的消费应该能传送所述消费时间(快报和多视图方案中需要)。
4)事件通过用户的行为/内容间的依赖(dependency)行为及世界时间(world time)来实现(3种场景中都需要)。
D.CI已知道个别Asset(内容)间的播放顺序。
为了满足所述要求事项,可考虑如下的技术构成。图31示出多视图方案的一实施例的个别媒体时间的示图。
A.为了满足[要求事项A],应分别传送初始场景配置信息和服务中间的附加场景配置信息,并且如果由初始场景配置信息生成的DOM接收到附加场景配置信息,则会更新DOM的一部分(已在本说明书的前部分说明)。
B.为了满足所述[要求事项B],虽然不存在如场景时间(Scene Time)的针对一个Package的整体时间轴,但是作为替代方式,各个asset使用媒体时间(时间戳)来对AV进行同步,或者具有分别独立的时间轴。即,如图31所示,构成一个Package的几个视点的视频各自具有媒体时间,这可以独立再现,也可以通过与其他视点的视频联动来再现。
C.为了满足所述[要求事项C],CI描述包括MMT包的Asset的时间信息,这不以现有的场景配置描述的场景时间为基准而是基于事件来描述时间关联关系。此外,CI描述包括MMT包的Asset的时间信息,这将参照SMIL或者LASeR技术。
D.包的CI即使没有场景时间也可以通过个别Asset的媒体时间和Asset的关系来做出包的再现顺序及时序安排。
定义&类型(Definition&type)
下面的事件被用作记述在CI的要素和各个要素的属性值。
A.ev:start–表示独立的asset的消费开始。在消费相关ID的内容时发生。(requirement C.1)
-type:ID–指示开始的asset的ID。
B.ev:end–告知独立的asset的消费结束。在相关ID的内容结束时发生。(requirement C.2)
-type:ID–指示结束的asset的ID。
C.ev:pushtime–存储消费独立的asset的时间值。(requirement C.3)
-type:ID–指示关于将要存储的时间值的asset的ID。
D.ev:poptime–取得独立的asset的存储的时间值。(requirement C.3)
-type:ID–指示关于已存储的时间值的asset的ID。
内容显示方法
所述实施例可用如下方法来描述。
图32和图33是示出根据本发明的各种实施例的广播内容显示方法的流程图。
参照图32,首先第一服务器传送以标记语言编写的第一内容的场景配置信息(S3210)。并且,基于所述传送的第一内容的场景配置信息从所述第一服务器传送第一内容来渲染(S3220)。如果第一内容的场景配置信息变更,则可执行根据前述的实施例的场景配置信息更新。并且,如果发生第二内容视听事件(S3230-是),则第二服务器传送第二内容来渲染(S3230)。
参照图33,第一服务器传送以标记语言编写的第一内容的场景配置信息(S3310)。并且,基于所述传送的第一内容的场景配置信息从所述第一服务器传送第一内容来渲染(S3320)。并且,如果发生第二内容视听事件(S3330-是),则中断所述第一内容的渲染,并且第二服务器传送第二内容来渲染(S3340)。在这种情况下,如果发生使所述第二内容的渲染结束的事件(S3350-是),则接着从所述第一内容渲染中断的位置开始渲染所述第一内容(S3360)。
此外,如前述的实施例中说明,如果发生所述第二内容视听事件,即,从彼此不同的外部装置接收到彼此关联的多个内容的情况下,所述第二服务器可将所述第二内容与所述第一内容进行同步来传送并渲染。
用于说明示例的要素
图34是示出显示在发生快报方案时接收到的附加场景配置信息的示例的示图。图35是示出显示包括关于转播方案的事件处理的信息的场景配置信息的示例的示图。图36是示出显示包括关于多视图方案的事件处理的信息的场景配置信息的示例的示图。
Link:指示asset的ID。(MMT:E1-CI)
Begin:描述相关要素开始的时间信息。(SMIL)
End:描述相关要素结束的时间信息。(SMIL)
ev:listener:事件的发生条件(LASeR)
记录介质
前述的内容显示方法、内容同步方法、广播内容显示方法可通过可在计算机运行的包括可行的算法的程序来实现,所述程序可存储于非暂时性计算机可读介质(non-transitory computer readable medium)来提供。
非暂时性计算机可读介质不表示诸如寄存器、缓存、存储器等短暂存储数据的介质,而是表示半永久性存储数据且可由机器读取的介质。具体地讲,所述多种应用或者程序可存储于诸如CD、DVD、硬盘、蓝牙、USB、记忆卡、ROM等非暂时性计算机可读介质中来提供。
显示装置
以下将对根据前述的方法接收内容来显示的显示装置100进行说明。
图37及图38是示出根据本发明的各种实施例的显示装置的构成的框图。
参照图37,根据本发明的各种实施例的显示装置100包括接收单元110、输出单元130、控制单元120。
接收单元110是从外部装置接收以标记语言编写的关于内容的初始场景配置信息及所述内容的构成。接收单元110具有多钟通信手段,从而连接到外部装置来接收信息。所述标记语言可以是可扩展标记语言(XML)。
接收单元110可包括广播通信模块,或可根据控制单元120的控制通过广播通信天线(未示出)来接收从广播站发送的广播信号(例,TV广播信号、广播信号或数据广播信号)广播附加信号(例如,电子节目指南(EPS)或者电子服务指南(ESG))。显示装置100提取包括在接收到的广播信号中的内容数据来执行前述的信号处理。
输出单元130输出所述接收到的内容。输出单元包括包含扬声器的音频输出单元和显示单元。显示单元130根据控制单元120的控制来显示多媒体内容、图像、视频、文本等。
显示单元130可通过液晶显示屏幕(LCD Panel)、等离子体显示屏(PDP)、真空荧光显示器(Vacuum Fluorescent Display)、场发射显示器(Field EmissionDisplay)、电致发光显示器(Electro Luminescence Display)等多种显示技术来实现。
控制单元120控制显示装置100的整体操作。特别是,进行控制以分析和结构化对所述初始场景配置信息,根据所述结构化的初始场景配置信息渲染和输出所述内容。所述结构化过程可通过分析(parsing)所述初始场景配置信息来构成DOM树(DOM tree)。
此外,所述控制单元120进行控制以一旦所述接收单元110从外部装置接收关于所述内容的附加场景配置信息,则基于所述接收到的附加场景配置信息更新所述构造化的初始场景配置信息,并根据所述更新的初始场景配置信息渲染和输出所述内容。
此时,可如下执行所述更新的过程:将与所述接收到的附加场景配置信息对应的附加配置附加到所述结构化的初始场景信息,或者用与所述接收到的附加场景配置信息对应的大体配置替代所述结构化的初始场景配置信息中的一部分配置,或者根据所述接收到的附加场景配置信息来删除所述结构化的初始场景配置信息中的一部分配置。
具体地讲,可如下执行所述更新过程:将与所述接收到的附加场景配置信息对应的树节点(Node)添加所述构成的DOM树,或者用与所述接收到的附加场景配置信息对应的大体树节点(Node)替代所述构成的树节点中的一部分节点,或者根据所述接收到的附加场景配置信息来删除所述构成的树节点中的一部分节点。
此外,除了执行显示通过场景配置信息更新的内容的功能之外,显示装置还可执行如下功能:根据混合服务环境中的内容同步方法来显示同步的内容或者显示基于事件的广播内容。
尽管以上示出和说明了本发明的优选实施例,但本发明并不限于所述特定的实施例,在不脱离由所附权利要求限定的本发明的要点的情况下,本领域的技术人员当然可进行各种变形实施,这些变形实施不应从本发明的技术思想或者前景来个别地理解。

Claims (15)

1.一种内容显示方法,包括如下步骤:
从外部装置接收以标记语言编写的关于内容的初始场景配置信息;
分析所述初始场景配置信息来进行结构化;
根据所述结构化的初始场景配置信息来渲染所述内容;
从所述外部装置接收关于所述内容的附加场景配置信息;
基于所述接收到的附加场景配置信息,更新所述结构化的初始场景配置信息;
根据所述更新的初始场景配置信息来渲染所述内容。
2.根据权利要求1所述的内容显示方法,其特征在于,更新的步骤中,
将与所述接收到的附加场景配置信息对应的附加配置添加到所述结构化的初始场景配置信息,或者
用与所述接收到的附加场景配置信息对应的大体配置替代所述结构化的初始场景配置信息中的一部分配置,或者
根据所述接收到的附加场景配置信息来删除所述结构化的初始场景配置信息中的一部分配置。
3.根据权利要求1所述的内容显示方法,其特征在于,所述标记语言是可扩展标记语言,
结构化的步骤中,通过解析所述初始场景配置信息来构成文档对象模型树。
4.根据权利要求3所述的内容显示方法,其特征在于,更新的步骤中,
将与所述接收到的附加场景配置信息对应的树节点添加到所述构成的文档对象模型树,或者,
用与所述接收到的附加场景配置信息对应的大体树节点替代所述构成的树节点中的一部分节点,或者,
根据所述接收到的附加场景配置信息来删除所述构成的树节点中的一部分节点。
5.一种内容同步方法,包括如下步骤:
通过广播网接收传输流;
分析所述接收到的传输流;
如果所述分析结果,包括在所述传输流中的第一内容被判断为多视图,则通过通信网接收与所述第一内容对应的第二内容;
同时输出包括在所述传输流中的第一内容和所述接收到的第二内容。
6.根据权利要求5所述的内容同步方法,其特征在于,分析所述传输流的步骤中,
通过分析包括在节目映射表中的信息来判断是否提供所述多视图内容,所述节目映射表包括帧号、多视图内容呈现时间戳、呈现时间戳开始值和SMPTE时间代码开始值中的至少一个。
7.根据权利要求5所述的内容同步方法,其特征在于,接收所述第二内容的步骤包括如下步骤:
接收媒体呈现描述和初始化段;
接收与所述第一内容的呈现时间戳值和所述多视图内容的呈现时间戳一致的所述第一内容的帧号对应的所述第二内容的段。
8.根据权利要求5所述的内容同步方法,其特征在于,接收所述第二内容的步骤包括如下步骤:
接收媒体呈现描述和初始化段;
基于所述第一内容的当前帧的呈现时间戳值和呈现时间戳开始值之差来计算所述第一内容的当前帧号,并接收与所述第一内容的当前帧号对应的所述第二内容的段。
9.根据权利要求5所述的内容同步方法,其特征在于,接收所述第二内容的步骤包括如下步骤:
接收媒体呈现描述和初始化段;
基于所述第一内容的SMPTE时间代码值和SMPTE时间代码开始值之差来计算所述第一内容的时间信息,并接收与所述第一内容的时间信息对应的所述第二内容的段。
10.根据权利要求8所述的内容同步方法,其特征在于,接收所述第二内容的步骤中,考虑到通信网的延迟,接收与在所述第一内容的当前帧的预定数量的帧之后的帧对应的第二内容。
11.一种内容显示方法,包括如下步骤:
第一服务器传送以标记语言编写的第一内容的场景配置信息;
基于所述传送的第一内容的场景配置信息,传送第一内容以进行渲染;
如果发生第二内容视听事件,则第二服务器传送第二内容以进行渲染。
12.根据权利要求11所述的内容显示方法,其特征在于,如果发生所述第二内容收听事件,则中断所述第一内容的渲染,
如果发生所述第二内容的渲染结束的事件,则从所述第一内容的渲染中断的位置开始渲染所述第一内容。
13.根据权利要求11所述的内容显示方法,其特征在于,如果发生所述第二内容收听事件,则所述第二服务器对所述第二内容与所述第一内容进行同步以进行传送和渲染。
14.一种内容显示装置,包括:
接收单元,从外部装置接收以标记语言编写的关于内容的初始场景配置信息;
输出单元,输出所述接收到的内容;
控制单元,进行控制,以分析和结构化所述初始场景配置信息,并根据所述结构化的初始场景配置信息渲染所述内容以进行输出,
其中,如果从所述外部装置接收关于所述内容的附加场景配置信息,则所述控制单元基于所述接收到的附加场景配置信息更新所述结构化的初始场景配置信息,并根据所述更新的初始场景配置信息渲染所述内容以进行输出。
15.根据权利要求14所述的内容显示装置,其特征在于,所述更新的过程中,
将与所述接收到的附加场景配置信息对应的附加的配置添加到所述结构化的初始场景配置信息,或者,
用与所述接收到的附加场景配置信息对应的大体配置替代所述结构化的初始场景配置信息中的一部分配置,或者,
根据所述接收到的附加场景配置信息来删除所述结构化的初始场景配置信息中的一部分配置。
CN201280050457.2A 2011-10-13 2012-10-12 内容显示方法、内容同步方法、广播内容显示方法及显示装置 Pending CN103875252A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201161546618P 2011-10-13 2011-10-13
US61/546,618 2011-10-13
US201161552645P 2011-10-28 2011-10-28
US61/552,645 2011-10-28
US201161562699P 2011-11-22 2011-11-22
US61/562,699 2011-11-22
KR10-2012-0113753 2012-10-12
KR1020120113753A KR20130040156A (ko) 2011-10-13 2012-10-12 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
PCT/KR2012/008343 WO2013055164A1 (ko) 2011-10-13 2012-10-12 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치

Publications (1)

Publication Number Publication Date
CN103875252A true CN103875252A (zh) 2014-06-18

Family

ID=48440099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280050457.2A Pending CN103875252A (zh) 2011-10-13 2012-10-12 内容显示方法、内容同步方法、广播内容显示方法及显示装置

Country Status (3)

Country Link
EP (1) EP2768231A4 (zh)
KR (1) KR20130040156A (zh)
CN (1) CN103875252A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016107192A1 (zh) * 2014-12-31 2016-07-07 中兴通讯股份有限公司 自适应流媒体处理方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015083541A1 (ja) 2013-12-03 2015-06-11 ソニー株式会社 受信装置
JP6466951B2 (ja) 2014-01-13 2019-02-06 エルジー エレクトロニクス インコーポレイティド 一つ以上のネットワークを介して放送コンテンツを送受信する装置及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052850A (ko) * 2006-12-08 2008-06-12 주식회사 알티캐스트 클라이언트 기반의 화면 구성 시스템 및 그 방법
US20090081950A1 (en) * 2007-09-26 2009-03-26 Hitachi, Ltd Portable terminal, information processing apparatus, content display system and content display method
CN101627607A (zh) * 2007-02-26 2010-01-13 诺基亚公司 用于执行对富媒体内容和服务的动态更新的基于脚本的系统
US20110185275A1 (en) * 2008-09-26 2011-07-28 Electronics And Telecommunications Research Institute Device and method for updating structured information
CN102172041A (zh) * 2008-10-06 2011-08-31 夏普株式会社 数字广播接收装置及数字广播接收方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318188A (ja) * 2002-09-26 2004-11-11 Victor Co Of Japan Ltd 構造化データの受信プログラム
KR101320397B1 (ko) * 2006-07-11 2013-11-07 한국전자통신연구원 LASeR 콘텐츠 표시 장치 및 방법
KR101058040B1 (ko) * 2006-12-21 2011-08-19 삼성전자주식회사 컨텐츠 출력 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052850A (ko) * 2006-12-08 2008-06-12 주식회사 알티캐스트 클라이언트 기반의 화면 구성 시스템 및 그 방법
CN101627607A (zh) * 2007-02-26 2010-01-13 诺基亚公司 用于执行对富媒体内容和服务的动态更新的基于脚本的系统
US20090081950A1 (en) * 2007-09-26 2009-03-26 Hitachi, Ltd Portable terminal, information processing apparatus, content display system and content display method
US20110185275A1 (en) * 2008-09-26 2011-07-28 Electronics And Telecommunications Research Institute Device and method for updating structured information
CN102172041A (zh) * 2008-10-06 2011-08-31 夏普株式会社 数字广播接收装置及数字广播接收方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016107192A1 (zh) * 2014-12-31 2016-07-07 中兴通讯股份有限公司 自适应流媒体处理方法及装置
CN105812961A (zh) * 2014-12-31 2016-07-27 中兴通讯股份有限公司 自适应流媒体处理方法及装置
CN105812961B (zh) * 2014-12-31 2019-09-10 中兴通讯股份有限公司 自适应流媒体处理方法及装置

Also Published As

Publication number Publication date
EP2768231A4 (en) 2015-11-25
KR20130040156A (ko) 2013-04-23
EP2768231A1 (en) 2014-08-20

Similar Documents

Publication Publication Date Title
US10129609B2 (en) Method for transceiving media files and device for transmitting/receiving using same
CN107113462B (zh) 发送方法、接收方法、发送装置以及接收装置
JP2014534695A (ja) コンテンツディスプレイ方法、コンテンツ同期化方法、放送コンテンツディスプレイ方法及びディスプレイ装置
CN107431845B (zh) 发送方法、接收方法、发送装置以及接收装置
US8931024B2 (en) Receiving apparatus and subtitle processing method
CN108141636B (zh) 接收装置以及接收方法
JP6737922B2 (ja) 送信方法、受信方法、送信装置および受信装置
CN112954435B (zh) 接收装置以及接收方法
JP7502525B2 (ja) 送信方法、受信方法、送信装置及び受信装置
US20130209063A1 (en) Digital receiver and content processing method in digital receiver
JP2023121824A (ja) 受信方法、送信方法、受信装置及び送信装置
CN103875252A (zh) 内容显示方法、内容同步方法、广播内容显示方法及显示装置
JP2018182677A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP6828992B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP6828991B2 (ja) 送信方法、受信方法、送信装置及び受信装置
CN102231804B (zh) 一种支持ps流媒体文件的容错方法
JP4742326B2 (ja) 放送記録再生装置および放送記録再生処理プログラム
WO2016208417A1 (ja) データ処理装置、データ処理方法、並びに、プログラム
KR20090081702A (ko) 개선된 압축 포맷에 의한 디지털 방송 녹화 방법
Schirling MPEG System Basics
CN113038188A (zh) 发送方法、接收方法、发送装置以及接收装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140618

WD01 Invention patent application deemed withdrawn after publication