CN103891301A - 用于同步多媒体广播服务的媒体数据的方法和装置 - Google Patents

用于同步多媒体广播服务的媒体数据的方法和装置 Download PDF

Info

Publication number
CN103891301A
CN103891301A CN201280051668.8A CN201280051668A CN103891301A CN 103891301 A CN103891301 A CN 103891301A CN 201280051668 A CN201280051668 A CN 201280051668A CN 103891301 A CN103891301 A CN 103891301A
Authority
CN
China
Prior art keywords
media data
additional media
additional
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280051668.8A
Other languages
English (en)
Other versions
CN103891301B (zh
Inventor
黄承吾
金庸汉
朴勍模
柳诚烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Cooperation Foundation of University of Seoul
Original Assignee
Samsung Electronics Co Ltd
Industry Cooperation Foundation of University of Seoul
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Cooperation Foundation of University of Seoul filed Critical Samsung Electronics Co Ltd
Publication of CN103891301A publication Critical patent/CN103891301A/zh
Application granted granted Critical
Publication of CN103891301B publication Critical patent/CN103891301B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种用于在多媒体广播服务中同步通过广播网络或通信网络的服务接收到的媒体数据和辅助数据的方法和装置。所述方法包括接收为广播服务提供的常规媒体数据，接收和存储有关附加媒体数据的控制信息，该附加媒体数据包括有关常规媒体数据的辅助数据，确定包括在控制信息中的附加媒体数据的位置信息，以及根据该位置信息接收和存储附加媒体数据。如果附加媒体数据的标识符包括在常规媒体数据的报头中，则读取已存储的与附加媒体数据的标识符相对应的附加媒体数据，以及根据包括在报头中的同步信息与常规媒体数据同步地运行附加媒体数据。

Description

用于同步多媒体广播服务的媒体数据的方法和装置
技术领域
本发明涉及一种多媒体广播服务。更具体地，本发明涉及一种用于在异构网络环境中将由接收器从广播网络或通信网络接收到的媒体数据和辅助数据互相同步的方法和装置。
背景技术
通常，在多媒体服务中，提供音频或伴有音频的视频(下文中，称为“常规媒体”)，并且在一些情况下，必要时，将诸如网络文档、窗口小部件、交互式应用、音频剪辑、视频剪辑、图形、文本、图像等等之类的辅助数据(下文中，称为“附加媒体”)与常规媒体一起提供。一些附加媒体可能被临时提供而不考虑常规媒体(下文中，称为“非计划的附加媒体”)，而当附加媒体需要与常规媒体的内容相关联时，附加媒体可以被提供以临时地与常规媒体的内容的相关部分同步地播放(下文中，称为“计划的附加媒体”)。在后者中，与常规媒体的内容的相关部分同步地播放附加媒体被称为“媒体同步”。
非计划的附加媒体不需要与常规媒体的内容同步，从而当接收非计划的附加媒体时，接收器立即播放接收到的非计划的附加媒体。另一方面，计划的附加媒体在常规媒体的内容中的相关角色中开始播放，并且尽管取决于附加媒体的特性的一些变化，但是在用户的请求时、当发生频道改变、或当附加媒体数据耗尽时，计划的附加媒体的播放被终止。
现有技术的数字视频广播(DVB)标准、欧洲电信标准化组织(ETSI)远程通信标准(TS)102823V1.1.1(2005-11)定义类似于附加媒体的数据作为辅助数据。在此说明书中，根据运动图像专家组(MPEG)媒体传输(MMT)标准(国际标准化组织(ISO)/国际电工委员会(IEC)联合技术委员会1(JTC1)/小组委员会29(SC29)/工作组11(WG11))，辅助数据的概念被扩展以适合于异构网络环境中的智能电视(TV)，在该异构网络环境中使用广播网络和互联网两者接收数据。在MMT标准中，术语“资源(asset)”被用作类似于流的概念。在此说明书中，指示部分媒体压缩数据流的部分媒体流被添加到现有技术的广播标准的网络文档、窗口小部件、交互式应用、音频剪辑视频剪辑、图形、文本、图像等等，并且它们将被定义为附加资源。常规媒体的压缩数据流被定义为常规资源。
图1示出根据现有技术的部分媒体流。
参照图1，立体视频包括左眼视图和右眼视图图像，其中，仅对于预定义的周期(例如，对于1分钟)将左眼图像111、113和115作为常规资源110发送而将右眼图像121作为附加资源120发送。在这种情况下，接收器通过互联网预先下载附加资源120，并且当通过广播网络实时接收常规资源110时将附加资源120与常规资源110同步地逐帧播放，从而在预定义的持续时间的时间段中呈现立体视频服务。
现有技术的MPEG-2数字存储媒体-命令和控制(DSM-CC)标准(ISO/IEC13818-6：1998)或数字视频广播(DVB)标准(ETSI TS102823V1.1.1)对于每个节目项单独地配置和使用时间线来将内容元数据或辅助数据与音频或视频同步，而不是使用媒体同步时钟、MPEG-2的系统时间时钟(STC)。这是因为，由于在基于STC的节目时钟参考(PCR)中可能存在不连续的点所致，PCR不能用于配置从节目项的开始到结束以固定速率增大的连续时间线。对于每个节目项的时间线在MPEG-2DSM-CC标准中被称作元数据内容时间线，并且在DVB标准中被称为DVB广播时间线。虽然两个标准中的时间线在配置方案和名称方面不同，但是它们两者都是用于常规媒体和附加媒体之间的同步的时间线(下文中，称为“媒体时间线”)。基于现有技术的媒体时间线，元数据与视频段相关联，或者辅助数据与视频同步地运行。
图2示出按照现有技术根据MPEG-2DSM-CC标准中的元数据内容时间线的应用的同步。
参照图2的(a)到(d)，该应用是附加资源并且正在与作为常规资源的视频同步。图2的(c)示出用于常规节目的视频的元数据内容时间线。此时间线是从视频的开始到结束的播放时间期间的连续时间线，但是如果由于在演播室中的编辑的需要所致，进行编辑以使得新场景从基于分钟的时间开始，则可能包括1分钟或少于一分钟的不连续的时段。图2的(d)示出插入在图2的(c)中示出的节目之间的广告的元数据内容时间线。在图2的(a)到(d)中，存在作为附加资源的应用，该附加资源将在广告创建者想要的广告期间及时在特定点处运行(或进行)。图2的(b)示出在通过广播网络的图2的(c)和(d)的传输情况下，根据MPEG-2系统标准的STC的时间线。在基于STC的时间线上，不连续的时段可能由于流编辑、流拼接等等所致而存在。为了在基于STC的时间线上指定特定时间点并且在指定的时间点中运行应用，在改变相同广告的每个传输的相应时间点处的STC必须作为应用的呈现时间戳(PTS)被新读取和发送。在MPEG-2DSM-CC标准中，为了避免此不便，如图2的(a)中所示做出传输，但是基于元数据内容时间线B指定应用必须运行的时间点。在这种情况下，距离广告开始点有相对时间差的时间被指定作为用于运行应用的时间点，从而运行时间点被固定而不改变广告的每个传输。然而，对于这种同步，接收器必须重新配置、保持和管理元数据内容时间线A和元数据内容时间线B。
为了接收器配置如图2a到图2d中所示的媒体时间线，服务器必须发送用于媒体时间线配置的控制信息作为单独的流。此处理需要单独的TS数据包流，并且单独的数据包标识符(PID)必须分配给此流。此外，服务器需要通过单独的流来周期性地发送多个描述符，并且接收器需要通过读取和处理描述符来配置媒体时间线。此外，为了在常规媒体和附加媒体之间同步，在媒体时间线上有关附加媒体开始点的值必须在附加到附加媒体的时间戳中传递，并且接收器必须将此时间戳转换成为STC上的值，从而实现媒体播放同步。
图3示出根据现有技术的、根据DVB标准(ETSI TS102823V1.1.1)中的DVB广播时间线的应用同步。
为了向接收器传递DVB广播时间线，服务器将PTS合并到报头中以通过打包基本码流(PES)数据包传递broadcast_timeline_descriptor(广播时间线描述符)，并且周期性地发送一对信息(DVB广播时间线值，PTS值)。基于DVB广播时间线确定每个节目段的时间线。
参照图3，每个节目段的时间不一定从0开始，并且常规节目和广告的DVB广播时间线彼此连续。这是用来避免接收方检测关于DVB广播时间线的不连续点并且仅删除广告。相应于点(3)(应用将在该处运行的时间点)的STC值可以通过使用恰在点(3)之前(即，点(1)和点(2))发送的两对信息(即，DVB广播时间线值和PTS值)的外推法估计。此外，接收方必须配置、保持和管理媒体时间线，从而发送方必须发送用于媒体时间线的控制信息并且接收器必须周期性地读取和处理该控制信息。
发明内容
技术问题
因此，需要能够实现常规媒体和附加媒体之间的同步而无需配置媒体时间线的同步方法和装置。
给出以上信息作为背景信息仅为了帮助对本公开的理解。关于任何以上是否可以适用为关于本发明的先有技术，没有做出确定也没有做出断言。
技术方案
本发明的各方面将至少解决以上问题和/或缺点，并至少提供下述优点。因此，本发明的一方面将提供一种能够实现常规媒体和附加媒体之间的同步而无需配置媒体时间线的同步方法和装置。
本发明的示例性实施例提供一种同步方法和装置，通过该方法和装置，与由接收器通过广播网络或通信网络接收到的媒体相关联的辅助数据可以与媒体一起在由媒体服务提供商指定的时间点处与媒体的内容同步地播放。
根据本发明的一方面，提供一种用于在多媒体广播服务中同步数据的方法。所述方法包括：接收和存储用于广播服务的组成信息(CI)；从CI确定为广播服务提供的主要媒体数据，并且根据该位置信息接收主要媒体数据；确定包括在CI中的、包括有关主要媒体数据的附加媒体数据的位置信息，并且根据该位置信息接收和存储附加媒体数据；以及确定包括在CI中的、附加媒体数据的开始信息，并且与关联于开始信息的常规媒体数据同步地运行附加媒体数据。
根据本发明的另一方面，提供一种用于在多媒体广播服务中同步数据的接收装置。所述接收装置包括：解码器，用于接收和解码为广播服务提供的常规媒体数据；附加媒体信息储存器，用于接收和存储用于广播服务的CI；附加媒体数据高速缓存，用于确定包括在CI中的、包括有关主要媒体数据的辅助数据的附加媒体数据的位置信息，并且根据该位置信息接收和存储附加媒体数据；以及运行器，用于确定包括在CI中的、附加媒体数据的开始信息并且与关联于开始信息的常规媒体数据同步地运行辅助媒体数据。
根据本发明的另一方面，提供一种用于在多媒体广播服务中同步数据的方法。所述方法包括：接收为广播服务提供的常规媒体数据；接收和存储有关附加媒体数据的控制信息，该附加媒体数据包括有关常规媒体数据的辅助数据；确定包括在控制信息中的附加媒体数据的位置信息，并且根据位置信息接收和存储附加媒体数据；以及如果附加媒体数据的标识符包括在常规媒体数据的报头中，则读取已存储的与附加媒体数据的标识符相对应的附加媒体数据，并且根据包括在报头中的同步信息与常规媒体同步地运行附加媒体数据。
根据本发明的另一方面，提供一种用于在多媒体广播服务中同步数据的接收装置。所述接收装置包括：解码器，用于接收和解码为广播服务提供的常规媒体数据；附加媒体信息储存器，用于接收和存储有关附加媒体数据的控制信息，该附加媒体数据包括有关常规媒体数据的辅助数据；附加媒体数据高速缓存，用于确定包括在控制信息中的附加媒体数据的位置信息，并且根据该位置信息接收和存储附加媒体数据；以及运行器，用于，如果附加媒体数据的标识符包括在常规媒体数据的报头中，则读取已存储的与附加媒体数据的标识符相对应的附加媒体数据，以及根据包括在报头中的同步信息与常规媒体同步地运行附加媒体数据。
本发明的其他方面、优点和显著的特征将从以下结合附图做出的公开了本发明的示例性实施例的详细说明中对本领域技术人员变得清楚。
附图说明
从下面结合附图的描述，本发明特定示例性实施例的上述和其他方面、特征和优点将更加清楚，附图中：
图1示出根据现有技术的部分媒体流；
图2a到图2d示出根据现有技术的、根据运动图像专家组-2(MPEG-2)数字存储媒体-命令和控制(DSM-CC)标准中的元数据内容时间线的应用的同步；
图3示出根据现有技术的、根据数字视频广播(DVB)标准(欧洲电信标准化组织(ETSI)远程通信标准(TS)102823V1.1.1)中的DVB广播时间线的应用同步；
图4示出根据本发明的示例性实施例的附加资源同步的接收器；
图5是根据本发明的示例性实施例的接收器中的同步方法的流程图；
图6示出根据本发明的示例性实施例的接收器中的同步方法；以及
图7是根据本发明的示例性实施例的接收器中的同步方法的流程图。
贯穿附图，应注意到相同的参考数字用来表示相同或类似的元件、特征和结构。
具体实施方式
提供以下参照附图的描述来帮助全面理解权利要求及其等效物所限定的本发明的示例性实施例。以下描述包括各种具体细节来帮助理解，但这些具体细节应被看作仅仅是示例性的。因此，本领域普通技术人员将认识到，可以对此处描述的实施例进行各种改变和修改而不会偏离本发明的范围和精神。此外，为清楚和简洁起见，可能省略对公知功能和结构的描述。
下面的描述及权利要求中使用的术语和词汇不局限于文献学含义，发明人使用这些数据和词汇仅仅是为了实现对本发明清楚和一致的理解。因此，对本领域技术人员应当清楚的是，以下对本发明示例性实施例的描述仅仅是出于举例说明的目的而提供的，并非为了对权利要求及其等效物所限定的本发明进行限制。
应当理解，单数形成“一”、“一个”也包括复数对象，除非上下文给出明确地相反指示。因而，例如，当提到“一个组件表面”时，包含了一个或多个这样的表面。
关于术语“实质上”，它意思指列举的特性、参数或值不必精确地实现，而是可以发生包括例如，容差、测量误差、测量精度限度及本领域技术人员已知的其他因素的偏差或变化，总之不排除想要提供的特性的效果。
首先，在保证本发明的示例性实施例的描述之前，此处使用的术语将在下面定义。
媒体服务：通过使用各种媒体，诸如音频、视频、图像、文本、图形、交互式应用等等之类中的一个或多个来传递信息的服务。
前景媒体服务：直接展示给观众以允许观众在某一时间点选择和欣赏免费或收费的媒体产品，诸如视频服务、音频服务、电子节目指南(EPG)服务、推送视频点播(VoD)服务、便携式服务等等。
背景广播服务：帮助前景媒体服务的媒体传递服务，但是不直接展示给观众，诸如用于文件下载的轮播(carousel)、通过互联网的预下载等等。
视频服务：这样的一种服务，其中视频是主要的，并且伴有的音频被当然地一起提供，并且也可以将另一语言的音频、副标题、交互式应用、其他的附加数据等等与该视频一起提供。
音频服务：这样的一种服务，其中音频是主要的，并且可以将与音频相关联的视频或图像、交互式应用、以及其他附加数据与音频一起提供。
交互式应用：在视频或音频服务的消费期间运行的软件，其向观众提供信息，并且接收观众的反应以控制媒体服务或向媒体运营商的服务器传递信息，并且统指声明语言和程序性语言的软件。此应用可以由与当前消费的视频或音频服务相关联的媒体运营商调用，或者可以通过媒体运营商调用而不考虑当前使用的媒体服务。已经存储在接收器的高速缓存中并且由观众识别的交互式应用可以应观众的请求被调用。
常规媒体：由于媒体服务的要求而需要被提供的媒体。例如，音频服务的音频或伴有音频的视频服务的音频。
附加媒体：不需要由于媒体服务的要求而被提供的媒体，但是当需要时可以被提供。例如，此媒体可以包括网络文档、窗口小部件、交互式应用、音频剪辑、视频剪辑、图形、文本、图像、辅助的媒体组件等等。附加媒体总是与常规媒体一起被消费，并且不能单独被消费。
媒体组件：构成媒体的组件。例如，在立体视频的情况下，左眼视图图像和右眼视图图像可以是媒体组件。作为另一示例，在5.1信道音频的情况下，每个信道音频可以是媒体组件。
辅助媒体组件：不能单独构成单个媒体的媒体组件，而是与另一媒体组件一起构成媒体。例如，在二维(2D)时间组合服务中的左眼视图和右眼视图图像当中，在总是将左眼视图图像提供作为2维(2d)图像的情境中，仅在立体视频时段提供的右眼视图图像是辅助媒体组件。
资源：有关媒体组件的编码数据。此处，编码是指压缩编码、用于标准格式的编码等等。
常规资源：有关常规媒体的媒体组件的编码数据。此处，编码是指压缩编码、用于标准格式的编码等等。
附加资源：有关附加媒体的媒体组件或辅助媒体组件的编码数据。此处，编码是指压缩编码、用于标准格式的编码等等。
节目：媒体服务的实例(即，一个广播信道的全部内容)。
节目项：节目的一个时间段集的内容。例如，当在电影中以混合方式发送开始广告、中间广告和最后的广告时，节目项是包括该广告的电影的某一时间段的内容。此处，每个广告是单独的节目项，但是它是包括在另一节目项中的嵌入的节目项。该节目是时间线上除了嵌入的节目项之外的节目项的连结(concatenation)的结果。
数据包：用于节目项的编码数据。这包括资源以及与资源的发送、解码、再现等等相关联的控制信息。
主要资源：常规资源当中的可以包括有关附加资源的同步信息的常规资源。例如，主要资源可以包括附加资源的同步和控制信息作为视频流的M单元的附加信息。
附加信息：有关资源的附加信息，诸如控制信息、描述信息等等。附加信息是逻辑项，可以包括在传输体系中的多个层的报头中，并且在这种情况下，它被称作报头信息。
流资源：以媒体压缩数据形式的资源，其可以类似视频流或音频流被临时无限地生成。
非流资源：不相应于流资源的资源。
M单元：资源的子组件。它也称作运动图像专家组(MPEG)媒体传输(MMT)处理单元(MPU)。流资源的M单元是可以在某一时间输入到媒体解码器中的最小数据单位，并且其解码结果可以根据媒体在某一时间点处呈现或在某一时间段中呈现。例如，对于视频流，帧的压缩的结果可以是一个M单元，并且对于音频流，用于24毫秒的音频采样的压缩的结果可以是一个M单元。
下文中，将参照附图描述根据本发明的示例性实施例的同步方法。
为了控制常规资源和附加资源之间的同步，需要如下面那样做出考虑。
为了将附加资源的开始时间点与主要资源的时间线上的期望的时间点同步，该同步必须逐帧地执行。同步必须被精确地执行，从而当主要资源是视频时，同步被逐视频帧地执行。对于音频主要资源，执行逐音频帧的同步。用于实现同步的机制需要是尽可能有效的。例如，需要为同步而发送的信令信息的配置需要尽可能简单，并且信令信息的数据量需要尽可能小。可以与主要资源同步的附加资源必须不仅包括非流辅助媒体组件，诸如网络文档、窗口小部件、交互式应用、音频剪辑、视频剪辑、图形，文本、图像等等，并且还包括流辅助媒体组件。此外，接收器需要能够识别附加资源类型，诸如网络文档、窗口小部件、交互式应用、音频剪辑、视频剪辑、图形、文本、图像、辅助媒体组件等等。附加资源需要在如下时间点中的一个或多个处运行：由广播公司指定的时间点、附加资源在接收器中的下载完成的时间点、由观众选择的时间点、以及从另一附加资源调用该附加资源的时间点。附加资源标识符必须被分配，从而附加资源在附加资源的运行所需要的预定义的时段期间可以是全局唯一标识的。作为将从其读取附加资源的位置，由相同广播公司提供的广播信道中的轮播或互联网统一资源定位符(URL)需要被指定。当附加资源包括若干文件时，需要指定开始文件(例如，用于网络文档的开始页面)。当用于从那里读取附加资源的位置被指定时，需要使用有效的呈现方法。急迫的是通知接收器附加资源是否绑定到媒体服务。当媒体服务终止时，绑定到媒体服务的附加资源被自动地终止。还急迫的是通知接收器附加资源的运行是否是安全的。为此，广播公司可以直接创建附加资源或确定附加资源的运行是否安全，以及向接收器通知附加资源是安全的。当必须同时运行若干附加资源时，需要向接收器通知附加资源的优先次序。附加资源描述信息的结构需要与旧系统可扩展地兼容。例如，附加资源描述信息需要具有这样的结构，其中，后续的描述符可以被添加而不造成支持旧系统的接收器的误操作。
下文中，将描述用于满足以下要求的示例性同步方法。
下面讨论的图4到图7以及在本专利文件中用来描述本公开原理的各种示例性实施例仅仅是示例性的，不应以限制本公开范围的任何方式进行解释。本领域技术人员将理解，可以在任何适当布置的通信系统中实现本公开的原理。用于描述多个实施例的术语是示例性的。应当理解，提供这些术语仅仅帮助理解描述，并且他们的使用和定义决不限制本发明的范围。术语第一、第二等等用于区分具有相同术语的对象并且决不意欲表示按时间顺序，除非其中明确地相反陈述。集合被定义为包括至少一个元素的非空集。
图4示出根据本发明的示例性实施例的附加资源同步的接收器。
参照图4，接收器可以包括因特网文件下载器401、轮播处理器403、附加资源表(AAT)分析器405、主要资源解码器407、附加资源高速缓存409、附加资源信息储存器411、附加资源处理器413、合成器415、渲染器417和显示器419。
作为控制信息，关于全部附加资源的描述信息被发送给接收方作为从主要资源分离的控制信息流。控制信息流可以包括AAT。AAT分析器405分析从从广播网络接收到的控制信息流的AAT，并且在附加资源信息储存器411中存储分析的AAT。AAT可以包括用于每个附加资源的信息，诸如标识符(adjunct_asset_id)、类型(adjunct_asset_type)、运行属性(execution_attribute)、能够接收的接收器的容量(handler_capability)、附加资源位置(adjunct_asset_locator)、需要的存储空间(required_storage)、到期日(expiration)、显示器上的位置(display_position)等等。adjunct_asset_id是用于识别附加资源的标识符，并且可以全局唯一地或在媒体服务中唯一地定义附加资源。adjunct_asset_locator指定从其读取相应于附加资源的资源数据的位置。如果可以从多个位置读取相同源数据，则AAT可以包括用于附加资源的多个adjunct_asset_locator。通过adjunct_asset_locator指定的位置的示例可以是多种轮播(即，数字存储媒体-命令和控制(DSM-CC)数据轮播、DSM-CC对象轮播、单向文件传输(FLUTE)等等)、因特网URL等等。在图4中，因特网文件下载器401通过参照存储在附加资源信息储存器411中的adjunct_asset_locator从因特网URL下载附加资源。轮播处理器403通过参照存储在附加资源信息储存器411中的adjunct_asset_locator通过广播网络的对象轮播来下载附加资源。在高速缓存内部文件路径被指定之后，下载的附加资源被存储在附加资源高速缓存409中，并且指定的高速缓存内部文件路径被存储在附加资源信息储存器411的file_path_in_cache字段中。
为了将附加资源与常规资源同步，adjunct_asset_id被插入到主要资源的M单元报头中。因为M单元报头包括呈现时间戳(PTS)，所以包括在M单元报头中的PTS可以被用作指示通过包括在M单元报头中的adjunct_asset_id识别的附加资源的运行时间点的PTS，而无需更进一步计算。因为视频M单元可以具有帧、或来自相同帧的一片或多片，所以对于作为视频的主要资源，此同步方法可以实现逐视频帧的同步。如果音频帧具有24毫秒的长度，则当主要资源是音频，即，当adjunct_asset_id被插入到音频M单元报头中时，所述方法可以以24毫秒为单位实现同步。如果一个或多个附加资源需要被同时运行，则相同M单元报头可以包括其数目等于附加资源的数目的多个adjunct_asset_id。M单元报头还可以包括用于控制正在运行的附加资源的adjunct_asset_control字段。adjunct_asset_control可以传递用于运行附加资源或结束运行附加资源的命令。
当接收器通过广播网络实时接收主要资源流时，主要资源解码器407确定M单元报头是否包括任一adjunct_asset_id，确定是否需要运行，在附加资源信息储存器411中搜索匹配的adjunct_asset_id，并且参考相应附加资源的信息。如果附加资源需要运行，则合成器415从附加资源高速缓存409读取(或取得)附加资源并且通过经由附加资源处理器413的解码或解密来处理它，将处理结果与在M单元报头中指定的PTS处的主要媒体同步，在显示器的指定位置组合来自附加资源信息储存器411的附加资源，通过渲染器417表现组合结果，并且经由显示器419显示表现结果。通过相同presentation_timestamp实现合成器417中的主要资源和附加资源之间的同步。
如果同步信息由于传输误差而未被传递，则不能运行相应附加资源。因此，为了不管传输误差而运行附加资源或提高进行附加资源的概率，相同adjunct_asset_id可以被包括在多个主要资源M单元报头中。例如，通过将用于附加资源的“运行”或“结束”命令反复地插入到四个或五个相邻的主要资源M单元的报头中，可以提高运行附加资源的概率。在这种情况下，如果第一adjunct_asset_id被插入到的时间点是想要的运行时间点，则运行时间点可能由于传输误差而被轻微地延迟。如果附加资源是交互式应用，则这种运行延迟可能不影响观众的体验质量(QoE)。
如果附加资源是用于立体视频的部分媒体流，则精确的逐帧同步是必须的，从而不能使用以上方法。在这种情况下，sync_count可以插入到M单元报头中以递减计数到同步时间点。例如，通过在四个连续的主要资源M单元报头中顺序地传递“3”、“2”、“1”和“0”作为sync_count，接收器可以识别精确的同步时间点。如果sync_count是“0”的时间点是想要的同步时间点，由于传输误差仅仅sync_count是“2”的M单元报头被接收，并且没有接收任何一个包括其他sync_counts的M单元报头。据此，在当前M单元之后的第二M单元的PTS是附加资源的运行时间点。为了将此方法应用到视频M单元，sync_count必须仅插入到包括帧的第一片的M单元中，或相同sync_count被插入到从包括在相同帧中的片中获得的M单元中。接收器识别在相应于sync_count的帧之后的帧的PTS作为附加资源的运行时间点。
下面将描述根据本发明的示例性实施例的AAT。
AAT的语法如下面的表1所示。在“格式(format)”列中的内容的定义符合MPEG-2系统标准(国际标准化组织(ISO)国际电工委员会(IEC)13818-1：2007)。在表1的“值(value)”列中未示出的循环计数是从指示长度的值中归纳(induce)的值。此处，相同原则也应用于其他表。
[表1]
Figure BDA0000493807490000121
在表1中，每个字段具有以下语义：
table_id：指示表的类型的标识符。它分配相应于AAT的唯一值。
version_id：指示AAT的结构的标识符。如果通过此标准的更改而修改表的结构，则此字段的值也改变。接收器通过观察此字段的值确定接收器是否可以理解此表。
sub_table_id：当表被划分成若干子表以用于传输时，此字段识别每个子表。
update_version：AAT被周期性地发送，从而如果AAT的内容不同于具有相同sub_table_id的最近发送的AAT的内容，则此字段的这个值被递增。在最大值“15”之后，该值改变成“0”。如果这个字段的值改变，则接收器再次读取和分析AAT的内容。
table_length：从下一字段到AAT的最后字节的字节的数目。值“0”未被使用。
locator_prefix_count：随后的locator_prefix串的数目。通过在locator_prefix结尾、在adjunct_asset_locator中提供的定位符串前面添加“/”来连结locator_prefix，从而形成URL。在adjunct_asset_locator中，通过使用locator_prefix的出现次序作为索引来参考locator_prefix。值“OxFF”未用于这个字段。因此，可以包括最大255个locator_prefix。
locator_prefix_length：locator_prefix串的长度。
locator_prefix_byte：locator_prefix串中的字节。终止空字节将不会包括在locator_prefix串中。
adjunct_asset_type：附加资源的类型。例如，唯一值被分配给每个类型，诸如网络文档、窗口小部件、交互式应用、音频剪辑、视频剪辑、图形、文本、图像、辅助媒体组件等等。这个adjunct_asset_type值在以下语法循环中同等地应用于附加资源。
adjunct_asset_count_minusl：比以下语法循环中描述的附加资源的数目少一的值。这个值可以指示最大256个附加资源。如果具有相同adjunct_asset_type的附加资源的数目超过256，则使用两个或更多语法循环来描述那些附加资源。
adjunct_asset_id：用于识别附加资源的48位的全局唯一标识符。仅在预定义的时间期间保持该唯一性，并且在预定义的时间之后，可以再次使用该标识符。作为全局标识符，这个字段被划分成两个部分：32位provider_identifier和16位asset_identifier。provider_identifier由注册中心分配并且注册用于每个提供商，而asset_identifier由每个提供商管理。
execution_attribute：这个字段指示当接收器接收附加资源时如何运行该附加资源，并且包括以下字段：
execution_on_reception：指示在将附加资源存储在附加资源高速缓存中之后是否“立即运行”由接收器接收到的附加资源的标志。如果附加资源不立即运行，则当用户选择或当正在从另一附加资源被调用时，附加资源可以在由本发明的示例性实施例中建议的同步方法指定的时间点处运行。如果这个标志是“1”，则execution_entry_point也设置为“1”。
media_service_bound：指示附加资源是否是媒体服务绑定的标志。如果这个标志是“1”，则它指示附加资源绑定到媒体服务，并且当广播信道改变发生时附加资源被自动地终止。
execution_entry_point：指示附加资源可以被直接运行的标志。如果这个标志是“0”，则附加资源通过另一附加资源间接地运行。
visible_to_user：2位字段，指示用户是否可以通过使用附加资源导航功能选择性地运行附加资源，或当另一附加资源通过由接收器提供的应用编程接口(API)导航附加资源列表时该附加资源是否是可见的。visible_to_user的语义如下面的表2和表3中所示。
[表2]
Figure BDA0000493807490000141
Figure BDA0000493807490000151
[表3]
Figure BDA0000493807490000152
adjunct_asset_priority：指示附加资源的运行优先权的字段。adjunct_asset_priority的更高值指的是更高优先级。当用于运行附加资源的接收器资源不够时，当前运行的附加资源当中的具有最低优先级的附加资源首先被暂停或终止。
adjunct_asset_locator_count_minusl：比附加资源将从其读取的位置的数目少一的值。可以使用2位提供最多4个位置。当提供两个或更多位置时，adjunct_asset_locator的出现的次序是优先级。一个或多个adjunct_asset_locator出现。
adjunct_asset_locator：此语法元素组提供将从其读取附加资源的位置的信息。
adjunct_asset_descriptors_length：此字段提供在从以下的描述符语法循环的下一字节到最后字节的范围中的字节的数目。
adjunct_asset_descriptor：多种描述符可以包括在此描述符语法循环中。
CyclicRedundancyCode(循环冗余码，CRC)_32：与定义在MPEG-2系统标准(ISO/IEC13818-1：2007)中的CRC32相同的字段。
下面将描述附加资源位置信息(adjunct_asset_locator)。
资源数据位置信息adjunct_asset_locator指示将从其读取附加资源的位置。附加资源通过广播网络的轮播传递或通过因特网下载。AAT需要包括用于每个附加资源的一个或多个adjunct_asset_locator。接收器从由首先出现的adjunct_asset_locator指定的位置读取附加资源，并且如果错误发生，则接收器从由下一adjunct_asset_locator指定的位置读取附加资源。
adjunct_asset_locator的语法如下面的表4中所示。表4仅包括因特网情况，并且对于轮播情况，语法可以根据轮播而变化。因此，为了本说明书的目的，在表4中不包括细节。
[表4]
Figure BDA0000493807490000161
下面提供表4的每个字段的语义。
locator_type：8位字段，指示将从其读取附加资源的位置是因特网还是广播网络的轮播，并且如果该位置是轮播并且各种类型的轮播被一起使用则指示轮播类型。
locator_prefix_index：指定表1的locator_prefixe中的一个的索引。如果此字段的值是“OxFF”，则这指的是未使用locator_prefix。
directory_path_length：随后目录路径的长度。不包括串的终止空字节。如果此字段的值是“0”，则未使用目录路径。
directory_path_byte：目录路径的字节。不包括串的终止空字节。
entry_path_length：初始页文件的跟随路径的长度。不包括串的终止空字节。仅当该附加资源包括多个文件(诸如网络页面)时此字段才具有意义。如果附加资源是单个文件，则此字段具有“0”值。
entry_path_byte：初始页文件的路径的字节。未使用串的终止空字节。
object_count：用于文件的跟随路径的数目。如果此字段具有“0”值，则指定了全部目录。
object_path_length：跟随文件路径的字符串长度。不包括串的终止空字节。
object_path_byte：文件路径的字节。不包括串的终止空字节。
例如，使用因特网附加资源位置信息的URL配置可以如下。此示例的附加资源是包括多个文件的网络页面。
如果表1的locator_pretix是“ht中：／／www.example.com'’，目录路径是“interactive_applications／app0001”，进入路径是“index.htm'’，并且object_count具有“0”值，则附加资源的全部资源在目录“www.example.com／interactive_applications／app0001”中，并且初始页面的URL是“ht中：／／www.example.com／interactive_applications／app0001／index.htm'’。
下文中，将描述adjunct_asset_descriptor。表1的adjunct_asset_descriptor可以包括多种描述符。指示接收器能够处理附加资源的容量的handler_capability_descriptor()，指示用于附加资源高速缓存管理、到期日等等的存储量的adjunct_asset_cache_descriptor()，指示附加资源将呈现在屏幕上的显示器上的位置的display_position_descriptor()，提供将显示给用户的附加资源的名称的adjunct_asset_name_descriptor()，指示提供将显示给用户的附加资源的图标的adjunct_asset_icon_descriptor()等等可以是描述符。这些描述符不与主要资源和附加资源之间的同步有关，并且从而为了本说明书的目的，此处不提供其描述符和语义的语法。
下文中，将描述M单元报头的附加资源同步信息。将省略定义在MMT中的M单元报头的其他字段，而是集中于需要与此处提出的技术相关地添加的字段，即，adjunct_asset_sync_info，将描述M单元报头的语法和各个字段的语义。M单元报头的语法如下面的表5中所示。
[表5]
Figure BDA0000493807490000181
表5的各个字段具有以下语义：
adjunct_asset_count：如果此字段的值大于“0”，这指的是存在将与此M单元同步的附加资源。
adjunct_asset_id:将与此M单元同步的附加资源的标识符。此字段的格式如上面的表1中规定。
adjunct_asset_control：指示将应用于附加资源的控制的类型的字段。
该值的语义如下面的表6中所示。
[表6]
值 语义
0b0000 “运行”（运行附加资源）
0b0001～0b1110 保留给将来使用
0b1111 “结束”（终止附加资源）
sync_count:指示为了改善相对于传输误差的抵抗性将adjunct_asset_sync_info连续地插入在多个M单元的报头中时的同步时间点的字段。此字段具有从“0”到“15”的值。具有“0”值作为此字段的值的M单元是附加资源被同步的时间点。例如，包括在具有“0”字段值的M单元中的presentation_timestamp是附加资源的控制的运行时间。为了通过使用此字段精确地实现同步而没有由传输误差所引起的延迟，adjunct_asset_sync_info插入在同步时间点以前并且adjunct_asset_sync_info被反复地连续插入在M单元报头中直到sync_count从下面选择的“15”的正值一个接一个向下递减直到“0”。如果由于允许传输误差导致的一些延迟，则在固定sync_count为“0”的同时将adjunct_asset_sync_info反复地连续插入在M单元报头中。当接收器对于相对于附加资源的相同adjunct_asset_control值反复地接收具有sync_count为“0”的M单元时，它运行首先接收到的控制命令并且忽略下一接收到的命令。
图5是根据本发明的示例性实施例的接收器中的同步方法的流程图。
参照图5，在步骤501中，接收器通过广播网络从发送方接收主要资源流，从该主要资源流分离地接收包括AAT的控制信息，分析该AAT，并且在附加资源信息储存器中存储该AAT。在步骤503中，接收器从存储的AAT确定adjunct_asset_locator以通过因特网URL或广播网络的对象轮播下载附加资源文件，并且在附加资源高速缓存中存储附加资源。在步骤505中，接收器确定主要资源流的M单元报头中的adjunct_asset_id和PTS。接收器然后在附加资源信息储存器中搜索关于与adjunct_asset_id匹配的附加资源的信息，从附加资源高速缓存读取该附加资源。之后，在步骤507中，接收器在通过PTS指示的时间点处与主要资源同步地运行附加资源。
下面将描述根据本发明的另一示例性实施例的媒体数据同步方法。
在本发明的另一示例性实施例中，使用在“M24227, Proposed text ofWorking Draft for MPEG Media Transport, Geneva, Switzerland, April 2012（用于MPEG媒体传输的工作草案的建议文本M24227，日内瓦，瑞士，2012年4月）”中定义的MPU报头的MPU_Identifier（MMT处理单元标识符）。根据M24227文档，MPU_Identifier包括随机访问点标志（RAP标志）和MPU序列号mpu_sequence_number。mpu_sequence_number是MMT资源之内的唯一值并且每MPU递增1。因此，mpu_sequence_number可用于唯一地指定不同资源被同步的时间点。如果必要则mpu_sequence_number的唯一性的范围可以被调整，并且例如，其唯一性可以在一天内保持。为了满足唯一性的范围，mpu_sequence_number的长度可以改变。使用mpu_sequence_number用于附加资源同步的其他优点是错误弹性和同步时间点的预测。因为mpu_sequence_number每MPU递增1，所以接收器可以找到适当的时间点并且执行附加资源同步，而不管MPU丢失。此外，当在附加资源同步之前由于在先规定的需要，接收器需要预测同步时间点时，接收器可以通过使用当前mpu_sequence_number容易地预测同步时间点。在MPEG的M24227文档中，存在用于时间-空间排列和同步的内容和CI的信息。在CI中，“开始(begin)”属性被用于资源同步。本发明的示例性实施例提出向“开始”属性附加“MPU序列号值(MPU-Sequence-Number-Value)”。
MPU-Sequence-Number-Value如下定义：
MPU-Sequence-Number-value：：＝Id_value“.MPU
(“mpu_sequence_number“)”[“+”|“-”frame_offset“fra”]
在以上定义中使用的术语可以如下面提供的被定义：
Id_value：附加资源将与其同步的主要资源的可扩展标记语言(XML)标识符。
Mpu_sequence_number：包括同步时间点信息的MPU的序列号。
Frame_offset：当将被同步的主要资源和附加资源两个都是视频或音频时使用此字段。在视频帧的情况下，该帧中的第一采样的播放时间点是同步参考时间点。从而，在视频的情况下，帧单元中的精确的同步是可能的。然而，在音频的情况下，可能存在最多1/2音频帧的误差。应用距离mpu_sequence_number的相对值来指示同步时间点。“+5”指的是需要与从由mpu_sequence_number指示的MPU之内的显示次序中的第一帧开始的第五帧(即，MPU之内的显示次序中的第六帧)执行同步。“-10”指的是附加资源中将与由mpu_sequence_number指示的MPU之内的显示次序中的第一帧同步的帧是从第一帧开始的第十帧(即，在附加资源中的显示次序中的第十一帧)。
本发明的当前示例性实施例可以应用于CI并且可以在以下示例中使用。
如果主要资源是资源1，其XMLid是assetl_id，附加资源是资源2，并且CI中的资源2的开始属性是：
begin＝“assetl_id.MPU(123)+5fra”，
则这指的是资源2需要与资源1的MPU当中具有mpu_sequence_number＝123的MPU之内的第六帧中的资源1同步。
根据这种示例性同步方法，主要资源和附加资源可以被同步而不改变CI中主要资源的报头以及关于主要资源的描述。
图6示出根据本发明的示例性实施例的接收器中的同步方法。
参照图6，CI包括资源的列表(LoA)以及MMT资源的空间和时间信息(STIA)。LoA包括数据包中包括的资源的列表以及每个资源的id。在图6中，assetl_id是主要资源，例如，视频数据，并且asset2id是附加资源，例如，图像数据。STIA包括有关每个资源的描述。在图6中，assetl_id的开始属性值是“0”，并且asset2_id的开始属性值是“assetl_id.MPU(123)”。
当接收器同步数据时，接收器确定包括在CI中的附加资源的描述并且通过开始属性确定如何将附加资源与主要资源同步。在图6中，assetl_id和asset2_id在assetl_id的MPU当中具有mpu_sequence_number＝123的MPU的开始点处同步。
图7是根据本发明的示例性实施例的接收器中的同步方法的流程图。
参照图7，在步骤701中，接收器从发送方接收CI并且将接收到的CI存储在附加资源信息储存器中。在步骤703中接收器从存储的CI确定主要资源的位置并且接收主要资源流。在步骤705中，接收器从CI确定附加资源的位置，下载附加资源文件，并且存储附加资源文件。在步骤707中，接收器确定CI中有关下载的附加资源的描述，并且通过描述中的开始属性确定附加资源的开始位置。在步骤709中，接收器从附加资源信息储存器读取附加资源并且与由开始属性指示的主要资源的位置(即，MPU序列号)同步地运行附加资源。
根据本发明的示例性实施例，常规媒体和附加媒体之间的同步可以以简单方式实现而不需要接收方配置媒体时间线，从而接收器不需要配置、保持和管理媒体时间线，并且发送方不需要发送用于媒体时间线的控制信息。此外，接收器没有周期性地读取和处理控制信息的负担。
尽管已经参照本发明的特定示例性实施例示出和描述了本发明，但本领域技术人员将会理解可以对本发明进行形式和细节上的各种改变而不会脱离权利要求及其等同物限定的本发明的精神和范围。

Claims (18)

1.一种用于在多媒体广播服务中同步数据的方法，所述方法包括：
接收和存储用于广播服务的组成信息(CI)；
从CI确定为广播服务提供的主要媒体数据的位置信息，并且根据该位置信息接收主要媒体数据；
确定包括在CI中的包括有关主要媒体数据的辅助数据的附加媒体数据的位置信息，并且根据该位置信息接收和存储附加媒体数据；以及
确定包括在CI中的附加媒体数据的开始信息并且与关联于该开始信息的常规媒体数据同步地运行附加媒体数据。
2.如权利要求1所述的方法，其中所述开始信息包括将与附加媒体数据同步的常规媒体数据的标识符以及将与附加媒体数据同步的常规媒体数据的序列号。
3.如权利要求2所述的方法，其中所述开始信息还包括将与附加媒体数据同步的常规媒体数据的帧偏移值。
4.一种用于在多媒体广播服务中同步数据的接收装置，所述接收装置包括：
解码器，用于接收和解码为广播服务提供的常规媒体数据；
附加媒体信息储存器，用于接收和存储用于广播服务的组成信息(CI)；
附加媒体数据高速缓存，用于确定包括在CI中的、包括有关主要媒体数据的辅助数据的附加媒体数据的位置信息，并且根据该位置信息接收和存储附加媒体数据；以及
运行器，用于确定包括在CI中的附加媒体数据的开始信息并且与关联于该开始信息的常规媒体数据同步地运行附加媒体数据。
5.如权利要求4所述的接收装置，其中所述开始信息包括将与附加媒体数据同步的常规媒体数据的标识符以及将与附加媒体数据同步的常规媒体数据的序列号。
6.如权利要求5所述的接收装置，其中所述开始信息还包括将与附加媒体数据同步的常规媒体数据的帧偏移值。
7.一种用于在多媒体广播服务中同步数据的方法，所述方法包括：
接收为广播服务提供的常规媒体数据；
接收和存储有关附加媒体数据的控制信息，该附加媒体数据包括有关常规媒体数据的辅助数据；
确定包括在控制信息中的附加媒体数据的位置信息，并且根据该位置信息接收和存储附加媒体数据；以及
如果附加媒体数据的标识符包括在常规媒体数据的报头中，则读取已存储的与附加媒体数据的标识符相对应的附加媒体数据，以及根据包括在报头中的同步信息与常规媒体数据同步地运行附加媒体数据。
8.如权利要求7所述的方法，其中所述控制信息包括有关一个或多个媒体数据的信息，并且还包括用于每个附加媒体数据的数据类型、运行属性、接收器的容量、存储空间、到期日和显示位置信息中的至少一个。
9.如权利要求7所述的方法，其中所述控制信息包括用于单个附加媒体数据的一个或多个位置信息。
10.如权利要求7所述的方法，其中所述报头还包括用于控制附加媒体数据的运行的附加媒体数据控制字段。
11.如权利要求7所述的方法，其中多个连续接收到的常规媒体数据的报头包含相同附加媒体数据的标识符。
12.如权利要求7所述的方法，其中所述位置信息是指示广播网络的轮播或因特网统一资源定位符(URL)的信息。
13.一种用于在多媒体广播服务中同步数据的接收装置，所述接收装置包括：
解码器，用于接收和解码为广播服务提供的常规媒体数据；
附加媒体信息储存器，用于接收和存储有关附加媒体数据的控制信息，该附加媒体数据包括有关常规媒体数据的辅助数据；
附加媒体数据高速缓存，用于确定包括在控制信息中的附加媒体数据的位置信息，并且根据该位置信息接收和存储附加媒体数据；以及
运行器，用于，如果附加媒体数据的标识符包括在常规媒体数据的报头中，则读取已存储的与附加媒体数据的标识符相对应的附加媒体数据，以及根据包括在报头中的同步信息与常规媒体数据同步地运行附加媒体数据。
14.如权利要求13所述的接收装置，其中所述控制信息包括有关一个或多个媒体数据的信息，并且还包括用于每个附加媒体数据的数据类型、运行属性、接收器的容量、存储空间、到期日和显示位置信息中的至少一个。
15.如权利要求13所述的接收装置，其中所述控制信息包括用于单个附加媒体数据的一个或多个位置信息。
16.如权利要求13所述的接收装置，其中所述报头还包括用于控制附加媒体数据的运行的附加媒体数据控制字段。
17.如权利要求13所述的接收装置，其中多个连续接收到的常规媒体数据的报头包含相同附加媒体数据的标识符。
18.如权利要求13所述的接收装置，其中所述位置信息是指示广播网络的轮播或因特网统一资源定位符(URL)的信息，并且
所述接收装置还包括：
轮播处理器，用于从广播网络的轮播接收附加媒体数据，用于处理接收到的附加媒体数据，并且用于将处理的附加媒体数据存储在附加媒体数据高速缓存中；以及
下载器，用于从URL下载附加媒体数据并且用于将附加媒体数据存储在附加媒体数据高速缓存中。
CN201280051668.8A 2011-09-21 2012-09-20 用于同步多媒体广播服务的媒体数据的方法和装置 Expired - Fee Related CN103891301B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2011-0095458 2011-09-21
KR20110095458 2011-09-21
KR10-2012-0045360 2012-04-30
KR1020120045360A KR101946861B1 (ko) 2011-09-21 2012-04-30 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
PCT/KR2012/007550 WO2013042961A1 (en) 2011-09-21 2012-09-20 Method and apparatus for synchronizing media data of multimedia broadcast service

Publications (2)

Publication Number Publication Date
CN103891301A true CN103891301A (zh) 2014-06-25
CN103891301B CN103891301B (zh) 2018-06-05

Family

ID=48180846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280051668.8A Expired - Fee Related CN103891301B (zh) 2011-09-21 2012-09-20 用于同步多媒体广播服务的媒体数据的方法和装置

Country Status (6)

Country Link
US (1) US9877051B2 (zh)
EP (1) EP2759142B1 (zh)
JP (1) JP6219826B2 (zh)
KR (1) KR101946861B1 (zh)
CN (1) CN103891301B (zh)
WO (1) WO2013042961A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431834A (zh) * 2015-04-07 2017-12-01 索尼公司 传输设备、传输方法、接收设备、以及接收方法
CN111771385A (zh) * 2018-01-02 2020-10-13 源数码有限公司 作为辅助数据的坐标
CN113490016A (zh) * 2015-06-17 2021-10-08 韩国电子通信研究院 Mmt方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012174301A1 (en) 2011-06-14 2012-12-20 Related Content Database, Inc. System and method for presenting content with time based metadata
US20130191745A1 (en) * 2012-01-10 2013-07-25 Zane Vella Interface for displaying supplemental dynamic timeline content
KR101976052B1 (ko) * 2011-08-10 2019-05-08 엘지전자 주식회사 방송 서비스 전송 방법, 그 수신 방법 및 방송 서비스 수신 장치
WO2013115121A1 (ja) * 2012-01-31 2013-08-08 シャープ株式会社 生成装置、再生装置、データ構造、生成方法、再生方法、制御プログラム、および記録媒体
EP3697100A1 (en) * 2013-06-05 2020-08-19 Sun Patent Trust Data decoding method, data decoding apparatus, and data transmitting method
EP3007450B1 (en) * 2013-06-07 2018-11-28 Saturn Licensing LLC Transmission device, transmission method, receiving device, and receiving method
CA2912744C (en) 2013-06-12 2018-01-16 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
KR101453484B1 (ko) * 2013-06-20 2014-10-22 주식회사 쓰리에이치에스 매핑데이터에 따라 데이터를 구분하여 제공하는 데이터 제공 시스템
JP2015015706A (ja) * 2013-07-03 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ データ送信方法、データ再生方法、データ送信装置およびデータ再生装置
JP6616064B2 (ja) * 2013-07-25 2019-12-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
JP6625318B2 (ja) * 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP6510205B2 (ja) * 2013-10-11 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置および受信装置
KR20150047082A (ko) 2013-10-23 2015-05-04 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
WO2015060586A1 (ko) * 2013-10-23 2015-04-30 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
US10917682B2 (en) * 2013-12-11 2021-02-09 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for synchronizing media streams
JP6574426B2 (ja) * 2014-01-09 2019-09-11 サムスン エレクトロニクス カンパニー リミテッド マルチメディア伝送システムにおけるメディアデータ関連情報を送信する方法及び装置
US10911800B2 (en) * 2014-01-13 2021-02-02 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
US9621963B2 (en) 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
JP6054324B2 (ja) * 2014-03-06 2016-12-27 株式会社東芝 Ｍｍｔ送信システム、暗号化処理装置
US10397634B2 (en) * 2014-03-25 2019-08-27 Synamedia Limited System and method for synchronized presentation of video timeline metadata
EP3133817A4 (en) * 2014-04-18 2017-11-15 LG Electronics Inc. Broadcast signal transmitting apparatus, broadcast signal receiving apparatus, broadcast signal transmitting method and broadcast signal receiving method
US9584765B2 (en) * 2014-10-21 2017-02-28 Livegenic Inc. Real-time visual customer support enablement system and method
US20160037126A1 (en) * 2014-10-21 2016-02-04 Livegenic Inc. Real-Time Visual Customer Support Enablement System and Method
WO2016204502A1 (ko) * 2015-06-17 2016-12-22 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
KR102473346B1 (ko) * 2015-06-23 2022-12-05 삼성전자주식회사 디지털 방송 서비스 방법 및 장치
WO2016208988A1 (en) * 2015-06-23 2016-12-29 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving signal in multimedia system
US10122781B2 (en) * 2016-01-29 2018-11-06 Roku Inc. Selection of video segments for adaptive streaming
US10057654B2 (en) 2016-01-29 2018-08-21 Roku, Inc. Selection and alignment of video segments for adaptive streaming
US10218755B2 (en) 2016-01-29 2019-02-26 Roku, Inc. Extended selection and alignment of video segments for adaptive streaming
JP7008514B2 (ja) * 2018-01-22 2022-01-25 キヤノン株式会社 通信装置、制御方法、及びプログラム
US11762247B2 (en) * 2018-03-16 2023-09-19 Sharp Kabushiki Kaisha Display device
CN112153395A (zh) * 2020-09-01 2020-12-29 海信电子科技（深圳）有限公司 流媒体数据播放方法和显示设备
US10985854B1 (en) * 2020-09-29 2021-04-20 Entercom Operations, Inc. System and methods of real-time creation of electronic programming guides for radio broadcasts

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1531346B (zh) * 1997-10-14 2013-04-17 汤姆森特许公司 用于格式化和处理多媒体节目数据和节目指南信息的系统
AU2710201A (en) * 2000-01-24 2001-07-31 Matsushita Electric Industrial Co., Ltd. Image composting apparatus, recording medium and program
KR100641848B1 (ko) * 2000-11-02 2006-11-02 유겐가이샤 후지야마 디지탈 영상 콘텐츠의 배신 시스템 및 재생 방법 및 그 재생 프로그램을 기록한 기록 매체
MY147018A (en) * 2001-01-04 2012-10-15 Thomson Licensing Sa A method and apparatus for acquiring media services available from content aggregators
JP4294933B2 (ja) 2002-10-16 2009-07-15 富士通株式会社 マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置
JP4252324B2 (ja) 2003-01-28 2009-04-08 三菱電機株式会社 受信機、放送送出装置及び補助コンテンツサーバ
JP2005159743A (ja) * 2003-11-26 2005-06-16 Sharp Corp 映像表示装置、映像表示プログラム、情報配信装置および情報通信システム
FR2871639A1 (fr) * 2004-06-11 2005-12-16 Thomson Licensing Sa Procede de gestion de programmes auxiliaires et recepteur et systeme correspondants
KR20070027070A (ko) * 2005-08-29 2007-03-09 삼성전자주식회사 방송/통신 결합서비스 정보 송수신 방법 및 장치
KR100678906B1 (ko) * 2005-10-05 2007-02-05 삼성전자주식회사 멀티미디어 컨텐츠 스트리밍 중에 부가 데이터를 제공하는방법 및 이를 위한 시스템
US7869420B2 (en) 2005-11-16 2011-01-11 Cisco Technology, Inc. Method and system for in-band signaling of multiple media streams
US20070208750A1 (en) 2006-03-01 2007-09-06 International Business Machines Corporation Method and system for access to distributed data
DE102007026531A1 (de) * 2006-10-31 2008-05-08 Siemens Ag Verfahren zur Synchronisierung von Szene-Datenfiles und Mediendatenströmen in einem unidirektionalen Datenübertragungssystem
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
ES2600495T3 (es) * 2007-01-08 2017-02-09 Sk Telecom. Co., Ltd. Sistema y procedimiento para sincronizar contenido de difusión con información adicional
US8520057B2 (en) * 2008-11-04 2013-08-27 Electronics And Telecommunications Research Institute Method and system for transmitting/receiving 3-dimensional broadcasting service
US20110013888A1 (en) 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images
US9060193B2 (en) 2009-12-07 2015-06-16 Centurylink Intellectual Property Llc System and method for broadcasting video with a secondary audio source
JP5595028B2 (ja) 2009-12-14 2014-09-24 キヤノン株式会社 放送受信装置及び方法
US20120185905A1 (en) * 2011-01-13 2012-07-19 Christopher Lee Kelley Content Overlay System

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431834A (zh) * 2015-04-07 2017-12-01 索尼公司 传输设备、传输方法、接收设备、以及接收方法
CN113490016A (zh) * 2015-06-17 2021-10-08 韩国电子通信研究院 Mmt方法
CN113490016B (zh) * 2015-06-17 2023-08-22 韩国电子通信研究院 Mmt方法
CN111771385A (zh) * 2018-01-02 2020-10-13 源数码有限公司 作为辅助数据的坐标
CN111771385B (zh) * 2018-01-02 2022-07-05 源数码有限公司 作为辅助数据的坐标

Also Published As

Publication number Publication date
KR20130031767A (ko) 2013-03-29
WO2013042961A1 (en) 2013-03-28
JP6219826B2 (ja) 2017-10-25
EP2759142A4 (en) 2015-07-01
CN103891301B (zh) 2018-06-05
US20130074141A1 (en) 2013-03-21
JP2014530558A (ja) 2014-11-17
EP2759142B1 (en) 2018-08-08
KR101946861B1 (ko) 2019-02-13
US9877051B2 (en) 2018-01-23
EP2759142A1 (en) 2014-07-30

Similar Documents

Publication Publication Date Title
CN103891301A (zh) 用于同步多媒体广播服务的媒体数据的方法和装置
JP6352992B2 (ja) 対話型放送サービスを含む放送信号処理方法及び装置
US9596510B2 (en) Method for transmitting broadcast service, method for receiving broadcast service, and apparatus for receiving broadcast service
KR101991321B1 (ko) 멀티미디어 서비스 송수신 방법 및 장치
US9661371B2 (en) Method for transmitting a broadcast service, apparatus for receiving same, and method for processing an additional service using the apparatus for receiving same
US9667902B2 (en) Method for transmitting a broadcast service, method for receiving a broadcast service, and apparatus for receiving a broadcast service
US9723362B2 (en) Method for transmitting and receiving broadcast service and receiving device thereof
CN103535046A (zh) 用于广播服务的发送方法、接收方法及其接收设备
CN102461194A (zh) 主数字视频内容的回放期间插入录制的辅助数字视频内容
CN104662925A (zh) 处理交互服务的设备和方法
US20140380356A1 (en) Device and method for processing bi-directional service related to broadcast program
JP5864131B2 (ja) 放送通信連携システム、サーバ及びプログラム
CN1985507A (zh) 一种用于替换交互式应用的方法和装置
CN103327399B (zh) 快速展现epg数据的方法
KR20190073586A (ko) 멀티미디어 서비스 송수신 방법 및 장치
Moreno et al. Using Multpiple Interleaved Time Bases in Hypermedia Synchronization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180605

Termination date: 20210920