CN105723723B - 在媒体流之间使时间线信息相互关联 - Google Patents

在媒体流之间使时间线信息相互关联 Download PDF

Info

Publication number
CN105723723B
CN105723723B CN201480063569.0A CN201480063569A CN105723723B CN 105723723 B CN105723723 B CN 105723723B CN 201480063569 A CN201480063569 A CN 201480063569A CN 105723723 B CN105723723 B CN 105723723B
Authority
CN
China
Prior art keywords
media stream
time
timestamp value
monitor
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480063569.0A
Other languages
English (en)
Other versions
CN105723723A (zh
Inventor
H.M.斯托克金
M.O.范德文特
R.范布兰登伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Koninklijke KPN NV
Original Assignee
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Koninklijke KPN NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO, Koninklijke KPN NV filed Critical Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Publication of CN105723723A publication Critical patent/CN105723723A/zh
Application granted granted Critical
Publication of CN105723723B publication Critical patent/CN105723723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，其中所述第一媒体流和第二媒体流二者都与公共播出时间线相关联。该系统包括至少两个内容监视器，其各自被布置用于提供媒体流的一个或多个媒体样本的持久标识。该系统还包括相互关联子系统，其被布置用于接收与第二持久标识在时间上相关的第一持久标识、接收与第二媒体流的第二时间戳值在时间上相关的第一媒体流的第一时间戳值、将第一持久标识与公共播出时间线上的第一播出时间匹配并且将第二持久标识与第二播出时间匹配、以及基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而使第一时间线信息与第二时间线信息相互关联。

Description

在媒体流之间使时间线信息相互关联
技术领域
本发明涉及用于在第一媒体流和第二媒体流之间使时间线信息相互关联的系统和方法。本发明此外涉及包括该系统的媒体分发网络，涉及如在该系统中使用的内容监视器、时间线监视器或相互关联子系统，并且涉及包括用于使得处理器系统执行该方法的指令的计算机程序产品。本发明此外涉及同步客户端。
背景技术
诸如视频内容和音频内容的媒体内容通常以数字形式递送给用户。如果媒体内容具有时间方面，并且特别地与指示将如何随时间播出媒体内容的时间线相关联，则这样的数字形式通常被称为媒体流。媒体流可以经由媒体分发网络被递送给用户的接收器。特别地，媒体流可以被流式传输到接收器，这允许接收器在接收到整个媒体流之前开始媒体流的播出。然而，媒体流也可以以非流式传输的方式被递送到用户的接收器，例如通过以文件的形式被递送到接收器。
媒体流的示例包括诸如相机记录的或计算机再现的流之类的视频流、诸如麦克风记录的流之类的音频流、诸如字幕流或社交媒体流之类的定时文本流、在接收器处示出广告图像或执行动作的定时事件流、以及包括不同类型的媒体流的多媒体流。
不同的媒体流可以与公共播出时间线相关联，因为在媒体流之间可能存在时间关系。特别地，媒体流可以打算以同步的方式被播出。如果媒体流涉及相同事件的不同记录，例如，其中第一媒体流是视频流并且第二媒体流是音频流，或者第一媒体流是表示从第一相机角度的事件的记录的视频流并且第二媒体流也是视频流但是表示从不同相机角度的记录，则情况可能是这样。
因此，可能存在对于使得能够以同步的方式播出不同媒体流的需要。此外，可能存在对于使得能够例如跨不同接收器、以同步的方式播出相同的、类似的或不同的媒体流的需要。以下是其中可以采用这样的媒体同步的已知示例：
·社交TV，其中期望跨多个TV或多个用户的其它设备的相同或类似的媒体流的同步。相同或类似的媒体流可以包括相同流的技术变型，但是它们还可以包括对于相同事件、然而构成不同内容的流，诸如对相同事件、从不同相机角度的记录。
·混合TV，其中期望潜在地经由多个路由到达单个TV的多个媒体流的同步。这样的多个路由可以包括，例如，数字视频广播（DVB）、因特网协议（IP）多播和IP单播。
·伴随屏幕，其中期望在TV和伴随屏幕（例如平板设备）之间同步相同或不同的媒体流。注意到，术语“伴随屏幕”也已知为第二屏幕。
注意到，上述示例主要是指电视，但是对于其它类型的设备或接收器存在类似的示例。此外，在上述示例中，媒体流中的一些或全部可以是实时或准实时的媒体流。附加地或替代地，媒体流中的一些或全部可以例如由媒体分发网络来高速缓存，或者例如由个人视频记录器（PVR）来记录，或者构成这样称呼的重放（catch-up）TV或用户特技模式（trick-mode）媒体流。
广播方可以采用媒体同步来提供同步的服务，其中用户可以以各种广播方提供的组合、经由多个路由和/或在多个设备上组合媒体流。这样的同步可以发生在所有媒体流聚集的广播方的演播室系统中。而且，增值服务提供商可以采用媒体同步以提供增值同步服务。增值媒体流的示例包括提供对另一媒体流（例如广播的视频流）的评论、加字幕、音频描述或手语解释的媒体流。
与媒体同步相关联的问题可能是，尽管不同的媒体流可以在广播方或第三方处被同步，但是它们可能在被分发到终端用户时失去其同步性。例如，媒体流可以经由不同的路由被递送。这些路由由于距离（传输速度）、复用和路由（缓冲）、经高速缓存和记录的递送、信号处理（例如混合、转码）等方面的差异而具有不同的延迟。类似地，在增值服务提供商的情况下，可以从服务提供商递送增值媒体流，而可以从广播方、即经由不同的路由来递送原始广播流。
F. Boronat等人的文章“Multimedia group and inter-streamsynchronization techniques: A comparative study”（Elsevier InformationSystems, 34, 2009, pp. 108-131）提供了已知的目的地间同步技术（即不同最终终端之间的同步）的全面概述。
大多数引用的目的地间同步技术利用被包括在媒体流中的时间线信息。这里，术语“时间线信息”是指使得接收器能够根据播出时间线来播出媒体流的媒体样本的元数据。例如，如果经由实时传输协议（RTP）来递送媒体流，即构成RTP媒体流，则可以使用诸如RTP时间戳的时间线信息。时间线信息的其它示例包括这样称呼的节目时钟参考（PCR）、呈现时间戳（PTS）和解码时间戳（DTS）。通过跨不同的接收器比较这样的时间线信息，可以计算适当的流调整。为了使得能够跨接收器实现这样的比较，可以在接收器上使用同步的挂钟（wall-clock），或者替代地，具有很少和/或已知延迟的高质量信令连接。例如，可以通过在接收器处缓冲媒体流来实现媒体流的播出时间的延迟。
已经认识到，媒体流可能在媒体分发网络中丢失其原始时间线信息。这样的媒体分发网络通常由有线运营商、电信运营商和因特网服务提供商（其通常与广播方或增值服务提供商不同）所拥有。在这样的媒体分发网络中，媒体流可以在头端中被修改，以便使得媒体流适合于通过网络分发。这些网络可以是例如基于DVB的（DVB-T、DVB-C、DVB-H）、基于IP的（RTP/RTCP、IP多播、IP单播）。不同的编解码器（MPEG 2、H.264、HEVC）、传输技术（广播、流式传输、渐进式下载、自适应流式传输）等可以使用在媒体流的最终递送中。在这些过程中的一个或多个期间，媒体流可能被剥去其原始元数据。结果，原始时间线信息可能没有被包括在修改的媒体流中。替代地，可能包括新的元数据，其可以包括新的时间线信息。
对媒体流的这样的修改的示例包括：
•（再）复用。用于MPEG TS（传输流）的大多数复用器在进行复用时生成新的PCR/PTS/DTS值。然而，通常仅改变PCR/PTS/DTS的绝对值，而其跨媒体流的关系被维持。因而，音频-视频声像同步（lip sync）可以被保持。
•转码和重编码。这里，在传入和传出的媒体样本之间的所有关系可能丢失。例如，在视频流的情况下，视频流的帧可以变成不同的类型，例如从I帧到B帧。此外，如果帧率在转码和重编码期间改变，则在传入和传出的帧之间的一对一关系可能丢失。另外，媒体流的整个容器可能改变，例如从这样称呼的TS到ISOBFF，由此也改变时间线信息的类型。
•技术或商业原因。媒体分发网络可能拒绝传递时间线信息。例如，DVB同步辅助数据分组标识符（SAD-PID）可能默认地从传输流（TS）中剥去。这可能是故意的，例如出于所述商业原因，或者参数可能只是不被当前网络所支持，从而构成技术原因。
除了媒体流被修改并且从而丢失其原始时间线信息之外，这样的时间线信息也可能固有地在意图被同步播放但是已经初始地（例如在媒体流发源处）没被提供有公共时间线信息的不同媒体流之间不同。同样，这里可能存在对于媒体同步的需要。
WO 2010106075 A1描述了一种用于至少第一和第二（媒体）流的目的地间媒体同步的方法和系统，其中第二流是使用第一流作为输入流的流修改单元的输出流。该方法包括以下步骤：提供到达第一同步点的第一流中的分组的第一到达时间信息以及到达第二同步点的第二流中的分组的第二到达时间信息；提供关于在所述输入流和所述输出流之间的同步性关系的同步相互关联信息；以及，基于第一和第二到达时间信息以及同步相互关联信息来计算延迟信息。
发明内容
虽然WO 2010106075 A1使得能够在修改的和未修改的媒体流之间或者在两个不同地修改的流之间实现目的地间媒体同步，但是将会有利的是提供一种进一步在所述媒体同步的至少一个方面上有所改进的系统或方法。
本发明的第一方面提供了一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联，并且该系统包括：
-至少两个内容监视器，其各自被布置用于提供媒体流的一个或多个媒体样本的持久标识，所述持久标识是可以使用媒体流来可再现地获得的数据，其中，所述至少两个内容监视器包括用于提供第一媒体流的第一持久标识的第一内容监视器以及用于提供第二媒体流的第二持久标识的第二内容监视器；以及
-相互关联子系统，其被布置用于：
i）接收在时间上与第二持久标识相关的第一持久标识，
ii）接收在时间上与来自第二媒体流的时间线信息的第二时间戳值相关的来自第一媒体流的时间线信息的第一时间戳值，
iii）将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配；以及
iv）基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而将第一时间线信息与第二时间线信息相互关联。
实施例在从属权利要求中被限定。
上述措施提供了一种系统，该系统包括至少两个内容监视器。所述两个内容监视器中的每一个提供不同媒体流的一个或多个媒体样本的持久标识。这里，术语“持久标识”是指可以使用媒体流可再现地获得的数据。持久标识的示例包括指纹、水印以及标记，其以持久方式被包括在媒体流中。将领会到，这样的标识可以是持久的，因为它们对着在例如经由媒体分发网络的媒体流的分发期间媒体流可能经受的各种处理可以是稳健的。这样的标识还可以因为以下而是持久的：它们可以间接地从媒体流、例如从接收器的所捕获的播出中获得。因而，第一内容监视器至少提供第一媒体流的一个或多个媒体样本的第一持久标识，而第二内容监视器至少提供第二媒体流的一个或多个媒体样本的第二持久标识。
此外，提供了一种相互关联子系统，该相互关联子系统接收来自第一内容监视器的第一持久标识以及来自第二内容监视器的第二持久标识。这两个持久标识由相互关联子系统接收，在时间上相关。这里，术语“在时间上相关”是指相互关联子系统能够借助于时域属性或参数、诸如公共时间戳或公共接收时间来将第一持久标识链接到第二持久标识。
因为两个媒体流都与公共播出时间线相关联，所以可能存在对于以同步方式播出或以其它方式处理这两个媒体流的需要。然而，两个媒体流可以包括不同的时间线信息，例如，通过具有针对被包括在媒体流中的相同位置（即，媒体流的内容的相同部分）的不同时间戳值。
相互关联子系统被布置用于将第一持久标识与公共播出时间线上的第一播出时间匹配并且将第二持久标识与公共播出时间线上的第二播出时间匹配。例如，如果两个持久标识包括相同的指纹，则这可以指示：这两个持久标识涉及公共播出时间线上的相同播出时间。然而，所述匹配还可以基于标识信息来执行。标识信息可以包括，例如，多个持久标识以及公共播出时间线上的相关联的多个播出时间，从而使得相互关联子系统能够将两个持久标识与公共播出时间线上的不同播出时间匹配。
相互关联子系统还可以接收来自第一媒体流的时间线信息的第一时间戳值以及来自第二媒体流的时间线信息的第二时间戳值。因而，每个时间戳值是从被包括在相应媒体流中的时间线信息获得的，诸如呈现时间戳或RTP时间戳。两个时间戳值由相互关联子系统接收，在时间上相关。再次，术语“在时间上相关”是指相互关联子系统能够借助于时域属性或参数来将第一时间戳值链接到第二时间戳值。两个时间戳值可以涉及，例如，相应媒体流的当前媒体样本。这里，术语“当前媒体样本”是指媒体样本当前正在被播出或当前正以另一方式被处理。
已经确立了第一播出时间和第二播出时间后，相互关联子系统可以基于第一播出时间与第二播出时间的比较来生成相互关联信息。相互关联信息使得能够在第一媒体流和第二媒体流之间使不同的时间线信息相互关联。这里，术语“相互关联”是指系统使得第一媒体流的时间线信息能够与第二媒体流的时间线信息相关。因此，来自第一媒体流的时间线信息的时间戳或其它定时数据可以与来自第二媒体流的时间线信息的定时数据相关，且反之亦然。
因为两个媒体流的时间戳值被接收，在时间上相关，所以这是可能的。因此，使得系统能够按照存在于时间上的第一时刻处的时间戳值来确定两个媒体流之间的时间差。此外，两个媒体流的持久标识被接收，在时间上相关，并且两者都与公共播出时间线匹配。因此，使得系统能够按照播出来确定两个媒体流之间的时间差。如果以上在两个媒体流的回放或其它处理期间被执行，则这两个差异彼此相关，因为时间戳值中的差异对应于播出中的差异，而不论确定这两个差异时的时间上的确切时刻如何。因此，不需要在时间上的相同时刻也不需要对于媒体流的相同部分（例如，相同媒体样本）获得媒体流的时间戳值作为媒体流的持久标识。作为上述的结果，第一媒体流的时间线信息可以与第二媒体流的时间线信息相互关联，因为至少第一时间戳值可以与第二时间戳值相互关联，其中所述相互关联通常能够归纳以使得能够实现两个媒体流之间的整个时间线信息的相互关联。因此，在已经匹配了相应媒体流的持久标识一次或有限次数之后，两个媒体流的时间线信息可以被直接相互关联，即，没有另外使用持久标识。
发明人已经认识到以下内容。与根据媒体流中包括的时间线信息来确定时间戳值相比，获得媒体流的一个或多个媒体样本的持久标识在计算上可能是相对复杂的。类似地，持久标识与时间戳值相比可能需要更多的带宽来传输。因而，可能不利的是，要求媒体同步要被应用于的所有设备提供这样的持久标识。然而，发明人已经认识到，这样的设备的群组可能可以访问相同版本的第一媒体流，因为其包括相同的时间线信息。例如，设备的群组可以位于媒体分发网络的相同分段中。这里，术语分段是指媒体分发网络的一部分，跨所述部分，媒体流通过在第一边界处包括针对媒体流的输入并且在第二边界处包括针对媒体流的至少一个输出或端点来被分发，其中在输入和输出处的媒体流基本上是相同的。因而，在跨分段的分发期间维持媒体流的时间线信息。
尽管基于仅仅时间线信息的在第一分段中的第一设备群组和第二分段中的第二设备群组之间的媒体同步出于较早前提到的原因而可能不可靠，但是本发明使得能够通过在例如第一分段中或附近提供用于监视第一媒体流的第一内容监视器和在例如第二分段中或附近提供用于监视第二媒体流的第二内容监视器来实现这样的媒体同步。因此，没有必要使第一分段和/或第二分段内的所有设备获得和提供这样的持久标识。相反，在已经组合了从内容监视器接收的信息与相关联的时间戳之后，随后可以基于所述设备提供了相应媒体流的时间线信息（其然后可以通过相互关联子系统而被相互关联）来在两个分段之间、即在两个分段中的设备上提供媒体同步。
因而，本发明可以使得能够用先前不相关的时间戳来实现媒体流的同步，这要么在用于提供流间同步或声像同步的一个设备上，要么在用于提供流间和设备间同步（诸如伴随屏幕同步）或目的地间同步的设备之间。特别地，本发明可以使得能够基于相应媒体流的时间线信息来实现第一媒体流和第二媒体流之间的媒体同步，而没有由于时间线信息在这样的媒体流之间可能不同这一事实而引起的通常与这样的媒体同步相关联的不可靠性。另外的优点可以是，这样的媒体同步要应用于的设备可以不需要提供持久标识。相反，这样的设备可能在提供媒体流的时间线信息的情况下就足够了，诸如与媒体流的当前媒体样本相关联的时间戳。因而，需要较小的带宽和/或较小的计算复杂度来实现跨设备群组的媒体同步。
发明人此外已经认识到，虽然获得持久标识（此后：内容监视）以及来自相同媒体流的时间线信息（此后：时间线监视）的时间戳值可以由单个流监视器来执行，所述单个流监视器获得来自媒体流的持久标识和来自媒体流的时间线信息的时间戳值，但是该功能性还可以拆分到两个不同的实体上，即上述内容监视器和另一实体，例如，时间线监视器。通过确保不同内容监视器和不同时间线监视器的信息由相互关联子系统在时间上相关地接收，从内容监视器获得的持久标识可以再次与从例如监视相同媒体流的时间线监视器获得的时间戳值相关联。这提供了附加的优点：流监视器的两个功能，即内容监视和时间线监视，不必在相同的位置处执行。特别地，可能没有必要使内容监视器可以访问媒体流本身（其比特流）。相反，为了获得持久标识，例如获得媒体流的播出的所捕获的输出可能就足够了。因而，可能甚至没有必要使内容监视器是媒体分发网络或其接收器的部分。相反，内容监视器可以在分离的设备中被实现，诸如例如通过捕获接收器的媒体流的播出的输出来获得持久标识的捕获设备。将领会到，技术人员可以设想不必在相同位置处执行内容监视和时间线监视的各种其它有利使用。
在实施例中，可以基于所述至少两个内容监视器中的每一个来接收时间上相关的第一持久标识和第二持久标识，所述内容监视器被布置用于：
i）基于在所述至少两个内容监视器之间同步的时钟信号来确定与持久标识相关联的挂钟时间戳值，以及
ii）将挂钟时间戳值连同持久标识一起提供到相互关联子系统。
这里，术语“挂钟”是指设备上本地可用的时钟。通常，为此使用系统时钟，但是挂钟还可以是保持其自己的时间的应用的部分。挂钟可以给出实际时间，即，与正确的实际时间全局同步。但是，同步的挂钟也可能在绝对值上是不正确的，即，示出相当提前或落后于实际时间的时间，但是仍然彼此同步。通过将挂钟时间戳值连同持久标识一起提供给相互关联子系统，使得相互关联子系统能够使两个不同的持久标识在时间上相关，即通过使相关联的挂钟时间戳值在时间上相关。将领会到，可以容易地在时间上使挂钟时间戳值相关，因为在挂钟时间戳值之间的差异直接表示该时间上的相关。因而，相互关联子系统可以确定持久标识是否在时间上相同的时刻被获得、或者它们是否在时间上不同的时刻被获得、在时间上的所述时刻之间的差异是什么。
在实施例中，可以基于所述至少两个内容监视器来接收时间上相关的第一持久标识和第二持久标识，所述内容监视器在时间上同步地获得持久标识并且向相互关联子系统提供持久标识。通过在时间上同步地获得持久标识并且在时间上同步地向相互关联子系统提供持久标识，这两个持久标识在时间上自动地相关，因为它们被同步地、即同时或以已知的延迟而被获得和提供。因此不需要使内容监视器连同持久标识一起提供挂钟时间戳值。注意到，所述同步性可以要么由相互关联子系统来建立，例如通过相互关联子系统同时请求来自内容监视器的信息并且用公共时间戳来对接收到的信息加时间戳。所述同步性还可以通过内容监视器本身来建立，例如通过内容监视器同时向相互关联子系统发送信息，所述相互关联子系统由同步的挂钟触发或以其它方式链接到同步的挂钟。
在实施例中，所述系统可以此外包括至少两个时间线监视器，所述至少两个时间线监视器中的每一个被布置用于提供来自媒体流的时间线信息的时间戳值，其中所述至少两个时间线监视器包括用于提供第一媒体流的第一时间戳值的第一时间线监视器以及用于提供第二媒体流的第二时间戳值的第二时间线监视器。通过提供时间线监视器，与内容监视器分离的实体被提供用于从媒体流的时间线信息获得时间戳值。因此，时间线监视器可以与内容监视器分离地实现，例如在接收器中。然而，内容监视器和时间线监视器可以通过共同监视媒体流来有效地提供流监视器的（分布式）实现。
在实施例中，可以基于所述至少两个时间线监视器中的每一个来接收时间上相关的第一时间戳值和第二时间戳值，所述时间线监视器被布置用于：
i）基于在所述至少两个时间线监视器之间同步的时钟信号来确定与第一时间戳值相关联的挂钟时间戳值，以及
ii）将挂钟时间戳值连同时间戳值一起提供到相互关联子系统。
通过将挂钟时间戳值连同所提及的第一时间戳值一起提供到相互关联子系统，使得相互关联子系统能够使两个不同的时间戳值在时间上相关，即通过使相关联的挂钟时间戳值在时间上相关。这里，来自媒体流的时间线信息的时间戳值可以被认为是“内容”时间戳值，以在语义上使其与挂钟时间戳值区分。将领会到，挂钟时间戳值可以容易地在时间上相关，因为挂钟时间戳值之间的差异直接表示该时间上的相关。然而，两个媒体流的时间线信息可能是不同的，并且因而产生在其面上不相关的内容时间戳值。因而，相互关联子系统可以确定两个时间戳值是否在时间上相同的时刻从时间线信息被获得、或者它们是否在时间上不同的时刻被获得、在时间上的所述时刻之间的差异是什么。
在实施例中，可以基于所述至少两个时间线监视器中的每一个来接收时间上相关的第一时间戳值和第二时间戳值，所述时间线监视器在时间上同步地获得时间戳值并且向相互关联子系统提供时间戳值。通过在时间上同步地获得时间戳值并且在时间上同步地向相互关联子系统提供时间戳值，两个时间戳值在时间上自动地相关，因为它们被同步地、即同时或以已知延迟而被获得和提供。因此不需要使时间线监视器连同（内容）时间戳值一起提供挂钟时间戳值。注意到，所述同步性可以要么由相互关联子系统来建立，例如通过相互关联子系统同时请求来自时间线监视器的信息并且用公共时间戳来对接收到的信息加时间戳。所述同步性还可以通过时间线监视器本身来建立，例如通过时间线监视器同时向相互关联子系统发送信息，所述相互关联子系统由同步的挂钟触发或以其它方式链接到同步的挂钟。
在实施例中，第一媒体流可以经由媒体分发网络的第一分段来分发，并且第二媒体流可以经由媒体分发网络的第二分段来分发，并且第一内容监视器和第一时间线监视器可以与第一分段相关联，并且第二内容监视器和第二时间线监视器可以与第二分段相关联。这里，术语与媒体分发网络的“分段相关联”是指被包括在该分段中，以及位于与该分段邻近处。例如，时间线监视器可以被包括在分段中的接收器中，而内容监视器可以在捕获设备中被实现，所述捕获设备被布置用于捕获由接收器进行的媒体流的播出的输出，但是因而，可以被认为不是媒体分发网络本身的部分。注意到，分段可以由媒体分发网络中的不同头端来形成。这里，术语“头端”是指媒体分发网络中的功能实体，其充当用于多个设备、诸如多个接收器的分发点。通过在第一分段中提供第一分布式流监视器、即第一内容监视器和第一时间线监视器，并且在第二分段中提供第二分布式流监视器、即第二内容监视器和第二时间线监视器，可以获得相互关联信息，其使得能够跨两个分段的所有设备、在第一媒体流和第二媒体流之间实现媒体同步。因此，可以不需要使所述设备将持久标识本身提供给相互关联子系统。
在实施例中，媒体分发网络可以包括同步子系统，其用于关于第二媒体流执行同步动作，并且相互关联子系统可以被布置用于提供定时信息，以用于使得同步子系统能够基于第一媒体流的时间线信息来执行同步动作。这里，同步子系统是“子系统”，因为它可以但可以不必是如所要求保护的媒体分发网络和/或系统的部分。同步子系统可以为客户端-服务器类型的，因为其包括同步服务器和多个同步客户端。相互关联子系统可以与同步子系统的实体进行交互，以使得能够基于第一媒体流的时间线信息来关于第二媒体流执行同步动作。将领会到，这样的交互可以采取各种形式，诸如查询-响应类型的交互，其中，同步子系统的实体提供包括来自第二媒体流的时间线信息的时间戳的查询，并且相互关联子系统提供以定时信息形式的响应，所述定时信息包括来自与公共播出时间线上的相同播出时间相关的第一媒体流的时间线信息的时间戳。这样的查询-响应类型的交互的格式可以例如由应用编程接口（API）来指定。事实上，相互关联子系统可以提供用于同步子系统的实体的转化服务，所述转化服务包括将来自第二媒体流的时间线信息的时间戳和其它定时数据转化为第一媒体流的时间线信息。注意到，供给相互关联信息的其它方法是将完整的相互关联信息从相互关联子系统发送到同步子系统，并且使同步子系统执行必要的转化。
在实施例中，同步动作可以是以下各项的组中的一个：
-媒体流缓冲或向前跳过以使得能够在多个接收器上同步回放第一媒体流和/或第二媒体流，
-媒体流缓冲或向前跳过以使得能够在接收器上同步回放第一媒体流与第二媒体流，和
-与接收器上的媒体流播出同步地触发接收器上的应用。
关于媒体流缓冲的同步动作可以是合期望的，以便于在较早前提及的社交TV场景中、混合TV场景中和伴随屏幕场景中实现媒体同步，在所述社交TV场景中期望跨多个用户的多个接收器的相同或类似媒体流的同步，在所述混合TV场景中期望对单个接收器的不同媒体流的同步，在所述伴随屏幕场景中期望在TV接收器和伴随屏幕之间同步相同或不同的媒体流。注意到，媒体流缓冲可以但可能不需要在接收器本身上实现，即，通过使用内部同步客户端。例如，媒体流缓冲还可以通过被包括在媒体分发网络中接收器的上游的同步客户端来执行。关于对应用的触发的同步动作可能是合期望的，以实现提问问题、广告等的同步呈现，或者触发应用以执行其它类型的动作。
在实施例中，所述至少两个内容监视器中的一个或多个可以被布置用于从媒体流的播出的捕获来获得媒体流的持久标识。因此，可以不需要使内容监视器访问媒体流本身（的比特流）。这允许内容监视器被容易地添加，而不必修改媒体分发网络本身。例如，内容监视器可以在平板设备上被实现，其可以通过使用播出的相机记录来执行视频指纹识别或检测视频水印或者通过使用播出的麦克风记录来执行音频指纹识别。
在实施例中，持久标识可以是以下各项的组中的一个：一个或多个媒体样本的指纹、水印和标记。指纹和水印出于其提供媒体流的一个或多个媒体样本的持久标识的能力而众所周知，因为每一个都产生可以在媒体流的分发期间通过使用媒体流可再现地获得的数据。而且，以持久方式被包括在媒体流中的标记使得这样的数据能够从媒体流可再现地获得。注意到，如果标记被包括在媒体流中，则这可能需要内容监视器能够访问该媒体流，例如访问媒体流的比特流。
在实施例中，第二媒体流可以是第一媒体流的修改版本，所述修改版本包括与第一媒体流的时间线信息不同的时间线信息。所述系统可以用于使得能够在第一媒体流和第一媒体流的修改版本之间使时间线信息相互关联。这样的修改可能在媒体流的分发期间频繁发生。因此，所述系统可以使得能够基于（未修改的）第一媒体流的时间线信息来实现第一媒体流的修改版本的媒体同步，这是因为利用了持久标识，所述持久标识是可从第一媒体流的未修改的以及修改的版本二者中再现的，即耐抗于这样的修改。
在本发明的另一方面中，媒体分发网络可以包括所述系统。
在本发明的另一方面中，内容监视器、时间线监视器和/或相互关联子系统可以被提供为在所述系统中使用。
在本发明的另一方面中，同步客户端可以被提供用于供所述系统使用，所述同步客户端是同步子系统的部分，并且其中，同步客户端被布置用于向相互关联子系统标识其中包括同步客户端的分段，以使得能够从相互关联子系统接收针对该分段的定时信息。相互关联子系统可以被布置用于基于被包括在不同分段中的不同内容监视器和时间线监视器来提供用于在媒体分发网络的不同分段中使用的定时信息。通过标识其中包括同步客户端的分段，例如，通过报告手动配置的参数、来自电子节目指南（EPG）的参数、来自接收到的流的参数等，使得相互关联子系统能够向同步客户端提供适当的定时信息，即，其基于被包括在同步客户端的分段中的内容监视器和时间线监视器的信息。
在本发明的另一方面中，提供了一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的方法，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联，并且所述方法包括：
-接收与第二媒体流的第二持久标识在时间上相关的第一媒体流的第一持久标识，所述持久标识中的每一个是可以使用相应媒体流来可再现地获得的数据；
-接收与来自第二媒体流的时间线信息的第二时间戳值在时间上相关的来自第一媒体流的时间线信息的第一时间戳值；
-将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配，以及
-基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而将第一时间线信息与第二时间线信息相互关联。
在本发明的另一方面中，可以提供一种计算机程序产品，其包括用于使得处理器系统执行所述方法的指令。
本领域技术人员将领会到，本发明的以上提及的实施例、实现方式和/或方面中的两个或更多可以以被认为有用的任何方式进行组合。
与系统的所述修改和变型相对应的方法和/或计算机程序产品的修改和变型可以由本领域技术人员基于本说明书来实施。
在独立权利要求中限定本发明。在从属权利要求中限定有利的还可选的实施例。
附图说明
本发明的这些和其它方面从以下描述的实施例中是显而易见的并且将参考以下描述的实施例进行说明。在附图中，
图1图示了用于媒体同步的多个使用情况；
图2图示了分段的媒体分发网络；
图3示出了其中通过捕获由接收器输出的媒体内容来获得持久标识的根据本发明的系统；以及
图4示出了根据本发明的另一系统，其采用用于从在时间上相关的内容监视器接收信息并且从在时间上相关的时间线监视器接收信息的不同机制。
应当注意到，在不同的图中具有相同参考标号的项具有相同的结构特征和相同的功能，或者是相同的信号。在其中已经解释了这样的项的功能和/或结构的情况下，没有必要在详细描述中重复对其的解释。
具体实施方式
图1示出了媒体分发网络101，其中多个媒体流020-024被递送到各种用户设备（UE）181-185。这里，术语用户设备是指被布置用于接收并通常还播出一个或多个媒体流的终端用户的设备。这样的设备也被称作接收器、终端或最终终端。图1图示了通常的媒体同步的各种使用情况，其中分别源自媒体流A源发器110和媒体流B源发器112的媒体流A 020和媒体流B 022可以提供两个不同的相机视图，而媒体流C源发器114可以来自以例如评论员音频流的形式提供媒体流C 024的增值服务提供商。例如，评论员可以观看媒体流B 022，并且使用媒体流C 024来提供他或她的评论。
媒体分发网络101被示出为包括以转码器120和复用器122（简言之也称为混合器）形式的流修改器120、122。转码器120被示出为对媒体流B 022进行转码，由此提供转码版本的媒体流B 040，而复用器122被示出为复用媒体流B 022与媒体流C 024，由此建立混合的媒体流042。上述媒体流020-042被示出为递送到各种用户设备，以说明下述使用情况
混合TV使用情况：
1. UE1 181可以是下述混合TV：其从媒体流源发器1接收主要广播媒体流、如DVB流并且从媒体流源发器2接收辅助媒体流、如MPEG-DASH流。
2. UE1 181还可以是下述混合TV：其从媒体流源发器1接收主要广播媒体流、如DVB流并且从媒体流源发器2接收辅助媒体流、如RTP/IP流。
3. UE1 181还可以是下述混合TV：其从媒体流源发器1接收主要媒体流、如因特网协议TV（IPTV）多播流并且从媒体流源发器2接收辅助媒体流、如RTP/IP流。
社交TV使用情况：
1. UE2 182和UE3 183可以是用于社交TV的两个TV。UE2可以从媒体流源发器2接收媒体流，而UE3可以接收相同媒体流的经转码的版本。
2. UE2 182和UE4 184可以是用于社交TV的两个TV。UE4可以从媒体流源发器2和3接收对媒体流进行组合的混合媒体流。
伴随屏幕使用情况：
1. UE2 182可以是TV并且UE3 183可以是平板设备。一个媒体流可以在TV上播放，并且该媒体流的转码版本可以在平板设备上播放。
2. UE2 182可以是TV并且UE5 185可以是平板设备。一个媒体流可以在TV上播放，并且不同的媒体流在平板设备上播放。
将领会到，上述使用情况建立对媒体同步的需要。本发明可以有利地用于使得能够实现这样的媒体同步，并且特别地但不限于，用于在分段的媒体分发网络中或与之相关联的设备。这里，术语分段的媒体分发网络是指包括各自跨越地分发一个或多个媒体流的若干分段的媒体分发网络。
图2示出了这样的分段媒体分发网络103的示例。媒体分发网络103被示出为包括媒体流源发器110-114以及以转码器120和复用器122形式的流修改器120、122。相对于图1的媒体分发网络的差异是，在图2中，媒体流被示出为递送到媒体分发网络103的头端141-145，其中头端中的每一个充当用于多个设备、诸如相应终端用户的多个接收器的分发点。因此，头端建立媒体分发网络103的、各自包括不同的多个设备的多个分段161-165。
图3示出了根据本发明的系统，该系统使得能够在第一媒体流（即媒体流A 020）和第二媒体流（即媒体流B 022）之间使时间线信息相互关联。这里，媒体流A和媒体流B二者都与公共播出时间线相关联。图3还示出了四个接收器，即第一接收器181、第二接收器182、第三接收器183和第四接收器184。接收器被示出为被包括在两个集群中，即包括第一接收器181和第二接收器182的第一集群161以及包括第三接收器183和第四接收器184的第二集群162。在图3的示例中，第一集群161中的接收器191、192各自可以访问媒体流A，并且第二集群162中的接收器193、194各自可以访问媒体流B。所述访问可以通过以下来被提供：媒体流被流式传输到接收器、以文件的形式而可用于接收器、或上述的组合。还注意到，集群可以对应于图2中所示的分段媒体分发网络的前述分段，其中，第一接收器181和第二接收器182可以被包括在第一分段中，并且第三接收器183和第四接收器184可以被包括在媒体分发网络的第二分段中。
图3还示出了根据本发明的两个内容监视器，即第一内容监视器201和第二内容监视器202。至少两个内容监视器中的每一个可以被布置用于提供媒体流的一个或多个媒体样本的持久标识，所述持久标识是可以使用媒体流而可再现地获得的数据。图3示出了获得媒体流A的持久标识的第一内容监视器201以及获得媒体流B的持久标识的第二内容监视器202。作为示例，图3示出了每个内容监视器201、202分别从第一接收器211和第二接收器183进行的媒体流的播出的捕获中获得相应媒体流的持久标识。然而，这不是限制，因为内容监视器201、202中的一个或多个还可以以另一方式获得持久标识，例如通过直接分析相应媒体流。例如，内容监视器可以是接收器的部分，而时间线监视器可以是内容分发网络中上游网络元件的部分，例如在接收器驻留于其中的本地网络中的归属网关上或者在甚至进一步上游的网络节点上。这里，媒体同步的准确性可以取决于各种分段之间的内容监视器和时间线监视器之间的延迟差异。如果在时间线监视器和内容监视器之间的延迟例如在第一分段中是2秒并且在第二分段中是1秒，则在相互关联中可能引入1秒的不准确性。然而，如果这样的延迟是已知的，例如基于网络中的延迟的测量，则可以补偿该不准确性。
图3还示出了两个时间线监视器，即第一时间线监视器211和第二时间线监视器212。所述至少两个时间线监视器211、212中的每一个可以被布置用于提供来自媒体流的时间线信息的时间戳值。图3图示了提供媒体流A的时间戳值的第一时间线监视器201以及提供媒体流B的时间戳的第二时间线监视器202。每个时间线监视器201、202被示出为被包括在来自不同集群161、162的接收器中，即第一时间线监视器201被包括在第一接收器181中，从而可以访问媒体流A，并且第二时间线监视器被包括在第三接收器183中，从而可以访问媒体流B。将领会到，替代地，每个时间线监视器还可以与相应的接收器分离地位于不同分段或集群中，例如，通过被实现为独立实体。
图3还示出了相互关联子系统300。根据本发明，相互关联子系统300可以被布置用于接收媒体流A的持久标识（即第一持久标识），其与媒体流B的持久标识（即，第二持久标识）在时间上相关。此外，相互关联子系统300可以被布置用于接收来自媒体流A的时间线信息的时间戳值（即，第一时间戳值），其与来自媒体流B的时间线信息的时间戳值（即，第二时间戳值）在时间上相关。为了该目的，相互关联子系统300可以例如经由消息302的交换来与内容监视器201、202和时间线监视器211、212中的每一个进行通信。
然后，相互关联子系统300可以将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配。为了该目的，相互关联子系统300可以利用标识信息。标识信息可以包括，例如，多个持久标识以及公共播出时间线上的相关联的多个播出时间，由此使得相互关联子系统300能够将两个持久标识与公共播出时间线上的不同播出时间匹配。标识信息可以被包括在数据库310中。标识信息可以是参考信息，因为其可以被预生成或预加载。因而，数据库310可以是参考数据库。标识信息还可以通过相互关联子系统300本身生成，例如，通过内容监视器和时间线监视器向相互关联子系统300提供规律的输出并且相互关联子系统300将所述输出存储在数据库310中。
在已经将第一持久标识与公共播出时间线上的第一播出时间匹配并且将第二持久标识与公共播出时间线上的第二播出时间匹配了之后，相互关联子系统300然后可以基于第一播出时间与第二播出时间的比较来生成相互关联信息。这使得相互关联子系统能够将第一时间戳值与第二时间戳值相互关联，并且从而使媒体流A的时间线信息与媒体流B的时间线信息相互关联。
图3还示出了用于关于第一和/或第二媒体流执行同步动作的同步子系统。这里，同步子系统由多个同步客户端401-404组成，所述同步客户端401-404进而被包括在接收器181-184中。此外，相互关联子系统300被示出为起到同步服务器的作用，这通过提供定时信息，用于使得同步客户端能够基于另一媒体流的时间线信息来执行同步动作。
因此，借助于定时信息，被包括在第一集群161中的第一同步客户端401可以基于媒体流B的时间线信息来关于媒体流A执行同步动作，而被包括在第二集群162中的第三同步客户端403可以基于媒体流A的时间线信息来关于媒体流B执行同步动作。通常，这样的同步动作可以是例如，媒体流缓冲或向前跳过以使得能够在多个接收器上同步回放第一媒体流和/或第二媒体流、媒体流缓冲或向前跳过以使得能够在接收器上同步回放第一媒体流与第二媒体流、或者与接收器上的媒体流播出同步地触发接收器上的应用。例如，由相互关联子系统300提供的定时信息可以使得第一集群161中的媒体流A能够与第二集群162中的媒体流B同步播出。注意到，在媒体流缓冲的情况下，可以同步点播和实况流二者，因为两种类型的流可以被缓冲。然而，在向前跳过的情况下，仅点播流（包括时移电视）可以被向前跳过。在例如时移电视的情况下，仅短的时间量（即，移位的时间）可以被向前跳过。
注意到，为了使相互关联子系统300接收时间上相关的第一持久标识和第二持久标识，存在各种选项。这还适用于接收时间上相关的第一时间戳值和第二时间戳值的相互关联子系统300。例如，内容监视器201、202可以在时间上同步地从相应的媒体流获得持久标识，并且在时间上同步地向相互关联子系统300提供持久标识。为了该目的，内容监视器201、202可以利用公共或同步挂钟。所述同步的提供还可以通过从相互关联子系统同时向两个内容监视器的请求来触发。类似地，时间线监视器211、212可以在时间上同步地获得来自相应媒体流的时间线信息的时间戳值，并且同步地向相互关联子系统300提供时间戳值。为了该目的，时间线监视器211、212还可以利用公共或同步挂钟。所述同步的提供还可以通过从相互关联子系统同时向两个时间线监视器的请求来触发。
图4示出了根据本发明的系统的另一示例。这里，不同的机制用于相互关联子系统300，其接收在时间上相关的第一持久标识和第二持久标识，并且接收在时间上相关的第一时间戳值和第二时间戳值。图4示出了以呈现设备A和呈现设备B的形式的两个接收器，其中呈现设备A接收或以其它方式访问媒体流A并且呈现设备B接收或以其它方式访问媒体流B。呈现设备A包括时间线监视器A 211，而呈现设备B包括时间线监视器B 212。呈现设备A和B可以是，例如，电视、机顶盒、音频接收器等。两个呈现设备可以具有相同的类型，但也可以具有不同的类型。例如，呈现设备A可以是用于播出视频流A的电视，并且呈现设备B可以是用于播出在视频流A上提供评论的音频流B的音频接收器。图4还示出了两个捕获设备，即包括内容监视器A 201的捕获设备A以及包括内容监视器B 202的捕获设备B。每个捕获设备可以是，例如，平板设备、智能电话等。捕获设备A被示出为捕获呈现设备A的、即媒体流A的播出，而捕获设备B被示出为捕获呈现设备B的、即媒体流B的播出。这样的捕获可以是，例如，视频记录、音频记录等。因此，可以使得每个内容监视器能够获得相应媒体流的一个或多个媒体样本的持久标识，这基于其播出的所捕获的输出，例如通过将指纹识别或水印检测应用于所捕获的输出。
图4示出了相互关联子系统300，其如下接收在时间上相关的第一持久标识和第二持久标识，即通过内容监视器201、202中的每一个，所述内容监视器被布置用于基于在所述至少两个内容监视器之间同步的时钟信号来确定与持久标识相关联的挂钟时间戳值，并且向相互关联子系统提供挂钟时间戳值连同持久标识。这在图4中通过可以访问同步的时钟的内容监视器A和内容监视器B来图示。图4还示出了所述输出与数据库310的内容直接匹配，从而使第一持久标识与公共播出时间线上的第一播出时间匹配，并且使第二持久标识与公共播出时间线上的第二播出时间匹配。因此，使得相互关联子系统300能够确定在呈现设备A和呈现设备B之间的播出时间上的差异。
图4还示出了相互关联子系统300，其如下接收在时间上相关的第一时间戳值和第二时间戳值，即通过时间线监视器211、212中的每一个，所述时间线监视器被布置用于基于在所述至少两个时间线监视器之间同步的时钟信号来确定与时间戳值相关联的挂钟时间戳值，并且向相互关联子系统提供挂钟时间戳值连同时间戳值。特别地，第一时间线监视器211被示出为提供来自媒体流A的时间线信息的时间戳值、即内容时间戳（CTS）值CTSA，连同播出时间戳（PTS）值PTSA，而第二时间线监视器212被示出为提供来自媒体流B的时间线信息的时间戳值、即内容时间戳值CTSB，连同播出时间戳值PTSB。这里，每个播出时间戳值是从同步的挂钟得到的，并且因而事实上构成挂钟时间戳值的示例。在该示例中，当播出或以其它方式处理内容时间戳值与之相关联的媒体流的片段时，可以以近似的时间从挂钟获得播出时间戳值。
下面提供了系统的操作的更详细的示例。在该示例中，假设在两个呈现设备A和B之间的播出定时方面的差异是4秒，其中呈现设备A在前，即，当播出内容的某个部分时，与呈现设备B相比，呈现设备A早4秒。播出定时中的该差异可能已经通过相互关联子系统、基于内容监视器A和B的输出被确立。此外，假设时间线监视器A和B向相互关联子系统提供下述信息：
-时间线监视器A在PTS 20:23:45处报告CTS 1:23:45
-时间线监视器B在PTS 20:23:50处报告CTS 8:45:56。
为了简单起见，上述示例中的时间戳全部是以使用常规时间的格式，即小时/分/秒。在实践中，时间戳可以或可以不具有不同的偏移、不同的粒度和不同的频率。为了计算目的，时间戳的语义可能需要被知道或估计，特别是频率（即，每时间单位的时间戳增加的量，例如，90000Hz对视频来说相当常见，每秒增加90000）。
在这方面，注意到，具有来自时间线信息的重复时间戳值可以使得相互关联子系统能够确定该频率。作为示例，如果第一时间戳值1,800,000处于12:34:44的挂钟时间，并且相同时间线信息的、即相同媒体流的第二时间戳值在挂钟时间12:34:55时是2,700,000，则相互关联子系统可以确立10秒中900,000的增加，并且因而确定了来自该媒体流的时间线信息具有90,000的频率。注意到，不准确的时钟（例如时钟漂移）或网络抖动可能对该确定的准确性有影响，并且重复的测量可以抵消这样的效应。
在该示例中，可以确定在什么CTS值下，呈现设备B相比于呈现设备A在时间上晚4秒。考虑呈现设备A的20:23:45的PTS值，呈现设备B的PTS值可以被确定为20:23:49（相比于A晚4秒）。这提供了8:45:55的CTS值，因为用于呈现设备B的报告在20:23:50时被发送，即，比期望的晚1秒。因此，可以由相互关联子系统确定：1:23:45的CTSA相互关联于8:45:55的CTSB。基于该相互关联，媒体流A的时间线信息可以一般地与媒体流B的时间线信息相互关联，即通过将上述偏移或其它函数应用于其它时间戳值，由此有效地使得相互关联子系统能够在两个媒体流之间转化时间线信息。
注意到，在时间上相关的另一方式是，如果两个内容监视器在具有很少和/或已知延迟的连接上向相同实体、即相同的相互关联子系统发送其信息。具有很少和/或已知延迟意指，如果两个内容监视器将其信息发送给相互关联子系统，则相互关联子系统可以确定由内容监视器确定信息的时间。这可能需要内容监视器在确定其信息（即其持久标识）之后立即、或以已知延迟（例如，在持久标识应用于的一个或多个媒体样本的开始之后5秒发送它）来发送其信息。这样，相互关联子系统可以将时间戳置于接收到的持久标识上，并且减去在确定持久标识的内容监视器和接收所述标识的相互关联子系统之间的已知延迟。
一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的方法，其中所述第一媒体流和第二媒体流二者都与公共播出时间线相关联，该方法可以包括，在标题为“接收时间上相关的持久标识”的第一步骤中，接收与第二媒体流的第二持久标识在时间上相关的第一媒体流的第一持久标识，所述持久标识中的每一个是可以使用相应媒体流可再现地获得的数据。该方法还可以包括，在标题为“接收在时间上相关的时间戳值”的第二步骤中，接收与来自第二媒体流的时间线信息的第二时间戳值在时间上相关的来自第一媒体流的时间线信息的第一时间戳值。该方法还可以包括，在标题为“将持久标识与播出时间线匹配”的第三步骤中，将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配。该方法还可以包括，在标题为“生成相互关联信息”的第四步骤中，基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而使第一时间线信息与第二时间线信息相互关联。注意到，上述步骤可以以任何合适的次序来执行。特别地，第一步骤和第二步骤可以同时或以任何顺序的次序来执行。此外，计算机程序产品可以包括用于使得处理器系统执行方法的指令。计算机程序产品还可以是分布式的，因为不同的指令可以被提供以使得不同的处理器系统共同执行方法。
注意到，通常，如由流监视器获得的持久标识可以由指纹、水印或标记、或者所述持久标识的组合构成，但不限于这些示例。
在这方面，注意到，术语“指纹识别”是指这样的技术，所述技术本身从计算机科学领域中已知，并且尝试使用相对小量的数据（即指纹）来唯一地标识相对大量的数据，即建立其标识。例如，可以使用大量数据或甚至其（小）范围的散列。流监视器可以利用这样的已知技术，诸如视频指纹识别和/或音频指纹识别。指纹识别可以基于特定媒体样本，例如，视频帧、音频样本、时间-文本-样本等，或基于媒体样本的（短）范围，例如音频的几秒或多个连续视频帧。因此，如果期望在时间上使任意指纹与另一任意指纹匹配，则指纹识别可能需要被规律地重复。替代地，可以将指纹与彼此直接比较，以确定它们是否匹配，并且因而与相同的播出时间相关。术语“加水印”是指本身也从计算机科学领域中已知的技术。而且，可能需要规律地重复加水印。术语“标记”是指以持久方式被包括在媒体流中的标记，诸如编解码器中的数字标记、MPEG-TS中的标记、RTP或RTCP中的标记等。
注意到，如果标记被包括在媒体流中，这可能需要内容监视器可以访问该媒体流，例如访问媒体流的比特流。还注意到，当使用这样的同步标记时，可以有可能将信息插入在标记本身中，例如给予每个标记唯一的标识或甚至依次对它们编号。当不同的内容监视器对媒体流中所检测到的标记进行报告时，这允许这样的第一检测的标记与第二检测的标记的容易且直接的匹配。
通常，时间线监视器可以与同步客户端同位置。时间线监视器还可以被实现为多个同步客户端中的软件组件，但是每分段被激活一次或有限次数，等等。而且，如果同步客户端可以接收相同分段中（例如IPTV分段中）的多个流，则不同的客户端可以各自执行用于不同流、例如用于不同TV频道的监视功能。
内容监视器和/或时间线监视器可以向诸如MSAS之类的同步服务器中的相互关联子系统报告。这里，术语MSAS是指在WO 2010106075A1中、具体地在[0073]段和另外的中描述的媒体同步应用服务器（MSAS）。内容监视器和/或时间线监视器还可以向被包括在同步客户端中的相互关联子系统报告。内容监视器和/或时间线监视器可以以规律的间隔向相互关联子系统报告。报告可以是规律的或非规律地被提供，例如仅以时间戳中或其它定时数据中的不连续性，例如每当开始新的节目时或者当通过插播广告而中断当前节目时。
通常，相互关联子系统可以是媒体分发网络内的分离实体。相互关联子系统可以根据较早前获得的标识信息而将标识信息外推到在前或随后的媒体样本。在混合TV使用情况中，相互关联子系统可以将相互关联信息中继到同步客户端。在社交TV和伴随屏幕使用情况中，相互关联子系统还可以使用相互关联信息来生成用于同步客户端的定时信息。相互关联子系统可以被体现为具有多个互连的、有可能分层次布置的MSASe的分布式系统。可以使得相互关联子系统能够基于手动配置来向分段指派同步客户端。还可以使得相互关联子系统能够基于信令解决方案来向分段指派同步客户端。
还注意到，本申请中的示例遵循如此称呼的同步大师方案（SMS，客户端-服务器模型）。然而，本发明还可适用于其它同步方案，诸如分布式控制方案（DCS）或主-从方案，如在较早前提到的、F. Boronat等人的文章“Multimedia group and inter-streamsynchronization techniques: A comparative study”（Elsevier InformationSystems, 34, 2009, pp. 108-131）中所讨论的。
通常，注意到，同步并不总是必须完全准确的。例如，在社交TV的使用情况中，几百ms和甚至高达1或2秒的播出定时差可能不被用户注意到。然而，在诸如混合广播宽带TV（HbbTV）之类的一个设备上或者在TV和伴随屏幕上的若干媒体流的本地同步的情况下，可能需要更准确的同步。然而，甚至在这些使用情况中，声像同步误差在高达近似120ms的情况下（95ms视频在前到约25ms音频在前之间）仍然不可检测。因此，将领会到，在本发明的上下文内，术语“媒体同步”可以是指实现令人满意的终端用户体验的同步程度。
此外，这样的完全准确的同步仅可以在播出定时上实施，即，报告和影响向用户呈现媒体的实际时间。然而，该定时不总是可用的。有在其上报告定时或影响定时的其它点，即，在接收器设备中的内容链中可寻址的任何点将会行。这可以是从内容被接收（分组接收时间）、分组被处理、分组被解码等的时刻。在此文本中出于同步目的而讨论定时的情况下，这些定时中的任一个是可适用的。
应当注意，以上提及的实施例说明而不是限制本发明，并且本领域技术人员将能够设计许多替代实施例。
在权利要求中，置于括号之间的任何参考标记不应当被解释为限制权利要求。动词“包括”及其动词词形变化的使用并不排除除了权利要求中陈述的那些之外的元件或步骤的存在。在元件之前的冠词“一”或“一个”不排除多个这样的元件的存在。本发明可以借助于包括若干不同元件的硬件来实现，以及借助于适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的若干个可以由同一个硬件项来体现。仅仅是在相互不同的从属权利要求中叙述了某些措施这一事实并不指示这些措施的组合不能被有利地使用。

Claims (13)

1.一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联并且包括不同的时间线信息，并且该系统包括：
至少两个内容监视器，每个被布置用于提供媒体流的一个或多个媒体样本的持久标识，所述持久标识是对着媒体流的处理是稳健的并且可以使用媒体流来可再现地获得的数据，其中所述持久标识是以下各项的组中的一个：所述一个或多个媒体样本的指纹、水印和标记，其中，所述至少两个内容监视器包括用于提供第一媒体流的第一持久标识的第一内容监视器以及用于提供第二媒体流的第二持久标识的第二内容监视器，其中所述至少两个内容监视器中的每一个被进一步布置用于a）通过在时间上同步地获得各自的持久标识、或者b）通过提供挂钟时间戳值连同各自的时间戳值，来提供在时间上相关的各自的持久标识；
至少两个时间线监视器，所述至少两个时间线监视器中的每一个被布置用于提供来自媒体流的标头中的时间戳值的时间戳值，其中所述至少两个时间线监视器包括用于提供第一媒体流的第一时间戳值的第一时间线监视器以及用于提供第二媒体流的第二时间戳值的第二时间线监视器，其中所述至少两个时间线监视器中的每一个被进一步布置用于aa）通过在时间上同步地获得各自的时间戳值、或者bb）通过提供进一步的挂钟时间戳值连同各自的时间戳值，来提供在时间上相关的各自的时间戳值；以及
相互关联子系统，被布置用于：
i）接收第一持久标识和第二持久标识，
ii）接收来自第一媒体流的时间线信息的第一时间戳值和来自第二媒体流的时间线信息的第二时间戳值，
iii）将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配；以及
iv）基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而使第一时间线信息与第二时间线信息相互关联。
2.根据权利要求1所述的系统，其中，基于所述至少两个内容监视器中的每一个来接收在时间上相关的第一持久标识和第二持久标识，所述内容监视器被布置用于：
i）基于在所述至少两个内容监视器之间同步的时钟信号来确定与持久标识相关联的挂钟时间戳值，以及
ii）将挂钟时间戳值连同持久标识一起提供到相互关联子系统。
3.根据权利要求1所述的系统，其中，基于所述至少两个内容监视器中的每一个来接收在时间上相关的第一持久标识和第二持久标识，所述内容监视器在时间上同步地获得持久标识并且向相互关联子系统提供持久标识。
4.根据权利要求1所述的系统，其中，基于所述至少两个时间线监视器中的每一个来接收在时间上相关的第一时间戳值和第二时间戳值，所述时间线监视器被布置用于：
i）基于在所述至少两个时间线监视器之间同步的时钟信号来确定与时间戳值相关联的挂钟时间戳值，以及
ii）将挂钟时间戳值连同时间戳值一起提供到相互关联子系统。
5.根据权利要求1所述的系统，其中，基于所述至少两个时间线监视器中的每一个来接收在时间上相关的第一时间戳值和第二时间戳值，所述时间线监视器在时间上同步获得时间戳值并且向相互关联子系统提供时间戳值。
6.根据权利要求1所述的系统，其中，第一媒体流经由媒体分发网络的第一分段来分发，并且第二媒体流经由媒体分发网络的第二分段来分发，并且其中第一内容监视器和第一时间线监视器与第一分段相关联，并且第二内容监视器和第二时间线监视器与第二分段相关联。
7.根据权利要求6所述的系统，其中，媒体分发网络包括同步子系统，所述同步子系统用于关于第二媒体流执行同步动作，并且其中相互关联子系统被布置用于提供定时信息以用于使得同步子系统能够基于第一媒体流的时间线信息来执行同步动作。
8.根据权利要求7所述的系统，其中，同步动作是以下各项的组中的一个：
媒体流缓冲或向前跳过以使得能够在多个接收器上同步回放第一媒体流和/或第二媒体流，
媒体流缓冲或向前跳过以使得能够在接收器上同步回放第一媒体流与第二媒体流，以及
与接收器上的媒体流播出同步地触发接收器上的应用。
9.根据权利要求1所述的系统，其中，所述至少两个内容监视器中的一个或多个被布置用于从媒体流的播出的捕获来获得媒体流的持久标识。
10.一种如在根据权利要求1所述的系统中使用的内容监视器、时间线监视器和/或相互关联子系统。
11.一种用于在根据权利要求7所述的系统中使用的同步客户端，所述同步客户端是同步子系统的部分并且被布置用于向相互关联子系统标识其中包括同步客户端的媒体分发网络的分段。
12.一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的方法，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联并且包括不同的时间线信息，并且所述方法包括：
接收第一媒体流的第一持久标识与第二媒体流的第二持久标识，其中a）通过在时间上同步地获得各自的持久标识、或者b）通过提供挂钟时间戳值连同各自的时间戳值，所述第一持久标识和第二持久标识在时间上相关，所述持久标识中的每一个是对着相应媒体流的处理是稳健的并且可以使用相应媒体流而可再现地获得的数据，其中所述各自的持久标识是以下各项的组中的一个：指纹、水印和标记；
接收来自第一媒体流的标头中的时间戳值的第一时间戳值和来自第二媒体流的标头中的时间戳值的第二时间戳值，其中aa）通过在时间上同步地获得所述各自的持久标识、或者bb）通过提供进一步的挂钟时间戳值连同各自的时间戳值，所述第一时间戳值和第二时间戳值在时间上相关；
将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配；以及
基于第一播出时间与第二播出时间的比较来生成相互关联信息，用于使得能够将第一时间戳值与第二时间戳值相互关联，并且从而使第一时间线信息与第二时间线信息相互关联。
13.一种非暂时性计算机可读介质，包括用于使得处理器系统执行根据权利要求12所述的方法的指令。
CN201480063569.0A 2013-09-20 2014-09-05 在媒体流之间使时间线信息相互关联 Active CN105723723B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13185428.3 2013-09-20
EP13185428 2013-09-20
PCT/EP2014/068931 WO2015039891A1 (en) 2013-09-20 2014-09-05 Correlating timeline information between media streams

Publications (2)

Publication Number Publication Date
CN105723723A CN105723723A (zh) 2016-06-29
CN105723723B true CN105723723B (zh) 2019-01-08

Family

ID=49209297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480063569.0A Active CN105723723B (zh) 2013-09-20 2014-09-05 在媒体流之间使时间线信息相互关联

Country Status (4)

Country Link
US (1) US9860581B2 (zh)
EP (1) EP3047653B1 (zh)
CN (1) CN105723723B (zh)
WO (1) WO2015039891A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015039888A1 (en) 2013-09-20 2015-03-26 Koninklijke Kpn N.V. Correlating timeline information between media streams
EP3047653B1 (en) 2013-09-20 2020-05-06 Koninklijke KPN N.V. Correlating timeline information between media streams
EP3245792A1 (en) * 2014-12-25 2017-11-22 Echostar Ukraine, L.L.C. Simultaneously viewing multiple camera angles
SE541208C2 (en) * 2016-07-04 2019-04-30 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
US10148722B2 (en) 2016-07-04 2018-12-04 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
WO2018237191A1 (en) * 2017-06-21 2018-12-27 Verance Corporation ACQUISITION AND TREATMENT OF METADATA BASED ON A WATERMARK
US10986421B2 (en) * 2017-07-03 2021-04-20 Dolby Laboratories Licensing Corporation Identification and timing data for media content
US10009862B1 (en) * 2017-09-06 2018-06-26 Texas Instruments Incorporated Bluetooth media device time synchronization
US10623800B2 (en) 2018-07-16 2020-04-14 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
US10887646B2 (en) * 2018-08-17 2021-01-05 Kiswe Mobile Inc. Live streaming with multiple remote commentators
CN110800272B (zh) * 2018-09-28 2022-04-22 深圳市大疆软件科技有限公司 集群渲染方法、设备和系统
EP4104401A1 (de) * 2020-02-13 2022-12-21 Hitbox Entertainment GmbH Verfahren zur datenübertragung
CA3212540A1 (en) * 2021-03-04 2022-09-09 Mobii Systems (Pty) Ltd A method of providing a time-synchronized multi-stream data transmission

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1160467A (zh) * 1994-08-24 1997-09-24 麦克罗维西恩公司 在视频信号中插入源识别数据的方法和装置
CN1355652A (zh) * 2000-11-06 2002-06-26 特克特朗尼克公司 在视频中用于同步隐式嵌入的关键字
CN1830211A (zh) * 2003-07-25 2006-09-06 皇家飞利浦电子股份有限公司 生成并检测用于同步音频和视频的指纹的方法和设备
EP1773072A1 (en) * 2005-09-28 2007-04-11 Avaya Technology Llc Synchronization watermarking in multimedia streams

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US7461002B2 (en) * 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
JP2003259314A (ja) 2002-02-26 2003-09-12 Nippon Hoso Kyokai <Nhk> 映像音声同期方法及びそのシステム
JP4456004B2 (ja) * 2003-02-14 2010-04-28 トムソン ライセンシング メディア・サービスの再生自動同期化方法および装置
US8705195B2 (en) * 2006-04-12 2014-04-22 Winview, Inc. Synchronized gaming and programming
US7869420B2 (en) * 2005-11-16 2011-01-11 Cisco Technology, Inc. Method and system for in-band signaling of multiple media streams
US20080263620A1 (en) * 2005-12-23 2008-10-23 Koninklijke Philips Electronics N. V. Script Synchronization Using Fingerprints Determined From a Content Stream
JP2007208345A (ja) 2006-01-31 2007-08-16 Astro Design Inc 電子透かしによるリップシンク装置及びリップシンク方法
CA2695645C (en) 2007-08-20 2017-05-23 Nokia Corporation Segmented metadata and indexes for streamed multimedia data
ES2434223T3 (es) 2007-10-23 2013-12-16 Koninklijke Kpn N.V. Método y sistema para sincronizar un grupo de terminales finales
US20120036277A1 (en) 2009-03-16 2012-02-09 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Modified Stream Synchronization
JP5813767B2 (ja) * 2010-07-21 2015-11-17 ディー−ボックス テクノロジーズ インコーポレイテッド メディア認識及びモーション信号への同期
CN102802044A (zh) 2012-06-29 2012-11-28 华为终端有限公司 视频处理方法、终端及字幕服务器
EP3047653B1 (en) 2013-09-20 2020-05-06 Koninklijke KPN N.V. Correlating timeline information between media streams
WO2015039888A1 (en) 2013-09-20 2015-03-26 Koninklijke Kpn N.V. Correlating timeline information between media streams
US9516373B1 (en) * 2015-12-21 2016-12-06 Max Abecassis Presets of synchronized second screen functions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1160467A (zh) * 1994-08-24 1997-09-24 麦克罗维西恩公司 在视频信号中插入源识别数据的方法和装置
CN1355652A (zh) * 2000-11-06 2002-06-26 特克特朗尼克公司 在视频中用于同步隐式嵌入的关键字
CN1830211A (zh) * 2003-07-25 2006-09-06 皇家飞利浦电子股份有限公司 生成并检测用于同步音频和视频的指纹的方法和设备
EP1773072A1 (en) * 2005-09-28 2007-04-11 Avaya Technology Llc Synchronization watermarking in multimedia streams

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IPTV Inter-Destination Synchronization:A Network-Based Approach;HM Stokking;《intelligence in next generation networks》;20101011;全文

Also Published As

Publication number Publication date
EP3047653B1 (en) 2020-05-06
US9860581B2 (en) 2018-01-02
WO2015039891A1 (en) 2015-03-26
EP3047653A1 (en) 2016-07-27
CN105723723A (zh) 2016-06-29
US20160234542A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
CN105723723B (zh) 在媒体流之间使时间线信息相互关联
CN105765987B (zh) 在媒体流之间使时间线信息相互关联的系统和方法
US10820065B2 (en) Service signaling recovery for multimedia content using embedded watermarks
US11622163B2 (en) System and method for synchronizing metadata with audiovisual content
US11095929B2 (en) Video distribution synchronization
EP2832109B1 (en) Marker-based inter-destination media synchronization
CN102742249B (zh) 用于媒体流同步的方法、系统和装置
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
US9832518B2 (en) Synchronization of processing media streams by one or more media processing devices
WO2016145913A1 (zh) 自适应流媒体处理方法及装置
Van Deventer et al. Standards for multi-stream and multi-device media synchronization
van Brandenburg et al. Immersive second-screen experiences using hybrid media synchronization
CN114885198B (zh) 面向混合网络的伴音与视频协同呈现系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant