CN105765987A - 在媒体流之间使时间线信息相互关联 - Google Patents

在媒体流之间使时间线信息相互关联 Download PDF

Info

Publication number
CN105765987A
CN105765987A CN201480063547.4A CN201480063547A CN105765987A CN 105765987 A CN105765987 A CN 105765987A CN 201480063547 A CN201480063547 A CN 201480063547A CN 105765987 A CN105765987 A CN 105765987A
Authority
CN
China
Prior art keywords
media stream
media
stream
information
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480063547.4A
Other languages
English (en)
Other versions
CN105765987B (zh
Inventor
M.O.范德文特
H.M.斯托克金
R.范布兰登伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Koninklijke KPN NV
Original Assignee
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Koninklijke KPN NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO, Koninklijke KPN NV filed Critical Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Publication of CN105765987A publication Critical patent/CN105765987A/zh
Application granted granted Critical
Publication of CN105765987B publication Critical patent/CN105765987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联。该系统包括至少两个流监视器，所述流监视器被布置用于通过下述提供针对媒体流的标识信息：获得媒体流的一个或多个媒体样本的持久标识，确定与持久标识相关联的时间戳值，以及提供时间戳值和持久标识作为标识信息。此外，相互关联子系统被提供用于组合标识信息，以使得能够将第一媒体流的时间线信息与第二媒体流的时间线信息相互关联，这通过使第一媒体流的第一持久标识与第二媒体流的第二持久标识匹配，并且从而使第一媒体流的第一时间戳值与第二媒体流的第二时间戳值匹配。可系统化的媒体同步在较小计算复杂度和/或带宽的情况下被提供用于媒体分发网络的分段中的多个设备。

Description

在媒体流之间使时间线信息相互关联
技术领域
本发明涉及用于在第一媒体流和第二媒体流之间使时间线信息相互关联的系统和方法。本发明此外涉及包括该系统的媒体分发网络，涉及如在该系统中使用的流监视器或相互关联子系统，并且涉及包括用于使得处理器系统执行该方法的指令的计算机程序产品。本发明此外涉及同步客户端。
背景技术
诸如视频内容和音频内容的媒体内容通常以数字形式递送给用户。如果媒体内容具有时间方面，并且特别地与指示将如何随时间播出媒体内容的时间线相关联，则这样的数字形式通常被称为媒体流。媒体流可以经由媒体分发网络被递送给用户的接收器。特别地，媒体流可以被流式传输到接收器，这允许接收器在接收到整个媒体流之前开始媒体流的播出。然而，媒体流也可以以非流式传输的方式被递送到用户的接收器，例如通过以文件的形式被递送到接收器。
媒体流的示例包括诸如相机记录的或计算机再现的流之类的视频流、诸如麦克风记录的流之类的音频流、诸如字幕流或社交媒体流之类的定时文本流、在接收器处示出广告图像或执行动作的定时事件流、以及包括不同类型的媒体流的多媒体流。
不同的媒体流可以与公共播出时间线相关联，因为在媒体流之间可能存在时间关系。特别地，媒体流可以打算以同步的方式被播出。如果媒体流涉及相同事件的不同记录，例如，其中第一媒体流是视频流并且第二媒体流是音频流，或者第一媒体流是表示从第一相机角度的事件的记录的视频流并且第二媒体流也是视频流但是表示从不同相机角度的记录，则情况可能是这样。
因此，可能存在对于使得能够以同步的方式播出不同媒体流的需要。此外，可能存在对于使得能够例如跨不同接收器、以同步的方式播出相同的、类似的或不同的媒体流的需要。以下是其中可以采用这样的媒体同步的已知示例：
·社交TV，其中期望跨多个TV或多个用户的其它设备的相同或类似的媒体流的同步。相同或类似的媒体流可以包括相同流的技术变型，但是它们还可以包括对于相同事件、然而构成不同内容的流，诸如对相同事件、从不同相机角度的记录。
·混合TV，其中期望潜在地经由多个路由到达单个TV的多个媒体流的同步。这样的多个路由可以包括，例如，数字视频广播（DVB）、因特网协议（IP）多播和IP单播。
·伴随屏幕，其中期望在TV和伴随屏幕（例如平板设备）之间同步相同或不同的媒体流。注意到，术语“伴随屏幕”也已知为第二屏幕。
注意到，上述示例主要是指电视，但是对于其它类型的设备或接收器存在类似的示例。此外，在上述示例中，媒体流中的一些或全部可以是实时或准实时的媒体流。附加地或替代地，媒体流中的一些或全部可以例如由媒体分发网络来高速缓存，或者例如由个人视频记录器（PVR）来记录，或者构成这样称呼的重放（catch-up）TV或用户特技模式（trick-mode）媒体流。
广播方可以采用媒体同步来提供同步的服务，其中用户可以以各种广播方提供的组合、经由多个路由和/或在多个设备上组合媒体流。这样的同步可以发生在所有媒体流聚集的广播方的演播室系统中。而且，增值服务提供商可以采用媒体同步以提供增值同步服务。增值媒体流的示例包括提供对另一媒体流（例如广播的视频流）的评论、加字幕、音频描述或手语解释的媒体流。
与媒体同步相关联的问题可能是，尽管不同的媒体流可以在广播方或第三方处被同步，但是它们可能在被分发到终端用户时失去其同步性。例如，媒体流可以经由不同的路由被递送。这些路由由于距离（传输速度）、复用和路由（缓冲）、经高速缓存和记录的递送、信号处理（例如混合、转码）等方面的差异而具有不同的延迟。类似地，在增值服务提供商的情况下，可以从服务提供商递送增值媒体流，而可以从广播方、即经由不同的路由来递送原始广播流。
F. Boronat等人的文章“Multimedia group and inter-streamsynchronization techniques: A comparative study”（Elsevier InformationSystems, 34, 2009, pp. 108-131）提供了已知的目的地间同步技术（即不同最终终端之间的同步）的全面概述。
大多数引用的目的地间同步技术利用被包括在媒体流中的时间线信息。这里，术语“时间线信息”是指使得接收器能够根据播出时间线来播出媒体流的媒体样本的元数据。例如，如果经由实时传输协议（RTP）来递送媒体流，即构成RTP媒体流，则可以使用诸如RTP时间戳的时间线信息。时间线信息的其它示例包括这样称呼的节目时钟参考（PCR）、呈现时间戳（PTS）和解码时间戳（DTS）。通过跨不同的接收器比较这样的时间线信息，可以计算适当的流调整。为了使得能够跨接收器实现这样的比较，可以在接收器上使用同步的挂钟（wall-clock），或者替代地，具有很少和/或已知延迟的高质量信令连接。例如，可以通过在接收器处缓冲媒体流来实现媒体流的播出时间的延迟。
已经认识到，媒体流可能在媒体分发网络中丢失其原始时间线信息。这样的媒体分发网络通常由有线运营商、电信运营商和因特网服务提供商（其通常与广播方或增值服务提供商不同）所拥有。在这样的媒体分发网络中，媒体流可以在头端中被修改，以便使得媒体流适合于通过网络分发。这些网络可以是例如基于DVB的（DVB-T、DVB-C、DVB-H）、基于IP的（RTP/RTCP、IP多播、IP单播）。不同的编解码器（MPEG 2、H.264、HEVC）、传输技术（广播、流式传输、渐进式下载、自适应流式传输）等可以使用在媒体流的最终递送中。在这些过程中的一个或多个期间，媒体流可能被剥去其原始元数据。结果，原始时间线信息可能没有被包括在修改的媒体流中。替代地，可能包括新的元数据，其可以包括新的时间线信息。
对媒体流的这样的修改的示例包括：
•（再）复用。用于MPEG TS（传输流）的大多数复用器在进行复用时生成新的PCR/PTS/DTS值。然而，通常仅改变PCR/PTS/DTS的绝对值，而其跨媒体流的关系被维持。因而，音频-视频声像同步（lip sync）可以被保持。
•转码和重编码。这里，在传入和传出的媒体样本之间的所有关系可能丢失。例如，在视频流的情况下，视频流的帧可以变成不同的类型，例如从I帧到B帧。此外，如果帧率在转码和重编码期间改变，则在传入和传出的帧之间的一对一关系可能丢失。另外，媒体流的整个容器可能改变，例如从这样称呼的TS到ISOBFF，由此也改变时间线信息的类型。
•技术或商业原因。媒体分发网络可能拒绝传递时间线信息。例如，DVB同步辅助数据分组标识符（SAD-PID）可能默认地从传输流（TS）中剥去。这可能是故意的，例如出于所述商业原因，或者参数可能只是不被当前网络所支持，从而构成技术原因。
除了媒体流被修改并且从而丢失其原始时间线信息之外，这样的时间线信息也可能固有地在意图被同步播放但是已经初始地（例如在媒体流发源处）没被提供有公共时间线信息的不同媒体流之间不同。同样，这里可能存在对于媒体同步的需要。
WO 2010106075 A1描述了一种用于至少第一和第二（媒体）流的目的地间媒体同步的方法和系统，其中第二流是使用第一流作为输入流的流修改单元的输出流。该方法包括以下步骤：提供到达第一同步点的第一流中的分组的第一到达时间信息以及到达第二同步点的第二流中的分组的第二到达时间信息；提供关于在所述输入流和所述输出流之间的同步性关系的同步相互关联信息；以及，基于第一和第二到达时间信息以及同步相互关联信息来计算延迟信息。
发明内容
虽然WO 2010106075 A1使得能够在修改的和未修改的媒体流之间或者在两个不同地修改的流之间实现目的地间媒体同步，但是将会有利的是提供一种进一步在所述媒体同步的至少一个方面上有所改进的系统或方法。
本发明的第一方面提供了一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联，并且该系统包括：
-至少两个流监视器，所述流监视器中的每一个被布置用于通过以下来提供针对媒体流的标识信息：
i）获得媒体流的一个或多个媒体样本的持久标识，该持久标识是可以通过使用媒体流而可再现地获得的数据，
ii）根据媒体流中所包括的时间线信息来确定与持久标识相关联的时间戳值，以及
iii）提供一个或多个媒体样本的持久标识和时间戳值作为标识信息；
其中，所述至少两个流监视器包括用于提供针对第一媒体流的第一标识信息的第一流监视器以及用于提供针对第二媒体流的第二标识信息的第二流监视器；以及
-相互关联子系统，用于将第一标识信息与第二标识信息组合，以使得能够使第一媒体流的时间线信息与第二媒体流的时间线信息相互关联，这通过匹配第一媒体流的第一持久标识与第二媒体流的第二持久标识，并且由此匹配第一媒体流的第一时间戳值与第二媒体流的第二时间戳值。
实施例在从属权利要求中被限定。
上述措施提供了一种系统，该系统包括至少两个流监视器。两个流监视器中的每一个提供针对不同媒体流、即第一媒体流和第二媒体流的标识信息。为了提供标识信息，每个流监视器获得相应媒体流的一个或多个媒体样本的持久标识。这里，术语“持久标识”是指可以通过使用媒体流可再现地获得的数据。持久标识的示例包括指纹、水印以及标记，其以持久方式被包括在媒体流中。将领会到，这样的标识可以是持久的，因为其对着媒体流在例如经由媒体分发网络的媒体流分发期间可能经受的各种处理可以是稳健的。每个流监视器还确定与所述一个或多个媒体样本的持久标识并且因而与所述（一个或多个）媒体样本它本身或它们本身相关联的时间戳值。时间戳值是根据可以被包括在相应的​​媒体流中的时间线信息来确定的，诸如呈现时间戳或RTP时间戳。
因此，第一流监视器至少提供第一媒体流的一个或多个媒体样本的第一持久标识以及从第一媒体流的第一时间线信息获得的相关联的第一时间戳值，而第二流监视器至少提供第二媒体流的一个或多个媒体样本的第二持久标识以及从第二媒体流的第二时间线信息获得的相关联的第二时间戳值。
此外，提供了一种相互关联子系统，其获得并且随后组合从第一流监视器获得的第一标识信息与从第二流监视器获得的第二标识信息。因而，相互关联子系统至少被提供有第一持久标识及其相关联的第一时间戳值以及第二持久标识及其相关联的第二时间戳值。因为两个媒体流都与公共播出时间线相关联，所以可能存在对于以同步方式播出或以其它方式处理这两个媒体流的需要。然而，两个媒体流可能在流中包括不同的时间线信息，例如，通过具有对于相同位置（即内容的相同部分）的不同时间戳值。
上述措施使得能够在第一媒体流和第二媒体流之间使这样的不同时间线信息相互关联。这里，术语“相互关联”是指该系统使得第一媒体流的时间线信息能够与第二媒体流的时间线信息相关。因此，来自第一媒体流的时间线信息的时间戳或其它定时数据可以与来自第二媒体流的时间线信息的定时数据相关，并且反之亦然。这是可能的，因为所组合的第一标识信息和第二标识信息使得能够匹配第一媒体流的第一持久标识与第二媒体流的第二持久标识。这里，术语“匹配”是指第一持久标识与第二持久标识相关。这样的匹配可以是直接的，例如基于其特性中的相似性，或者是间接的，例如基于其在公共播出时间线上的相对定位。特别地，匹配可以是在时间上的匹配，因为两个持久标识在时间上可能是相关的，例如相对于公共播出时间线。例如，如果两个持久标识都包括相同的指纹，则这可以指示，这两个持久标识都涉及公共播出时间线上的相同播出时间。
作为第一持久标识已经与第二持久标识匹配的固有结果，相应的相关联的时间戳值也已经与彼此匹配。因而，第一媒体流的时间线信息可以与第二媒体流的时间线信息相互关联，因为所述匹配至少使得第一时间戳值能够与第二时间戳值相互关联，其中所述相互关联通常能够归纳以使得能够实现两个媒体流之间的整个时间线信息的相互关联。因此，在已经使相应媒体流的持久标识匹配了一次或有限次数之后，两个媒体流的时间线信息可以被直接相互关联，即，没有进一步使用持久标识。
发明人已经认识到以下内容。与根据媒体流中包括的时间线信息来确定时间戳值相比，获得媒体流的一个或多个媒体样本的持久标识在计算上可能是相对复杂的。类似地，持久标识与时间戳值相比可能需要更多的带宽来传输。因而，可能不利的是，要求媒体同步要被应用于的所有设备提供这样的持久标识。然而，发明人已经认识到，这样的设备的群组可能可以访问相同版本的第一媒体流，因为其包括相同的时间线信息。例如，设备的群组可以位于媒体分发网络的相同分段中。这里，术语分段是指媒体分发网络的一部分，跨所述部分，媒体流通过在第一边界处包括针对媒体流的输入并且在第二边界处包括针对媒体流的至少一个输出或端点来被分发，其中在输入和输出处的媒体流基本上是相同的。因而，在跨分段的分发期间维持媒体流的时间线信息。
尽管基于仅仅时间线信息而在第一分段中的第一设备群组和第二分段中的第二设备群组之间的媒体同步出于较早前提到的原因而可能不可靠，但是本发明通过以下而使得能够实现这样的媒体同步：通过提供例如被安置在第一分段中的第一流监视器和例如被安置在第二分段中的第二流监视器，所述第一流监视器提供针对第一媒体流的第一标识信息，所述第二流监视器用于提供针对第二媒体流的第二标识信息。因此，没有必要使第一分段和/或第二分段内的所有设备获得和提供这样的持久标识。相反，在已经组合了第一标识信息与第​​二标识信息之后，随后可以在两个分段之间、即在两个分段中的设备上提供媒体同步，这基于所述设备提供相应媒体流的时间线信息，所述时间线信息然后可以通过相互关联子系统来与另一媒体流的时间线信息相互关联。
因而，本发明可以使得能够在提供流间同步或声像同步的一个设备上或者在提供流间和设备间同步（诸如伴随屏幕同步）或目的地间同步的设备之间利用之前不相关的时间戳来实现媒体流的同步。特别地，本发明可以使得能够基于相应媒体流的时间线信息来实现在第一媒体流和第二媒体流之间的媒体同步，而没有由于时间线信息在这样的媒体流之间可能不直接可相关这一事实而引起的通常与这样的媒体同步相关联的不可靠性。另外的优点可能是，这样的媒体同步要应用于的设备可能不需要提供持久标识。相反，这样的设备可能在提供媒体流的时间线信息的情况下就足够了，诸如与媒体流的当前媒体样本相关联的时间戳。因而，需要较少的带宽和/或较少的计算复杂度来实现跨设备群组的媒体同步。
在实施例中，第二媒体流可以是第一媒体流的修改版本，所述修改版本包括与第一媒体流的时间线信息不同的时间线信息。该系统可以用于使得能够在第一媒体流和第一媒体流的修改版本之间使时间线信息相互关联。这样的修改可能在媒体流的分发期间频繁发生。因此，所述系统可以使得能够基于（未修改的）第一媒体流的时间线信息来实现第一媒体流的修改版本的媒体同步，因为利用了持久标识，所述持久标识从第一媒体流的未修改的以及修改的版本二者中可再现，即，耐抗这样的修改。
在实施例中，第一媒体流可以经由媒体分发网络被分发，所述媒体分发网络可以包括流修改器用于生成第一媒体流的修改版本，并且第一流监视器可以被包括在媒体分发网络中流修改器的上游，并且第二流监视器可以被包括在媒体分发网络中流修改器的下游。诸如（再）复用器、转码器和重编码器之类的流修改器可以使得第一媒体流的时间线信息被修改或替换，在这两种情况下，建立新的时间线信息。通过沿着媒体分发网络被安置，流修改器有效地建立媒体分发网络的上游分段（即，经由所述上游分段而分发第一媒体流）和媒体分发网络的下游分段（即，经由所述下游分段而分发第一媒体流的修改版本）。通过在上游分段中提供第一流监视器并且在下游分段中提供第二流监视器，使得能够实现两个分段之间的媒体同步，因为来自第一媒体流的时间线信息可以与来自第一媒体流的修改版本的时间线信息相互关联。因此，基于（未修改的）第一媒体流的时间线信息使得能够实现第一媒体流的修改版本的媒体同步。该实施例的优点可以是：诸如接收器上的应用的触发之类的同步动作也可以被应用于这样的媒体流的修改版本，所述同步动作经常相对于媒体流发源（例如，广播方）处的媒体流的时间线信息来被定义。
在实施例中，相互关联子系统可以被布置用于基于第三标识信息来匹配第一持久标识与第二持久标识，所述第三标识信息将第一持久标识和第二持久标识链接到公共播出时间线。因此，相互关联子系统可以经由公共播出时间线使第一持久标识与第二持久标识相关。例如，相互关联子系统可以使用第三标识信息来将第一持久标识与公共播出时间线上的第一播出时间匹配，并且将第二持久标识与公共播出时间线上的第二播出时间匹配。为了该目的，第三标识信息可以包括，例如，多个持久标识以及公共播出时间线上的相关联的多个播出时间。作为所述匹配的固有结果，相应的相关联的时间戳值也已经与公共播出时间线上的相应播出时间匹配。因此，如果第一播出时间与第二播出时间不同，则相互关联子系统可以在使第一时间线信息与第二时间线信息相互关联时考虑该差异。该实施例的优点可以是，第一持久标识可以与第二持久标识匹配，即使两个持久标识彼此不同，如：如果第一媒体流和第二媒体流是不同类型的媒体流或两个持久标识在内容方面相同或类似的媒体流的不同播出时间处被获得，则可能是这种情况。
在实施例中，第一媒体流和第二媒体流可以是包括公共时间线信息的媒体流的复合物（composite）的部分，并且所述系统可以此外包括第三流监视器，用于提供针对媒体流的复合物的所述第三标识信息。这里，术语“媒体流的复合物”是指媒体流有目的地与公共播出时间线相关联，由此形成媒体流的这样的复合物。注意到，媒体流的复合物可以但也可以不以复合媒体流的形式分发。这里，术语“复合媒体流”是指由两个或更多媒体流组成、即复合的媒体流。媒体流的复合物可以包括公共时间线信息，因为在分发期间，媒体流中的至少一个包括可以用于建立媒体流的复合物的公共播出时间线的时间线信息。例如，第三流监视器可以被提供在媒体分发网络中媒体流的复合物的发源附近，并且可以向系统提供标识信息，所述标识信息包括针对媒体流中每一个的多个持久标识和公共播出时间线上的相关联的多个播出时间。通过提供第三流监​​视器，其提供所述第三标识信息，所述系统可以使第一持久标识和第二持久标识链接到公共播出时间线。
在实施例中，第二媒体流可以经由媒体分发网络被分发，所述媒体分发网络可以此外包括同步子系统用于执行关于第二媒体流的同步动作，并且相互关联子系统可以被布置用于提供定时信息，以用于使得同步子系统能够基于第一媒体流的时间线信息来执行同步动作。这里，同步子系统是“子系统”，因为其可以但可以不必是如所要求保护的媒体分发网络和/或系统的部分。相互关联子系统可以与同步子系统的实体进行交互，以使得能够基于第一媒体流的时间线信息来关于第二媒体流执行同步动作。将领会到，这样的交互可以采取各种形式，诸如查询-响应类型的交互，其中，同步子系统的实体提供包括来自第二媒体流的时间线信息的时间戳的查询，并且相互关联子系统以定时信息的形式提供响应，所述定时信息包括来自与公共播出时间线上的相同播出时间相关的第一媒体流的时间线信息的时间戳。这里，所述定时信息因而可以构成相互关联子系统的输出。定时信息可由相互关联子系统通过在第一媒体流和第二媒体流之间使时间线信息相互关联而获得。这样的查询-响应类型的交互的格式可以例如由应用编程接口（API）来指定。实际上，相互关联子系统可以提供用于同步子系统的实体的转化服务，所述转化服务包括将来自第二媒体流的时间线信息的时间戳和其它定时数据转化为第一媒体流的时间线信息。
在实施例中，同步动作可以是下述各项的组中的一个：
-媒体流缓冲或向前跳过以使得能够在多个接收器上同步回放第一媒体流和/或第二媒体流，
-媒体流缓冲或向前跳过以使得能够在接收器上同步回放第一媒体流与第二媒体流，和
-与接收器上的媒体流播出同步地触发接收器上的应用。
关于媒体流缓冲或向前跳过的同步动作可以是合期望的，以便于在较早前提及的社交TV场景中、混合TV场景中和伴随屏幕场景中实现媒体同步，在所述社交TV场景中期望跨多个用户的多个接收器的相同或类似的媒体流的同步，在所述混合TV场景中期望对单个接收器的不同媒体流的同步，在所述伴随屏幕场景中期望在TV接收器和伴随屏幕之间同步相同或不同媒体流。注意到，媒体流缓冲可以、但可能不需要在接收器本身上（即，使用内部同步客户端）被实现。例如，媒体流缓冲或向前跳过还可以通过被包括在媒体分发网络中接收器上游的同步客户端来执行。关于对应用的触发的同步动作可能是合期望的，以实现提问问题、广告等的同步呈现，或者触发应用以执行其它类型的动作。
在实施例中，同步子系统可以包括同步服务器和多个同步客户端，其中所述多个同步客户端可以被包括在被布置用于分发第二媒体流的媒体分发网络的分段中，并且其中，第二流监视器可以被包括在所述多个同步客户端之间的分段中。这里，术语“同步服务器”是指同步子系统中的实体，其与同步客户端协作以根据客户端-服务器模型、即以分布式方式实现媒体同步。特别地，所述多个同步客户端中的每一个可以被包括在终端用户的接收器中，而同步服务器可以被提供在所述接收器的外部，以使得能够编配跨多个接收器的媒体同步。同步服务器可以包括根据本发明的相互关联子系统，以使得向同步客户端提供与在WO 2010106075 A1中、具体地在[0073]段和另外的中描述的媒体同步应用服务器（MSAS）类似的功能性。该实施例的优点可以是，因为第二媒体流跨分段而分发，所以在分段内可能需要仅仅一个或有限数目的流监视器，以使得能够将跨分段的定时信息与第一媒体流的定时信息相互关联。有限数目的流监视器可以是出于备份的原因。因而，可能不需要使每个接收器都包括流监视器。相反，仅一个接收器可以包括流监视器，或者仅一个流监视器可能需要被包括作为分段中分离、即独立的实体。替代地，分段可以包括多个流监视器，但是其中所述流监视器中的仅一个必须被激活。
在实施例中，相互关联子系统可以被布置用于向分段中的多个同步客户端提供定时信息，以用于使得所述同步客户端能够基于通过第二流监视器对第二媒体流的监视来执行关于第二媒体流的同步动作。因此，基于由仅一个或有限数目的流监视器对第二媒体流的监视，可以跨多个同步客户端而采用媒体同步。例如，媒体同步可以跨多个接收器而被采用，所述多个接收器各自包括同步客户端中的一个并且位于媒体分发网络的相同分段中，例如，相同头端的下游，其中仅一个或有限数目的接收器必须提供标识信息并且因而必须支持相对较高的计算复杂度和/或较高的带宽。
在实施例中，持久标识可以是以下各项的组中的一个：一个或多个媒体样本的指纹、水印和标记。指纹和水印出于其以下能力是众所周知的：即提供媒体流的一个或多个媒体样本的持久标识，因为每一个都产生可以在媒体流的分发期间从媒体流可再现地获得的数据。而且，以持久方式被包括在媒体流中的标记使得这样的数据能够在所述分发期间从媒体流可再现地获得。
在实施例中，媒体分发网络可以包括在流修改器下游的头端，并且第二流监视器可以被包括在头端中或在其下游。这里，术语“头端”是指媒体分发网络中的功能实体，其充当用于多个设备、诸如相应终端用户的多个接收器的分发点。通过在头端中或其下游提供第二流监视器，在经由头端分发的第一媒体流的修改版本的时间线信息可以与（未修改的）第一媒体流的时间线信息相互关联。因此，可以针对经由头端获得第一媒体流的修改版本的所有设备使能媒体同步。特别地，如果头端下游的媒体分发网络被认为是分段，则可以基于被置于所述分段内的仅单个或有限数目的流监视器来针对所述分段内的所有设备使能媒体同步，由此使得能够实现与该分段外（即，其它分段中）的设备或者与先前仅在时间上与（未修改的）第一流相关的流的同步。
在本发明的另一方面中，媒体分发网络可以包括所述系统。
在本发明的另一方面中，流监视器和/或相互关联子系统可以被提供为在所述系统中使用。
在本发明的另一方面中，同步客户端可以被提供以供所述系统使用，其中，同步客户端可以被布置用于向相互关联子系统标识其中包括同步客户端的分段。相互关联子系统可以被布置用于基于从被包括在不同分段中的流监视器接收到的不同标识信息来提供用于在媒体分发网络的不同分段中使用的定时信息。通过标识其中包括同步客户端的分段，例如，通过报告手动配置的参数、来自电子节目指南（EPG）的参数、来自接收到的流中的参数等，使得相互关联子系统能够向同步客户端提供适当的定时信息，即，其基于被包括在相同分段中作为同步客户端的流监视器的标识信息。
在本发明的另一方面中，提供了一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的方法，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联，所述相互关联基于从至少两个流监视器获得的标识信息，所述流监视器中的每一个被布置用于通过下述来提供针对媒体流的标识信息：
i）获得媒体流的一个或多个媒体样本的持久标识，所述持久标识是可以通过使用媒体流可再现地获得的数据，
ii）根据被包括在媒体流中的时间线信息来确定与持久标识相关联的时间戳值，以及
iii）提供所述一个或多个媒体样本的时间戳值和持久标识作为标识信息；
并且所述方法包括：
-从所述至少两个流监视器中的第一流监视器获得针对第一媒体流的第一标识信息；
-从所述至少两个流监视器中的第二流监视器获得针对第二媒体流的第二标识信息；
-组合第一标识信息与第二标识信息，以使得能够将第一媒体流的时间线信息与第二媒体流的时间线信息相互关联，这通过将第一媒体流的第一持久标识与第二媒体流的第二持久标识匹配，并且由此将第一媒体流的第一时间戳值与第二媒体流的第二时间戳值匹配。
在本发明的另一方面中，可以提供一种计算机程序产品，其包括用于使得处理器系统执行所述方法的指令。
本领域技术人员将领会到，本发明的以上提及的实施例、实现方式和/或方面中的两个或更多个可以以被认为有用的任何方式组合。
与系统的所述修改和变型相对应的方法和/或计算机程序产品的修改和变型可以由本领域技术人员基于本说明书来实施。
在独立权利要求中限定了本发明。在从属权利要求中限定了有利的还可选的实施例。
附图说明
本发明的这些和其它方面从以下描述的实施例中是显而易见的并且将参考以下描述的实施例被阐明。在附图中，
图1图示了用于媒体同步的多个使用情况；
图2示出了包括流修改器和根据本发明的系统的媒体分发网络，所述系统在流的修改版本和（未修改的）流之间使时间线信息相互关联；
图3图示了分段的媒体分发网络；
图4示出了在这样的分段媒体分发网络的上下文内的根据本发明的系统；以及
图5示出了在具有对媒体流的基于文件的访问的接收器的上下文内的根据本发明的系统。
应当注意，在不同图中具有相同参考标号的项具有相同的结构特征和相同的功能，或者是相同的信号。在已经解释了这样的项的功能和/或结构的情况下，没有必要在详细描述中对其重复解释。
具体实施方式
图1示出了媒体分发网络101，其中多个媒体流020-024被递送到各种用户设备（UE）181-185。这里，术语用户设备是指被布置用于接收并通常还播出一个或多个媒体流的终端用户的设备。这样的设备也被称作接收器、终端或最终终端。图1图示了通常的媒体同步的各种使用情况，其中分别源自媒体流A源发器110和媒体流B源发器112的媒体流A 020和媒体流B 022可以提供两个不同的相机视图，而媒体流C源发器114可以来自以例如评论员音频流的形式提供媒体流C 024的增值服务提供商。例如，评论员可以观看媒体流B 022，并且使用媒体流C 024来提供他或她的评论。
媒体分发网络101被示出为包括以转码器120和复用器122（简言之也称为混合器）形式的流修改器120、122。转码器120被示出为对媒体流B 022进行转码，由此提供转码版本的媒体流B 040，而复用器122被示出为复用媒体流B 022与媒体流C 024，由此建立混合的媒体流042。上述媒体流020-042被示出为递送到各种用户设备，以说明下述使用情况
混合TV使用情况：
1. UE1 181可以是下述混合TV：其从媒体流源发器1接收主要广播媒体流、如DVB流并且从媒体流源发器2接收辅助媒体流、如MPEG-DASH流。
2. UE1 181还可以是下述混合TV：其从媒体流源发器1接收主要广播媒体流、如DVB流并且从媒体流源发器2接收辅助媒体流、如RTP/IP流。
3. UE1 181还可以是下述混合TV：其从媒体流源发器1接收主要媒体流、如因特网协议TV（IPTV）多播流并且从媒体流源发器2接收辅助媒体流、如RTP/IP流。
社交TV使用情况：
1. UE2 182和UE3 183可以是用于社交TV的两个TV。UE2可以从媒体流源发器2接收媒体流，而UE3可以接收相同媒体流的经转码的版本。
2. UE2 182和UE4 184可以是用于社交TV的两个TV。UE4可以从媒体流源发器2和3接收对媒体流进行组合的混合媒体流。
伴随屏幕使用情况：
1. UE2 182可以是TV并且UE3 183可以是平板设备。一个媒体流可以在TV上播放，并且该媒体流的转码版本可以在平板设备上播放。
2. UE2 182可以是TV并且UE5 185可以是平板设备。一个媒体流可以在TV上播放，并且不同的媒体流在平板设备上播放。
本发明可以应用于上述的使用情况，以使得能够在两个或更多个媒体流之间实现媒体同步，其中本发明本身参考图2-7进一步被描述。
图2示出了根据本发明的第一实施例。这里，媒体分发网络102被示出为包括媒体流源发器A 110，所述媒体流源发器A 110提供包括以时间戳TSA形式的时间线信息的媒体流A 020。媒体流A 020被示出为递送到UE1 181和以转码器120形式的流修改器120。转码器120被示出为对媒体流A 020进行转码以生成媒体流A的转码版本，简言之媒体流B 40，其包括以时间戳TSB形式的新的时间线信息。因此，媒体流A和媒体流B包括不同的时间线信息，尽管这二者都与公共播出时间线相关联。媒体流B 040被示出为递送到UE 182。
图2此外示出了用于使得能够在媒体流A和媒体流B之间使时间线信息相互关联的系统。该系统包括两个流监视器（SM），即流监视器A 201和流监视器B 202。根据本发明，所述流监视器中的每一个可以被布置用于通过下述来提供针对媒体流的标识信息：i）获得媒体流的一个或多个媒体样本的持久标识，所述持久标识是可以使用媒体流可再现地获得的数据，ii）根据被包括在媒体流中的时间线信息来确定与持久标识相关联的时间戳值，以及iii）提供所述一个或多个媒体样本的持久标识和时间戳值作为标识信息。
特别地，图2示出了提供针对媒体流A 020的标识信息A 080的流监视器A 201以及提供针对媒体流B 040的标识信息B 082的流监视器B。
图2还示出了作为用于使得能够在媒体流A和媒体流B之间使时间线信息相互关联的较早前提及的系统的部分的相互关联子系统300。相互关联子系统300被示为从流监视器A 201接收标识信息A 080并且从流监视器B 202接收标识信息B 082。根据本发明，相互关联子系统可以被布置用于组合标识信息A与标识信息B，以使得能够将媒体流A的时间线信息与媒体流B的时间线信息相互关联。为了该目的，相互关联子系统300可以将媒体流A的持久标识与媒体流B的持久标识匹配，并且由此将第一媒体流的时间戳值（例如，时间戳TSA中的一个）与第二媒体流的时间戳值（例如，时间戳TSB中的一个）匹配。
下面提供了系统的操作的更详细的示例。在该示例中，假设流监视器A和流监视器B提供以下时间戳值作为其相应标识信息的部分：
-流监视器A可以提供1:43:32.200的时间戳值A，其是常规的时钟格式并且其也可以如常规时钟那样递增，
-流监视器B可以提供3,600,000的时间戳值B，其是RTP时间戳并且针对其的时钟速率可能是未知的。
然后，相互关联子系统300可以通过在时间上匹配相关联的持久标识来使两个时间戳值相互关联。例如，相互关联子系统300可以确定持久标识A和B具有4秒的播出时间方面的差异，其中媒体流A在前。为了该目的，相互关联子系统300可以使用附加的标识信息，其包括多个持久标识以及在公共播出时间线上的相关联的多个播出时间。这样的附加标识信息可能已经从流监视器A或B中之一或者从以预定形式包括这样的标识信息的数据库而获得。替代地，相互关联子系统300可以在没有这样的附加标识信息的情况下，在时间上匹配持久标识A和B。例如，如果持久标识A和B是相同或类似的，则相互关联子系统300可以确定二者与相同或类似的播出时间相关。而且，持久标识A和B本身可以指示它们在时间上如何匹配。
虽然对于3,600,000的时间戳值B，时钟速率不是已知的，然而，媒体流A的时间线信息可以与媒体流B的时间线信息相互关联，即通过从时间戳值A中减去4秒的差异，从而产生1:43:28.200的时间戳值。因此，可以确定针对媒体流A的1:43:28.200的时间戳值与针对媒体流B的3,600,000的时间戳值相对应。
然而，在某些情况下，可能需要附加信息，诸如与时间戳相关联的时钟速率。在下面的示例中，假设流监视器A和流监视器B提供以下时间戳值作为其相应的标识信息的部分：
-流监视器A可以提供512,000的时间戳值A
-流监视器B可以提供1,312,000的时间戳值B。
再次，假设持久标识A和B具有4秒的播出时间方面的差异，其中，媒体流A在前。为了使以上时间戳值A和B相互关联，可能需要分别使用的时钟速率。这可以从例如如由流监视器A 201和/或B 202确定的所使用的A/V简档得到，或者可以由UE传送给相互关联子系统300。在该特定示例中，两个流是承载音频的RTP流。因而，相互关联子系统可以确定媒体流A的时钟速率是16,000，并且媒体流B的时钟速率是8,000。
该附加信息使得时间戳值A和B能够相互关联。因为媒体流A领先了4秒，所以可以从时间戳值A中减去4秒，以使两个时间戳相互关联（或者4秒可以被添加到时间戳值B）。在媒体流A的时间线信息中，4秒乘以16,000等于64,000，所以512,000－64,000=448,000的时间戳值A被确定为对应于1,312,000的时间戳值B。
在这方面，注意到，时间线信息可以具有某种粒度，即，所包含的时间戳或其它定时数据可以具有合法和非法值。该信息还可以由相互关联子系统300用于在考虑到时间线信息的粒度并且因而时间戳的情况下例如使所计算的时间戳值圆整为最接近的合法值。
图2图示了相互关联子系统300的输出（即定时信息090）被使用在使定时事件与广播同步中，并且特别地，使用在与接收器上的媒体流播出同步地触发接收器（即，UE2 182）上的应用中。这样的同步是同步动作的示例。可以基于相互关联子系统300的输出而执行的同步动作的其它示例包括媒体流缓冲或向前跳过以使得能够实现多个接收器上的一个或媒体流的同步回放，以及媒体流缓冲或向前跳过以使得能够实现（单个）接收器上的两个或更多个媒体流的同步回放。
定时事件与一个或多个广播的媒体流的同步本身是已知的。这样的同步使能例如问答节目，其中家里的用户可以参与，这通过被使能与广播中的选手同时看到问题并且允许他们参与。这样的事件可以被指示给接收器，这通过广播方例如以元数据的形式将事件插入到承载媒体内容的容器中，由此将事件直接链接到媒体流。然而，这样的元数据可以不通过各种媒体分发网络。而且，问答节目参与问题可以在诸如平板设备之类的辅设备上被示出，从而要求该辅设备需要与诸如TV之类的主显示设备的同步。
图2示出了被布置用于通过向UE1 182和UE2 182提供事件信息322而指示时间戳TSA,1（即，媒体流A中的特定时间戳）处的某个事件A的事件服务器350。该事件可以对应于在电视游戏节目中被询问的问答问题，或者指示用于提交投票的时间结束了。UE1 181可以在恰当的时间直接作用于该事件，因为由事件服务器350指示的时间戳TSA,1对应于媒体流A中的那些。这里，术语“对应于”是指时间戳TSA,1按照接收到的媒体流的时间线信息来被表述，即，如另一时间戳TSA。因此，UE 1 181可以直接地并且在适当的时间，即，与媒体流A的媒体流播出同步地，触发UE1上的应用，其例如图形地呈现问答问题，然而，UE2 182不能直接使用事件信息322。尽管如此，为了使得UE2 182能够使用事件信息322，相互关联子系统300被示出为向UE2 182提供相互关联信息090，这使得UE2 182能够将时间戳TSA,1转化为与被包括在媒体流B中的时间线信息的时间戳TSB对应的时间戳TSB,1。
将领会到，虽然相互关联子系统300被示出为向UE2 182提供相互关联信息090，但是这样的信息还可以被提供给事件服务器350。因此，可以使得事件服务器350能够向接收器中的每一个提供事件信息322，其对应于相应媒体流的时间线信息的时间戳，即对UE1182以时间戳TSA,1的形式和对UE2 182以时间戳TSB,1的形式。
本发明可以有利地用于使得能够实现分段媒体分发网络中的媒体同步。这里，术语分段媒体分发网络是指包括各自跨越地分发一个或多个媒体流的若干分段的媒体分发网络。
图3示出了这样的分段媒体分发网络103的示例。媒体分发网络103被示出为包括媒体流源发器110-114以及以转码器120和复用器122形式的流修改器120、122。相对于图1的媒体分发网络的差异是，在图3中，媒体流被示出为递送到媒体分发网络103的头端141-145，其中头端中的每一个充当用于多个设备、诸如相应终端用户的多个接收器的分发点。因此，头端建立了媒体分发网络103的多个分段161-165，其各自包括不同的多个设备。图3示出了这样的媒体分发网络103的常见配置，其中，流修改器120、122可以被包括在媒体分发网络103中头端141-145的上游而不是在头端中或其下游。
本发明可以基于下述假设来适应于这样的分段媒体分发网络：相应分段中的媒体流的时间线信息贯穿基本上整个分段是相同的，特别是当排除接收器本身中这样的修改时。
图4示出了这样的结果，其中，图4示出了在这样的分段媒体分发网络104的上下文内的根据本发明的系统。这里，示出了三个媒体流发源110-114和四个头端141-144。头端141-144中的每一个服务一组接收器，其各自包括同步客户端SC。出于清楚的缘故，图4没有示出接收器本身，而是相反仅仅示出了每个分段中的同步客户端400。此外，虽然图4中的每个分段仅包括三个同步客户端并且因此指示仅三个接收器的使用，但是将领会到，在实践中，这样的分段还可以包括显著更大数目的接收器和相关联的同步客户端。图4还示出了被置于每个分段中、即头端141-144中每一个的下游的流监视器201-204。
图4的上下文内的系统的操作可以被如下解释。每个媒体流可以通过持久标识单元，所述持久标识单元获得相应媒体流的一个或多个媒体样本的持久标识。持久标识单元在图4中被指示为指纹识别、加水印和/或标记（FWM）单元210-214。如图4中所示，不同的FWM单元210-214可以彼此通信，并且具有主挂钟，从而使得持久标识能够在时间上相关。附加地或替代地，可以存在由广播方或增值服务提供商进行的手动编辑控制以在FWM单元210-214的点处建立媒体流之间的确切同步。FWM单元可以采用指纹识别来获得（一个或多个）持久标识。在该情况下，FWM单元可以被动地监视媒体流。FWM单元还可以采用加水印或加标记。在这些情况下，FWM单元可以主动将这些（水印）标记置于相应的媒体流中。结果，FWM单元210-214可以提供多个持久标识，所述持久标识使来自不同分段的、应当同时播出的媒体样本相互关联。这样的信息可以以标识信息的形式被提供给相互关联子系统300，如图4中由虚线箭头所指示的。这样的标识信息可以此外包括媒体流的时间线信息的相关联时间戳，即内容时间戳。事实上，每个FWM单元210-214可以构成流监视器，因为其可以提供媒体流的媒体样本的持久标识和相关联的时间戳。
在由头端141-144建立的每个分段中，安置流监视器201-204，其从在每个分段中递送的媒体流获得持久标识。所述持久标识可以在类型上与FWM单元210-214的那个匹配。然后，每个流监视器201-204将标识信息提供给相互关联子系统300，其包括一个或多个持久标识和来自媒体流的时间线信息的相关联的时间戳。然后，相互关联子系统300可以组合该标识信息，以使得能够使每个分段中的媒体流的时间线信息相互关联，即通过在时间上将一个分段中的媒体流的持久标识与另一分段中的第二媒体流的持久标识匹配，由此在时间上匹配相关联的时间戳值。因此，可以使得相互关联子系统300能够确定媒体流的时间戳如何在不同的分段之间相互关联。
注意到，虽然图4中未示出，但是在头端141-144接收到相同媒体流的不同修改的和/或未修改的版本的情况下，可能不需要FWM单元，因为来自一个分段的持久标识可能在时间上与来自另一分段的持久标识直接匹配。
图4示出了相互关联子系统300被包括在同步服务器中、即媒体同步应用服务器（MSAS）中。MSAS 300和同步客户端400形成同步子系统，因为它们使得能够关于媒体流执行同步动作。图4的MSAS 300被示出为从FWM单元210-214和同步监视器201-204接收标识信息。MSAS 300可以组合该信息以生成用于一个或多个同步客户端400的定时信息。例如，定时信息可以包括按照来自接收器正在接收的媒体流的时间线信息所表述的时间戳，从而使得所述一个或多个同步客户端400能够关于接收到的媒体流而执行同步动作。
如图4中所示并且根据本发明，与每个相应分段中的同步客户端400的数目相比，提供仅一个或有限数目的流监视器201-204可能就足够了。如果MSAS 300服务多个分段，则对于MSAS 300而言可能需要确定相应同步客户端400属于哪个分段。这里，注意到，可以在MSAS 300内、与流监视器相关地定义分段。因此，对于流监视器而言可能不需要与分段相关联，而是相反使同步客户端与流监视器相关联，从而建立分段。可以通过每个同步客户端400来隐式地或显式地提供这样的信息。例如，同步客户端可以报告关于手动配置的参数、来自电子节目指南（EPG）的参数、来自接收到的流的参数等。后者的示例可以是来自RTP流的同步源、SSRC参数。替代地，MSAS 300可以基于网络地址、路由信息等来检测分段。
先前已经在流式传输的一个或多个媒体流的上下文内描述了本发明。然而，这样的媒体流还可以由接收器以非流式传输方式、例如通过从文件访问来被访问。
图5示出了在具有对媒体流的基于文件的访问的接收器的上下文内的根据本发明的系统。该实施例基于其中可以以各种方式获得所记录的媒体流的以下使用情况。例如，影片可以利用个人视频记录器（PVR）在其自己的位置处（用户PVR）或使用网络中的记录功能性（网络PVR）来记录。相同影片还可以通过例如视频点播（VoD）因特网服务来被下载，或者通过购买DVD或蓝光碟来获得。
虽然这样不同来源的记录的时间线信息可能不同，但是可能有需要使得记录的媒体流能够被同步播出，或者一般地，使时间线信息在这样的媒体流之间相互关联。图5通过示出各自两个接收器的两个集群来图示该使用情况，即第一集群171包括第一和第二接收器191、192，并且第二集群172包括第三和第四接收器193、194。第一集群171中的接收器191、192各自可以访问第一文件，并且第二集群172中的接收器193、194各自可以访问第二文件，即通过在每个接收器的本地存储装置中存储相应文件。第一文件和第二文件可以包括例如相同影片的不同记录，并且因而每一个都提供不同的媒体流。因此，如被包括在相应文件中的媒体流可以包括不同的时间线信息。
在图5的示例中，第一接收器191和第三接收器193各自包括流监视器SM1、SM3，其中每个流监视器被布置用于通过下述来提供针对文件的媒体流的标识信息：i）获得媒体流的一个或多个媒体样本的持久标识，ii）根据被包括在媒体流中的时间线信息而确定与持久标识相关联的时间戳值，以及iii）提供所述一个或多个媒体样本的时间戳值和持久标识作为标识信息。
特别地，图5示出了向MSAS 300提供标识信息的流监视器SM1和流监视器SM3。为了将来自第一文件的媒体流的第一持久标识与来自第二文件的媒体流的第二持久标识匹配，MSAS 300可以访问标识信息，所述标识信息包括多个持久标识以及公共播出时间线上的相关联的多个播出时间。标识信息可以被包括在数据库310上，并且可以构成参考标识信息，因为其可以包括例如一个或多个影片、视频节目等的所有指纹。因此，MSAS 300可以在时间上使第一持久标识与第二媒体流的第二持久标识匹配，从而将第一文件的媒体流的第一时间戳值与第二文件的媒体流的第二时间戳值匹配。
为了获得跨接收器的目的地间媒体同步，每个接收器中的同步客户端现在可以基于文件的媒体流的时间戳来报告关于其媒体接收和/或播出定时，并且作为响应，从MSAS300接收定时信息，使得能够关于相应媒体流而执行同步动作。
类似于图3和图4的分段，MSAS 300可能需要确定接收器或其同步客户端属于哪个集群。因为集群可以在MSAS 300内、关于流式传输监视器201、203来被定义，所以在图5的示例中，可能仅是第二接收器192和第四接收器194可能需要提供信息从而允许MSAS 300标识相应接收器是位于包括流监视器SM1的第一集群171中还是在包括流监视器SM2的第二集群172中。这样的信息可以由每个接收器的同步客户端402、404来提供，例如通过提供诸如以下的细节：何时记录TV节目、被记录的TV节目、用于对记录进行编程的EPG、记录器的类型、TV提供商、所记录的预演定时设置等。如果从VoD提供商下载文件，则提供商可以与下载的内容项的标识一起被指示。如果从DVD或蓝光盘获得文件，则可以使用盘上的内容项连同其它标识符。其它信息包括内容的确切长度、所使用的编解码器、可用EPG信息等。
将领会到，图5的示例可以有利地应用于IPTV环境，因为在IPTV提供商的域中，可能仅存在有限数目的不同类型的接收器，即机顶盒。因而，仅几个接收器可能需要提供标识信息，例如，每个不同类型的仅一个接收器需要包括流监视器，其中，这样的信息随后用于为相同类型的所有其它接收器提供定时信息。
根据本发明的方法可以使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联，所述相互关联基于从至少两个流监视器获得的标识信息，所述流监视器中的每一个被布置用于通过下述来提供针对媒体流的标识信息：
i）获得媒体流的一个或多个媒体样本的持久标识，所述持久标识是可以使用媒体流来可再现地获得的数据，
ii）根据被包括在媒体流中的时间线信息来确定与持久标识相关联的时间戳值，以及
iii）提供所述一个或多个媒体样本的时间戳值和持久标识作为标识信息。
该方法可以包括，在标题为“获得针对第一媒体流的标识信息”的第一步骤中，从所述至少两个流监视器中的第一流监视器获得针对第一媒体流的第一标识信息。该方法可以此外包括，在标题为“获得针对第二媒体流的标识信息”的第二步骤中，从所述至少两个流监视器中的第二流监视器获得针对第二媒体流的第二标识信息。该方法可以此外包括，在标题为“组合标识信息以使得能够在两个媒体流之间使时间线信息相互关联”的第三步骤中，组合第一标识信息与第二标识信息，以使得能够将第一媒体流的时间线信息与第二媒体流的时间线信息相互关联，这通过使第一媒体流的第一持久标识与第二媒体流的第二持久标识匹配，并且从而使第一媒体流的第一时间戳值与第二媒体流的第二时间戳值匹配。
注意到，第一步骤和第二步骤可以以任何合适的次序以及同时地执行。此外，第一步骤和第二步骤中的任一个或二者可以被重复执行，从而使得能够在第三步骤期间执行匹配，其通过将第一持久标识与多个持久标识匹配，从而标识、即匹配第二持久标识，或反之亦然。该方法的步骤可以通过被包括在媒体分发网络中的一个或多个实体来执行，包括可以形成媒体分发网络的端点的接收器。此外，计算机程序产品可以包括用于使得处理器系统执行方法的指令。计算机程序产品还可以是分布式的，因为不同的指令可以被提供以使得不同的处理器系统来共同执行方法。
注意到，通常，如由流监视器获得的持久标识可以由指纹、水印或标记、或者所述持久标识的组合构成，但不限于这些示例。
在这方面，注意到，术语“指纹识别”是指这样的技术：所述技术本身从计算机科学领域中已知，并且尝试通过使用相对小量的数据（即指纹）来唯一地标识相对大量的数据，即建立其标识。例如，可以使用大量数据或甚至其（小）范围的散列。流监视器可以利用这样的已知技术，诸如视频指纹识别和/或音频指纹识别。指纹识别可以基于特定媒体样本，例如，视频帧、音频样本、时间-文本-样本等，或基于媒体样本的（短）范围，例如音频的几秒或多个连续视频帧。因此，如果期望在时间上使任意指纹与另一任意指纹匹配，则可能需要规律地重复指纹识别。替代地，可以使指纹彼此直接比较，以确定它们是否匹配，并且因此与相同的播出时间相关。术语“加水印”是指本身也从计算机科学领域中已知的技术。而且，可能需要规律地重复加水印。术语“标记”是指以持久方式被包括在媒体流中的标记，诸如编解码器中的数字标记、MPEG-TS中的标记、RTP或RTCP中的标记等。
通常，流监视器可以是媒体分发网络内的分离实体。特别地，流监视器可以被置于诸如头端之类的分段的起源中或附近。流监视器还可以与同步客户端同位置。流监视器还可以被实现为多个同步客户端中的软件组件，但是每分段被激活一次或有限次数，等等。而且，如果同步客户端可以接收相同分段中、例如IPTV分段中的多个流，则不同客户端可以各自执行针对不同流、例如针对不同TV频道的监视功能。
流监视器可以向MSAS中的相互关联子系统报告标识信息。流监视器还可以向被包括在同步客户端中的相互关联子系统报告标识信息。流监视器可以以规律的间隔向相互关联子系统提供标识信息。可以根据较早前的标识信息来外推标识信息。还可以在时间戳中或在其它定时数据中仅以不连续性来提供标识信息，例如每当开始新的节目时或者当通过插播广告而中断当前节目时。
通常，相互关联子系统可以是媒体分发网络内的分离的实体。相互关联子系统可以根据较早前获得的标识信息而将标识信息外推到在前或随后的媒体样本。在混合TV使用情况中，相互关联子系统可以将标识信息中继到同步客户端。在社交TV和伴随屏幕使用情况中，相互关联子系统还可以使用标识信息来生成用于同步客户端的定时信息。相互关联子系统可以体现为具有多个互连的、可能地分层次地布置的MSASe的分布式系统。可以使得相互关联子系统能够基于手动配置来向分段指派同步客户端。还可以使得相互关联子系统能够基于信令解决方案来向分段指派同步客户端。
还注意到，本申请中的示例遵循这样称呼的同步大师方案（SMS、客户端-服务器模型）。然而，本发明还可适用于其它同步方案，诸如分布式控制方案（DCS）或主-从方案，如在较早前提到的文章、F. Boronat等人的“Multimedia group and inter-streamsynchronization techniques: A comparative study”（Elsevier Information System,34, 2009, pp.108-131）中讨论的。
通常，注意到，同步并不总是必须是完全准确的。例如，在社交TV的使用情况中，几百ms并且甚至高达1或2秒的播出定时差可能不被用户注意到。然而，在若干媒体流的本地同步的情况下，在诸如混合广播宽带TV（HbbTV）之类的一个设备上或者在TV和伴随屏幕上，可能需要更准确的同步。然而甚至在这些使用情况中，声像同步误差在高达近似120ms（100ms视频在前到大约30ms音频在前之间）的情况下仍然不可探测。因此，将领会到，在本发明的上下文内，术语“媒体同步”可以是指实现令人满意的终端用户体验的同步程度。
此外，这样的完全准确的同步仅可以在播出定时上实施，即，报告和影响向用户呈现媒体的实际时间。然而，该定时不总是可用的。有在其上报告定时或影响定时的其它点，即，接收器设备中的内容链中的可寻址的任何点将会行。这可以是从内容被接收（分组接收时间）、分组被处理、分组被解码等的时刻。在此文本中出于同步的目的而讨论定时的情况下，这些定时中的任一个是可适用的。
将领会到，本发明可以有利地用于实现HbbTV-TF-媒体和DVB-TM-COS中的媒体同步。这里，贯穿媒体分发网络的延迟可以如下被管理。广播方可以通过每信道、每网络分段地提供流监视器并且每信道、每网络分段地提供可变缓冲器来粗略地均衡媒体分发网络的分段之间的延迟。此外，可以在TV和伴随屏幕中/之间提供精细同步。广播方可以基于原始媒体流的指纹识别或加水印以及关于每网络分段所递送的媒体流的指纹或水印的流监视器报告来将递送的内容时间线与原始内容时间线相互关联。
应当注意，以上提及的实施例说明而不是限制本发明，并且本领域技术人员将能够设计许多替代实施例。
在权利要求中，置于括号之间的任何参考标记不应当被解释为限制权利要求。动词“包括”及其动词词性变化的使用不排除除了权利要求中陈述的那些之外的元件或步骤的存在。在元件之前的冠词“一”或“一个”不排除多个这样的元件的存在。本发明可以借助于包括若干不同元件的硬件来实现，以及借助于适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的若干个可以通过同一个硬件项来体现。仅仅是在相互不同的从属权利要求中叙述了某些措施这一事实并不指示这些措施的组合不能被有利地使用。

Claims (15)

1.一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的系统，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联并且包括不同的时间线信息，并且该系统包括：
-至少两个流监视器，所述流监视器中的每一个被布置用于通过下述提供针对媒体流的标识信息：
i）获得媒体流的一个或多个媒体样本的持久标识，所述持久标识是对着媒体流的处理是稳健的并且可以使用媒体流可再现地获得的数据，
ii）根据媒体流中所包括的时间线信息来确定与持久标识相关联的时间戳值，以及
iii）提供所述一个或多个媒体样本的持久标识和时间戳值作为标识信息；
其中，所述至少两个流监视器包括用于提供针对第一媒体流的第一标识信息的第一流监视器以及用于提供针对第二媒体流的第二标识信息的第二流监视器；以及
-相互关联子系统，其用于组合第一标识信息与第二标识信息，以使得能够将第一媒体流的时间线信息与第二媒体流的时间线信息相互关联，这通过使第一媒体流的第一持久标识与第二媒体流的第二持久标识匹配，并且从而使第一媒体流的第一时间戳值与第二媒体流的第二时间戳值匹配。
2.根据权利要求1所述的系统，其中，第二媒体流是第一媒体流的修改版本，所述修改版本包括与第一媒体流的时间线信息不同的时间线信息。
3.根据权利要求2所述的系统，其中，第一媒体流经由媒体分发网络来被分发，其中，所述媒体分发网络包括用于生成第一媒体流的修改版本的流修改器，并且其中，第一流监视器被包括在媒体分发网络中流修改器的上游，并且第二流监视器被包括在媒体分发网络中流修改器的下游。
4.根据权利要求1所述的系统，其中，相互关联子系统被布置用于基于第三标识信息来使第一持久标识与第二持久标识匹配，所述第三标识信息将第一持久标识和第二持久标识链接到公共播出时间线。
5.根据权利要求4所述的系统，其中，第一媒体流和第二媒体流是包括公共时间线信息的媒体流的复合物的部分，并且其中所述系统此外包括第三流监视器，用于提供针对媒体流的复合物的所述第三标识信息。
6.根据以上权利要求中任一项所述的系统，其中，第二媒体流经由媒体分发网络被分发，其中所述媒体分发网络此外包括同步子系统以用于关于第二媒体流而执行同步动作，并且其中，相互关联子系统被布置用于提供定时信息以用于使得同步子系统能够基于第一媒体流的时间线信息来执行同步动作。
7.根据权利要求6所述的系统，其中，同步动作是以下各项的组中的一个：
-媒体流缓冲或向前跳过以使得能够在多个接收器上同步回放第一媒体流和/或第二媒体流，
-媒体流缓冲或向前跳过以使得能够在接收器上同步回放第一媒体流与第二媒体流，和
-与接收器上的媒体流播出同步地触发接收器上的应用。
8.根据权利要求6或7所述的系统，其中，同步子系统包括同步服务器和多个同步客户端，其中所述多个同步客户端被包括在被布置用于分发第二媒体流的媒体分发网络的分段中，并且其中，第二流监视器被包括在所述多个同步客户端之间的分段中。
9.根据权利要求8所述的系统，其中，相互关联子系统被布置用于向分段中的所述多个同步客户端提供定时信息，以用于使得所述同步客户端能够基于通过第二流监视器对第二媒体流的监视来执行关于第二媒体流的同步动作。
10.根据以上权利要求中任一项所述的系统，其中，持久标识是以下各项的组中的一个：所述一个或多个媒体样本的指纹、水印和标记。
11.一种媒体分发网络，其包括根据以上权利要求中任一项所述的系统。
12.一种如在根据以上权利要求中任一项所述的系统中使用的流监视器和/或相互关联子系统。
13.一种供根据权利要求8或9所述的系统使用的同步客户端，其中，所述同步客户端被布置用于向相互关联子系统标识其中包括同步客户端的分段。
14.一种用于使得能够在第一媒体流和第二媒体流之间使时间线信息相互关联的方法，所述第一媒体流和第二媒体流二者都与公共播出时间线相关联并且包括不同的时间线信息，所述相互关联基于从至少两个流监视器获得的标识信息，所述流监视器中的每一个被布置用于通过下述来提供针对媒体流的标识信息：
i）获得媒体流的一个或多个媒体样本的持久标识，所述持久标识是对着媒体流的处理是稳健的并且可以使用媒体流来可再现地获得的数据，
ii）根据被包括在媒体流中的时间线信息来确定与持久标识相关联的时间戳值，以及
iii）提供所述一个或多个媒体样本的时间戳值和持久标识作为标识信息；
并且所述方法包括：
-从所述至少两个流监视器中的第一流监视器获得针对第一媒体流的第一标识信息；
-从所述至少两个流监视器中的第二流监视器获得针对第二媒体流的第二标识信息；
-组合第一标识信息与第二标识信息，以使得能够将第一媒体流的时间线信息与第二媒体流的时间线信息相互关联，这通过将第一媒体流的第一持久标识与第二媒体流的第二持久标识匹配，并且从而将第一媒体流的第一时间戳值与第二媒体流的第二时间戳值匹配。
15.一种计算机程序产品，其包括用于使得处理器系统执行根据权利要求14所述的方法的指令。
CN201480063547.4A 2013-09-20 2014-09-05 在媒体流之间使时间线信息相互关联的系统和方法 Active CN105765987B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13185405.1 2013-09-20
EP13185405 2013-09-20
PCT/EP2014/068925 WO2015039888A1 (en) 2013-09-20 2014-09-05 Correlating timeline information between media streams

Publications (2)

Publication Number Publication Date
CN105765987A true CN105765987A (zh) 2016-07-13
CN105765987B CN105765987B (zh) 2019-06-21

Family

ID=49209296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480063547.4A Active CN105765987B (zh) 2013-09-20 2014-09-05 在媒体流之间使时间线信息相互关联的系统和方法

Country Status (7)

Country Link
US (1) US10694264B2 (zh)
EP (2) EP3047652B1 (zh)
JP (1) JP6240315B2 (zh)
KR (1) KR101883579B1 (zh)
CN (1) CN105765987B (zh)
ES (1) ES2796873T3 (zh)
WO (1) WO2015039888A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769559A (zh) * 2018-05-25 2018-11-06 数据堂（北京）科技股份有限公司 多媒体文件的同步方法及装置
CN110768740A (zh) * 2019-10-29 2020-02-07 广州趣丸网络科技有限公司 时间同步方法及装置
CN115244939A (zh) * 2019-11-20 2022-10-25 维斯克体育科技有限公司 用于数据流同步的系统和方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015039891A1 (en) 2013-09-20 2015-03-26 Koninklijke Kpn N.V. Correlating timeline information between media streams
US10694264B2 (en) 2013-09-20 2020-06-23 Koninklijke Kpn N.V. Correlating timeline information between media streams
US20170055025A1 (en) * 2014-04-30 2017-02-23 Lg Electronics Inc. Broadcast transmission apparatus, broadcast reception apparatus, operation method of the broadcast transmission apparatus and operation method of the broadcast reception apparatus
US9794313B2 (en) * 2014-05-09 2017-10-17 Cisco Technology, Inc. Methods and systems to facilitate synchronization of multiple media streams
US20170006331A1 (en) * 2015-06-30 2017-01-05 Stmicroelectronics International N.V. Synchronized rendering of split multimedia content on network clients
GB2544796B (en) * 2015-11-27 2019-11-13 British Telecomm Video content synchronisation
US10575042B2 (en) 2015-11-27 2020-02-25 British Telecommunications Public Limited Company Media content synchronization
CN110225370B (zh) * 2016-01-18 2021-04-02 上海交通大学 一种多媒体内容个性化呈现的时间线控制方法
WO2017167838A1 (en) 2016-03-31 2017-10-05 British Telecommunications Public Limited Company Mobile communications network
WO2017167835A1 (en) 2016-03-31 2017-10-05 British Telecommunications Public Limited Company Mobile communications network
CN108781347B (zh) 2016-03-31 2022-01-04 英国电讯有限公司 移动通信网络的基站、操作移动通信网络的基站的方法
US10437829B2 (en) 2016-05-09 2019-10-08 Level 3 Communications, Llc Monitoring network traffic to determine similar content
JP2018006846A (ja) * 2016-06-28 2018-01-11 日本放送協会 同期提示システム、同期提示方法及び同期提示プログラム
WO2018001897A1 (en) 2016-06-29 2018-01-04 British Telecommunications Public Limited Company Multicast-broadcast mobile communications network
US10771298B2 (en) 2016-08-04 2020-09-08 British Telecommunications Public Limited Company Mobile communications network
EP3534618A4 (en) * 2016-10-27 2020-06-03 Evixar Inc. CONTENT REPRODUCING PROGRAM AND CONTENT REPRODUCING APPARATUS
KR101934200B1 (ko) * 2017-02-03 2019-04-05 한국과학기술원 미디어 동기화 방법 및 시스템
US10341672B2 (en) 2017-02-03 2019-07-02 Korea Advanced Institute Of Science And Technology Method and system for media synchronization
US10986421B2 (en) * 2017-07-03 2021-04-20 Dolby Laboratories Licensing Corporation Identification and timing data for media content
CN110581727A (zh) 2018-06-08 2019-12-17 英国电讯有限公司 无线电信网络
US10904587B2 (en) 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
WO2021025681A1 (en) * 2019-08-05 2021-02-11 Google Llc Event progress detection in media items
CN115299067A (zh) * 2020-04-02 2022-11-04 谷歌有限责任公司 用于同步视频流的方法、系统和介质
KR102452069B1 (ko) * 2020-12-24 2022-10-11 김인철 방송 동기화를 통한 서비스 제공 방법
US11722763B2 (en) 2021-08-06 2023-08-08 Motorola Solutions, Inc. System and method for audio tagging of an object of interest

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830211A (zh) * 2003-07-25 2006-09-06 皇家飞利浦电子股份有限公司 生成并检测用于同步音频和视频的指纹的方法和设备
CN101331548A (zh) * 2005-12-15 2008-12-24 皇家飞利浦电子股份有限公司 记录具有区别特征的数据的方法
CN101854319A (zh) * 2010-06-11 2010-10-06 哈尔滨工程大学 一种混沌多进制数字调制方法
CN103177489A (zh) * 2011-12-20 2013-06-26 西安众智惠泽光电科技有限公司 基于指纹识别的人员出入统计装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739864A (en) 1994-08-24 1998-04-14 Macrovision Corporation Apparatus for inserting blanked formatted fingerprint data (source ID, time/date) in to a video signal
IT1281447B1 (it) 1995-11-09 1998-02-18 Danieli Off Mecc Gruppo di bloccaggio anello di laminazione
US20020120925A1 (en) 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US6642966B1 (en) 2000-11-06 2003-11-04 Tektronix, Inc. Subliminally embedded keys in video for synchronization
US7461002B2 (en) 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
JP2003259314A (ja) * 2002-02-26 2003-09-12 Nippon Hoso Kyokai <Nhk> 映像音声同期方法及びそのシステム
AU2003211073A1 (en) 2003-02-14 2004-09-09 Thomson Licensing S.A. Automatic synchronization of audio and video based media services of media content
US7764713B2 (en) * 2005-09-28 2010-07-27 Avaya Inc. Synchronization watermarking in multimedia streams
US8705195B2 (en) 2006-04-12 2014-04-22 Winview, Inc. Synchronized gaming and programming
US7869420B2 (en) 2005-11-16 2011-01-11 Cisco Technology, Inc. Method and system for in-band signaling of multiple media streams
EP1967005B1 (en) * 2005-12-23 2010-02-03 AMBX UK Limited Script synchronization using fingerprints determined from a content stream
JP2007208345A (ja) * 2006-01-31 2007-08-16 Astro Design Inc 電子透かしによるリップシンク装置及びリップシンク方法
RU2477883C2 (ru) * 2007-08-20 2013-03-20 Нокиа Корпорейшн Сегментированные метаданные и индексы для потоковых мультимедийных данных
PL2206316T3 (pl) * 2007-10-23 2014-01-31 Koninklijke Kpn Nv Sposób i system synchronizacji grupy terminali końcowych
WO2010106075A1 (en) 2009-03-16 2010-09-23 Koninklijke Kpn N.V. Modified stream synchronization
KR101500818B1 (ko) 2009-12-21 2015-03-09 코닌클리즈케 케이피엔 엔.브이. 콘텐츠 배포 시스템
CA2841802C (en) * 2010-07-21 2018-08-28 D-Box Technologies Inc. Media recognition and synchronisation to a motion signal
CN102802044A (zh) * 2012-06-29 2012-11-28 华为终端有限公司 视频处理方法、终端及字幕服务器
US10694264B2 (en) 2013-09-20 2020-06-23 Koninklijke Kpn N.V. Correlating timeline information between media streams
WO2015039891A1 (en) 2013-09-20 2015-03-26 Koninklijke Kpn N.V. Correlating timeline information between media streams
US9516373B1 (en) 2015-12-21 2016-12-06 Max Abecassis Presets of synchronized second screen functions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830211A (zh) * 2003-07-25 2006-09-06 皇家飞利浦电子股份有限公司 生成并检测用于同步音频和视频的指纹的方法和设备
CN101331548A (zh) * 2005-12-15 2008-12-24 皇家飞利浦电子股份有限公司 记录具有区别特征的数据的方法
CN101854319A (zh) * 2010-06-11 2010-10-06 哈尔滨工程大学 一种混沌多进制数字调制方法
CN103177489A (zh) * 2011-12-20 2013-06-26 西安众智惠泽光电科技有限公司 基于指纹识别的人员出入统计装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769559A (zh) * 2018-05-25 2018-11-06 数据堂（北京）科技股份有限公司 多媒体文件的同步方法及装置
CN108769559B (zh) * 2018-05-25 2020-12-01 数据堂（北京）科技股份有限公司 多媒体文件的同步方法及装置
CN110768740A (zh) * 2019-10-29 2020-02-07 广州趣丸网络科技有限公司 时间同步方法及装置
CN115244939A (zh) * 2019-11-20 2022-10-25 维斯克体育科技有限公司 用于数据流同步的系统和方法

Also Published As

Publication number Publication date
US10694264B2 (en) 2020-06-23
JP2016537834A (ja) 2016-12-01
JP6240315B2 (ja) 2017-11-29
CN105765987B (zh) 2019-06-21
EP3651469A1 (en) 2020-05-13
KR101883579B1 (ko) 2018-07-30
US20160234570A1 (en) 2016-08-11
WO2015039888A1 (en) 2015-03-26
ES2796873T3 (es) 2020-11-30
EP3047652A1 (en) 2016-07-27
EP3047652B1 (en) 2020-05-06
KR20160048942A (ko) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105765987B (zh) 在媒体流之间使时间线信息相互关联的系统和方法
CN105723723B (zh) 在媒体流之间使时间线信息相互关联
US9832518B2 (en) Synchronization of processing media streams by one or more media processing devices
US11622163B2 (en) System and method for synchronizing metadata with audiovisual content
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
KR101689616B1 (ko) 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치
Howson et al. Second screen TV synchronization
US20200260132A1 (en) Video distribution synchronization
Van Deventer et al. Standards for multi-stream and multi-device media synchronization
WO2016145913A1 (zh) 自适应流媒体处理方法及装置
WO2009140882A1 (zh) 在ip电视中实现媒体内容插播的方法、装置及系统
Concolato et al. Synchronized delivery of multimedia content over uncoordinated broadcast broadband networks
Veenhuizen et al. Frame accurate media synchronization of heterogeneous media sources in an HBB context
Köhnen et al. A DVB/IP streaming testbed for hybrid digital media content synchronization
van Deventer et al. Media synchronisation for television services through HbbTV
KR20110033646A (ko) 구간별 텍스트 정보가 수반된 동영상 컨텐츠 제공 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant