CN115299067A - 用于同步视频流的方法、系统和介质 - Google Patents

用于同步视频流的方法、系统和介质 Download PDF

Info

Publication number
CN115299067A
CN115299067A CN202080098715.9A CN202080098715A CN115299067A CN 115299067 A CN115299067 A CN 115299067A CN 202080098715 A CN202080098715 A CN 202080098715A CN 115299067 A CN115299067 A CN 115299067A
Authority
CN
China
Prior art keywords
video stream
target video
determining
reference video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080098715.9A
Other languages
English (en)
Inventor
王珏
詹姆斯·赛·江·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN115299067A publication Critical patent/CN115299067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了用于同步视频流的方法、系统和介质。在一些实施例中，该方法包括：识别目标视频流和参考视频流，其中，目标视频流和参考视频流是节目的两个不同广播；为目标视频流生成指纹序列；确定指纹序列出现在参考视频流内的时间偏移；通过确定时间偏移是否超过预定阈值来确定目标视频流是否与参考视频流同步；并且，响应于确定目标视频流与参考视频流不同步，使得包括目标视频流的指示的电子节目指南基于时间偏移而被修改。

Description

用于同步视频流的方法、系统和介质
技术领域
所公开的主题涉及用于同步视频流的方法、系统和介质。
背景技术
电视网络可以向不同的本地电台广播节目。例如，单个节目可以被广播到全国各地的数百个本地电台。在一些情况下，在特定本地电台的节目的广播可能会变得延迟，例如，由于进入加时赛的体育赛事、由于突发新闻事件、由于天气延迟等。在这种情况下，在本地电台的本地操作者可能不得不手动检测节目广播被延迟，例如，以利用校正的定时信息手动调整电子节目指南。手动检测节目延迟和调整定时信息可能占用大量资源。
因此，期望提供用于同步视频流的新方法、系统和介质。
发明内容
提供了用于同步视频流的方法、系统和介质。
根据所公开的主题的一些实施例，提供了一种用于同步视频流的方法，该方法包括：识别目标视频流和参考视频流，其中，目标视频流和参考视频流是节目的两个不同广播；为目标视频流生成指纹序列；确定指纹序列出现在参考视频流内的时间偏移；通过确定时间偏移是否超过预定阈值来确定目标视频流是否与参考视频流同步；以及，响应于确定目标视频流与参考视频流不同步，使得包括目标视频流的指示的电子节目指南基于时间偏移而被修改。例如，指纹序列可以由从目标视频流的帧序列导出的指纹组成。例如，视频流的帧的“指纹”可以是从帧中提取的紧凑数字描述符。在一些实施例中，每个指纹是从帧序列中的相应帧导出的。
在一些实施例中，该方法进一步包括向与目标视频流相关联的操作者发送警报，其中，警报指示时间偏移。例如，警报可以指示已经检测到时间偏移，并且可选地还可以指示时间偏移的长度。
在一些实施例中，该方法进一步包括确定与时间偏移相关联的错误类型。
在一些实施例中，错误类型指示目标视频流没有在正确的时间开始。
在一些实施例中，错误类型指示目标视频流将不会在正确的时间结束。
在一些实施例中，目标视频流是基于与目标视频流相关联的元数据来识别的。附加地或替代地，参考视频流可以是基于与参考视频流相关联的元数据来识别的。
在一些实施例中，该方法进一步包括：识别第二目标视频流；为第二目标视频流生成第二指纹序列；确定第二指纹序列未被包含在参考视频流中；以及，响应于确定第二指纹序列未被包含在参考视频流中，确定第二目标视频流不是节目的与参考视频流相对应的广播。
在一些实施例中，第二目标视频流是基于与目标视频流相关联的元数据来识别的。
根据所公开的主题的一些实施例，提供了一种用于同步视频流的系统，该系统包括硬件处理器，该硬件处理器被配置成：识别目标视频流和参考视频流，其中，目标视频流和参考视频流是节目的两个不同广播；为目标视频流生成指纹序列；确定指纹序列出现在参考视频流内的时间偏移；通过确定时间偏移是否超过预定阈值来确定目标视频流是否与参考视频流同步；以及，响应于确定目标视频流与参考视频流不同步，使得包括目标视频流的指示的电子节目指南基于时间偏移而被修改。
根据所公开的主题的一些实施例，提供了一种计算机可读介质，包含计算机可执行指令，该计算机可读介质可以是非暂时性计算机可读介质，但是该实施例不限于非暂时性计算机可读介质，该计算机可执行指令当由处理器执行时使该处理器执行用于同步视频流的方法，该方法包括：识别目标视频流和参考视频流，其中，目标视频流和参考视频流是节目的两个不同广播；为目标视频流生成指纹序列；确定指纹序列出现在参考视频流内的时间偏移；通过确定时间偏移是否超过预定阈值来确定目标视频流是否与参考视频流同步；以及，响应于确定目标视频流与参考视频流不同步，使得包括目标视频流的指示的电子节目指南基于时间偏移而被修改。
根据所公开的主题的一些实施例，提供了一种用于同步视频流的系统，该系统包括：用于识别目标视频流和参考视频流的装置，其中，目标视频流和参考视频流是节目的两个不同广播；用于为目标视频流生成指纹序列的装置；用于确定指纹序列出现在参考视频流内的时间偏移的装置；用于通过确定时间偏移是否超过预定阈值来确定目标视频流是否与参考视频流同步的装置；以及，用于响应于确定目标视频流与参考视频流不同步而使包括目标视频流的指示的电子节目指南基于时间偏移而被修改的装置。
根据所公开的主题的一些实施例，提供了一种用于同步视频流的方法，该方法包括：识别目标视频流和参考视频流，其中，目标视频流和参考视频流是节目的两个不同广播；为目标视频流生成指纹序列；确定指纹序列出现在参考视频流内的时间偏移；通过确定时间偏移是否超过预定阈值来确定目标视频流是否与参考视频流同步；并且，响应于确定目标视频流与参考视频流不同步，向与目标视频流相关联的操作者发送警报，其中，警报指示时间偏移。
根据所公开的主题的一些实施例，提供了一种方法，该方法包括：识别目标视频流和参考视频流；为目标视频流生成指纹序列；确定指纹序列未被包含在参考视频流中；以及，响应于确定指纹序列未被包含在参考视频流中，确定目标视频流不是节目的与参考视频流相对应的广播。
根据所公开的主题的一些实施例，一种计算机可读介质，包含计算机可执行指令，该计算机可读介质可以是非暂时性计算机可读介质，但是该实施例不限于非暂时性计算机可读介质，该可执行指令当由处理器执行时使该处理器执行根据本文描述的任何实施例或实施方式的方法。
根据所公开的主题的一些实施例，提供了一种用于同步视频流的系统，该系统包括硬件处理器，该硬件处理器被配置为执行根据本文描述的任何实施例或实施方式的方法。
因此，本公开的各方面使得能够通过分析从目标视频序列的帧序列导出的指纹序列来确定目标视频流是否与参考视频流同步。用于导出指纹序列的帧序列可以包含比包括在目标视频序列中的少得多的帧，并且因此目标视频流是否与参考视频流同步的确定在计算上是高效的。此外，如果用于导出指纹序列的帧序列是从目标视频流中较早出现的帧中选择的，则能够在目标视频流的传输中的早期阶段做出目标视频流是否与参考视频流同步的确定。这使得能够在目标视频流的传输中的早期阶段知道目标视频流是否与参考视频流同步，从而使操作者、目标视频流的接收者和/或设备或实体能够在目标视频流的传输完成前被通知到目标视频流与参考视频流没有正确同步。
附图说明
当结合以下附图考虑时，参考所公开的主题的以下详细描述，能够更充分地认识到所公开的主题的各种目标、特征和优点，在附图中，相同的附图标号表示相同的元件。
图1示出了根据所公开的主题的一些实施例的用于同步视频流的过程的说明性示例。
图2A示出了根据所公开的主题的一些实施例的用于同步视频流的示意图的说明性示例。
图2B示出了根据所公开的主题的一些实施例的比较目标视频流和参考视频流以确定视频流是否被认为是时间同步的说明性示例。
图3示出了根据所公开的主题的一些实施例的适合于实现本文描述的用于同步视频流的机制的说明性系统的示意图。
图4示出了根据所公开的主题的一些实施例的能够在图3的服务器和/或用户设备中使用的硬件的详细示例。
具体实施方式
根据各种实施例，提供了用于同步视频流的机制(其能够包括方法、系统和介质)。
在一些实施例中，本文描述的机制能够确定两个视频流是否时间同步，每个视频流对应于演出或节目(例如，电视演出、电影和/或任何其他合适类型的演出或节目)的广播。例如，在一些实施例中，这些机制能够确定目标视频流(例如，对应于在特定本地电台上的演出的播出)是否与对应于同一演出的参考视频流时间同步。在一些实施例中，响应于确定目标视频流不与参考视频流时间同步，这些机制能够执行任何合适的动作。
例如，在一些实施例中，这些机制能够生成警报，该警报能够被发送给呈现目标视频流的本地电台的操作者。作为另一个示例，在一些实施例中，这些机制能够使得包括目标视频流的电子节目指南被修改。例如，在其中这些机制确定因为目标视频流相对于参考视频流延迟而导致目标视频流与参考视频流不同步的情况下，这些机制能够使电子节目指南被修改以指示目标视频流的准确开始时间、目标视频流的更新的结束时间和/或以任何其他合适的方式更新。
在一些实施例中，这些机制能够使用任何合适的技术或技术的组合来确定目标视频流是否与参考视频流时间同步。例如，在一些实施例中，这些机制能够识别目标视频流的指纹序列(例如，视频指纹、音频指纹和/或任何其他合适的指纹)。继续这个示例，在一些实施例中，这些机制能够确定指纹序列出现在参考视频流内的时间偏移。进一步继续该示例，在一些实施例中，这些机制能够基于时间偏移来确定目标视频流是否与参考视频流同步。作为更具体的示例，在一些实施例中，这些机制能够响应于确定时间偏移小于预定阈值而确定目标视频流与参考视频流同步。相反，在一些实施例中，这些机制能够响应于确定时间偏移超过预定阈值而确定目标视频流与参考视频流不同步。
转向图1，示出了根据所公开的主题的一些实施例的用于同步视频流的过程的说明性示例100。在一些实施例中，过程100能够由诸如服务器的任何合适的设备执行，服务器存储与向不同本地电台广播的演出或节目的播出相对应的不同视频流。
在102处，过程100能够通过识别作为节目的广播的参考视频流和目标视频流开始。在一些实施例中，过程100能够以任何合适的方式识别参考视频流和目标视频流。注意，在一些实施例中，参考视频流和目标视频流各自能够是任何合适类型的演出或节目的广播，诸如电视演出、电影和/或任何其他合适类型的演出。此外，在一些实施例中，参考视频流能够是要用作参考的任何合适的视频流，诸如向特定本地电台广播的视频流、随机选择的演出的广播和/或任何其他合适的参考视频流。
在一些实施例中，过程100能够基于与每个视频流相关联的元数据来识别参考视频流和/或目标视频流。在一些实施例中，元数据能够指示任何合适的信息，诸如对应于视频流的演出或节目的名称。例如，在一些实施例中，元数据能够指示电视演出的名称、特定电视演出的集数或名称、和/或电影的名称。在一些实施例中，元数据能够指示任何其他合适的信息，诸如节目标识符、要在其上广播视频流的频道的标识符、要在其中广播视频流的地理区域的标识符、要在其中广播视频流的时隙和/或任何其他合适的信息。在一些实施例中，过程100能够基于指示目标视频流对应于与参考视频流相同的演出或节目的元数据来识别目标视频流。
在104处，过程100能够对目标视频流进行采样以识别目标视频流的帧序列(组)。在一些实施例中，过程100能够以任何合适的频率(例如，每秒一次、每秒两次、每两秒一次和/或任何其他合适的频率)对目标视频流进行采样。在一些实施例中，过程100能够以特定频率对目标视频流进行采样并且能够识别对应于每个采样时间点的目标视频流的帧。
在106处，过程100能够针对目标视频流的帧序列识别指纹序列。在一些实施例中，指纹序列能够包括与帧序列中的帧相对应的视频内容的任何合适数量的视频指纹。附加地或替代地，在一些实施例中，指纹序列能够包括与帧序列中的帧相对应的音频内容的任何合适数量的音频指纹。在一些实施例中，过程100能够以任何合适的方式识别指纹序列。例如，在一些实施例中，过程100能够使用任何合适的视频指纹和/或音频指纹算法来生成指纹序列。作为另一个示例，在一些实施例中，过程100能够从任何合适的实体或数据库中检索对应于帧序列的指纹序列。注意，在一些实施例中，帧序列能够包括目标视频流的任何合适数量(例如，一个、两个、五个、十个、二十个和/或任何其他合适数量)的帧，并且帧序列中的每一帧能够与任何合适数量的指纹(例如，帧序列中的每帧一个指纹、帧序列中的每帧两个指纹(例如，视频指纹和音频指纹、两个不同的视频指纹表示等)和/或任何其他合适数量的指纹)相关联。另外，注意，在一些实施例中，能够为不同的帧识别不同数量的指纹。例如，在一些实施例中，帧序列中的第一帧能够与指纹序列的两个指纹相关联，并且帧序列中的第二帧能够与指纹序列的一个指纹相关联。此外，在一些实施例中，帧序列中的帧能够是连续帧的序列(例如，Frame1、Frame2、...FrameN)。或者，在一些实施例中，帧序列中的帧能够是不连续的(例如，Frame1、Frame5、Frame6、...FrameN)，其中，在帧序列中跳过任何合适的帧。
转向图2A，示出了根据所公开的主题的一些实施例的参考视频流202和目标视频流204的示例。如图所示，目标视频流204包括具有指纹序列206的帧。注意，尽管在指纹序列206中示出了三个指纹，但在一些实施例中，任何合适数量的指纹(例如，一个、两个、三个、五个、十个和/或任何其他合适数量)以及任何合适类型的指纹(例如，视频指纹和/或音频指纹)能够被包括在指纹序列206中。另外，注意，在一些实施例中，指纹序列206中的第一指纹能够与对应检查点210相关联(其能够定义指纹发生的时间或序列中的点或者检查同步的时间或序列中的点)。
返回参考图1，在108处，对于目标视频流的每个指纹序列，过程100能够确定指纹序列出现在参考视频流内的时间偏移。参考图2A，时间偏移216能够指示在目标视频流204的指纹序列206的检查点210与参考视频流202的指纹序列208的对应第一指纹之间的持续时间。
返回参考图1，在一些实施例中，过程100能够以任何合适的方式确定目标视频的指纹序列出现在参考视频流内的时间偏移。例如，在一些实施例中，过程100能够执行目标视频流和参考视频流的指纹序列的互相关，以识别参考视频流内的指纹序列和指纹序列出现在参考视频流内的参考视频流内的时间位置。
在一些实施例中，过程100能够在参考视频流的任何合适的搜索窗口内搜索目标视频流的指纹序列。例如，参考图2A，在一些实施例中，过程100能够在检查点210之前的时间窗口212上搜索参考视频流202。作为另一个示例，在一些实施例中，过程100能够替代地或附加地在检查点210之后的时间窗口214上搜索参考视频流202。注意，在一些实施例中，时间窗口212和时间窗口214能够是相同的持续时间。或者，在一些实施例中，时间窗口212和时间窗口214能够具有不同的持续时间。注意，在一些实施例中，时间窗口212和/或时间窗口214能够各自具有任何合适的持续时间(例如，五秒、十秒、三十秒、一分钟、五分钟、十分钟和/或任何其他合适的持续时间)。
注意，在一些实施例中，过程100能够确定目标视频流的指纹序列没有出现在参考视频流中。在一些实施例中，响应于确定指纹序列没有出现在参考视频流中，过程100能够确定参考视频流对应于与目标视频流不同的节目。
在110处，过程100能够确定目标视频流是否与参考视频流时间同步。在一些实施例中，过程100能够使用任何合适的技术来确定目标视频流是否与参考视频流时间同步。例如，在一些实施例中，过程100能够响应于确定在108处确定的时间偏移小于预定阈值持续时间(例如，小于五秒、小于十秒、小于一分钟、小于两分钟和/或任何其他合适的持续时间)而确定目标视频流与参考视频流时间同步。在更具体的示例中，图2B示出了目标视频流V1与参考视频流V0同步，因为跨目标视频流V1的不同步长度小于预定阈值。作为另一示例，在一些实施例中，过程100能够响应于确定在108处确定的时间偏移超过预定阈值持续时间而确定目标视频流不与参考视频流时间同步。
注意，在一些实施例中，过程100能够响应于确定参考视频流不包含目标视频流的指纹序列而确定目标视频流不与参考视频流时间同步。
如果在110处过程100确定目标视频流与参考视频流时间同步(在110处的“是”)，则过程100能够在116处结束。
如果在110处过程100确定目标视频流不与参考视频流时间同步(在110处的“否”)，则过程100能够在112处确定同步信息。在一些实施例中，同步信息能够包括任何合适的信息，诸如与在参考视频流和目标视频流之间缺乏同步相关联的错误类型。
例如，在一些实施例中，在其中过程100确定在参考视频流中没有发现目标视频流的指纹序列的情况下，过程100能够确定错误类型是参考视频流是不正确的内容。在更具体的示例中，如图2B中所示，在其中过程100确定未在参考视频流V0中发现目标视频流V2的指纹序列或大于特定数量的目标视频流V2被发现为与参考视频流V0不同步的情况下，过程100能够确定参考视频流V2被不正确地识别并且正在提供不同的内容项。
作为另一示例，在其中在目标视频流中发现指纹序列的时间点之前的时间位置处在参考视频流中发现指纹序列的情况下，过程100能够确定错误类型是目标视频流的不正确的开始时间(或者，通常，与目标视频流相关联的电子节目指南时间是不正确的)。在更具体的示例中，如图2B中所示，在其中过程100确定目标视频流V3内的内容的特定部分被发现为与参考视频流V0不同步(例如，特定数量的非同步内容落入目标视频流V3的开始部分内)的情况下，过程100能够确定参考视频流具有不正确的开始时间。在一些实施例中，响应于过程100确定非同步内容的特定部分(例如，75％)落在自视频内容项的指定开始时间起的特定时间量(例如，前五分钟、前十分钟等)内，过程100能够确定目标视频流V3具有不正确的开始时间。应该注意，不正确的开始时间可能是由于例如自然事件进展(其中，先前的内容项在时间上延长)或不可预知的条件的存在。
作为又一示例，在其中在目标视频流处发现指纹序列的时间点之后的时间位置处在参考视频流中发现指纹序列的情况下，过程100能够确定错误类型是目标视频流的不正确的结束时间(或者，通常，与目标视频流相关联的电子节目指南时间是不正确的)。在更具体的示例中，如图2B中所示，在其中过程100确定目标视频流V4内的内容的特定部分被发现为与参考视频流V0不同步(例如，特定数量的非同步内容落在目标视频流V4的结束部分内)的情况下，过程100能够确定参考视频流具有不正确的结束时间。在一些实施例中，响应于过程100确定非同步内容的特定部分(例如，75％)落入自视频内容项的指定开始时间起的特定时间量(例如，最后五分钟、最后十分钟等)内，过程100能够确定参考视频流V4具有不正确的结束时间。
在114处，过程100能够发送警报。在一些实施例中，警报能够包括任何合适的信息，诸如在108处确定的时间偏移的持续时间、错误类型(例如，诸如上面结合112所讨论的)和/或任何其他合适的信息。在一些实施例中，过程100能够将警报发送给任何合适的用户或实体，诸如与不与参考视频流时间同步的目标视频流相关联的操作者(例如，在本地电台的操作者和/或任何其他合适的操作者)。在一些实施例中，过程100能够以任何合适的方式发送警报。例如，在一些实施例中，过程100能够通过向与警报的接收者相关联的用户账户发送消息来发送警报。注意，在一些实施例中，能够省略框114。例如，在一些实施例中，在其中如下面结合框115所描述的过程100直接更新电子节目指南(EPG)的情况下，能够省略过程114。
在115处，在一些实施例中，过程100能够修改包括目标视频流的指示的电子节目指南。例如，在其中因为目标视频流被时间偏移了特定持续时间(例如，因为目标视频流晚于参考视频流开始和/或出于任何其他合适的原因)导致过程100确定目标视频流不与参考视频流时间同步的情况下，过程100能够确定电子节目指南要被修改以指示目标视频流的准确开始时间和/或目标视频的更新的结束时间。作为更具体的示例，在一些实施例中，电子节目指南能够被修改以基于在108处确定的时间偏移来指示准确开始时间和/或能够被修改以基于在108处确定的时间偏移来指示更新的结束时间。注意，在一些实施例中，与特定目标视频流相关联的电子节目指南能够被自动更新，而无需由与特定目标视频流相关联的操作者手动输入。
另外，注意，在一些实施例中，过程100能够分析多个目标视频流以确定多个目标视频流中的任何一个是否不与参考视频流时间同步。例如，在一些实施例中，多个目标视频流能够包括特定演出或节目的不同广播。在一些实施例中，过程100能够识别相对于参考视频流的对应于每个目标视频流的时间偏移(例如，使用上面结合104-108描述的技术)。在一些实施例中，过程100能够对时间偏移执行任何合适的分析和/或执行任何合适的动作。例如，在一些实施例中，过程100能够向跟与超过预定阈值的时间偏移相关联的任何目标视频流相关联的操作者发送警报(例如，如上面结合114所讨论的)。
作为另一个示例，在一些实施例中，过程100能够对针对多个目标视频流识别的时间偏移进行聚类，并且能够基于聚类来识别与异常时间偏移相关联的目标视频流。作为更具体的示例，在一些实施例中，过程100能够对与对应数量的目标视频流(例如，五十个目标视频流、一百个目标视频流、五百个目标视频流和/或任何其他合适数量)相关联的任何何时数量的时间偏移进行聚类来识别不与参考视频流时间同步的目标视频流的子集。作为具体示例，在一些实施例中，过程100能够识别对应于具有相似时间偏移的目标视频流的子集的集群，并且能够确定该集群表示相对于未包括在该子集中的其他目标视频流的与参考视频流的时间同步的异常。继续这个示例，在一些实施例中，过程100能够导致结合在目标视频流的子集中的目标视频流采取任何合适的动作，诸如导致EPG定时信息被更新、向与目标视频流的子集中的每个目标视频流相关联的操作者发送通知或警报和/或执行任何其他合适的动作。
转向图3，示出了根据所公开的主题的一些实施例的能够被使用的用于同步视频流的硬件的说明性示例300。如图所示，硬件300能够包括服务器302、通信网络304和/或一个或多个用户设备306，诸如用户设备308和310。
服务器302能够是用于存储信息、数据、程序、媒体内容和/或任何其他合适的内容的任何合适的服务器。在一些实施例中，服务器302能够执行任何合适的功能。例如，在一些实施例中，服务器302能够检测到目标视频流与参考视频流不同步，如在图1中所示和结合图1在上面描述的。作为另一示例，在一些实施例中，服务器302能够响应于确定目标视频流与参考视频流不同步，执行任何合适的动作，诸如向与目标视频流相关联的操作者或本地电台发送警报，使得电子节目指南被修改和/或执行任何其他合适的动作，如在图1中所示和结合图1在上面描述的。
在一些实施例中，通信网络304能够是一个或多个有线和/或无线网络的任何适当组合。例如，通信网络304能够包括因特网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其他合适的通信网络中的任何一个或多个。用户设备306能够通过一个或多个通信链路(例如，通信链路312)连接到通信网络304，该通信网络304能够通过一个或多个通信链路(例如，通信链路314)链接到服务器302。通信链路能够是适合于在用户设备306和服务器302之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其他合适的通信链路或这些链路的任何合适的组合。
用户设备306能够包括适合于呈现媒体内容的任何一个或多个用户设备。在一些实施例中，用户设备306能够包括任何合适类型的用户设备，诸如移动电话、平板计算机、可穿戴计算机、膝上型计算机、台式计算机、智能电视、媒体播放器、流媒体播放器、游戏控制台、车辆信息和/或娱乐系统、和/或任何其他合适类型的用户设备。
尽管服务器302被图示为一个设备，但在一些实施例中，能够使用任何合适数量的设备来执行由服务器302执行的功能。例如，在一些实施例中，能够使用多个设备来实现由服务器302执行的功能。
尽管在图3中示出了两个用户设备308和310以避免使图过于复杂化，但在一些实施例中能够使用任何合适数量的用户设备和/或任何合适类型的用户设备。
在一些实施例中，能够使用任何合适的硬件来实现服务器302和用户设备306。例如，在一些实施例中，能够使用任何合适的通用计算机或专用计算机来实现设备302和306。例如，可以使用专用计算机来实现移动电话。任何这样的通用计算机或专用计算机能够包括任何合适的硬件。例如，如图4的示例硬件400所示，这样的硬件能够包括硬件处理器402、存储器和/或储存器404、输入设备控制器406、输入设备408、显示器/音频驱动器410、显示器和音频输出电路412、通信接口414、天线416和总线418。
在一些实施例中，硬件处理器402能够包括任何合适的硬件处理器，诸如微处理器、微控制器、数字信号处理器、专用逻辑和/或用于控制通用计算机或专用计算机的功能的任何其他合适的电路。在一些实施例中，硬件处理器402能够由存储在诸如服务器302的服务器的存储器和/或储存器中的服务器程序控制。在一些实施例中，硬件处理器402能够由存储在用户设备306的存储器和/或储存器404中的计算机程序控制。
在一些实施例中，存储器和/或储存器404能够是用于存储程序、数据和/或任何其他合适信息的任何合适的存储器和/或储存器。例如，存储器和/或储存器404能够包括随机存取存储器、只读存储器、闪存、硬盘存储器、光学介质和/或任何其他合适的存储器。
在一些实施例中，输入设备控制器406能够是用于控制和接收来自一个或多个输入设备408的输入的任何合适的电路。例如，输入设备控制器406能够是用于接收来自触摸屏、来自键盘、来自一个或多个按钮、来自语音辨识电路、来自麦克风、来自相机、来自光学传感器、来自加速度计、来自温度传感器、来自近场传感器、来自压力传感器、来自编码器和/或任何其他类型的输入设备的输入的电路。
在一些实施例中，显示器/音频驱动器410能够是用于控制和驱动向一个或多个显示器/音频输出设备412的输出的任何合适的电路。例如，显示器/音频驱动器410能够是用于驱动触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或多个扬声器和/或任何其他合适的显示和/或演示设备的电路。
通信接口414能够是用于与一个或多个通信网络(例如，计算机网络304)对接的任何合适的电路。例如，接口414能够包括网络接口卡电路、无线通信电路和/或任何其他合适类型的通信网络电路。
在一些实施例中，天线416能够是用于与通信网络(例如，通信网络304)进行无线通信的任何合适的一个或多个天线。在一些实施例中，能够省略天线416。
在一些实施例中，总线418能够是用于在两个或更多个组件402、404、406、410和414之间进行通信的任何合适的机制。
根据一些实施例，任何其他合适的组件能够被包括在硬件400中。
在其中本文描述的系统和方法收集关于用户的个人信息或可以利用个人信息的情况下，能够向用户提供机会来控制程序或特征是否收集用户信息(例如，关于用户的社交网络、社交行为或活动、职业、用户的偏好或用户的当前位置的信息)或控制是否或如何从内容服务器接收可能与用户更相关的内容。此外，特定数据能够在它被存储或使用之前以一种或多种方式被处理，使得删除个人身份信息。例如，能够处理用户的身份，使得无法确定用户的个人身份信息，或者能够在获得位置信息的情况下将用户的地理位置一般化(例如，诸如到城市、邮政编码或州级别)，使得无法确定用户的特定位置。用户能够添加、删除或修改关于用户的信息。因此，用户能够控制如何收集关于她的信息并由服务器使用。
在一些实施例中，图1的过程的上述框中的至少一些能够以任何顺序或序列运行或执行，该顺序或序列不限于在附图中所示和结合附图描述的顺序和序列。此外，图1的上述框中的一些能够在适当的情况下基本上同时或并行地运行或执行，以减少时延和处理时间。附加地或替代地，能够省略图1的过程的上述框中的一些。
在一些实施例中，任何合适的计算机可读介质能够用于存储用于执行本文的功能和/或过程的指令。例如，在一些实施例中，计算机可读介质能够是暂时性的或非暂时性的。例如，非暂时性计算机可读介质能够包括介质，诸如非暂时性形式的磁介质(诸如硬盘、软盘和/或任何其他合适的磁介质)、非暂时性形式的光学介质(例如光盘、数字视频光盘、蓝光光盘和/或任何其他合适的光学介质)、非暂时性形式的半导体介质(诸如闪存、电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)和/或任何其他合适的半导体介质)、在传输期间不会转瞬即逝或没有任何持久性表象的任何合适的介质和/或任何合适的有形介质。作为另一示例，暂时性计算机可读介质能够包括在网络上、在电线、导体、光纤、电路、在传输期间转瞬即逝并且没有任何持久性表象的任何合适的介质和/或任何合适的无形介质中的信号。
因此，提供了用于同步视频流的方法、系统和介质。
尽管已经在前述说明性实施例中描述和说明了本发明，但是应当理解，本公开已经仅通过示例做出，并且能够在不脱离仅由所附权利要求书限定的本发明的精神和范围的情况下做出在本发明的实施方式的细节上的许多改变。能够以各种方式组合和重新布置所公开的实施例的特征。

Claims (21)

1.一种用于同步视频流的方法，所述方法包括：
识别目标视频流和参考视频流，其中，所述目标视频流和所述参考视频流是节目的两个不同广播；
为所述目标视频流生成指纹序列；
确定所述指纹序列出现在所述参考视频流内的时间偏移；
通过确定所述时间偏移是否超过预定阈值来确定所述目标视频流是否与所述参考视频流同步；以及
响应于确定所述目标视频流与所述参考视频流不同步，使得包括所述目标视频流的指示的电子节目指南基于所述时间偏移而被修改。
2.根据权利要求1所述的方法，进一步包括：向与所述目标视频流相关联的操作者发送警报，其中，所述警报指示所述时间偏移。
3.根据权利要求1或2所述的方法，进一步包括：确定与所述时间偏移相关联的错误类型。
4.根据权利要求3所述的方法，其中，所述错误类型指示所述目标视频流没有在正确的时间开始。
5.根据权利要求3所述的方法，其中，所述错误类型指示所述目标视频流将不会在正确的时间结束。
6.根据前述权利要求中任一项所述的方法，进一步包括：
识别第二目标视频流；
为所述第二目标视频流生成第二指纹序列；
确定所述第二指纹序列未被包含在所述参考视频流中；以及
响应于确定所述第二指纹序列未被包含在所述参考视频流中，确定所述第二目标视频流不是与所述参考视频流相对应的所述节目的广播。
7.根据前述权利要求中任一项所述的方法，其中，所述目标视频流是基于与所述目标视频流相关联的元数据来识别的。
8.一种用于同步视频流的系统，所述系统包括：
硬件处理器，所述硬件处理器被配置成：
识别目标视频流和参考视频流，其中，所述目标视频流和所述参考视频流是节目的两个不同广播；
为所述目标视频流生成指纹序列；
确定所述指纹序列出现在所述参考视频流内的时间偏移；
通过确定所述时间偏移是否超过预定阈值来确定所述目标视频流是否与所述参考视频流同步；以及
响应于确定所述目标视频流与所述参考视频流不同步，使得包括所述目标视频流的指示的电子节目指南基于所述时间偏移而被修改。
9.根据权利要求7所述的系统，其中，所述硬件处理器进一步被配置为：向与所述目标视频流相关联的操作者发送警报，其中，所述警报指示所述时间偏移。
10.根据权利要求7或8所述的系统，其中，所述硬件处理器进一步被配置为：确定与所述时间偏移相关联的错误类型。
11.根据权利要求10所述的系统，其中，所述错误类型指示所述目标视频流没有在正确的时间开始。
12.根据权利要求10所述的系统，其中，所述错误类型指示所述目标视频流将不会在正确的时间结束。
13.根据权利要求8至12中任一项所述的系统，其中，所述硬件处理器进一步被配置为：
识别第二目标视频流；
为所述第二目标视频流生成第二指纹序列；
确定所述第二指纹序列未被包含在所述参考视频流中；以及
响应于确定所述第二指纹序列未被包含在所述参考视频流中，确定所述第二目标视频流不是与所述参考视频流相对应的所述节目的广播。
14.根据权利要求8至13中任一项所述的系统，其中，所述目标视频流是基于与所述目标视频流相关联的元数据来识别的。
15.一种包含计算机可执行指令的计算机可读介质，所述计算机可执行指令当由处理器执行时使所述处理器执行用于同步视频流的方法，所述方法包括：
识别目标视频流和参考视频流，其中，所述目标视频流和所述参考视频流是节目的两个不同广播；
为所述目标视频流生成指纹序列；
确定所述指纹序列出现在所述参考视频流内的时间偏移；
通过确定所述时间偏移是否超过预定阈值来确定所述目标视频流是否与所述参考视频流同步；以及
响应于确定所述目标视频流与所述参考视频流不同步，使得包括所述目标视频流的指示的电子节目指南基于所述时间偏移而被修改。
16.根据权利要求15所述的计算机可读介质，其中，所述方法进一步包括：向与所述目标视频流相关联的操作者发送警报，其中，所述警报指示所述时间偏移。
17.根据权利要求15或16所述的计算机可读介质，其中，所述方法进一步包括：确定与所述时间偏移相关联的错误类型。
18.根据权利要求17所述的计算机可读介质，其中，所述错误类型指示所述目标视频流没有在正确的时间开始。
19.根据权利要求17所述的计算机可读介质，其中，所述错误类型指示所述目标视频流将不会在正确的时间结束。
20.根据权利要求15至19中任一项所述的计算机可读介质，其中，所述方法进一步包括：
识别第二目标视频流；
为所述第二目标视频流生成第二指纹序列；
确定所述第二指纹序列未被包含在所述参考视频流中；以及
响应于确定所述第二指纹序列未被包含在所述参考视频流中，确定所述第二目标视频流不是与所述参考视频流相对应的所述节目的广播。
21.根据权利要求15至20中任一项所述的计算机可读介质，其中，所述目标视频流是基于与所述目标视频流相关联的元数据来识别的。
CN202080098715.9A 2020-04-02 2020-04-02 用于同步视频流的方法、系统和介质 Pending CN115299067A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/026306 WO2021201868A1 (en) 2020-04-02 2020-04-02 Methods, systems, and media for synchronizing video streams

Publications (1)

Publication Number Publication Date
CN115299067A true CN115299067A (zh) 2022-11-04

Family

ID=70471102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080098715.9A Pending CN115299067A (zh) 2020-04-02 2020-04-02 用于同步视频流的方法、系统和介质

Country Status (6)

Country Link
US (2) US11979619B2 (zh)
EP (1) EP4115621A1 (zh)
JP (2) JP7436704B2 (zh)
KR (1) KR20220154183A (zh)
CN (1) CN115299067A (zh)
WO (1) WO2021201868A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1647144A1 (en) 2003-07-11 2006-04-19 Koninklijke Philips Electronics N.V. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
ATE373389T1 (de) 2003-07-25 2007-09-15 Koninkl Philips Electronics Nv Verfahren und einrichtung zur erzeugung und erkennung von fingerabdrücken zur synchronisierung von audio und video
JP5833034B2 (ja) 2010-02-26 2015-12-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 電子番組ガイドをポーズされた番組と同期させるシステム及び方法
EP2559237A1 (en) 2010-04-14 2013-02-20 Sven Riethmueller Platform-independent interactivity with media broadcasts
US20130271655A1 (en) 2012-04-12 2013-10-17 Google Inc. System, apparatus and method to facilitate live video streaming
US9553756B2 (en) * 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
EP3651469A1 (en) * 2013-09-20 2020-05-13 Koninklijke KPN N.V. Correlating timeline information between media streams
US11025972B2 (en) * 2018-04-08 2021-06-01 Qligent Corporation Method and system for analyzing audio, video, and audio-video media data streams

Also Published As

Publication number Publication date
WO2021201868A1 (en) 2021-10-07
US20240292040A1 (en) 2024-08-29
US20230087174A1 (en) 2023-03-23
JP2024063013A (ja) 2024-05-10
JP7436704B2 (ja) 2024-02-22
EP4115621A1 (en) 2023-01-11
US11979619B2 (en) 2024-05-07
JP2023520076A (ja) 2023-05-15
KR20220154183A (ko) 2022-11-21

Similar Documents

Publication Publication Date Title
CN111213385B (zh) 内容修正的方法、媒体客户端和非暂时性计算机可读媒体
US8060609B2 (en) Systems and methods for determining attributes of media items accessed via a personal media broadcaster
JP5602138B2 (ja) オ−ディオ及びビデオ署名生成及び検出のための特徴の最適化及び信頼性予測
US9768974B1 (en) Methods, systems, and media for sending a message about a new video to a group of related users
JP2020030814A (ja) 情報を処理するための方法と装置
US20180063572A1 (en) Methods, systems, and media for synchronizing media content using audio timecodes
US9967296B2 (en) Method and apparatus for playlist synchronization
US11763720B2 (en) Methods, systems, and media for detecting a presentation of media content on a display device
US11373440B2 (en) Content-modification system with fingerprint data match and mismatch detection feature
US20240214443A1 (en) Methods, systems, and media for selecting video formats for adaptive video streaming
CN108985244B (zh) 一种电视节目类型识别方法及装置
CN115299067A (zh) 用于同步视频流的方法、系统和介质
EP3616104B1 (en) Methods, systems, and media for detecting and transforming rotated video content items
CN112887806A (zh) 字幕处理方法、装置、电子设备及介质
CN114650439A (zh) 信息监测方法、终端、服务器和计算机可读存储介质
CN112507824A (zh) 一种视频图像特征识别的方法及系统
CN112887772A (zh) 影音串流的音频同步方法
CN108875315B (zh) 变换指纹以检测未授权媒体内容项的方法、系统和介质
CN115190356A (zh) 一种多媒体数据处理方法、装置、电子设备及存储介质
CN118694845A (zh) 流媒体的振动处理方法、装置、设备及存储介质
CN115633194A (zh) 直播回放方法、装置、计算机设备及存储介质
CN111432150A (zh) 一种录像同步回放的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination