CN108259934A - 用于回放所记录的视频的方法和装置 - Google Patents

Abstract

本发明公开了一种用于回放所记录的视频的方法和装置，其涉及用于回访所记录的视频的方法、视频服务器和系统。本发明基于：将在所接收的视频序列的时间位置处的编码器帧速率与预定阈值进行比较，并且如果编码器帧速率在预定阈值之下，则将回放帧速率改变成大于编码器帧速率的回放帧速率，并且如果编码器帧速率大于预定阈值，则将回放帧速率改变成编码器帧速率。因此，所记录的视频以时间有效的方式进行回放，减少了视频回放的总时间段，并且帮助安保操作员寻找所记录的视频的可能感兴趣的部分。

Description

用于回放所记录的视频的方法和装置

技术领域

本发明涉及视频监控领域。具体地，其涉及一种用于播放所记录的视频的方法和系统。

背景技术

视频管理系统通常被设置为处理来自监控摄像机系统的录像，该系统监控例如房地、办公楼、购物中心、公共交通系统等。视频管理系统通常由一组安保操作员管理，他们使用捕获的视频片段进行现场监控，以及对与感兴趣的事件有关的视频序列进行电子取证搜索。在所记录的视频序列中搜索的感兴趣的事件可能具有各种各样的性质，例如撞进停放的轿车的公共汽车、在银行的抢劫、两人打架、站台上丢下手提箱的人等。

安保操作员人工浏览视频记录以搜索特定的感兴趣的事件是一件繁琐而费时的工作，因为通常存在大量的视频片段要进行浏览。即使事件的时间段至少大致已知，所记录的一小时的视频片段在实时回放速度下仍然需要一小时的时间来浏览，并且当从监控摄像机系统中搜索所记录的感兴趣视频序列时，通常存在来自多于一个摄像机的视频片段要浏览。

所记录的许多视频片段通常来自没有发生任何事情的静态场景，例如超级市场的夜间监控，大多数情况下通常都不会发生任何事情，但是可能会突然有窃贼在一段非常短的时间内经过摄像机中的一个摄像机。存在快速回放的可能性，并且因此提高回放速度，但是在这种情况下，由于更高的回放速度，感兴趣的片段可能也很容易会被漏掉，并且特别是感兴趣的细节，例如在摄像机视野周边移动的影子。

还存在采用视频分析手段从视频片段中识别感兴趣的事件的可能性。然而，配置和应用视频分析规则来帮助对特定事件的电子取证搜索通常会是复杂而耗时的问题，因为存在许多不同类型的事件，这些事件难以以常见方式概括和限定，在很多感兴趣的事件中，在视频片段中找到实际事件之前，也可能难以准确地限定出到底什么是要寻找的区别属性。因此需要进一步改进视频回放方法。

发明内容

鉴于上述情况，因此本发明的一个目的是，提供一种用于回放所记录的视频的改进的方法、视频服务器和系统。具体地，一个目的是，提供一种方法、视频服务器和系统，以用于以时间效率方式回放所记录的的视频，减少视频回放的总时间段，并且起到帮助找到所记录的视频中的可能感兴趣的部分。

本发明的另一个目的是，提供一种方法、视频服务器和系统，以用于回放和同步在至少一个重叠的时间段期间所捕获的两个视频流的回放，减少视频播放的总时间段，并且起到帮助找到所记录的视频中的可能感兴趣的部分。

根据本发明的第一方面，上述目的通过一种用于回放所记录的视频的方法实现的，该方法包括：接收包括具有关联的时间戳的视频帧序列的视频流，从所接收到的视频帧的时间戳或者从嵌入于所接收的视频流中的编码器帧速率值确定所接收的视频流中各个时间位置的编码器帧速率参数，在所接收的视频流中的时间位置处，当所确定的编码器帧速率参数小于预定阈值时，将回放帧速率改变成大于所确定的编码器帧速率参数的帧速率，在所接收的视频流中的时间位置处，当所确定的编码器帧速率参数大于预定阈值时，将回放帧速率改变成等于所确定的编码器帧速率参数的回放帧速率，以及以改变后的回放帧速率回放所接收的视频流的视频帧。

以这种方式，编码器帧速率将用于查找当视频序列被编码时被认为是感兴趣的视频序列。例如，当编码器实现可变帧速率时，这是可能的，并且如果在场景(其经常与没有兴趣的记录有关)中没有任何变化，则这种编码通常生成具有低帧速率的视频序列。进一步，如果在场景(其经常与感兴趣的事件记录有关)中有很多变化，则这种可变帧速率编码因此生成高帧速率。针对视频序列的编码器帧速率小于预定阈值的部分，回放帧速率将被改变，从而有效地实现视频序列的部分的快进，该视频序列的部分已经被认为在监控场景中不包括许多移动物体、在监控场景中不包括动作等。针对视频序列的编码器帧速率大于预定阈值的部分，回放帧速率将改变成编码器帧速率，从而允许以与编码器帧速率相同的回放帧速率回放视频序列的部分，该视频序列的部分被认为在监控场景中包括移动物体、动作等。

因此，本发明将帮助观看视频序列的回放的人，这些人花费相当多的时间观看由编码算法认为是感兴趣的视频序列的部分。由于不包括动作或描绘非常少的运动等的视频序列的部分将被快进，所以对视频序列的这些部分将花费较少的回放时间，并且因此帮助观看回放的人在可能感兴趣的视频序列的部分上花费时间。一个正在寻找描绘感兴趣的事件的视频片段的人将因此在视频序列的回放上花费更少的时间。所述方法的另一个优点是，不需要高级视频分析算法来选择感兴趣的序列，因为这是通过将编码器帧速率与预定阈值进行比较而确定的，相比于需要视频分析算法，该方法需要更小的处理能力和非常少的配置。

根据第二实施例，所接收的视频流为所接收的第一视频流，并且所述方法进一步包括以下步骤：接收包含具有关联的时间戳的第二视频帧序列的第二视频流，其中第一接收视频流和第二接收视频流在至少一个重叠的时间段期间被捕获，从第二视频流的所接收的视频帧的时间戳或者从嵌入于所接收的第二视频流中的编码器帧速率值，确定所接收的第二视频流中各个时间位置的编码器帧速率参数，其中，在所述第一接收视频流中的时间位置处，当第一视频流的所确定的编码器帧速率参数和第二视频流的所确定的帧速率参数二者均小于预定阈值时，将回放帧速率改变成大于所接收的第一视频流的所确定的帧速率参数的帧速率，其中，在时间位置处，当所接收的第一视频流的所确定的编码器帧速率参数或者所接收的第二视频流的所确定的编码器帧速率参数大于预定阈值时，将回放帧速率改变成等于所接收的第一视频流的所确定的帧速率参数的帧速率。

以这种方式，第一视频序列的回放帧速率将依赖于所接收的第一视频序列或者所接收的第二视频序列的编码器帧速率。这将意味着快进仅如果两个视频序列的编码器帧速率均低于预定阈值才执行。这将有助于在视频存档中对描绘感兴趣的事件的视频片断进行搜索的人，该视频存档包括来自于多个监控摄像机的监控系统的视频序列。在这类系统中，不同摄像机的视频序列可以被连接，例如从不同的视角描绘相同场景。在这种情况下，如果在某些方面连接到第一视频序列的另一视频序列中存在并发活动或者动作，则以编码器帧速率回放视频序列的部分可能是感兴趣的。这会有助于安保操作员搜索感兴趣的事件的视频片段，以在与第二视频序列中的活动并发的第一视频序列中注意感兴趣的细节，但是与此同时，以时间效率方式提供回放，因为在当第一视频序列和第二视频序列二者的编码器帧速率均小于预定阈值时的时间段期间，回放帧速率改变成快进帧速率。

根据第三实施例，在第二接收视频流中的时间位置处，当第一视频流的所确定的帧速率参数和第二视频流的所确定的帧速率参数二者均小于预定阈值时，也将所接收的第二视频流的回放帧速率改变成大于所接收的第二视频流的所确定的帧速率参数的帧速率，其中，在时间位置处，当所接收的第一视频流的所确定的编码器帧速率参数或者所接收的第二视频流的所确定的编码器帧速率参数大于预定阈值时，将所接收的第二视频流的回放帧速率改变成等于所接收的第二视频流的所确定的帧速率参数的帧速率，进一步包括步骤：以所接收的第二视频流的改变后的回放帧速率回放所接收的第二视频流的视频帧。

第二视频流的回放帧速率也将改变并且与第一视频流的快进同步。这提供了并发并且同步回放两个视频流的优势，以帮助人搜索感兴趣的事件的视频片段的人来发现两个视频流中所记录的并发事件。

在进一步的实施例中，在所接收的视频流中的时间位置处，当所确定的编码器帧速率参数大于用于慢动作回放的预定阈值时，将回放帧速率改变成小于所确定的编码器帧速率参数的帧速率以用于慢动作回放。

这将提供对具有高编码器帧速率并因此具有被认为是描绘快速运动和高水平活动的视频序列部分进行慢动作回放的可能性。由于在编码器帧速率中快速运动可能难以捕捉，因此慢动作回放将有助于给搜索感感兴趣的事件的人以相对更多时间去细查这些视频序列的部分。

在本发明的进一步的实施例中，确定编码器帧速率的不同方法被指定。从所接收的视频帧的时间戳的确定所接收的视频流中各个时间位置的编码器帧速率参数的步骤包括：针对时间位置，计算包括所接收的视频流中的所述时间位置的预定时间段内视频流中连续接收的视频帧的数量，并且将所计算的连续帧的数量除以预定时间段，以确定编码器帧速率参数。

可替代地，从所接收的视频帧的时间戳确定所接收的视频流中各个时间位置的编码器帧速率参数的步骤包括：针对时间位置，计算在时间位置处的视频帧的时间戳与前一个视频帧的时间戳或者后一个视频帧的时间戳之间的时间差，并且根据所计算的时间差确定该时间位置的所接收的帧参数。

对预定时间段计算视频帧或者计算连续视频帧之间的时差二者提供了以不需要大量的处理能力的方式确定编码器帧速率的方法，它也使用通常伴随在标准程序中的视频帧的视频帧时间戳，因此不需要任何特殊设置或者提出的请求来执行本发明的方法。

在又一个实施例中，从嵌入于所接收的视频流中的编码器帧速率值确定所接收的视频流中各个时间位置的编码器帧速率参数的步骤包括：从所接收的视频流的头部提取嵌入于所接收的视频流的编码器帧速率值。

这具有不需要从视频帧的时间戳计算编码器帧速率的进一步优点。

在又一个实施例中，确定所接收的视频流中各个时间位置的编码器帧速率参数的步骤进一步包括：分析所接收的视频帧的视频编码块以将空视频帧识别为仅包含跳块(skip block)类型的视频编码块的视频帧，以及当确定编码器帧速率参数时，不将所识别的空视频帧作为视频帧。

该实施例提供了使本发明兼容对所接收的视频流进行编码的视频编码器的多个视频编码模式的优点。与视频编码器是否通过将一些帧编码为空帧来降低编码器的帧速率无关，仅包括跳块类型的编码单元，或者通过不传送所有帧，正确的编码器帧速率将被确定。

在另一个实施例中，进一步规定所接收的视频流用可变编码器帧速率进行编码，使得所接收的视频流在所接收的视频流的第一部分期间用第一编码器帧速率进行编码，并且在所接收的视频流的另一部分期间用另一编码器帧速率进行编码。

根据第二方面，本发明设计一种计算机程序产品，包括具有指令的计算机可读存储介质，指令在由处理器执行时适于执行结合本发明的第一方面描述的方法。关于本发明的第一方面提及的优点也适用于本发明的第二方面。

根据第三方面，本发明涉及一种用于回放所记录的视频的视频服务器，包括：接收设备，被设置为接收具有关联的时间戳的视频帧序列的至少一个视频流；帧速率确定设备，被设置为从所接收的视频帧的时间戳或者从嵌入于所接收的视频流的编码器视频帧速率值确定至少一个所接收的视频流中各个时间位置的编码器帧速率参数；回放帧速率改变设备，被设置为在接收的视频流中的时间位置处，当所接收的视频流的所确定的编码器帧速率参数小于预定阈值时，将所接收的视频流的回放帧速率改变成大于所确定的编码器帧速率参数的帧速率，并且在所接收的视频流中的时间位置处，当所接收的视频流的所确定的帧速率参数大于预定阈值时，将回放帧速率改变成等于所接收的视频流的所确定的编码器帧速率参数；视频信号生成设备，被设置为以改变后的回放帧速率生成代表所接收的视频流的视频信号。

根据本发明的第三方面的进一步的实施例，视频服务器的接收设备被设置为接收包括具有关联的视频帧序列的第一视频流和第二视频流，其中第一接收视频流和第二接收视频流在至少一个重叠时间段期间被捕捉；回放帧速率改变设备被设置为，在时间位置处，当第一视频流的所确定的帧速率参数和第二视频流的所确定的帧速率参数二者均小于预定阈值时，将所接收的第一视频流的回放帧速率改变成大于所接收的第一视频流的所确定的帧速率参数的帧速率，并且在时间位置处，当所接收的第一视频流的所确定的帧速率参数或者所接收的第二视频流的所确定的帧速率参数大于预定阈值时，改变成等于所接收的第一接收视频流的所确定的帧速率参数的帧速率；视频信号生成设备进一步被设置为以改变后的回放帧速率生成代表第二接收视频流的视频信号。关于本发明的第一方面提及的优点也适用于本发明的第三方面。

根据本发明的第四方面涉及一种用于回放所记录的视频的视频系统，包括：图像捕捉设备，被设置为捕捉场景的图像数据，将所捕捉的图像数据编码为视频流的视频帧，并且传送视频流；根据本发明的第三方面的视频服务器，被设置为从监控摄像机接收所传送的视频流；以及显示设备，被设置为接收并且显示由视频服务器生成的视频信号。

根据本发明的第四方面的进一步的实施例，根据前述实施例的系统的图像捕捉设备为第一图像捕捉设备，被设置为捕捉场景的图像数据，将所捕捉的图像数据编码为第一视频流的视频帧并且传送第一视频流；该系统进一步包括：第二图像捕捉设备，被设置为捕捉场景的图像数据，将所捕捉的图像数据编码为第二视频流的视频帧并且传送第二视频流；其中第一视频流和第二视频流在至少一个重叠时间段期间被捕捉；本发明的第三方面的进一步的实施例的视频服务器，以及显示设备，被设置为接收和显示由视频服务器生成的、代表所接收的第一视频流和所接收的第二视频流的视频信号，其中所接收的第一视频流和所接收的第二视频流在至少一个重叠时间段期间被显示设备同时显示。关于本发明的第一方面提及的优点也适用于本发明的第四方面。

本发明的进一步的适用范围将从下面给出的详细描述中变得明显。然而，应理解的是，当指示本发明的优选实施例时，详细描述和具体例子仅作为例证给出，因为从详细说明中，本发明的范围内的各种变化和修改将对本领域技术人员变得明显。因此，应理解的是，本发明不限于所描述的设备的特定组成部分或者所描述的方法的步骤，因为设备和方法可以改变。还应理解的是，本文所使用的术语仅仅是为了描述特定实施例的目的，而不是限制性的。必须注意的是，如说明书和所附权利要求中所使用的，冠词“一”，“该”和“所述”旨在表示存在一个或多个元件，除非上下文另有清楚规定。因此，例如，对“一传感器”或“该传感器”的引用可以包括若干个传感器等。此外，词语“包括”不排除其他元件或步骤。

附图说明

本发明的其它特征和优点将从下面参照附图对当前优选实施例的详细描述中变得明显，其中：

图1是用于回放所记录的视频的方法的流程图。

图2A、图2B和图2C图示具有可变编码器帧速率及其关联的重放帧速率的视频序列的示例。

图3是用于回放所记录的视频的视频服务器的示意性框图。

图4是用于回放所记录的视频的视频系统的示意性框图。

进一步，在附图中，相同的附图标记在全部附图中表示相同或者相应的部分。

具体实施方式

数字视频录像和视频流由被捕获并以指定的频率回放的图像帧序列表示。这种频率经常是指帧速率或者fps，后面的“每秒帧数”为所给出的帧速率的单位。当监控摄像机正在从场景记录视频时，监控摄像机可以例如被设置为以例如15fps的编码器帧速率对视频序列进行编码。当从监控摄像机回放所记录的的视频序列时，回放帧速率可以因此被设置为15fps以与其编码的相同速度回放该视频序列。

然而，当对大量录像进行检查时，对所记录的视频序列的回放进行快进可能是有用的，并且，为了例如双倍速度，回放上述示例的所记录的视频序列以被设置为30fps的回放帧速率进行回放，即将编码器帧速率乘以2。以这种方式，可以通过将编码器帧速率和控制回放速度的回放乘数相乘的方式来改变回放帧速率。通过采用0与1之间的回放乘数，还可以对对应于慢动作回放、以低于所记录的速度进行录像回放的回放帧速率进行设置。

数字视频录像通常需要硬盘驱动器上的大量存储空间和网络中的很多带宽。对于在大量的时间段期间记录许多视频的监控视频尤其如此。为了减少用来表示数字录像的数据量，已经开发出了大量的压缩机制，例如H.262、H.264、H.265和MPEG。然而，减少用来表示数字视频的数据量经历了持续的研究。

在数字运动视频压缩领域的一个发展是已经在编码器中引入了可变帧速率，有时也称为动态帧速率。可变编码器帧速率被理解为在所记录的视频的持续时间期间变化的数字视频的编码器帧速率。例如，在场景中只有很小移动和/或动作(例如捕获图像中的小变化)的时段期间，帧速率可以调整为非常低的值，例如1fps，并且然后当摄像机识别出场景中的移动和/或动作(例如所捕获图像中的大的或者迅速的变化)时，帧速率可以调整为用于捕获该移动的值，例如30fps。因此，可变编码器帧速率就可能节省大量带宽和/或存储空间。特别是在监控或监视类型的情况下，很多录像根本不包括任何动作。

不同视频编码器可以通过不同方式实现可变编码器帧速率编码。在当编码器帧速率降低时的场景中，编码器帧速率中的降低可以例如通过从所编码的视频流完全丢弃视频帧而实现。可替代地，取代完全丢弃视频帧，这些视频帧可以编码为只包括必要的头部数据和仅涉及与表示于前一个视频帧中的视频数据相同的视频数据的视频跳块的空帧。为了缩短回放所记录的视频序列的时间段，基于所记录的视频序列的编码器帧速率、用于通过改变该视频序列的回放帧速率来回放所记录的视频的方法100已被创建。

参考图1进一步解释该方法。在步骤110处接收包括具有关联的时间戳的视频帧序列的视频流。可以从编码该视频的视频编码器或者从诸如网络附加存储(NAS)设备或者视频服务器的视频存储设备接收该视频流。所接收的序列的视频帧已与时间戳关联，时间戳表示连接到特定视频帧或者用于该视频帧的图像数据所生成的时间点，可以例如是当图像数据由图像传感器捕获时的时间点、当该视频帧被编码时的时间点或者当从该视频编码器传送该视频帧时的时间点。该时间戳可以从RTP头部或者类似网络传输协议的头部提取。可替代地，如果可以的话，该时间戳可以从视频头部例如图像帧头部提取。

在步骤120，确定所接收的视频流中各个位置的编码器帧速率参数。这些编码器帧速率参数可以从所接收的视频帧的时间戳或者从嵌入于所接收的视频流的编码器帧速率值来确定。

可以在所接收的视频流中的时间位置处，从所接收的视频帧的时间戳，通过例如针对预定时间段计算包括所讨论的时间位置的帧、或者计算连续视频帧之间的时间差来确定编码器帧速率参数，连续视频帧中的一个连接到所讨论的时间位置。通过计算包括所接收的视频流中的时间位置的预定时间段内视频流中连续接收的视频帧的数量以及将所计算的连续帧的数量除以预定时间段，可以确定与时间位置相关联的编码器帧速率参数。

视频帧的与时间位置关联的时间戳与前一个视频帧的时间戳或者后一个视频帧的时间戳之间的时间差可以计算，并用于确定该时间位置的帧速率参数。

一些视频编码器配置用以将编码器帧速率嵌入已编码的视频流，其可以例如嵌入于帧头部，类似于视频帧的时间戳，或者可以作为覆盖而包含于视频帧的可视部分作为对观看视频的人的帮助。使用任何这些可替代方案，在所接收的视频中各个时间位置处采用本领域技术人员已知的技术，便可以提取并确定嵌入的编码器帧速率。

当确定所接收的视频流中各个时间位置的编码器帧速率参数时，空视频帧可以可选地被识别并从视频帧中排除，基于此进行编码器帧速率的确定。为了识别空帧，所接收的视频帧的视频编码块被分析以检测仅包含跳块类型的视频编码块的视频帧。通过在确定编码器帧速率参数时不将所识别的空视频帧作为视频帧，真实的可变的编码器帧速率将被确定。

当已经在所接收的视频流中的多个时间位置处确定编码器帧速率参数时，将所确定的编码器帧速率与预定阈值进行比较，步骤130。在步骤130中所使用的预定阈值可以针对每个监控摄像机或者一组监控摄像机进行个别地设置，以适应场景类型和用于编码视频流的视频编码器。预定阈值将决定视频流的哪部分受快进回放视频流的影响，因为回放帧速率的改变取决于在时间位置处的编码器帧速率到预定阈值的关系。针对小于预定阈值的编码器帧速率，回放帧速率将改变成大于编码器帧速率的帧速率，在步骤140处，例如将编码器帧速率乘以预定回放乘数。

针对大于预定阈值的编码器帧速率，回放帧速率将改变成编码器帧速率，在步骤150处。在图1中，在编码器帧速率等于预定帧速率的情况下，回放帧速率将改变成编码器帧速率。在可替代的实施例中，针对这些情况，回放帧速率可改变成大于编码器帧速率的帧速率。作为当编码器帧速率等于预定帧速率时的情况，属于在两个感兴趣的状态之间的一个点，这些情况可以以任何方式进行处理。还应该注意，被预定阈值确定的值可以改变，以便这些情况包括于任何编码器帧速率状态中。

回放帧速率通常将被设置为在视频序列开始处的默认值，例如其可以被设置为编码器帧速率。取决于在视频序列中各个时间位置处所确定的编码器帧速率，其将根据图1中所述的方法改变。随后，在步骤160处，视频序列以改变后的回放帧速率进行回放。

应当注意的是，方法100的步骤可以一次针对一个视频帧执行，或者针对视频序列的多个视频帧执行。

图2A、图2B和图2C进一步图示关于本发明的实用示例。图2A描绘包括四个部分202、203、204和205的视频帧201的所接收的视频序列。每个部分具有根据之前描述的方法所确定的关联的编码器帧速率，所确定的编码器帧速率被图示为图2B中不同部分202-205的时间函数。由于部分202和204包括具有小于预定阈值206的编码器帧速率的视频序列，因此这些序列的回放帧速率被改变成大于编码器帧速率的回放帧速率，在此示例中，这些部分的编码器帧速率被乘以两倍回放乘数，从而实现两倍于编码器帧速率的回放帧速率。

在另一方面，包括具有大于预定阈值206的编码器帧速率的视频序列的部分203和205的回放帧速率，将改变成编码器帧速率。由于回放帧速率将大于202和204的编码器帧速率，因此用于回放所接收的视频序列的总时间将比以实时速度回放少，将图2A与图2C进行比较，图2A图示在编码器帧速率下视频序列的所接收的视频帧，图2C中所接收的视频序列在回放帧速率下图示。但是由于仅会执行视频序列的部分，因此当编码器帧速率小于预定阈值时，将只在场景中描绘非常小的移动和/或动作的部分进行快进。用于回放的该方法因此具有由检测活动水平并据此确定编码器帧速率的编码器进行分析的好处。由于也可能有描绘非常快速的移动和/或高水平动作的所接收的视频流的部分，对于安保操作员可能有以慢动作回放该视频序列部分以抓取视频内容细节的方法的需要。这种情况的示例可以是来自正在监控赌场处的二十一点或者扑克桌的监控摄像机的视频流，其需要高达60fps的编码器帧速率以捕捉快速的手部动作以在纸牌游戏期间检测作弊。

然后，可以引入慢动作回放的阈值。当所确定的编码器帧速率参数大于慢动作回放的预定阈值时，所接收的视频流中的时间位置处的回放帧速率便可以进一步改变成小于所确定的编码器帧速率参数的帧速率。在这种情况下，如上所述，所确定的编码器帧速率将与预定的0与1之间的回放乘数相乘，从而实现慢动作回放的回放帧速率。

所述慢动作回放的方法可以与参照图1描述的快进回放的方法相结合，或者作为慢动作回放的单独方法实现。视频监控系统通常包括多于一个视频源，诸如监控摄像机或者连接到模拟监控摄像机的视频编码器。一些监控摄像机经常监控重叠的场景，或者在其它方面连接的场景，提供根据上下文连接到其它视频序列的视频序列。一个示例可以是来自于从不同视角覆盖于同一场景的监控摄像机的视频序列。监控摄像机也可以采用不同的视频捕捉和图像处理配置(诸如彩色图像、黑色和白色图像、有或者没有红外滤光片、有或者没有高动态范围处理等)从相同场景提供视频片段。监控摄像机也可以是不同类型的，诸如捕捉可见光的摄像机、热摄像机、飞行时间摄像机等，并且因此提供关于场景的补充信息。

在具有在一些方面相互连接的两个或者更多个视频序列的情况中，图1中所图示方法可以适于使得在时间位置处相连接的视频序列的所有编码器帧速率与在步骤130中的预定帧速率阈值进行比较。这是为了根据所有相连接的视频序列的编码器帧速率而改变第一视频序列的回放帧速率。这将意味着第一视频序列的快进只在所有相连接的视频序列的编码器帧速率均小于预定阈值时执行。

这将对在视频存档中搜索描绘感兴趣的事件的视频片段的人有帮助，因为如果在某些方面连接到第一视频序列的另一视频序列中存在并发活动或动作，则以编码器帧速率回放视频序列的部分是有兴趣的。这能够有助于安保操作员搜索感兴趣的事件的视频片段，以注意第一视频序列中感兴趣的细节，该细节与在该另一视频序列中的活动同时发生，但是与此同时以时间效率方式提供回放，因为在当所有视频序列的编码器帧速率小于预定阈值时的时间段期间，回放帧速率改变成快进帧速率。

在视频管理系统中，来自几个视频源的视频片段也可以同时观看，例如如在单个显示单元上或者在彼此相邻安装的不同显示单元上的不同观看窗口。当搜索感兴趣的事件时，同时记录的几个视频序列也可以同时回放以帮助安保操作员。如上所述，根据本发明的用于回放所记录的视频的方法可适于在至少一个重叠时间段期间被捕获的多个视频序列间的回放帧速率的同步改变以及回放这些视频序列。除了之前针对多个连接的视频序列和针对图1中的步骤130所述之外，在这些情况下，针对多个视频序列将执行步骤140、150和160。

如果要同时观看来自几个视频源的视频序列，则视频序列的时间戳将被用于识别任何重叠的时间段。在这些视频序列的任何非重叠时间段期间，可以使用参照图1所述的用于回放视频序列的方法。针对重叠的时间段，回放将需要被同步并且调整参照图1所述的方法，上面也进行了进一步解释。

如之前已经结合图1中所述的方法所解释的，预定阈值将决定视频流的哪部分受快进回放视频流的影响，因为回放帧速率的改变取决于时间位置处的编码器帧速率到预定阈值之间的关系。针对同步回放两个所接收的视频流的情况，可对第一所接收的视频流采用第一预定阈值，并对第二所接收的视频流采用第二预定阈值。可替代地，可以对两个视频流采用相同的预定阈值。使视频序列具有不同的预定阈值可具有益处，因为阈值然后可单独调整以适配场景类型和用于编码视频序列的视频编码器。

也可以限定预定阈值的若干等级并应用于相同视频序列。通过这种方式，取决于编码器帧速率，可以实现不同等级的快进。作为一个说明性的示例，针对小于预定阈值A的非常低的编码器帧速率，回放乘数将是大的，例如如所描绘的6，针对小于预定阈值B但大于预定阈值A的低编码器帧速率，回放乘数将是中等大的，例如4，并且针对小于预定阈值C但大于预定阈值B的稍低的编码器帧速率，回放乘数将是小的，例如2。实现预定阈值的若干等级的优点在于，它提供了微调视频流的回放帧速率的机会，回放乘数的离散步骤也暗示了，与回放帧速率和编码器帧速率之间的连续关系相比，操作员的观看体验将更加愉快，对于安保操作员来说，回放帧速率与编码器帧速率之间的连续关系会使得回放视频序列难以观看和抓取细节。

此外，本发明可以采用嵌入于一个或者多个非瞬态计算机可读介质的计算机程序产品中的形式，非瞬态计算机可读介质上嵌入有计算机可读程序代码。

图3描述用于回放所记录的视频的视频服务器300。用于回放所记录的视频的设备不必是视频服务器30，但可以是能够回放视频内容的任何设备，例如视频客户端、视频管理系统、PC、工作站、平板电脑、电话等。视频服务器300包括接收设备310、帧速率确定设备320、回放帧速率改变设备330和视频信号生成设备340。

接收设备310被设置为接收包括关联的时间戳的视频帧序列的至少一个视频流。至少一个视频流可以例如从一个或者多个监控摄像机、从其它视频服务器、或者从存储设备(诸如存储视频流的联网附加存储单元(NAS))接收。视频流还可以从视频服务器中的内部存储设备350接收，在其中，视频流作为视频管理系统的一部分被存储。

帧速率确定设备320被设置为从所接收的视频帧的时间戳或者从嵌入于所接收的视频流中的编码器帧速率值，确定至少一个所接收的视频流中各个时间位置的编码器帧速率参数。这可以以之前结合本发明的方法所述的各种方式来执行。

回放帧速率改变设备330被设置为：在所接收的视频流中的时间位置处，当所接收的视频流的所确定的帧速率参数小于预定阈值时，将所接收的视频流的回放帧速率改变为大于所确定的编码器帧速率参数的帧速率，并且在所接收的视频流中的时间位置处，当所接收的视频流的所确定的帧速率参数大于预定阈值时，将回放帧速率改变为等于所接收的视频流的所确定的编码器帧速率参数。这已经结合本发明方法的实施例的以上描述进行了详细描述。

视频信号生成设备340被设置为以改变后的回放帧速率生成代表所接收的视频流的视频信号。所生成的视频信号可进一步传送至显示设备，诸如计算机显示器、视频投影仪或者电视显示器。存在多种格式和接口用于将视频信号传送至显示器，并且当生成代表所接收的视频流的视频信号时，提及可使用的几个适用的示例VGA、HDMI或者PAL。

参照图3所述的视频服务器的接收设备310可以适用于接收至少部分重叠的包括具有关联的时间戳的视频帧序列的第一视频流和第二视频流。在这种情况下，回放帧速率改变设备330可进一步设置为：在时间位置处，当第一视频流的所确定的帧速率参数和所确定的第二视频流的帧速率参数二者均小于预定阈值时，将所接收的第一视频流的回放帧速率改变成大于所接收的第一视频流的所确定的帧速率参数的帧速率，并且在时间位置处，当所接收的第一视频流的所确定的帧速率参数或者所接收的第二视频流的所确定的帧速率参数大于预定阈值时，改变成等于所接收的第一视频流的所确定的帧速率参数的帧速率。在这种情况下，视频信号生成设备340也可以进一步被设置为以改变后的回放帧速率生成代表第二接收视频流的视频信号。图4描述用于回放所记录的视频的系统400。视频系统400包括图像捕捉设备410、前述的视频服务器300、通讯网络430和显示设备440。用于回放所记录的视频的系统400也可选地(用具有虚线的框来标记以表示这些设备是可选的)包括第二图像捕捉设备420和视频存储设备470。

图像捕捉设备410被设置为捕捉场景的图像数据，将所捕捉的图像数据编码为视频流的视频帧并传送该视频流。图像捕捉设备410和420可以为例如数字网络连接的监控摄像机或者经由将模拟图像信息转换成数字图像数据的转换器连接到网络的模拟摄像机。这种转换器可以是视频编码器或者视频服务器。前述实施例中所述的本发明的方法和关于监控摄像机的视频服务器也可以适用于图像捕捉设备410和420。视频存储设备470可以是任何类型的网络附加视频存储设备，例如网络附加存储单元(NAS)。图像捕捉设备410、420可以装配为处理存储，以在本地或者通过使用在附近服务的本地计算设备(例如视频存储设备)来处理和管理本地视频数据。

图像捕捉设备410、420，视频服务器300和可选的连接到用于回放所记录的视频的系统400的视频存储设备470通过网络430连接。网络430可以为任何种类的通信网络，诸如有线或者无线数据通信网络，例如局域网(LAN)或者无线局域网(W-LAN)或者广域网(WAN)。

显示设备440被设置为接收和显示由视频服务器300生成的视频信号。显示设备440的一些示例包括计算机显示器、视频投影仪或者电视显示器。如前所述，存在用于将视频信号传送到显示设备的多种格式和接口，并且提及几个可适用的示例VGA、HDMI或者PAL可用作视频服务器600和显示设备440之间的接口，以用于传送代表所接收的视频流的视频信号。显示设备440可以被设置为在观看窗口450显示视频流，以及在系统400管理第一和第二并发视频流的情况下，可以设置用于显示第二视频流的第二观看窗口460。

Claims (14)

1.一种用于回放所记录的视频的方法，所述方法包括：

接收包括具有关联的时间戳的视频帧序列的视频流，

从所接收的视频帧的时间戳或者从嵌入于所接收的视频流中的编码器帧速率值确定所接收的视频流中各个时间位置的编码器帧速率参数，

在所接收的视频流中的时间位置处，当所确定的编码器帧速率参数小于预定帧速率阈值时，将回放帧速率改变成大于所确定的编码器帧速率参数的帧速率，

在所接收的视频流中的时间位置处，当所确定的编码器帧速率参数大于所述预定帧速率阈值时，将回放帧速率改变成等于所确定的编码器帧速率参数的回放帧速率，以及

以改变后的回放帧速率回放所接收的视频流的视频帧。

2.根据权利要求1所述的方法，其中权利要求1中所接收的视频流为所接收的第一视频流，并且所述方法进一步包括如下步骤：

接收包括具有关联的时间戳的第二视频帧序列的第二视频流，其中第一接收视频流和第二接收视频流在至少一个重叠时间段期间被捕捉，

从所述第二视频流的所接收的视频帧的时间戳或者从嵌入于所接收的第二视频流中的编码器帧速率值，确定所接收的第二视频流中各个时间位置的编码器帧速率参数，

其中，在所述第一接收视频流中的时间位置处，当所述第一视频流的所确定的编码器帧速率参数和所述第二视频流的所确定的帧速率参数二者均小于所述预定帧速率阈值时，将权利要求1的所述回放帧速率改变成大于所接收的第一视频流的所确定的帧速率参数的帧速率，

其中，在时间位置处，当所接收的第一视频流的所确定的编码器帧速率参数或者所接收的第二视频流的所确定的编码器帧速率参数大于所述预定帧速率阈值时，将权利要求1的所述回放帧速率改变成等于所接收的第一视频流的所确定的帧速率参数的帧速率。

3.根据权利要求2所述的方法，其中在所述第二接收视频流中的时间位置处，当所述第一视频流的所确定的帧速率参数和所述第二视频流的所确定的帧速率参数二者均小于所述预定帧速率阈值时，将所接收的第二视频流的所述回放帧速率改变成大于所接收的第二视频流的所确定的帧速率参数的帧速率，

其中在时间位置处，当所接收的第一视频流的所确定的编码器帧速率参数或者所接收的第二视频流的所确定的编码器帧速率参数大于所述预定帧速率阈值时，将所接收的第二视频流的所述回放帧速率改变成等于所接收的第二视频流的所确定的帧速率参数的帧速率，

进一步包括以所接收的第二视频流的改变后的回放帧速率回放所接收的第二视频流的视频帧的步骤。

4.根据权利要求1所述的方法，其中在所接收的视频流中的时间位置处，当所确定的编码器帧速率参数大于用于慢动作回放的预定帧速率阈值时，将权利要求1的回放帧速率进一步改变成小于所确定的编码器帧速率参数的帧速率。

5.根据权利要求1所述的方法，其中从所接收的视频帧的时间戳确定所接收的视频流中各个时间位置的编码器帧速率参数的步骤包括：针对时间位置，计算包括所接收的视频流中的所述时间位置的预定时间段内视频流中连续接收的视频帧的数量，并且将所计算的连续帧的数量除以所述预定时间段，以确定编码器帧速率参数。

6.根据权利要求1所述的方法，其中从所接收的视频帧的时间戳确定所接收的视频流中各个时间位置编码器帧速率参数的步骤包括：针对时间位置，计算在所述时间位置处的视频帧的时间戳与前一个视频帧的时间戳或者后一个视频帧的时间戳之间的时间差，并且根据所计算的时间差确定所述时间位置的所接收的帧参数。

7.根据权利要求1所述的方法，其中从嵌入于所接收的视频流中的编码器帧速率值确定所接收的视频流中各个时间位置的编码器帧速率参数的步骤进一步包括：从所接收的视频流的头部提取嵌入于所接收的视频的编码器帧速率值。

8.根据权利要求1所述的方法，其中确定所接收的视频流中各个时间位置的编码器帧速率参数的步骤进一步包括：

分析所接收的视频帧的视频编码块以将空视频帧识别为仅包括跳块类型的视频编码块的视频帧，以及，

当确定编码器帧速率参数时，不将所识别的空视频帧作为视频帧。

9.根据权利要求1所述的方法，其中所接收的视频流用可变编码器帧速率进行编码，使得所接收的视频流在所接收的视频流的第一部分期间用第一编码器帧速率进行编码，并且在所接收的视频流的另一部分期间用另一编码器帧速率进行编码。

10.一种计算机程序产品，包括具有指令的计算机可读存储介质，所述指令在由处理器执行时适于执行根据权利要求1所述的方法。

11.一种用于回放所记录的视频的视频服务器，包括：

接收设备，所述接收设备被设置为接收包括具有关联的时间戳的视频帧序列的至少一个视频流，

帧速率确定设备，所述帧速率确定设备被设置为从所接收的视频帧的时间戳或者从嵌入于所接收的视频流的编码器帧速率值确定至少一个所接收的视频流中各个时间位置的编码器帧速率参数，

回放帧速率改变设备，所述回放帧速率改变设备被设置为，在所接收的视频流中的时间位置处，当所接收的视频流的所确定的编码器帧速率参数小于预定帧速率阈值时，将所接收的视频流的回放帧速率改变成大于所确定的编码器帧速率参数的帧速率，并且在所接收的视频流的时间位置处，当所接收的视频流的所确定的帧速率参数大于所述预定帧速率阈值时，将回放帧速率改变成等于所接收的视频流的所确定的编码器帧速率参数，

视频信号生成设备，所述视频信号生成设备被设置为以改变后的回放帧速率生成代表所接收的视频流的视频信号。

12.根据权利要求11所述的视频服务器，其中

所述接收设备被设置为接收包括具有关联的视频帧序列的第一视频流和第二视频流，其中所述第一接收视频流和所述第二接收视频流在至少一个重叠时间段期间被捕捉，

所述回放帧速率改变设备被设置为，在时间位置处，当所述第一视频流的所确定的帧速率参数和所述第二视频流的所确定的帧速率参数二者均小于所述预定帧速率阈值时，将所接收的第一视频流的回放帧速率改变成大于所接收的第一视频流的所确定的帧速率参数的帧速率，并且在时间位置处，当所接收的第一视频流的所确定的帧速率参数或者所接收的第二视频流的所确定的帧速率参数大于所述预定帧速率阈值时，改变成等于所接收的第一接收视频流的所确定的帧速率参数的帧速率，

所述视频信号生成设备进一步被设置为以改变后的回放帧速率生成代表所述第二接收视频流的视频信号。

13.一种用于回放所记录的视频的系统，包括：

图像捕捉设备，所述图像捕捉设备被设置为捕捉场景的图像数据，将所捕捉的图像数据编码为视频流的视频帧，并且传送所述视频流；

根据权利要求11所述的视频服务器，所述视频服务器被设置为从监控摄像机接收所传送的视频流，以及

显示设备，所述显示设备被设置为接收并且显示由所述视频服务器生成的视频信号。

14.一种用于回放所记录的视频的系统，包括：

第一图像捕捉设备，所述第一图像捕捉设备被设置为捕捉场景的图像数据，将所捕捉的图像数据编码为第一视频流的视频帧，并且传送所述第一视频流，

第二图像捕捉设备，所述第二图像捕捉设备被设置为捕捉场景的图像数据，将所捕捉的图像数据编码为第二视频流的视频帧，并且传送所述第二视频流；

其中所述第一视频流和所述第二视频流在至少一个重叠时间段期间被捕捉，

根据权利要求12所述的视频服务器，以及

显示设备，所述显示设备被设置为接收和显示由所述视频服务器生成的、代表所接收的第一视频流和所接收的第二视频流的视频信号，其中所接收的第一视频流和所接收的第二视频流在所述至少一个重叠时间段期间被所述显示设备同时显示。