CN103597844B - 在视频服务器与客户端之间平衡负载的方法和系统 - Google Patents

Abstract

通过允许服务器和客户端相互交换资源能力在数字视频分发系统中于视频服务器与其视频客户端之间平衡负载和资源要求的方法和系统。在接收到对可利用的视频内容当中的视频流的请求时，服务器基于哪个实体（客户端或服务器）能更好地缩放所请求的视频流来确定是它还是发请求的客户端应当缩放视频流，以符合发请求的客户端的资源和分辨能力。

Description

在视频服务器与客户端之间平衡负载的方法和系统

技术领域

本发明一般地涉及视频分发系统，并且特别地涉及用于在视频分发网络内于网络视频记录仪与一个或多个客户端计算机之间智能共享计算机资源的方法和系统。

背景技术

网络视频记录仪（“NVR”）是与通信网络耦接的基于互联网协议（“IP”）的设备。NVR是经由网络来接收数字图像和/或视频流并且按数字格式来记录它们的数字服务器。因为它们是基于IP的，所以NVR可以经由例如局域网（“LAN”）或者经由互联网来远程管理。NVR能够同步地记录并远程访问来自IP摄像机的实时视频流。

NVR服务器典型地按照没有理想地与客户端的显示分辨率匹配的分辨率将视频数据发送给客户端计算机。这对于网络带宽利用是低效率的，并且对于客户端侧的CPU利用也是低效率的。例如，如果客户端试图在4×4的矩阵中显示16个图像，则每个图像的必要分辨率可以是很适度的。但是，服务器能够不必将16D1或百万像素分辨率的视频流输送给客户端。这浪费了网络带宽并且使客户端计算机置于比必要负载重得多的计算负载。这对于资源密集型的CODEC是特别重要的，例如，使用H.264或MPEG-4压缩标准的CODEC。

典型地，上述问题通过使用能够输送多个同步流的视频采集设备来缓解，其中一个流将被输送用于记录，而另一个则用于在客户端计算机进行实时观看。但是，来自视频采集设备的多个流远不是理想的解决方案。其中之一是，NVR服务器需要支持多个客户端连接。因此，希望采集设备输送可能需要给或许10个或更多的单独客户端输送视频的众多分辨率是不可行的，其中每个客户端可能需要不同的分辨率。其次，该尝试没有为在客户端计算机上的存储视频的回放提供解决方案。

因此，所需要的是用于在视频服务器和客户端计算机之间智能共享计算机负载和网络带宽的系统和方法，以允许视频分发系统最小化网络带宽，同时还高效率地在网络上分发可利用的计算机资源。

发明内容

本发明有利地提供了用于通过允许服务器和客户端相互交换资源能力在视频服务器与其视频客户端之间于数字视频分发系统内智能地共享负载和资源要求的方法和系统。在接收到对可利用的视频内容当中的视频流的请求时，服务器基于哪个实体（客户端或服务器）能更好地缩放所请求的视频流来确定是它还是发请求的客户端应当缩放视频流，以符合发请求的客户端的资源和分辨能力。在本发明的一个方面，本发明提供了用于在视频分发网络中的视频服务器与视频客户端之间平衡负载的方法。该方法包括：接收来自至少一个视频客户端的对可利用的视频内容的列表当中的视频流的请求，所请求的视频流符合该至少一个视频客户端的资源能力，确定对视频流的请求是否来自该至少一个视频客户端当中具有最低资源能力的客户端，如果发请求的客户端在该至少一个视频客户端当中具有最低资源能力，则计算用于给发请求的客户端提供满足发请求的客户端的资源能力的所选视频流的必要资源，并且通过确定视频服务器是否将转码所选的视频流来在视频分发网络中平衡资源。

在本发明另一方面，本发明提供了用于在视频分发网络中于视频服务器和视频客户端之间平衡负载的系统。该系统包括含有可利用的视频内容的列表的数据库以及与数据库通信的视频服务器。视频服务器适应于接收来自视频客户端的对可利用的视频内容的列表中的视频流的请求，所请求的视频流符合发请求的视频客户端的资源能力，并且确定对视频流的请求是否来自该至少一个视频客户端当中具有最低资源能力的客户端。如果发请求的客户端在该至少一个视频客户端当中具有最低资源能力，则视频服务器计算用于给发请求的客户端提供满足发请求的客户端的资源能力的所选视频流的必要资源，并且通过确定视频服务器是否将转码所选视频流来在视频分发网络中平衡资源。

在又一方面，本发明提供了用于在视频分发网络中于视频服务器与至少一个视频客户端之间平衡负载的方法。该方法包括：给视频服务器发送对可利用的视频内容的列表中的视频流的请求，给视频服务器发送与发请求的视频客户端相应的资源能力，视频服务器通过确定是视频服务器还是发请求的视频客户端将缩放所选视频流来在视频分发网络中平衡资源，并且重新发送对缩放的视频流的请求。

附图说明

关于本发明及其所附优点和特征的更全面的理解通过参考下面结合附图来考虑的详细描述将变得更容易理解，在附图中：

图1是根据本发明的原理来构造的系统的示意图；

图2是示出根据本发明的原理的在NVR服务器与客户端计算机之间的交互的示意图；

图3是根据本发明的原理的由NVR服务器执行的示例性过程的流程图；以及

图4是示出根据本发明的原理的由视频客户端计算机以及由NVR服务器执行的示例性过程的流程图。

具体实施方式

在详细地描述根据本发明的示例性实施例之前，应当注意，这些实施例主要在于与用于实现视频分发系统和方法相关的装置构件和处理步骤的组合，所述系统和方法用于在视频分发网络中于视频服务器和客户端计算机之间智能地共享计算机负载，以允许视频分发系统最小化网络带宽并且在网络上同时分发可利用的计算机资源。

因此，系统和方法构件在适当的情况下于附图中由常规的符号表示，仅示出与对本发明的实施例的理解相关的那些具体细节，以免使本公开内容因对获益于本文的描述的本领域技术人员而言明显的细节而变得不明确。

如同本文所使用的，诸如“第一”和“第二”、“顶部”和“底部”等关系术语可以仅用于将一个实体或元件与另一个实体或元件区分开，而并不必要求或暗示在此类实体或元件之间的任何物理或逻辑上的关系。

本发明的一种实施例有利地提供了用于通过允许服务器和客户端相互交换资源能力而在数字视频分发系统中于服务器和客户端计算机之间平衡负载和资源要求的方法和系统。这样的布局还允许可利用的网络带宽的高效使用。在接收到对可利用的视频内容当中的视频流的请求时，服务器能够基于哪个实体（客户端或服务器）具有必要的处理资源来确定是它还是发请求的客户端应当缩放视频流。

现在参照附图，在附图中相同的附图标记指示相同的元件，在图1中示出了包括视频服务器12和一个或多个视频客户端计算机14的视频分发系统10。视频服务器12经由通信网络16与视频客户端14通信。举例来说，通信网络16能够是广域网（“WAN”）或局域网（“LAN”）通信网络。视频服务器12可以是能够采集数字视频内容并经由通信网络16将该内容发送给视频客户端14的基于互联网协议（“IP”）的设备，例如，网络视频记录仪（“NVR”）。服务器12包括负载平衡模块17和硬件，例如，CPU、存储器、I/O接口，以及软件，所述软件用于执行本文所描述的功能并且使服务器12能够接收来自远程IP摄像机的图像并在内部存储设备中或者在外部位置远程地存储和管理视频内容。服务器12可以具有内部数据库或者连接至外部数据库，该外部数据库含有能够在网络16上通过一个或多个视频客户端14来访问的所存储的视频内容。视频客户端14能够是具有播放数字视频内容的能力的任何计算设备，例如，台式计算机或膝上型计算机、移动设备，例如，个人数字助理（“PDA”）、移动电话、平板电脑、多媒体播放器。视频客户端14包括诸如存储器、CPU、I/O接口、数据存储之类的硬件，以及用于允许它接收并查看数字视频图像的软件。尽管本发明参照IP通信来描述，但是本发明并不限定于此。应当想得到，任何适合的网络通信协议都能够被用来实现本文所描述的发明。

应注意，尽管在此使用术语“视频”和“显示”，但是应当理解，本发明并不仅限于只有视频的内容的显示。正因如此，这些术语在本文中被定义为包括多媒体内容，以及内容的播放，即，显示视频的显示以及音频部分的听觉播放。

假定在网络16中的每个视频客户端14都具有对于它能够播放的数字视频内容的类型的限制。经由网络16到达视频客户端14的视频内容在服务器12编码并且需要在视频客户端14解码。到达视频客户端14的每个视频流能够由具体的CODEC（“编码器/解码器”）来分类，例如，CODEC A、CODEC B、CODEC C等，如图1所示。视频客户端14创建用于存储连同用于显示每个视频流的视频客户端14的解码资源能力和/或分辨能力一起的可由服务器12利用的每个视频流的客户端资源能力表19，例如，以下表1所表示的示例性表。如同本说明书通篇所使用的，术语“分辨能力”和“资源能力”可互换地用来指示视频客户端14的用于解码和/或显示所引入的视频内容的处理、存储、显示和/或解码能力。

表1

CODEC	能力（Mb/s）
		CODEC A	x
CODEC B	y
		CODEC C	z

由于某些视频流的复杂性以及它们如何由来源进行编码，客户端14可能不具有资源能力，以充分地解码和/或显示所引入的视频内容。因而，视频客户端14计算它的用于解码和显示每个视频流的能力。客户端14能够订购服务以允许它访问含有可由不同的服务器12利用的实时的和所记录的视频内容的矩阵。例如，表2在下面示出了由不同来源给出的不同视频流的列表。

表2

来源	CODEC	数据速率（Mb/s）	开始时间	结束时间
					A	CODEC A	x	a	现在
A	CODEC B	y	b	a
					B	CODEC C	z	c	现在

来源A以特定的数据率（x）来提供视频流（CODEC A），具有开始时间（a）。来源A还提供具有不同的数据速率（y）的CODEC B，具有不同的开始时间（b）和结束时间（a）。来源B提供视频流CODEC A和CODEC C。来自来源B的用于CODEC C的数据速率（z）不同于来自来源A的用于CODEC A的数据速率（x）。取决于每个视频流的数据速率，客户端14具有用于解码和显示该视频流的内容的不同资源和能力。

服务器12还创建列出每个视频流（即，CODEC A、CODEC B、CODEC C）的表，它已经变得在网络16上可获得以便分发。下面给出了示例性的表3。

表3

CODEC	解码能力（Mb/s）
		CODEC A	a
CODEC B	b
		CODEC C	c

服务器12公布其实时视频内容的可利用性，以及其所记录的视频内容的可利用性，以允许在网络16中的客户端14选择所期望的视频流。如果转码是必要的，服务器12计算其缩放或转码每个视频流所必需的资源。如同本技术领域所熟知的，转码是一种编码格式到另一种的转换。在有必要改编数字文件使得视频内容能够在不同的播放设备上观看时，转码通常是有必要的。因而，由客户端14请求的视频流可能需要被转码，以便使视频在客户端14上播放和观看。

有利地，本发明允许服务器12确定是它还是发请求的客户端14更能处理转码过程。为了完成该过程，服务器12在视频流的发送之前计算其解码能力并且然后在接收到来自客户端14的对视频流的请求时计算其解码能力。服务器12然后将该总数除以它支持的保留的通道数，以获得每个通道资源预算。

最初，服务器12和客户端14生成用于定义它们的解码视频的能力的表格（并且在客户端14的情形中，还显示该视频）。这些表格列出针对处理最低的视频分辨率所需要的资源进行规格化的可利用资源，例如，以用于每种类型的视频CODEC的例如通用中间格式（“CIF”）。这些表格在启动时从保守的值开始，并且随着时间而改进。这些表格被周期性地更新，尤其是在视频流请求之后。另外，服务器12公布它所具有的用于实时的和预先记录的视频的视频流列表。预先记录的视频表还含有时间信息，因为不同的CODEC随时间推移可以被用于相同的视频来源。在网络16内的客户端14订购该信息并且每当服务器更新其表格上的信息时接收新的或更新的信息。

图2示出了在它们通信以便在通过网络16来分发视频内容时平衡处理和网络负载时于视频服务器12与视频客户端14之间的交互的一种示例性实施例。客户端14请求来自服务器12的分辨率与由客户端能力表19示出的客户端的显示分辨率要求相应的视频内容。包含于客户端的请求内的是客户端14已经编入预算以便能够处理该请求的CODEC类型的可利用的处理资源的测量。客户端14还给服务器12发送客户端的当前CPU和存储器的使用。客户端14保留含有每个可利用的视频流所需要的平均的CPU使用的客户端使用表18并且因而能够在该请求下包括其用于所请求的视频流的资源能力。在接收到来自客户端14的请求时，服务器12检查其有用的内容，以确定服务器12是否具有在发请求的客户端的资源能力之内的任何视频流，并且作出是客户端14还是服务器12应当缩放所请求的视频的决定。该决定通过将随请求一起发送的客户端资源能力信息与服务器12上的可利用资源进行比较来作出。如同上文所讨论的，服务器12保留它自己的用于每个CODEC的转码能力表20。服务器12给客户端发送拒绝客户端12的请求或者通过给客户端12提供由客户端14用来检索所请求的视频流的信息（例如，URL）而作出应答的消息。在存在对服务器12的多个客户端请求的情况下，服务器12以可利用的最低的资源（即，CPU和存储器）为来自客户端14的转码请求服务。客户端14进而经由例如实时流协议（“RTSP”）请求来再次作出视频流请求，其中视频内容已经由服务器12缩放以使发请求的客户端14能够处理并显示视频内容。

图3是由负载平衡模块17执行的示例性过程的流程图，该负载平衡模块17能够是服务器12的一部分或者与服务器12通信。当在网络16中的一个或多个视频客户端14请求来自服务器12的视频内容时，每个客户端14与其请求一起包括其用于处理所请求的视频流的能力。每个客户端14的请求包括用于显示视频的每个客户端14的资源能力以及其用于解码所编码的视频流和转码视频信号的能力。因而，服务器12知道每个发请求的客户端14的资源能力。以该信息，服务器12确定发请求的客户端14中的哪个客户端14具有最低的客户端资源（步骤S22）。如果请求来自不具有发请求的客户端中的最低的客户端资源的客户端14，服务器拒绝来自该客户端14的转码请求（步骤S24）。应当注意，服务器12通常具有比网络16中的客户端14大的资源，因为服务器12必须对视频内容进行解码，缩放和编码。作为用于确定它是否具有用于转码的必要计算机资源的准则，服务器12可以确定转码特定的视频流所需的资源量是否小于预定量。

如果，在步骤S22，服务器12确定发请求的客户端14具有最低的客户端资源，则服务器12将开始转码过程（步骤S26）。服务器12然后计算给客户端14提供满足客户端14的预算要求和最小带宽的视频流所需要的必要资源（步骤S28）。然后必须确定客户端请求是否在服务器12的能力之内（步骤S30）。如果客户端请求处于服务器12的能力之内，则服务器12给客户端14发送拒绝客户端的转码请求的消息（步骤S32）。但是，如果服务器12具有用于转码客户端请求的资源，则它执行转码操作并且公布流的可利用性（步骤S34）。

图4的流程图示出了利用本发明的一种实施例的由服务器12和客户端14采用的示例性过程。视频服务器12公布可利用的视频流的池（步骤S33）。视频客户端14请求从可由服务器12利用的视频内容的公布池中选择视频流（步骤S35）。客户端14基于其显示分辨率来计算播放视频所需要的必要资源（步骤S36）。客户端14为所选的视频流计算其能力预算（步骤S38）。客户端资源能力预算基于客户端因素来确定，例如，其分辨能力、其CPU能力以及其解码并显示每个CODEC类型的能力。客户端14确定它能够显示可利用的内容中的什么视频流，以便最小化其CPU负载。一旦客户端14完成了该步骤，客户端14就与服务器12通信以确定服务器12是否具有接近于，即，在预定的资源差异之内的视频流，以满足客户端14的要求（步骤S40）。客户端14能够通过最初提供误差百分比来调整其CPU能力要求，使得它能够搜索在其理想的CPU负载的预定百分比（即，x%）之内的可利用的视频内容。在一种实施例中，x被设置为很低的值，并且在必要时，例如，如果在初始范围内没有可利用的视频流，则增加。

如果在由客户端14设定的约束之内有合适的视频流可利用（步骤S42），客户端14将其请求发送给服务器12。如果没有这样的流可利用，则客户端14确定其资源的最大值是否正在被使用（步骤S43）。如果客户端14的资源已经达到了它们的最大水平，则客户端14能够应用资源降低策略，例如，减少它能够接收的每秒的帧数，只显示选择的帧等，直到有合适的流可利用（步骤S44）。在一种实施例中，客户端14能够将一个或多个视频流标记为“优先流”，从而允许某些临界的视频流在客户端资源低时保留它们的帧率。一旦客户端14调整了它的帧要求，若必要，服务器12则选择在满足客户端14的帧率要求的同时使服务器12的解码资源最小化的它可利用的视频流（步骤S46）。服务器12基于包括在网络带宽要求最小化的同时满足服务器12的视频流预算以及客户端14的视频流预算的编码要求在内的多种因素来计算其编码资源的可利用性（步骤S48）。如果服务器12确定它具有足够的可利用资源来转码视频流（步骤S50和S52），则服务器12转码所请求的视频流，更新其可利用的流的列表以包含具有新转码的分辨率的视频流并且公布视频流内容的更新列表（步骤S54）。如果服务器12不具有必要的资源，则服务器12拒绝来自客户端14的对该特定视频流的请求，并且将消息发送客户端14以通过例如增大“x”的值来递增客户端14的流预算，即，调整其视频要求，使得客户端14能够重新开始其对可利用的视频流的搜索（步骤S56）。

本发明能够以硬件、软件或硬件和软件的组合来实现。任一种计算系统，或者适用于执行本文所描述的方法的其它装置，都适合于执行本文所描述的功能。

硬件和软件的典型组合能够是具有一个或多个处理元件以及存储于存储介质上的计算机程序的专用计算机系统，所述计算机程序在被装载并被执行时控制着计算机系统，使得它执行本文所描述的方法。本发明还能够以计算机程序产品来实现，该计算机程序产品包括允许实现本文所描述的方法的所有特征，并且在被装载到计算系统中时能够执行这些方法。存储介质指的是任何易失性的或非易失性的存储设备。

在本发明的背景下的计算机程序或应用意指一组指令以任意语言、代码或符号的任意表示，其中该组指令旨在促使具有信息处理能力的系统直接地或者在以下a）转换为另一种语言、代码或符号；b）以不同的材料形式的再现中的任一项或两者之后执行特别的功能。

另外，除非另有说明，否则应当注意，并非所有附图都是按比例的。重要的是，本发明在不脱离本发明的精神和本质属性的情况下能够以其它具体的形式来实现，并且因此，对于本发明的范围的指示应当参照所附的权利要求书，而不是前面的说明书。

Claims (17)

1.一种用于在视频分发网络中的视频服务器与至少一个视频客户端之间进行资源平衡的方法，所述方法包括：

接收来自视频客户端的对可利用的视频内容的列表中的视频流的第一请求，被请求的视频流符合发请求的视频客户端的资源能力；

通过以下步骤来在所述视频分发网络中平衡资源：

确定所述视频服务器的用于转码的可利用资源；

确定所述视频客户端的用于转码的可利用资源；

将所述视频服务器的所述可利用资源与所述视频客户端的所述可利用资源相比较；

基于所述比较确定所述视频服务器和所述视频客户端中哪一个要对所述被请求的视频流进行转码；以及

如果确定所述视频服务器要进行转码：则

拒绝来自所述视频客户端的所述第一请求；

在所述视频服务器处对选择的视频流进行转码；以及

一旦接收到来自所述视频客户端的后续请求，则向视频客户端提供被转码的视频流。

2.根据权利要求1所述的方法，其中来自所述视频客户端的所述第一请求包括所述视频客户端的所述可利用资源的测量，所述视频客户端的所述可利用资源包括发请求的视频客户端的CPU的利用和存储器的利用中的至少一种。

3.根据权利要求2所述的方法，其中确定发请求的视频客户端和视频服务器中的哪一个要对所述选择的视频流进行转码包括：将在所述第一请求中接收到的所述视频客户端的所述可利用资源的所述测量与所述视频服务器的可利用资源相比较。

4.根据权利要求1所述的方法，其中如果所述视频服务器将不对所述视频流进行转码，该方法还包括：向所述发请求的视频客户端发送指示视频服务器将不对所述选择的视频流进行转码的消息。

5.根据权利要求1所述的方法，还包括：生成限定所述视频服务器转码视频流的能力的转码资源表。

6.根据权利要求5所述的方法，还包括：在每个视频客户端的请求之后更新所述转码资源表。

7.根据权利要求1所述的方法，其中在所述视频服务器处确定可利用资源包括：计算所述视频服务器的转码资源。

8.根据权利要求1所述的方法，还包括：

从至少一个其它视频客户端接收至少一个请求；

确定视频客户端中哪一个具有最低资源能力；以及

在为其它请求服务之前先为来自具有所述最低资源能力的所述客户端的请求服务，所述服务包括：在所述视频分发网络中平衡所述资源。

9.根据权利要求1所述的方法，其中对所述选择的视频流进行转码包括：使用少于预定量的转码资源。

10.一种用于在视频分发网络中的视频服务器与至少一个视频客户端之间进行资源平衡的视频分发系统，包括：

配置为包含可利用的视频内容的列表的数据库；以及

与所述数据库通信的视频服务器，所述视频服务器具有存储软件的非易失性存储器，所述软件当被CPU执行时将所述视频服务器配置为：

从视频客户端接收对可利用的视频内容的列表中的视频流的第一请求，被请求的视频流符合发请求的视频客户端的资源能力；

通过以下各项来在所述视频分发网络中平衡资源：

确定所述视频服务器的用于转码的可利用资源；

确定所述视频客户端的用于转码的可利用资源；

将所述视频服务器的所述可利用资源与所述视频客户端的所述可利用资源相比较；

基于所述比较确定所述视频服务器和所述视频客户端中哪一个要对所述被请求的视频流进行转码；以及

如果确定所述视频服务器要进行转码：则

拒绝来自所述视频客户端的所述第一请求；

在所述视频服务器处对选择的视频流进行转码；以及

一旦接收到来自所述视频客户端的后续请求，则向视频客户端提供被转码的视频流。

11.根据权利要求10所述的系统，其中来自所述视频客户端的所述第一请求包括所述视频客户端的所述可利用资源的测量，所述视频客户端的所述可利用资源包括发请求的视频客户端的CPU的利用和存储器的利用中的至少一种，所述视频服务器的所述可利用资源包括所述视频服务器的CPU的利用和存储器的利用中的至少一种，并且

将所述视频服务器的所述可利用资源与所述视频客户端的所述可利用资源相比较包括：将所述视频客户端的CPU的利用和存储器的利用中的至少一种的测量与所述视频服务器的CPU的利用和存储器的利用中的至少一种相比较。

12.根据权利要求11所述的系统，其中所述视频服务器还配置为周期性地发布所述可利用的视频内容的列表。

13.根据权利要求10所述的系统，其中如果所述视频服务器将不对所述视频流进行转码，则所述视频服务器还配置为向所述发请求的视频客户端发送指示视频服务器将不对所述选择的视频流进行转码的消息。

14.根据权利要求10所述的系统，其中所述视频服务器还配置为生成限定所述视频服务器转码视频流的能力的转码能力表。

15.根据权利要求14所述的系统，其中所述视频服务器还配置为在每个视频客户端的请求之后更新所述转码能力表。

16.根据权利要求10所述的系统，其中在所述视频服务器处确定可利用资源包括计算所述视频服务器的转码资源。

17.根据权利要求16所述的系统，其中所述视频服务器还配置为：

从至少一个其它视频客户端接收至少一个请求；

确定视频客户端中哪一个具有最低资源能力；以及

在为其它请求服务之前先为来自具有所述最低资源能力的所述客户端的请求服务，所述服务包括：在所述视频分发网络中平衡所述资源。