CN108737827B - 用于控制视频编码器的输出比特率的方法和比特率控制器 - Google Patents

Abstract

本发明涉及用于控制视频编码器的输出比特率的方法和比特率控制器。公开了一种控制视频编码器的输出比特率的方法，该视频编码器对视频序列进行编码。该方法包括为视频编码器的输出设置至少一天的时间段的长期比特预算(S1)，并且基于长期比特预算确定第一容许比特率(S2)。该方法进一步包括确定用于视频编码器的输出的瞬时比特限制(S3)，并且基于瞬时比特限制确定第二容许比特率(S4)。基于第一容许比特率和第二容许比特率来控制输出比特率(S5)，使得遵守长期比特预算、第一容许比特率和第二容许比特率。还公开了一种计算机程序产品、比特率控制器、摄像机和网络录像机。

Description

用于控制视频编码器的输出比特率的方法和比特率控制器

技术领域

本发明涉及视频编码，并且更具体地涉及视频编码器的比特率控制。

背景技术

在诸如网络摄像机监控系统的数字视频系统中，在传输视频序列之前通过编码器使用各种视频编码方法对视频序列进行压缩。在许多情况下，在视频序列要被传输的网络中存在有限的带宽，并且因此速率控制器通常用于控制编码器的输出比特率。

速率控制器可以应用几种比特率控制方案之一。速率控制器可以采用固定比特率(CBR)、最大比特率(MBR)或可变比特率(VBR)。CBR意味着编码器将总是力争输出同一比特率，而不管在捕获到的场景中发生了什么。如果带宽是有限的，则当场景中存在运动时，这可能导致低质量的图像，而当图像静止时，可能导致高质量的图像。在监视或监控情况下，这通常是没有用的，因为具有运动的场景通常比静态场景更令人感兴趣。使用MBR，允许改变比特率，只要比特率不超过比特率限制设置即可。与这种方法相关的问题类似于与CBR相关联的问题。如果MBR限制被设置得太低，则具有运动的场景的图像可能是低质量的。然而，如果将限制设置得较高，则为了适应运动，当对静态场景的图像进行编码时，输出比特率可能不必要地高。VBR也可被称为固定质量比特率，意味着编码图像的质量应当保持不变，但是允许输出比特率根据场景中发生了什么而变化。当场景中存在运动时，这种方法可导致高的输出比特率。如果带宽是有限的，诸如当通过移动网络传输编码图像时，这就特别成问题。类似地，如果存储是有限的，诸如当在摄像机上(例如在SD卡上)存储图像时，则成问题。如果多个摄像机同时传输具有运动的场景的图像，则高的输出比特率在大型摄像机系统中也可能成问题。

数字视频系统中的另一个问题是难以评估对存储容量的需求。如果使用CBR，则通过简单地将固定比特率乘以期望的保留时间，很容易估计所需要的存储容量。然而，使用MBR和VBR，比特率根据捕获的场景中发生了什么而变化。在很多情况下，存储成本是数字视频系统的成本的重要组成部分，并且因此系统所有者期望降低存储容量。尽管如此，这会带来丢失所录制的视频的风险，因为当捕获的场景中存在大量运动和细节时，对于可用存储容量来说，在期望的保留时间期间输出的比特的总量可能太大。

因此，需要一种改进的比特率控制方法。

发明内容

本发明的目的在于提供一种用于控制视频编码器的输出比特率的方法，使得更容易预测存储容量需求。

另一目的在于提供一种用于控制视频编码器的输出比特率的方法，使得能够保证存储的视频数据的预定保留时间。

目的还在于提供一种有助于预测存储容量需求的比特率控制器，以及提供一种能确保所存储的视频数据的期望保留时间的比特率控制器。

又一目的在于提供一种能够改进比特率控制的摄像机和网络录像机。

根据第一方面，这些和其他目的的全部或者至少部分地通过控制对视频序列进行编码的视频编码器的输出比特率的方法实现，该方法包括：为视频编码器的输出设置至少一天的时间段的长期比特预算；基于长期比特预算确定第一容许比特率；确定用于视频编码器的输出的瞬时比特限制；基于瞬时比特限制确定第二容许比特率；并且基于第一容许比特率和第二容许比特率来控制输出比特率，使得遵守长期比特预算、第一容许比特率和第二容许比特率。使用这样的方法，能够对确定在长时间段期间多少比特被允许输出的长期比特预算进行设置。长期比特预算被设置为至少一天的时间段，并且可以有利地设置为若干天、若干周或若干月。通过设置长期比特预算，能够预知需要的存储容量，使得更容易设计网络摄像机系统。长期比特预算也使得确保对于所存储的视频数据能保持预定保留时间成为可能。通过基于长期比特预算确定第一容许比特率，能够控制跨越时间的输出比特率，使得时间周期的结束不会带来长期比特预算不能满足的不愉快的意外。此外，通过基于瞬时比特限制确定第二容许比特率，能够控制输出比特率，使得例如其中要传输编码视频的网络的带宽不被超出。这里应当说明的是，本文中使用的术语“遵守”意味着在比特预算被设置的时间段期间输出的比特数应当不高于长期比特预算。但是，对于第一容许比特率和第二容许比特率，即使暂时被超过，第一容许比特率和第二容许比特率也可以是“被遵守”的。第一容许比特率和第二容许比特率是用于确保长期比特预算不被超过的工具。因此，第一容许比特率和第二容许比特率是指导值，使得如果输出比特率被保持在这两个容许比特率之下，则在长期比特预算被设置的时间段期间输出的比特数将在比特预算之下，但只要不允许比特率超过第一容许比特率和第二容许比特率太长时间，就仍可遵守长期比特预算。第一容许比特率和第二容许比特率从而可被看做“软”比特率限制，而长期比特预算为“强烈”限制。在本发明方法的一些变型中，第一容许比特率和/或第二容许比特率也可以用作强烈限制。

根据该方法的一些变型，确定第一容许比特率包括：通过将长期比特预算除以时间段来计算平均比特率。这是确定第一容许比特率的简单方法。

基于容许比特率控制输出比特率的步骤可包括：在第一时间间隔之后，检查在第一时间长度期间输出多少比特，如果在第一时间长度期间的输出比特数高于第一容许比特率达第一裕度，则增大编码器的压缩参数，使得输出比特率降低，以遵守长期比特预算；或如果在第一时间长度期间的输出比特数低于第一容许比特率达第二裕度，则减小编码器的压缩参数，使得输出比特率增加，以在长期比特预算之内提高图像质量。以这种方式，基于长期比特预算和期望的保留时间以平均比特率的形式使用第一容许比特率，如果有需要则能够提高压缩。如果在持续一段时间内场景中有很多活动，则可能已经输出比在平均比特率之内允许的多的比特。这可通过之后提高压缩一段时间来补偿。另一方面，如果场景中已经有很少活动或没有活动，则可存在用于在一段时间内提高图像质量的空间，并且这可通过降低压缩来实现。使用这种方法，能够有效利用可用存储容量。

根据该方法的一些变型，确定第一容许比特率包括：接收关于先前编码的视频序列的输出比特率的历史变化的输入。关于比特率变化的历史数据对于控制编码器的输出比特率可以是有用的。在一些位置中，在场景中的活动中经常发生变化。例如，如果摄像机被安装用于监控厂房的员工通道外面，则在早上、午餐和下午可能存在大量活动，但是在工作时间和夜间存在较少活动。在了解这些变化的情况下，能够将更多的比特分配给更多预期活动的时间段，并且在具有更少预期活动的时间段期间使用更少的比特。

先前编码的视频序列可以与输出比特率被控制的视频序列捕获相同的场景。与使用通用历史数据相比，这可使得历史数据与控制未来输出比特率更相关。

根据该方法的一些变型，基于容许比特率控制输出比特率包括：在第一时间间隔之后，检查在第一时间长度期间输出多少比特，如果在第一时间长度期间的输出比特数高于历史预期的比特数达第三裕度，则增大编码器的压缩参数，使得输出比特率降低，以遵守长期比特预算；或如果在第一时间长度期间的输出比特数低于历史预期的比特数达第四裕度，则减小编码器的压缩参数，使得输出比特率增加，以在长期比特预算之内提高图像质量。如已经提到的，考虑到历史比特率变化数据，使得根据场景中的活动的预期变化将比特分配到不同的时间间隔成为可能。在此，在通常存在较少活动的周期期间可以节省比特，使得能在具有更多活动的周期花费更多比特，这对于视频序列的用户通常是更有兴趣的，并且从更高的图像质量受益更多。如果场景中的活动偏离了历史模式，则能够根据需要提高压缩，并且在机会出现时降低压缩。

确定第二容许比特率可包括：接收关于网络的可用带宽，编码器连接到该网络以传输所编码的视频序列。以这种方式，可以控制编码器的输出比特率，使其不超过可用带宽。因此，可以确保视频序列的图像帧能够通过网络被传输。可以以各种方式确定可用带宽。例如，对于单个摄像机，可用带宽可以是从摄像机到视频数据的使用点(诸如控制中心中的视频管理系统)的连接的带宽。对于摄像机系统中的摄像机，可用带宽可以是网络总带宽的被分配的部分，总带宽的其他部分为系统中的其他摄像机保留。网络可以是任意种类的网络。网络可以是有线的或无线的，并且网络可以是例如蜂窝网络。

根据该方法的一些变型，基于第一容许比特率和第二容许比特率来控制输出比特率包括：将输出比特率限制为低于或等于第二容许比特率。通过不允许输出比特率超过第二容许比特率，可以确保一直遵守诸如可用带宽的短期比特率限制。可见在该方法的这样的变型中，第二容许比特率被用作强烈限制。第二容许比特率在这样的变型中可作为MBR。

接收关于第一容许比特率的输入可包括：接收关于预期比特率影响事件的输入。以这种方式，当确定第一容许比特率时可以考虑即将到来的事件，使得如果预期有潜在感兴趣的事件，则可以节省比特以供以后使用。相反，在较不感兴趣的活动的预期时间段之前，比特可被更好地使用。

接收关于第一容许比特率的输入可包括：接收用户输入。如果开始使用新的、更大的磁盘驱动器来存储视频数据，则用户可以例如允许更高的第一容许比特率。类似地，例如如果犯罪已经发生，则用户可以决定更长的保留时间是必要的，并且可能包含适用于法庭的重要数据的所记录的视频序列需要被存储得更长。

根据第二方面，这些和其他目的的全部或者至少部分地通过用于控制对视频序列进行编码的视频编码器的输出比特率的比特率控制器实现，该比特率控制器包括：预算设置器，被配置为为视频编码器的输出设置至少一天的时间段的长期比特预算；比特限制确定器，被配置为确定用于视频编码器的输出的瞬时比特限制；比特率确定器，被配置为基于长期比特预算确定第一容许比特率，并且用于基于瞬时比特限制确定第二容许比特率；比特率计算器，被配置为基于第一容许比特率和第二容许比特率来计算输出比特率；以及控制输出端，被配置为将所计算的输出比特率输出到视频编码器。利用这样的比特率控制器，能够确保编码器的输出比特率遵守瞬时比特限制(诸如可用传输带宽)以及基于例如所存储的视频数据的期望保留时间的长期比特预算。第二方面的比特率控制器可以以与第一方面的方法本质上相同的方式来实现，并且具有随之而来的优势。

根据第三方面，这些和其他目的的全部或者至少部分地通过包括非暂时性计算机可读存储介质的计算机程序产品实现，该非暂时性计算机可读存储介质具有适于在由处理器执行时实施根据第一方面的方法的指令。使用这样的计算机程序产品，能够控制比特率，使得短期以及长期输出比特率限制被满足。第三方面的计算机程序产品通常可以以与第一方面的方法相同的方式被改变，并且具有随之而来的优势。

根据第四方面，这些和其他目的的全部或者至少部分地通过包括根据第二方面的比特率控制器的摄像机实现。通过将这样的比特率控制器集成在摄像机中，能够在摄像机中本地地实现第二方面的比特率控制器的优点。

根据第五方面，这些和其他目的的全部或者至少部分地通过包括根据第二方面的比特率控制器的网络录像机实现。包含第二方面的比特率控制器使得例如来自包含在网络化摄像机系统中的摄像机中的多个视频编码器的输出比特率能够被控制。在此，可以为整个摄像机系统(而不是单独为每个摄像机)设置长期比特预算，能够更好地使用网络录像机中的存储容量。

本发明的适用性的进一步的范围将通过下文中给出的具体实施方式而变得显而易见。然而，应理解的是，表示本发明优选实施例的具体实施方式和特定示例仅仅是以例示方式给出的，因为根据此具体实施方式，本发明范围内的各种变化和修改对于本领域技术人员而言是显而易见的。

因此，应理解的是，本发明不限于所描述的设备的具体组件部分或所描述的方法的步骤，因为这样的设备和方法可发生变化。还应理解的是，在此使用的术语仅用于描述具体实施例的目的，并非旨在是限制性的。必须注意的是，说明书和所附权利要求中使用的冠词“一”、“该”和“所述”旨在表示存在一个或多个元素，除非上下文中有明确相反的规定。因此，例如，对“一对象”或“该对象”的提及可包括若干对象等。此外，单词“包括”不排除其他要素或步骤。

附图说明

现在将通过示例方式并且参考随附示意性附图来更详细地描述本发明，其中：

图1是由摄像机监控的场景的透视图，

图2是摄像机系统的图，

图3是图2的系统中的摄像机的框图，

图4是图2的系统中的网络录像机的框图，

图5是图2的系统中的比特率控制器的框图，并且

图6是控制视频编码器的输出比特率的方法的流程图。

具体实施方式

在图1中示出了由摄像机2监控的场景1。图2示出了摄像机系统20，图1中的摄像机2是摄像机系统20的一部分。摄像机系统20包括多个摄像机2、网络录像机21以及包括显示器23的用户站22。摄像机系统20进一步包括网络24，网络24将摄像机2连接到网络录像机21，并且还将摄像机2和网络录像机21连接到用户站22。网络24可以是有线的或无线的，并且网络24可以是例如蜂窝网络。网络的不同部分可以使用相同或不同的网络技术。例如，摄像机2可以使用有线连接到网络录像机21，并且到用户站的连接可以是无线的。在一些使用情况下，用户站22可被布置成在地理上靠近摄像机2和网络录像机21，例如在同一建筑物中。在其他使用情况下，用户站22可被远程布置。在某些情况下，摄像机系统在地理上是分开的，使得一个或多个摄像机被布置在一个位置，诸如一个城镇中的商店，而一个或多个其他摄像机位于其他地方，诸如在另一城镇中的另一商店中。用户站22可以是物理设备或设备系统。例如，用户站22可以是位于控制中心的具有显示器的PC，其中操作员在控制中心中可以实时或从记录中观看捕获的视频序列。可替代地或另外地，用户站可以是移动设备，诸如智能电话。

在图3中示出了摄像机2的简化框图。摄像机2具有镜头31、图像传感器32、比特率控制器33、编码器34、本地存储器35和网络接口36。如技术人员将理解的，摄像机2具有附加组件，但是由于这些附加组件不是说明本发明所必需的，所以它们没有包含在附图中，并且将不被进一步讨论。借助于镜头31和图像传感器32，摄像机2捕获场景1的图像。图像被编码器34编码以形成编码图像帧的流。比特率控制器33控制编码器34的输出比特率，如稍后将被更具体说明的。本地存储器35可以例如是SD卡，并且可用于在摄像机中本地地存储编码的图像帧。借助于网络接口36，摄像机2可将编码图像帧传输到网络录像机21和/或用户站22。

在图4中示出了网络录像机21的简化框图。网络录像机21具有网络接口41，网络接口41具有输入42和输出43，输入42用于连接到摄像机系统20中的摄像机2，输出43用于连接到用户站22。此外，网络录像机21具有存储单元44和比特率控制器45。存储单元44例如可以是磁盘驱动器。与摄像机2的比特率控制器33一样，网络录像机的比特率控制器45的功能稍后将被进一步描述。网络录像机21也可具有其他组件，但是由于这些不是说明本发明所必需的，所以它们没有在附图中示出并且将不会被进一步讨论。

在图5中示出了比特率控制器51的简化框图。比特率控制器51可以是可连接到摄像机2和/或网络录像机21的独立单元。可替代地，比特率控制器51可被集成在摄像机2中，从而代替图3所示的比特率控制器33，或者比特率控制器51可被集成在网络录像机21中，从而代替图4所示的比特率控制器45。不管比特率控制器51被布置在何处，比特率控制器51可具有本质上相同的组件并且以本质上相同的方式工作。因此，图5所示的比特率控制器51的以下描述对于图3所示的比特率控制器33和图4所示的比特率控制器45也是有效的。

比特率控制器51具有被布置为设置长期比特预算的预算设置器(budget setter)52。长期比特预算对由比特率控制器51控制的视频编码器在至少一天的时间段期间可输出的比特数，设置了限制。这样的视频编码器可被集成在摄像机中，诸如图3所示的编码器34。然而，这样的视频编码器也可以以各种其他方式来布置。例如，视频编码器可以是可操作地连接到摄像机的独立单元，或者视频编码器可被包含在网络录像机中，诸如图4所示的网络录像机21。在网络录像机中，视频编码器可被用于转码视频数据。因此，编码图像帧可以从一个或多个摄像机被接收，在网络录像机的编码器中被解码，并且在存储在网络录像机中或传输到用户站之前再次被编码。用于转码的编码器也可被布置在用户站中或布置在用户站处。

比特率控制器51进一步包括比特限制确定器53，比特限制确定器53被配置为确定视频编码器的输出的瞬时比特限制。瞬时比特限制应用于比长期比特预算显著短的时间段，并且例如可以是用于来自视频编码器的传输的可用带宽。在一些应用中，例如，诸如当不能传输超过瞬时比特限制的大小的图像帧时，瞬时比特限制是严格的。在其他应用中，例如，诸如当若干摄像机共享网络带宽并且每个摄像机i被分配网络带宽的标称部分时，瞬时比特限制可以更灵活。在这种情况下，即使所传输的图像帧的大小超过了网络带宽的标称部分，图像帧也能够从视频编码器被传输，只要系统中的其他摄像机没有使用它们全部标称份额的带宽即可。

另外，比特率控制器51包括比特率确定器54。比特率确定器被配置为基于长期比特预算确定第一容许比特率。第一容许比特率对视频编码器的输出比特率设置限制，确保将遵守长期比特预算。比特率确定器54还被配置为基于瞬时比特限制确定第二容许比特率。第二容许比特率对视频编码器的输出比特率设置了限制，确保将符合瞬时比特限制。

比特率控制器51进一步包括比特率计算器55。比特率计算器55被配置为基于第一容许比特率和第二容许比特率来计算输出比特率。因此，比特率计算器55计算要被视频编码器满足的输出比特率，并且考虑长期比特预算、第一容许比特率和第二容许比特率。为了确保遵守长期比特预算，在每个时间点，第一容许比特率和第二容许比特率中最低的一个对于计算输出比特率是决定性的。比特率控制器51的控制输出端56被配置为将所计算的输出比特率输出到视频编码器。以这种方式，视频编码器可被指示被允许使用的输出比特率，以便确保遵守长期比特预算，使得期望的保留时间可被保证，并且为了确保也遵守对比特率的更短期限制(诸如可用带宽)，使得编码图像帧的传输始终是可能的。如将在下面进一步讨论的，输出比特率可以以规则(或可能不规则)的间隔被重新计算，使得视频编码器的控制可以是动态的。

比特率控制器51可被实现为硬件、固件、软件，或它们的任意组合。

在图6中示出了控制视频编码器的输出比特率的方法的示例的流程图。例如，该方法可以在图5所示的比特率控制器51中被执行。

在所示的示例中，长期比特预算被设置(步骤S1)。长期比特预算指定在至少一天的时间段期间允许由视频编码器输出多少比特。例如，长期比特预算可基于可用存储容量被设置。第一容许比特率被确定(S2)。这可以以不同的方式被完成。一种简单的方法是决定用于所存储的视频数据的所期望的保留时间，并且将长期比特预算除以该保留时间。使用该方法，容许的平均比特率可被确定。第一容许比特率可被设置为简单平均值，但是使用安全裕度，使得例如长期比特预算的90％除以时间段，并且剩余的10％被留下作为安全裕度，用于在时间段结束时的可能的调整。稍后将描述使用历史数据的稍微更复杂的方法。第一容许比特率可以以不同的方式被表示，取决于视频编码器接受的输入。例如，第一容许比特率可被表示为每秒比特数。

瞬时比特限制也被确定(S3)。瞬时比特限制可以例如与网络的可用带宽对应，编码器连接到该网络以用于传输编码图像帧。可用带宽可以是摄像机系统(诸如图2所示的摄像机系统20)中的多个摄像机共享的总带宽的被分配的部分。瞬时比特限制可以是静态的，或者可以动态地变化，例如，由于摄像机系统中的其他摄像机使用变化的量的总带宽。

基于瞬时比特限制确定第二容许比特率(S4)。因此，第二容许比特率可以简单地为每单位时间的可用带宽。由于各种原因，用户也可以选择设置较低的第二容许比特率。应当牢记，如果设置更高的第二容许比特率，则将意味着有时可能无法从编码器传输编码图像帧，因为已被超出网络的容量。与第一容许比特率一样，第二容许比特率可以以各种方式被表示，例如，被表示为每秒比特数。

已经确定长期比特预算、第一容许比特率和第二容许比特率，视频编码器的输出比特率被控制(S5)，使得遵守长期比特预算、第一容许比特率和第二容许比特率。如上面概述中提到的，根据第一容许比特率和第二容许比特率如何被确定，遵守第一容许比特率和第二容许比特率并不意味着输出比特率必须始终低于第一容许比特率和第二容许比特率。例如，第一容许比特率和第二容许比特率可以被确定为具有安全裕度，使得输出比特率被允许在短时间段内超过第一容许比特率和第二容许比特率中的一个或两者。大多数情况下，第一容许比特率和第二容许比特率中的一个将是实际限制因素。因此，所计算的输出比特率将在每个时间点由第一容许比特率和第二容许比特率中最低的一个确定。例如，在具有有限的网络带宽的摄像机系统中，例如使用蜂窝网络，限制因素可以是可用带宽，使得如果输出比特率保持在第二容许比特率以下，则可用存储容量对于所期望的保留时间将总是足够的。在其他摄像机系统中，可用存储容量可能反而成为限制因素，使得如果输出比特率保持在第二容许比特率或略低于第二容许比特率，则可用存储将比所期望的保留时间更快地被填满，导致重写和丢失视频数据。

在规则的或可能不规则的时间间隔内，可以检查在预定的时间长度期间已经输出了多少比特。时间间隔和时间长度可以与已经设置长期比特预算的时间段相关地被选择。例如，如果所期望的是60天的保留时间，则长期比特预算可被设置为可用存储的容量。检查输出比特数可以以例如一小时的时间间隔进行，并且进行检查的时间长度可以是例如一天。作为另一示例，一天的时间间隔可被使用，并且研究的时间长度可以是60天。无论哪种方式，这些检查都使用滑动的时间窗口进行。在每次检查时，在最近时间长度期间由编码器输出的比特数被检查。

举例来说，长期比特预算被设置为30天的时间段。在某个时间点，在一天的第一时间间隔之后，对在30天的第一时间长度期间由视频编码器已经输出了多少比特进行检查。如果发现输出比特数高于第一容许比特率达第一裕度，则意味着存在将不遵守长期比特预算的风险。因此，比特率控制器指示视频编码器增大压缩参数，使得视频编码器的输出比特率将会降低。根据视频编码器，可以存在能被控制的不同的压缩参数。一种常见的压缩参数是量化参数，量化参数确定用于将输入图像中的像素值映射到编码图像帧中的量化等级的量化步骤的数量。增大量化参数通常会导致降低的比特率，并且也会导致降低的图像质量。在一些编码器中可被控制的其他压缩参数是像素块大小、图像分辨率、GOP长度和帧速率。通过增大压缩参数，此后输出比特率可被减小，使得遵守长期比特预算。第一裕度可被选择，使得避免由压缩参数中的太频繁变化引起的不必要的振荡。如果需要，第一裕度可被设置为零，使得高于第一容许比特率的任何偏差将被增大的压缩抵消。确定压缩参数应该增大多少的一种方式是研究在第一时间长度期间输出的比特数，并且计算压缩参数的哪个值将使比特数最终低于第一容许比特率。该压缩参数的计算值然后可用于对后续图像帧进行编码。

相反，如果发现输出比特数比第一容许比特率低第二裕度，则意味着遵守长期比特预算，但是可能存在更高图像质量的空间。因此，减小压缩参数，使得输出比特率增加，由此在长期比特预算之内允许更高的图像质量。第二裕度可以与第一裕度相同，或者可以不同。

如果发现输出比特数既不高于第一容许比特率也不低于第一容许比特率，则可以保留视频编码器的压缩参数不变。

可以以规则间隔或不规则间隔重复进行检查，使得视频编码器被允许的输出比特率被动态地重新计算。

如上面已经讨论的，有时第一容许比特率将被限制，并且第二容许比特率将被限制。因此，视频编码器的输出比特率可被控制，使得该输出比特率始终低于或等于第二容许比特率。这里可以指出的是，在第一容许比特率被限制的情况下，将不足以将输出比特率保持在第二容许比特率以下。在这种情况下，输出比特率也将必须保持在第一容许比特率或保持在第一容许比特率以下。

应当注意，虽然时间间隔被称为第一时间间隔，但不必是执行比特率控制方法的恰好第一天或第一周等。“第一时间间隔”被称为“第一”，仅仅是作为能够在权利要求和本说明书中容易地引用它的方式。可以以与第一时间间隔相同的方式以规则间隔重复进行检查。类似地，“第一时间长度”称为“第一”，仅仅为了便于权利要求和本说明书。当然，当编码器首次启动时，每天检查设置了一个月的时间的长期比特预算必定将会首先给出在上个月期间输出的比特数低于预算的结果，因为在启动之前存在零比特输出，并且因此启动时的结果将不可靠。可通过将较短的时间长度用于检查来纠正此问题。例如，即使长期比特预算被设置为一个月的时间段，在检查中研究的时间长度也可以是例如一周或一天。此外，在该方法已经运行一段时间之后，在每次检查之前将有足够长的操作时间，使得整个研究的时间长度包含实际输出的比特数据。

如上所述，通过将长期比特预算除以预算被设置的时间段，将第一容许比特率计算为平均比特率是一种简单直接的方法。尽管如此，这种方法并没有考虑到在大多数监控场景中，场景中的活动会随时间而变化。在一些场景中，活动根据或多或少的有规律的模式而变化。例如，如上面所讨论的，在一天的某些时候可能存在很多活动。在诸如工作日的某些天也可能存在更多活动，并且在诸如周末的其他天存在更少活动。了解这样的变化可用来推动本发明方法的变体。因此，确定第一容许比特率可包括接收关于先前编码的视频序列的输出比特率的历史变化的输入。优选地，先前编码的视频序列与输出比特率要被控制的视频序列捕获相同的场景。然而，也可以使用从捕获另一个场景(优选类似的场景)的先前编码的视频序列中获取的通用数据。通用历史数据可更易于获取，但是对于确定第一容许比特率可能是不太可靠的输入。

相比于简单的比特率平均值被用作第一容许比特率，在历史比特率变化的帮助下，能够更动态地并且主动地控制输出比特率。如果知道在一天的特定小时或一周中的特定几天期间通常存在很少活动，则可以将更多的比特分配到预期活动的时间，并且可以将更少的比特花费在静态场景的图像上。对输出比特数的检查以与上面讨论的本质上相同的方式进行。因此，在第一时间间隔之后，检查在第一时间长度期间输出了多少比特。以与简单的平均比特率相同的方式，使用时间的滑动窗口。如果在第一时间长度期间输出的比特数高于历史预期的比特数达第三裕度，则比特率控制器指示视频编码器增大压缩参数，使得输出比特率降低。以这种方式，可以遵守长期比特预算。相反，如果在第一时间长度期间输出的比特数低于历史预期的数量达第四裕度，则比特率控制器指示视频编码器减小压缩参数，使得输出比特率增加。因此，可以在长期比特预算之内提高图像质量。这里要注意的是，第三裕度和第四裕度达到与上述提到的第一裕度和第二裕度相同的目的。

有时，用户能够进行输入来确定第一容许比特率是有用的。一种这样的情况是当可用存储容量改变时。例如，一组磁盘驱动器中的一个磁盘驱动器可能已经损坏，使得可用存储容量减少，或者已经得到新的更大的磁盘驱动器，使得可用存储容量增加。比特率控制器可被配置为接收这样的用户输入。比特率控制器也可被配置为接收关于预期比特率影响事件的输入。例如，狂欢节可能会被计划，这可预期引起增加的比特率。为了考虑这样的事件，视频编码器可被控制以在准备即将到来的事件的一段时间内减少输出比特率，使得比特可被节省以在事件期间使用。类似地，使得有必要增加所存储的视频数据的保留时间的某事可能已经发生，使得第一容许比特率需要被降低以遵守长期比特预算。例如，这可能在犯罪发生时出现，并且视频数据必须存储更长的时间以供法庭使用。

结果可能是来自编码器的输出比特率以一周期振荡，该周期通常与对输出比特率的数量进行检查的时间长度对应。为了避免或至少减少这样的振荡，对一个以上的时间长度进行检查可能是有利的。例如，30天的第一时间长度以及15天的第二时间长度可被检查。通过使用不是彼此的倍数的时间长度(例如30天的第一时间长度和13天的第二时间长度)可以实现进一步减少振荡。

本发明的方法可借助于计算机程序执行。计算机程序可被存储在非暂时性计算机可读存储介质上，并且可包括当由具有处理能力的设备执行时适合执行方法的指令。

将意识到的是，本领域技术人员可以以许多方式修改上述实施例并且仍可利用上文中各实施例所显示的本发明的优势。上面作为示例，比特率控制器已经被描述为集成在摄像机或网络录像机中，但是比特率控制器也可以被布置为单独的单元并且可操作地连接到摄像机、摄像机系统或网络录像机。

此外，比特率控制器已经被描述为布置在摄像机或网络录像机中。在一些应用中，划分比特率控制器的功能是有益的，使得基于第二容许比特率的比特率控制在摄像机系统中的每个摄像机中或在摄像机系统中的每个摄像机处被执行，并且使得基于长期比特预算和第一容许比特率的比特率控制在网络录像机中或在网络录像机处被执行。

应当注意，虽然摄像机和网络录像机两者都被描述为包括比特率控制器，但是可以在摄像机或网络录像机中省略它。如果基于第一容许比特率和第二容许比特率在每个摄像机中本地执行比特率控制，则不需要在网络录像机中包含比特率控制器。类似地，如果在网络录像机中执行完整的比特率控制方法，则可不需要在摄像机中具有比特率控制器。类似地，如果单独的比特率控制器被使用，则摄像机和网络录像机两者都不需要包含比特率控制器。

由编码器编码的图像可以直接从捕捉摄像机接收，或者由编码器编码的图像可以在被传输到图像处理单元之前已经被更早地捕捉并且存储。因此，图像的直接来源可以是图像传感器或数据文件。

摄像机可以是任何类型的摄像机，诸如使用可见光的摄像机、使用NIR(近红外)辐射的摄像机、或热摄像机。

摄像机有利地是数字摄像机，但是相反摄像机可以是连接到数字化单元的模拟摄像机。

已经在监控摄像机的环境下描述了本发明，监控摄像机有时被称为监视摄像机，但是本发明也可有利地用于其他摄像机应用中。

网络录像机已经被描述为物理设备，但是相反它可以是云服务。

虽然摄像机系统已经被示出为包含网络录像机，但完全能够在没有网络录像机的情况下布置摄像机系统。在这样的系统中，存储可以在摄像机中本地发生和/或诸如在控制中心中远程地发生。

附图中所示和上面讨论的摄像机2包括本地存储器35。在一些摄像机系统中，本地存储器可以是唯一的存储器，并且在其他情况下，本地存储器可以用于备份和冗余，同时存储也发生在网络录像机中或发生在用户站中的存储设备上或用户站中的存储设备处。例如，服务器可被布置在控制中心中用于存储。在一些摄像机系统中，没有本地存储器包含在摄像机中，并且仅使用网络录像机或其他外部存储器。

视频的记录或存储可被连续执行，但是在许多情况下，仅在由事件(诸如视频运动检测或来自诸如PIR传感器的报警设备的输入)触发时存储视频是有利的。以这种方式，通过仅存储可能感兴趣的视频序列并且当场景中没有任何事情发生时不存储视频，可以节省存储容量。

编码图像帧可被连续传输到用户站，但是这也可以受事件触发的限制。在一些视频系统中，编码图像帧可被连续传输到控制中心，用于存储和/或由操作员立即观看，并且编码图像帧可以仅基于事件触发被附加地传输到移动设备，使得在场景中发生一些事情时用户可以被警报。

摄像机中的本地存储可用于所谓的容错记录。这意味着如果编码图像帧被正常且连续地从摄像机传输，则当到网络的连接丢失时可以开始本地存储。一旦网络连接恢复，存储在本地存储器中的视频数据可被传输到用户站，并且完整的视频序列可被恢复。

上面，编码器已经被描述为摄像机的一部分。然而，相反编码器可以是可操作地连接到摄像机的独立单元。

编码器可以根据采用运动估计和运动补偿的任何编码标准进行操作。编码器例如可以是基于块的混合编码器，诸如H.264、H.265或VP9编码器。

本发明的方法可以通过执行存储在计算机可读非暂时性存储介质上的指令来执行。指令可被具有处理能力的任何设备(诸如中央处理单元(CPU)、图形处理单元(GPU)、在集成电路中实现的定制处理设备、ASIC、FPGA或包括分立组件的逻辑电路)执行。

已经在确保视频数据的期望保留时间的环境下描述了本发明。然而，本发明也可用于其他方面。例如，方法和比特率控制器可用于控制传输中的移位，以便把来自系统中的若干摄像机的比特率中的峰值分开，其中摄像机具有用于传输编码图像帧的有限的带宽。在这样的情况下，“长期”比特预算可被设置为例如一小时，与可用带宽乘以一小时对应，并且不同的摄像机可被控制，使得在其他摄像机传输的同时不同的摄像机中的一些摄像机等待，从而在不同的摄像机之间共享可用“长期”比特预算。

虽然上面已经描述了不同的实施例和变型，但是不同的实施例和变型不应被视为孤立的，而是不同的实施例和变型的特征可以自由组合。

由此，本发明不应限于所示出的实施例，而是应该由随附权利要求书限定。

Claims (15)

1.一种控制视频编码器的输出比特率的方法，所述视频编码器对视频序列进行编码，所述方法包括：

为所述视频编码器的输出设置至少一天的时间段的长期比特预算；

基于所述长期比特预算确定第一容许比特率，其中，确定所述第一容许比特率包括：通过将所述长期比特预算除以所述时间段来计算平均比特率；

确定用于所述视频编码器的输出的瞬时比特限制；

基于所述瞬时比特限制确定第二容许比特率，其中，所述第二容许比特率等于或小于所述瞬时比特限制；并且

基于所述第一容许比特率和所述第二容许比特率来控制输出比特率，使得遵守所述长期比特预算、所述第一容许比特率和所述第二容许比特率。

2.根据权利要求1所述的方法，其中基于所述第一容许比特率和所述第二容许比特率控制输出比特率包括：

在第一时间间隔之后，检查在第一时间长度期间输出多少比特，并且

响应于在所述第一时间长度期间的输出比特数高于所述第一容许比特率达第一裕度，增大所述编码器的压缩参数，使得输出比特率降低，以遵守所述长期比特预算。

3.根据权利要求1所述的方法，其中基于所述第一容许比特率和所述第二容许比特率控制输出比特率包括：

在第一时间间隔之后，检查在第一时间长度期间输出多少比特，并且

响应于所述第一时间长度期间的输出比特数低于所述第一容许比特率达第二裕度，减小所述编码器的压缩参数，使得输出比特率增加，以在所述长期比特预算之内提高图像质量。

4.根据权利要求1所述的方法，其中，确定所述第一容许比特率包括：

接收关于先前编码的视频序列的输出比特率的历史变化的输入。

5.根据权利要求4所述的方法，其中，所述先前编码的视频序列与输出比特率被控制的所述视频序列捕获相同的场景。

6.根据权利要求4所述的方法，其中基于所述第一容许比特率和所述第二容许比特率控制输出比特率包括：

在第一时间间隔之后，检查在第一时间长度期间输出多少比特，并且

响应于在所述第一时间长度期间的输出比特数高于历史预期的比特数达第三裕度，增大所述编码器的压缩参数，使得输出比特率降低，以遵守所述长期比特预算。

7.根据权利要求4所述的方法，其中基于所述第一容许比特率和所述第二容许比特率控制输出比特率包括：

在第一时间间隔之后，检查在第一时间长度期间输出多少比特，并且

响应于所述第一时间长度期间的输出比特数低于历史预期的比特数达第四裕度，减小所述编码器的压缩参数，使得输出比特率增加，以在所述长期比特预算之内提高图像质量。

8.根据权利要求1所述的方法，其中，确定所述第二容许比特率包括：

接收关于网络的可用带宽的输入，所述编码器连接到所述网络以传输所编码的视频序列。

9.根据权利要求1所述的方法，其中，基于所述第一容许比特率和所述第二容许比特率来控制输出比特率包括：

将输出比特率限制为低于或等于所述第二容许比特率。

10.根据权利要求1所述的方法，进一步包括：接收关于所述第一容许比特率的输入，

其中，接收关于所述第一容许比特率的输入包括：

接收关于预期比特率影响事件的输入。

11.根据权利要求1所述的方法，进一步包括：接收关于所述第一容许比特率的输入，

其中，接收关于所述第一容许比特率的输入包括：

接收用户输入。

12.一种用于控制视频编码器的输出比特率的比特率控制器，所述视频编码器对视频序列进行编码，所述比特率控制器包括：

预算设置器，被配置为为所述视频编码器的输出设置至少一天的时间段的长期比特预算；

比特限制确定器，被配置为确定用于所述视频编码器的输出的瞬时比特限制；

比特率确定器，被配置为基于所述长期比特预算确定第一容许比特率，并且基于所述瞬时比特限制确定第二容许比特率，其中，确定所述第一容许比特率包括：通过将所述长期比特预算除以所述时间段来计算平均比特率，并且所述第二容许比特率被设置为等于或小于所述瞬时比特限制；

比特率计算器，被配置为基于所述第一容许比特率和所述第二容许比特率来计算输出比特率；以及

控制输出端，被配置为将所计算的输出比特率输出到所述视频编码器。

13.一种非暂时性计算机可读介质，具有存储在其上的用于控制视频编码器的输出比特率的指令，所述视频编码器对视频序列进行编码，计算设备执行所述指令使得所述计算设备执行操作，所述操作包括：

为所述视频编码器的输出设置至少一天的时间段的长期比特预算；

基于所述长期比特预算确定第一容许比特率，其中，确定所述第一容许比特率包括：通过将所述长期比特预算除以所述时间段来计算平均比特率；

确定用于所述视频编码器的输出的瞬时比特限制；

基于所述瞬时比特限制确定第二容许比特率，其中，所述第二容许比特率被设置为等于或小于所述瞬时比特限制；并且

基于所述第一容许比特率和所述第二容许比特率来控制输出比特率，使得遵守所述长期比特预算、所述第一容许比特率和所述第二容许比特率。

14.一种摄像机，包括：

图像传感器，被配置为捕获图像；

编码器，被配置为对所述图像进行编码；

比特率控制器，被配置为控制视频编码器的输出比特率，所述视频编码器对视频序列进行编码，所述比特率控制器包括：

预算设置器，被配置为为所述视频编码器的输出设置至少一天的时间段的长期比特预算；

比特限制确定器，被配置为确定用于所述视频编码器的输出的瞬时比特限制；

比特率确定器，被配置为基于所述长期比特预算确定第一容许比特率，并且基于所述瞬时比特限制确定第二容许比特率，其中，确定所述第一容许比特率包括：通过将所述长期比特预算除以所述时间段来计算平均比特率，并且所述第二容许比特率被设置为等于或小于所述瞬时比特限制；

比特率计算器，被配置为基于所述第一容许比特率和所述第二容许比特率来计算输出比特率；以及

控制输出端，被配置为将所计算的输出比特率输出到所述视频编码器。

15.一种网络录像机，包括：

比特率控制器，被配置为控制视频编码器的输出比特率，所述视频编码器对视频序列进行编码，所述比特率控制器包括：

预算设置器，被配置为为所述视频编码器的输出设置至少一天的时间段的长期比特预算；

比特限制确定器，被配置为确定用于所述视频编码器的输出的瞬时比特限制；

比特率确定器，被配置为基于所述长期比特预算确定第一容许比特率，并且基于所述瞬时比特限制确定第二容许比特率，其中，确定所述第一容许比特率包括：通过将所述长期比特预算除以所述时间段来计算平均比特率，并且所述第二容许比特率被设置为等于或小于所述瞬时比特限制；

比特率计算器，被配置为基于所述第一容许比特率和所述第二容许比特率来计算输出比特率；以及

控制输出端，被配置为将所计算的输出比特率输出到所述视频编码器。

Images