CN102726042B - 视频处理系统和视频解码系统 - Google Patents

Abstract

描述了视频处理、编码以及解码系统。处理器接收表示由视频传感器所捕捉的图像序列的视频帧，且这些视频帧根据所需的视频编码标准来编码。视频分析处理器接收由视频编码器从图像序列中产生的视频分析元数据，并产生视频分析消息以发送至客户机设备，该客户机设备执行客户机侧视频分析处理。该视频分析元数据可包括直接来自模拟至数字前端的像素域视频分析信息，或当编码引擎正在执行压缩时直接来自该引擎的像素域视频分析信息。

Description

视频处理系统和视频解码系统

相关申请的交叉参照

本申请涉及同时提交的题为“VideoClassificationSystemsandMethods(视频分类系统和方法)”、“Rho-DomainMetrics”(Rho域度量)以及“SystemsAndMethodsforVideoContentAnalysis(用于视频内容分析的系统和方法)”的申请，以上申请通过引用明确地结合于此。

技术领域

本申请涉及视频分析系统和方法。

背景技术

在常规视频安全系统中，通常用于处理视频传输的通信能力很有限。因此，视频图像被照相机压缩并被传送到中心位置。在常规安全系统中，执行分析的能力被削弱了，因为远程设备无法产生常规的分析，其原因在于与用于产生局部运动矢量的分析相关联的计算成本很高并且读取当前的重构的帧和先前的参考帧所需的存储带宽非常高。大多数照相机不具有处理能力以执行这种分析，并且安全系统没有足够的图像带宽将原始视频帧发送到中心位置。

发明内容

根据本申请的一方面，公开了一种视频处理系统，包括：视频编码器，配置成：根据所需的视频编码标准将视频传感器所捕捉的图像序列编码成视频帧；以及在所述视频编码器正压缩所述图像序列的同时基于所述图像序列中的信息产生视频分析元数据；其中，所述视频处理系统将视频分析消息和所述视频分析元数据的一部分传输至客户机设备，其中所述视频分析消息可被用于客户机侧视频分析处理。

根据本申请的另一方面，公开了一种视频解码系统，包括：解码器，配置成从网络比特流中提取视频帧和一个或多个视频分析消息，其中所述视频分析消息包括像素域视频分析信息；以及一个或多个视频处理器，配置成基于所提取的视频帧和所述视频分析消息中的信息来产生与所述视频帧有关的视频分析元数据，其中，所述像素域视频分析信息是在视频编码器压缩所述图像序列以获得所述视频帧的同时由所述视频编码器产生的。

附图说明

图1示出了根据本发明的某些方面的视频安全监控分析架构的简化示例的示意性框图。

图2示出了根据本发明的某些方面的视频分析引擎的示例的示意性框图。

图3示出H.264标准定义的比特流语法的示例。

图4A是包括前景和背景对象的图像。

图4B是图4A的图像，已利用根据本发明的某些方面的技术将前景对象从该图像中提取出。

图5A和5B示出了根据本发明某些方面的虚拟线路计数的图像。

图6示出了本发明的某些实施例中所使用的处理系统的简化示意框图。

具体实施方式

现将参考附图具体描述本发明的实施例，所提供的实施例是作为示例性示例以使得本领域的普通技术人员能够实现本发明。尤其，以下附图和示例不旨在将本发明的范围限制在单个实施例，而通过交换一些或所有所描述的或示出的要素，其他实施例也是可能的。在方便时，将在所有附图中使用相同的附图标记来指示相同或类似的部件。当可以使用已知部件部分地或全部地实现这些实施例的某些要素时，仅描述对于本发明的理解所必须的此类已知部件的那些部分，并且省略此类已知部件的其他部分的详细描述以免混淆本发明。在本发明的说明书中，示出单一部件的实施例不应认为是限制性的；相反，本发明旨在涵盖包括多个相同部件的其它实施例，反之亦然，除非本文中另有明确说明。此外，申请人不希望说明书或权利要求中的任何术语被认为具有不寻常的或特殊的意义，除非另有明确说明。而且，本发明涵盖本文通过图示说明所涉及的部件的现在和未来的公知等同物。

本发明的某些实施例包括具有与本发明某些方面一致的架构的系统，所述系统可操作用于执行用于安全应用的视频分析。图1中示出了视频安全监控分析架构的简化示例。在该示例中，系统被划分为服务器10和客户机12组件。此处所使用的术语服务器和客户机包括执行可归属于服务器侧和客户机侧操作的功能类型的硬件和软件系统、装置和其他部件。应当理解，某些组件可设置在服务器10和客户机12的其中一侧或两侧上，而且至少一些客户机和服务器功能可按照需要被委托给诸如专用集成电路、序列发生器、定制逻辑设备之类的硬件部件，通常用于提高效率、可靠性、处理速度和安全性中的一个或多个。

在服务器侧10，视频传感器100可被配置为捕获表示包括视频数据的图像序列的信息，并将该信息传递给适合用于本发明实施例中的视频编码器模块102。此类视频编码器模块102的一个示例是来自IntersilTechwell公司的TW5864，该TW5864可适合于和/或被配置为产生视频分析元数据(“VAMD”)103。在某些实施例中，视频编码器102可通常被配置为产生压缩的视频比特流，这些比特流可符合工业标准和/或可根据专有的规范而生成。视频编码器102通常可配置为产生视频分析元数据。VAMD103可包括像素域视频分析信息，诸如在编码引擎执行压缩时从模拟－数字(“A/D”)前端和/或从该引擎直接获得的信息。VAMD103可包括块基本视频分析信息、级别信息，等等，块基本视频分析信息诸如宏块(“MB”)、16x16像素块，级别信息诸如运动向量、MB类型和/或非零系数的数量。

视频分析引擎(“VAE”)104可被配置为接收VAMD103并且基于应用需求而使用一个或多个视频分析算法来处理VAMD103。VAE104能够生成有用的视频分析结果，诸如背景模型、运动警报、虚拟线路检测、电子影像稳定参数，等等。图2中示出了VAE104的更具体的示例。视频分析结果可包括视频分析消息(“VAM”)，该视频分析消息可被分类为全局VAM类和局部VAM类。全局VAM包括可适用于一图片组的视频分析消息，诸如背景帧、前景对象分割描述符、摄像机参数、预定义的运动警报区域配位和索引、虚拟线路，等等。局部VAM可被定义为应用于特定单个视频帧的局部VAM，并且可包括当前帧的全局运动向量、当前帧的运动警报区域警报状态、虚拟线路的计数结果、对象跟踪参数、摄像机移动参数，等等。

在某些实施例中，编码器所生成的视频比特流、VAMD103和VAE所生成的VAM一起作为分层结构被打包到预定义包格式之后的网络比特流中。网络比特流可通过网络被发送到系统的客户端。网络比特流可被储存在本地和/或被储存在服务器上或远程存储设备中，以用于将来的回放和/或传播。

图3描述了H.264标准定义的比特流语法的示例，其中VAM和VAMD103可被打包到补充增强信息(“SEI”)网络抽象层(“NAL”)包单元中。在SPS、PPS和IDRNAL之后，全局VA(“GVA”)SEINAL可被插入到网络比特流中。GVANAL可包括用于相应图片组的全局视频分析消息、指向图片组中的第一局部VASEINAL位置的指针、以及指向下一个GVANAL的指针，且可包括GVA可适用的帧的持续时间的指示。在与VAM或VAMD103相关联的每个单个帧之后，在刚好该帧的有效载荷NAL之后插入局部VA(“LVA”)SEINAL。该LVA可包括局部VAM、VAMD103信息和指向具有LVASEINAL的下一帧的位置的指针。被打包到LVANAL中的VAMD103的量取决于网络带宽条件和用户VA要求的复杂程度。例如，如果足够的网络带宽可用，则可打包附加的VAMD103。VAMD103可由客户机侧的视频分析系统所使用，且可简化和/或最优化某些功能的性能。当网络带宽有限时，可发送较少的VAMD103以满足网络带宽限制。附图示出了用于H.264标准的比特流格式，但将理解的是，所涉及的原理可应用于其它视频标准实现方式。

根据本发明的某些方面，分层视频分析系统架构的诸多优点可包括便于和/或实现在多层上的视频分析的平衡划分。这些层可包括服务器和客户机层、像素域层以及运动域层。例如，诸如背景帧、分割对象描述符以及照相机参数之类的全局VA消息能在接收机侧实现针对许多高级视频智能应用的成本高效且复杂的视频分析。否则，就计算复杂度和分析准确度而言，VAM所实现的视频分析效率水平是困难的或不可能的。

在本发明的某些实施例中，客户机侧接收从服务器侧发送的网络比特流，并从该网络比特流中分离出视频压缩比特流、VAMD103以及VAM。然后可针对手边的应用酌情应用视频分析技术。例如，分析可包括背景提取、运动跟踪、对象检测等等，且该分析可基于速度需求、效率目标且基于VAM和VAMD103来选择。

在某些实施例中，VAMD103可包括任何视频编码中间数据，诸如MB类型、运动向量、非零系数(如遵照H.264标准)、量化参数、DC或AC信息、绝对值的运动估计度量和(“SAD”)等等。VAMD103可包括任何有用的信息，诸如在模拟至数字前端模块中产生的运动标记信息，此类模块例如可在以上所提及的TW58634设备中存在。VAMD通常在VAE104中处理，以产生更高级的视频智能信息，该更高级的视频智能信息可包括例如运动索引、背景提取、对象分割、运动检测、虚拟线检测、对象计数、运动跟踪以及速度估计。

根据本发明的某些方面，可从视频分析系统架构和嵌入于网络比特流中的分层视频分析信息中产生某些优点。

某些实施例在客户机侧提供显著提高的视频分析效率。在根据本发明的某些方面的视频分析系统的一个示例中，VAE104处理编码器反馈VAMD103，产生可嵌入网络比特流中的各种各样的有用视频分析信息。该嵌入式分层VAM给用户提供对感兴趣的视频分析消息的直接访问权，以及在有限的附加处理或无需附加处理的情况下使用VAM。在一个示例中，访问运动帧、通过虚拟线的对象数量、对象移动速度以及分类等等将不需要附加的处理。与对象跟踪有关的信息可通过与所标识对象的运动有关的附加有限处理来获得，而与电子图像稳定有关的信息可基于VAM的全局运动信息通过有关的附加有限处理来获得。相应地，客户机侧VA效率可被最优化，且性能可显著提高，从而能处理增多数量的通道。

某些实施例在客户机侧上实现高准确度的视频分析应用的操作。根据本发明的某些方面，客户机侧视频分析可利用服务器侧上产生的信息来执行。在比特流中未嵌入VAM的情况下，客户机侧视频分析处理将不得不依赖于从所解码的比特流中重构的视频。所解码的比特流典型地缺少原始视频内容的一些详细信息，这些详细信息可能在视频压缩过程中被丢弃或丢失。由此，仅在客户机侧上执行的视频分析不能维持在服务器侧可获得的准确度，其中VAMD是在服务器侧中从原始视频内容产生的。受限于客户机侧的分析准确度损失会呈现在对象的几何中心、对象分割，等等中。因此，从整个系统的角度看，嵌入的VAM实现高准确度的视频分析。

本发明的某些实施例实现快速视频索引、搜索和其它应用。具体而言，网络比特流中的嵌入的分层VAM在客户机侧实现快速视频索引、视频搜索、视频分类应用以及其它应用。例如，VAM的运动检测信息、对象索引、前景和背景划分、人类检测、人类行为分类信息能简化客户机侧和/或下游任务，这些任务例如包括客户机中的视频索引、分类和快速搜索。在没有VAM的情况下，客户机一般需要巨大的计算能力以处理视频数据并重构对包括以上列出的应用之类的各种应用所需的视频分析信息。将理解到，并未所有VAM都能从视频比特流中准确地重构，且某些应用在VAM不可用时无法执行，其示例包括人类行为分析应用。

本发明的某些实施例实现增强的服务器/客户机算法复杂度、计算能力的划分以及网络带宽的平衡。在某些实施例中，提供了一种视频分析系统架构，其中能基于网络带宽可用性、服务器和客户机计算能力以及视频分析的复杂度而在服务器与客户机侧之间划分视频分析。在一个示例中，响应于低网络带宽条件，系统能在由VAE处理之后在网络比特流中嵌入更为压缩的VAM。VAM可包括运动帧索引、对象索引等等。在从比特流提取VAM之后，客户机可利用VAM来辅助进一步的视频分析处理。当服务器侧上的计算能力有限时，VAMD可在由VAE的有限处理或在无需其处理的情况下被嵌入网络比特流中。例如，当服务器侧系统被具体化在数字视频记录器(“DVR”)或网络视频记录器(“NVR”)中时，服务器侧上的能力有限。某些实施例可使用客户机侧系统来处理嵌入的VAMD，并完成所需的视频分析功能系统。在一些实施例中，例如，当客户机侧需要同时监控/处理多个通道时，可将更多的视频分析功能划分和/或分配给服务器侧。因此，将理解的是，可针对各种各样的系统配置来实现平衡的视频分析系统。

示例

某些实施例提供电子图像稳定(“EIS”)能力220。EIS220广泛用于视频安全应用。参考之前所重构的参考帧或多个帧来处理当前所捕捉的视频帧，并产生用于当前帧的全局运动向量202，利用该全局运动向量来补偿客户机侧中重构的图像，以减少或消除图像不稳定或抖动。

在常规的像素域EIS算法中，获取当前和之前的参考帧，应用基于块或基于灰度直方图的匹配算法来获得局部运动向量，并处理这些局部运动向量以产生像素域全局运动向量。常规方法的缺点包括与用于产生局部运动向量的匹配算法相关联的高计算成本，以及获取当前所重构的帧和之前的参考帧二者所需的非常高的存储器带宽。

在本发明的某些实施例中，视频编码引擎可产生VAMD103，包括基于块的运动向量、MB类型等等，作为视频压缩处理的副产品。将VAMD103馈入VAE104中，VAE104可简单地处理VAMD103信息以产生全局运动向量202作为VAM。然后将VAM嵌入到网络比特流中，以通常在网络上发送至客户机侧。客户机处理器可解析网络比特流、提取每一帧的全局运动信息、并应用全局运动补偿以完成EIS220。

视频背景建模

本发明的某些实施例包括视频背景建模特征，该视频背景建模特征可构造或重构背景图像222，该背景图像222可提供用于各种各样的视频监控应用(包括运动检测、对象分割、冗余对象检测等等)的高度需要的信息。常规的像素域背景提取算法基于多帧共存像素值的统计模型而操作。例如，使用高斯模型来对N个连续帧的共存像素进行建模，并选择在数学上最有可能的像素值作为背景像素。如果将视频帧的高度表示为H、宽度为W且有连续N个帧来满足统计模型要求，则总共需要处理W*H*N个像素来产生背景帧。

在某些实施例中，使用基于MB的VAMD103来产生背景信息而非基于像素的背景信息。根据本发明的某些方面，从VAMD产生的信息容量通常仅仅是基于像素的信息的容量的1/256。在一个示例中，基于MB的运动向量和非零计数信息可被用于从前景移动对象中检测背景。图4A示出具有背景和前景对象的原始图像，且图4B示出通过处理VAMD103而提取的典型背景。

本发明的某些实施例提供用于运动检测200和虚拟线计数201的系统和方法。运动检测器200可用于自动检测进入感兴趣的预定义区域的包括人类、动物和/或车辆之类的对象的运动。虚拟线检测和计数模块201可检测跨越由用户配置所定义的不可见线的移动对象，并对跨越该线的对象数量进行计数，如图5所示。该虚拟线可基于图像中的实际线，且可以是由多边形、圆形、椭圆形或不规则的区域所限定的区域的轮廓。在一些实施例中，可将跨越一条或多条线的对象的数量记录为绝对数字和/或作为统计频率，且可产生警报以指示任何线跨越、跨越的阈值频率或绝对次数、和/或在预定时间内无跨越。在某些实施例中，可通过处理一个或多个基于MB的VAMD来实现运动检测200以及虚拟线和计数201。在VAM正被发送至客户机侧时，可将诸如运动警报和跨越虚拟线的对象计数之类的信息打包。通过利用简单的处理来提取VAM，能容易地实现运动索引、对象计数或类似的定制应用。将理解的是，可将配置信息以反馈的形式从客户机侧提供给服务器侧，利用打包的信息作为重置线、感兴趣的区域等等的基础。

本发明的某些实施例提供利用VAMD103在视频帧序列内的改进的对象跟踪。某些实施例可便于客户机侧对对象运动速度的测量，且可辅助确定移动方向。此外，VAMD103可提供与视频拼接221有关的有用信息。系统描述

现在参考图6，本发明的某些实施例采用一种处理系统，该处理系统包括被部署成执行前述某些步骤的至少一个计算系统60。计算系统60可以是市面上可购得的系统，该系统执行例如MicrosoftUNIX或其变体、Linux、实时操作系统的市面上可购得的操作系统和/或专有操作系统。可调整、配置和/或设计计算系统的架构以将其整合入处理系统中、嵌入到图象捕捉系统、通信设备和/或图形处理系统中的一个或多个中。在一个示例中，计算系统60包括总线602和/或用来在处理器之间通信的其他机制，不管这些处理器是与计算系统60集成的处理器(例如604、605)还是位于不同的、可能是物理上分离的计算系统60中的处理器。一般来说，处理器604和/或605包括CISC或RISC计算处理器和/或一个或多个数字信号处理器。在一些实施例中，处理器604和/或605可实现在定制设备中和/或作为可配置的定序器而被执行。设备驱动603可提供输出信号，该输出信号用来控制内部和外部部件并在处理器604、605之间通信。

计算系统60一般还包括存储器606，该存储器606可包括随机存取存储器(RAM)、静态存储器、高速缓冲存储器、闪存和能耦合至总线602的任何其他类型的存储设备中的一种或多种。存储器606可用来存储指令和数据，该指令和数据能使一个或多个处理器604、605执行所想要的过程。主存储器606可用于存储瞬态数据和/或临时数据，例如在由处理器604或605执行指令期间产生和/或使用的变量和中间信息。计算系统60一般还包括非易失性存储器，例如只读存储器(“ROM”)608、闪存、存储卡等；非易失性存储可连接至总线602，但也可等同地使用高速通用串行总线(USB)、火线或其它耦合至总线602的这类总线进行连接。非易失性存储器可用于存储配置以及其它信息，所述其它信息包括由处理器604和/或605执行的指令。非易失性存储器也可包括大容量存储设备610，例如磁盘、光盘、闪存盘，该大容量存储设备610可直接或间接地耦合至总线602并用来存储拟由处理器604和/或605执行的指令，以及其它信息。在一些实施例中，计算系统60可通信地耦合至诸如LCD平板显示器之类的显示系统612，包括触摸平板显示器、场致发光显示器、等离子体显示器、阴极射线管或其他能够配置和适配成接收信息并将信息显示给计算系统60的使用者的显示设备。一般来说，设备驱动603可包括显示驱动、图形适配器和/或维持显示的数字表示并将该数字表示转换成用于驱动显示系统612的信号的其它模块。显示系统612也可包括从由系统600提供的信号中生成显示的逻辑或软件。在此方面，显示器612可被提供作为远程终端或被提供在不同的计算系统60上的会话中。输入设备614一般在本地提供或通过远程系统提供，并一般提供用于字母数字输入以及光标控制616输入(例如鼠标、轨迹球等)。应当理解，可将输入和输出提供给诸如PDA、平板计算机之类的无线设备或具有适当配置以显示图像并提供用户输入的其它系统。

根据本发明的一个实施例，所描述的本发明的诸部分可通过计算系统60来实现。处理器604执行一个或多个序列的指令。例如，在已从诸如存储设备610之类的计算机可读介质接收指令之后，这些指令可存储在主存储器606内。包含在主存储器606中的指令序列的执行使处理器604执行根据本发明某些方面的处理步骤。在某些实施例中，可由嵌入式计算系统提供功能，这些嵌入式计算系统执行专用功能，其中这些嵌入式系统采用硬件和软件的定制组合来执行一组预定义的任务。因此，本发明的实施例不限于硬件电路和软件的任何具体组合。

术语“计算机可读介质”用来定义能够存储指令和其它数据、并尤其在所述指令由处理器604和/或605和/或处理系统的其它外围设备执行的情形下将这些指令和其他数据提供至处理器604和/或605的任何介质。这种介质可包括非易失性存储器、易失性存储器以及传输介质。非易失性存储器可具体化在诸如光盘或磁盘(包括DVD、CD-ROM和蓝光盘)之类的介质上。存储器可在本地提供并在实体上靠近处理器604、605，或通常通过使用网络连接来远程地提供。非易失性存储器可从计算系统604移除，如同那些能方便地使用包括USB等标准接口以连接于计算机或从计算机断开的蓝光、DVD或CD存储或存储卡或者记忆棒那样。因此，计算机可读介质可包括软盘、柔性盘、硬盘、磁带、任何其它磁性介质、CD-ROM、DVD、蓝光、任何其它光学介质、穿孔卡片、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH/EEPROM、任何其它存储器芯片或磁带盒、或者计算机可从中读取内容的任何其它介质。

传输介质可用来连接处理系统的组件和/或计算系统60的部件。此类介质可包括双绞线、同轴电缆、铜线和光纤。传输介质也可包括无线介质，诸如无线电、声波和光波。在特定无线电频率(RF)下，可使用光纤和红外(IR)数据通信。

各种形式的计算机可读介质可参与提供指令和数据以供处理器604和/或605执行。例如，最开始可从远端计算机的磁盘取回指令并在网络或调制解调器上将指令传输至计算系统60。这些指令可选地在执行前或执行期间存储在不同的存储或存储的不同部分中。

计算系统60可包括通信接口618，该通信接口618提供在网络720上的双向数据通信，该网络720可包括本地网络622、广域网或两者的某些组合。例如，综合业务数字网(ISDN)可与局域网(LAN)结合使用。在另一示例中，LAN可包括无线链路。网络链路620典型地通过一个或多个网络将数据通信提供至其它数据设备。例如，网络链路620可提供通过本地网络622至主计算机624或至例如因特网628之类的广域网的连接。本地网络622和因特网628两者均可使用携带数字数据流的电信号、电磁信号或光信号。

计算系统60可使用一个或多个网络来发送消息和数据，包括程序码和其它信息。在因特网示例中，服务器630可通过因特网628发送对应用程序的请求码，并可作为响应接收下载的应用，该下载的应用提供或增添如以上示例中描述的那些功能性模块。接收的代码可由处理器604和/或605来执行。

本发明某些方面的附加描述

对本发明的前述描述是说明性而非限定性的。例如，本领域内技术人员应当理解，本发明可通过上述功能和能力的各种组合来实现，并可包括比前述更少或更多的部件。下面阐述本发明的某些附加方面和特征，并且这些附加方面和特征可使用前面更详细描述的功能和部件来获得，如本领域内技术人员在受到本公开教导后所能理解的那样。

本发明的某些实施例提供视频处理系统和方法。这些实施例中的一些实施例包括配置成接收表示由视频传感器所捕捉的图像序列的视频帧。这些实施例中的一些实施例包括视频编码器，该视频编码器可操作用于根据所需的视频编码标准对视频帧进行编码。这些实施例中的一些实施例包括视频分析处理器，该视频分析处理器接收由视频编码器从图像序列所产生的视频分析元数据。在这些实施例中的一些实施例中，视频分析处理器可配置成产生视频分析消息以发送至客户机设备。在这些实施例中的一些实施例中，视频分析消息被用于客户机侧的视频分析处理。

在这些实施例中的一些实施例中，视频分析元数据包括像素域视频分析信息。在这些实施例中的一些实施例中，像素域视频分析信息包括直接从模拟至数字前端接收的信息。在这些实施例中的一些实施例中，像素域视频分析信息包括当编码引擎正在执行压缩时直接从该编码引擎所接收的信息。在这些实施例中的一些实施例中，视频分析消息包括与背景模型、运动警报、虚拟线检测和电子图像稳定参数中的一个或多个有关的信息。在这些实施例中的一些实施例中，视频分析消息包括与一组图像有关的视频分析消息，包括与背景帧、前景对象分割描述符、照相机参数、虚拟线以及预定义运动警报区域中的一个或多个有关的消息。

在这些实施例中的一些实施例中，视频分析消息包括与单个视频帧有关的视频分析消息，包括与全局运动向量、运动警报区域警报状态、虚拟线计数、对象跟踪参数以及照相机运动参数中的一个或多个有关的消息。在这些实施例中的一些实施例中，视频分析消息以分层结构网络比特流的形式被发送至客户机设备，该分层结构网络比特流包括编码器所产生的视频比特流、视频分析元数据的一部分。在这些实施例中的一些实施例中，视频分析消息和视频分析元数据的一部分以H.264比特流的补充增强信息网络抽象层包单元的形式而被发送。

本发明的某些实施例提供视频解码系统和方法。这些实施例中的一些实施例包括解码器，该解码器配置成从网络比特流中提取视频帧和一个或多个视频分析消息。在这些实施例中的一些实施例中，视频分析消息提供与视频帧的特性有关的信息。这些实施例中的一些实施例包括一个或多个视频处理器，该一个或多个视频处理器配置成基于视频帧的内容和视频分析消息来产生与该视频帧有关的视频分析元数据。

在这些实施例中的一些实施例中，视频分析元数据包括直接从模拟至数字前端所接收的像素域视频分析信息。在这些实施例中的一些实施例中，视频分析元数据包括当编码引擎正在执行压缩时直接从该编码引擎所接收的像素域视频分析信息。在这些实施例中的一些实施例中，视频分析消息包括与多个视频帧有关的视频分析消息，包括与背景帧、前景对象分割描述符、照相机参数、虚拟线以及预定义运动警报区域中的一个或多个有关的消息。在这些实施例中的一些实施例中，视频分析消息包括与单个视频帧有关的视频分析消息，包括与全局运动向量、运动警报区域警报状态、虚拟线计数、对象跟踪参数以及照相机运动参数中的一个或多个有关的消息。

在这些实施例中的一些实施例中，以H.264比特流的补充增强信息网络抽象层包单元的形式接收视频分析消息。在这些实施例中的一些实施例中，以H.264比特流的补充增强信息网络抽象层包单元的形式接收视频分析消息以及像素域视频分析信息的一部分。在这些实施例中的一些实施例中，一个或多个视频处理器被配置成产生全局运动向量。在这些实施例中的一些实施例中，一个或多个视频处理器基于视频分析消息提供电子图像稳定。在这些实施例中的一些实施例中，一个或多个视频处理器基于视频分析消息来提取多个视频帧的背景图像。在这些实施例中的一些实施例中，一个或多个视频处理器使用视频分析消息来监测多个视频帧中跨越虚拟线的对象。

尽管已参照特定示例性实施例对本发明进行了描述，然而本领域普通技术人员当然知道可对这些实施例作出各种修改和变化，而不被离本发明较宽的精神和范围。因此，说明书和附图应被认为是说明性而非限制性意义。

Claims (18)

1.一种视频处理系统，包括：

视频编码器，配置成：

根据所需的视频编码标准将视频传感器所捕捉的图像序列编码成视频帧；以及

在所述视频编码器正压缩所述图像序列的同时基于所述图像序列中的信息产生视频分析元数据；

其中，所述视频处理系统将视频分析消息和所述视频分析元数据的一部分传输至客户机设备，其中所述视频分析消息可被用于客户机侧视频分析处理。

2.如权利要求1所述的视频处理系统，其特征在于，所述视频分析元数据包括直接从模拟至数字前端接收到的像素域视频分析信息。

3.如权利要求1所述的视频处理系统，其特征在于，所述视频编码器包括编码引擎，并且其中，所述视频分析元数据包括直接从所述编码引擎接收到的且在所述编码引擎正在对所述图像序列执行压缩时所产生的像素域视频分析信息。

4.如权利要求3所述的视频处理系统，其特征在于，所述视频分析消息包括与背景模型、运动警报、虚拟线检测和电子图像稳定参数中的一个或多个有关的信息。

5.如权利要求2所述的视频处理系统，其特征在于，所述视频分析消息包括与一组图像有关的视频分析消息，并且包括与背景帧、前景对象分割描述符、照相机参数、虚拟线以及预定义运动警报区域中的一个或多个有关的消息。

6.如权利要求1所述的视频处理系统，其特征在于，所述视频分析消息包括与单个视频帧有关的视频分析消息，并且包括与全局运动向量、运动警报区域警报状态、虚拟线计数、对象跟踪参数以及照相机运动参数中的一个或多个有关的消息。

7.如权利要求1所述的视频处理系统，其特征在于，所述视频处理系统被配置成以分层结构网络比特流的形式将视频分析消息发送至客户机设备，所述分层结构网络比特流包括编码器所产生的视频比特流以及所述视频分析元数据的至少一部分。

8.如权利要求7所述的视频处理系统，其特征在于，所述视频分析消息和所述视频分析元数据的一部分是以H.264比特流的补充增强信息网络抽象层包单元的形式被发送的。

9.一种视频解码系统，包括：

解码器，配置成从网络比特流中提取视频帧和一个或多个视频分析消息，其中所述视频分析消息包括像素域视频分析信息；以及

一个或多个视频处理器，配置成基于所提取的视频帧和所述视频分析消息中的信息来产生与所述视频帧有关的视频分析元数据，

其中，所述像素域视频分析信息是在视频编码器压缩所述图像序列以获得所述视频帧的同时由所述视频编码器产生的。

10.如权利要求9所述的视频解码系统，其特征在于，所述视频分析元数据包括直接由模拟至数字前端所产生的像素域视频分析信息。

11.如权利要求9所述的视频解码系统，其特征在于，所述视频分析元数据包括在编码引擎对所述图像序列执行压缩时直接由所述编码引擎产生的像素域视频分析信息。

12.如权利要求11所述的视频解码系统，其特征在于，所述视频分析消息是以H.264比特流的补充增强信息网络抽象层包单元的形式被接收的且带有所述像素域视频分析信息的一部分。

13.如权利要求9所述的视频解码系统，其特征在于，一个或多个视频处理器基于所述视频分析消息中的信息来提取多个视频帧的背景图像。

14.如权利要求9所述的视频解码系统，其特征在于，一个或多个视频处理器使用所述视频分析消息中的信息来监测在多个视频帧中所观察到的跨越虚拟线的对象。

15.如权利要求9所述的视频解码系统，其特征在于，一个或多个视频处理器被配置成使用所述视频分析消息中的信息来产生全局运动向量。

16.如权利要求9所述的视频解码系统，其特征在于，一个或多个视频处理器基于所述视频分析消息中的信息来提供电子图像稳定。

17.如权利要求9所述的视频解码系统，其特征在于，所述视频分析消息包括与背景帧、前景对象分割描述符、照相机参数、虚拟线以及预定义运动警报区域中的一个或多个有关的信息。

18.如权利要求9所述的视频解码系统，其特征在于，所述视频分析消息包括与单个视频帧有关并且包括与全局运动向量、运动警报区域警报状态、虚拟线计数、对象跟踪参数以及照相机运动参数中的一个或多个有关的信息的视频分析消息。