CN102318344A - 视频编码系统和方法 - Google Patents

Abstract

本发明涉及一种视频编码系统和方法，并且可以用于从服务器到客户终端的数据视频广播的领域。一种用于对视频序列的连续图像进行编码的视频编码系统(100)，包括：用于接收要编码的当前图像(F_n)的输入数据接收模块(101)，用于将当前图像(F_n)划分为宏块的装置(103)，用于估计运动矢量的模块(105)，以及运动补偿模块(106)。数据接收模块(101)进一步接收当前图像(F_n)的至少一个已移动的区域的真实运动矢量，该编码系统(100)包括：用于将所述真实运动矢量分配给属于所述已移动的区域的宏块的装置(104)；以及用于将真实运动矢量直接传送给所述补偿模块(106)而不需要由估计模块(105)针对属于已移动的区域的宏块对运动矢量进行任何估计的装置(118)。

Description

视频编码系统和方法

技术领域

本发明涉及一种视频编码系统。其目的还在于一种视频编码方法。本发明可以用于从服务器到客户终端的视频数据广播的领域。服务器(一般是计算机)通过网络(例如高清多媒体接口(HDMI)、WIFI或者以太网类型的网络)连接到客户终端(诸如视频解码器)。以这种方式，计算机屏幕可以由客户终端根据例如VNC(虚拟网络计算)协议之类的远程帧缓冲类型的协议显示在电视屏幕上。

背景技术

在这种体系结构中，服务器在向客户终端发送其广播的内容之前对该内容进行编码(即压缩)。如果服务器必须在自身的屏幕上显示其广播的图像，则图像的压缩将不是必需的。为执行压缩，服务器执行对其自身显示的捕获，对其进行编码，并且通过网络将其发送给客户终端。要显示的每个图像被存储在服务器的缓冲器(称为帧缓冲器)中并且一般地以RGB格式(“红绿蓝”)编码，RGB格式构成对图像进行编码的最直接的方式，三种方案对应于三原色红、绿和蓝。然后，将图像一般地变换为YUV格式(或亮度-色度)。第一方案，称为亮度方案(Y)，代表像素的发光强度。接下来的两种方案对应于色度(U，V)并携带颜色信息。主要存在两种YUV格式：

-格式4:2:0(又称为YUV12)，针对该格式，两种色度方案均是每四个像素一个采样，

-格式4:4:4，针对该格式，三种方案具有相同的尺寸(即每像素都存在色度采样)。

由服务器执行的编码是空-时类型的编码，诸如H264编码。H264标准是由VCEG(“视频编码专家组”)和MPEG(“运动图像专家组”)联合开发的视频编码标准。对于相同质量，这一标准使得可以用低于通过MPEG2标准获得的速度的1/2的速度来对视频流进行编码。空-时编码仅对要传送的图像的一部分整体地进行编码以便重构视频。H264标准包括在MPEG2标准中已知和定义的图像类型，即：

-I图像(内部的)，其编码不根据任何其他图像，

-P图像(预测的)，其编码根据先前接收的图像，

-B图像(双预测的)，其编码根据先前和/或随后接收的图像。

然而，这种编码解决方案的实现在涉及到将服务器显示实时转移到客户终端上时出现了诸多困难。

由此，这种编码模式在时间和计算装置方面的消耗非常大。为节约带宽，必须尽可能地压缩数据。这一重要的压缩在编码方面施加了很大的复杂度。由此，服务器必须不仅执行图像压缩而且执行若干计算以确定要编码的数据和地址。这一能量过度消耗使得运行在同一服务器上的其他应用的实现变得脆弱。

发明内容

在这一上下文中，本发明的目的是提供一种空-时视频编码系统，使得可以减小根据实时客户端-服务器协议的使用的编码负载，同时又在处理编码的服务器上留下足够的资源用于运行其他应用。

为此，本发明的目的是提供一种用于对视频序列的连续图像进行编码的视频编码系统，对至少一个当前图像的编码是针对所述视频序列的至少一个先前的和/或后续的图像而操作的，所述编码系统包括：

-用于接收要编码的所述当前图像的输入数据接收模块，

-用于将所述当前图像划分为宏块的装置，

-用于根据所述当前图像的宏块并根据所述至少一个先前的和/或后续的图像而估计运动矢量的模块，

-接收运动矢量并提供至少一个预测区域的运动补偿模块，

所述编码系统的特征在于所述数据接收模块进一步接收所述当前图像的至少一个已移动的区域的未估计的真实运动矢量，所述编码系统包括：

-用于将所述未估计的真实运动矢量分配给属于所述已移动的区域的宏块的装置；

-用于将所述未估计的真实运动矢量直接传送给所述补偿模块而不需要由所述估计模块针对属于所述已移动的区域的所述宏块对运动矢量进行任何估计的装置。

术语宏块是指具有包括在4x4和16x16像素之间(同时包括8x16、8x8像素，......)的尺寸的基本矩形图像区域。每个宏块本身包括亮度块和色度块。

空-时编码期间的运动估计是需要非常高的计算能力的操作。根据本发明的系统使得可以通过有利地使用已经存在的运动矢量的提供来避免一部分该估计。

由于本发明，与已经经历了位移的区域(通常是图像或帧内部的矩形)有关的运动矢量的提供使得可以不针对位于这种已移动的区域中的宏块计算运动矢量。在补偿模块的输入处直接引入真实运动矢量。

由此，与典型的空-时编码相比，特别地减小了编码负载。

有意思的是，该编码系统可以用于如下情况，即区域位移的发起在经由VNC协议连接到服务器的客户终端处执行，终端屏幕显示位移的呈现。由根据本发明的系统进行的编码在服务器处执行，并且已发生位移的区域的真实矢量由服务器图形环境的编程接口提供。

除减小的编码负载之外，应当意识到，由于本发明，因为至少部分地使用了真实而未估计的运动矢量，将会改善呈现。

通常，针对正经历位移的区域的这种真实运动矢量可以在如下应用的帧中获得，这些应用诸如：

-在浏览器类型的应用中水平或垂直地滚动已移动的区域；

-服务器操作系统的图形窗口发生位移；

-在幻灯片放映的情况下从一个幻灯片转移到另一个；

-flash或Silverlight类型的动画。

根据本发明的系统还可以具有下面的一个或多个特征，无论是个别地还是以任何技术上可能的组合来考虑：

-根据本发明的系统包括用于仅将不属于所述已移动的区域的宏块传送给所述用于估计运动矢量的模块的装置；

-用于得到当前图像与预测区域的像素之间的差异并且用于提供对应于该差异的残留误差的减法器；

-对由所述估计模块处理的每个宏块以及对所述残留误差应用频率变换的频率变换模块；

-用于量化来自所述频率变换模块的数据的模块；

-用于对来自所述量化模块的数据进行编码的熵编码器。

本发明的另一目的是一种用于对视频序列的连续图像进行编码的视频编码方法，对至少一个当前图像的编码是针对所述视频序列的至少一个先前的和/或后续的图像而操作的，所述方法包括步骤：

-接收要编码的所述当前图像以及所述当前图像的至少一个已移动的区域的未估计的真实运动矢量，

-将所述当前图像划分为宏块，

-将所述未估计的真实运动矢量分配给属于所述已移动的区域的宏块，

-根据所述当前图像的宏块以及所述至少一个先前的和/或后续的图像的宏块而估计运动矢量，所述估计仅从不属于所述已移动的区域的宏块进行，

将要编码的所述当前图像从服务器传送到客户终端，该编码在服务器处执行并且所述当前图像的至少一个已移动的区域的所述未估计的真实矢量由所述服务器的图形环境的编程接口提供。

根据本发明的方法还可以具有下面的一个或多个特征，无论是个别地还是根据所有技术上可能的组合来考虑：

-所述视频编码是空-时编码H264，

-所述服务器的屏幕由所述客户终端根据诸如虚拟网络计算(VNC)协议之类的远程帧缓冲(RFB)协议显示在屏幕上，

-在下列情况下确定所述已移动的区域的所述真实运动矢量：

●在浏览器类型的应用中水平或垂直地滚动已移动的区域；

●所述服务器的操作系统的图形窗口发生位移；

●在幻灯片放映的情况下从一个幻灯片转移到另一个；

●flash类型的动画。

-所述客户终端是视频解码器；

-所述当前图像和所述真实运动矢量初始地以RGB格式编码然后经历YUV格式变换，

-所述真实运动矢量是二维或三维矢量。

附图说明

参考附图1，根据下面仅仅通过说明性和非限制性示例而给出的以下描述，本发明的其他特征和优点将变得更加明显，附图1是用于实现根据本发明的编码方法的根据本发明的编码系统的简化的示意性图示。

具体实施方式

图1代表根据本发明的编码系统100。编码系统100包括：

-输入数据接收模块101，

-输入数据处理模块102，

-运动估计模块105(在下文中又称为运动矢量估计模块)，

-运动补偿模块106，

-减法器109和加法器110，

-频率变换模块112和逆频率变换模块115，

-量化模块113和逆量化模块114，

-滤波器116，

-缓冲器111，

-重排模块108，

-熵编码器120。

本发明可以用于从服务器到客户终端的视频数据广播的领域。服务器(一般是计算机)通过网络(例如高清多媒体接口(HDMI)、WIFI或者以太网类型的网络)连接到客户终端(例如视频解码器)。因此，计算机屏幕可以由客户终端根据例如虚拟网络计算VNC协议之类的远程帧缓冲类型的协议显示在电视屏幕上。服务器在向客户终端发送其广播的内容之前对该内容进行编码。由服务器执行的编码是空-时类型的编码，诸如H264编码：由此，是服务器包含了根据本发明的编码系统100。

向接收模块101输入预测图像F_n。F_n整体上对应于服务器屏幕的当前图像。应当注意，本发明仅涉及预测图像的编码，图像的内部预测编码根据已知技术进行。由此，为了附图的清楚性，已经主动省略了内部预测编码所需的装置。

F_n图像在已经经历RGB-YUV变换之后一般是YUV12格式。

还向接收模块101输入与F_n图像中的已经经过位移的区域(在下文中也称为已移动的区域)有关的信息。已移动的区域是一般地由四元组(x，y，l，h)代表的矩形区域：x和y分别代表该区域左上角的点的横坐标和纵坐标，l代表该矩形的宽度并且h是其高度。由服务器接收到的关于每个已移动的区域的信息包括该已移动的区域的真实运动矢量m＝(mx，my)^T，mx和my是真实运动矢量的水平和垂直分量并且T指定了移位算子。通常，该真实矢量可以由服务器经由其图形环境的编程接口获得，该编程接口又称为运行在服务器上并且由客户终端或服务器的操作系统(例如Windows^TM)使用的软件应用的API(应用编程接口)或GUI(图形用户接口)。

该真实运动矢量对于软件应用来说是已知的，因为软件应用是作为终端用户经由客户终端进行的事件(通常是由鼠标点击或键盘敲击引起的事件)的结果、在区域的位移的发起之后出现的。

然而，为了使该矢量的标度以像素数目来对其进行计算，可能有必要到达更低软件层的API。由此，系统100将优选地依赖操作系统(Windows^TM)层来恢复真实矢量以便实现该编码软件加速器，而不论将从中受益的应用如何。通过示例的方式，可以调用windows.scrollby(x-coord，y-coord)类型的DOM Windows的JavaScript功能；其将在客户终端上按下“向下的箭头”键时被调用；该功能能够提供运动矢量的模块：

$\left|m\right|=\sqrt{({\mathrm{mx}}^2+{\mathrm{my}}^2)},$ 矢量方向是垂直向下的。

矩形的尺寸还可以通过windows.innerHeight类型和windows.innerWidth类型的函数来获得。

在任何情况下，服务器可以获得表征由用户经由客户终端移动的区域的真实运动矢量的值。

通常，针对正经历位移的区域的这种真实运动矢量可以在如下应用的帧中获得，这些应用诸如：

-在浏览器类型的应用中水平或垂直地滚动已移动的区域；

-服务器操作系统的图形窗口发生位移；

-在幻灯片放映的情况下从一个幻灯片转移到另一个；

-flash或Silverlight类型的动画。

还将以RGB格式编码的运动矢量m＝(mw，my)^T变换为YUV 12格式。

输入数据处理模块102包括：

-用于将当前图像F_n划分为宏块的装置103，

-用于将真实运动矢量V分配给属于已移动的区域的宏块的装置104，

-用于将真实运动矢量直接传送给补偿模块106而不需要由估计模块105针对属于已移动的区域的宏块对运动矢量进行任何估计的装置118，

-用于仅将不属于已移动的区域的宏块传送给运动估计模块105的装置119。

由此，节省了针对由于其属于已移动的区域而已经被模块104分配了真实运动矢量的宏块的运动矢量计算的整个部分。

由此，由装置103将要编码的每个当前图像F_n划分为宏块，这些宏块对应于具有包括在4x4和16x16像素之间(包括8x16、8x8像素，......)的可变尺寸的基本矩形图像区域。

知道F_n图像的已移动的区域以及其真实运动矢量的装置104使得可以向属于已移动的区域的宏块分配相同的真实运动矢量。因此，装置119将仅把已移动的区域未触及的宏块朝向运动估计模块105引导，其他宏块的真实运动矢量经由装置118直接传送给运动补偿模块106。

运动估计模块105的功能是整体上在服务器屏幕的至少一个先前的图像F_n-1中找到当前图像F_n的宏块(在B图像以及甚至多个先前的和/或后续的图像的情况下，其还可以是后续的图像)。当找到先前图像的与宏块类似的一部分(例如根据最小二乘准则)时，从中推断对应于所选区域的位置与宏块的位置之间的差异的运动矢量。

朝向运动补偿模块106传送由估计模块保持的运动矢量(除由装置118传送的真实运动矢量之外)。由此，获得由于最后图像中的所保持的区域不完全等于被分析的宏块这一事实而产生的预测误差。在运动补偿模块106的输出处，获得预测图像P。

然后，减法器109计算F_n与预测图像P的像素之间的残留误差D_n。

经由频率变换模块112向已经经历了运动估计的每个宏块以及对残留误差D_n应用频率变换(离散余弦变换DCT类型或哈达马变换类型)。该变换使得可以具有经修改的区域的频率表示。

然后，由量化模块113量化来自频率变换模块112的数据(即，编码在有限数目的比特上)以提供经变换和量化的参数X。量化模块113的功能是根据特定分量是否将被判定为视觉上显著来限定不同的量化步骤；这些量化步骤是在量化步骤表中限定的。

逆量化模块114恢复经变换和量化的参数X，然后该参数X经过逆频率变换模块115，该逆频率变换模块115操作逆频率变换以恢复残留误差D_n的量化版本D_n′；然后由加法器110将该量化版本D_n′添加到预测区域P的宏块；然后由释放滤波器处理从加法器110输出的图像以提供对应于与经修改的区域具有相同位置、相同宽度和相同高度的一组重建区域的重建图像F′_n。F′_n由解码器100内部地用来估计编码的质量。

然后，由重排模块108对来自量化模块113的量化结果X进行重排以将非空系数归组到一起以便使得可以实现对具有空值的其他系数的高效表示。

然后，该数据经由熵编码器120经历熵编码压缩的最后一个阶段。熵编码器的功能是对数据进行不同的重新编码，以便通过尽可能接近地逼近理论上最少的比特(其由熵确定)来降低其编码所必需的比特数目。

熵编码器120以定义为使得可以在各种网络环境中使用相同视频语法的网络抽象层(NAL)格式构建输出流。

应当注意，上述装置和模块可以是软件或者由特定电子电路构成。

显然，本发明不限于刚刚描述的实施例。

特别地，本发明更特别地在H264编码的框架内描述但其可以用于任何类型的空-时编码：例如MPEG2或VC1编码(电影与电视工程师学会SMPTE的视频压缩标准)就是这种情况。

另外，应当注意，已经将运动矢量描述为二维矢量，但还可以使用三维运动矢量，例如在诸如Aero^TM(其是使得可以显示3D效果的Windows Vista^TM的图形接口)之类的图形接口的情况下即是如此。

最后，任何装置都可以用等同的装置替代。

Claims (10)

1.一种用于对视频序列的连续图像进行编码的视频编码系统(100)，对至少一个当前图像(F_n)的编码是针对所述视频序列的至少一个先前的和/或后续的图像(F_n-1)而操作的，所述编码系统(100)包括：

-用于接收要编码的所述当前图像(F_n)的输入数据接收模块(101)，

-用于将所述当前图像(F_n)划分为宏块的装置(103)，

-用于根据所述当前图像(F_n)的所述宏块并根据所述至少一个先前的和/或后续的图像(F_n-1)而估计运动矢量的模块(105)，

-接收运动矢量并提供至少一个预测区域(P)的运动补偿模块(106)，

所述编码系统(100)的特征在于所述数据接收模块(101)进一步接收所述当前图像(F_n)的至少一个已移动的区域的未估计的真实运动矢量，所述编码系统(100)包括：

-用于将所述未估计的真实运动矢量分配给属于所述已移动的区域的宏块的装置(104)；

-用于将所述未估计的真实运动矢量直接传送给所述补偿模块(106)而不需要由所述估计模块(105)针对属于所述已移动的区域的所述宏块对运动矢量进行任何估计的装置(118)。

2.根据前一权利要求的视频编码系统(100)，其特征在于其包括用于仅将不属于所述已移动的区域的宏块传送给所述用于估计运动矢量的模块(105)的装置(119)。

3.根据前述权利要求之一的视频编码系统(100)，其特征在于其包括：

-用于得到所述当前图像(F_n)与所述预测区域的像素之间的差异并且用于提供对应于该差异的残留误差(D_n)的减法器(109)，

-对由所述估计模块(105)处理的每个宏块以及对所述残留误差(D_n)应用频率变换的频率变换模块(112)，

-用于量化来自所述频率变换模块(112)的数据的模块(113)，

-用于对来自所述量化模块(113)的数据进行编码的熵编码器(120)。

4.一种用于对视频序列的连续图像进行编码的视频编码方法，对至少一个当前图像(F_n)的编码是针对所述视频序列的至少一个先前的和/或后续的图像(F_n-1)而操作的，所述方法包括步骤：

-接收要编码的所述当前图像(F_n)以及所述当前图像(F_n)的至少一个已移动的区域的未估计的真实运动矢量，

-将所述当前图像划分为宏块，

-将所述未估计的真实运动矢量分配给属于所述已移动的区域的宏块，

-根据所述当前图像的宏块以及所述至少一个先前的和/或后续的图像的宏块而估计运动矢量，所述估计仅从不属于所述已移动的区域的宏块进行，

将要编码的所述当前图像从服务器传送到客户终端，所述编码在所述服务器处执行并且所述当前图像的至少一个已移动的区域的所述未估计的真实矢量由所述服务器的图形环境的编程接口提供。

5.根据前一权利要求的方法，其特征在于所述服务器的屏幕由所述客户终端根据诸如虚拟网络计算(VNC)协议之类的远程帧缓冲(RFB)协议显示在屏幕上。

6.根据权利要求4或5之一的方法，其特征在于所述视频编码是空-时编码H264。

7.根据权利要求4到6之一的方法，其特征在于在下列情况下确定所述已移动的区域的所述真实运动矢量：

-在浏览器类型的应用中水平或垂直地滚动所述已移动的区域；

-所述服务器的操作系统的图形窗口发生位移；

-在幻灯片放映的情况下从一个幻灯片转移到另一个；

-flash类型的动画。

8.根据权利要求4到7之一的方法，其特征在于所述客户终端是视频解码器。

9.根据权利要求4到8之一的方法，其特征在于所述当前图像和所述真实运动矢量初始地以RGB格式编码然后经历YUV格式变换。

10.根据权利要求4到9之一的方法，其特征在于所述真实运动矢量是二维或三维矢量。