CN1659888A - 用于三维计算机图形压缩的系统和方法 - Google Patents

Abstract

提供一种用于三维计算机图形压缩的系统和方法。该系统和方法包括在一个图形流水线中根据用以建模对象的视频图形数据而产生对应于所述对象的顶点数据，对所述视频图形数据进行润色以产生象素数据的当前帧和象素数据的参考帧，基于所述顶点数据，定义所述参考帧内的一个搜索区，用于计算所述当前帧内一个象素数据块的运动矢量。然后使用所述运动矢量压缩当前帧。使用图形流水线中的顶点数据来定义搜索区极大地减少了产生运动矢量和执行数据压缩所必需的搜索量。

Description

用于三维计算机图形压缩的系统和方法

技术领域

本发明涉及一种用于压缩数据的系统和方法，特别是涉及一种用于压缩由计算机产生的图形数据的系统和方法。

背景技术

视频数据、特别是由计算机产生的视频图形数据(例如，用于计算机游戏的视频图形数据)的准备、存储和传输，需要大量的计算机资源和宽带网络连接。当在一组通过局域网或广域网例如国际互联网连接在一起的个体之间实时传输这些数据时，这种需求尤为严重。例如，当通过互联网玩视频游戏时就会发生这种传输。而且这种玩法正在变得越来越流行。

为了减少传输视频数据所需的网络容量和计算机资源的数量，已使用各种用于数据压缩的编码方案。这些数据压缩方案包括各种版本的MPEG(运动图像专家组)编码标准，例如MPEG-1、MPEG-2和MPEG-4及其它标准。这些数据压缩方案通过消除序列中冗余的和不重要的信息来减少传输和再现运动图像序列所需的图像信息量。

例如，在很多情况下在一个运动图像序列的两个相邻帧之间仅有的差别是某些象素块的轻微移动。大的象素块例如表现天空、墙壁以及其它静止对象的区域，通常在连续帧之间根本不会改变。压缩算法比如MPEG利用该临时冗余来减少为每个帧传输或存储的数据量。

例如，在MPEG标准中，定义了三种类型的帧，即内编码帧(I帧)，预测帧(P帧)和双向内插帧(B帧)。如附图1中所示，I帧为B帧和P帧的参考帧并且仅被进行适度地压缩。P帧参照前一个帧被编码。前一个帧既可以是I帧也可以是P帧。B帧参照前一个帧和后一个帧被编码。作为B帧的参考帧也可以是I帧或P帧。B帧不用作参考帧。

为了根据参考帧编码预测帧和内插帧，MPEG方式使用了各种运动估算算法。这些运动估算算法包括全搜索算法，分级搜索算法和伸缩式算法。如附图2中所示，在MPEG标准下，每一个帧典型地被分成多个16×16象素块，称为宏块。当前帧的一个宏块使用一个参考帧通过估算该当前帧中的宏块从参考帧中的块位置所移动的距离来进行编码。该运动估算算法通过对当前帧中的每一个宏块与参考帧的搜索区内的宏块进行比较以找到参考帧中的最匹配块来执行这种估算。例如，对于当前帧207中的宏块201，在参考帧209的搜索区203内、在当前帧的宏块201与参考帧的每一个宏块205之间进行比较以查找参考帧中的最匹配块。然后使用所述参考帧内最匹配的宏块的位置来计算当前帧的宏块201的运动矢量。不是为当前帧207传输与宏块201对应的所有视频数据，而是仅为该块传输运动矢量。用这种方法，当前块的视频数据被压缩了。

然而，执行运动估算算法也需要大量的计算机资源。由于当前帧的每个宏块必须与一个和多个参考帧的多个宏块进行比较，因此需要大量的计算。例如，三步搜索算法(TSS)(一种分级算法)估计在一个搜索区的中心位置和第八周边位置匹配。然后产生最小差别的位置成为下一个搜索区的中心以减少一半搜索区。该顺序重复三次。

因此，需要一种更为高效的用于压缩视频图形数据的有效方法，特别是考虑到能够通过互联网和其它网络实时进行视频游戏的系统的增长要求。

发明内容

数据压缩编码器，例如MPEG编码器，使用相同的压缩视频数据的方法而不管该视频数据的来源。因此，来自数码相机所记录的实况表演中的视频数据和由计算机产生的模拟视频数据都根据相同的数据压缩方式和运动估算算法进行压缩。然而，当视频数据是由计算机产生时，有关对象的特性和运动的信息先于数据的编码和压缩而被识别。与目前的数据压缩编码器不同，本发明利用此信息来减少执行数据压缩所必需的计算步骤。

一方面，本发明提供一种用于压缩视频数据的方法。该方法包括在一个图形流水线中根据用以建模对象的视频图形数据而产生对应于该对象的顶点数据。该方法还包括对视频图形数据进行润色以产生象素数据的当前帧和象素数据的参考帧。该方法还包括基于所述顶点数据，定义所述参考帧内的一个搜索区，用于计算当前帧中的一个象素数据块的运动矢量。

所述对象最好包括可移动对象，并且所述块最好包含可移动对象之一的至少一部分。该方法还最好包括基于与参考帧内的一个可移动对象相对应的顶点的视见区坐标来定义所述搜索区。该搜索区较适宜围绕参考帧内的所述可移动对象，并且其形状为矩形。该方法还较适宜包括基于运动矢量以MPEG格式来压缩当前帧。

所述方法还较适宜包括不依赖顶点数据而定义一个第二搜索区，用于计算当前帧中第二个象素数据块的运动矢量。所述第二个象素数据块不包含任何可移动对象。此外，该方法还较适宜包括在一个图形流水线中对视频图形数据执行几何变换，对照视见约束体来剪辑视频图形数据，将视频图形数据投影到投影平面上并且将所述视频图形数据转换成一个视见区。所述视频图形数据较适宜与视频游戏相关联，并且所述当前帧和参考帧都较适宜通过网络例如互联网进行传输。

另一方面，本发明提供一种用于压缩视频数据的系统，包括：第一处理器，适于在一个图形流水线中根据用以建模对象的视频图形数据产生与所述对象对应的顶点数据，并润色所述视频图形数据以产生象素数据的当前帧和象素数据的参考帧；第二处理器，适于基于所述顶点数据定义所述参考帧内的一个搜索区，用以计算所述当前帧内一个象素数据块的运动矢量。

附图说明

附图1是MPEG压缩方式的I帧，B帧和P帧的示意图。

附图2是根据参考帧来预测当前帧的运动估算算法的搜索步骤的示意图。

附图3是在产生视频图形数据时由计算机系统执行的图形流水线的步骤的示意图。

附图4是根据本发明的运动估算算法的搜索步骤的示意图。

附图5是根据本发明的用于编码视频图形数据的系统方框图。

具体实施方式

附图3是用于产生视频图形数据帧，诸如在视频游戏的计算机模拟过程中所显示的数据帧的图形流水线的示意图。该图形流水线的功能可以用硬件、软件或二者的任意组合来实现。例如，这些功能可以通过编程处理器比如微处理器、硬连接的数字电路、专用集成电路(ASIC)或其它数字电路或软件来执行。这些装置可以实现为一个或多个半导体芯片上的集成电路。所述软件可以存储在ROM、EPROM、EEPROM、磁盘、光盘或任何其它适合的存储介质中。所述硬件和软件可以作为游戏机、服务器计算机、台式计算机、手持式计算机、便携式计算机、机顶盒或其它计算设备的一部分。所述计算机系统可以是一个独立设备或连接到网络比如互联网。

附图3中所示的图形流水线包括图形数据的数据库(未示出)，所述图形数据用于在一个称为世界坐标系的笛卡尔坐标系(X，Y，Z)中建模可移动对象和静止对象。可移动对象包括全部或部分字符、车辆、抛射体和其它在计算机模拟时能够移动的对象。静止对象包括全部或部分地形、建筑物和其它在模拟时相对世界坐标系保持在一个固定位置的对象。该可移动的和静止对象的世界为图形流水线提供了从中实现计算机模拟的原始数据。所述建模包括使用一组基本的称为图元的积木式块来表示数据库中的每个对象。这些图元通常包括三角形、正方形和其它多边形。所述数据库包括对应于每个对象的图元的顶点的世界坐标和与每个顶点相关的信息比如明暗、阴影、色彩和纹理。

在基于数据库中的图形数据的计算机视频模拟期间，例如玩一个视频游戏，模拟的编程进展和用户的输入使得在世界坐标系内建模的可移动对象移动，并且使得用户看到的方向和离该对象的距离改变。为了在显示屏上将对象正确地显示给用户，执行图形流水线步骤的计算机系统，在功能块301，对所述对象执行实时几何变换。这些几何变换包括平移、缩放和旋转，而且在多数情况下可以通过乘以两个M矩阵来执行。

平移涉及给一个对象的每个顶点的x，y和z坐标增加一个值。结果，该对象在世界坐标系内被移动而不旋转。缩放涉及改变对象的尺寸而不改变它的位置或方向。对象的尺寸例如可以通过应用一个因子到所述对象的每个顶点以换算这些顶点与预定中心点之间的距离来加以改变。旋转则是围绕一个旋转轴转动该对象的每一个顶点而并不滑动该对象。

在功能块303，所述计算机系统相对一个视见约束体(viewingvolume)对经几何变换的图元进行剪辑。该视见约束体通常是一个六边形的平截面，其左边和右边了定义视图的水平域，顶边和底边定义了视图的垂直域，而其近边和远边则定义了最近的和最远的可视距离。没有在视见约束体内的对象或部分对象被删除。

在功能块305，所述计算机系统将视见约束体内的对象投影到一个二维的投影平面上。该投影平面垂直于观看者所看到的世界坐标系的方向，因此也被称为视平面。这一步骤涉及使用透视法或平行投影技术将该三维对象的每个顶点映射到二维投影平面上。例如，如果x’、y’、z’代表一个变换后的世界坐标系的坐标，其中z’垂直于投影平面，并且x’和y’在该投影平面内，则此步骤涉及对于对象的每一个顶点，以z’的值去除x’和y’的值。通过这样做，所述对象被平伸到投影平面上，使得远的对象看来较小而近的对象看来较大。

在功能块307，所述计算机系统将对象转换到视见区。该视见区是计算机屏幕、电视屏幕或其它用于观看计算机模拟的显示设备(未示出)的物理区域。这一转换涉及在投影平面的x’、y’坐标系与视见区的x”，y”坐标系之间对对象的最后缩放。

作为最后的事情，在功能块309，所述计算机系统执行对象的光栅化和润色以产生象素数据的视频帧。对象的光栅化和润色涉及定义落入每个对象的每个图元中的每条扫描线的第一和最后一个象素，定义这些第一和最后一个象素之间的象素，以及产生所有这些象素的明暗、色彩、阴影、纹理和混合信息。最终的象素数据存储在一个帧缓冲器中(未示出)以供在显示屏上显示视频帧时使用。该最终的象素数据也可以被压缩并存储或通过网络传输给其他的计算机系统进行显示。

作为在附图3的图形流水线中执行的步骤的结果，对应于三维世界坐标系中的每个对象的图元的每个顶点x、y、z被变换成显示屏的二维坐标系的顶点x”、y”，而且与这些图元对应的象素被光栅化和润色。

在图4中示出了本发明用于压缩和传输被光栅化和润色的象素数据的一个实施例。当前帧413和参考帧415是来自计算机模拟的象素数据的两个帧。根据一种数据压缩方式例如MPEG标准将当前帧413基于参考帧415进行压缩。当前帧413和参考帧415内的象素位置通过视见区的x”、y”坐标而被识别。如附图4所示，可移动对象401位于宏块405、407、409和411内当前帧413的右下部。另一方面，在参考帧415中，可移动对象401位于所述帧的左上部。因此，在产生参考帧415和当前帧413之间的时间周期内，作为模拟的结果，对象401从视见区的左上部移动到视见区的右下部。因而，宏块405、407、409和411中的每一块都包含了对象401的一部分，并且在此期间也从视见区的左上部移动到视见区的右下部。

如果利用使用常规方法的运动估算算法来计算宏块405、407、409和41 1的运动矢量，则需要一个围绕当前帧413内这些块的位置的极大搜索区来确定参考帧415内最匹配的块的位置。在如此大的搜索区内执行这种运动估算算法将消耗大量的计算机资源。

然而，根据本发明，参考帧415内的可移动对象401的位置被识别并用作一个基准点，用于将块405、407、409和411的搜索区限制为一个围绕对象401的位置的非常小的区域。在润色当前帧413和参考帧415之前来自图形流水线的对象的图元的顶点数据被用于识别此位置。

如图4所示，对象401的顶点417、419、421和423的视见区坐标定义了包含对象401的参考帧415内的矩形区域425的外边界和顶点。顶点417定义了区域425的最大y”坐标，顶点419定义了区域425的最小x”坐标，顶点421定义了区域425的最小y”坐标，并且顶点423定义了区域425的最大x”坐标。因此，区域423的顶点的视见区坐标为(min x”，max y”)，(min x”，min y”)，(max x”，min y”)和(max x”，max y”)。

区域425的边界的均匀扩展定义了搜索区403。对于包含了所有或部分对象401的当前帧413的某些宏块，常规的运动估算算法被修改为限制搜索区为搜索区403。因此，对于宏块405、407、409和411，运动估算算法限制其搜索区为区域403。对于不包含可移动对象的当前帧413的宏块，运动估算算法使用围绕当前帧413内宏块的位置的常规搜索区来计算运动矢量。当前帧和参考帧内的可移动对象的身份和位置从与由图形流水线在象素数据的光栅化和润色之前产生的对象相对应的图元的顶点数据中获得。这些顶点数据包括所述对象图元的顶点的世界坐标、所述对象图元的顶点的投影平面坐标以及所述对象图元的顶点的视见区坐标。

图5中示出了根据本发明用于编码和压缩视频图形数据的系统的一个实施例的方框图。图形流水线的功能块301、303、305、307和309与结合图3所论述的是相同的，并且执行相同的功能。视频编码器513可以是MPEG-1编码器、MPEG-2编码器、MPEG-4编码器或其它利用临时冗余的任何数据压缩编码器。

运动估算器511从功能块309接收润色的象素数据的帧，从功能块307接收在这些帧内描绘的可移动对象的顶点的视见区坐标，并且从搜索区检测器509接收当前帧内一个搜索区的视见区坐标。运动估算器511使用该信息来计算每个当前帧的宏块相对于参考帧的运动矢量，并将这些运动矢量传输至视频编码器513，以供压缩当前视频帧时使用。运动估算器511执行一种以如下论述的方式修改的运动估算算法来计算这些运动矢量，例如全搜索算法、分级搜索算法或伸缩式算法。视频编码器513从功能块309接收这些运动矢量和润色的视频帧，并产生压缩后的视频数据的比特流，以通过诸如局域网或广域网例如互联网或其他传输网络进行传输。

运动估算器511检查将要压缩的当前帧的每一个宏块和来自功能块307的可移动对象的顶点的视见区坐标。如果顶点数据指示一个移动对象整体或部分描绘在一个宏块内，则基于来自搜索区检测器509的信息，定义位于该宏块的当前帧内的搜索区。另一方面，如果来自功能块307的顶点数据指示没有移动对象描绘在所述宏块内，则运动估算器511基于常规的方法，将参考帧内的搜索区定义为围绕当前帧内的宏块的位置的一个区域。

搜索区检测器509分别从功能块301、功能块305和功能块307接收在用于产生视频模拟的图形数据的数据库内建模的所有对象的顶点的变换后的三维世界坐标、这些对象的二维投影平面坐标和这些对象的二维视见区坐标。使用这些数据，搜索区检测器509如上所述产生一个围绕每个可移动对象的适当搜索区的顶点的视见区坐标。

搜索区检测器509、运动估算器511和视频编码器513可以用硬件、软件或两者的任意组合来实现。例如，搜索区检测器509、运动估算器511和视频编码器513可以通过编程处理器比如微处理器、硬连接数字电路、专用集成电路(ASIC)或其它数字电路或软件来实现。这些装置可以作为一个或多个半导体芯片上的集成电路来实现。所述软件可以存储在ROM、EPROM、EEPROM、磁盘、光盘或任何其它适合的存储介质中。所述硬件和软件可以作为游戏机、服务器计算机、台式计算机、手持式计算机、便携式计算机、机顶盒或其它计算设备的一部分。所述计算机系统可以是一个独立设备或连接到网络比如互联网。

上述优选实施例包括在本发明的精神和范围之内的各种变化和组合。因此，该优选实施例的描述应当理解为对本发明的举例说明而不是限制。本发明的范围通过下面的权利要求书来说明。

Claims (59)

1.一种用于压缩视频数据的方法，包括：

在一个图形流水线中，根据用以建模对象的视频图形数据产生对应于所述对象的顶点数据；

对所述视频图形数据进行润色以产生象素数据的当前帧和象素数据的参考帧；

基于所述顶点数据，定义所述参考帧内的一个搜索区，用以计算所述当前帧内一个象素数据块的运动矢量。

2.如权利要求1所述的方法，其中所述对象包括可移动对象。

3.如权利要求2所述的方法，其中所述块包含所述可移动对象之一的至少一部分。

4.如权利要求3所述的方法，进一步包括基于与所述参考帧内的所述可移动对象相对应的顶点的视见区坐标来定义所述搜索区。

5.如权利要求3所述的方法，其中所述搜索区围绕所述参考帧内的所述一个可移动对象。

6.如权利要求5所述的方法，其中所述搜索区形状为矩形。

7.如权利要求1所述的方法，进一步包括基于所述运动矢量压缩所述当前帧。

8.如权利要求7所述的方法，其中所述压缩包括根据MPEG格式来压缩所述当前帧。

9.如权利要求2所述的方法，进一步包括不依赖所述顶点数据地定义一个第二搜索区，用于计算所述当前帧内的第二象素数据块的运动矢量，所述第二象素数据块不包含任何所述可移动对象。

10.如权利要求1所述的方法，其中在所述图形流水线中进一步包括对所述视频图形数据执行几何变换，相对于视见约束体来剪辑所述视频图形数据，将所述视频图形数据投影到一个投影平面上，并且将所述视频图形数据转换成一个视见区。

11.如权利要求1所述的方法，其中所述视频图形数据与视频游戏相关联。

12.如权利要求1所述的方法，进一步包括通过网络传输所述当前帧和所述参考帧。

13.如权利要求12所述的方法，其中所述网络包括互联网。

14.一种用于压缩视频数据的系统，包括：

用于在一个图形流水线中根据用以建模对象的视频图形数据而产生与所述对象对应的顶点数据的装置；

用于润色所述视频图形数据以产生象素数据的当前帧和象素数据的参考帧的装置；

基于所述顶点数据，用于定义所述参考帧内的一个搜索区以计算所述当前帧内一个象素数据块的运动矢量的装置。

15.如权利要求14所述的系统，其中所述对象包括可移动对象。

16.如权利要求15所述的系统，其中所述块包含所述可移动对象之一的至少一部分。

17.如权利要求16所述的系统，进一步包括用于基于与所述参考帧内的所述可移动对象相对应的顶点的视见区坐标来定义所述搜索区的装置。

18.如权利要求16所述的系统，其中所述搜索区围绕所述参考帧内的所述一个可移动对象。

19.如权利要求18所述的系统，其中所述搜索区形状为矩形。

20.如权利要求14所述的系统，进一步包括用于基于所述运动矢量压缩所述当前帧的装置。

21.如权利要求20所述的系统，其中所述用于压缩的装置包括用于根据MPEG格式来压缩所述当前帧的装置。

22.如权利要求15所述的系统，进一步包括用于不依赖所述顶点数据地定义一个第二搜索区的装置，该第二搜索区用于计算所述当前帧内的第二象素数据块的运动矢量，所述第二象素数据块不包含任何所述的可移动对象。

23.如权利要求14所述的系统，其中，在所述图形流水线中进一步包括用于对所述视频图形数据执行几何变换的装置，用于相对于视见约束体来剪辑所述视频图形数据的装置，用于将所述视频图形数据投影到一个投影平面上的装置，以及用于将所述视频图形数据转换成一个视见区的装置。

24.如权利要求14所述的系统，其中所述视频图形数据与视频游戏相关联。

25.如权利要求14所述的系统，进一步包括用于通过网络传输所述当前帧和所述参考帧的装置。

26.如权利要求25所述的系统，其中所述网络包括互联网。

27.一种用于压缩视频数据的系统，包括：

第一处理器，适于在一个图形流水线中根据用以建模对象的视频图形数据产生与所述对象对应的顶点数据，并润色所述视频图形数据以产生象素数据的当前帧和象素数据的参考帧；

第二处理器，适于基于所述顶点数据定义所述参考帧内的一个搜索区，用以计算所述当前帧内一个象素数据块的运动矢量。

28.如权利要求27所述的系统，其中所述对象包括可移动对象。

29.如权利要求28所述的系统，其中所述块包含所述可移动对象之一的至少一部分。

30.如权利要求29所述的系统，其中所述第二处理器还适于基于与所述参考帧内的所述可移动对象相对应的顶点的视见区坐标来定义所述搜索区。

31.如权利要求29所述的系统，其中所述搜索区围绕所述参考帧内的所述一个可移动对象。

32.如权利要求31所述的系统，其中所述搜索区形状为矩形。

33.如权利要求27所述的系统，其中所述第二处理器还适于基于所述运动矢量压缩所述当前帧。

34.如权利要求33所述的系统，其中所述第二处理器还适于根据MPEG格式来压缩所述当前帧。

35.如权利要求28所述的系统，其中所述第二处理器还适于不依赖所述顶点数据地定义一个第二搜索区，该第二搜索区用于计算所述当前帧内的第二象素数据块的运动矢量，所述第二象素数据块不包含任何所述的可移动对象。

36.如权利要求27所述的系统，其中所述第一处理器还适于在所述图形流水线中对所述视频图形数据执行几何变换，相对于视见约束体来剪辑所述视频图形数据，将所述视频图形数据投影到一个投影平面上，以及将所述视频图形数据转换成一个视见区。

37.如权利要求27所述的系统，其中所述视频图形数据与视频游戏相关联。

38.如权利要求27所述的系统，其中所述第二处理器还适于通过网络传输所述当前帧和所述参考帧。

39.如权利要求38所述的系统，其中所述网络包括互联网。

40.如权利要求27所述的系统，其中所述第一处理器和所述第二处理器包括用于执行存储在一存储介质中的软件的编程处理器。

41.如权利要求27所述的系统，其中所述第一处理器和所述第二处理器包括专用集成电路。

42.如权利要求27所述的系统，其中所述第一处理器和所述第二处理器被插入到一个游戏机中。

43.如权利要求27所述的系统，其中所述第二处理器包括一个MPEG编码器。

44.如权利要求43所述的系统，其中所述第一处理器包括一个用以执行存储在一存储介质中的软件的编程处理器。

45.一种用于压缩视频数据的系统，包括：

一个处理器，适于从一个图形流水线接收与由所述图形流水线进行润色的对象相对应的象素数据的当前帧、象素数据的参考帧以及顶点数据，所述处理器还适于基于所述顶点数据，定义所述参考帧内的一个搜索区，以计算所述当前帧内一个象素数据块的运动矢量并基于所述运动矢量压缩所述当前帧。

46.如权利要求45所述的系统，其中所述对象包括可移动对象。

47.如权利要求46所述的系统，其中所述块包含所述可移动对象之一的至少一部分。

48.如权利要求47所述的系统，其中所述处理器还适于基于与所述参考帧内的所述可移动对象相对应的顶点的视见区坐标来定义所述搜索区。

49.如权利要求47所述的系统，其中所述搜索区围绕所述参考帧内的所述一个可移动对象。

50.如权利要求49所述的系统，其中所述搜索区形状为矩形。

51.如权利要求45所述的系统，其中所述处理器还适于根据MPEG格式来压缩所述当前帧。

52.如权利要求46所述的系统，其中所述处理器还适于不依赖所述顶点数据地定义一个第二搜索区，该第二搜索区用于计算所述当前帧内的第二象素数据块的运动矢量，所述第二象素数据块不包含任何所述的可移动对象。

53.如权利要求45所述的系统，其中所述视频图形数据与视频游戏相关联。

54.如权利要求45所述的系统，其中所述处理器还适于通过网络传输所述当前帧和所述参考帧。

55.如权利要求54所述的系统，其中所述网络包括互联网。

56.如权利要求45所述的系统，其中所述处理器包括一个用以执行存储在一存储介质中的软件的编程处理器。

57.如权利要求45所述的系统，其中所述处理器包括一专用集成电路。

58.如权利要求45所述的系统，其中所述处理器被插入到一个游戏机中。

59.如权利要求45所述的系统，其中所述处理器包括一个MPEG编码器。

Images