CN100388315C - 对三维生成的景物中的旋转和法线编码的方法和系统 - Google Patents

Abstract

一种利用旋转和法线的紧致表达(200)对视频流编码的方法和系统(102)。该方法和系统(102)把旋转和法线(200)变换成归一化旋转和法线并且接着把归一化的版本投影到单位立方体(215)上。根据投影到哪个面上编码每个旋转和法线(200)。另外，可通过在单位立方体(215)上的移动可紧致地表达移动。

Description

对三维生成的景物中的旋转和法线编码的方法和系统

本申请和标题为“数据数组预测编码的方法和系统”的共同未决申请相关，后一申请的代理审查号为2167-0106-2，序列号为09/205,191，和本申请同一天提交，发明人也是Julien Signes和OliverOndet。该共同未决申请的内容收录为参考资料。

本发明涉及对计算机生成的图象的编码，更具体地涉及利用三维旋转和三维法线对三维景物的编码。

术语“计算机生成的图象”包含视频技术的延伸领域。原始上，该术语通常等同于简单的文本图象或者二维图象；然而，现在该术语包含任何类型的数字编码视频流。为了研究图象流的编码和译码所需要的技术成立了运动图象专家组(MPEG)。所产生的标准(现称为“MPEG-1”)已作为另二个MPEG标准，MPEG-2和MPEG-4，的基础。MPEG-4是一个“进展中”的标准并且构成本发明的基础。最终的委员会草案是ISO/IEC FCD 14496-1 MPEG-4系统和-2 MPEG-4Visual，收录这些最终的委员会草案作为参考资料。

该标准草案脱离基于单个流的视频模型并且聚焦于一系列一致行动的流。该标准的一部分是用于景物的二进制格式(也称为“BIFS”)。该格式能描述三维对象和它们的运动并且提供和这部分的视频流更多交互的能力。然而，该标准草案不直接提供支持补偿处理的拓扑相干量化模式。

已知在三维计算中使用带有四元的旋转表达，但未知用于本发明的环境下。一种已知的使用是以Cosmo取景器(viewer)中，其中内部使用四元在二个旋转间插值从而避免变成人工产物。

该标准的BIFS部分迄今尚无有效地计算、存储和译码旋转以及法线的能力。从而，本发明的一个目的是解决该缺陷。

本发明的另一个目的是提供一种计算机实现的方法和系统，用于更有效地对计算机生成的图象流中的旋转编码。

本发明的再一个目的是提供一种用于更有效地对计算机生成的图象流中的法线编码的计算机实现的方法和系统。

通过(1)用于编码旋转和法线的计算机实现的方法、(2)用于编码旋转和法线的系统和(3)用于编码旋转和法线的计算机程序产品中的一个或多个解决本发明的这些和其它目的。这样的系统可应用于存储改进以及游戏回放、虚拟现实环境和影片。另外，基于效率的改进，可以在比效率较低的编码流带宽更低的通信链路上回放依据本发明编码的视频流。

通过参照下述详细说明，尤其是在连带着各附图下，对本发明的更为完整的理解以及它的许多伴随优点将会相当清楚，附图是：

图1示意表示用来提供本发明的编码和/或译码服务的计算机；

图2示出由一个单位立方体包围的一个单位球，在该单位立方体上投射出各法线。

图3表示图2的单位立方体的展开以示出从原始点205移动到新的点205′；

图4表示图2的单位立方体上的点205′；以及

图5表示以前的编码和根据本发明的编码之间的差别。

现参照各附图，其中相似的参考数字指示数图中相同或对应的部分，图1示意表示用于对景物描述和/或动画中的旋转和/或法线编码和/或译码的计算机系统。计算机100实现本发明的方法，其中计算机机壳102容纳母板104，母板104含有CPU 106、存储器108(例如DRAM、ROM、EPROM、EEPROM、SRAM、SDRAM和闪速RAM)以及其它选用的专用逻辑部件(例如，各个ASIC)或可配置的逻辑部件(例如，GAL和可再编程FPGA)。计算机100还包括多个输入部件(例如键盘122和鼠标124)以及用于控制监视器120的显示卡110。另外，计算机系统100还包括利用适当的部件总线(例如，SCSI总线，增强型IDE总线或超DMA总线)连接的软盘机114、其它可移动介质部件(例如，光盘119、带、可移动磁光介质(未示出))和硬盘112或其它高密度固定介质部件。也和同一个部件总线连接或者和其它部件总线连接，计算机系统100还可包括读光盘机118、光盘读/写机单元(未示出)或者自动光盘机(未示出)。尽管光盘119示成是在CD盒式机中的，可把光盘119直接插入到CD-ROM机中，后者不需要盘盒。另外，打印机(未示出)还提供旋转和/或法线的编码和/或译码的打印列出。

如上面所述，本系统包括至少一种的计算机可读介质。计算机可读介质的例子包括光盘119、硬盘112、软盘、磁带、磁光盘、各种PROM(EPROM、EEPROM、闪速EPROM)、DRAM、SRAM、SDRAM等。本发明包括存储在任一计算机可读介质上的或者其组合上的软件，用于控制计算机100的硬件和使能计算机100与人类用户交互。这样的软件包括但不限于：部件驱动程序、操作系统和用户应用例如开发工具。这样的计算机可读介质还包括本发明的用于对景物描述和/或动画中的法线和/或旋转进行编码和/或译码的计算机程序产品。本发明的计算机代码机构/部件可以是任何解释的或可执行的代码机构，包括但不限于：脚本、解释程序、动态链接库、Java类和完整的可执行程序。

如图2中所示，本发明的方法基于把法线和旋转变换到包围单位球的“单位”立方体的量化处理。该处理使译码器能重构法线和旋转。可独立地进行后处理(例如，插值、模拟滤波和重构)。例如，初始由一个三维单位向量表示的法线200作为一个三维单位向量投影到三维单位球210上。(初始由一个三维单位向量(用于它的旋转轴)加上一个附加角表示的旋转变换成一个四元数-即，4D(四维)单位球上的一个4D单位向量。)

接着通过法线200和围绕的“单位”立方体215的一个面的相交量化法线200，这在“单位”立方体215的一个特定面(即，该例中为正y面)上产生一个点。然后可通过把该三维向量变换为(1)该点205的位置(+1，+2)、(2)点205位于的各轴上的方位(例如，对x轴为0，对y轴为1和对z轴为2)和(3)该单位向量的方向(例如，+1或-1)“压缩”该法线。(对于旋转可进行相同处理，但不必存储方向，因为位于单位球的相反方向的四元数代表相同的旋转。)图2示出对面上的每个成分使用3个比特。

一旦量化了法线200(或旋转)，可以利用立方体映象提供的拓朴相干性编码点205在视频流的各帧间的移动。在其最简单形式下，一个补偿向量描述点205的当前面上的移动。然而，点205也可在各帧间移动到不同的面上。在该情况下，量化处理中使用的面索引使得能计算新位置。

和图3相关地描述点205的移动。图3中展开了图2的立方体。在各左上角处适当标记每个面。根据vDelta＝[+6，-2]和Inverse＝+1，原始点205移动。图3在展开的立方体上示出原始点205如何移动变为新点205′。类似地，图4在图2的原始立方体上示出相同的移动和结果。可从图4中看出，方位从y轴(ori＝1)改变到z轴(ori＝2)，并且法线200′指向新位置。然而方向仍保持+1。有趣的是，从+y面翻转到它的相反的面(即，-y面)，可以通过利用方向比特倒转先前点的方向借助直接“跳转”该面而对该移动编码。从而，通过从相反的面上开始可以避免绕立方体的表面的远距离移动。

虽然提供一个关于帧间点的移动的一个例子，该方法可按下面说明那样广义化。每条法线对该立方体重新归一化为：

$v\left[0\right]=\frac{n_x}{\sqrt{{n_x}^2+{n_y}^2+{n_z}^2}},$ $v\left[1\right]=\frac{n_y}{\sqrt{{n_x}^2+{n_y}^2+{n_z}^2}},$ $v\left[2\right]=\frac{n_z}{\sqrt{{n_x}^2+{n_y}^2+{n_z}^2}}$

根据以下方程式写出旋转(轴

角α)：

$v\left[0\right]=\cos \left(\frac{\mathrm{\α}}{2}\right)$

法线和旋转简化成分量形式。简化后的分量数量用N定义，其中对于法线N＝2，而对于旋转N＝3。相应地，v的维数则为N+1。对于法线和旋转压缩和量化处理是相同的，并包括确定(1)方位、(2)方向和(3)每个法线或旋转的分量。单位向量v的方位k是索引i(其中i在O到N的范围内)，其分量具有最大绝对值(即，|v[i]|)。利用二比特编码该整数。找到k后，通过使用分量v[k]的符号确定单位向量v的方向dir(其中dir＝1或-1)。如上面所讨论，对于旋转不写出该值(由于四元数的性质)。

通过按如下把单位球上的方形 $\left\{v\right|0\≤\frac{v\left[i\right]}{v\left[k\right]}\≤1\}$ 映象成N维方形计算压缩向量的N个分量：

$v_c\left[i\right]=\frac{4}{\mathrm{\π}}{\tan }^{-1}\left(\frac{v[(i+k+1)\mathrm{mod}(N+1)}{v\left[k\right]}\right),i=0,...,N$

不同于反正切的其它函数是可能的。可以使用任何减少因立方体的各个面的平面性而造成的映象的变形的坐标变换函数。实质上，该函数应虚拟地弯曲该包封立方体的各个平面，从而给定的比特数对该基础球上的任何点几乎对应相同的量化误差。另外，尽管以a^＊tan^-1(b^＊c)为形式的其它函数是可能的(其中c＝v[(i+k+1)mod(N+1)]/v[k]，如上面那样)，这些形式的复杂性的增加会加大编码和译码时间。尽管一些诸如b＝0.7的值略微增加压缩，在速度是控制因素的情况下a和b设为1.0。

然而，整个量化处理是由用来表示编码法线或旋转的位数，即QuantNbBits，控制的。在编码时，若QuantNbBits＝0，则因为对于每个i vq[i]＝0，编码处理是无意义的，并且完全不必编码或写出各个值，即，各个值是利用零个位“虚拟地”编码的。在其它情况下，按如下用一个带符号的整数量化V_c的每个分量：

Vq[i]＝Round(γ_c[i]^＊2^{QuantNbBits-1})

其中Round()回送v_c[i]的整数部分。在计算各v_c分量后，把这些分量编码到面索引和该面上的一个位置中。面索引是按方位(2比特的不带符号的整数)编码的，并且只对法线还编码方向(1比特的不带符号的整数(例如，其中0用作为-1和1用作为1))。各分量本身接着根据：

2^{QuantNbBits-1}+vq[i].

在QuantNbBits上编码成不带符号或带符号的整数。即，按如下在一些位组中编码每条法线：

比特组＝1(方向)+2(方位)+2^＊QuantNbBits或者，更具体地当作为一个例子QuantNbBits＝3时，则：

比特组＝1(方向)+2(方位)+2^＊3(即，quantNbBits)＝9。对于旋转，去掉方向比特，并且要编码的比特组数量为：

比特组＝2(方位)+3^＊QuantNbBits

或者，更具体地作为一个例子为QuantNbBits＝3时，则：

比特组＝2(方位)+3^＊3(即，QuantNbBits)＝11

译码处理相反地进行，即利用相同数量的比特组译码面索引(包括方向和方位)。根据：

vq′[i]＝v_decoded-2^{QuantNbBits-1}

把各分量值本身译码回到带符号的值。

在把编码值变换回到译码值后，必须通过逆量化处理撤消量化处理。如上面所说明，若QuantNbBits为零，编码处理是无意义的并且实际上不写下任何比特，从而译码处理类似地是无意义的并且不读出任何比特，并把v_c[i]置为0。然而，当QuantNbBits非零时，按如下进行反量化处理：

${v_c}^{\′}\left[i\right]=\frac{{\mathrm{vq}}^{\′}\left[i\right]}{2^{\mathrm{QuantNbBits}-1}}$

在提取出方位k和方向dir后，可按如下进行反映射：

$v^{\&prime;}\left[k\right]=\mathrm{dir}\&CenterDot;\frac{1}{\sqrt{1+\underset{i=0}{\overset{i<N}{\mathrm{\&Sigma;}}}{\tan }^2\frac{\mathrm{\&pi;}\&CenterDot;{v_c}^{\&prime;}\left[i\right]}{4}}}$

$v^{\&prime;}\left[(i+k+1)\mathrm{mod}(N+1)\right]=\tan \left(\frac{\mathrm{\&pi;}\&CenterDot;{v_c}^{\&prime;}\left[i\right]}{4}\right).v^{\&prime;}\left[k\right],i=0,...,N$

若对象是旋转，可直接使用v′或者从一个四元数回演成旋转(轴

角α)：

$\mathrm{\&alpha;}=2\&CenterDot;{\cos }^{-1}\left(v^{\&prime;}\right[0\left]\right)$ $n_x=\frac{v^{\&prime;}\left[1\right]}{\sin (\mathrm{\&alpha;}/2)}$ $n_y=\frac{v^{\&prime;}\left[2\right]}{\sin (\mathrm{\&alpha;}/2)}$ $n_z=\frac{v^{\&prime;}\left[3\right]}{\sin (\mathrm{\&alpha;}/2)}$

若对象是法线，可把v′直接用作为译码后的法线的各个分量。

然而，编码和译码能力只是实现目的的手段。本发明的整个处理能有效地补偿运动。相应地，二个合理接近的量化值之间的差提供增加的补偿。尽管利用量化处理中定义的整数QuantNbBits完整地规定了补偿处理，为了编码由该处理输出的各个值，必须定义下述参数：

CompMin：一个定义压缩向量vDelta的最小约束的整数数组

CompNbBits：一个定义用于表达压缩向量的各分量的位数数量的整数

每个分量vDelta[i]通过CompMin[i]转换并且编码在CompNbBits上。这样，实际的编码值则为：vDelta[i]-CompMin[i]，并且该编码处理定义如何计算量化的法线或旋转vq1和vq2之间的补偿向量vDelta。

类似于量化处理中对面索引的编码，在补偿处理中，参数vq1和vq2通过各自的方位和方向定义，对于vq1和vq2方位和方向分别称为(1)ori1和dir1和(2)ori2和dir2。ori1、dir1、ori2、dir2都是整数。另外，vq1和vq2都包括存储在对应的数组vq1[]和vq2[]中的各自的量化整数分量数组。

根据vq1和vq2，把补偿向量vDelta的方向计算为-1或1(而对旋转省略该值)，并称之为整数倒数。接着计算一组补偿分量并存储在整数数组vDelta[]中。vDelta中的值是根据下面说明的方法得到的。

令减少后的分量的数量为N，其中对于法线N＝2而对于旋转N＝3。初始变量inv＝1。接着按如下计算vq1和vq2之间的差方位dOri和差方向dDir：

dOri＝(ori2-ori1)mod(N+1)

dDir＝dir1^＊dir2

scale＝max(1/2.2^{QuantNbBits-1}-1)。

即，scale代表根据量化中采用的位的数量该立方体的一个面所代表的最大值。然而，对于QuantNbBits 0个位和1个位是特殊情况。在0个位和1个位的情况下，只能表达立方体上各个面的中心。这样用0位组(加上方向和方位位组)编码要比用1个位编码更有效，因为0位组使用较少空间又能对相同信息编码。另外，本发明的优选实施例对每个面的界限使用奇数值以便确保可在每个面上正确地表达零。尽管以这种方式表达面的值使一个值不使用(例如，当QuantNbBits＝8时的-128)，最好在不太有效的代码的代价下准确地表达纯正的方向。实际上，通常为了补偿较低的编码效率，可以在上面采用一个附加的编码层(例如，Huffman编码)。然而，在该优选实施例中，不施加附加编码来修复该丢失的一个位，因为不能由足够明显的收益抵消附加的复杂性。

接着，取决于差定位dOri，分别考虑下面二种情况中的每种情况。

因为计算期间变量inv可能改变，在此现象后根据：inverse＝inv^＊dDir计算变量inverse。有时取决于从哪个面看投射点，存在表达同一旋转的二种方式。然而，当用vDelta补偿vq1以产生vq2′时，量化处理中的这种边缘不投影性可能不会产生准确的vq2。但是，vq2和vq2′总是会代表相同的法线或旋转。

计算出补偿后，必须如量化期间那样对补偿编码。仅对法线，在单个位上计算编码倒数。接着根据：

v_encoded＝vDelta[i]-CompMin[i]

通过-CompMin变换补偿向量的各分量并编码在CompNbBits上。然后颠倒编码处理，从而译码补偿向量。译码处理通过用补偿向量vDelta变换法线或旋转vq1以产生量化的法线或旋转vq2。仅对法线译码单位的倒数译码。接着按如下通过CompMin变换补偿向量的各分量并且编码到CompNbBits上：

vDelta[i]＝v_decoded+CompMin[i]

从vDelta可进行补偿处理。初始参数vq1包括(1)orientationl、(2)directional和(3)整数数组vq1[]中存储的一组量化分量。类似地，补偿向量vDelta包括(1)用“inverse”标记的倒数整数和整数数组vDelta[]中存储的一组补偿分量。补偿处理的输出是量化参数vq2，其由(1)方位、(2)方向和(3)整数数组vq2[]中存储的一组量化分量定义。另外，scale为：

scale＝max(1/2.2^{QuantNbBits-1}-1).

初始按如下逐个分量地执行相加并存储在暂时数组中：

vqTemp[i]＝vq1[i]+vDelta[i].

如通常那样，N是减少后的分量的数量，其中对于法线N＝2而对于旋转N＝3。基于该初始计算，根据下述三种情况中哪个为真进行进一步的处理。

从而，本发明能更有效地编码法线和旋转。对旋转和法线施加的方法是一样的，这使得能为景物编码构建一个最优系统。我们相信本文中所说明的和适当量化和熵编码相结合的预测/补偿处理能够减小视频流的数据尺寸，如图5中图形地示出那样，鉴于量化减少约为5∶1并且量化状态下补偿减少再约为2∶1至3∶1，这种减少预计为十五分之一或更多。

如下面的表1中所示，和基本上类似地表达视频流的各种VRMLASCII文件相比，依据本发明的旋转和法线的压缩可对景物提供明显的压缩。

表1

一般的业内人士会清楚，可在不同于本文中所描述那样实施本方法和系统而不背离本发明的精神。从而，本说明书不是用作限制的，而本发明的限制是由权利要求书的范围定义的。

Claims (6)

1.一种计算机实现的对视频流的编码方法，该方法包括步骤：

(a)计算表达法线和旋转中之一的原始向量；

(b)从该原始向量计算归一化向量；

(c)把该归一化向量投影到单位立方体上以产生该单位立方体的第一面的第一点；以及

(d)利用该第一面的索引以及该第一面上该第一点的位置编码视频流。

2.依据权利要求1的计算机实现的对视频流的编码方法，还包括步骤：

(e)根据沿着该单位立方体的该第一面上的该第一点和第二面上的第二点之间的移动计算移动向量；以及

(f)利用该移动向量对该视频流编码。

3.依据权利要求2的计算机实现的对视频流的编码方法，其中第一面和第二面是单位立方体上的同一个面。

4.依据权利要求2的计算机实现的对视频流的编码方法，其中第一面和第二面是单位立方体上的不同的面。

5.一种计算机实现的对视频流译码的方法，包括步骤(i)接收第一面的索引和第一点对编码的视频流进行译码；(ii)对译码值进行逆量化处理使变换回到法线和旋转中的一个。

6.依据权利要求5的计算机实现的对视频流译码的方法，还包括步骤(i)接收移动向量对编码的视频流进行译码；(ii)对译码值进行逆量化处理以计算法线和旋转中的对应的一个。

Images