CN102860007A - 对使用计算机图形呈现至少一个图像的数据进行编码的方法和设备及其对应的解码方法和设备 - Google Patents

Abstract

本发明涉及图像编解码产品的领域。更具体地，本发明涉及对使用计算机图形进行图像呈现的数据进行编码和解码。提出了一种对使用计算机图形呈现至少一个图像的数据进行解码的方法，所述方法包括：解码比特流的一部分，所述部分包括语法元素和用于生成所述计算机图形的基于参数的例程计算局图形生成方法的至少一个参数，所述语法元素指示所述部分还包括所述至少一个参数。此外，提出了一种执行所述方法的装置。

Description

对使用计算机图形呈现至少一个图像的数据进行编码的方法和设备及其对应的解码方法和设备

技术领域

本发明涉及图像编解码产品的领域。更具体地，本发明涉及对使用计算机图形进行图像呈现的数据进行的编码和解码。

背景技术

已经对视频编码算法研究几十年了。已经相应地开发了许多视频编码标准，例如，MPEG-1/2/4、H.261、H.263和H.264/AVC。在这些标准中，H.264/AVC是具有从低端（例如，移动应用）到高端（例如，高清电视（HDTV）应用）的视频压缩的最好率失真性能的最新的标准。

但是，所有现有的图像/视频编码标准都是被设计用来压缩通过使用捕捉设备（诸如例如，CMOS传感器或CCD芯片）捕捉自然场景而得到的像素图。以这样的方式收集的图像将在下文中被称作自然视频（NV）。但是近年来，越来越多的电影或其它视频应用集成了除了NV以外或替代NV的内容，该内容不产生于捕捉自然场景而是产生于呈现一些计算机图形（CG）场景或特殊效果。由自然视频和呈现的计算机图形二者组成的增强的视频内容越来越多地出现在诸如游戏、虚拟购物、对于观光者的虚拟城市、移动TV、广播等的实际应用中。当3D自然视频应用在未来变得成熟时，可以预期这种组合在世界上找到更加广泛的应用。

因此，MPEG-4标准已经开始应用于自然视频和计算机图形的组合的编码方法。起始于1995年，建立了SNHC（合成自然混合编码，在2005年MPEG的SNHC组更名为3DGC（3D图形编码）组）分组，并且其在MPEG-4第2部分虚拟中开发了合成编码工具。合成视觉工具包括面部和身体动画（FBA）、2D和3D网格编码，和取决于视角的可伸缩性。简言之，MPEG-4SNHC将图形、动画、压缩、以及流传输能力组合在允许与（自然的）音频和视频集成的框架中。

在MPEG-4第11部分：利用诸如内插器压缩之类的一般的图形工具定义了BIFS（场景描述的二进制格式）。BIFS规范被设计用来允许包括2D和3D图形、图像、文本和视听材料的动态和互动展示的高效表示。这种展示的表示包括对不同场景分量的空间和时间组织以及用户互动和动画的描述。

在MPEG-4中，每个对象都紧密地与流耦合：这样的绑定是通过将对象与实际流链接的对象描述符框架来进行的。这样的设计对于依赖于压缩视频流的视频对象看上去是显而易见的。已经进一步推进了：场景描述和对象描述符的描述本身是流。换言之，该表示自身是更新场景图形并且依赖于描述符的动态集合的流，其允许参照实际的媒体流。

美国专利第6,072,832号描述了一种音频/视频/计算机图形同步再现/合成系统和方法。视频信号和计算机图形数据被压缩并多路复用，呈现引擎接收视频信号、计算机图形数据和视点移动数据，并且输出视频信号和计算机图形数据的合成图像。

发明内容

本发明解决怎样高效地压缩包含自然视频（NV）和呈现的计算机图形（CG）的新兴类型的视频内容的问题。具体对于例程生成的CG内容，本发明提出适应传统的视频编码方案，使得可以利用其中的该例程技术的优点。

因此，提出了一种根据权利要求1对使用计算机图形呈现至少一个图像的数据进行解码的方法，以及一种根据权利要求3的对使用计算机图形呈现至少一个图像的数据进行编码的方法。

所述编码方法包括以下步骤：将语法元素和用于生成计算机图形的基于参数的例程计算机图形生成方法的至少一个参数编码到比特流的一部分中，所述语法元素指示所述部分还包括所述至少一个参数。

在一个实施例中，所述编码方法还包括将另一语法元素和系数信息编码到比特流的不同部分中的步骤。在解码方法的对应实施例中，所述解码方法还包括解码在比特流的不同部分中包括的另一语法元素和系数信息的步骤。所述系数信息用于确定呈现至少一个图像要使用的至少一个像素块的可逆变换，并且所述另一语法元素指示所述不同部分还包括所述系数信息。

在编码方法的另一实施例中，所述计算机图形用于呈现所述至少一个图像中的地形并且所述至少一个参数是从真实地形数据中提取的。

在从属权利要求中指定编码方法或解码方法的其它有利实施例的特征。

本发明还提出了一种执行方法权利要求中提出的方法之一的装置。

本发明还提出了承载所提出的编码方法之一所产生的比特流的存储介质。

因此，本发明提出了一种用于组合的频谱变换编码的内容和例程生成的内容的新的编码方法。在一个实施例中，本发明关注于例程生成的地形编码。地形可以仅通过几个参数编码，使得达到大压缩比。此外，通过语法元素实现无缝集成到传统的视频编码中。

附图说明

附图中图示了本发明的示例性实施例，并且在以下描述中具体解释。示例性实施例仅为阐明本发明来解释，而不是限制权利要求中定义的本发明的公开内容、范围或精神。

附图中：

图1A描绘了示例性不相干噪声；

图1B描绘了相干噪声；

图2A描绘了示例性Perlin值噪声；

图2B描绘了示例性Perlin梯度噪声；

图3描绘了具体地形建模和呈现的示例性等级；以及

图4描绘了示例性相机参数。

具体实施方式

本发明可以在包括相应适配的处理设备的任何电子设备上实现。例如，本发明可以在机顶盒、电视机、DVD和/或BD播放器、移动电话、个人计算机、数字照相机、数字摄像机、mp3播放器、导航系统或汽车音频系统上实现。

本发明参照基于参数的例程计算机图形生成方法。

术语例程是指计算具体函数的处理。作为例程生成的示例的分形（fractal）表示这样的概念，已经演变为围绕它的数学体-分形几何。普通的例程内容包括纹理和网格。例程技术已经用于计算机图形中以创建诸如大理石、木头、皮肤或树皮之类的自然表现的2D或3D纹理，模拟特效以及生成诸如树木、植物种、微粒系统、瀑布、天空和山脉之类的复杂的自然模型。甚至可以使用基于参数的例程计算机图形生成方法来生成资产的自然物理移动。例程技术的最大优点在于其可以仅使用几个参数生成自然场景，使得可以实现极大的压缩比。在“A Survey of Procedural Techniques for City Generation”,Instituteof Technology Blanchardstown Journal,14:87-130中，Kelly,G和McCabe,H提供了包括分形、L系统、Perlin噪声、瓦片（tiling）系统和蜂窝基本系统的若干例程技术的总览。

Perlin噪声是一种平滑伪随机噪声，也叫做相干噪声，图1b中描绘了一个示例。对于这样的噪声，相同的输入总是导致相同的输出，并且输入的小的改变导致输出的小的改变，这使得噪声函数是静态的并且是平滑的。只有输入的大的改变导致输出的随机改变，这使得噪声函数是随机的并且是不重复的。

最简单的Perlin噪声被称为图2a中示例性描绘的值噪声，在每个整数格点上创建伪随机值，并且然后通过在邻近格点的噪声值的平滑内插来评估中间位置的噪声值。图2b中示例描绘的梯度噪声是改进的Perlin噪声函数，在每个整数格点上定义伪随机梯度矢量，并且将每个整数点上的噪声值设置为零，通过邻近格点上的梯度矢量来评估中间位置的噪声值。Perlin噪声使用置换表。在Ken Perlin的“An image synthesizer”，Siggraph,1985,pp.287-296中描述了Perlin噪声。

为了合成地形，例如，可以使用随机频谱合成，其中组合不同频率的Perlin噪声函数以便建模不同等级的地形细节。细节的基本频率等级表示地形的整体波动；而细节的至少一个更高的频率等级表示地形几何中的细节。然后组成一系列Perlin噪声函数以便生成地形高度图。通过基本频率，并且通过频率等级的数量触发随机频谱合成。频率等级通常是倍频程（octave）。通过平均地形高度、每个频率等级的高度权重和高度权重增益，以及通过作为用于计算每个频率等级中的高度和频率权重的参数的缺项（lacunarity）来进一步触发地形的随机频谱合成。

为了进行呈现，将生成的地形投影在由包括相机位置坐标和相机朝向四元数（orientation quaternions）的相机位置参数定义的虚拟投影平面上。在图4中示例性地对其进行了描绘。通过诸如作为相机视场的field_of_viewFOVY、描述窗口宽度W和窗口高度H的比例的aspect_ratio、作为相机CAM的近剪切平面（clipping plane）NEAR的near_plane以及作为相机CAM的远剪切平面FAR的far_plane之类的相机投影参数来触发投影。

为了从计算机生成的内容呈现一系列图像，通过诸如相机速度和控制点的数量之类的相机运动参数来定义虚拟相机运动，控制点坐标定义相机运动发生的非均匀有理数B样条（NURBS）曲线。

为了进行实际的地形呈现，通过一系列的高度图（也称作剪切图）来采样合成的地形数据。如在图4中示例性地描绘的，每个剪切图可以具有相同的栅格（grid）大小，但是具有不同的空间分辨率。n-1等级的剪切图是最精细的等级，其以最小的空间分辨率来采样地形数据，而0等级的剪切图是最粗糙的等级，其以最大的空间分辨率来采样地形数据，较粗糙的剪切图的空间分辨率是其最接近的更精细的剪切图的两倍。较精细等级的剪切图嵌套在较粗糙等级的剪切图中。通过细节的等级数量、每个等级的空间分辨率的程度和所述相同的栅格大小来触发对于合成的地形的实际呈现使用剪切图。可以在Frank Losasso和Hugues Hoppe的“Geometry clipmaps:Terrain renderingusing nested regular grids”Siggraph,2004中找到栅格图的描述。

本发明提出连同允许执行在例程计算机图形生成中涉及的至少一个步骤的数据一起编码NV以及在解码器侧进行呈现的编码框架。

因此，提出了新的语法。在NVCG-等级，所述语法包括CG_flag，CG_flag在后续比特流部分包括CG内容的情况下被设置，而在后续比特流部分包括NV内容的情况下不被设置。

CG_flag用于指示之后的比特流的类型：传统视频编码比特流或计算机图形生成的比特流。这个标志可以以各种方式表示。例如，CG标志可以被定义为H.264/AVC比特流的新类型的NAL（网络抽象层）。或者，CG标志可以被定义为MPEG-2比特流中一种新的start_code。

在解码器侧，首先解码CG_flag比特。如果该标志指示之后的比特流是通过例程图形方法编码的，则进行图形解码并且呈现处理。在解码器的实施例中，如果该标志指示之后的比特流是根据残差编码方法编码的，则进行传统的视频解码处理。

对于CG内容，在以下示例性实施例中提出了额外的语法元素：

CG_category定义CG内容的种类。可选CG内容可以是：地形、海水、3D网格模型等。

CG_duration_h,CG_duration_m,CG_duration_s,CG duration_ms分别定义以小时、分钟、秒和毫秒形式的CG内容的持续时间。

CG_duration=CG_duration_h*60*60*1000+

CG_duration_m*60*1000+CG_duration_s*1000+

CG_duration_ms

CG_duration以毫秒为单位记录。

terrain_coding_type指示在重构中使用的地形生成方法。可选的方法可以是RMF（脊多分形（Ridge multi-fractal））、FBM（分形布朗运动）、或其它方法。

permutation_table_size  定义置换表的大小，例如，permuation_table_size=1024。

number_of_octave指示Perlin噪声的倍频程的数量，例如，number_of_octave=12。

octave_parameter_1,和octave_parameter_2定义地形生成的两个参数。octave_parameter1定义H，octave_parameter2定义缺项。

average_height给出平均高度，即，地形高度的偏移。

hight_weight_gain是局部高度值权重。

base_frequency定义等级1的倍频程的基本频率。

number_of_LOD是细节等级（LOD）的数量。

cell_size是一个单元的空间分辨率。

grid_size是剪切图中栅格的大小。

camera_trajectory_type，0意味着相机位置和朝向被存储在关键帧中，1意味着相机位置和朝向通过由控制点定义的非均匀有理数B样条（NURBS）曲线进行内插。

key_frame_time_ms，动画的关键帧是定义任何平滑过渡的开始点和结束点的图画。key_frame_time_ms定义对应的关键帧什么时间出现。

position_x,position_y，position_z是根据camera_trajectory_type的值的、相机或NURBS曲线的控制点的位置矢量。

orientation_x,orientation_y，orientation_z,orientation_w是相机的朝向四元数。

navigation_speed是相机的移动速度。

number_of-control_points是NURBS曲线的控制点的数量。

本发明还允许编码一个或更多以上参数的值以及使用剩余参数的预定值。即，提出了具有对应的编码和解码方法和设备的各种编码框架，这些编码框架的共同特征在于，用于区分与自然视频有关的比特流部分和与例程生成内容有关的比特流部分的第一语法元素，以及与内容的例程生成和/或例程生成的内容的呈现有关的至少一个第二元素。

在示例性实施例中，组合的自然视频内容和计算机生成的例程地形内容的视频编码包括指示后续比特流的种类的比特：传统编码的视频比特流、或图形地形比特流，其中如果所述比特指示图形地形比特流，则后续比特流为至少一些以下信息：

a)地形视频持续时间信息

b)地形编码方法信息

c)与Perlin噪声有关的信息，例如，倍频程的数量、地形生成函数参数、置换表大小、平均高度、等级1的倍频程的基本频率、和/或局部高度值权重

d)用于呈现的剪切图的信息，例如，细节等级（LOD）的数量，一个单元的空间分辨率和/或剪切图的栅格的大小

e)用于呈现的相机信息，还包括相机投影参数、相机位置信息、相机朝向信息、相机轨迹信息、以及导航速度。

例程计算机图形可以被用于呈现图像的第一部分，例如，背景或天空，而使用自然视频呈现图像的其余部分。在另一示例性实施例中，使用计算机以例程方式生成包括整个图像的图像序列并相应地进行编码，其中所述序列还包括被残差编码的整个其它图像。该序列还可以包括使用例程图形内容仅部分呈现的图像。

在示例性实施例中关注于地形，这是由于地形是可以通过例程技术非常好建模的最通常的自然场景之一。但是，本发明不局限于此。还可以按例程方式生成天空、水、植物以及城市或人群。

Claims (14)

1.一种对使用计算机图形呈现至少一个图像的数据进行解码的方法，所述方法包括：解码比特流的一部分，所述部分包括语法元素和用于生成所述计算机图形的基于参数的例程计算机图形生成方法的至少一个参数，所述语法元素指示所述部分还包括所述至少一个参数。

2.如权利要求1所述的方法，所述方法还包括：解码所述比特流的不同部分，所述不同部分包括另一语法元素和用于确定呈现至少一个图像要使用的至少一个像素块的可逆变换的系数信息，所述另一语法元素指示所述不同部分还包括所述系数信息。

3.一种对使用计算机图形呈现至少一个图像的数据进行编码的方法，所述方法包括：将语法元素和用于生成所述计算机图形的基于参数的例程计算机图形生成方法的至少一个参数编码到比特流的结果部分中，所述语法元素指示所述部分还包括所述至少一个参数。

4.如权利要求3所述的方法，还包括：将另一语法元素和用于确定呈现所述至少一个图像要使用的至少一个像素块的可逆变换的系数信息的系数信息编码到所述结果比特流的不同部分中，所述另一语法元素指示所述不同部分还包括所述系数信息。

5.如权利要求3或4所述的方法，其中所述计算机图形用于在所述至少一个图像中呈现地形，并且所述至少一个参数是从真实地形数据中提取的。

6.如权利要求2或4所述的方法，其中计算机图形用于呈现所述至少一个图像的第一部分，并且所述至少一个像素块用于呈现所述至少一个图像的不同的第二部分。

7.如权利要求6所述的方法，其中所述至少一个图像包括：第一图像和不同的第二图像，所述第一部分包括所述第一图像，并且所述第二部分包括所述第二图像。

8.如权利要求6所述的方法，其中所述至少一个图像包括第一图像和不同的第二图像，所述第一部分包括所述第一图像的一部分和所述第二图像的一部分，并且所述第二部分包括所述第一图像的其余部分以及所述第二图像的其余部分。

9.如以上权利要求之一所述的方法，其中所述计算机图形是三维的并且所述至少一个参数还包括允许确定所述计算机图形所投影的呈现平面的相机位置信息和相机朝向信息。

10.如权利要求9所述的方法，其中所述至少一个图像包括图像的序列，并且所述至少一个参数还包括允许确定用于呈现所述图像序列的、所述计算机图形所投影的呈现平面序列的相机轨迹信息和相机速度信息。

11.如权利要求9或10所述的方法，其中所述至少一个参数还包括投影信息，所述投影信息包括关于以下至少一项的信息：视场、高宽比、近剪切平面和远剪切平面。

12.如以上权利要求之一所述的方法，其中所述至少一个参数指定以下中的至少一个：

-计算机图形的种类，

-所述至少一个图像的显示持续时间，

-指示用于计算机图形的例程生成要使用的例程的类型的例程指示符，所述类型是脊多分形或分形布朗运动，

-用于生成相干噪声的参数，

-细节等级的数量，

-单元大小，以及

-栅格大小。

13.一种用于执行前述权利要求之一所述的方法的装置。

14.一种承载根据权利要求3、4或5所述的方法产生的比特流的存储介质。

Images