CN1577399A - 对数字图像进行编码的设备、系统和方法 - Google Patents

Abstract

本发明涉及一种设备，用于对表示三维虚拟场景的视点的二维图像进行编码，通过图像的连续显示模拟此场景中的运动，并根据预定的轨迹对其加以限制。依照本发明，所述设备的特征在于，其包括：装置，用于借助于连续节点N_i的曲线图(300)，对轨迹进行编码，从而使每个节点N_i与至少一个二维源图像和此图像的一个变换相关联。

Description

对数字图像进行编码的设备、系统和方法

技术领域

本发明涉及一种对数字图像进行编码的设备、系统和方法，具体地，用于模拟三维虚拟场景中的运动。

背景技术

如视频游戏、在线销售或属性模拟等大量应用需要产生连续显示在屏幕上的二维数字图像，从而模拟三维虚拟场景中的运动，根据先前的示例，所述三维虚拟场景可以对应于商店或公寓。

换句话说，显示在屏幕上的二维图像作为用户在三维虚拟场景中所需的运动的函数而发生变化，所显示的每幅新图像都对应于与所做出的运动相一致的场景的新视点。

为了产生这些二维图像，已知的是，例如，通过多边形，根据给定的视点，以多边形的每个小平面(facet)编码该场景的一部分，对三维场景的所有可能视点进行编码。

当用户想要模拟该场景中的运动时，则通过选择表示与所需视点相关的场景部分的多边形的适当小平面，并将以此(或这些)小平面进行了编码的图像投影到屏幕上，来产生所显示的图像。

这种方法的缺点在于，由于执行以产生此图像的操作是众多而复杂的，需要设备级的图形映射(graphical map)，从而增加了这种方法的成本和复杂性。

此外，由于其对应于根据所有可能的视点对场景进行编码所需的信息，为了产生图像而不得不进行存储和处理的数据量尤为巨大。

此外，同样已知的是，借助于二维图像，此后的复制源图像，来模拟二维场景中的运动，从而可以将源图像用于产生多种显示图像。

因此，源图像的维度大于所显示的图像，从而通过修改用于产生显示图像的源图像区域，并可能通过对源图像相关区域进行变换，能够产生多种二维图像。

在图1中示出了了使用源图像的实例，其中，根据单个的源图像I_s来产生三个图像I_a1、I_a2和I_a3。

在MPEG-4标准中实现了这种应用，(运动图像专家组)，例如，如文件ISO/IEC JTC 1/SC 29/WG 11N 2502，189到195页所述。

发明内容

根据以下发现，得出本发明：在模拟三维场景或环境中的运动的大量应用中，根据预定的轨迹来进行对运动的模拟。

例如，用户在在线销售(各个属性投影)的框架下所能访问的运动被限制于进行这种销售的商店的货架(分别被限制于与属性投影相关的公寓的房间或房子)。

出于这种原因，本发明涉及一种设备，用于对表示三维虚拟场景的视点的二维图像进行编码，通过图像的连续显示模拟此场景中的运动，并根据预定的轨迹对其加以限制，其特征在于，其包括：装置，用于借助于连续节点的曲线图，对轨迹进行编码，从而使每个节点与至少一个二维源图像和此图像的一个变换相关联，使其能够产生要显示的图像。

根据本发明，借助于二维源图像，执行对三维场景中的运动的模拟，而无需使用用于处理三维编码的图形映射。

因此，根据本发明的图像编码和处理较为便宜且易于实现。

此外，产生图像所需的数据库比对三维数据进行编码时小得多，由于并未考虑对与用户不能访问的视点相对应的图像的编码。

在一个实施例中，所述设备包括：装置，用于借助于与源图像相关的掩码，如二进制掩码，和/或借助于多边形，对要显示的图像进行编码，所述掩码针对要显示的图像的每个像素，识别根据其构建每个像素的源图像I_s，i。

根据一个实施例，所示设备包括：装置，用于针对二进制串形式的连续的节点，对与源图像和这些源图像的变换有关的列表进行编码。

根据一个实施例，所述设备包括：装置，用于在列表中，对源图像进行排序，产生从最远的源图像到最近的源图像的图像，所述最远的源图像产生了表现为距用户最远的图像部分，所述最近的源图像产生了表现为距用户最近的图像部分。

根据一个实施例，所述设备包括：装置，用于在由这些节点定义的几个轨迹都是可能的时，接收确定多个节点中要被考虑的节点的命令。

根据一个实施例，所述设备包括：装置，用于根据MPEG-4类型的视频图像流，产生源图像。

在一个实施例中，所述设备包括：装置，用于通过借助于仿射和/或线性同形关系，将三维编码投影到要显示的图像平面上，根据三维编码，产生源图像。

根据一个实施例，所述设备包括：装置，用于考虑模拟镜头的摄像机的参数。

在一个实施例中，所述设备包括：装置，用于以如下方式评估三维编码的投影误差：当此投影和仿射(相应的为同形的)投影之间的偏差小于此误差时，执行线性(相应的为仿射)投影。

根据一个实施例，所示设备包括：装置，用于将源图像分组在一起，所述源图像通过以下方式产生：针对与要显示的图像相关联的每幅源图像，通过验证通过将源图像的参数应用于相邻图像而产生的误差是否在所有要考虑的像素上或者在最小百分比上小于阈值，而确定可以与其合成的相邻源图像。

本发明还涉及一种用于模拟三维虚拟场景中的运动的系统，包括图像显示设备，此系统包括显示屏幕和控制装置，允许用户根据有限多个预定轨迹中的轨迹来控制运动，此系统的特征在于，其包括根据前述实施例之一所述的设备。

在一个实施例中，所述系统包括：装置，用于以另一更靠近的源图像，自动执行相对于用户较远的源图像部分的消隐。

根据一个实施例，所述系统包括：装置，用于根据多幅源图像，产生要以连续的方式显示的图像的像素，像素的每个新数值代替先前计算的数值。

最后，本发明还涉及一种利用图像显示设备、显示屏幕和控制装置模拟三维虚拟场景中的运动的方法，允许用户根据有限多个预定轨迹中的轨迹来控制运动，此方法的特征在于，其包括根据前述实施例之一所述的设备。

附图说明

通过以下参照附图、作为非限制性示例而给出的对本发明实施例的描述，本发明的其他特征和优点将变得显而易见，其中：

图1，已经描述过，表示使用源图像产生二维图像，

图2表示使用电信网络的、依照本发明的系统，

图3是根据本发明对三维虚拟场景进行编码的示意图，

图4和5是在依照本发明的系统中的数据传输的示意图，以及

图6表示使用MPEG-4标准，在依照本发明的系统中，产生要显示的图像。

具体实施方式

依照本发明的系统100(图2)包括用于对二维图像进行编码的设备104。

已编码图像表示三维虚拟场景的视点。实际上，在本实施例中，考虑此场景对应于包括多个房间的公寓。

根据与从第一房间到与第一房间相邻的第二房间的位移相对应的预定轨迹，限制了通过图像的连续显示而模拟的通过此公寓的运动。

依照本发明，设备104包括：借助于连续节点的曲线图对轨迹进行编码的装置，稍后将参照图3对其进行描述，曲线图的每个节点与至少一个二维源图像和此图像的一个变换相关联，以产生要显示的图像。

在此实施例中，几个用户106、106’和106”使用相同的设备104来模拟此公寓中的多种运动，相同的或不同的。

因此，此系统100包括控制装置108、108’和108”，使每个用户106、106’和106”能够向设备104传送每个用户106、106’和106”想要在此公寓中模拟的运动有关的命令。

响应这些命令，由设备传送的数据发生变化，如稍后参照图4所述，将这些数据传送到解码器110、110’和110”，处理这些数据，以产生要显示的每幅图像。

图3所示为依照本发明的曲线图300，其借助于连续节点N₁、N₂、N₃、…、N_n，对可能的轨迹进行编码，每个节点N_i对应于要显示的图像，也就是说，对应于已编码场景的视点。

因此，以如下方式将曲线图300存储在设备104中：一个或多个二维源图像I_s以及每个源图像所特有的变换T_s，i与每个节点Ni相关联。

之后，在对三维场景中的运动进行模拟期间，根据以下两种模式，将曲线图300用于产生要显示的图像：

-根据第一被动模式，利用此三维场景中单一的可能轨迹，执行对运动的模拟。例如，这种模式对应于曲线图300中包括节点N₁到N₆的部分302。

在这种情况下，该设备的用户对命令108的使用允许模拟运动的继续、停止或返回。

当继续运动时，将与节点N_i相关联的源图像I_s以连续的方式从设备104传送到发生装置110，从而发生装置110形成要传送到屏幕102的图像。

在本发明的这个实施例中，只有在需要产生要显示的图像时，才传送源图像I_s。

此外，解码器110、110’和110”按照能够再次对其进行使用的方式存储传送过来的源图像I_s，也就是说，形成新的要显示图像，而无需请求新的传输。

因此，减少了针对三维场景中的运动的模拟而传输的数据量。

但是，当源图像I_s不再用于产生图像时，从解码器中删除此源图像I_s，并以所使用的或最近传送过来的另一源图像I_t代替。

-根据第二交互模式，控制装置108、108’和108”与设备104进行通信，从而从多个可能的运动中选择对运动的模拟。因此，用户从多个可能的新视点的选择中选择新视点的显示。

在曲线图300表现为接续在同一在先节点N7(相应的N9)之后的多个节点N8和N12(相应的N10和N11)时，发生这种情况。

具体地，当根据从同一位置开始的两条并发轨迹进行运动时，可能发生这种情况。

在这种情况下，解码器110、110’和110”包括用于向编码器104传送表示对轨迹的选择的命令的装置。

为此，应当强调的是，先前已经向接收器传送了导航曲线图，从而接收器能够监控用户的运动，并向服务器发送必需的请求。

在被动或交互导航模式下，以矩形图像、编码纹理(texture)的形式，以及表示为了形成要显示的图像而必需考虑的此源图像I_s的一个或多个二进制掩码的形式，来表示源图像I_s。

可以使用在纹理图像中由其二维坐标所定义的顶点的排序列表所描述的多边形来代替二进制掩码。

此外，可以使用描述了源图像的有用部分的多边形来确定要显示图像的区域，源图像将能够对所述要显示的图像进行重构。从而，将要显示图像根据此源图像的重构限制于这样识别的区域。

当解码器110、110’和110”并未存储要由解码器110、110’和110”使用的源图像I_s时，由编码器传送其纹理和形状，而对于随后使用此源图像的视点，只传送其形状及其变换。

因此，限制了在编码器104和解码器110、110’和110”之间传输的数据量。

事实上，对于以i作为索引的每个要显示图像，例如，编码器104以参考数字s标识每个源图像I_s的形式，传送构造此图像所需的源图像I_s的列表。

此外，针对要显示的图像i，此列表包括与每个源图像I_s相关联的几何变换T_s，i。

可以从最远的源图像到最近的源图像，按照自动执行较远源图像的一部分被另一较近源图像消隐(blank out)的方式，对此列表进行排序，所述最远的源图像产生了表现为距用户最远的图像部分，而所述最近的源图像产生了表现为距用户最近的图像部分。

根据本发明的变体，针对每个要显示的图像，传送二进制掩码，此掩码针对要显示的图像的每个像素，根据其构建识别源图像I_s。

总而言之，为了实现要显示图像的产生，执行以下操作：

-第一，借助于在用户想要运动到给定视点时所传送的列表，识别与要显示的图像相关联的源图像I_s。

-第二，对于每幅源图像I_s，从最远的源图像开始，一直到最近的源图像，按照减少在重构的过程中要扫描的图像区域的方式，将凸多边形投影到要显示的图像上。

-第三，对于要显示的图像中属于所识别区域的每个像素，施加几何变换，从而确定源图像I_s中相应像素的地址。

在本实施例中，如果像素由属于此源图像的四个其他像素所环绕，则确定源图像I_s中像素的成员关系，根据由掩码提供的信息，确定此特征。

在这种情况下，通过借助于这些周围点的双线性内插来计算像素的亮度和色度值。

可以根据多个源图像，连续重构要显示图像的像素，像素的每个新数值代替先前计算出的数值。

根据本发明的变体，从最近到最远的图像来设置源图像，通过考虑在针对与用户所处的节点相关联的视点的构造而传送过来的列表中所识别的所有源图像，可以逐一地构建每个像素。

在这种情况下，当根据源图像能够对其进行内插时，像素的构建停止。

在另一变体中，通过逐一考虑源图像，并通过构建像素，除非已经根据较近的源图像对其进行了构建，能够根据每个源图像来构建图像。

最后，如果根据前述第三变体，如果已经与关联于视点的变换一起传送了二进制掩码，则删除前述步骤1和2。

在随后的描述中，描述了本方法的应用，尤其适用于MPEG4标准，根据MPEG4标准，借助于通过源图像获得的视频来模拟视点。

因此，依照由所考虑的节点提供的指示，在显示屏幕中，按照使用的次序，对这些视频进行组合。

这种方法使其能够按照MPEG-4视频标准(草案，文件ISO/IEC JTC1/SC 29/WG 11N 2502，部分7.8，189～195页)中精确描述的那样，逐渐传输源图像的纹理。

然后，通过连续二进制串400(图4)执行与所显示的每个图像有关的数据传输，其中通过传输信息组来传输图像编码，所述信息组包括：如纹理等与源图像有关的指示404或404’；以及指示406和406’，与要应用于相关联的源图像以便产生要显示的图像的变换T_i，s有关。

由解码器使用这种传输，以产生部分要显示的图像的一部分，如借助于图5所述。

图5所示为能够通过在显示装置510级组合多个图像500₂、500₄、500₆和500₈来产生要显示图像500的多个部分。

最后，图6所示为在视频序列的框架中，对图5所示的图像产生方法的应用，从而产生模拟运动的一系列图像608。

因此，在多个连续的时刻t₀、t₁、t₂和t₃，表示由使其能够产生要显示的图像608的二进制串600、602、604和606传送过来的多个部分。

因此，显而易见的是，通过修改以多个串600、602、604和606进行编码的图像的属性，以模拟运动的方式对要显示的图像6008进行修改。

如前所述，本发明使其能够通过只考虑二维数据来模拟场景或环境中的运动，从而以简单的方式实现了三维环境中导航的二维表示。

但是，当通过三维工具对可用环境进行编码时，为了能够使用上述系统，需要将此三维编码转换为二维编码。

因此，以下所述为用于合成源图像I_s的最小可能集合的方法，从而将图像的最小可能列表与所采用的轨迹的每个视点相关联，并定义应当与源图像相关联以便产生视点的最简单的可能变换T_s，i。

对导航轨迹的预定实现了此二维表示的构建。可以以必须能够监控的重构图像的质量损失为代价，进行这种简化。

为了执行从三维表示到二维表示的这种变换，利用对三维场景中预定轨迹以及如摄像机特性、尤其是通过其模拟对该场景的感知的朝向及其视觉等参数的了解，并确定用户可能需要的视点。

在从三维编码到二维编码的变换的示例中，认为此三维编码使用与N个纹理相对应的N个平面。

通过由每个小平面的顶点的坐标和纹理图像中这些顶点的二维坐标所组成的、按三维设置的参数(X，Y，Z)来定义每个小平面f。

此外，还使用对三维场景中的用户的位置、朝向和视觉参数进行描述的参数。

对于预定轨迹的每个视点，使用上述小平面的顶点坐标和参数的已知透视投影，确定重构相关图像所需的小平面。

最后，确定重构与这些视点相对应的图像所需的信息：纹理图像(与选中的小平面相关联)，以及对于每一个纹理图像，变换使其能够从要进行重构图像的坐标转换为纹理图像的坐标。

通过已知的二维平面投影公式(也称为同形等式)来描述此变换，并借助于如下关系进行定义：

$u2=\frac{p11.u1+p12.v1+p13}{p31.u1+p32.v1+p33}$

$v2=$ $\frac{p21.u1+p22.v1+p23}{p31.u1+p32.v1+p33}$

其中，系数p_ii通过对所述小平面的平面进行描述的参数和视点参数的已知组合而得到。

因此，通过使其能够省去3D(三维)图形映射的简单计算执行这种变换T_s，i。

应当注意的是，通过将源图像I_s中的像素坐标与要显示图像中的像素坐标相关联的八个参数p_ij(p₃₃＝1)来描述T_s，i。

此外，这样确定重构视点所需的小平面的列表，能够建立产生图像所需的源图像列表，专用于每个源图像的同形变换与源图像列表相关联。

为了进一步降低二维表示的复杂度，从而进一步降低导航期间图像合成的复杂度，当所得到的图像质量可以被接受时，能够将同形变换简化为仿射或线性变换。

例如，情况如下：当小平面平行于图像的平面时，或者与摄像机的距离相比，小平面顶点距离的变化较小时。

在仿射投影的情况下，可以使用如下关系：

               u₂＝p₁₁.u₁+p₁₂.v₁+p₁₃

               v₂＝p₂₁.u₁+p₂₂.v₁+p₂₃

而在线性投影的情况下，可以使用如下关系：

               u₂＝p₁₁.u₁+p₁₃

               v₂＝p₂₂.v₁+p₂₃

总而言之，可以按照如下方式有效实现基于三维模型对源图像的构建：

-对于轨迹的每个视点，根据所考虑的视点，对三维模型的小平面进行投影，从而编译此重构所需的小平面的列表。

-对于所识别的每个小平面，计算使其能够根据小平面的纹理重构所涉及的图像区域的同形变换。由八个参数组成的这种变换足以实现重构，这是因为其能够针对要重构的图像的每个像素，计算其在相应纹理图像中的地址。

于是，将对小平面的描述减少为纹理图像中的2D坐标，且小平面变为源图像。

-之后，可以通过验证在所涉及的所有像素上或最小百分比上，通过将p₃₁和p₃₂设置为0而产生的到纹理图像上的2D投影的误差ΔE小于阈值Ψ，验证能否将同形模型缩减为仿射模型。

-也可以通过验证在所涉及的所有像素上或最小百分比上，通过额外地将p₁₂和p₂₂设置为0而产生的纹理图像上的2D投影误差ΔE小于阈值Ψ，验证能否将仿射模型缩减为线性模型。

标识号s与所产生的源图像、以及专用于通过此变换产生显示图像的几何变换T_s，i相关联。

为了进一步降低表示的复杂度并加速对场景的显示，有利的是，对要考虑的源图像的数目加以限制。因此，在产生源图像时，可以将几个小平面分组在一起。

具体地，例如，可以将相邻且非共面的小平面融合为单一的小平面，而对所提供的质量没有严重的损失，假如其远离视点，或者从单一的位置对其进行观察(例如，虚拟照相机的平摇型运动)。

通过考虑以下操作，可以有效实现这种应用：

-对于与要显示的图像相关联的列表中的每个源图像I_s，通过验证在所涉及的所有像素上或最小百分比上，将源图像I_s的参数应用于I_s’而产生的二维投影误差ΔE_s(s’)小于阈值，确定列表中与可以自身进行组合的I_s相邻的每一个源图像I_s’。

从而，获得了相邻源图像之间可能分组的全部集合以及相应的结合成本。

-于是，将源图像分组在一起，从而在小于阈值的最小误差ΔE_s的约束条件下，最小化源图像的数目。

迭代对源图像的分组，直到不允许进一步的分组为止，然后，可以考虑将所获得的源图像的集合，用于产生要显示的图像。

在考虑下一个图像时，首先考虑在先前的要显示图像中出现的源图像I_s(i)以及类似于先前的图像中的任何分组。

于是，在源图像的新的分组上，迭代前述处理。

借助于与ΔE有关的误差阈值，能够确定是否应当执行这些分组。

Claims (14)

1、一种设备(104)，用于对表示三维虚拟场景的视点的二维图像进行编码，通过图像的连续显示模拟此场景中的运动，并根据预定的轨迹对其加以限制，其特征在于，其包括：装置，用于借助于连续节点(N_i)的曲线图(300)，对轨迹进行编码，从而使每个节点(N_i)与至少一个二维源图像(I_s)和此图像的一个变换(T_i，s)相关联。

2、根据权利要求1所述的设备，其特征在于其包括：装置，用于借助于与源图像相关的掩码，如二进制掩码，和/或借助于多边形，对要显示的图像进行编码，所述掩码针对要显示的图像的每个像素，根据其构建识别源图像(I_s)。

3、根据权利要求2所述的设备，其特征在于其包括：装置，用于针对二进制串(400)形式的连续的节点，对与源图像(I_s)和这些源图像(I_s)的变换(T_i，s)有关的列表进行编码。

4、根据权利要求3所述的设备，其特征在于其包括：装置，用于在列表中，对源图像(I_s)进行排序，产生从最远的图像到最近的源图像(I_s)的图像，所述最远的源图像产生了表现为距用户最远的图像部分，所述最近的源图像产生了表现为距用户最近的图像部分。

5、根据前述权利要求之一所述的设备，其特征在于其包括：装置，用于在由这些节点定义的几个轨迹都是可能的时，接收用于确定多个节点(N_i)中要被考虑的节点(N_i)的命令。

6、根据前述权利要求之一所述的设备，其特征在于其包括：装置，用于根据MPEG-4类型的视频图像流，产生源图像(I_s)。

7、根据前述权利要求之一所述的设备，其特征在于其包括：装置，用于通过借助于仿射和/或线性同形关系，将三维编码投影到要显示的图像平面上，根据三维编码，产生源图像(I_s)。

8、根据权利要求7所述的设备，其特征在于其包括：装置，用于考虑模拟拍摄的摄像机的参数。

9、根据权利要求7或8所述的设备，其特征在于其包括：装置，用于以如下方式评估三维编码的投影误差(ΔE)：当此投影和仿射(相应的为同形)投影之间的偏差小于此误差(ΔE)时，执行线性(相应的为仿射)投影。

10、根据权利要求7、8、9之一所述的设备，其特征在于其包括：装置，用于将源图像(I_s)分组在一起，所述源图像(I_s)通过以下方式产生：针对与要显示的图像相关联的每个源图像(I_s)，通过验证在所有涉及的像素上或者在最小百分比上，通过将源图像(I_s)的参数应用于相邻图像(I_s，i-1、I_s，i+1)而产生的误差(ΔE_i)是否小于阈值，而确定可以与其合成的相邻源图像(I_s，i-1、I_s，i+1)。

11、一种用于模拟三维虚拟场景中的运动的系统，包括图像显示设备，此系统包括显示屏幕(102)和控制装置(108)，允许用户根据有限多个预定轨迹中的轨迹来控制运动，此系统的特征在于，其包括根据前述权利要求之一所述的设备(104)。

12、根据权利要求11所述的系统，其特征在于其包括：装置，用于以另一更靠近的源图像，自动执行相对于用户较远的源图像部分的消隐。

13、根据权利要求11或12所述的系统，其特征在于其包括：装置，用于根据多个源图像，产生要以连续的方式显示的图像的像素，像素的每个新数值代替先前计算的数值。

14、一种利用图像显示设备(104)、显示屏幕(102)和控制装置(108)模拟三维虚拟场景中的运动的方法，允许用户根据有限多个预定轨迹中的轨迹来控制运动，此方法的特征在于，其包括根据权利要求1到10之一所述的设备。

Images