CN1246945A - 数字图像编码的方法和装置 - Google Patents

Abstract

本发明给出了一个用于图像对象的三维模型的三角测量的方法,在该方法中确定一个图像对象的轮廓。此外进行一个多边形化,其中与一个图像对象一致的景深信息的曲率作为多边形形成的标准,也就是说多边形是否划分为另外的多边形。通过这个优选的方式,与已知的方法相比实现了图像对象的一个质量明显改善的计算机图解的显像。

Description

数字图像编码的方法和装置

                         技术背景

具有三维模型的基于模型的图像编码方法要求以计算机图解的模型的形式模拟画面内容。为了获得对此所必需的景深信息产生不同的可能性，例如从不同的摄影机图片中产生不一致/景深估计。

在基于模型的编码方法中一个重要的方面是以一种适合的形式描述这些景深数据，通常作为三角形网络(线框)，借助于计算机图解成为以后的显像。

从[1]中公开了确定一个由一个摄像机拍摄的画面的景深信息的不同方法。

从[2]中公开了一个轮廓追踪法。对于轮廓追踪法应当理解为一个这样的方法，通过该方法确定图像对象的边缘，也就是说确定图像对象的轮廓。

从[3]中公开了一个图像信号的曲率值的确定，也就是说编码信息的第二局部微分。

在这个关系中，对于编码信息例如理解为亮度信息(亮度值)和/或色度信息(色度值)，这些信息总是明确地分配给一个数字图像的图像点。

从[4]中公开了一个方法，用此外称作三角形网络的多个三角形填满一个二维图像，该图像用一个折线围起来。此外了解了，为了填满以多边形为边缘的平面，所使用的三角形的确定是如此形成的，即对于每个独立产生的三角形必需满足一定的精度等级标准。因此从该文献中了解了一个最大的平面数据作为精度等级标准使用，该平面数据不允许超过一个三角形。一个另外已知的精度等级标准是每次产生的三角形的每个内角至少具有20°。以这种方式保证，确定在[3]中描述的规则系统期限。

在[5]描述了数字图像处理的不同的三维边缘滤波器。

从[6]、[10]、[11]中公开了不同的规则系统，这些规则系统用于近似通过三角形网络的深的景深数据。通过三角形网络的深的景深数据的近似此外称为三角测量。

从[8]中公开了一个纹理映射方法，在该方法中对于一个图像对象确定了其轮廓。为了能够描述由不同的视图形成的图像对象，在形成多边形的情况下要考虑图像对象的图像点的景深信息。该多边形用于图像对象的编码。

从[9]公开了在形成一个多边形的情况下，在一个三维的图像对象中如此确定多边形的样本，即如此处理一个多边形，其样本近似地处在一个通过图像对象预先确定的表面平面中，即样本是否实际上处在表面平面中。

作为最佳准则，在这个已知的方法中近似值的立体准确度处于重要地位。这个方法产生具有许多小的和/或也极其尖的三角形的三角形网络。可是这个通过该已知的方法产生的三角形形状在计算机图解中很难适合于所谓的纹理映射方法。因此借助于具有已知方法的纹理映射方法，仅仅以相对较低的精度等级能够实现计算机图解的显像。

                       发明简述

本发明的任务在于给出一个用于实施图像编码方法的方法和装置，在该方法中借助于具有与已知的方法相比改善精度等级的纹理映射方法实现一个计算机图解的显像。

通过按照权利要求1的方法以及按照权利要求13的装置解决了这个问题。

在按照权利要求1的方法中，为了给具有一个图像对象的数字图像的编码，该图像对象具有一个任意数目的图像点，实施了以下的方法步骤。对于在图像中包含的图像对象，确定图像对象的轮廓。此外，形成多边形，用该多边形至少近似地填满以轮廓为边缘的平面。

作为多边形形成的标准，使用了与一个图像对象一致的景深信息的曲率。在使用多边形的情况下，最后对图像对象编码。

因此通过这个方法对此引入了一个新的准则，是否应当把一个三角形再划分为二个三角形或者不。这个新的准则是与一个图像对象一致的景深信息的曲率。

这个优选的方式与已知的方法相比使图像对象的一个质量显著改善的计算机图解的显像成为可能。

实施该方法的装置同样具有相应的优点，在该装置中为了实施单个的方法步骤预先规定了一个微处理器单元。

本发明的有益的改进在从属权利要求中给出。

在该方法的一个改进中，在强曲率值的范围内确定所使用的三角形的小的最大平面，并且在低曲率值的范围内确定所使用的三角形的大的最大平面是有益的。以这种方式通过少量的大三角形近似预先确定的景深区域的平坦的范围，并且通过大量的小三角形近似特别弯曲的范围。

在本方法的一个改进中，在一个另外的步骤中确定处在轮廓上的样本是有益的。在确定样本时考虑图像的图像点的景深信息。在考虑样本的情况下形成多边形，以该多边形至少近似地填满以该轮廓为边缘的平面。在使用该多边形的情况下最后对图像对象编码。

这个改进的一个显著优点在于，在确定样本时通过考虑图像点的景深信息形成具有数学逻辑意义的附加景深信息的附加的样本。该景深信息可以在三角测量的范围内使用。通过与新的数学逻辑耦合的新的样本，借助于纹理映射方法能够实现一个改善的显像。

在一个改进中，为了节省实施本方法所必需的计算时间这是有益的，即在轮廓上确定近似曲线，并且如此规定样本，其处在近似曲线上。

以此实现所需要的计算时间的再节省，即通过轮廓的多边形化确定近似曲线。

为了再节省所需要的计算时间，在二维空间内形成多边形是有益的。

此外，在该方法的一个改进中三角形有益地作为多边形使用，由于多边形的这种形式可以非常简单地计算，因此显著地节省了计算时间。

此外有益地表明，重复实施多边形的形成，同时依据一个可以预先确定的精度等级标准确定，是否确定另外的多边形。在显像各图像点时以这种方式显著改善了可达到的品质。

以此实现显像的一个另外的改善，即与一个图像对象一致的景深信息的曲率作为形成另外的多边形的标准使用。对此，在强曲率值的范围内主要确定小的最大平面，并且在低曲率值的范围内主要确定大的最大平面。以这种方式以少量的大三角尽可能地近似在图像对象中的预先确定的景深区域的平坦的范围，并且以大量的小三角、一般通过大量的小多边形近似强弯曲的范围。

                       附图简述

在图中描述了本发明的一个实施例以进一步详细说明该图。

图示

图1示出了一个流程图，在该图中描述了本方法的各个方法步骤；

图2示出了一个拍摄和处理图像的一个通常的装置；

图3a和3b示范地示出了一个人的图像(图3a)和与此一致的景深图像(图3b)；

图4示出了人的轮廓的图像点的一个简图，也就是说由图3a形成的图像对象；

图5示出了在三维空间内来源于图5的一个多边化的图像对象的简图，也就是说考虑景深信息；

图6示出了一个简图，借助于该简图示范地描述一个多边形化方法；

图7示出了一个与图6一致的分段树形结构；

图8示范地示出了按照从文献[4]中公开的方法的一个三角测量方法的结果；

图9由图3b形成的景深图像的一个梯度图像；

图10示范地示出了一个按照具有一些改进的按照本发明方法的三角测量方法的结果。

                        附图说明

图2指出了一个拍摄和处理图像的装置。多个摄像机Ki(i＝1..n)从不同的角度拍摄一幅画面。在该画面中包含一个图像对象BO，例如一个由摄像机Ki获得的人像P。

用于图像分析的装置A包含一个用于景深估算的单元TS。在这个用于景深估算的单元TS中主要实施附加的预处理步骤，例如摄像机校准、摄像机Ki的透镜失真的补偿、用于图像改善和不一致估算的措施。此外，在这个用于景深估算的单元TS中，其为一个另外说明的图像对象的三维模型的建立确定景深信息，该图像对象包含在图像中。

由摄像机Ki确定的图像Bi通过例如一个传输线的连接V被供给装置A。

为了确定景深信息，也就是说为了确定一个另外详细阐明的景深图像，从要拍摄的图像Bi中确定在一幅画面的空间点和摄像机Ki之间的距离。这例如根据上述已知的由不同的摄像机前视图形成的不一致/景深估算实现。一个可能的不一致/景深估算的方法在[1]中描述。这个方法与另外可选择的方法相比具有这样的优点，通过该方法不仅确定纹理信息，而且确定图像对象BO的景深信息。

对于一个景深图像TB在这个文献的范围内理解为一个具有图像点的数字化图像，其中给图像点各分配一个景深信息，通过该景深信息得出透镜焦点的各个对象点的距离。对于一个深的景深图像TBist理解为一个景深图像TB，其中对于一个给出区域的每个点定义一个景深值。

在这种情况下，即在一幅画面中“新拍摄”一个还没有拍摄的图像对象BO，例如当在前面的图像中被另外的图像点BO覆盖时，对于当时的新图像对象BO必须确定图像对象BO或一部分图像对象BO的三维模型。这例如是以此来实现的，即通过形成差分图像来确定新的图像对象BO，该图像对象还不包含在前面的图像中。这个新的对象BO可能因此在景深图像TB中分段。

在一个用于三维造型初始化的单元SI中对于一个图像对象的每个新的三维模型来说初始化三维的形状参数。这是通过一个另外详细阐明图像对象BO的三角测量实现的。

一个图像对象BO可能包含多个以不同的方式移动的、然而还互相连接的对象，例如人R包含胳膊AM、躯干KP和头H。为了确定这些不同的对象，在一个用于三维移动估算的单元BS和一个用于对象划分与修改三维形状参数的单元OS中实施三维图像对象的移动估算，并且根据移动估算也许图像对象BO被划分为多个小的图像对象，并且修改相应的小图像对象的形状。

在这个用于对象划分的单元OS中基于三维的移动估算确定关于在图像对象的移动中突变点的信息。在这些突变时刻实施把图像对象划分成不同移动的三维图像对象。在对象划分的范围内主要考虑包含在图像Bi中的景深信息和亮度信息，-特别是为了确定不同移动的图像对象的各个图像组成部分的对象边缘。

图像数据存储在一个图像存储器SP中。

在一个用于纹理估算的单元TE中，以拍摄的图像Bi为出发点确定各图像对象的纹理参数。

对在这个装置中确定的对象数据编码，并且把该对象数据例如传输一个用于解码的第二装置A。

在图1中以具有一些改进的方法步骤说明了本方法。

一个自然的画面的一个图像B用作确定一个图像对象BO的一个三维模型的起点，就象例如在图3a中说明的。在图3b中示范地说明同图3a一致的景深图像TB。

如果现在要对于一个确定的区域，也就是说对于一个在图像B中的图像对象BO产生一个三角形网络。则在第一步骤101中，对于该图像对象BO来说主要在景深图像TB中选取一个对象边缘，其此外称作轮廓KO。对此例如使用了从[2]中已知的轮廓追踪法。

在图4中说明了在二维空间内图像对象BO的轮廓KO。

与此相比，图5指出了一个在三维空间内已经多边形化的轮廓。

通过归入景深图像的各个图像点的各景深值的附加接收，在图像点的坐标上获得一个空间轮廓KO。空间轮廓此外称作三维轮廓KO。

用一个折线在三维空间内近似三维轮廓。

一个对此适合的方法公开于文献[7]。为了近似一个三维的曲线，也就是说三维轮廓KO，其在多数的直线中包含n个图像点，形成一个二级的树形结构，该树形结构在直线中包含三维轮廓KO的所有递推的分组。为了通过折线获得三维轮廓KO的最好的表示，彻底地检索这个二级树形结构。在通过一个直线对三维轮廓的所有图像点的完整列表的起始近似后，把该列表分为二个直段，并且分配给在实际和近似的曲线之间最大偏差的点。递推地重复这个近似过程和直段的划分，直到图像点的一个列表每次仅仅包含二个图像点。每个近似值以一个数据结构存储。该结构每次包含原来的近似值分成的二个近似值的坐标。这个递推过程的结果是一个分段的树形结构SB(参见图7)。在该分段的树形结构SB中，在每个阶段中以不断增长的精度的分段来说明全部三维轮廓KO。给在分段的树形结构SB中的每个直段分配一个有效值。该有效值例如通过直段的长度与要近似的曲线的近似值的最大偏差的比确定。在这个分段的树形结构SB中确定关于有效值的最好直段的数量。在分段的树形结构SB的所谓的页面转换的情况下，进行分析，也就是说这样的原理，不再进一步划分直段。如果各自直段的有效值大于在分段的树形结构SB中处于下一级的直段的有效值，则保留该直段，否则用具有一个较高有效值的这样的直段代替该直段。在分析全部的分段的树形结构SB后，用剩余的直段说明最佳的分段。

在图6中说明了一个曲线KV、近似曲线KV的直段的一个完整组和要近似的曲线KV的直段的最大偏差的点。由这组直段形成一个近似曲线AK。在图7中说明了同图6一致的分段的树形结构SB，其中用a，b，c，d，e，f，g分别明确地表示直段。用一个画圈的标记表示具有最大有效值的各个直段。在这种情况下这例如意味着，直段b具有一个不仅比直段d而且比直段e大的有效值。此外这意味着，或者直段f或者直段g具有一个比直段c高的有效值。此外从图7中推断出，或者直段b、直段f，或者直段g具有比直段a大的有效值。对于这种范例情况，从直段b，f，g的组合中得出近似曲线AK。

通过近似曲线AK得出处于近似曲线上的样本，也就是说在第二方法步骤102中确定处在轮廓KO上的样本。在考虑景深信息的情况下，也就是说当在考虑景深信息的情况下确定样本时多边形化的优点在于，与仅仅在二维空间中的多边形化相比该近似曲线AK具有附加的样本，以该样本标记完全的景深改变，这对于三维图像对象BO的显像的一个高质的三角形网络的形成来说有显著意义。

在第三步骤103中，通过抑制近似曲线AK的样本的景深值，该样本这时又转化到二维空间。

对于以这种方式确定的近似曲线AK，在考虑样本的情况下，为以近似曲线AK限制的平面形成多边形，用该多边形至少近似地填满以轮廓KO为边缘的平面104。这例如借助于公开于文献[4]中的三角测量方法实现。仅仅如下修改了这个在[4]描述的方法，即在三角测量中共同考虑了第三维。

一个与一个图像对象一致的景深信息的形式的附加标准作为精度等级标准使用，一个三角形是否应当进一步划分成二个三角形或者不。对此，在强曲率值的范围内确定所使用的三角形的小的最大平面，在低曲率值的范围内确定所使用的三角形的大的最大平面。为了确定景深图像TB中的曲率，可以使用由[3]或一个任意的在[5]中说明的三维边缘滤波器形成的方法。

按照这种方式，以少量的大三角尽可能地近似预先确定的景深区域的平坦的范围，并且以大量的小三角近似强烈弯曲的范围。

此外，在另外的步骤105重新给三角形网络的每个顶点分配由景深图像TB形成的附属的景深值，并且因此在保留网络拓扑的情况下网络重新转化为三维的空间。

为了更好地比较通过公开于[4]的方法可以二维地实现的结果，正如在图8中描述的，在图10描述了一个按照本发明方法的三角测量，该方法作为等级精度标准使用了景深图像TB的曲率，并且因此使用了在图9中描述的景深图像TB的梯度图像GBTB。这明显的可以看出对于显像所必须的范围的一个改善的三角测量，借助于该三角测量确定对象BO的一个景深变化。

在最后的步骤106中，在使用多边形、也就是说三角形的情况下，对图像对象BO编码。

以这种方式产生的网络非常好地适合借助于纹理映射方法的计算机图解的显像，因为

-各个三角形的纹理的分配是非常简单的(二维的三角形网络仅放在自然画面的图像上)；

-不产生可能不分配纹理的三角形。因为仅仅产生清晰可见的三角形；

-通过精度等级标准，其在按照[4]的三角测量的方法中尽可能地避免了非常尖的并且多余的小三角形。

此外，阐明了上面加以说明的实施例一些另外可能性。

所使用的多边形的形式不局限于三角形。一般可以使用任意的多边形填满以近似曲线AK限制的对象平面。

此外使用近似曲线AK不是必须的，而且以多边形填满轮廓KO并且在考虑轮廓KO的图像点的景深信息的情况下在轮廓KO上确定样本同样是可能的。

确定景深信息的形式也不局限于不一致/景深估算。获得必需的景深信息的替换方法例如是加以一定结构的光源、距离读数器，等等。确定景深信息的不同的可能性的概要公开于文献[1]。实施本方法的装置总是具有如此构成的单元，即实施各个方法步骤。

从本发明可以明显地看出，与一个图像对象一致的景深信息的曲率作为多边形形成的一个标准，也就是说一个多边形是否划分为另外的多边形或者不。通过这个优选的方式，实现了一个与已知方法相比图像对象的质量明显改善的计算机图解的显像。

在本文献的范围内引用了以下公开发表的文章：

[1]ISBN 3-540-15119-2，1987，Spinger，第一版，122-164页，Y.Shirai所著的三维计算机图像

[2]ISBN 3-528-06431-5，1992，Vieweg，第一版，254-263页，R.Klette和P.Zamperoni所著的图像处理操作手册

[3]ISBN 3-446-15664-5，1989，第三版，Hansa，137页，P.Haberaecker所著的数字图像处理

[4]由J.R.Shewchuk，Tiangle所著的：Engineer a 2D QualityMesh Generator and Delaunay Triangulator，计算机科技学校，Carnegie Mellon大学，Pittsburgh，PA15213，URL＝http：//www.cs.com.edu/@quake/trepaper/triangleO.html

[5]ISBN 3-540-15119-2，1987，Spinger，第一版，166-174页，Y.Shirai所著的三维计算机图像

[6]M.Bern和D.Eppstein，网格产生和光学三角测量，在Euclidean几何中的计算，1995，第二版D.-Z.Du和F.K.huang，世界科技，47-123页

[7]IEEE Trans.图象分析和机械智能，1995年12月，第17卷12期1140-1153页，P.Rosin和G.West所著的“各种表示中的曲线的无参数分段”。

[8]IEEE计算机图解及应用，1993年9月，16-22页，T.Aklimoto及其他人所著的3D人面模型的自动生成

[9]IEEE计算机图解及应用，1990年11月，33-42页，M.Hall和J.Warren所著的隐式定义平面的自适应多边形化

[10]IEEE计算机图解及应用，1995年11月，35-41页，X.Sheng和I.Meier所著的用于平面模型生成的拓扑结构

[11]US 5 465 323

Claims (26)

1.具有至少一个图像对象的数字图像的编码的方法，

-在该方法中确定图像对象的轮廓，

-在该方法中形成多边形，至少近似地以该多边形填满以轮廓为边缘的平面，

-在该方法中与一个图像对象相应的景深信息的曲率作为多边形形成的标准使用，并且

-在该方法中在使用多边形的情况下对图像对象编码。

2.按照权利要求1的方法，在该方法中，景深信息的曲率越大，当时在这部分景深信息的环境中所形成的多边形的平面选择得越小。

3.按照权利要求1或2的方法，

-在该方法中确定景深图像，并且

-在该方法中通过形成景深图像的梯度确定曲率。

4.按照权利要求1或2的方法，

-在该方法中，确定景深图像，并且

-在该方法中，通过使用一个三维的边缘滤波器确定曲率。

5.按照上述权利要求之一的方法，

-在该方法中，确定处于轮廓上的样本，

-在该方法中，在确定样本的情况下考虑图像的图像点的景深信息，

-在该方法中，在考虑样本的情况下形成多边形。

6.按照上述权利要求之一的方法，

-在该方法中确定轮廓的近似曲线，并且

-在该方法中样本处于近似曲线上。

7.按照权利要求6的方法，在该方法中通过轮廓的多边形化确定近似曲线。

8.按照上述权利要求之一的方法，在该方法中在考虑图像点的景深信息的情况下实现图像对象的轮廓确定。

9.按照上述权利要求之一的方法，在该方法中从部分近似曲线的起始矢量或者终端矢量中得出样本。

10.按照上述权利要求之一的方法，在该方法中在二维的空间内实现多边形的形成。

11.按照上述权利要求之一的方法，在该方法中三角形作为多边形使用。

12.按照上述权利要求之一的方法，在该方法中以一个叠代的方法实现多边形的形成，在这个方法中根据一个可以预先确定的精度等级标准确定，是否确定另外的多边形或者不。

13.按照权利要求12的方法，在该方法中多边形的面积和/或多边形的内角作为精度等级标准使用。

14.具有至少一个图像对象的数字图像编码的装置，具有一个微处理器单元，其是如此建立的，即

-确定图像的轮廓，

-形成多边形，至少近似地用该多边形填满以轮廓为边缘的平面，

-与一个图像对象相应的景深信息的曲率作为多边形形成的标准使用，并且

-在使用多边形的情况下对图像对象编码。

15.按照权利要求14的装置，在该装置中如此建立微处理器单元，景深信息的曲率越大，当时在这部分景深信息的环境中所形成的多边形的平面选择的越小。

16.按照权利要求14或15的装置，在该装置中如此建立微处理器单元，

-确定景深图像，并且

-通过形成景深图像的梯度确定曲率。

17.按照权利要求14或15的装置，在该装置中如此建立微处理器单元，

-确定景深图像，并且

-通过使用一个三维的边缘滤波器确定曲率。

18.按照权利要求14至17之一的装置，在该装置中如此建立微处理器单元，

-确定处于轮廓上的样本，

-在确定样本的情况下考虑图像的图像点的景深信息，

-在考虑样本的情况下形成多边形。

19.按照权利要求14至18之一的装置，在该装置中如此建立微处理器单元，

-确定轮廓的近似曲线，并且

-样本处于近似曲线上。

20.按照权利要求19的装置，在该装置中如此建立微处理器单元，通过轮廓的多边形化确定近似曲线。

21.按照要求权利14至20之一的装置，在该装置中如此建立微处理器单元，在考虑图像点的景深信息的情况下实现图像对象的轮廓确定。

22.按照要求权利14至21之一的装置，在该装置中如此建立微处理器单元，从部分近似曲线的起始矢量或者终端矢量中得出样本。

23.按照要求权利14至22之一的装置，在该装置中如此建立微处理器单元，在二维空间内实现多边形的形成。

24.按照权利要求14至23之一的装置，在该装置中如此建立微处理器单元，三角形作为多边形使用。

25.按照权利要求14至24之一的装置，在该装置中如此建立微处理器单元，以一个叠代的方法实现多边形的形成，在这个方法根据一个可以预先确定的精度等级标准确定，是否确定另外的多边形或者不。

26.按照要求25的装置，在该装置中如此建立微处理器单元，多边形的面积和/或多边形的内角作为精度等级标准使用。

Images