CN1168056A

CN1168056A - 图像分割方法

Info

Publication number: CN1168056A
Application number: CN97110768A
Authority: CN
Inventors: A·伊本塞; S·西格尔科; R·R·格里盖特
Original assignee: Philips Electronics NV
Current assignee: Entropic Communications LLC
Priority date: 1996-04-19
Filing date: 1997-04-18
Publication date: 1997-12-17
Anticipated expiration: 2017-04-18
Also published as: DE59712814D1; EP0802680A2; DE19615493A1; CN1106765C; EP0802680B1; JPH1069544A; JP4123539B2; EP0802680A3

Abstract

为了达到以最大的数据压缩对图像进行面向目标的编码，特别是对色度值编码，一种对图片信号进行图像分割的方法，其中，在图像范围内，将该图像分成由相邻像素所组合的区域，其特点在于：利用像素的色度值为构成区域；图像中具有相似色度值的那些相邻的像素被组合成相关的区域；一个区域中的所有像素具有共同的色度值。

Description

图像分割方法

本发明涉及图片信号的图像分割方法，在该方法中，在图像范围内，将图像分割成多个区域，在这些区域中，将相邻的像素组合。

这种图像分割的方法被用于所谓的面向目标的编码技术中。与被用于MPEG2编码方法中的图像的几何分区和单个几何元素的顺序编码技术不同，面向目标的编码试图参考图像内容来划分该图像，因此，是参考该图像中所显示的目标来对该图像进行划分的。这种方法具有如下的优点，即，在块与块之间的交界处所产生的结果不会是紊乱的，因为，它们与各目标的边界重合。

例如，Proceedings of the IEEE，vol.83，No.6，pp.843-857，June1995上由Philippe Salembier，Luis Torres，Femand Meyer，Chuang Gu所写题目为“使用数学形态学的基于区域的视频编码技术”一文，公开了面向目标编码的图像分割方法。在这种已知的方法中，是根据图像内容的亮度值来分割图像。

本发明的目的是提供一种图像分割的方法，使用该方法可以获得更高的数据压缩，并且在该方法中，数据编码和解码之后，这种分割几乎看不出来。

按照本发明，该目的是这样实现的，即，利用像素的色度值来构成区域，把具有相似色度值的相邻的像素组合到相关的区域，并且为某一区域的各像素提供共同的色度值。

本发明是基于这种认识，即通过面向目标的编码和先进的图像分割技术，特别是由于像素的色度值被用来作为形成各区域的核心值，所以可以获得比已知方法更高的数据压缩。由于人眼对于彩色色质的敏感度要比对亮度信息的敏感度小得多，所以这样做是有可能的。因此，该技术可以通过以下这种方法来实现，即，为每一个区域只提供属于区域的所有像素的一个色度值。为了这一目的，把那些在预定限度以内具有相似色度值的相关的相邻像素组合到一个区域。因此，只有一个色度值被用于某一区域的所有像素，因为上述提到的相关性，所以这是有可能的。

在这一过程中，人眼被完全地迷惑了，并且对于彩色信息可以获得300到600倍的压缩。应该指出，这并不会导致色彩边界的任何轮廓不清或类似的现象，这是因为不同颜色之间交界处的边界构成不同区域之间的边界，因此是被精确地定义的。细微的颜色差别只被抑制在相似颜色的区域中。人眼对于这些细微的差别是不敏感的。

根据本发明的实施例，其特点在于，被指定到某一区域上的色度值可与被指定到该区域上像素的原始色度的平均值相对应。因此，可以从属于这一区域的像素的原始色度值获得该区域的色度值的最小平均差。

如果必要的话，不仅可以利用像素的色度值构成区域，而且也可利用像素的亮度值来构成区域，但是根据本发明的另一实施例，亮度值须被加权，使之弱于色度值以获得上述的优点。

在本发明的另外一个实施例中，并且是在极端的情况下，仅利用像素的色度值来构成各区域。由此获得色度值的最大的数据压缩，没有干扰亮度值的精细的再现。

在本发明的另外一个实施例中，利用某一区域的所有像素的共同的色度值来构成该区域是用以下方法、分两个步骤来完成的，在第一步骤中，利用像素的色度值和亮度值构成中间区域，在第二步骤中，再根据中间区域形成各区域，其方法是这样的，把中间区域组合成为一些区域，即，把具有相似的色度值的中间区域组合成为具有共同的色度值的共同区域。

在这种两步骤方法中，其结果同样也是参考像素的色度值来构成区域。

例如，在第一步骤中，用已知的方法，即利用像素的色度和亮度值来构成某一区域。然后得到与这两个值有关的分割。只根据它们的色度值来组合中间区域，以使得在可预定限度内具有相似色度值的中间区域可以被组合成为共同区域。在该共同区域中的所有像素具有同一个色度值。

这种两步骤的方法具有以下优点，在第一步骤中，区域的构成甚至可以更加可靠地覆盖目标边界，因为在这些边界上同时利用了亮度值。在构成区域方面，用这种方法所构成的中间区域被再次组合以便最后获得减少区域数量和数据量的理想效果。

根据本发明分两步来构成区域的这种方法的变型，本发明的另外一个实施例的特点在于：在第一步骤中，先对连续图像中图像I_n和后续图像I_n+1的中间区域进行移动预测；参考利用移动预测所确定的每一中间区域的移动向量来确定图像I_n+1的中间区域的新位置；接着，修改属于每一移位后的中间区域的图像I_n+1的像素；把没有被这些修改过的中间区域所覆盖的图像I_n+1的像素指派到这些中间区域中的一个，或指派到新构成的区域中，接下来在第二步骤中，这些中间区域被组合成为区域。

原则上，在每一图像中，第一步骤中最初构成的中间区域没有必要被重新产生。由于连续图像的图像内容一般来说非常相似(除了摄像机变化，场景变化或类似变化以外)，所以有可能在移动预测的基础上再描摹接着的图像的区域，甚至当该图像中的这一区域的位置已经发生了变化时也一样。这一区域不需要被重新构成，因为它已经通过移动预测进行了再描摹，而它的数据可以从前一图像中被照搬过来。这样就减少了用于计算机运行的编码量，从而减少了计算时间。在连续图像中用这种方法迭代的中间区域被组合成为用上述方法构成的区域，其中具有相似的色度值中间区域被合并为只有一种色度值的共同区域。

对于这种在中间区域的迭代中利用移动预测的两步骤的方法，本发明的另外一个实施例特点在于：对于图像I_n+1中的连续图像，在描摹前一图像I_n中被组合到指定区域的中间区域的同时，利用移动预测再描摹在图像I_n和图像I_n+1之间移动的中间区域；努力将这些中间区域与相同的指派的区域合并；以及那些在所述第一次提到的合并中失败的中间区域将与其他区域或新区域进行合并。

在连续图像中，一般还通过利用移动预测进行中间区域迭代的方法，在后续图像中重新找到与某一区域合并的中间区域。同样，当中间区域与各区域合并时，有可能把在该图像中移动的相同的中间区域与连续图像中的共同区域再次合并。这种操作步骤还具有如下的优点，即，中间区域可以被再描摹，并且这些区域与所述区域之间的合并可以用与前一图像相同的方法来进行。它不需要新的计算。对于那些在这次操作中失败的区域，例如，由于在图像内容中不存在中间区域或由于出现新的中间区域，则那些操作失败的区域将与其他区域合并，或者构成一个或多个新区域，然后可以把剩余的中间区域与构成的新区域合并。

根据本发明的另外一个实施例，利用链式码来对区域的形状进行编码，其中，将区域边界的起始像素的位置完全编码，并且，其中，从起始像素开始，用这样的方法对区域边界其他像素的位置连续地编码，即，只根据相关的像素是处于先前被编码像素的上，下，左，右的位置对所述相关的像素进行编码。

除了就像素亮度和色度来对像素编码以外，对分割的格式进行编码也是需要的。利用链式码可以实现对区域形状的节省数据方式的编码。在这种情况下，只需要对一个起始像素的位置的完整的标志进行编码。这个起始像素位于区域的边界上，从这个起始像素开始，对于在区域边界上与该起始像素相邻的每一其他像素，只对一个相邻的像素进行编码。根据其所处位置是在起始像素的上，下，左，右，来对与起始像素相邻的像素进行编码。对于每一个在区域边界上相邻的像素反复使用这种方法，直到用这种方法对在该区域边界上的所有像素都进行了编码为止。除了起始像素以外，对于区域边界上的每一个像素，两位的编码就足够了。

将参考下文叙述的实施例阐述本发明，根据这些阐述可以明白本发明的这些以及其他方面。

附图中：

图1是两步骤分割法的方框图，

图2显示图像两步骤编码的例子，

图3显示如图2所示的例子，图3中示出完成移动的图2图像的迭代图像，

图4显示与图1相对应的方框图，其中为了在连续图像中构成中间区域以及该区域的迭代，而进行另外的移动预测。

图1用图解的方法显示两步骤编码的过程。在更简单的两步骤编码的情况中，不考虑连续图像的图像内容。根据图1，包括一个图像或若干连续图像的图像内容的信号I最初被加到第一级电路上，在第一级电路中对图像内容的一部分进行中间分割。例如通过已知的方法，即同时考虑图像内容中的像素的亮度值和色度值的方法可以实现这种分割。该方框提供标号图像的输出信号，其中，中间区域i的所有像素都用编号i来表征。

所述中间区域的这些数据在另一电路方框2中被处理，处理方法是检查该区域像素的色度值。将可能存在这样的中间区域，该中间区域的像素具有相似色度值。然后这些中间区域将被合并成区域。每一区域的所有像素只具有一个色度值。图1中的电路方框2从其输出端提供这些区域的数据S。

下面将参考图2对这种根据色度值构成区域的两步骤方法加以说明。

图2A显示具有用该方法的第一步骤可获得的中间区域的图像。图2B显示根据色度值所构成的最终区域。

在图2A中，已经构成了关于人体半身像的大量的中间区域。已经构成了关于人的头部11的六个中间区域，特别是关于面部皮肤的中间区域10，关于鼻子的中间区域12，关于人的嘴的中间区域13。

在胸部14共形成了七个中间区域，特别是关于人的胳膊或衣袖的区域，关于胸部的右边部分的区域16。区域16包括了另外一个中间区域17，例如，该区域表示夹克16上的一个扣子。

这些中间区域是根据图像内容的亮度值和色度值而形成的。为了达到更高度的数据压缩，特别是色度值的数据压缩进行了根据本发明的构成区域的合并，如图2B所示。图2B所示的这些区域的构成可以立刻从原始图像产生，而不需要通过如图2所示的两步骤的方式。

尤其是，图2B显示，比较这些中间区域，可以节省关于头部区域的两个区域。代表其他面部内容的中间区域10被指派到鼻子的中间区域12和嘴的中间区域13。图2B中已经从这三个中间区域10，12，和13构成了区域21，区域21的所有像素具有一个共同的色度值。例如，可以通过求区域10，12，和13的色度值平均值，产生这个色度值。与此相似，在胸部，区域15，16和17已经合并成新的区域22。与面部区域相似，这种合并是可能的，因为中间区域15，16和17具有相似的色度值。在这个例子中，涉及夹克上的不同部分，它们不是通过色度值而是通过亮度值来加以区别。

在相应的方法中，在胸部，通过对图2A中代表人领带的两个中间区域18和19的合并可得到对数据的进一步的压缩。从此，这条领带被公共区域23所代表。

图2B中显示了所述结果，图中，描绘了所构成的区域。他们代表具有相似的色度值的图像内容。为了对该图像数据进行编码，构成该区域是有用的，因为，一方面，通过这种区域的构成，显示了图像中不同目标的边界，另一方面，由于构成这些区域的缘故，已经得到了相当可观的色度值的数据压缩。在接下来的编码过程中，只需用适当的方法对像素的亮度值进行编码。

图2中，在图像范围内进行两步骤编码，而没有考虑先前或后续图像的图像内容。

参考图2和图3，将显示一种方法，该方法考虑了连续图像的图像内容，并且显示了这种方法是如何对中间区域和区域的构成产生影响的。

图3A显示与图2A相似的图像内容。图3A显示的图像内容与图2A中图像的后续的图像有关。为了根据图3A构成该图像的中间区域，需在移动预测的基础上对图2A中所构成的中间区域进行迭代。通过这种移动预测，可以再次找到所示例子的大多数的中间区域。在图2A和图3A所显示的例子中，所显示的人物几乎是不动的。根据移动预测，如果人物已经移动，例如，从左半图像移动到右半图像，则将有可能出现中间区域的迭代。

在图3A所显示的例子中，除了图2A的中间区域17以外，所有的中间区域可以被再次找到。图2A的中间区域17不能被找到是因为一张纸已经移到人的胸前，该张纸已经在图3A所显示的图像分割中组合成为新的中间区域31。而且，胳膊在图3A所示的图像中已经出现，其衣袖被组合成中间区域32，手被组合成中间区域33。

结果，关于图3A中所显示的图像，只须新构成三个中间区域31，32和33。其他中间区域可以从图2A中照搬过来。由于中间区域10到16，以及18和19可以照搬，以致大大地降低了计算量。

图3所示的区域也是根据像素的色度而构成的，仍然力图再描摹前一幅图像中所构成的区域并把它们照搬过来。例如，从图2所示前一图像的分割过程中，已经知道，中间区域12，13和10可以被合并成为一个新的共同的区域21。对于具体图3所示的后续图像，为了构成区域，这种过程可能被重复进行。而没有必要单一检查中间区域或其像素的色度值。对于图3B所示区域的后续图像，由于与图3A所示的相关中间区域10，12和13已被再次找到，所以这一分区被自动地从前一图像照搬过来，因此，对于图3所示的后续图像，也可同样照搬由这些中间区域所合成的共同区域21。

从根本上来说，在图3所示图像中，也有可能将中间区域15和16合并成为一个新的区域22来作为图2所示图像的后续图像。然而，中间区域17已经被删除，因此不能被指定到这个区域22中。而一个新的区域31已经出现，该区域不能被指定到任何其他中间区域，因此，形成一个新的区域42。其原因是，例如，那张纸的颜色与其周围的颜色明显地不同，因此，不能将其特别指定到区域22中。

由于额外出现具有由衣袖所构成的中间区域32的胳膊，从图2区域20被照搬过来的中间区域20可以被合并成为图3中的一个新的区域41。手33的颜色与周围区域的颜色不同，以致于该中间区域33必须构成一个新的区域43。

结果，图3显示出在第一步骤和第二步骤中，为分割图3A中的图像，可以考虑先前图像和在这个图像或区域中所形成的中间区域的图像内容。由于可以从先前图像中照搬相关的数据，因此，对于许多区域和中间区域的新的计算是没有必要的。

图4显示了如何进行这种两步骤分割的方框图，其中，考虑了先前图像的图像内容。

在图4中，连续图像I_n和I_n+1等的数据被一个接一个地加在电路51上。与图1电路相似，在电路51中，中间区域被构成。然后所产生的输出数据通过延迟电路52被再次加到电路51上，例如，由先前图像I_n所确定的中间区域可用于图像I_n+1，并且它们的数据可用来进行移动预测。

其中与图1中电路2相似，电路51位于电路53之前，以构成区域。然而，与图1所不同的是，在图4中，中间区域和先前图像的区域没有被考虑。电路53的输出也提供了中间区域构造一个区域的数据。从电路53的输出所提供的图像区域数据被延迟电路所延迟，以便于，例如，由先前图像I_n所构成的区域可用于构成图像I_n+1中的区域。

图4也显示了对区域的格式和布置进行编码并且将其作为区域数据S输出的电路55。这种对区域数据的编码指明其位置，大小等。在这种情况下，对于使用指明区域边界的所有像素位置的所谓链式码是有利的。从一个起始像素开始，其位置在所有编码格式中被传送，其周围像素的上，下相关位置到周围每一像素的左右相关位置都被传送。

图4还示出电路56，在该电路中对颜色数据进行编码。由于区域的分割，特别是区域的构成先前已经被完成，即所有属于一个区域的像素只具有一个共同的色度值，所以，每一个区域只需要一个编码。因此，电路56例如，为每一区域产生一个色差对UVc，该信号指明一个区域中的所有像素的编码颜色信息。

另外，配备电路方框57，它以编码的形式提供像素的亮度值作为信号Yc。为了对亮度值编码，如果需要，可以利用中间区域和区域二者的数据。对于亮度信息，也许不得不用更加细致的方法对单个像素的值进行编码，因此不是区域的所有像素都用同一亮度值进行编码。

参考电路51到54所显示的图解，图4显示了根据本发明的图像分割。电路57所进行的图像内容的编码不是本发明的部分。

Claims

1.一种对于图片信号的图像分割方法，其中，在图像范围内，将该图像分成由相邻像素所组合的区域，其特征在于：利用像素的色度值来构成区域；图像中具有相似色度值的那些相邻的像素被组合成相关的区域；一个区域中的所有像素具有共同的色度值。

2.根据权利要求1的方法，其特征在于：一个区域的共同的色度值对应于被指定到该区域上的像素的原始色度值的平均值。

3.根据权利要求1或2的方法，其特征在于：为了构成区域，将像素的色度值加权，使得它比亮度值强。

4.根据权利要求1或2的方法，其特征在于：仅仅用像素的色度值来构成区域。

5.根据权利要求1到4中任一项的方法，其特征在于：分两个步骤来完成所述区域的构成，该区域的所有像素具有共同色度值，在第一个步骤中，利用像素的色度值和亮度值来构成中间区域，在第二步骤中，根据该中间区域，通过以下的方法来构成所述区域，即中间区域被组合成区域，具有相似色度值的中间区域被组合成具有共同色度值的共同区域。

6.根据权利要求5的方法，其特征在于：在第一步骤中，对于连续的图像，在图像I_n和后续的图像I_n+1中进行中间区域的移动预测

通过移动预测，参考为每一中间区域所确定的移动向量来确定图像I_n+1的中间区域的新的位置；接着，修改图像I_n+1中属于每一被替代的中间区域的后续像素；图像I_n+1中没有被所述修改后的中间区域覆盖的像素被指派到所述中间区域或新构成的中间区域中的一个；接着在第二步骤中，这些中间区域被组合成各个区域。

7.根据权利要求6的方法，其特征在于：对于图像I_n+1中的连续图像，在描摹前一图像I_n中被组合到指定区域的中间区域的同时，利用移动预测再描摹在图像I_n和图像I_n+1之间的移动中间区域；努力把所述中间区域与相同的指派的区域合并；对于在所述第一次合并中失败的那些中间区域，将把它们与其它区域或新的区域合并。

8.根据权利要求1到7中任一项的方法，其特征在于：通过一对色差值U，V来表示每一区域的色度值并对其编码。

9.根据权利要求1到8中任一项的方法，其特征在于：利用链式码对区域的形状进行编码，其中该区域边界上起始像素的位置完全地被编码，并且，其中，从起始像素开始，用这样的方法对区域边界其他像素的位置连续地编码，即，只根据相关像素是处于先前被编码像素的上、下、左、右位置对所述相关的像素进行编码。