CN1370309A - 数字图像分段的方法和装置 - Google Patents

Abstract

图像片段使用一种或多个技术精确地分割图像,其中包括使用渐进涌出填充过程以填充不完全有界的片段,使用多个等级的变换并且用另一等级的分段结果指导一个等级的分段,使用多个彩色平面合成的合成图像检测边缘,使用多类边缘像素产生边缘链,使用多个等级变换产生边缘链,和/或根据在另一等级处检测到的边缘过滤一个等级处的伪边缘。

Description

数字图像分段的方法和装置

                    相关申请的交叉引用

本申请要求1999年6月1日提交的美国临时专利申请号60/139,134的优先权，为了所有目的其揭示的内容通过引用全面结合于此。

                           技术领域

本发明一般涉及图像处理，尤其涉及根据图像的像素彩色值将图像自动分成片段时图像分段的问题。

                           背景技术

图像分段是将图像分割成一组不重叠的部分或片段的过程，这些部分或片段一同组成完整的图像。图像分段可用于许多应用，其中之一是机器学习。

在机器学习中，将图像分成一组片段，将来自该图像或其它图像的指定片段和该组片段比较。当机器成功地使指定片段和分段图像中的一个或多个片段匹配，那机器就得出适当的结论。例如，图像分段可用于识别畸形的血细胞，以诊断如镰状细胞贫血的血液病。在该实例中，指定片段是病变的血液细胞。通过对给定图像中符合的片段进行计数，可以确定病人血液的相对健康。其它应用包括压缩和根据区域分段处理图像区域的过程。

如这里所用的术语，图像是从多维信号得出的数据。信号可以自然或人工起源或产生。该多维信号(其中维数可以是1、2、3或更多)可以表示为像素彩色值阵列，使得位于阵列中并根据每个像素彩色值着色的像素能够表示图像。每个像素都具有位置，并且可以被认为是该位置处的一点或填充像素周围区域的一种形状，使得图像中的任何一点都可被认为是在像素区域“中”，或被认为是像素的一部分。图像本身可能是显示屏上、打印页面上的多维像素阵列、存储在存储器中的阵列、或发送的用于表示图像的数据。多维像素阵列对于二维图像可以是二维阵列，对于三维图像可以是三维阵列，或其它的维数。

图像可以是实际空间或平面的图像，或者是模拟和/或计算机所产生空间或平面的图像。在计算机制图技术中，常用的图像是计算机所产生三维空间(如三维空间中物体和光源的几何模型)的二维视图。图像可以是单个图像或是以适当时间次序配置、形成移动图像的多个图像之一，这里称为视频序列。

当图像被分段时，由多个片段表示该图像。包括整个图像的单个片段的退化情况存在于这里所用片段的定义中，但是典型分段将图像分成至少两个片段。在很多图像中，分段将图像分成背景片段和一个或多个前景片段。

在一种分段方法中，将图像分段，使得每个片段表示一个图像区域，其中像素彩色值在片段内大约均匀，但在图像边缘处显著地变化。在该实施中，连接区域，也就是说可以将一个接一个的像素从区域中的任何一个像素移动到区域中的任何其它像素，而不出该区域。

可以从任何数量的像素彩色空间中选择像素彩色值。一种常用的彩色空间熟知为YUV彩色空间，其中用三元组(Y，U，V)描述像素彩色值，其中Y分量指灰度级强度或亮度，U和V指两个色度分量。YUV彩色空间在电视应用中较常见。另一常用彩色空间是指RGB彩色空间，其中R、G和B分别指红、绿和蓝彩色分量。RGB彩色空间在计算机制图表示法中较常见，以及计算机打印机常用的CYMB(青，黄，红、黑)。

图1中显示了图像分段的一个实例。其中图像10是背景15上的衬衫20。根据彩色可以将图像分成片段(图1中衬衫20的阴影表示不同于背景15颜色和口袋70、80颜色的颜色)。因此，在该实例中背景15、衬衫20、纽扣30、40、50、60和口袋70、80被分成独立的片段。在该实例中，如果每个片段都具有非常明显的颜色并且图像10中的物体在像素边界处清楚地结束，那么分段就是一个简单的过程。然而，一般产生精确的图像片段是一个困难的问题，并且关于该问题还有许多尚未解决的研究，例如在“计算机图像”研究领域中。分段通常较困难的原因是典型的图像包括各种源引入的噪声以及图像还包括具有非严格定义边界的区域，这些资源包括但不限于实际设备捕获图像时的数字化过程。

有几种方法可以执行图像分段任务，一般可分为以下几组：1)基于直方图的分段；2)基于传统边缘的分段；3)基于区域的分段；和4)混合分段，其中几种不同的方法可以组合。以下描述这些方法中的每一种。

1.基于直方图的分段

基于直方图技术的分段依赖于确定每个片段的彩色分布。该技术只使用图像的一个彩色平面用于分段，通常是亮度彩色平面(也称为图像的灰度级部分)。为了执行该方法，处理器产生该平面中像素彩色值的直方图。直方图是带有一系列“区间”的图表，每个区间表示沿一条轴排列的值的范围，和沿另一轴显示的每个范围中的值的出现总数。通过假设每个片段中的彩色分布大致是高斯、或钟形分布，并且整个图像的彩色分布是高斯分布的总和，直方图可用于确定每个片段中的像素数目。基于直方图的技术试图通过变化区间的大小，也就是增加或减小值的范围并寻找高或低的点，以恢复独立的高斯曲线。一旦确定了分布，那么就将每个像素分配给具有其对应亮度范围的片段。

直方图方法中伴随着误差。彩色分布是高斯分布的基本假设最多只是一个猜想，它对于所有的图像不是都精确的。此外，同样亮度的两个分离区域会被认为是相同的片段。此外，直方图恢复的高斯分布是不完整的，其中它们在端点处被截断，因此去除了一些像素。此外，该分段方法只是半自动的，其中该方法需要事先已知片段数目，并且所有的片段都是大致相同的大小。

2.基于传统边缘的分段

基于传统边缘的分段使用彩色或灰度级亮度之差，以确定勾画图像中各种区域的边缘像素。该方法通常假设当识别边缘像素时，边缘像素完全包围图像中的不同区域，因此指出片段。然而，由于图像中的噪声或其它人为现象，传统边缘检测技术通常不能识别实际为边缘像素的所有像素。如果遗漏了一些边缘像素，那么可能将一些多个不同区域误识别为单个区域。

3.基于区域的分段

基于区域的分段试图检测相同的区域，并将它们指定为片段。一类基于区域的方法从图像中较小的均匀区域开始，并尽力合并彩色值相当接近的相邻区域，以形成较大的区域。相反，另一类基于区域的方法从整个图像开始，并试图将图像分成多个相同的区域。这两种方法都使得在不符合一些均匀性要求的区域处图像被分割。

第一类基于区域的分段方法限制于依赖分割原始图像的方法逼近片段边缘的情况。第二类基于区域的方法的问题是产生的片段将相对于实际基本片段而变形。

4.混合分段

混合技术的目标是从以上多个分段过程中组合过程，以改进图像分段。大部分混合技术是边缘分段和基于区域分段的组合，其中先用一个过程将图像分段，再用另一个过程。混合技术试图产生优于只有单个过程的分段。然而已经证明混合方法需要大量的用户指导和事先已知被分段的图像，因此使他们不适于全自动分段的应用。

                          发明内容

本发明解决了很多以上分段过程的问题。在根据本发明一个实施例的图像分段器中，图像分段器使用一种或多种技术将图像精确地分段，包括使用渐进涌出填充过程以填充不完全有界的片段，使用多个等级的变换并且用另一等级的分段结果指导一个等级的分段，使用多个彩色平面合成的合成图像检测边缘，使用多类边缘像素产生边缘链，使用多个等级变换产生边缘链，和/或根据在另一等级处检测到的边缘过滤一个等级处的伪边缘。

通过参考说明书的剩下部分和附图将进一步理解这里所揭示本发明的本质和优点。

                          附图说明

图1是显示简单的图像分段过程的图像。

图2是图像分段的装置的框图。

图3是其中可能使用分段图像的系统的框图。

图4是包括图像和相关片段数据的数据流的示意图。

图5显示了分段列表如何显示相应的图像。

图6显示了黑白图像像素的图像中的边缘像素。由较小的、较淡阴影像素表示的边缘像素位于黑白图像像素之间。

图7显示了两个图像像素片段之间的边缘链。

图8显示了使用渐进刷分段的图像。

图9是在边缘链两侧部分填充的图像的示意图。

图10显示了三种彩色分量的任一种中的像素梯度。

图11显示了带有图像像素、边缘像素和边缘的图像。

图12显示了使用梯度技术确定强边缘像素的过程。

图13显示了使用梯度技术确定弱边缘像素的过程。

图14显示了使用拉普拉斯技术确定强边缘像素的过程。

图15显示了带有图像像素和识别出的边缘像素的图像，边缘像素包括强边缘像素和弱边缘像素。

图16显示了在产生的边缘链中的边缘像素中的选择过程。

图17显示了在较小的间隙上延伸边缘链的过程；图17(a)显示了带有间隙的两个边缘链；图17(b)显示了已被填充的间隙。

图18显示了连接来自多于一个等级的边缘链的过程；图18(a)显示了来自粗略等级的边缘链；图18(b)显示了来自精细等级的边缘链；图18(c)显示了它们的组合。

图19显示了边缘链的延伸过程；图19(a)显示了边缘链延伸之前的图像；图19(b)显示了边缘链延伸之后的图像。

图20(a)-(e)是具有各种程度的边缘链过滤的图像。

图21(a)-(c)显示了在视频帧上边缘链过滤的过程。

                      特殊实施例的描述

分段是将数字图像分割成被称为图像“片段”的分量的过程。在基于彩色值的分段过程中，如图1所示并如背景中所述的，每个片段表示图像中彩色值的根本或明显变化所界定的区域。在这里详细描述的很多实例中，图像表示二维信号，但是本领域熟练的技术人员在阅读了这里所揭示的内容之后应该理解这里所述的方法和装置可适用于其它维数。

图2是包括分段器100的系统的框图，分段器根据本发明的一个实施例产生图像的片段界定。分段器100接收它的输入图像数据102，并输出片段列表104。图像数据102和片段列表104的格式可以根据图像的性质、它的存储要求和与分段过程无关的其它处理而变化，但是图像数据102存储的一种形式是像素彩色值阵列，可能是压缩的，并以多种可能的工业标准图像格式的一种存储，这些格式如原始数据、位图、MPEG、JPEG、GIF等等。在存储器中，图像数据102可能作为二维阵列值存储，其中每个值都是像素彩色值。像素彩色值可以具有几个分量。例如图像可以是1024×768阵列的像素，每个像素的彩色值由0到255变化的三个(红、绿。蓝)分量值表示。片段列表104的格式可以作为中像素(以下将参考图6而定义)或包括每个片段边界的图像像素的游程编码有序列表而存储。

所显示的分段器100包括被认为是保存图像数据的帧缓冲器110，保存关于识别出的或将被识别的片段数据的片段表112，和处理器114，它在帧缓冲器110上工作并根据分段器100提供的程序指令116产生片段数据。以下将描述程序指令116的几个方面，它可以包括对应于分段的一些或所有方法和过程，并支持这里所述分段的程序指令。

图3显示了其中可以使用片段列表104的系统。如这里所示，图像产生器200产生图像，可能使用传统的图像产生或图像捕获技术，并将表示图像的数据作为图像数据102存储。如图2中分段器100的分段器用于产生如上所述的片段列表104。图像产生器200向片段字段产生器201提供片段列表104，该产生器产生每个片段的数据。这种数据可以包括标签、可按链接(如统一资源定位器，或“URL”)和其它不是必须从图像中提取的但与图像片段关联的数据。

图像数据102、片段列表104和片段字段都作为网页存储，并由网络服务器202提供服务。然后，浏览器206或其它网络客户机(未图示)可以从因特网204上的网络服务器202中检索该图像和相关的数据。

现在参考图4，图4中显示了图像数据和相关数据的排列可以如数据信号一样被发送。在该实例中，将图像数据250作为信号(可能以工业标准格式)发送，其后跟着片段列表260和片段字段270。

图5显示了特别简单的图像及其所得的分段。如图所示，图像500包括三个片段，两个多边形的前景片段和一个背景片段。分段器100处理图像500，以产生片段列表510。如图中所示，标有“片段号1”的片段表示背景片段，标有“片段号2”的片段表示点A、B、C、E和D之间的多边形(以A点封闭多边形结束)所界定的前景片段，标有“片段号3”的片段表示点F、G、K、J、I和H之间的多边形(以F点封闭多边形结束)所界定的前景片段。当然，被分段的典型图像通常不能被容易地确定，所以需要这里所述的一些或所有方法，以正确地识别片段边界。

如这里所用的，术语“中像素”是指相对于图像像素位于图像中的逻辑点。片段的边缘从中像素运动到中像素，因此在片段两侧分离图像像素。中像素最好不要和图像像素位于相同的点，而是落在图像像素之间。虽然不需要中像素精确地位于四个互相邻近的图像像素所确定矩形的中心(或非矩形的图像像素阵列上互相邻近的图像像素所确定的其它最小多边形)，但在没有一般性的损耗的情况下，为了排列的简化位于中心的中像素是较佳的。

图6中显示了这种排列，其中图像600包括图像像素如图像像素602、和图像像素之间的中像素604。显然，如果规定边缘以从上到下或从下到上的次序连接所有的中像素604，那么边缘将分离边缘左侧的图像像素和边缘右侧的图像像素。

如果中像素是边缘的一部分，或假设它是边缘的一部分，那么它被称为边缘像素。因此，边缘就是边缘像素链，片段的图像像素可以由包围这些图像像素的边缘链界定。在一些情况下，片段包括正好位于边缘上的图像像素。当图像像素正好落在两个片段之间的边缘上时(如可能出现的对角线边缘和中心边缘像素)，可以使用各种连接分离程序中的一种或多种，以确定图像像素应该属于哪个片段。如这里更全面解释地，边缘像素是图像中像素彩色值遭遇相当大变化的近似点。

以下描述的分段过程包括几个步骤顺序。不是所有的步骤都需要执行，执行的步骤也无需按列出的次序执行。最初描述的顺序是：

1)渐进涌出填充-使用变化的刷子大小，渐进地填充可能不完整界定的区域；

2)多等级分段-产生原始图像的多个“等级”变换，并使用来自一个等级变换的片段指示另一等级的分段；

3)合成边缘检测-使用多个彩色平面合成物的合成图像检测边缘；

4)多类边缘的链接-使用多类边缘像素产生边缘链；

5)多等级边缘的链接-使用来自多个等级的信息，产生边缘链；

6)边缘链过滤-使用上下文中的各种边缘特征，如多等级、视频排序、动态等级，过滤外部的边缘链。

现在将参考需要的附图，更详细地描述以上步骤，之后，是一些上述步骤特殊作用的组合。

1.渐进涌出填充

渐进涌出填充过程从可能不完整的边缘链中产生封闭的片段边界。该过程假设图像带有至少一些边缘链，其中边缘链是边缘像素的有序列表，边缘像素与接近有序列表的边缘像素之间的线段逻辑连接。可以用多个方法产生特定图像的边缘链，包括这里所述的边缘链产生过程。图7显示了边缘链650的实例。边缘链650由六个边缘像素652和连接边缘像素的线段确定。

一般，以下所述的渐进涌出填充过程使用一系列刷子从大到小“填充”预期的片段。刷子是逻辑窗口或像素单元所表现的特定形状。例如，一种可能的刷子是6×6的像素矩形窗口，另一种是每边有7个像素的六边形窗口。填充预期片段的过程为用刷子覆盖图像像素，为图像像素分配片段值(也就是可用作片段参考的值或数字)，并围绕图像移动刷子，而刷子不覆盖边缘链的任何部分，也不覆盖分配不同的图像像素，也就是先前被覆盖的图像像素，分配给它的片段值与当前分配给被覆盖图像像素的片段值不同。一系列刷子不覆盖边缘链或分配不同的图像像素而可达到的该组图像像素是一组与预期片段关联的图像像素。

例如，图8中显示了图像700和刷子702，其中如所标记的图像具有边缘链701和701a。给定刷子702的尺寸，如果刷子702位于三角形区域704，那么填充过程将不“流过”区域704顶部的间隙705，因为刷子702不能适当地通过间隙705，而不覆盖边缘链部分。渐进填充过程的第一步使用指定大小的刷子刷过区域704、正方形区域706和背景区域708。第一步的结果是使一些(在这种情况下是大部分)图像像素和各个片段关联。因为刷子702不到达一些图像像素，而不覆盖边缘链，所以这些像素不能与片段关联。

在一个实施中，处理器将刷子移动到图像中每个可达到的位置，并注意到不覆盖边缘链或分配不同的图像像素。在每个刷子的位置，处理器考虑刷子下面的中像素和图像像素。如果刷子覆盖边缘像素或边缘链，或者分配不同的图像像素，那么该刷子将无效，并移动到下一位置。然而，如果刷子不覆盖边缘像素、边缘链或分配不同的图像像素的任何位置，那么处理器将测试刷子下面的图像像素。如果刷子下面的图像像素中的任何一个已经与片段关联，那么将所有的刷子下面的图像像素分配给该片段，否则将所有刷子下面的图像像素分配给新的片段。在单像素刷子的情况下，处理器考虑邻近像素并将图像像素分配给具有最接近图像像素的片段，而不通过任何边缘链。

在另一实施中，处理器在每个被检测边缘链的两侧移动两个刷子，并将边缘链两侧上的图像像素分配给不同的片段。在又一实施中，处理器把刷子放在图像上任何未处理的位置，并将刷子移动到可达到的且不覆盖边缘链的邻近位置。

在另一实施中，处理器使用一系列更小的刷子，另外产生新的片段并延伸以上片段。因此，奇数号的通路可能产生新的片段，同时偶数号的通路延伸先前产生的片段。

在又一实施中，处理器产生一系列每个彩色分量的边缘链，并组合边缘链以产生合成边缘链图像。该组合可以是每个彩色分量的边缘链的联合或交叉。

一旦处理器使第一个(第一批)刷子通过图像，一些图像像素就被分配给片段。这些图像像素表示刷子可以到达的图像部分。然后处理器使用另一更小的刷子通过图像。在这第二通过中，处理器用较小的刷子执行相同的过程，以覆盖并分配较大的刷子所无法“达到”的图像像素(也就是该刷子无法覆盖该图像像素，而不覆盖边缘像素、边缘链或分配不同的图像像素)。在随后的通过中用更小的刷子重复该过程，直到处理器用最小的刷子，如单像素刷子执行通过过程。

较佳的是，最初的刷子大小比片段确定的边缘链中最大可接受间隙大至少一个像素。例如，如果认为两个边缘链端点之间的五个或更少像素的跨度是一个较大边缘链中的间隙，那么初始的刷子可以是6×6像素的正方形。用这种配置，初始的刷子将不能“流过”间隙，而错误地组合流过片段。在初始的刷子之后，随后更小的刷子可以流过间隙，但是流过的量将受到限制，因为在间隙的两侧先前已分配了可限制刷子移动的图像像素。

图9说明了这一点。该图显示了带有间隙的边缘链800。边缘链800分离了片段802、804。在较早的刷子通过过程中，一些图像像素被分配给片段，另一些图像像素，如接近间隙的像素是刷子无法达到的。当使用较小的刷子时，刷子可以足够小，以到达间隙两侧所有剩下的未分配像素，使得任一流过的片段被先处理。为了阻止这一点，处理器将使两个刷子从间隙的两侧通过未分配的像素，所以将均匀地填充间隙的两侧。

为了进一步限制较小刷子的非期望流动，两个刷子可以在一个通过过程中运行，在间隙的两侧各一个刷子，或者在将图像像素分配给片段过程中一个刷子可以交替地从一侧到另一侧。在一些情况下，例如对于图7所示的图像像素600，单像素刷子也并非足够小以达到一些图像像素，如边缘链穿过的图像像素。可以在完成使用最小刷子的通过过程之后，处理那些未达到的像素。

处理未达到像素的一个过程是使用连接分离方案将未达到的像素分配给与未达到像素接触的片段之一。一种连接分离方案考虑图像像素处的梯度和每个竞争片段中最接近图像像素处的梯度，并将该图像像素分配给一个片段，该片段中含有梯度的大小和方向最接近未达到图像像素处梯度的最接近图像像素。梯度是矢量的导数。

一旦该过程使每个图像像素和片段关联，那就很容易找出每个片段边界的位置。如下所述，渐进填充过程可以和其它过程组合，以更精确地确定片段边界。

2.多等级分段

从一个图像开始，分段器以渐低的分辨力，也称为“等级”产生多个图像变换，只保留关于等级之间较大、较主要特征的信息。有几种不同的方法能产生变换，如使用平滑或类似的滤波器。可用于一些图像的一组变换是高斯平滑滤波器阵列，其中每个滤波器具有不同的特征距离。

在一个多等级分段过程中，以从最粗略到最精细的顺序处理变换的图像，其中最粗略图像是使用最宽平滑滤波器的变换。通常，粗略图像只保留图像的较大特征。最精细的图像是用最小特征距离平滑滤波器变换的图像，或原始的未变换图像。

通过进行最粗略图像分段过程确定一组最粗略图像的片段，以继续该过程。分段过程可以是上述的渐进填充分段过程，或一些其它的在单幅图像上执行的分段过程。一旦在最粗略图像上执行了分段过程，该图像的片段组可用于之后在较精细图像上执行的分段过程。

例如，第二最粗略图像的分段如上，但是有一个约束，第二最粗略图像中的片段不能包含多于一个最粗略图像中的片段。换句话说，第二图像中的片段是第一图像中片段的各个子集。

采用以前已分段的图像的手段对每个接着的较粗略图像继续该过程。由于每个以上图像的片段被限制为其之前图像的子集，所以变换后的任何图像片段都是任何更粗略图像中任何片段的子集。

执行“子集”限制的一种方法是执行图像的无限制分段，然后再分割穿过较粗略图像中多于一个片段的任何片段。执行子集限制的另一方法可用于用上述渐进填充过程进行分段的情况。在后一种方法中，将较粗略图像的片段边界作为边缘链加入被处理的图像中，以实现子集限制。

3.合成边缘检测

上述渐进填充过程和多等级分段过程在图像和一组边缘链上工作，其中边缘链有有序的边缘像素组。边缘链从边缘像素中产生。上述方法可以使用其它边缘检测的方法，但是当像素彩色值包括多个彩色分量时尤其有用的一种方法是以下将描述的合成边缘检测过程。

在合成边缘检测过程中，组合来自不同彩色分量的信息，以形成合成图像，其中合成图像中的每个像素彩色值是相应图像像素的彩色值和可能的周围图像像素彩色值的分量的函数。然后，将合成图像用于确定哪个中像素是边缘像素。一旦确定了合成图像中的边缘像素，可以将这些边缘像素连接到边缘链。

以下描述合成图像处理的三种方法。第一种方法在确定边缘像素之前组合彩色信息，第二种方法确定每个彩色平面的边缘像素，然后将结果组合成一组合成边缘像素。术语“彩色平面”是指N维像素彩色值阵列的图像，其中每个像素只保留分配给该像素的多个彩色图像中的一个。例如，如果每个像素都分配到红色值、绿色值和蓝色值，那么每个像素只具有其分配到的红色值的图像就是红色平面的彩色平面图像。

用第一种方法，从像素的彩色分量值中计算每个像素的包括梯度矢量阵列的合成梯度图像。然后处理合成梯度图像，以检测边缘像素。

产生合成梯度图像的一个过程根据每个彩色平面中像素处的梯度，为每个像素产生合成梯度，其中像素的合成梯度是该像素处每个彩色平面中梯度的修正矢量之和。修改修正矢量加法，其中改变各个矢量的符号，因为当有多于两个彩色平面时，需要保持半平面中所有加数的方向。

图10用于说明这种修正矢量加法。如图所示，像素A每个彩色平面中的矢量都具有小于半圆的方向范围，所以合成梯度只是每个分量中矢量的矢量和。像素B和C也是一样。然而，包含像素D所有矢量方向的半圆就没有定向。在后一种情况下，在矢量相加之前，反转一个矢量的符号(也就是指向相反方向)。

实际上，该修正矢量加法考虑到对于给定边缘上的任何给定点，都有确定边缘法线或边缘切线的两个矢量。因此，梯度矢量可以反转并仍然表示相同的边缘。通过确保加入的矢量全部落入半圆中，使得一个分量梯度矢量的贡献不太可能抵消另一分量梯度矢量的贡献。

通过确保加数落入半圆中，使得梯度的极性不会大大地影响其和的结果。在很多图像中，极性的变化对应于图像的实际特征。YUV图像的每个彩色分量中的边缘极性一般彼此独立。例如，如果明亮的绿色区域转变成暗淡的红色区域，那么“Y”减小“V”增加。

在一些彩色空间中，由于总的彩色差，或者由于在一些彩色空间中趋于具有反映更明显或更强边缘的更极端的梯度大小，彩色分量在均匀加权增量中可能有较大的影响。在这种情况下，在相加之前，可以用归一化因数对彩色分量加权。较好的归一化因数是对每个彩色平面的梯度大小产生类似加权值的标量值。例如，在亮度和色度彩色平面之间的动态范围使得平均梯度大小是图像采样或单个图像上相对于色度彩色平面的亮度彩色平面中的两倍的地方，可以通过在矢量相加之前除以2，将亮度矢量归一化。

产生合成梯度图像的另一过程为每个像素产生一个合成梯度，该合成梯度等于该像素处大小最大的彩色分量矢量，或是它的函数。在提取最大矢量而非相加矢量的过程中，在执行比较以选择最大矢量之前可以使用归一化因数。

然而产生合成梯度矢量，它们共同形成合成梯度图像。从该合成梯度图像中，可以确定边缘像素，并由这些边缘像素组成边缘链，以执行图像的分段过程。

4.多类边缘链接

如上所述，一旦识别了图像的边缘像素，这些边缘像素就可用于识别边缘链，这些边缘链可用于分段过程。在这里所述的边缘链识别(“边缘链接”)过程中，将边缘像素分成多个类别。在这里详细描述的实例中，参考图11，多个类别为两类，表示为“强边缘像素”和“弱边缘像素”。边缘像素是图像中彩色值遭遇相当大变化的近似点，如图像1110中从像素1102(1)到像素1104(1)的变化。

以下将描述识别每个类别边缘像素两种方法：梯度法和拉普拉斯法。参考图12-13说明梯度法，并参考图14说明拉普拉斯法。

在梯度法中，如果中像是梯度方向上彩色值梯度的局部极大值，那将它识别为边缘像素。局部极大值是函数值大于其周围一侧点的函数值，并大于或等于其周围另一侧点的函数值的点。

例如，参考图12，它显示了图像的中点阵列，图像的图像像素未显示。显示了几个中点，其中的一些标有“A”到“I”。在梯度法过程中，为了确定边缘点A是否是边缘像素，如果是，且是那类边缘像素，要考虑中像素A到I的梯度。

在梯度法中，处理器从中像素B到I中选择第二中像素，第二中像素最接近中像素A发出的指向与中像素A之梯度方向相同方向的射线。如果两个中像素离射线等距离，那连接分离规则可用于选择最接近的中像素。在图12的实例中，最接近的中像素是中像素C。还有与中像素A和最接近中像素C共线的第三中像素。在该实例中，第三中像素是像素H。可以确定每个中像素处的梯度，包括中像素A、C和H。图12中包括的箭头用于说明这三个中像素的梯度的大小和方向。

如果中像素A的梯度大小大于中像素C或中像素H中一个的梯度大小，并且大于或等于中像素C或中像素H中另一个的梯度大小，那么识别出中像素A为强边缘像素。

如果识别出中像素A不是强边缘像素，那么测试它以确定它是否符合弱边缘像素的标准。图13说明了确定中像素是否为弱边缘像素的过程。如图所示，认为中像素A为弱边缘像素状态。为了这样，认为有一直线穿过中像素A并平行于中像素A的梯度方向，如图13中直线1302所示。相邻中像素B到I确定了一个正方形，并且直线1302与该正方形相交于两点，如图13中点1304(1)和1304(2)所示。

通过内插法可以找出中像素A处的以及点1304(1)和1304(2)处的梯度。如果中像素A的梯度大小大于点1304(1)或1304(2)中一点的梯度大小，并大于或等于点1304(1)或1304(2)中另一点的梯度，那么指定中像素A为弱边缘像素。否则，中像素A是未指定的中像素。

在典型的图像中，更多的边缘像素是弱边缘像素，而非强边缘像素，因为弱边缘像素一般对应于图像中彩色或强度的逐渐变化或急剧的反差，而强边缘像素一般只对应于急剧并明显的反差。

现在参考图14，以下将参考确定四个图像像素1410、1420、1430、1440所定义矩形中的中像素1405的边缘像素状态，描述拉普拉斯法。四个图像像素中的每一个都标有表示该图像像素处拉普拉斯函数符号的符号“+”或“-。拉普拉斯算子是二次矢量导数。在图像中，应用于像素彩色值的拉普拉斯函数的零交叉是边缘像素。在拉普拉斯算子的二次导数为零处发生拉普拉斯算子的零交叉。

如果包围中像素1405的矩形包括零交叉，那么中像素1405是边缘像素。用离散的像素位置，计算零交叉的位置是不可能的，或者是计算困难的。然而，图像像素处拉普拉斯的符号表示矩形中零交叉的可能性。因此，如果四个周围图像像素中每一个处的拉普拉斯函数的符号在垂直方向和水平方向都不同(也就是右上角和左下角的像素为一个符号，右下角和左上角的为另一符号)，那么拉普拉斯法就识别中像素为强边缘像素。如果符号使得一个像素为一种符号，另三个像素为另一符号，或者每种符号有两个像素，但不是在垂直方向和水平方向都不同，那么识别出中像素为弱边缘像素。如果所有四个图像像素的符号都相同，那么识别出中像素不是边缘像素。

已经描述了两种识别多类边缘像素的方法，但是还可以使用其它合适的方法。图15说明了识别出边缘像素类别的结果的实例。图15中的图像包括两个片段，黑色像素的内部片段和白色像素的外部片段。显示了边缘像素检测过程的结果，其中还显示了识别出的强边缘像素和识别出的弱边缘像素；图15中省略了非边缘的中像素。一般，强边缘像素是对应于图像中大的和/或明确变化的中像素(如明显的反差)，而弱边缘像素反映了图像中细微的变化，这可能是由于实际彩色边缘或者由彩色流过或噪声引起的。

一旦识别出不同类别的边缘像素，就能够识别出边缘链。识别出的边缘链为有序边缘像素组。从不同类别的边缘像素中识别边缘链的一种方法是从任意强边缘像素开始，并将它作为边缘链的一端加入边缘链。然后寻找最接近加入边缘像素的相邻中像素作为另一强边缘像素。如果存在一个，通过将边缘像素加入边缘链的生长端，使边缘链延伸到该相邻位置。如果存在不止一个的强边缘像素，那么选择梯度最接近的一个，该梯度垂直于边缘像素的梯度方向。作为进一步的测试，可以考虑每个相邻位置的梯度大小。如果在最接近的相邻位置中没有强边缘像素，那么将边缘链延伸到相邻位置的弱边缘像素，如果存在不止一个弱边缘像素，那么用类似于在多个强边缘像素中选择所用的测试选择一个最佳的。如果不存在强或弱边缘像素以延续边缘链，那么边缘链截止，该过程寻找另一任意的强边缘像素。

重复该过程，直到处理并考虑到所有的边缘像素，产生图像的一组边缘链。然后这些边缘链可用于分段过程，以分割图像。

5.多等级边缘链的产生

用图像的多种变换表示法，较粗略等级的图像可以提供较精细等级图像的指导。当存在跨等级的边缘像素关联时，较粗略的等级可以提供指导。当一个等级的边缘像素与另一等级中的相同边缘像素或邻近边缘像素具有相同或类似的梯度大小和方向时，将产生边缘像素的关联。两个梯度矢量的相同或类似是考虑到等级间加权因数的测试。

根据本发明的多等级边缘链产生过程使用来自多个等级图像的边缘像素，以识别边缘链。较精细等级的图像比较粗略的图像具有更多的边缘，所以识别较精细等级图像中边缘链的连接程序通常在边缘链的端点处将遭遇边缘链可以向它延伸的多个边缘像素。确定选择哪个边缘像素的一些方法如上所述。当可以获得多个等级的图像时，可以再细化选择过程。

在一种方法中，在过程面临在邻近边缘像素中进行选择，并且已识别了较粗略等级的边缘链的情况下，该过程偏好它选择的边缘像素，这些边缘像素将使得边缘链沿较粗略等级处的边缘链延伸。例如，参考图16，它显示了中像素阵列1600，其中边缘像素显示为实心圆，非边缘像素的中像素显示为空心圆。假设已识别出了边缘链，并且边缘链的端点位于边缘像素1605处。连接过程面临着确定将边缘链延伸到边缘像素1610还是边缘像素1615。进一步假设，与之前的阵列相比，中像素阵列1600是在较精细等级处的边缘像素识别结果，并且在之前的较粗略阵列中，识别出的边缘链包括与边缘像素1605和边缘像素1610关联，但与边缘像素1615不关联的边缘像素。在这种情况下，连接过程将偏好边缘像素1610。

在一些实施例中，较粗略等级处的边缘链是决定性的，并且可以将边缘像素1610加入边缘链中而无需进一步的调查。在其它实施例中，连同较粗略等级中的对应因数一起考虑其它因数。在还有的实施例中，如图17(a)-(b)中所示，如果较粗略等级处的边缘链指出边缘链将越过间隙而延续，那么可以选择即使不是边缘像素的中像素。如图所示，中像素1705不是较精细等级处的边缘像素，所以边缘链1710、1712不会到达中像素1705。然而，在较粗略等级处，相应的中像素是边缘像素，并包含在边缘链中。因此，可以将中像素1705加入较精细等级处的边缘链，产生连接边缘链1710和边缘链1715的延长部分。此外，来自不同精细等级边缘链的边缘像素可以与较粗略等级中的相同边缘链关联。在这种情况下，两个较精细等级的边缘链可以这种方法连接，以复制尽可能多的粗略边缘链几何形状。

此外，如图18(a)-(c)所示，其中较粗略等级处的边缘链长于较精细等级中关联的边缘链，连接过程将适当地延长较精细等级的边缘链。这称为“边缘链延长”。在所示的实例中，两个边缘链具有相同次序的相同边缘像素，除了在较精细等级中(图18(b))边缘链在中像素2302处截止，而较粗略等级图像的边缘链多延续了一个中像素，从中像素2202到中像素2201(图18(a))。然后该过程将延伸较精细的边缘链，以连接到中像素2301，如图18(c)中所示。

如图19(a)-(b)所示，一旦完全产生了边缘链，连接程序可能将更多的一些中像素加入边缘的每一端。这通常具有封闭边缘链之间的小间隙以及完全封闭给定区域的作用。通过向如图19(a)所示的每条边缘链多加一个像素，可以使非封闭的区域变为完全有界，如图19(b)所示。

在边缘链连接中使用多等级关联的基本过程的变化中，可以使用多类边缘像素。在一个实施例中，根据邻近像素的类别和来自较粗略等级的关联，边缘链从一个边缘像素端延伸到另一中像素。例如，连接过程首先可以只考虑强边缘像素，并寻找较粗略等级中相应的边缘链延伸，然后如果没有发现强边缘像素或关联像素就考虑弱边缘像素。在另一变化中，连接过程可以先考虑强边缘像素，后考虑弱边缘像素，然后如果在较精细等级中没有发现边缘像素，那么就只寻找使用强或弱边缘像素的较粗略等级中的相应边缘链延伸。

6.边缘链过滤

图20(a)是通过识别边缘链过程产生的边缘链图像。在该边缘链图像中，有很多短的边缘链不符合片段边缘。当主要作为数字化误差或图像中阴影的细微变化的结果产生边缘链时，可能产生这种伪边缘。

图20(b)-(e)是在每一等级对图像应用阈值处理程序之后的结果。阈值处理程序使用静态滑动等级或动态滑动等级可以产生图20(b)-(e)的图像。在静态方法中，如果边缘链不符合基线长度要求和最小强度要求，就去除边缘链。

动态滑动等级测试的内含更多。长度和强度阈值是相关的。因此，边缘链越长，保留边缘链所须符合的强度阈值越低。类似的，边缘链越亮，长度阈值变得越低。

在一种实施中，不管阈值处理而跨等级保留边缘链。尤其，边缘链跨等级地关联，并且在较精细等级处保留在较粗略等级中满足阈值处理的边缘链，即使如果不考虑较粗略等级它们在较精细等级处不满足阈值处理。在另一实施中，来自先前视频帧的边缘链可以阻止边缘链被去除。

图21说明了输入图像的起源是视频序列的情况。注意到跨帧保留每个等级处的边缘链信息。图21(a)显示了视频的先前帧；图21(b)显示了视频的当前帧；图21(c)显示了根据先前帧进行阈值处理之后的当前帧。

显示了阈值处理之后的先前帧，边缘链40011被保留。当前帧的边缘链包括边缘链40020、40021和40022。边缘链40011和40021为跨帧关联，因为边缘链40011和40021共用具有相同位置和类似梯度的像素。在当前帧中，边缘链40020通过上述的阈值处理测试，所以保留它。然而，边缘链40021和边缘链40022都没有通过阈值处理测试，所以他们是去除的候选物。为了确保一致地跨帧分段，保留边缘链40021，因为它与先前帧中保留的边缘链40011关联。相反，不保留边缘链40022，因为它没有通过阈值测试，并且不与先前帧中保留的边缘链关联。

7.组合

以上描述了改进分段的六种方法和相应的装置。这些方法和装置中的一种或多种可以组合，以更好地改进分段过程。例如，在多等级上可使用渐进填充，其中在最粗略的等级中执行填充过程，然后最粗略等级处的片段可用于指导较精细等级处的分段。

另一组合是合成边缘检测和多类边缘检测的组合。用该组合，边缘检测过程可以在每个彩色平面上分别进行，以识别强和弱边缘像素，然后通过组合来自不同彩色平面的边缘像素进行过滤。

在另一变化中，在识别出强和弱边缘像素之后，但是在识别出边缘链之前，在稍后的阶段中可以使用彩色信息。边缘像素识别程序在每一等级产生两幅合成边缘像素图像。第一幅图像是来自所有彩色平面的所有强边缘像素，第二幅图像是来自任何彩色平面的所有弱边缘像素。有时，在多个彩色分量中将指定相同的边缘像素。在这种情况下，边缘像素只包括在合成图像中一次。如果满足以下两个条件之一，就指定多个彩色分量中的边缘像素是相同的，1)它们共用不同彩色分量中的相同位置，2)它们共用不同彩色分量中的相同阵列位置并具有类似的梯度。

又一组合是在每个分量中找出边缘链，然后合成边缘链的方法。尤其，最初保持在每个彩色分量中找出的局部极值与在图像的其它彩色分量中找出的极值分离。连接过程通过分别连接每个彩色分量中的边缘像素，以产生边缘链，然后将边缘链组合成一幅合成图像。因为一个彩色分量的梯度所确定的一些边缘链可能和其它彩色分量的梯度所确定的边缘链类似，所以连接过程将类似的边缘链连接成一个边缘链，该边缘链可能形成具有更少间隙的更长的边缘链。如果相同等级中的边缘链满足一个或多个以下的标准，那么它们是类似的：1)在所有方面都相同；2)彼此共用大部分的像素；3)在几何图形上相同(在很小的变化内)，但偏移极少的像素；4)都与另一等级中的相同较粗略等级边缘链关联。

在又一组合中，组合所有以上的过程，以形成改进的分段过程。

以上的描述是说明性的，而非限制性的。对于本领域熟练的技术人员通过阅读这里所揭示的内容，本发明的很多变化是显而易见的。因此，不应该参考以上的描述确定本发明的范围，而是应该参考附带的权利要求书以及它的等效范围确定本发明的范围。

Claims (27)

1.一种检测数字图像中边缘的方法，其中数字图像包括像素阵列，每个像素具有像素位置和像素彩色值，其中边缘表示阵列中表示数字图像一个片段的像素和表示数字图像另一片段的像素之间的变换，其特征在于，该方法包括以下步骤：

产生一幅或多幅过滤图像，其中每幅过滤图像都是使用多幅过滤图像中每幅的不同滤波器过滤数字图像的结果，其中不同的滤波器提供数字图像中片段的不同分辨力；

通过识别数字图像中像素阵列间的彩色移动，识别数字图像中的边缘；和

通过识别一个或多个过滤图像中像素间的彩色移动，识别数字图像中进一步的边缘。

2.如权利要求1所述的方法，其特征在于，一幅或多幅过滤图像是包括使用相同滤波器产生的一幅过滤图像的多幅过滤图像，因此包括作为多幅过滤图像中一幅的数字图像。

3.如权利要求1所述的方法，其特征在于，不同的滤波器是不同分辨力等级的滤波器。

4.如权利要求1所述的方法，其特征在于，不同滤波器是不同窗口大小的平滑滤波器。

5.如权利要求1所述的方法，其特征在于，不同滤波器抽取不同像素分辨力的十分之一，在一幅或多幅过滤图像上产生变化的像素阵列大小。

6.如权利要求1所述的方法，其特征在于，滤波器是各种多项式等级梯度的梯度滤波器。

7.如权利要求1所述的方法，其特征在于，不同的滤波器是拉普拉斯滤波器。

8.如权利要求1所述的方法，其特征在于，数字图像表示为单色平面，每个像素的彩色值由表示单色平面中阴影的标量值表示。

9.如权利要求8所述的方法，其特征在于，像素的每个像素彩色值是多分量矢量，像素的标量值是像素彩色值矢量的分量的函数。

10.如权利要求9所述的方法，其特征在于，像素彩色值矢量的分量的函数是亮度函数。

11.如权利要求9所述的方法，其特征在于，像素彩色值矢量的分量的函数是总和。

12.如权利要求9所述的方法，其特征在于，像素彩色值矢量的分量的函数是加权和。

13.一种检测数字图像中边缘的方法，其中数字图像包括像素阵列，每个像素具有像素位置和像素彩色值，其中边缘表示阵列中表示一个数字图像片段的像素和表示另一数字图像片段的像素之间的变换，其特征在于，该方法包括以下步骤：

识别数字图像的边缘点，其中边缘点是点位置之间像素阵列中的点，点位置是像素位置；

识别多类边缘点，包括较可靠类别的边缘点和较不可靠类别的边缘点，其中较可靠类别的边缘点比较不可靠类别的边缘点更可能表示数字图像中的片段边缘；和

通过连接较可靠类别的邻近边缘点形成边缘点链，以识别边缘；

当边缘点链之间存在间隙时，识别较不可靠类别的边缘点，以跨越边缘点链中的间隙；和

使用边缘点链作为数字图像中边缘的表示法。

14.如权利要求13所述的方法，其特征在于，像素阵列是矩形阵列，还包括以下步骤，使每个边缘点位于像素阵列中四个相互邻近的像素所确定的矩形的中心。

15.如权利要求13所述的方法，其特征在于，多种类别包括多于两种类别，每种类别具有与边缘点关联的相对确定性，所述边缘点位于具有每个类别相对确定性的类别中，所述的相对确定性是有序的并且不同于其它类别的相对确定性，该方法还包括以下步骤，在使用较不可靠类别的边缘点之前，但在使用较可靠类别的边缘点之后，识别类别中的边缘点，用于连接边缘链。

16.一种检测数字图像中边缘的方法，其中数字图像包括像素阵列，每个像素具有像素位置和像素彩色值，其中像素彩色值表示为彩色空间中的矢量，以及其中边缘表示阵列中表示数字图像一个片段的像素和表示数字图像另一片段的像素之间的变换，其特征在于，该方法包括以下步骤：

将数字图像分割成多个彩色平面图像；

过滤每个彩色平面图像，以形成每个彩色平面的极值图像，极值图像是对应于像素阵列的值的阵列，其中值的阵列中的值表示像素阵列中相应位置处的极值；

组合多个极值图像，以形成合成极值图像；和

使用合成极值图像检测数字图像中的边缘。

17.如权利要求16所述的方法，其特征在于，多个彩色平面为两个或更多的彩色平面。

18.如权利要求16所述的方法，其特征在于，多个彩色平面为三个彩色平面。

19.如权利要求16所述的方法，其特征在于，多个彩色平面包括一个亮度彩色平面和两个色度彩色平面。

20.如权利要求16所述的方法，其特征在于，多个彩色平面包括红色平面、蓝色平面和绿色平面。

21.如权利要求16所述的方法，其特征在于，多个彩色平面包括青色平面、黄色平面、红色平面和黑色平面。

22.一种检测数字图像中边缘的方法，其中数字图像包括像素阵列，每个像素具有像素位置和像素彩色值，其中像素彩色值表示为彩色空间中的矢量，以及其中边缘表示阵列中表示数字图像一个片段的像素和表示数字图像另一片段的像素之间的变换，其特征在于，该方法包括以下步骤：

将数字图像分割成多个彩色平面图像，其中彩色平面图像是带有像素值的像素阵列，像素值对应于像素彩色值矢量的一个分量；

产生一幅或多幅过滤图像，其中每幅过滤图像都是使用多幅过滤图像中每幅的不同滤波器过滤彩色平面图像之一的结果，其中不同的滤波器提供数字图像中片段的不同分辨力；

通过识别彩色平面图像中像素阵列间的彩色移动，识别数字图像中的边缘；和

通过识别一个或多个过滤图像中像素间的彩色移动，识别数字图像中进一步的边缘。

23.一种检测数字图像中边缘的方法，其中数字图像包括像素阵列，每个像素具有像素位置和像素彩色值，其中每个像素彩色值表示为彩色空间中的矢量，以及其中边缘表示阵列中表示一个数字图像片段的像素和表示另一数字图像片段的像素之间的变换，其特征在于，该方法包括以下步骤：

识别数字图像的边缘点，其中边缘点是点位置之间像素阵列中的点，点位置是像素位置；

识别多类边缘点，包括较可靠类别的边缘点和较不可靠类别的边缘点，其中较可靠类别中的边缘点比较不可靠类别中的边缘点更可能表示数字图像中的片段边缘，其中边缘点类别是接近于边缘点的像素的像素彩色值矢量的分量值的函数；和

通过连接较可靠类别的邻近边缘点形成边缘点链，以识别边缘；

当边缘点链之间存在间隙时，识别较不可靠类别的边缘点，以跨越边缘点链中的间隙；和

使用边缘点链作为数字图像中边缘的表示法。

24.一种将一数字图像分割成多个由数字图像中目标边缘限定的片段的方法，其中数字图像包括像素阵列，每个像素具有像素位置和像素彩色值，其中边缘表示阵列中表示一个数字图像片段的像素和表示另一数字图像片段的像素之间的变换，其特征在于，该方法包括以下步骤：

识别一组边缘链，其中边缘链表示两个片段间的边界，并且至少一个边缘链不是封闭并限定片段的闭环的一部分；

设置边缘链中间隙的最大允许阈值；

将第一刷子定位于阵列中的第一位置，使得第一刷子不覆盖任何边缘链，其中刷子是可以在阵列上移动的像素窗口，并且第一刷子的像素窗口大小使得第一刷子不能通过边缘链中的间隙，该间隙不比最大允许阈值宽，并且第一刷子不覆盖边缘链；

使像素和片段关联，其中与片段关联的每个像素是第一刷子从第一位置起可达到的像素，并且第一刷子不能通过小于第一刷子宽度的间隙；

使用位于阵列中第二和随后位置的第一刷子，使其它像素与其它片段关联；和

使用小于第一刷子的第二刷子重复定位和关联步骤，以关联在定位和关联步骤中没有关联的像素。

25.如权利要求24所述的方法，其特征在于，第一刷子是正方形的像素窗口，正方形的每条边比最大允许阈值多一个像素数。

26.如权利要求24所述的方法，其特征在于，持续用更小的刷子执行重复步骤，直到使用单像素面积的刷子。

27.如权利要求26所述的方法，其特征在于，该方法还包括以下步骤，当每个刷子执行了重复过程之后，还剩余未分配的像素时，将未分配的像素分配给片段。

Images