CN1568479A - 用于辨别图像不同区域的方法和装置 - Google Patents

Abstract

本发明提供一种用于辨别由多行和多列像素的矩阵组成的图像的合成区域和自然区域的方法和相关装置，该方法包括以下步骤：将图像像素的亮度值的矩阵分成多个块，这些块表示块图，通过分析块内亮度值的亮度梯度的梯度矩阵G来识别这些块是自然图像类型还是合成图像类型，并且将相同图像类型的块聚集成图像的各个自然和合成区域。识别块是自然图像类型还是合成图像类型的步骤包括根据块的行和列方向上像素的亮度值L的一阶差分值来计算各块内的梯度矩阵(G)的步骤。

Description

用于辨别图像不同区域的方法和装置

本发明涉及一种用于辨别由多行和多列像素的矩阵组成的图像的合成区域和自然区域的方法和相关装置，该方法包括以下步骤：将图像像素的亮度值的矩阵分成多个块(block)，这些块表示块图(blockmap)，通过分析块内亮度值的亮度梯度的梯度矩阵G来识别这些块是自然图像类型还是合成图像类型，并且将相同图像类型的块聚集(cluster)成图像的各个自然和合成区域。本发明还涉及一种包括显示屏和图像增强器的显示设备。

信号处理应用的很多方面如特征提取和内容驱动处理、压缩和检索操作在很大程度上依赖于准确地将显示分割成被认为很可能显示自然图像如照片或视频图像的区域和很可能显示所谓合成图像的区域如计算机生成文本和/或图形区域的能力。

通过辨别表示分类为自然或合成的显示区域的数据，则可以采用自然或合成内容专用算法以便提供特别适当和准确的进一步信号处理应用。在不分割的情况下，将对整个显示统一应用一种算法，从而存在若干缺点。例如，将相同图像增强算法既应用于图像的自然区域又应用于其合成区域对于自然图像区域的质量将感觉到显著的改善，但是在显示的合成部分将会感觉到不良的人为痕迹。

因此，可以证实，在不首先寻求辨别和区分显示的自然区域与显示的合成区域的情况下试图增强整个显示是不适当的。一旦识别出这些不同区域，则可以分别应用适当的处理算法。

当然，以这种方式处理图像数据还可能存在其他优点。例如，在诸如把传真机设计成分别针对视频图像和纯文本/图形内容采用不同编码方案的编码应用中，可以实现带宽利用的自动优化。

US-A-6195459公开了一种用于辨别图像的自然和合成区域的算法，该算法提供：对显示进行块分析，随后是聚集被发现很可能属于合成或自然类别内的块。然后，细化(refine)由这些聚集块形成的大体上为矩形的区域，并且根据进一步分析步骤来接受或废除该区域为合成或自然区域。

然而，该公知方案在可以准确识别的图形图案的范围以及其总体准确性和效率及其对噪声的敏感性这些方面存在不利的限制。

另外，该公知算法设计成根据被认为是不必要地复杂且显现较高计算量的方法工作，这在某些环境下可能会不利地限制该算法的准确工作。

本发明寻求提供一种上述类型的方法和装置，它们提供若干高于公知方法和装置的优点。本发明由独立权利要求限定。独立权利要求规定有益的实施例。

根据本发明的一方面，提供了一种上述类型的方法，其特征在于识别块是自然图像类型还是合成图像类型的步骤包括根据块的行和列方向上像素的亮度值L的一阶差分值来计算各块内的梯度矩阵的步骤。

本发明的一个优点是分类可以仅基于亮度梯度的估算。另外采用一阶差分绝对值被证实是有利的，因为采用简单一阶差分有助于准确地识别显示具有较大潜在多样性的图形图案的非自然图像的块。

权利要求2的特性在简化将各块分类为合成或自然块这一方面是有利的。

权利要求3至6的特性在限制加性噪声否则可能对分类过程造成的影响这一方面被证实是尤其有利的。

权利要求7的特性提供一种有效且简单的用于清除(clean)块同时还聚集被确定为很可能具有共同类型的那些块的方案。

权利要求8至13的特性在限制计算量这一方面是有利的，因为没有必要识别或生成不同相连的组成区域。

另外，接受或拒绝这些区域为合成或自然区域可以基于边界规则性(border regularity)而不是仅仅基于自然块在矩形内的百分比。

权利要求14的特性在引入虑及像素级的例如矩形边缘检测的最后细化步骤这一方面是有利的。

一般而言，本发明的方法中各步骤的计算量低于现有技术的对等步骤。

根据本发明的另一方面，提供了一种用于辨别显示图像的自然和合成区域的装置，包括：辨别部件，用于将图像数据分成表示各自不同显示像素块的组；亮度梯度估算部件，被设计用于识别块为自然图像类型还是合成图像类型；聚集部件，用于对数据进一步分组，从而聚集相同类型的块；以及分析部件，用于分析由聚集块形成的区域，从而确认所述区域表示自然或合成图像，其特征在于亮度梯度估算部件设计成通过块的水平和垂直方向上的一阶差分值来估算梯度。

本发明还提供一种如上所述并且设计成根据上述方法步骤中的任一个或多个工作。

通过参照附图，本发明的这些和其他方面将会变得清楚明白，其中：

图1是示出实施本发明的监视器的示意方框图；

图2是要显示在图1的监视器的显示屏上的复合自然/合成图像的图示；

图3是图1的原始图像的块图，其中示出分类为自然或合成块的那些显示块；

图4是经过聚集操作之后的图3的块图的图示；

图5是区域检验步骤的初始阶段内图4的块图的图示；

图6是完成参照图4所示的检验步骤之后的块图的图示；

图7示出寻求准确识别自然图像的确切边缘的进一步细化步骤；以及

图8示出本发明的另一个实施例。

首先参照图1，示出实施本发明的监视器10的简化示意方框图。监视器10包括以功能块形式示出的合成/自然图像内容检测器12。然而，检测器12通常是以控制算法的形式提供的。监视器还包括显示屏16和图像增强器29。帧缓冲器14接收视频信号VS，它包含数字格式的亮度数据。这些数据表示由多行和多列像素元素的矩阵组成的输入图像的亮度值L。

在活动图像的情况下，视频信号VS包含图像序列，其中每个图像由亮度值L的矩阵表示。在视频信号VS包含有关各像素的色彩分量的信息，例如红、绿、蓝色彩分量值的情况下，则亮度值可以以公知方式从色彩分量值获得。为了简化说明，将假定视频信号包含亮度值L并且这些值L存储在帧缓冲器14中来说明本发明。

合成/自然图像内容检测器12连接到帧缓冲器14。由合成/自然图像内容检测器12提供的功能算法有利地包括图像分类算法，并且设计成提供识别以视频信号VS的形式接收的图像的自然区域。该一个或多个图像例如可以是数字化照片或视频片断。

从帧缓冲器14检索亮度数据，并且在块选择单元20中根据算法将其分成小正方形块。这些块的内容在亮度梯度估算单元22中分类为自然或合成。梯度估算单元的输出提供给形态学滤波器24，形态滤波器24将相邻块聚集成大体上矩形、很可能为合成或自然的区域。然后，在种子区域生长器26中对聚集块作进一步的处理，种子区域生长器26在行方向和列方向上以逐步的方式生长种子区域，从而试图最大化例如很可能为矩形的自然图像区域的大小。

一旦到达可能最大矩形自然图像区域，则边缘位置细化器28准确地以像素级识别自然图像区域的边界。

一旦在图像中识别出一个或多个这样的自然图像区域，则可以使用该信息来确定该图像的亮度数据的哪些部分应经过哪种图像处理和/或增强算法。从而图像增强器29从帧缓冲器14接收亮度数据以及有关自然和合成区域位置的信息。基于这些输入，增强器29针对每种区域执行适当的处理。使用图像增强器29的输出信号来驱动显示屏。

就功能而言，内容检测器搜索其处于自然区域内存在高概率的图像位置。随后为区域生长过程，该过程扩展初始估计的自然区域直到检验到停止条件。

下面将详细说明由图像检测器12执行的控制算法。

首先，根据统计过程将输入图像有效地分成其内容分类为自然或合成的小正方形块。块边长的上下限通过由评估测量的可靠性施加的约束来定义。例如，如果块太小，则考虑太少的像素，并且测量将不能代表局部特征。另一方面，如果块尺寸太长，则该块很有可能包含误导信息。已经发现，块边长的优选值为10像素。

各块的自然/合成分类基于下列步骤：

首先，对于所要分析的图像内的所有像素，使用下列公式来确定亮度值L的梯度矩阵G：

$G=\max \left(\right|\frac{\∂L}{\∂x}|,|\frac{\∂L}{\∂y}\left|\right),$

其中， 是行方向上的梯度，而 是列方向上的梯度。从而，对于每个像素，梯度矩阵G包含行和列方向上该像素梯度的最大值。然后，如果块内像素的所有梯度值均为零，则标记该块为合成，因为完全不变亮度不太可能是自然图像的一部分。

如果块内所有梯度值均低于预定最小阈值th_min例如值4但大于零，则标记该块为自然。在这种情况下，块很可能是均匀自然背景的一部分如图片中天空的一小部分。

如果前面条件为假，则计算块内梯度值子集上的平均值G。G的高值表示快速变化的亮度，这代表图像的合成部分，因为自然部分通常显现较小值。因此，为了定量识别这些情形，对于平均值G，规定最大阈值th_max，例如值40。

G＜th_max块为自然

G＞th_max块为合成

在其上计算平均值G的子集的选择最好基于实际考虑。常见‘合成’情形如轻微非均匀背景上的文本是一些像素的亮度梯度大大不同于大部分其他像素。在这种情况下，整个块上的平均值G将产生较小值，从而错误地将块分类为自然。因此，其值低于最小阈值th_min的块内梯度值G的所有元素从平均值G的计算中排除。

当图像的所有块均经过分类之后，对如此获得的自然/合成块图执行形态学滤波。这种处理有助于通过对错误孤立块进行重新分类来除去它们。这将导致如图4所示的改良块聚集。具体而言，在两种情况下，都使用结构元素执行“打开”操作之前的“关闭”操作：

$\left[\begin{array}{cccc}0& 1& 1& 0\\ 1& 1& 1& 1\\ 1& 1& 1& 1\\ 0& 1& 1& 0\end{array}\right]$

形态学滤波参见W.K.Pratt，Digital Image Processing(数字图像处理)，第15章，第二版，Wiley-Interscience，1991。

一旦所有块已被分类为自然或合成，并且由形态学滤波器正确聚集后，则下一步打算是识别通常包括自然块连接集的‘自然对象’。对于要作为目标的自然对象的形状，可以存在约束，并且在本例中仅考虑矩形区域。因此，算法必须能够确定包括对象的最小尺寸矩形。值得注意的是，矩形形状的假定通常在很多实际情形如因特网上的照片存档下都能得到满足。

下面描述如何识别这样的矩形区域，并且可以迭代所述步骤以得到多个自然对象。

首先，在合成/自然块图中，寻找仅包含自然块的最大正方形。这通过以最大可能正方形开始，逐步减小开始正方形的尺寸，直到该正方形刚好容纳在块图的最大自然区域内，如图5所示。开始正方形的边长是块图的高度和宽度的最小值。对于每一步，采用正方形“种子区域”逐行扫描块图，在每个位置检查是否可以“封闭”完全自然区域。逐步减小停止于正方形尺寸的下限。该下限通过与前面针对块尺寸所述类似的想法来确定。已经发现，该下限的较佳选择是10×10块。因此，当“种子区域”被合适定位于完全自然区域上时，或者当种子尺寸小于预定下限时，停止缩小过程。在后者情况下，算法退出，返回负值。

假定“种子区域”被合适定位，则通过在列方向上增加行块并且/或者在行方向上增加列块然后执行迭代过程来生长它。在每一步，以生长种子区域保持矩形的方式完成扩展。在迭代的每一步，根据扩展所要包括的自然块量来选择所要生长的边。具体而言，在每一步，在每条边测试具有新相邻列或行块的扩展。在四条边中选择新自然块在列或行方向上的百分比最高的边，如果该百分比高于预定阈值并且“种子区域”内合成块的总量保持低于10％，则进行扩展。预定阈值的优选值是30％。当如同图6所示的情形种子区域的四条边都不能进一步扩展时，生长过程停止。

一旦生长过程停止，则可以对种子区域内自然区域形状执行进一步的检查，从而确保自然区域是矩形。实际上，即使“生长种子”形状为矩形，它也可以置于非矩形自然区域内。需要注意，完全矩形的自然区域在正常情况下不应具有任何相邻于生长种子区域的自然块。因此，判定对于每条边外部相邻自然块的百分比是否低于40％，并且所有边的外部相邻块的平均百分比是否低于20％。

由于该过程的逐步块生长，前一步骤能够以其范围为1/2块尺寸的误差定位边缘。已经注意到，自然图像通常包含很多灰度电平，而合成图像内的不同灰度电平数较低，从而自然与合成区域之间的边界的特征在于灰度电平数的大幅变化。因此，边缘的确切位置通过找到最高灰度电平数变化来确定。

作为一个例子，参照图7，针对位于列X上的右边界，对于误差范围内的每列，计算沿着对应像素列的不同灰度电平数，C(i)(i∈[X-bs/2，X+bs/2])。在该公式中，bs是块尺寸。为了找到不同灰度电平数的最大变化，计算差值向量D(i)＝|C(i+1)-C(i)|，(i∈[X-bs/2，X+bs/2])，并且搜索其最大值。

然后，通过最大化D(i)来确定边缘的确切位置，如图7的自然图像的边界所示。具有像素级准确性的真实边缘位置以箭头REP表示。同样，确定列方向上的左边界以及行方向上的边界。图7所示的图像中图片周围的灰色块表示由生长过程产生的种子区域。

本发明的另一个实施例如图8所示。计算机PC包括图形卡GC。图形卡GC具有帧缓冲器FB，其中存储了视频信号VS。图像内容检测器12以软件的形式实现，配置成作为计算机PC的操作系统的背景进程运行。内容检测器12分析以视频信号VS的形式存储在帧缓冲器FB中的图像。自然内容检测器12以如在前面实施例中所述的方式，计算自然区域的位置NAP。监视器10包括图像增强器29和显示屏16。通过计算而产生的位置NAP提供给图像增强器29。该增强器还从图形卡GC接收视频信号VS。从而，采用有关自然区域的位置NAP的信息，图像增强器29能够根据图像区域是否包含自然或合成信息来增强视频信号VS。

因此应该理解，与现有技术的监视器相比，本发明可以提供若干优点。

应该理解，各块的分类只需基于亮度梯度。

另外与在US-A-6,196,459中使用的Sobel运算器相比，通过使用水平和垂直方向上的一阶差分绝对值的最大值，以不同且较简单的方式估算梯度。而且，采用简单的一阶差分有助于标注范围更广的图形图案为非自然。实际上，所提出的梯度估算器对于诸如棋盘图案或小尺寸‘m’的水平交叉区(cross section)的图形图案中的开关序列(on-off sequence)也将给出非零输出。

此外，需要注意，可以在不包括其相关梯度低于阈值th_min而不是如同US-A-6,196,459中的零的像素子集上计算梯度平均值。这使得估算大大不敏感于加性噪声。对于在对比度非常低但不是单色的背景上具有极少文本/图形像素的块，其中，该背景也可能是由小量加性噪声生成的，该块将被正确地标注为非自然块。

总而言之，各个步骤的计算量以及算法的总计算量低于如在US-A-6,196,459中公开的已知方案。

应该注意，上述实施例是举例说明而不是限制本发明，并且在不脱离所附权利要求的范围的情况下，本领域的技术人员将能够设计很多可选实施例。在权利要求中，置于括号之间的任何参考符号不应被解释为限制权利要求。用词“包括”不排除存在权利要求中所列之外的其他单元或步骤。单元之前的用词“一个”不排除存在多个该单元。本发明可以通过包括若干独立单元的硬件和通过适当编程的计算机来实现。在列举若干部件的装置权利要求中，这些部件中的若干个可以由同一项硬件实施。在相互不同的从属权利要求中引用特定度量这一情况并不表示不能有利地使用这些度量的组合。

Claims (16)

1.一种用于辨别由多行和多列像素的矩阵组成的图像的合成区域和自然区域的方法，该方法包括以下步骤：将图像像素的亮度值的矩阵分成多个块，这些块表示块图；通过分析块内亮度值的亮度梯度的梯度矩阵G来识别这些块是自然图像类型还是合成图像类型；以及将相同图像类型的块聚集成图像的各个自然和合成区域，其特征在于识别块是自然图像类型还是合成图像类型的步骤包括根据块的行和列方向上像素的亮度值L的一阶差分值来计算各块内的梯度矩阵(G)的步骤。

2.如权利要求1所述的方法，其中，根据下面公式计算梯度矩阵G

$G=\max \left(\right|\frac{\∂L}{\∂x}|,|\frac{\∂L}{\∂y}\left|\right),$

其中，L表示分析块中各像素的亮度值的矩阵，并且

和

分别表示行和列方向上的亮度梯度。

3.如权利要求1所述的方法，包括判定梯度矩阵G中的值是否处于预定阈值与零之间的步骤。

4.如权利要求3所述的方法，其中，如果梯度矩阵G中的值高于预定阈值，则该方法包括确定以下步骤：梯度矩阵G中的梯度值的子集，并且判定该子集的平均梯度值是否高于最大阈值。

5.如权利要求4所述的方法，其中，如果平均梯度值低于最大阈值，则标识该块为自然图像的一部分，并且如果平均梯度值高于最大阈值，则标识该块为合成图像的一部分。

6.如权利要求4所述的方法，其中，从子集中排除低于预定阈值的梯度值。

7.如权利要求1所述的方法，其中，包括形态学滤波步骤，该步骤采用关闭操作然后是打开操作，从而聚集相同类型的块。

8.如权利要求1所述的方法，其中，逐步减小包括多个块的种子区域的尺寸，直到判定种子区域完全容纳在块图的自然区域内为止。

9.如权利要求8所述的方法，其中，还包括以下步骤：将逐步减小的种子区域的尺寸与预定阈值尺寸进行比较，并且当种子区域完全定位于块图的自然区域内时或者一旦种子区域的尺寸低于预定阈值尺寸时，停止逐步减小。

10.如权利要求8所述的方法，其中，包括以下步骤：在行和/或列方向上增大种子区域的尺寸以试图最大化确定为位于图像自然区域内的种子区域的尺寸。

11.如权利要求10所述的方法，其中，根据确定哪一个行/列显现自然块的最高百分比，将列和/或行块加到种子区域。

12.如权利要求10所述的方法，其中，如果种子区域内的合成块百分比增至高于预定阈值百分比，则停止种子区域的增大。

13.如权利要求11所述的方法，其中，当所要增加的一行或一列块中外部相邻自然块的百分比低于预定阈值百分比时，停止增加。

14.如权利要求1所述的方法，其中，包括以下步骤：沿着种子区域的周界确定相邻由块中像素组成的行或列内的不同灰度电平数，并且识别显现不同灰度电平数最大差值的两个相邻像素行或列的位置。

15.一种用于辨别由多行和多列像素的矩阵组成的图像的合成区域和自然区域的装置，包括：块选择单元，用于将图像像素的亮度值分成多个块；亮度梯度估算部件，被设计用于识别块为自然图像类型还是合成图像类型；以及聚集部件，用于进一步聚集相同类型的块，其特征在于亮度梯度估算部件设计成通过确定块的行和列方向上像素的亮度值的一阶差分值来确定亮度梯度值。

16.一种显示设备，包括显示屏；以及图像增强器单元，其特征在于包括如权利要求15所述的装置。

Images