CN1692369A - 视频信息中自动的自然内容检测 - Google Patents

Abstract

公开了一种区分由排列在线上的一个矩阵中的象素所表示的视频信息中的自然和合成内容区域的方法。为该矩阵的每一线建立象素值的一个亮度直方图(hist(L))。一条线被分类为包含自然内容，如果大多数距离(d)小于或等于一个预定值。然后把包含自然内容的相邻线分组在一起以建立自然内容组。然后以预定次数重复该处理，以便更精确定义具有自然内容的区域。

Description

视频信息中自动的自然内容检测

技术领域

本发明涉及用于区分视频信息中的自然和合成内容的区域的一种方法、设备和装置。

背景技术

CRT监视器的特征一方面是它比电视屏幕有较高的分辨率，另一方面是较低的亮度。这是由于下述事实，最初在计算机监视器上显示的内容全部是合成的，特别是，它曾由文字代表。这一类型内容明显需要高的分别率来使用户满意，但是这使得亮度减小。

现今的情形有很大的变化。因特网和多媒体技术，例如DVD和图像存储和传输，引起自然的TV型内容的数量在监视器应用中增加。这一新的情形引起监视器的一系列问题，因为监视器最初不是为这种内容设计的。

新概念CRT监视器的基本思想是监视器应该能够适应在特定时刻所显示的图像的内容。一个例子是对自然内容应用视频增强算法以便获得在监视器上显示的自然图像的质量显著改善。然而，如果这些视频增强算法应用于纯文字或图形，总体结果是图像质量的显著损失。从这一观点出发，区分自然和合成内容的能力变得十分重要。

已经公知增强解决方案，它可以明显改善视觉性能，如果它应用于在屏幕上自然内容存在的特定区域中的话。由用户执行的基于窗口(它是基于应用的)的手工选择是为识别这些区域的一个简单但是枯燥的方法，它可以适用于整个窗口内容是自然内容的情况。不幸的是，在同一窗口内有复合内容的场合，不能使用同一个方法，而复合内容在万维网页中是典型的，因为，如上所述，视频增强算法对纯文字或图形的应用可以引起在它们感觉到的视觉质量方面显著的损失。因此，需要一种用于在把内容显示在监视器上之前区分自然的和合成的内容的方法、设备和装置。

发明概述

本发明的一个目的是通过提供一种方法、设备和装置克服上述缺点，所述方法、设备和装置只使用图像中的未经加工的屏幕数据来区分自然内容和合成内容。本发明由所附独立权利要求限定。从属权利要求则限定有利的实施例。

根据本发明的一个实施例，自然图像内容借助统计分析而与合成图像内容区分，所述统计分析的目的是从图像中抽取某些特征，然后对这些特征做智能解释。这一方法的一个优点是通过定位在对所抽取的特征的分析中的而不是图像分析中的所有“智能”而使计算复杂性降到极小。

在视频信息的场合，视频信息作为一系列的图像来处理，每一图像独立处理。在该方法的第一步骤中，分析视频信息。作为下一步骤，把视频信息中在分析期间找到包含相似特征的相邻部分组合在一起。所述部分可以是图像的行或列的线，但是也可以是线的一些部分。最后，把具有第一特征的组指定为自然内容，而剩余的组指定为合成内容。

如果为矩阵的每一线建立象素值的亮度直方图将是有利的。然后决定对于每一线的每一非零直方图值之间的距离。如果大多数距离小于或等于一个预定值的话，则该线被分类为包含自然内容。然后把包含有自然内容的相邻线组合到一起以建立具有自然内容的线的组。

参考下面说明的实施例，本发明的这些以及其它方面将十分显然。

附图说明

参考附图并以举例方式说明本发明，附图中：

图1(a)表示一个一般算法思想的方框图；

图1(b)表示根据本发明的算法的方框图；

图2(a)-(c)表示根据本发明的实施例的一个合成场合的亮度直方图分析；

图3(a)-(c)表示根据本发明的实施例的一个中间合成场合的亮度直方图；

图4(a)-(c)表示根据本发明的实施例的一个自然场合的亮度直方图分析；

图5表示根据本发明的实施例的用于存储与目标区域的坐标有关的信息的数据树；

图6描述根据本发明的实施例的从目标区域提取的一些子区域；

图7-10表示一些屏幕实录，用于说明本发明的一个说明性例子。

具体实施方式

本发明可以被视为是分段和识别的混合。信号识别的许多问题在许多文献然后在应用中被提出和解决，但是大多数问题涉及的是单维信号。虽然建议的这些解决方案非常不同，但是如果一个一般的分析能解决所有问题的话，则可以指出一些相似性。事实上，这些建议的解决方案的大多数都提出一个相似的一般结构，其示于图1(a)。首先，提出一个特征抽取框100，它执行所谓的“特征抽取”，后随一个特征分析框102，它执行“特征分析”。显然，这一说明表示很一般的抽象，因为术语“特征”可以意味着许多不同的对象。然而，本发明的一个关键的思想是，该算法的“智能”必须在特征分析框102中被提出，该分析不针对原始数据，而针对原始数据一个经过过滤的(浓缩的)版本。原始数据可以受噪声或无用的外部信息或对识别有害的信息污染。反之，特征被视为只包含基本信息的数据(在一般意义上)的一个被过滤的版本。

从这些考虑出发，可以提出几个见解。首先，算法的大多数智能集中在特征分析框102。其次，与先前的见解相反，大多数资源消耗部分通常是特征抽取框100，因为一般说，原始数据比抽取后的特征需要例如较大的存储器用来存储数据。最后，特征抽取是最关键的阶段。事实上，发现真正包含为特征分析所需要的信息的被抽取的特征是至关重要的。

图1(b)表示为实现本发明的一个实施例的系统。该系统包括亮度变换单元120、控制器122、直方图评估器124、由分析器1108和规则应用单元1110组成的分类单元126、和坐标抽取器128。下面说明系统的操作。

在图像中的象素矩阵的亮度值L(x，y)得不到但是红、绿和蓝颜色分量的值可得到的场合，亮度变换单元120提供需要的变换，解释如下。

因为已经公知，亮度包含关于形状的最大部分的信息，因此，使用这一参数处理是很重要的。在文献中，亮度由下面的公式提供：

L(x，y)＝(0.2989*R(x，y)+0.5870*G(x，y)+0.1140*B(x，y)

其中，L、R、G、B在范围[0，1]内，R、G、B是矩阵中具有坐标x，y的象素的红、绿和蓝颜色分量。

避免浮点运算的一个简化版本(当L、R、G和B在范围[0，255]内时，这在对本实施例的进一步解释中假定)是

亮度值L(x，y)的直方图在直方图评估器124中评估，说明如下。一个关键的思想是单独评估图像的每一行的亮度值L(x，y)的单维直方图。对列则重复同一类型的运算以获得另外一组直方图。

本发明的这一实施例的一个重要的假定是，要被识别的区域是矩形区域。必须注意，这一方法在所公开的方法中隐含地包含这一个几何假定。事实上，单独分析行和列导致仅在水平和竖直方向上分析图像，但是本发明不限于此。

从计算的观点看来，亮度值L(x，y)的处理是最消耗资源的。必须逐个象素扫描整个图像。然而，如上所述，目的是分析整个图像以获得一组特征，该组特征不像整个图像的亮度数据那样庞大。

分类单元26后面的一个关键思想是将线(行和列)分类为自然图像，如果该相应直方图具有自然图像的特征的话。从经验测试注意到，有关自然图像的直方图具有与有关合成图像的直方图相比不同的特征。这些特征包括在亮度直方图L(x，y)的连续非零元素之间的距离d。

分析器1108使用这些距离的距离直方图hist(d)分析这些距离。在这一分析中的关键思想是在线中存在相当数量自然图像的场合，小距离比大距离更为可能。然后在规则应用单元1110中使用一个分类规则根据这些距离将线分类。

在表示自然内容和表示合成内容的距离直方图hist(d)之间显著的区分使用下述规则获得：

CLASSIFICATION RULE(分类规则)

IF(如果)arg(max(hist(d))}＝1

THEN NATURAL(则是自然的)

ELSE SYNTHETIC.(否则是合成的)

如前所述，已经假设有一个亮度值范围[0，255]，因此，可能的距离从1到255变化。函数arg{max(hist(d))}抽取满足括号内的条件的一个(或多个)距离。在这一场合，它抽取相应于hist(d)的最大绝对值(或几个最大值，如果有两个或更多等大的最大值)的一个(或多个)距离。

每当发现两个或更多个满足条件的距离时，则在这一分类中使用最小的距离。

如果距离1是在该线中最频繁的距离(于是产生d＝1时的hist(d)的最大值)，则认为该线包含相当数量属于自然图像的象素，因此该线被分类为自然的，否则，它就被分类为合成的。在这种方式下，等于1的距离被认为表示自然内容的线，而所有其它的距离被认为表示具有合成内容的线。将会理解，本发明不限于仅有这一条规则，而且描绘自然和合成内容的距离可以具有不是1的值。例如，可以使用模糊方法来考虑其它小距离和使用例如更多的类像：“可能是合成的”、“可能是自然的”、“非常像自然的”。

一旦分类了所有的线(行和列)，就把分类为“自然”的相邻的线组成一组。线的这一分组在一个优选实施例中使用下面的规则，即如果少于3条连续的“合成”线存在在“自然”线之间，则这些“合成”线被包括在被分类为“自然”的相邻线的组中。另外可选择的方案是，该规则可以使用比提到的3条线更多或更少的线。此外，该规则舍弃包括少于预定数目的自然线的组。这一预定数目可以是1，但是也可以是更大的数。

作为下一步骤，决定由行线的组和列线的组的交叉部分形成的区域。这些区域是图像的有可能是“自然”的区域。坐标抽取器128决定这些区域的角的坐标。把这些坐标反馈到控制器122。然后控制器122决定，是否应该为一个特定区域重复决定“自然”区域的处理。如果是，则为该图像的这些特定的“自然”区域重复在图1b中由框124、126、128、122指示的步骤。这一重复优选在稍微更大一些的区域进行，以确保这一较大区域包容该图像的实际“自然”区域。

在若干次循环后，产生出更准确的“自然”区域的决定，控制器122交付“自然”区域的角的坐标的最终值。

在图2、3和4中，在3种不同的(而且简化的)情形下评估刚才说明的算法。图2(a)-(c)表示一种极端的合成情形，其中在图2(a)中在恒定的背景(用值为255的象素模拟)上绘出了一条均匀线(用具有值100的两个象素模拟)。如同图2(b)中用亮度直方图hist(L)表示的，在该线中存在的象素的亮度值之间的距离d是155。正如可以在这一情形中指出的，在距离直方图hist(d)中不存在等于1的距离，且距离倾向于具有大的值，这正是对于其内容是合成的线所期望的。

图4(a)-(c)表示“自然”的情形。这里，图4(a)中被分析的线包括柔和化的值，它们通常是自然图像的值。在本例中，象素值分组在122-126之间，和距离等于2、1、1，分别在图4(b)中的直方图hist(L)中表示。其结果，小距离比其它的更多，因此分类规则导致将该线分类为自然的。图3(a)-(c)表示一个中间情形，其中，既存在明确区分的值也存在软化的值。在本例中，一些象素值分组为大约100，而其它象素值等于155和255，如图3(a)所示。产生的距离分别等于1、54、100，如示于图3(b)中的直方图hist(L)。在这一场合，距离d等于1的和不等于1的都存在，但是，因为距离d不等于1的不如距离d等于1的那样多，如图3(c)的hist(d)所示，因此该线被分类为自然的。

如图5所示，使用树作为存储与发现的坐标有关的信息的数据结构，和使用分类器126用于在先前循环中抽取的图像上。首先，在整个图像上使用分类器126，抽取与一个图像更可能存在于其内的区域有关的4xm坐标的一个列表(这里m是目标区域的数目)。然后，在每一这些目标区域重新开始该分类器，抽取图像可能在其中存在的一些子区域，如图6所示。这一递归处理重复若干次。从经验中得出，重复这一处理3次，就会得出好的结果。循环的次数可以取决于停止重复的规则，例如，当在循环末尾在该次循环期间被评估的区域内没有或者只有一个自然区域。

图7到10表示屏幕实录，它们用于说明本发明的说明性例子。图7表示该说明性例子的直方图评估器124和分类单元126。为屏幕700的行和列的直方图分别为每一行(用行条710符号表示)和列(用列条720符号表示)评估。找到在直方图值和最近异于零的值之间的最可能距离。如果找到的该最可能距离等于1，则认为行(或列)701包含一些自然内容。结果，它被标记为可能具有自然内容的行(或列)。在这一步骤的末尾，有两个矢量包含先前分析的行和列的分类。

在下一步骤，如图8所示，执行在矢量中包含的行和列的分类的“调整”。使用术语“调整”表示将标记为自然内容的行和列聚集在一起。彼此之间具有小于预定门限的距离的行(或列)被认为包含同一自然图像的信息并聚集在一起，如方框802所示。换句话说，作为自然内容的行和列根据它们的“密度”聚集在一起。

在这一阶段，具有自然图像内容的区域902的位置被识别为聚集的行和列的交叉部分，如图9所示。这些区域902的位置是来自两个矢量从而是已知的。然而，这一位置不是精确地知道。因此，作为下一步骤，分别评估该图像的每一区域。在这一步骤，考虑相对于在前一步骤检测到的区域中一个较大的区域904，因为考虑到先前进行的检测相当粗糙。在这些较大的区域904上，递归地应用包括直方图评估124、分类126和调整的整个处理。其优点是在更具体的区域上评估直方图，这样它们的统计内容更均匀。在递归步骤末尾，舍弃具有不满足“自然内容”的需要的行和列的区域904。产生的具有自然内容的区域1002示于图10。

下面给出说明分类单元126的另一种方式。使用图11中的直方图评估器124的输出可以决定距离概率函数(DPF)。“距离概率函数”(DPF)在分析器1108中计算。给定当前线的亮度直方图hist(L)，DPF P[d＝k]是在两个连续等于k的非零元素之间的找到距离d的频率。对于每一线i如下计算。从线i的直方图开始，所有异于零的元素的索引存储在矢量ρ_i中，

ρ_i＝{j|h_i(j)≠0，0≤j≤255}，

式中，h_i(j)是为线i的亮度直方图的第j个值。该值表示线i中具有亮度等于j的象素的数目。每当在一条线中只有一个亮度时，则该线被分类为合成的，跳过为该线的其余的步骤。否则，计算在每一对连续非零值之间的差，它根据在该直方图的非零元素之间的灰度级表示距离δ_i(j_N是为该非零值的索引)：

δ_i(j_N)＝ρ_i(j_N+1)-ρ_i(j_N)，0≤j_N≤(长度(ρ_i)-2)

根据距离δ_i，计算距离直方图h_δi，而为线i的DPF如下获得：

${\mathrm{DPF}}_i\left(k\right)\stackrel{\mathrm{\Δ}}{=}\frac{h_{{\mathrm{\δ}}_i}\left(k\right)}{\underset{n=i}{\overset{255}{\mathrm{\Σ}}}{h}_{{\mathrm{\δ}}_i}\left(n\right)},0\≤k\≤255$

一个关键的思想是，在当前线i包含一部分自然图像的场合，矢量δ_i中的小距离比大距离更可能。结果，将该方法简化，如果DPF_i(k)对k＝1最大，则在分类单元126中分类该线为“自然的”，否则分类为“合成的”。在合成中，分类规则是：

分类规则：

FOR LINE iIF{k|DPFi(k)≥DPFi(j)，j≠k k，j∈[1，255]}＝1THEN LINE i->NATURAL，ELSE LINE i->SYNTHETIC.

在实际应用中，当比较DPF_i(k)和DPF_i(j)时，可以删除两个DPF函数的相等的分母 相似地，通过从h_i直接导出h_δi，可以删除矢量δ_i的单独计算。将会理解，使用在DPF函数中包含的全部信息而不是只看它的最大值，可以为这一目的使用其它更优越的分类规则。

将会理解，本发明的不同的实施例不限于上述步骤的确切顺序，其中一些步骤的序列可以互换而不影响本发明的总的操作。

应该注意，上述实施例说明而不是限制本发明，熟悉本技术领域的人能够设计许多可选的实施例而不离开所附权利要求的范围。在权利要求中，放置在括号中的任何参考符号不应该理解为限制该权利要求。词“包括”不排除在权利要求中列出的元素或步骤之外的元素或步骤的存在。在元素前面的词“一个”不排除多个这种元素的存在。本发明可以通过包括几个不同元件的硬件实现，和通过适当编程的计算机实现。在列出几个设备的设备权利要求中，几个这些设备可以用同一个硬件实现。在不同的从属权利要求中引用一定的这一简单的事实不表示不能使用这些手段的组合以便改进。

Claims (11)

1.一种区分视频信息中自然和合成内容的区域的方法，包括步骤：

分析视频信息；

把在分析期间发现的包含相似特征的视频信息的相邻部分组合到一起；

指定具有第一特征的相邻部分的组为自然内容，指定任何剩余组为合成内容。

2.根据权利要求1的方法，其中，相邻部分是视频信息中包含相似特征的行和列的交叉部分。

3.根据权利要求1的方法，其中，分析步骤包括：

分别决定行和列中的象素的亮度直方图值；以及

决定在一个直方图中的非零直方图值之间的距离；

其中，该第一特征是大多数距离小于一个预定门限。

4.根据权利要求3的方法，其中，预定门限等于2。

5.根据权利要求1的方法，还包括步骤：

以预定次数重新分析可能包含自然内容的组，以便更明确地规定各组的边界。

6.根据权利要求5的方法，其中，一个组的边界由行和列坐标规定。

7.根据权利要求5的方法，其中，预定次数等于3。

8.根据权利要求1的方法，其中，信息由在行和列的线的矩阵中的象素表示，并且所述分析方法包括：

(a)为矩阵的每一线建立象素亮度值的亮度直方图；

(b)为每一线决定连续的亮度直方图值之间的距离；

(c)从决定的距离为每一线计算距离概率函数；和

该第一特征是该距离概率具有低于一个预定距离值的最大值。

9.根据权利要求8的方法，其中，分类规则是：

FOR LINE i

IF{k|DPFi(k)≥DPFi(j)，j≠k  k，j∈[1，255]}＝1

THEN LINE i->NATURAL，

ELSE LINE i->SYNTHETIC。

10.一种区分视频信息中自然和合成内容区域的设备，包括：

-用于分析视频信息的装置；

-用于把视频信息中包含在分析期间找到的相似特征的相邻部分进行组合的装置；

-用于指定具有第一特征的相邻部分的组为自然内容、和指定任何剩余组为合成内容的装置。

11.一种区分由排列在线的矩阵中的象素所表示的视频信息中自然和合成内容区域的设备，包括：

用于为矩阵中的每一线建立象素值的直方图的装置；

用于为每一线决定在每一直方图值之间的距离的装置；

用于从所述已决定的距离为每一线计算距离概率函数的装置；

用于在距离概率函数具有低于一个预定距离值的最大值时把一条线分类为包含自然内容的装置；

用于把包含自然内容的相邻线组合在一起以便建立自然内容的簇的装置。

Images