CN101523414A - 图像的部分的内容检测 - Google Patents

Abstract

用于图像内容检测的方法对于一定像素计算(16)该像素的估计强度，对于该像素计算(17)该像素的实际强度，检测(18)所述估计强度和所述实际强度的函数是否满足强度条件，以及响应于强度条件检测结果而产生(19)像素内容检测信号。这些强度是所述像素的颜色值的函数。这些方法对于蓝色内容(天空，比如多云天空和非多云天空)性能良好，并且用于基于内容的分类和图像的自动选择。为了提高效率和/或成功率，这些方法还可以检测(15)颜色值是否满足颜色条件。这些方法还可以检测(32，33)来自像素组的若干像素的函数是否满足块阈值条件，以便能够响应于块阈值条件检测结果而产生块内容检测信号。

Description

图像的部分的内容检测

技术领域

本发明涉及用于检测包含像素的图像的至少一部分的内容的方法、计算机程序产品、介质、处理器、设备以及系统。

这种设备和这种系统的实例是诸如视频播放器、视频记录器、个人计算机、移动电话和其他手持设备之类的消费型产品以及非消费型产品。这种内容的实例是特定类型的内容以及希望的类型的内容。

背景技术

EP1318475B1公开了一种用于选择性地对图像进行增强的方法和系统，并且在其图10和其段落0025中公开了用于检测诸如清澈的蓝天或草坪的草之类的主题的方法。此外，在颜色和纹理像素分类步骤中由经过适当训练的多层神经网络基于颜色和纹理特征给每个像素分配主题信任值(belief value)。

这种方法和系统需要经过适当训练的多层神经网络并且因而相对复杂。

发明内容

特别地，本发明的目的是提供相对简单的方法。

此外，本发明的其他目的是提供相对简单的计算机程序产品、相对简单的介质、相对简单的处理器、相对简单的设备以及相对简单的系统。

用于检测包含像素(每个像素由至少一个颜色值限定)的图像的至少一部分的内容的方法通过包含以下步骤而被限定：

-对于一定的像素计算该像素的估计强度的第一步骤，所述估计强度是所述至少一个颜色值的函数，

-对于所述像素计算该像素的实际强度的第二步骤，所述实际强度是所述至少一个颜色值的另一函数，

-检测所述估计强度以及所述实际强度的函数是否满足至少一个强度条件的第三步骤，以及

-响应于强度条件检测结果而产生像素内容检测信号的第四步骤。

所述至少一个颜色值例如包括24位，8位用于指示红色值，另外8位用于指示蓝色值并且其余8位用于指示绿色值。可替换地，所述至少一个颜色值例如包括红色值、蓝色值和绿色值形式的三个单独的值，这些值中的每一个由例如8位或16位或24位限定。不排除其他的和/或另外的值以及其他的和/或另外的位数。

所述第一步骤对于一定的像素计算该像素的估计强度，所述估计强度是所述颜色值的函数。所述第二步骤对于所述像素计算该像素的实际强度，所述实际强度是所述颜色值的另一函数。所述第三步骤检测I)所述估计强度以及II)所述实际强度的函数是否满足强度条件。此外，在实践中，例如将这些强度之间的差值与最大差值进行比较。所述第四步骤响应于强度条件检测结果而产生像素内容检测信号。该像素内容检测信号可以是简单的是/否信号或者例如进一步指示满足的程度的更加复杂的信号。

结果，创建了用于图像内容检测的简单方法。特别地但是非排他性地，对于来自自然的非人造内容，该方法被证明性能良好。例如，令人满意地检测诸如天空(比如多云天空和非多云天空)之类的蓝色内容。该方法例如用于基于内容的分类和/或图像的自动选择和/或室外图像的检测和/或估计一个或多个像素的深度的用于3-D图像的天空检测和/或对于MPEG编码器有用的背景检测。

权利要求2限定了该方法的一个实施例。优选地但是非排他性地，响应于计算的估计强度，产生计算的估计强度信号，和/或响应于计算的实际强度，产生计算的实际强度信号，和/或响应于强度条件检测结果，产生强度条件信号。

权利要求3限定了该方法的一个实施例。优选地但是非排他性地，向所述第一到第四步骤添加第五步骤，以便提高效率并且可能地提高成功率。

该方法例如只针对那些满足了所述颜色条件的像素而被执行。此外，在实践中，例如将所述红色、蓝色和绿色值与彼此比较和/或与红色、蓝色和绿色值的函数比较和/或与预定义的值比较。然后，只是对于预先选择的令人感兴趣的像素需要计算强度。通过这种方式，该方法获得了提高的效率并且还可能表现出提高的成功率。

例如，当检测蓝色内容时，蓝色值优选地大于绿色值，并且红色值优选地小于这三个值之和的三分之一。

权利要求4限定了该方法的一个实施例。优选地但是非排他性地，向所述第一到第五步骤添加第六和第七步骤以便提高成功率。

所述至少一个颜色值包括至少两个值，例如红色、蓝色和绿色值。所述估计强度是例如这些值之一的函数，并且所述实际值是例如所有这些值的函数。通过另外的颜色条件检查该方法的结果是否可靠。通过这种方式，该方法表现出提高的成功率。另外的像素内容检测信号指示所述像素内容检测信号的可靠性或不可靠性。该另外的像素内容检测信号可以是简单的是/否信号或者例如进一步指示可靠性程度的更加复杂的信号。

例如，当检测蓝色内容时，所述估计强度优选地为蓝色值的线性或二次方程，并且所述实际强度例如等于红色值的30％(更精确地：29.9％，更一般地：25-35％)、绿色值的59％(更精确地：58.7％，更一般地：54-64％)与蓝色值的11％(更精确地：11.4％，更一般地：6-16％)的总和，但不排除其他的和/或另外的和/或更加精确的百分数并且不排除其他的和/或另外的方程和公式。所述另外的颜色条件例如要求蓝色值大于绿色和红色值中的每一个。

权利要求5限定了所述方法的一个实施例。优选地但是非排他性地，向所述第一到第七步骤添加第八、第九和第十步骤以便不仅针对一个或数个像素而且针对像素组执行内容检测。

该像素组形成例如图像内的块，或者形成来自一起构成所述图像的所有像素的选集(selection)。这种选集可以包括相邻的像素和非相邻的像素。例如，所述像素组可以包括图像的行集合的每两个或每三个像素并且可以包括图像的列集合的每两个或每三个像素。

所述第八步骤针对所述像素组检测来自该像素组的一定数量的像素的函数是否满足块阈值条件，对于所述一定数量的像素产生确认(confirming)像素内容检测信号，所述块阈值条件由块阈值限定。此外，在实践中，例如对该数量进行计数和处理并且然后将其与块阈值比较，例如以便确定像素块内特定像素的百分数。

例如，当检测蓝色内容时，针对其已经产生了确认像素内容检测信号的那些像素可以称为“天空”像素。包含像素组的块中“天空”像素的比例可能需要大于第一百分数(例如50％)。

所述第九步骤针对所述像素组检测来自该像素组的一定数量的像素的函数是否满足另外的块阈值条件，对于所述一定数量的像素产生另外的确认像素内容检测信号，所述另外的块阈值条件由另外的块阈值限定。此外，在实践中，例如对该数量进行计数和处理并且然后将其与所述另外的块阈值比较。

例如，当检测蓝色内容时，针对其已经产生了另外的确认像素内容检测信号的那些像素(已经满足所述另外的颜色条件的那些像素)可以称为“蓝天”像素。包含像素组的块中“蓝天”像素的比例可能需要大于第二百分数(例如25％)。

所述第十步骤响应于所述块阈值条件检测结果以及所述另外的块阈值条件检测结果而产生块内容检测信号。该块内容检测信号可以是简单的是/否信号或者例如进一步指示满足的程度的更加复杂的信号。

例如，当检测蓝色内容时，在块中“天空”像素的比例大于第一百分数(例如50％)的情况下并且在块中“蓝天”像素的比例大于第二百分数(例如25％)的情况下，可以认为该块包含天空。在这种情况下，可以认为所述图像包含天空。

当然，可以针对包含不同像素组的不同块重复所述第八、第九和第十步骤。例如，当检测蓝色内容时，检查图像的第一块。在第一块不包含由所述第一到第四以及可能地还有第五和/或第六和/或第七步骤所限定的蓝色内容的情况下，检查图像的第二块，等等。这些不同的块可以位于图像中的任何位置，然而，优选地，例如对于天空检测而言，这些不同的块将处于图像的上侧，这归因于通常天空将具有较高的位置并且非天空将具有较低的位置这一事实。

权利要求6中限定了用于执行所述方法的步骤的计算机程序产品。权利要求7限定了用于存储和包含该计算机程序产品的介质。权利要求8限定了用于执行所述方法的步骤的处理器。这种处理器例如包括第一和第二计算装置以及检测装置和发生装置。权利要求9限定了用于检测包含像素的图像的至少一部分的内容的设备。这种设备例如包括第一和第二计算器以及检测器和发生器。包括如权利要求9所述的设备的系统还包括用于存储图像像素的颜色值的存储器。可替换地，该存储器可以形成所述设备的一部分。

所述计算机程序产品、介质、处理器、设备和系统的实施例与所述方法的实施例相应。

特别地，对于像素组的相对简单的内容检测而言，一种认识可能是应当考虑在彩色性(color-ness)与强度之间可能存在负相关这一事实，所述负相关例如蓝色性和强度之间的-0.7的负相关。特别地，一种基本思想可能是，对于每个像素，计算的估计强度和计算的实际强度的函数需要满足至少一个强度条件。

特别地，解决了提供用于图像的至少一部分的内容检测的相对简单的方法的问题。特别地，另一个优点可能是，基于内容的分类和图像的自动选择以及室外图像的检测表现出提高的成功率。

本发明的这些和其他方面根据以下描述的实施例是清楚明白的，并且将参照这些实施例进行阐述。

附图说明

在附图中：

图1示出了方法的流程图，

图2示出了包括处理器的系统的框图，以及

图3示出了包括设备的系统的框图。

具体实施方式

在图1中，下面的框具有下列含义：

框11：开始。将图像信息转换成每像素的颜色值和/或获得每像素的颜色值的形式的图像信息，所述颜色值包括红色值、蓝色值和绿色值。

框12：将图像划分成块，每个块包括像素组。

框13：检查和/或读取了所有像素？如果是，则转到框31，如果否，则转到框14。

框14：如果从框11中尚不可获得的话，则获得像素的包括红色值、蓝色值和绿色值的颜色值。

框15：检测该颜色值是否满足由一个或多个阈值限定的一个或多个颜色条件。如果是，则转到框16，如果否，则转到框13。

框16：计算该像素的估计强度，该估计强度是所述颜色值的函数。

框17：计算该像素的实际强度，该实际强度是所述颜色值的另一函数。

框18：检测所述估计强度和实际强度的函数是否满足一个或多个强度条件。如果是，则转到框19，如果否，则转到框13。

框19：响应于确认强度条件检测结果，产生像素内容检测信号。

框20：所述颜色值包括至少两个值，所述估计强度为所述至少两个值中的至少一个的函数，并且所述实际强度为所述至少两个值的函数。检测所述至少两个值中的所述至少一个是否满足由一个或多个另外的阈值限定的一个或多个另外的颜色条件。如果是，则转到框21，如果否，则转到框13。

框21：响应于另外的确认颜色条件检测结果，产生另外的像素内容检测信号。

框31：选择之前未被选择的包含像素组的块。

框32：检测来自该像素组的一定数量的像素的函数是否满足阈值条件，对于所述一定数量的像素已经产生了确认像素内容检测信号，所述块阈值条件由一个或多个块阈值所限定。如果是，则转到框33，如果否，则转到框35。

框33：检测来自该像素组的一定数量的像素的函数是否满足另外的块阈值条件，对于所述一定数量的像素已经产生了另外的确认像素内容检测信号，所述另外的块阈值条件由一个或多个另外的块阈值所限定。如果是，则转到框34，如果否，则转到框35。

框34：响应于确认块阈值条件检测结果以及另外的确认块阈值条件检测结果，产生块内容检测信号。

框35：响应于非确认块阈值条件检测结果和/或另外的非确认块阈值条件检测结果，产生块内容非检测信号或者不产生块内容检测信号。

框36：检查了所有的块？如果是，则转到框37，如果否，则转到框31。

框37：结束。

在框11处，将图像的图像信息转换成每像素的颜色值和/或获得每像素的颜色值的形式的图像信息。该颜色值可以包括红色值、蓝色值和绿色值，每个由一定数量的位所限定，但不排除其他的和/或另外的选项。在值由8位限定的情况下，该值可以具有从0到255的大小。

在框12处，执行将图像划分成块的步骤，并且将图像划分成块，例如15行和15列的块。图像可以例如具有1024×768像素的分辨率。可以按比例缩小更大的分辨率。可替换地，可以将图像划分成较小数量的只覆盖图像的一部分的块。这完全没有排除其他的和/或另外的选项。

在框15处，执行对于所述像素检测所述至少一个颜色值是否满足由至少一个阈值所限定的至少一个颜色条件的步骤。为了检测例如诸如天空(比如多云天空和非多云天空)之类的蓝色内容，可以使用以下颜色条件和阈值：((蓝色值>绿色值)与(AND)(红色值<0.33^*(红色值、蓝色值和绿色值的总和)))。不排除其他的颜色条件和阈值。

在框16处，执行对于所述像素计算该像素的估计强度的步骤，所述估计强度是所述至少一个颜色值的函数。为了检测例如诸如天空(比如多云天空和非多云天空)之类的蓝色内容，该估计强度优选地为蓝色值的线性或二次方程，例如x^*(蓝色值)+y或者x^*(蓝色值)²+y^*(蓝色值)+z等等。在后一种情况下，x＝0.1，y＝16.7并且z＝641.1，但不排除其他的数量。

在框17处，执行对于所述像素计算该像素的实际强度的步骤，所述实际强度是所述至少一个颜色值的另一函数。为了检测例如诸如天空(比如多云天空和非多云天空)之类的蓝色内容，该实际强度例如等于红色值的30％(更精确地：29.9％，更一般地：25-35％)、绿色值的59％(更精确地：58.7％，更一般地：54-64％)与蓝色值的11％(更精确地：11.4％，更一般地：6-16％)的总和，但不排除其他的和/或另外的和/或更加精确的百分数并且不排除其他的和/或另外的方程和公式。

在框18处，执行检测所述估计强度和所述实际强度的函数是否满足至少一个强度条件的步骤。这例如通过将这些强度之间的差值与最大差值进行比较或者通过将该差值的平方或这些强度的平方之差与另外的差值进行比较等等来完成。

在框20处，执行对于已经针对其产生了确认像素内容检测信号的像素检测所述至少两个值中的所述至少一个是否满足由至少一个另外的阈值所限定的至少一个另外的颜色条件的步骤。所述另外的颜色条件例如要求蓝色值大于绿色值和红色值中的每一个。

在框32处，执行对于像素组检测来自该像素组的一定数量的像素的函数是否满足块阈值条件的步骤，对于所述一定数量的像素已经产生了确认像素内容检测信号，所述块阈值条件由至少一个块阈值所限定。这例如通过对该数量进行计数和处理并且然后将它与所述块阈值进行比较来完成。例如，当检测蓝色内容时，针对其已经产生了确认像素内容检测信号的那些像素可以称为“天空”像素。

在框33处，执行对于所述像素组检测来自该像素组的一定数量的像素的函数是否满足另外的块阈值条件的步骤，对于所述一定数量的像素已经产生了另外的确认像素内容检测信号，所述另外的块阈值条件由至少一个另外的块阈值所限定。这例如通过对该数量进行计数和处理并且然后将它与所述另外的块阈值进行比较来完成。例如，当检测蓝色内容时，针对其已经产生了另外的确认像素内容检测信号的那些像素可以称为“蓝天”像素。

例如，当检测蓝色内容时，在块中“天空”像素的比例大于一定百分数(例如50％)的情况下并且在块中“蓝天”像素的比例大于第二百分数(例如25％)的情况下，可以认为该块包含天空。在这种情况下，可以认为所述图像包含天空。

因此，首先，基于像素颜色特性(颜色条件和/或强度条件)而采取决策。其次，可以采取块水平和全局决策(块阈值条件)。

在图2中，示出了包括处理器40和存储器70的系统60的框图。这种系统例如为处理器-存储器系统。处理器40包括用于执行第一步骤16的第一计算装置41-1、用于执行第二步骤17的第二计算装置41-2、用于执行第三步骤18的第一检测装置42-1、用于执行第四步骤19的第一发生装置43-1、用于执行第五步骤15的第二检测装置42-2、用于执行第六步骤20的第三检测装置42-3、用于执行第七步骤21的第二发生装置43-2、用于执行第八步骤32的第四检测装置42-4、用于执行第九步骤33的第五检测装置42-5以及用于执行第十步骤34的第三发生装置43-3。

此外，控制装置400控制装置41-43并且控制存储器70。装置41-43和400例如如图所示单独地耦合到存储器70，或者通过未示出并且由控制装置400控制的耦合装置一起耦合到存储器70。可以将若干计算装置集成为单个计算装置，可以将若干检测装置集成为单个检测装置，并且可以将若干发生装置集成为单个发生装置。计算装置例如通过计算器来实现。检测装置例如通过比较器或者通过计算器来实现。发生装置例如通过接口或信号提供器来实现或者形成其他装置的输出端的一部分。

在图2中，所述步骤在位于装置41-43和存储器70之间的耦合之上的括号中编号，以便指示通常为了执行这些步骤，装置41-43将查询(consult)存储器70和/或从存储器70加载信息和/或处理该信息和/或将新信息写入到存储器70中等等并且这些都处于控制装置400的控制下。

在图3中，示出了包括设备50和存储器70的系统60的框图。设备50包括用于执行第一步骤16的第一计算器51-1、用于执行第二步骤17的第二计算器51-2、用于执行第三步骤18的第一检测器52-1、用于执行第四步骤19的第一发生器53-1、用于执行第五步骤15的第二检测器52-2、用于执行第六步骤20的第三检测器52-3、用于执行第七步骤21的第二发生器53-2、用于执行第八步骤32的第四检测器52-4、用于执行第九步骤33的第五检测器52-5以及用于执行第十步骤34的第三发生器53-3。

此外，控制器500控制单元51-53并且控制存储器70。如图所示，单元51-53单独地耦合到控制器500，该控制器500进一步耦合到存储器70，或者未示出的并且由控制器500控制的单独的耦合器可以用于耦合单元51-53、控制器500和存储器70。可以将若干计算器集成为单个计算器，可以将若干检测器集成为单个检测器并且可以将若干发生器集成为单个发生器。检测器例如通过比较器或者通过计算器来实现。发生器例如通过接口或信号提供器来实现或者形成其他单元的输出端的一部分。

通常，为了执行所述步骤，单元51-53将查询存储器70和/或从存储器70加载信息和/或处理该信息和/或将新信息写入到存储器70中等等并且这些都处于控制器500的控制下。

概而言之，用于图像内容检测的方法对于一定像素计算(16)该像素的估计强度，对于该像素计算(17)该像素的实际强度，检测(18)所述估计强度和所述实际强度的函数是否满足强度条件，以及响应于强度条件检测结果而产生(19)像素内容检测信号。这些强度是所述像素的颜色值的函数。这些方法对于蓝色内容(天空，比如多云天空和非多云天空)性能良好，并且用于基于内容的分类和图像的自动选择。为了提高效率和/或成功率，这些方法还可以检测(15)颜色值是否满足颜色条件。这些方法还可以检测(32，33)来自像素组的若干像素的函数是否满足块阈值条件，以便能够响应于块阈值条件检测结果而产生块内容检测信号。

尽管已经在附图和前面的描述中详细地图示和描述了本发明，但是这样的图示和描述应当被认为是说明性的或示例性的而不是限制性的；本发明并不限于这些公开的实施例。本领域技术人员在实施要求保护的本发明时，根据对于所述附图、本公开以及所附的权利要求书的研究能够理解和实现这些公开的实施例的其他变型。在权利要求书中，措词“包括”并没有排除其他的元件或步骤，并且不定冠词“一”并没有排除复数。单个处理器或其他单元可以实现权利要求书中列举的若干项目的功能。在相互不同的从属权利要求中叙述了某些技术措施这一事实并不意味着这些技术措施的组合不可以加以利用。计算机程序可以存储/分布在适当的介质上，例如存储在光学存储介质或者与其他硬件一起提供或作为其他硬件的一部分而提供的固态介质上，但是也可以以其他形式分布，例如通过因特网或者其他有线或无线电信系统来分布。权利要求书中的任何附图标记都不应当被视为对范围的限制。

Claims (10)

1.一种用于检测包含像素的图像的至少一部分的内容的方法，每个像素由至少一个颜色值限定，该方法包括

-对于一定像素计算该像素的估计强度的第一步骤(16)，所述估计强度是所述至少一个颜色值的函数，

-对于所述像素计算该像素的实际强度的第二步骤(17)，所述实际强度是所述至少一个颜色值的另一函数，

-检测所述估计强度以及所述实际强度的函数是否满足至少一个强度条件的第三步骤(18)，以及

-响应于强度条件检测结果而产生像素内容检测信号的第四步骤(19)。

2.如权利要求1所述的方法，其中

-所述第一步骤(16)包括响应于计算的估计强度而产生计算的估计强度信号的子步骤，

-所述第二步骤(17)包括响应于计算的实际强度而产生计算的实际强度信号的子步骤，并且

-所述第三步骤(18)包括响应于强度条件检测结果而产生强度条件信号的子步骤。

3.如权利要求1所述的方法，还包括

-对于所述像素检测所述至少一个颜色值是否满足由至少一个阈值所限定的至少一个颜色条件的第五步骤(15)，所述第一和第二步骤(16，17)在该像素满足所述至少一个颜色条件的情况下被执行。

4.如权利要求3所述的方法，其中所述至少一个颜色值包括至少两个值，所述估计强度是所述至少两个值中的至少一个的函数，所述实际强度是所述至少两个值的函数，该方法还包括

-对于已经针对其产生了确认像素内容检测信号的像素检测所述至少两个值中的所述至少一个是否满足由至少一个另外的阈值所限定的至少一个另外的颜色条件的第六步骤(20)，以及

-响应于另外的颜色条件检测结果而产生另外的像素内容检测信号的第七步骤(21)。

5.如权利要求4所述的方法，还包括

-对于像素组检测来自该像素组的一定数量的像素的函数是否满足块阈值条件的第八步骤(32)，对于所述一定数量的像素已经产生了确认像素内容检测信号，所述块阈值条件由至少一个块阈值所限定，

-对于所述像素组检测来自该像素组的一定数量的像素的函数是否满足另外的块阈值条件的第九步骤(33)，对于所述一定数量的像素已经产生了另外的确认像素内容检测信号，所述另外的块阈值条件由至少一个另外的块阈值所限定，以及

-响应于块阈值条件检测结果以及另外的块阈值条件检测结果而产生块内容检测信号的第十步骤(34)。

6.一种计算机程序产品，用于执行如权利要求1所述的方法的步骤。

7.一种介质，用于存储和包含如权利要求6所述的计算机程序产品。

8.一种用于执行如权利要求1所述的方法的步骤的处理器(40)，该处理器(40)包括

-用于执行第一步骤(16)的第一计算装置(41-1)，

-用于执行第二步骤(17)的第二计算装置(41-2)，

-用于执行第三步骤(18)的检测装置(42-1)，以及

-用于执行第四步骤(19)的发生装置(43-1)。

9.一种用于检测包含像素的图像的至少一部分的内容的设备(50)，每个像素由至少一个颜色值限定，该设备(50)包括

-用于对于一定像素计算该像素的估计强度的第一计算器(51-1)，所述估计强度是所述至少一个颜色值的函数，

-用于对于所述像素计算该像素的实际强度的第二计算器(51-2)，所述实际强度是所述至少一个颜色值的另一函数，

-用于检测所述估计强度以及所述实际强度的函数是否满足至少一个强度条件的检测器(52-1)，以及

-用于响应于强度条件检测结果而产生像素内容检测信号的发生器(53-1)。

10.一种系统(60)，包括如权利要求9所述的设备(50)并且还包括用于存储图像像素的颜色值的存储器(70)。

Images