CN101620731B - 检测布局区域的方法以及生成尺寸减小的图像的方法 - Google Patents

Abstract

本发明涉及一种源图像中称作布局区域的至少一个区域的自动检测方法，所述布局区域包括诸如标志和/或比分等至少一个布局。根据本发明，使用源图像像素的显著性来检测源图像的布局区域。所述检测是在源图像显著图的特定区域中执行的，通常地是在与图像的角部相对应或者与图像的上部分和下部分中的条带相对应的区域中执行的。在这些区域中，寻找具有最大显著值并且彼此相距至少p个点的两个点。这两个点与布局区域的起始和末尾相对应。那么包围这两个点的窗口与布局区域相对应。

Description

检测布局区域的方法以及生成尺寸减小的图像的方法

技术领域

本发明涉及对视频图像中诸如标志和/或比分等布局区域的检测，以及涉及从源图像生成尺寸减小的图像。

背景技术

已知在视频图像中布局区域的多种检测技术。在K.Meisinger、T.Troeger、M.Zeller以及A.Kaup的文献“Automatic logo removal usingstatistical based logo detection and frequency selective inpainting”Proc.European Signal Processing Conference，September 2005中描述了第一种技术。该技术包括检测在图像序列中不变的图像区域，启动的前提是：除了包含布局的图像区域以外，图像的内容一般地随着时间改变。用于检测布局的算法基于图像间的差异，认为一幅图像与另一幅图像之间的差异为零或者接近零的像素构成布局的一部分。该技术的第一问题是，该技术不适于包含很少的运动或者不包含运动的场景。第二问题是该技术需要对若干连续图像进行分析才得以实现。

在A.Reis dos Santos和H.Yong Kim的文献“Real-time opaque andsemi-transparent TV logos detection”Proc.5^th International Informationand Telecommunication Technologies Symposium，2006中描述了第二种已知技术。在该文献中，布局检测基于轮廓的检测，这需要对若干连续图像进行预处理。

最后，第三种已知技术是将要处理的图像中的视觉内容与预定义的布局库相比较。将图像的视觉内容与库中包含的每个布局的视觉内容相比较。当视觉内容与所测试的区域的视觉内容相同时，则检测到布局。该技术仅检测库中包含的布局，从而涉及到对于要检测的标志的预先认知。

发明内容

本发明的目的是提出一种克服前述所有缺点或前述缺点当中的一些的解决方案。

根据本发明，根据源图像的显著图来执行对所述源图像中的布局的检测，所述显著图是从视觉注意模型生成的。

为此，本发明提出了一种源图像中称作布局区域的至少一个区域的自动检测方法，所述布局区域包括诸如标志和/或比分之类的至少一个布局，该方法包括下列步骤：

-使用视觉注意模型生成所述源图像的显著图，所述显著图使源图像的每个像素与具有显著值的显著点相关联，以及

-从所述显著图确定源图像中的所述至少一个布局区域。

因此，根据单个源图像执行检测并且不需要对要检测的布局的预先认知。

根据本发明的具体特征，确定源图像中的布局区域的步骤包括：

a)在显著图的至少一个预定义区域，即，搜索区域内，搜索具有与所述显著图的最大显著值相同或者接近相同的显著值并且相距至少p个点的两个点，以及针对最大显著的两个点中的每一个限定包围该最大显著点的区域，该区域称作最大显著区域，以及

b)针对包括两个最大显著区域的每个搜索区域限定包围所述两个最大显著区域的窗口(称作包围窗口)，从而在显著图中限定的每个包围窗口与源视频图像中的布局区域相对应。

根据具体的第一实施例，布局一般位于源图像的角部中的区域内，搜索区域包括与源图像的角部中的源图像区域相对应的显著图中预定义尺寸的至少一个区域。

优选地，所述至少一个搜索区域包括显著图中预定义尺寸的m个区域，每个区域与位于源图像的角部中的源图像区域相对应，其中m在2至4之间。

根据第二具体实施例，该方法的步骤a)包括：

-在显著图的n个预定义的搜索区域中搜索具有与所述显著图的最大显著值相等或者接近相等的显著值并且彼此之间相距至少p个点的q个点，以及针对q个最大显著点当中的每一个限定包围该最大显著点的最大显著区域，n大于或者等于2，q大于n+1，以及

-在q个最大显著区域当中选择证实至少一个预定义标准的两个最大显著区域。

在n等于2的情况下，有利地，两个搜索区域是与源图像的上部分和下部分中预定义宽度的两个条带相对应的显著图的区域，在这两个搜索区域中搜索至少三个最大显著点。

在该第二实施例中，所选的两个最大显著区域将验证下列标准中的至少一个：

-包含两个最大显著区域的最小矩形的高度小于最大高度，

-包含两个最大显著区域的最小矩形的表面积小于最大表面积，

-显著图的中心与两个最大显著区域中每一个之间的距离大于最小距离。

此外，有利地，针对最大显著点而限定的最大显著区域是以所述最大显著点为中心具有预定义半径的圆。

本发明还涉及一种处理源图像的方法，该方法能够从所述源图像生成尺寸减小的图像，该方法包括下列步骤：

-根据前述自动布局检测方法来自动检测布局区域，以及

-根据针对布局区域的自动检测而生成的显著图，以及根据检测到的布局区域，从所述源图像生成尺寸减小的图像。

根据具体实施例，在用于生成尺寸减小的图像的显著图中，将通过自动布局检测方法而确定的包围窗口中所包含的点设置为零。从而源图像布局区域(并非观众感兴趣的区域)不对确定减小的图像造成干扰。

根据可以与前述实施例合并的另一具体实施例，生成尺寸减小的图像，使得该尺寸减小的图像不包含与通过自动布局区域检测方法而确定的包围窗口中所包含的点相对应的像素。

附图说明

通过阅读参考附图对本发明当前优选的两个特定实施例的详细说明性描述，将更好的理解本发明，并且本发明的其它目的、细节、特征以及优点将变得更为清楚，其中：

图1示出了根据本发明的第一实施例的检测方法；

图2示出了根据本发明的第二实施例的检测方法；以及

图3示出了在第二实施例的步骤S’3中使用的标准，以仅保留在步骤S’2中限定的三个最大显著区域当中的两个；以及

图4A示出了根据已知方法从源图像生成尺寸减小的图像，以及

图4B与图4A相比示出了根据本发明的方法从相同源图像生成尺寸减小的图像。

具体实施方式

根据本发明，从源图像的显著图确定该源图像布局区域。当在显著图的相同区域中检测到两个最大显著区域时，其中第一最大显著区域与布局的起始相对应并且第二最大显著区域与布局的末尾相对应，则检测到布局。

在其余描述中，布局代表添加至或者嵌入至源图像中的任何信息，如标志、与持续时间或者时间有关的信息、在与体育事件相关的图像的情况下的比分。

图1示出了根据本发明的第一实施例中的步骤。要处理的源图像是从足球比赛中获取的图像。该源图像示出了足球旁边的足球运动员。在图像的左上方显示了比赛的比分并且在右上方显示了AF1标志，其中该AF1标志标识了转播该足球比赛的电视频道。

在步骤S1，使用视觉注意模型生成源图像的显著图。在欧洲专利EP 1 685 288中描述了显著图的生成。显著图使源图像的每个像素与显著值相关联，其中所述显著值是图像像素的感知兴趣(perceptualinterest)的函数。图像像素的感知兴趣越高，则显著值越高。例如显著值是归一化的并且处于0至255之间。显著值是由显著图中的点来表示的，其中所述点具有与该点所描述的源图像像素相同的空间坐标，并且具有与该像素的显著值成比例的灰度级。显著图上最亮的点表示源图像的最显著点。这些点与图像中强对比度的区域相对应。在图1的示例中，最亮点是在表示运动员、足球、比赛比分以及标志的图像区域中找到的。

在接下来的步骤S2中，在显著图的至少一个预定义的区域(称作搜索区域)中寻找两个点，这两个点具有与显著图的最大显著值相等或者几乎相等的显著值，并且这两个点相距至少p。在以下描述中，将这两个点称作最大显著点。如果在若干搜索区域中执行该搜索，则在这些区域当中的每一个区域中搜索两个最大显著点。在具有在0至255之间的归一化值的显著图中，搜索相距至少p个点并且具有等于255或者如果找不到的话接近255(优选地，在250至255之间)的显著值的两个点。这两个点必须相距至少p个点，以确保这两个点不全都与相同布局区域的起始或者末尾相对应。数目p可以随着源图像的尺寸而变化。例如，在360×240像素图像或者352×288像素图像的情况下，数目p可以是25。

在本实施例中，有利地，搜索区域是与位于源图像的角部中的区域相对应的显著图的预定义尺寸的区域，布局可能存在于所述搜索区域中。在图1的示例中，搜索区域是与分别位于源图像的左角部和右角部中的两个矩形区域相对应的显著图区域。有利地，在与源图像的四个角部相对应的显著图区域中执行搜索。

在每个搜索区域中，例如通过从左至右以及从上至下地扫描该区域来执行搜索。第一次扫描该搜索区域以确定该区域的最大显著值。该最大显著值必须等于或者接近255，以与布局区域的起始或者末尾相对应。优选地，该最大显著值大于250。在没有最大显著值的情况下，在搜索区域中将检测不到布局区域，并且如果有必要的话应当然后考虑下一个搜索区域。如果找到接近255的显著值，则执行第二扫描以搜索具有最大显著值的搜索区域的点。每当检测到这样的点时，选择该点并且禁止(inhibit)所选点周围的点。禁止属于以所选点为中心半径为R的圆的点，其中R等于例如p个点。扫描继续忽略被禁止的点并且以相同方式选择具有最大显著值的显著图的其它点。如果本次扫描之后没有选择出两个点，则减小最大显著值并且执行进一步的扫描，直到选择出两个最大显著点为止。如果在最大显著值减少到小于250，则中断扫描。如果还没有选择出两个点，则考虑下一个搜索区域。

然后在两个所选点的每一个的周围限定最大显著区域。有利地，对于所选点来说，该区域与先前限定的禁止区域相对应，即，以所选点为中心半径为R的圆。将位于所限定的最大显著区域之外的点的显著值设置为零。

对于每个搜索区域，获得两个最大显著区域。在图1的示例中，在位于源图像两个上角部中的两个搜索区域当中的每一个搜索区域中，检测到两个最大显著区域。

在接下来的步骤S3中，在包括两个最大显著区域的每个搜索区域中，限定包围两个最大显著区域的窗口。如果x和y分别代表显著图中的水平轴和垂直轴，则优选地该窗口是两条边平行于x轴另两条边平行于y轴并且包围所选两个区域的最小矩形。根据本发明，其在显著图中的对应点属于该包围窗口的源图像像素从而被认为是属于在源图像中的布局区域的。

图2示出了根据本发明的第二实施例的步骤。要处理的源图像是法国南部的地图。在图像的左下角中存在广播电视频道的AF1标志。在步骤S’1中，使用如第一实施例的步骤S1中描述的视觉注意模型来生成图像的显著图。在图2的示例中，显著图的最显著点是与标志、图像中包含的文本以及在地图中不同颜色地区之间的边界相对应的区域。

在之后的步骤S’2中，在显著图的两个预定义的搜索区域中搜索三个最大显著区域。在图2所示的示例中，在显著图中预定义宽度的两个条带中执行搜索，一个条带位于显著图的上部分，另一个条带位于显著图的下部分。如第一实施例的步骤S2所指出的，例如通过从左至右以及从上至下地扫描显著图的两个条带来执行这种搜索。首先扫描两个条带以获得两条条带的最大显著值。所述最大显著值必须等于255，或者如果不等于则接近255，例如在250和255之间。在找不到这样的最大显著值的情况下，将检测不到布局区域。如果找到接近255的显著值，则第二次扫描两个条带以搜索具有最大显著值的点。每当检测到这样的点时，选择该点并且禁止所选点周围的点。例如，禁止属于以所选点为中心R为半径的圆的点。对两个条带的扫描继续忽略被禁止的点并且，如果存在的话选择显著图上具有最大显著值的两个其它点。如果在本次扫描之后没有选择出三个点，则减小最大显著值并且执行其它扫描，直到选择出三个最大显著点为止。

然后在三个所选点当中每一个所选点的周围限定最大显著区域。有利地，对于所选的点，该区域与先前限定的禁止区域相对应，即，以所选点为中心半径为R的圆。将位于所限定的最大显著区域之外的点的显著值设置为零。

在图2的示例中，最大显著区域之一位于显著图中上面的条带，另外两个最大显著区域位于显著图中下面的条带。

在接下来的步骤S’3中，消除这三个最大显著区域之一。该步骤的目的是保存可能与布局的起始和末尾一致的两个最大显著区域，第三个区域通常是假警报。对于该步骤，从最显著到最不显著对这三个最大显著点进行分类。然后对由两个最显著点形成的第一点对进行测试，以验证该点对是否满足一个或者更多预定义的标准。如果该点对满足这些标准，则保存与这两个点相对应的最大显著区域并且消除与最不显著的点相对应的最大显著区域。否则，测试由三个点中最显著的以及最不显著的构成的第二对，然后如果必要的话测试由两个最不显著的点构成的第三对。

图3示出了用于消除三个最大显著区域之一的标准。该图示出了显著图，在该显著图中标识了三个最大显著点P1、P2以及P3。将与这三个点相关的、半径为R的最大显著区域标记为Z1、Z2以及Z3。点P1和P2存在于显著图的上部分的条带B1中，点P3存在于显著图的下部分的条带B2中。条带B1和B2表示搜索区域。在本图中，R1代表两条边平行于x轴另两条边平行于y轴并且包围区域Z1和Z2的最小矩形。R2代表两条边平行于x轴另两条边平行于y轴并且包围区域Z1和Z3的最小矩形，R3代表两条边平行于x轴另两条边平行于y轴并且包围区域Z2和Z3的最小矩形。最后，C代表与原图像的中心相对应的显著图中心。

当包围所考虑的点对的两个最大显著区域的矩形的高度(根据y轴的维度)小于预定义最大高度时，则该点对满足第一标准。该标准确保了这两个最大显著区域来自于相同的上部显著图条带或者下部显著图条带。表示布局起始和末尾的最大显著区域始终满足该标准。

当包围所考虑的点对的两个最大显著区域的矩形的表面积小于预定义最大表面积时，该点对满足第二标准。该标准确保了所考虑的两个点是明显垂直或者水平对齐的。

当对于对中的每个点来说该点与显著图中心C之间的距离大于最小距离时，该点对满足第三标准。

根据本发明，对于三个点对是否满足第一标准的问题进行验证。消除不满足第一标准的对。如果一对满足第一标准，则选择这一对。否则对未消除的对进行测试，以查明它们是否满足第二标准。如果一对满足第二标准，选择这一对。将不满足这头两个标准的对消除。最后，如果剩下若干对，则检验未消除的对，以查明它们是否满足第三标准。如果一对满足第三标准，则选择这一对。可以仅使用第一标准或者仅使用前两个标准。如果3条标准不足以从三个最大显著区域中选出仅仅两个，还可以提供其它标准。

在接下来的步骤S4，在显著图中确定包围两个所选最大显著区域的窗口。优选地，该窗口是两条边平行于x轴另两条边平行于y轴并且包围了这两个所选区域的最小矩形。根据本发明，其在显著图中的对应点属于该包围窗口的源图像像素被认为属于源图像中的布局区域。

根据该实施例的变体，在步骤S’2寻找q个最大显著点并且限定q个最大显著区域，其中q大于3。然后，通过对所有可能的区域区域对应用预定义的标准，将最大显著区域的数目限制为2。

同样，可以增加搜索区域的数目n，那么所限定的最大显著区域的数目q至少等于n+1。

根据可用于这两个实施例的改进，自动布局区域检测方法包括在确定包围窗口(步骤S4或者S’3)之前的针对显著图的二值化步骤。在该步骤期间，将每个搜索区域的三个最大显著区域(第一实施例)或者两个最大显著区域(第二实施例)的点的显著值设置为255(或者设置为最大显著值)，将其它点的显著值设置为零。该二值化步骤的目的是协助包围窗口确定的步骤。

根据也可用于这两个实施例的另一改进，自动布局区域检测方法包括对步骤S4或者S’3中限定的最大显著区域的时间一致性进行检验的步骤。该步骤包括：针对最大显著区域的每个点，验证该点是否属于前一幅图像中的该区域。可以使用计数器来实施该步骤。例如针对每个搜索区域点提供计数器。每次当所考虑的点属于给定图像中的最大显著区域时则增加计数器。因此，如果所考虑的点属于当前图像中的最大显著区域还属于先前图像中的最大显著区域，则保持该点作为最大显著区域的一部分。本步骤的目的是加强对当前图像中限定的最大显著区域的选择。

本发明还涉及一种图像处理方法，该方法能够从源图像生成减小了预定义尺寸的图像，以在尺寸减小的屏幕上显示该图像。还讨论了自动重框定方法。这种方法传统上包括：生成源图像显著图的步骤，以及使用显著图从源图像生成尺寸减小的图像的步骤。所生成的尺寸减小的图像是源图像的子图像或者源图像的一部分，其对于观众来说具有最高的感知兴趣(conceptual interest)。更具体地，尺寸减小的图像的生成步骤包括：在源图像中限定框定窗口，其中该窗口小于包含图像的最显著点或者最大数目显著点的源图像。因此所生成的尺寸减小的图像是包含于框定窗口中的图像。在这种传统方法中，布局区域在确定框定窗口的尺寸和位置方面存在问题，这是因为，作为图像的显著部分，尽管它们不是用户感兴趣的部分但是它们影响了框定。

根据本发明，自动重框定方法包括根据前述自动布局检测方法来检测源图像中的布局区域的步骤，其中这些布局区域是然后在尺寸减小的图像的生成步骤期间考虑的。有利地，自动重框定方法的显著图生成步骤是自动布局区域检测方法中的显著图生成步骤。

根据自动重框定方法的第一实施例，将布局区域检测方法所确定的包围窗口中所包含的点的显著值设置为零。在显著图中撤回或者删除由源图像的布局区域产生的显著区域。“清理”了显著图。然后使用该“清理的”的显著图计算框定窗口的尺寸和位置。框定窗口的自动确定不再受源图像的布局区域的显著性影响。

根据自动重框定方法的第二实施例，将布局区域检测方法所确定的包围窗口看作是禁止区域。在该实施例中，确定框定窗口使得该框定窗口不包括与属于被禁止区域的点相对应的像素。从而尺寸减小的图像不包括由本发明的自动检测方法检测到的任何布局区域。

第三实施例在于，将这两个实施例结合起来，不仅将用于确定框定窗口位置和尺寸的显著图清除，还将自动框定窗口确定为不包含与属于布局区域的像素相对应的像素。

在示出了来自足球比赛的场景的图像的情况下，图4A示出了由标准方法确定的自动重框定窗口，相比之下图4B示出了由本发明的方法(第三实施例)确定的自动重框定窗口。处理过的源图像更具体地示出了在底部和中部的足球场上的运动员以及在上部的看台中的观众。在图像的左上角显示了比赛时间和比分，在图像的右上角显示了标志。当对该图像应用标准自动重框定方法时(图4A)，获得了包围运动员和布局区域(即，比赛时间、比分以及标志)的框定窗口(图中的白色矩形)。当应用本发明的方法时，从窗口中排除了布局区域。确定窗口的位置和大小使得该窗口仅包括运动员。

尽管关于不同特定实施例描述了本发明，然而应清楚地理解，本发明并不限于这些特定实施例，在本发明的范围之内，本发明包括上述方法的所有技术等价物以及它们的组合。

Claims (10)

1.一种源图像中的至少一个布局区域的自动检测方法，所述布局区域包括至少一个布局，所述方法包括下列步骤：

使用视觉注意模型生成(S1；S’1)所述源图像的显著图，所述显著图使源图像的每个像素与具有显著值的显著点相关联，以及

从所述显著图确定源图像中的所述至少一个布局区域；

其中，确定源图像中的布局区域的步骤包括：

a)在显著图的至少一个预定义搜索区域内，搜索(S2；S’2，S’3)具有与所述显著图的最大显著值相同或者接近相同的显著值并且相距至少p个点的两个最大显著点，以及针对所述两个最大显著点中的每一个限定包围该最大显著点的最大显著区域，以及

b)针对包括两个最大显著区域的每个预定义搜索区域限定(S3；S’4)包围所述两个最大显著区域的、被称作包围窗口的窗口，从而在显著图中限定的所述包围窗口与源图像中的布局区域相对应。

2.根据权利要求1所述的方法，其中，所述至少一个预定义搜索区域包括与位于源图像的角部中的源图像区域相对应的、预定义尺寸的至少一个显著图区域。

3.根据权利要求2所述的方法，其中，所述至少一个预定义搜索区域包括显著图中预定义尺寸的m个区域，每个区域与位于源图像的角部中的源图像区域相对应，其中m在2至4之间。

4.根据权利要求1所述的方法，其中，步骤a)包括：

在显著图的n个预定义搜索区域中搜索(S’2)具有与所述显著图的最大显著值相等或者接近相等的显著值并且彼此之间相距至少p个点的q个最大显著点，以及针对q个最大显著点当中的每一个限定包围该最大显著点的最大显著区域，n大于或者等于2并且q大于或者等于n+1，以及

从q个最大显著区域当中选择(S’3)证实至少一个预定义标准的两个最大显著区域。

5.根据权利要求4所述的方法，其中，n等于2，q等于3，两个预定义搜索区域是与源图像的上部分和下部分中预定义宽度的两个条带相对应的显著图中的区域。

6.根据权利要求4所述的方法，其中，所选的两个最大显著区域将验证下列标准中的至少一个：

包含两个最大显著区域的最小矩形的高度小于预定义最大高度，

包含两个最大显著区域的最小矩形的表面积小于预定义最大表面积，

显著图的中心与两个最大显著区域中每一个之间的距离大于预定义最小距离。

7.根据权利要求1所述的方法，其中，针对最大显著点而限定的最大显著区域是以所述最大显著点为中心具有预定义半径的圆。

8.一种处理源图像的方法，能够从所述源图像生成尺寸减小的图像，其特征在于，该方法包括下列步骤：

根据权利要求1至7中任一项所述的方法自动检测布局区域，以及

根据针对布局区域的自动检测而生成的显著图，以及根据检测到的布局区域，从所述源图像生成尺寸减小的图像。

9.根据权利要求8所述的方法，其中，在用于生成尺寸减小的图像的显著图中，将通过自动布局检测方法而确定的包围窗口中所包含的点设置为零。

10.根据权利要求8所述的方法，其中，生成尺寸减小的图像，使得将与使用自动布局区域检测方法而确定的包围窗口中所包含的点相对应的像素排除在外。

Images