CN103390162B - 一种台标检测方法 - Google Patents

Abstract

本发明提供一种台标检测方法，所述方法包括：对查询图像进行特征点定位，且对每个特征点提取HOG特征；对查询图像的每个特征点的HOG特征，在特征库中搜索其K个近邻，由每个特征点向对应于该K个近邻的K个投票位置进行投票。所述方法还包括：根据投票位置的得票数，确定所述查询图像中是否存在台标。所述检测方法兼顾效率与准确率，适用于多种应用场合。

Description

一种台标检测方法

技术领域

本发明涉及图形图像处理技术领域，尤其涉及一种台标检测方法。

背景技术

台标是电视台的重要标志，目前，合法播出的电视信号中画面均附有台标，它已成为基于内容的多媒体检索中重要的语义信息之一，台标检测技术在版权保护、视频分类，以及收视率统计等方面发挥着重要作用。在国内外的研究中，已经有很多台标检测方法，但其中大多数是基于多个连续视频帧的检测，而基于单帧的台标检测算法较少。另外，有些方法较高地追求算法的通用性，导致其检测的效率和正确率普遍较低。

现有的基于多个连续视频帧的台标检测方法通常基于时间域上像素点的变化，该方法假设视频的内容一直在变，只有台标是不变的区域。其计算连续帧之间的像素差值，再根据时间域上像素的差异来确定阈值T，将差值小于阈值T的区域判为台标。然而，在背景变化很小或者台标区域很细小、镂空、半透明的情况下，这类方法很难根据视频中的不变区域来准确地检测台标。此外，这类方法由于用到了多帧视频，从而检测速度很慢，无法满足高速的要求。因此，这类方法很难扩展到其它一些应用之中，例如难以应用到一些无法取得多帧信息或者检测速度要求很高的实时系统。

为了弥补基于多个连续视频帧的台标检测方法的不足，目前还有一类基于单帧的台标检测方法，这类方法能够检测静止背景和半透明台标，在检测速度上也高于多帧方法。基于单帧的台标检测方法包括基于模板匹配的方法和基于局部特征的方法。其中，模版匹配方法包括提取台标边缘和轮廓，比较台标内部和外部的边缘上相邻点差与模板中边缘上相邻点差的相似程度，以此来确定台标，但这种方法对台标的形变敏感。有研究者指出局部特征比全局特征更适合描述台标，基于局部特征的方法在图像中提取局部特征并且聚类形成视觉词，通过匹配视觉词的方法来检测台标。这种方法针对镂空的台标，效果要比基于模版匹配的方法好。然而，该方法受局部特征的影响较大，如何选择好的局部特征来描述台标是该方法面临的巨大困难，局部特征选择不好，很可能导致台标检测失败。

综上所述，使用基于多个连续视频帧的台标检测方法速度较慢、成本高昂，且在背景变化小或台标区域镂空等情况下不准确；而基于单帧的台标检测方法对形变敏感，且可能会有检测失败的问题。因此，需要一种既高效又准确的方法来进行台标的检测。

发明内容

根据本发明的一个实施例，提供一种台标检测方法，包括：

步骤1）、对查询图像进行特征点定位，且对每个特征点提取HOG特征；

步骤2）、对查询图像的每个特征点的HOG特征，在特征库中搜索其K个近邻，由查询图像的每个特征点向对应于该K个近邻的K个投票位置进行投票；其中，所述特征库由台标模板的特征点提取的SHOG特征构成，所述SHOG特征包括台标模板的特征点的HOG特征和位置信息向量，位置信息向量是该台标模板的特征点相对该台标模板中心的偏移，所述K个投票位置包括查询图像的特征点的坐标与其K个近邻的位置信息向量的差值所表示的点；

步骤3）、根据投票位置的得票数，确定所述查询图像中是否存在台标。

在一个实施例中，步骤3）包括：找到得票数最高的投票位置，如果该投票位置的得票数超过给定阈值，则所述查询图像中存在台标，否则所述查询图像中不存在台标。

在一个实施例中，所述SHOG特征还包括台标信息，表示该SHOG特征属于该台标信息指示的台标。

在进一步的实施例中，步骤3）之后还包括：如果所述查询图像中存在台标，则根据所述查询图像中得票数最高的投票位置对应的SHOG特征中的台标信息得到所述查询图像中的台标。

在进一步的实施例中，投票位置的得票数由数组表示，数组中的不同元素表示在相同投票位置对应于不同台标信息的得票数。

在一个实施例中，所述SHOG特征还包括权重信息，表示该SHOG特征对其所属的台标模板的重要性。

在进一步的实施例中，SHOG特征中的权重信息为该SHOG特征所属的台标模板的总特征数的倒数。

在一个实施例中，由查询图像的每个特征点向对应于该K个近邻的K个投票位置进行投票包括：

由所述查询图像的每个特征点向对应于K个近邻的K个投票位置进行投票，每票的权重为该投票位置对应的SHOG特征中的权重信息。

在一个实施例中，步骤1）包括：

步骤11）、对查询图像的特征点进行定位，其中所述特征点包括角点和边点；

步骤12）、在以每个特征点为中心的区域内提取HOG特征。

在一个实施例中，根据以下步骤建立特征库：

步骤a）、获取台标模板；

步骤b)、对获取的台标模板进行特征点定位且对每个特征点提取HOG特征，由每个特征点的HOG特征以及表示该特征点与台标模板中心相对位置的位置信息向量构成特征点的SHOG特征；

步骤c）、将SHOG特征加入特征库。

采用本发明可以达到如下的有益效果：

本发明提供的台标检测方法使用融合了位置信息的有向梯度直方图特征，采用K近邻方法进行特征匹配，并且使用投票方法来完成台标的检测。与现有技术比，该方法不仅效率较高，而且准确率也较高，对遮挡和噪声具有一定的鲁棒性，适用于不透明、半透明和镂空台标的识别。此外，所述方法仅根据单帧就能实现台标的检测，从而能够适应更多的应用场合。

附图说明

图1是根据本发明一个实施例的台标检测方法流程图；

图2是根据本发明一个实施例的获取台标模板的过程示意图；

图3是根据本发明一个实施例的待检测台标模板的示意图；

图4是根据本发明一个实施例的对投票位置进行投票的示意图；

图5是以亮图表示的投票结果示意图；

图6是使用本发明提供的台标检测方法进行台标检测的结果示意图；

图7是使用本发明提供的台标检测方法进行台标检测的时间消耗示意图；以及

图8是使用本发明提供的台标检测方法与现有基于单帧的台标检测方法的检测结果示意图。

具体实施方式

下面结合附图和具体实施方式对本发明加以说明。

根据本发明的一个实施例，提供一种台标检测方法，图1描述了该方法的步骤。如图1所示，该方法包括两个阶段：训练阶段和检测阶段。通过在训练阶段建立的台标模板的特征库，然后在检测阶段根据该特征库进行台标的检测。

参考图1且简要而言，在训练阶段，首先获取待检测的台标模板；接着，对获取到的台标模板进行描述。该描述过程包括：进行特征点定位、提取特征点的有向梯度直方图特征，以及根据所提取出的特征建立特征库。

在检测阶段，对经过预处理后的查询图像（又称一个视频帧、单帧、视频图像）进行特征点定位，并且提取每个特征点的梯度方向直方图特征；然后，在检测阶段建立的特征库中检索每个特征的K近邻；最后，利用位置信息分别向K个投票位置给这K个近邻对应的台标投票，得到最终检测结果。

继续参考图1且具体而言，在训练阶段包括以下几个步骤：

步骤100、台标模板的获取

在本步骤，可以通过多种手段来获取台标（或称视频台标）模板，例如通过网络下载、视频截图等。研究表明，在一段视频中，台标在位置、大小以及亮度等方面都相对稳定，而视频内容部分（除台标以外的部分）不断变化。因此，在一个实施例中，可以通过计算连续视频帧中相同像素点的亮度变化方差来获取台标模板。

图2示出了获取台标模板的一个实施例。该获取过程包括：

1）、在视频帧中手工标定一个包含台标的矩形区域；

2）、在该矩形区域中，利用台标位置相对于视频内容稳定这一特殊性质，计算多帧中相同位置像素点的亮度值的方差，其中亮度值的方差较小的像素点即为台标上的点，而亮度值的方差较大的像素点为视频内容；

3）、留下方差较小的像素点即可以得到一个台标模板，图3示出了采用上述方法获取的多个台标模板。

本领域技术人员应理解，图2仅示意性地描述了获取台标模板的一个示例，其他任何可用于获取台标模板的方法也适用于此。

步骤102、对获取到的台标模板进行描述

在一个实施例中，台标模板的描述过程可分为以下两个子步骤：

1）、特征点定位

特征点是台标中信息丰富的点，通过特征点定位可以有效减少检测时间，从而提高效率。然而，在现有的台标检测方法中，大多数只考虑了角点（其中，局部窗口沿各方向移动均产生明显变化的点或者图像局部曲线曲率突变的点称之为角点）。但在很多台标中，其边界信息不仅丰富，而且这些边界还起到了显著区分台标与视频内容的重要作用。因此，本发明不仅考虑角点，同时也将部分边点（其中，边点即边界上的点）纳入到特征点集合中，使得对台标的描述可以更加全面和准确。

在一个实施例中，可采用海森矩阵来实现特征点的定位，即通过如下公式计算台标图像（台标模板）的海森矩阵：

$M(x,y)=\left[\begin{array}{cc}{I}_x{(x,y)}^2& I_x(x,y)I_y(x,y)\\ I_x(x,y)I_y(x,y)& I_y{(x,y)}^2\end{array}\right]---\left(1\right)$

其中，I(x,y)表示图像在点(x,y)处的亮度值，I_x(x,y)是图像在点(x,y)处x方向上的偏导数。

然后，通过如下公式计算每个像素的Harris角点响应函数：

$R=\frac{\det M}{{\left(\mathrm{traceM}\right)}^2}---\left(2\right)$

其中，detM表示海森矩阵的模，traceM表示海森矩阵的迹。

接着，自适应地选取一个阈值（这里的自适应是指可以根据图像的不同来自动调整阈值）。在一个实施例中，该阈值为Harris角点响应函数最大值的0.8%。过滤掉小于该阈值的响应，再进行局部极大值抑制，得到角点。同时，可自适应地选择另一个阈值，在一个实施例中，该阈值可以是Harris角点响应函数最小值的8%，过滤掉大于该阈值的响应，然后再进行局部极小值抑制，得到边点。

在另一个实施例中，还可以使用SUSAN算法来定位特征点。

2）、提取特征

梯度方向直方图是一种非常有效的局部特征描述子，自2005年被提出后，在行为检测、目标识别等领域都有着非常广泛的应用。但这种局部特征在描述台标上存在不足，其不包含局部特征的位置信息。而位置信息对于台标来说非常重要，这是因为在台标之间经常有相似的局部特征出现，但这些特征在每个台标的位置分布并不相同，如果忽视位置信息将很容易导致误检。针对这一情况，本发明采用融合了位置信息和梯度方向直方图特征的特征，即有向梯度直方图特征（Spatial Histogram of OrientedGradient，SHOG），来描述台标模板（或台标）。其中，根据本发明的一个实施例，提取SHOG特征的过程包括：

首先，为每个台标模板指定一个中心，用坐标表示。该中心可以是该台标的几何中心、台标的四个顶点中的任何一个，或者其他点。由于已经成功定位了特征点，所以可以根据台标中心和特征点的相对位置得到一个描述特征点的位置信息的向量，如可以用(Δx,Δy)表示，该向量由特征点坐标和台标中心坐标所确定。

其次，计算一个视频帧中每个像素的梯度幅度和角度，在以每个特征点为中心的区域内，提取梯度方向直方图（HOG）特征。由位置信息向量(Δx,Δy)和梯度方向直方图特征构成有向梯度直方图特征，其数学描述如下：

F={f_hog,v} （3）

其中，f_hog表示梯度方向直方图（HOG）特征，v表示位置信息向量。

最后，对所有待检测台标模板的每个特征点均提取其SHOG特征。

步骤104、建立特征库

上一步骤得到的所有待检测台标模板的SHOG特征可构成特征库，特征库中的每个SHOG特征代表一类。

为了将SHOG特征用于台标检测，在一个实施例中，可以为特征库中的每个SHOG特征增加台标信息和权重信息。其中，每个SHOG特征对应一个台标信息，表示该SHOG特征属于某个台标，可以用台标编号来描述该台标信息。并且，每个SHOG特征对应一个权重信息，该权重信息用于表征该SHOG特征对这个台标的重要性。在进一步的实施例中，可以用该台标总特征点数的倒数来描述权重信息。因此，用于描述一个台标的不同SHOG特征的权重信息相同。

继续参考图1且具体而言，根据本发明的一个实施例，在检测阶段包括以下几个步骤：

步骤200、预处理过程

由于台标的颜色信息并不稳定，有些台标可能存在多个不同颜色，而且对于半透明的台标而言，其颜色会随着背景发生很大变化，因此在台标检测中，颜色信息极易带来干扰。已有研究指出，台标基本只会在视频图像的四个角出现。所以在检测时，可以仅针对查询图像（一帧查询视频）的四个角采用亮度信息来进行检测。

在一个实施例中，预处理过程完成亮度信息的提取和图像裁剪，其中对查询图像进行裁剪可提升检测速度。

步骤202、特征点定位和特征提取

在检测阶段的特征点定位与训练阶段的相同，具体过程参见步骤102的第一个子步骤。在定位完成后，在特征点处提取HOG特征（即梯度方向直方图特征），HOG特征提取方法参见训练阶段中步骤102的第二个子步骤。

步骤204、通过K近邻算法在特征库中进行特征检索

对于查询图像而言，在特征点所在区域完成HOG特征提取后，采用K近邻算法在特征库中找出该HOG特征的K个SHOG特征近邻（该SHOG特征包括HOG特征和位置信息向量）。之所以要检索查询图像特征的K个近邻，是考虑到不同台标中可能有相似的特征存在，从而增强算法的鲁棒性。

在一个实施例中，可采用余弦距离来度量特征之间的距离。

步骤206、投票

为完成投票需要确定投票位置、投票大小和得票者。其中投票位置用坐标表示。

首先，根据步骤204中检索得到的K个SHOG特征近邻（假定是特征点x的HOG特征的K个SHOG特征近邻），其中每个SHOG特征中包含位置信息v，则投票位置的坐标为查询图像的特征点x的坐标与v的差值，从而K个SHOG特征近邻可得到K个投票位置。

然后，确定投票大小（即确定每票权重），该投票大小根据训练阶段建立的特征库中SHOG特征的权重信息得到。

接着，确定投票的得票者（即台标），可以根据SHOG特征中附加的台标信息得到。

最后，由查询图像的每个特征点向对应每个特征点的K个位置投票。投票位置会有重合，若投给相同投票位置，票数累加。应注意，在投票位置重合的情况下（即查询图像中，存在多个特征点的坐标与其SHOG特征近邻中相对位置的差值相等），则属于不同台标的SHOG特征所对应的投票位置要分开计票。在一个实施例中，可将投票位置的得票数以数组表示，数组中每个元素分别对应同一投票位置但不同台标的得票数。

在进一步的实施例中，为了修正台标轻微形变所引入的位置误差，在投票时可将投票位置扩大成一个区域（原本特征点坐标和v之差只是一个坐标点，投票位置也应该是一个坐标点），上述投票位置坐标作为该区域的中心（此区域中心坐标是确定的。即为投票点的坐标。投票点坐标是特征点坐标和SHOG中v的差值），区域可以是正方形或圆形，大小可根据画质选择。例如，如果画质较差则可能存在的偏移也较大，因此也需要选择较大的区域。在一个实施例中，该区域可以是5×5像素的正方形。

步骤208、确定检测结果

经过投票，可以形成一张投票图。搜索投票图，可找到得票最高的投票位置，若该点的票数超过给定阈值，那么这帧查询图像中存在台标，否则这帧查询图像中不存在台标。该阈值可以根据视频画质来确定，画质越高，阈值越高，例如阈值可以设置在0.2-0.5之间。如果确定查询图像中存在台标，则具体台标可由投票时的SHOG特征中的台标信息得到，该投票位置即为该台标的中心点（利用投票进行台标检测是一个寻找台标中心所在位置的过程，从训练阶段可知，对于每个SHOG特征，有且仅有一个台标与之对应），台标的检测完成。

如图4所示，由于P3点得到的票数最高，则该点可能是台标中心点。图5是将投票图以亮图形象化表示后得到的结果。该图中白色部分表示没有投票信息，每个台标配以不同颜色，得票数用亮度表示，亮度越高表示该点得票数越高。在图5中，P₀点所表示的位置颜色最亮，得票数最高，如果得票数超过给定阈值，则P₀就是台标中心。

为了检验本发明提供的台标检测方法的效果和适用性，发明人从优酷上下载了17G的视频数据进行检测。图6给出了该实验的检测结果，该结果表明，本发明提供的台标检测方法的错误拒绝率为2.3%，且虚警率为0.1%，可见本发明的准确率较高。图7则给出了检测的速率，从图中可知，平均检测一个视频帧的消耗仅为30毫秒，远远小于基于多个连续帧来检测台标所需的时间。

另外，参考张亮等在2011年ICIP会议上发表的论文“Hollow TV logodetection”，发明人将本发明提供的台标检测方法与该论文中披露的基于单帧的台标检测方法进行了对比，其中，数据的获取方法与现有技术一致。结果如图8所示，图8中的数据表明，本发明总体上比张亮的基于单帧的检测方法效果要好，正确率和召回率均有提升。并且，张亮的方法专门针对镂空台标，对其他台标的检测效果较差，而本发明针对不同类型的台标（包括半透明的、镂空的、不透明的）均具有普遍适用性。此外，采用张亮的方法来检测一个视频帧的时间消耗在33毫秒到39毫秒之间，而本发明的检测速率在25毫秒到35毫秒之间。可见，与该检测方法相比，本发明也更加高效。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (12)

1.一种台标检测方法，包括：

步骤1)、对查询图像进行特征点定位，且对每个特征点提取HOG特征；

步骤2)、对查询图像的每个特征点的HOG特征，在特征库中搜索其K个近邻，由查询图像的每个特征点向对应于该K个近邻的K个投票位置进行投票；其中，所述特征库由台标模板的特征点的SHOG特征构成，所述SHOG特征包括台标模板的特征点的HOG特征和表示该台标模板的特征点与该台标模板中心相对位置的位置信息向量，所述K个投票位置包括查询图像的特征点的坐标与其K个近邻的位置信息向量的差值所表示的点；

步骤3)、根据投票位置的得票数，确定所述查询图像中是否存在台标。

2.根据权利要求1所述的方法，其中，步骤3)包括：

找到得票数最高的投票位置，如果该投票位置的得票数超过给定阈值，则所述查询图像中存在台标，否则所述查询图像中不存在台标。

3.根据权利要求1或2所述的方法，其中，所述SHOG特征还包括台标信息，表示该SHOG特征属于该台标信息指示的台标。

4.根据权利要求3所述的方法，步骤3)之后还包括：

如果所述查询图像中存在台标，则根据所述查询图像中得票数最高的投票位置对应的SHOG特征中的台标信息得到所述查询图像中的台标。

5.根据权利要求3所述的方法，其中，投票位置的得票数由数组表示，数组中的不同元素表示在相同投票位置对应于不同台标信息的得票数。

6.根据权利要求1或2中所述的方法，其中，所述SHOG特征还包括权重信息，表示该SHOG特征对其所属的台标模板的重要性。

7.根据权利要求6所述的方法，其中，SHOG特征中的权重信息为该SHOG特征所属的台标模板的总特征数的倒数。

8.根据权利要求6所述的方法，其中，由查询图像的每个特征点向对应于该K个近邻的K个投票位置进行投票包括：

由所述查询图像的每个特征点向对应于K个近邻的K个投票位置进行投票，每票的权重为该投票位置对应的SHOG特征中的权重信息。

9.根据权利要求1或2所述的方法，其中步骤1)之前还包括：

提取查询图像的亮度信息并且进行图像裁剪。

10.根据权利要求1或2所述的方法，其中，步骤1)包括：

步骤11)、对查询图像的特征点进行定位，其中所述特征点包括角点和边点；

步骤12)、在以每个特征点为中心的区域内提取HOG特征。

11.根据权利要求10所述的方法，其中步骤11)包括：

步骤111)、根据以下公式计算查询图像的海森矩阵：

$M(x,y)=\left[\begin{array}{cc}{I}_x{(x,y)}^2& I_x(x,y)I_y(x,y)\\ I_x(x,y)I_y(x,y)& I_y{(x,y)}^2\end{array}\right],$

其中，I_x(x,y)是图像在点(x,y)处x方向上的偏导数，I_y(x,y)是图像在点(x,y)处y方向上的偏导数，I_x(x,y)²是图像在点(x,y)处x方向上的二阶偏导数，I_y(x,y)²是图像在点(x,y)处y方向上的二阶偏导数；

步骤112)、根据以下公式计算每个点的Harris角点响应函数：

$R=\frac{\det M}{{\left(traceM\right)}^2},$

其中，detM表示海森矩阵的模，traceM表示海森矩阵的迹；

步骤113)、过滤掉小于第一预定阈值的响应并且进行局部极大值抑制，得到角点；以及过滤掉大于第二预定阈值的响应并且进行局部极小值抑制，得到边点。

12.根据权利要求1或2所述的方法，其中，根据以下步骤建立特征库：

步骤a)、获取台标模板；

步骤b)、对获取的台标模板进行特征点定位且对每个特征点提取HOG特征，由每个特征点的HOG特征以及表示该特征点与台标模板中心相对位置的位置信息向量构成特征点的SHOG特征；

步骤c)、将SHOG特征加入特征库。