CN105760842A - 一种基于边缘和纹理特征结合的台标识别方法 - Google Patents

Abstract

本发明涉及一种基于边缘和纹理特征结合的台标识别方法，包括以下步骤：待检测图像的边缘信息提取；选取待检测台标的模板，提取台标模板的边缘信息和纹理特征；采用滑动窗口的方法进行模板匹配，计算待检测视频帧图像中的候选台标区域并提取其纹理特征；利用提取的纹理特征计算台标模板与候选区域图像的相似度，对相似度按照从大到小排序后通过阈值判断获得最终识别结果。本发明在滑动窗检测的基础上，利用描述能力强的图像特征对候选台标区域再次进行验证和确认，对实际环境下的电视台视频具有很好的鲁棒性，能够取得更高的台标识别准确率。

Description

一种基于边缘和纹理特征结合的台标识别方法

技术领域

本发明属于目标识别领域，具体涉及一种基于边缘和纹理特征结合的台标识别方法。

背景技术

近年来，随着互联网和数字技术的蓬勃发展，电视台视频得以快速增长并广泛传播，已经渗透到生活和工作中的方方面面。由于电视台台标在电视视频传播、节目监测及内容分析方面十分重要，而人工识别的效率低且成本高，因此台标的自动识别具有重要意义。如何快速地从海量视频文件中自动识别出相应电视台的台标，成为一个亟待解决的重要问题。

台标识别过程主要分为两个部分：(1)区域检测：首先从包含台标的图像中检测出台标的区域；(2)识别判定：根据该区域的颜色、纹理、形状等图像特征进行匹配，根据匹配相似度得到识别结果。台标识别主要是利用台标的一般属性对台标所在区域进行定位和提取，然后对其进行识别判定，国内外学者相继提出了一些检测算法。现有方法主要是依据电视台视频的帧间像素的差分或者台标的轮廓不变性进行检测识别。一方面，由于台标区域的像素不随视频画面变化而变化，或发生极小变化(如半透明台标)，因此可以用帧间差的方法对台标区域进行检测，这类方法的典型代表是于2009年EUSIPCO杂志上，等人在文献“AutomaticTVLogoDetectionandClassificationinBroadcastVideos”提出的利用时序边缘(Time-AveragedEdges)进行台标检测的方法。另一方面，由于台标图像形态固定，可以利用其轮廓不变性来进行检测，这类方法的典型代表是于2004年发表在ICASSP会议上的Albiol等人在文献中“DetectionofTVcommercials”中提出的利用台标轮廓不变性计算时间序列梯度(TheTimeAveragedGradient)的平均值进行检测的方法。

在实际应用环境中，考虑到电视视频通常背景复杂以及半透明台标图像的存在，因此上述方法不能有效地判断候选台标区域与台标模板的相似度，导致无法进行有效地识别。

发明内容

针对现有技术的不足，本发明提出了一种基于边缘和纹理特征结合的台标识别方法。本发明首先利用边缘信息通过滑动窗检测方法得到候选台标区域，然后利用强视觉纹理特征对候选台标区域再次进行验证和确认，减少半透明台标和复杂背景的影响，从而提高了台标识别的准确率。

为达到以上目的，本发明采用的技术方案如下：

本发明提出一种基于边缘和纹理特征结合的台标识别方法，具体包括以下步骤：

(1)提取待检测视频帧图像中台标区域的边缘信息；

(2)选取台标模板，并提取台标模板的边缘信息和纹理特征；

(3)基于步骤(1)中的视频帧的边缘信息和步骤(2)中台标模板的边缘信息，采用滑动窗检测方法进行模板匹配，计算待检测视频帧图像中的候选台标区域；

(4)基于步骤(3)中的候选台标区域，提取其纹理特征；

(5)基于步骤(2)中台标模板的纹理特征和步骤(4)中候选台标区域的纹理特征，计算台标模板和待检测视频所有视频帧相似度的最大值，根据阈值得到最终识别结果。

进一步，所述步骤(1)中，所述视频帧图像为对视频文件以等时间间隔或镜头为单位抽取得到的图像帧；所述台标区域，是依据2005年广电总局“电视频道标识应以台标(或频道专用标识图案)为主体，并与台名(简称)、频道名称(简称、序号)组合而成，播出时须在屏幕左上角标出”的规定，选取视频帧图像左上角作为台标区域；所述边缘信息，提取方法为Canny算子。

进一步，所述步骤(2)中，台标模板根据台标图像清晰、背景简单的规则选取；所述台标模板的边缘信息，提取方法为Canny算子；所述台标模板的纹理特征为梯度方向直方图。

进一步，所述步骤(3)中，利用滑动窗检测方法进行模板匹配时，使用台标模板在待检测图像上按照统一步长进行滑动，对其覆盖的待检测图像上的子窗口进行匹配，得到匹配度最高的子窗口，将该子窗口作为候选台标区域。

进一步，所述步骤(4)中，常用的纹理特征为梯度方向直方图。

进一步，所述步骤(5)中，台标模板与视频帧图像的相似度使用欧氏距离进行计算，台标模板与待检测视频的相似度依据台标模板与所有视频帧图像的相似度的最大值得到，并以此作为待检测视频包含相应台标的概率。

本发明中，提取边缘信息的方法除采用Canny算子外，也可以采用索贝尔(Sobel)算子等提取方法；纹理特征除采用梯度方向直方图外，也可以采用局部二值模式(LBP，LocalBinaryPattern)等其它纹理特征。

本发明的有益效果在于：与现有方法相比，本发明对实际环境下的电视台视频具有很好的鲁棒性，能够取得更高的台标识别准确率。本发明之所以具有上述发明效果，其原因在于：本发明在滑动窗检测的基础上，利用描述能力强的纹理特征对候选台标区域再次进行验证和确认，从而有效提高了台标识别的准确率。

附图说明

图1是基于边缘和梯度方向结合的台标识别方法的流程图。

图2是边缘检测效果图。

图3是部分常见电视台台标模板示意图。

图4是模板匹配示意图。

图5是Canny边缘信息匹配示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述。

本发明的一种基于边缘和纹理特征结合的台标识别方法，其流程如图1所示，具体包含以下步骤：

(1)提取视频帧台标区域的边缘信息。

首先需要对视频抽取关键帧图像，本实施例中，视频关键帧以等时间间隔或镜头为单位进行抽取。依据2005年广电总局“电视频道标识应以台标(或频道专用标识图案)为主体，并与台名(简称)、频道名称(简称、序号)组合而成，播出时须在屏幕左上角标出”的规定可知电视台台标的位置应位于视频帧图像的左上角部分，因此在进行台标检测时只需要检测左上角部分即可，而不需对整幅图像进行检测，本实施例中统一选择视频帧图像的上部1/4，左部1/3处作为台标区域。台标区域的选择降低了计算量，并且视频左上角背景一般相对简单，能够减少复杂背景带来的噪声问题。

其次提取台标区域的边缘信息，本实施例中，先通过高斯滤波对原始图片进行平滑，然后使用Canny算子提取图片的边缘信息。由于实际传播中电视台视频分辨率较低，选取的台标区域包含大量噪声，为减少噪声对边缘信息的影响，应在提取边缘信息之前对台标区域做平滑滤波。本实施例中，使用的平滑滤波方法为高斯滤波，高斯滤波是一种常见的线性平滑滤波，适用于消除高斯噪声，是图像处理中广泛应用的减噪方法。高斯滤波将输入图像的每一个像素点与高斯内核卷积，然后将卷积和作为输出像素值，其输出是该像素及周围像素的加权平均，同时离中心越近的像素权重越高。因此，相对于其他滤波方法，高斯滤波能够更好地保留图像的原始信息，平滑效果更加柔和。本实施例中，采用的边缘提取方法为Canny算子，它是一个多级边缘检测算法，在实际应用时能够精确地提取图像的边缘信息。Canny算子首先计算图像水平、垂直两个方向上的一阶导数，然后再将其组合为水平、垂直、对角线四个方向上的导数来寻找边缘的候选点，最后通过滞后阈值(HysteresisThresholding)确认边缘点。

如图2所示，(a)部分是选取的3张视频帧图像台标区域的灰度图，(b)部分是(a)中的原始灰度图经过高斯滤波之后的灰度图，滤波之后的图像相对原始灰度图，显得更加模糊、柔和，但是噪声也相对减少，(c)部分是采用Canny算子对滤波后的灰度图提取的边缘信息，已基本没有其他噪声影响。

(2)提取台标模板的边缘信息和纹理特征。

本实施例中，台标模板依据图像清晰、背景简单的规则进行选取，尽可能使选取的模板图像保留台标的原有信息而不夹杂噪声。如图3所示，台标模板的尺寸应和台标图像保持一致(图3为黑白图像示意图，具体实施时所用的台标模板中的台标图像应采用真实台标的颜色)。然后对台标模板图像提取边缘信息和纹理特征。本实施例中，在使用高斯滤波对台标模板原始图像进行平滑后，使用Canny算子提取边缘信息。纹理特征的选取是图像匹配的关键，本实施例涉及的台标识别算法主要利用台标的边缘信息、形状不变性等，本实施例提取的纹理特征为梯度方向直方图，这是通过计算和统计台标模板局部区域的梯度方向得到。

(3)采用滑动窗检测方法对台标模板和测试视频帧图像的边缘信息进行模板匹配，计算测试视频帧图像中的候选台标区域。

本实施例采用滑动窗口的方法对视频帧图像台标区域的边缘信息进行匹配，选取相似度最大的子窗口作为候选台标区域。如图4所示，左侧表示台标区域的二值图像S，右侧表示台标模板的二值图像T，K和L分别表示S的长度和宽度，N和M分别表示T的长度和宽度，i和j分别表示当前滑动窗口左下角所在位置的横坐标和纵坐标。滑动窗口的方法用T从S的左下角开始移动直至遍历整个S，然后对每个子图和T进行匹配计算，子图S_ij是遍历中的一种情况，根据公式一计算子图S_ij和台标模板T之间的相似度。

公式一： $Sim(T,S_{ij})=\frac{nUni}{\mathrm{\α}*nUni+\mathrm{\β}*nTb+\mathrm{\γ}*nRoi}$

其中nUni表示台标模板T和搜索子图S_ij边缘点重合的个数，nTb表示只出现在台标模板中的边缘点个数，nRoi则表示只出现在搜索子图S_ij的边缘点个数，α、β、γ分别为nUni、nTb、nRoi的权值，可通过交叉验证方法得到最优值。nUni、nTb和nRoi的计算方法如公式二所示。

$nUni=\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}{S}_{ij}(m,n)*T(m,n)$

公式二： $nTb=\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}T(m,n)-nUni$

$nRoi=\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}{S}_{ij}(m,n)-nUni$

(4)提取候选台标区域的纹理特征。

计算出每个子窗口和台标模板的相似度后，选取相似度最大的窗口对应区域为台标模板在该视频帧图像中的候选台标区域。如图5所示，在背景相似((a)图)或者台标模糊((b)图)等情况下，使用边缘信息能够正确地提取候选台标区域，但是候选台标区域与台标模板的相似度值却很低，不能区分正样本和负样本的候选台标区域，因此需要通过描述能力强的纹理特征进一步改善相似度计算方法以取得更加准确的识别结果。本实施例使用的纹理特征为梯度方向直方图，即与步骤(2)所述的提取台标模板纹理特征的方法保持一致。

(5)根据台标模板和候选台标区域的纹理特征计算相似度，通过台标模板和测试视频所有图像帧的相似度获得最终的识别结果。

根据步骤(2)和步骤(4)得到的台标模板和候选台标区域的纹理特征向量来计算相似度，本实施例采用的相似度计算方法为欧式距离，具体计算方法如公式三所示，其中ti表示台标模板的纹理特征向量的第i个元素，si表示候选台标区域的纹理特征向量的第i个元素。

公式三： $Dist(T,S)=\sqrt{\underset{i=1}{\overset{n}{\Σ}}{(t_i-s_i)}^2}$

得到台标模板和视频帧图像的相似度之后，计算整个视频文件的识别得分，本实施例中选取目标视频所有图像帧中最高的相似度值作为最终视频识别得分，计算方法如公式四所示，其中V表示目标视频，V_i表示目标视频的图像帧。

公式四： $Dist(T,V)=\underset{1\≤i\≤n}{min}Dist(T,V_i)$

对台标模板和视频数据的相似度按照从大到小排序后，通过阈值判断获得最终识别结果。

下面的实验结果表明，本发明能够在滑动窗检测的基础上，利用描述能力强的纹理特征对候选台标区域再次进行验证和确认，有效地提高了台标识别的准确率，对实际环境下的电视台视频具有很好的识别效果。

为了尽可能模拟真实的应用环境，本实施例构造的视频数据集中所有视频数据均来源于央视网(http://www.cntv.cn/)及相应电视台的官方网站。本实施例构造的数据集共包含20个常见电视台的视频节目，每个电视台选取10个视频文件，每段视频平均长度约1分钟～2分钟。根据视频抽帧结果，所有200个电视台视频共包含4313帧，数据集具体情况如表1所示。数据集在构造时，尽量覆盖了当前电视台比较常见的新闻、教育、娱乐等电视节目。

表1：数据集中各电视台具体情况

卫视	视频数	总帧数	卫视	视频数	总帧数	卫视	视频数	总帧数
									北京	10	120	黑龙江	10	80	山东	10	140
中央	10	608	河南	10	289	上海	10	177
									重庆	10	231	湖北	10	200	山西	10	212
东南	10	211	湖南	10	116	天津	10	212
									广东	10	125	江苏	10	145	西藏	10	320
甘肃	10	272	内蒙古	10	189	云南	10	209
									河北	10	283	四川	10	174

为了证明本发明能够利用边缘信息在整幅图片中选取和台标模板图像最相似的区域，并利用纹理特征匹配对候选台标进行识别，从而取得更高的台标识别的准确率，本实施例分别进行了下列实验。

实验一：本发明只使用边缘信息进行滑动窗检测后的识别结果；

实验二：本发明在使用边缘信息进行滑动窗检测基础上，使用梯度方向直方图特征再次验证和确认后的识别结果；

实验采用信息检索领域最常用的MAP(MeanAveragePrecision)指标来评测台标识别的准确率，MAP是指每个查询样例检索准确率的平均值，MAP值越大，说明识别结果越好。实验结果如表2所示：

表2：实验结果

实验	MAP
		实验一	0.982
实验二	1.000

从表2可以看出，本发明只使用边缘信息进行模板匹配后能够有效地选取台标模板的候选台标区域，在此基础上使用梯度方向直方图特征计算相似度对结果进行再次验证和确认能够取得更好的MAP，这说明加入纹理特征进行再次验证和确认的方法对结果提升的有效性。本发明能够利用边缘信息在整幅图片中选取和台标模板图像最相似的区域，从而取得更好的台标区域检测效果，并能够利用纹理特征对候选台标进行再次验证和确认，从而取得更高的台标识别的准确率，具有较大的实际应用价值。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于边缘和纹理特征结合的台标识别方法，包括以下步骤：

(1)提取待检测视频帧图像中台标区域的边缘信息；

(2)选取台标模板，并提取台标模板的边缘信息和纹理特征；

(3)基于步骤(1)中的视频帧的边缘信息和步骤(2)中台标模板的边缘信息，采用滑动窗检测方法进行模板匹配，计算待检测视频帧图像中的候选台标区域；

(4)基于步骤(3)中的候选台标区域，提取其纹理特征；

(5)基于步骤(2)中台标模板的纹理特征和步骤(4)中候选台标区域的纹理特征，计算台标模板和待检测视频所有视频帧相似度的最大值，根据阈值得到最终识别结果。

2.如权利要求1所述的方法，其特征在于，步骤(1)所述视频帧图像为对视频文件按照以等时间间隔抽取得到的图像帧；所述台标区域，依据2005年广电总局“电视频道标识应以台标(或频道专用标识图案)为主体，并与台名(简称)、频道名称(简称、序号)组合而成，播出时须在屏幕左上角标出”的规定选择。

3.如权利要求1所述的方法，其特征在于，步骤(1)和步骤(2)采用Canny算子提取所述边缘信息，或者采用Sobel算子提取所述边缘信息。

4.如权利要求1所述的方法，其特征在于，步骤(2)和步骤(4)所述纹理特征为梯度方向直方图，或者为局部二值模式。

5.如权利要求1所述的方法，其特征在于，步骤(2)所述台标模板依据台标图像清晰、背景简单进行选择。

6.如权利要求1所述的方法，其特征在于，步骤(3)利用滑动窗检测方法进行模板匹配时，使用台标模板在待检测图像上按照统一步长进行滑动，对其覆盖的待检测图像上的子窗口进行匹配，得到匹配度最高的子窗口，将该子窗口作为候选台标区域。

7.如权利要求1所述的方法，其特征在于，步骤(5)使用欧氏距离进行计算台标模板与视频帧图像的相似度，台标模板与待检测视频的相似度依据台标模板与所有视频帧图像的相似度的最大值得到，并以此作为待检测视频包含相应台标的概率。