CN104063701B - 基于surf词汇树和模板匹配的快速电视台台标识别系统及其实现方法 - Google Patents

Abstract

本发明公开了一种基于SURF词汇树和模板匹配的快速电视台台标识别系统及其实现方法，主要解决了现有技术中存在的台标识别方法响应时间较长，综合性能较差，的问题。该基于SURF词汇树和模板匹配的快速电视台台标识别系统的实现方法包括以下步骤：第一级SURF词汇树索引模块提取非相似台标训练集合中的SURF特征，通过Kmeans算法将提取的SURF特征聚类成词汇树，当待匹配的图片到达时，遍历词汇树返回给第二级模板匹配索引模块待识别图片所属的电视台；第二级模板匹配索引模块根据返回的非相似台标的信息，到指定电视台目录下进行模板匹配，找到最相似的频道。通过上述方案，本发明达到了高正确率、响应时间较快的目的，具有很高的实用价值和推广价值。

Description

基于SURF词汇树和模板匹配的快速电视台台标识别系统及其 实现方法

技术领域

本发明涉及一种电视台台标识别方法，具体地说，是涉及一种基于SURF词汇树和模板匹配的快速电视台台标识别系统及其实现方法。

背景技术

随着智能电视的日益普及，台标作为电视台和电视栏目的标志，在媒体数据挖掘领域已经成为了一个很重要的元素，而台标识别技术则成为了近年来的研究热点之一。将计算机视觉理论结合图像处理技术，可以很好地解决电视台台标识别问题。

在计算机视觉领域，SIFT描述符成功地应用于对象识别和3D场景重建，而SURF是SIFT的加速版本，具有尺度不变等很好的特性。通过SURF描述符，将两幅图像的匹配问题归结于寻找特征点间相似问题，即近邻问题。而对于大规模高维数据近邻问题，一个比较成熟的方案就是通过树结构划分数据空间，即SURF词汇树方案。

模板匹配算法是一项非常重要的图像处理技术，它能够在一幅图像中寻找与另一幅模板图像最匹配部分的技术。因为模板匹配不具备像SURF那样的尺度不变性，一般采用图像金字塔技术来弥补这一缺陷。

现今，衡量一个电视台台标识别方法好坏的具体指标如下：

1、正确率：给定了一个待识别的台标图片，算法返回的结果是正确的概率。

2、失败率：给定了一个待识别的台标图片，由于图像质量等原因算法无法识别的概率。

3、错误率：给定了一个待识别的台标图片，算法返回的结果是错误的概率。

4、响应时间：给定一个待识别的台标图片，算法的响应时间，即匹配时间；还包括算法准备的时间，即训练时间。

5、可扩展性：当在大数据量高并发的情况下，采用的方案能否扩展到分布式方案来适应需求的变化。

以上五点，其中前三点是核心技术指标，第四点是保证了用户体验和整体效能，第五点则关注方案将来的可扩展性。

目前的台标识别方法都在以上五个方面做了自己的折衷：SURF词汇树算法能够在很短的时间对非相似台标做很高正确率、低错误率的识别，但是存在训练时间过长，并且对相似台标存在高错误率的情况。模板匹配算法能够对相似台标做出很高正确率的识别，但是存在计算量过大，识别的时间过长的问题。

发明内容

本发明的目的在于提供一种基于SURF词汇树和模板匹配的快速电视台台标识别系统及其实现方法，主要解决现有技术中存在的台标识别方法响应时间较长，综合性能较差，不能满足实际需求的问题。

为了实现上述目的，本发明采用的技术方案如下：

基于SURF词汇树和模板匹配的快速电视台台标识别系统，包括：

预处理模块：对终端采集的台标图片进行预处理，训练阶段对待训练图片进行预处理；匹配阶段将待识别的图片进行预处理后发送给第一级SURF词汇树索引模块；

第一级SURF词汇树索引模块：负责各个电视台信息的索引；训练阶段，提取训练图片的SURF特征点，利用Kmeans算法将提取的SURF特征点聚类成词汇树；匹配阶段，当有待识别的图片到达时，在所训练的SURF词汇树上找到图片所对应的电视台信息，之后将待识别图片及查找出的所属电视台信息发送至第二级模板匹配索引模块；

第二级模板匹配索引模块：负责具体的电视台下的各个频道信息的索引；训练阶段，从训练图片中提取模板匹配所需要的模板，以电视台为单位按照目录的形式加载到内存；匹配阶段，在接收到待识别的图片和图片所属的电视台信息时，到具体的电视台目录下进行模板匹配，找到图片所属的电视台的具体频道，将结果返回给用户。

基于上述系统，本发明公开了一种基于SURF词汇树和模板匹配的快速电视台台标识别系统的实现方法，包括以下步骤：

根据SURF词汇树算法以及模板匹配算法的特性，将电视台台标分为两类：非相似台标和相似台标，其中，非相似台标为不同电视台下的频道；相似台标为同一电视台的多个频道；

（1）第一级SURF词汇树索引模块提取非相似台标训练集合中的SURF特征，通过Kmeans算法将提取的SURF特征聚类成词汇树，当待匹配的图片到达时，遍历词汇树返回给第二级模板匹配索引模块待识别图片所属的电视台；

（2）第二级模板匹配索引模块根据返回的非相似台标的信息，到指定电视台目录下进行模板匹配，找到最相似的频道。

进一步地，所述步骤（2）具体包括以下步骤：

（2a）从输入的图像的左上角(0，0)开始，切割一块(0，0)到(x，y)的临时图像；

（2b）用临时图像和模板图像进行对比，度量函数为h，对比的结果为c；

（2c）记录结果c，即图像(0，0)的匹配结果；

（2d）切割输入图像从(0，1)到(x+1，y+1)的临时图像，返回步骤（2b），直至完成整个图像的计算。

具体地说，所述第一级SURF词汇树索引模块的训练方法如下：

（1a）将训练集中每张图片与其所属电视台台标标识的ID进行关联；

（1b）提取每张图片的SURF特征，得到一个特征集合F={fi}以及相应的图片ID集合imgID={idi}，它表示提取到的第i个特征出现在ID为idi的图片中；

（1c）对特征集合F进行分层聚类，采用Kmeans算法聚类成词汇树。

本发明中，所述分层聚类算法的具体实现步骤如下：

（1c1）初始时，在树的第1层对特征集合F进行Kmeans聚类，把特征集合F分成K份{Fi | i<=i<=k}；

（1c2）计算出每个簇集的中心向量Ci；

（1c3）利用Kmeans聚类将每个簇集分成K个簇集，不断重复上述操作直到树的深度达到预先设定的值，若树中某个簇集内的向量小于k，则这个节点就不再分裂。

所述步骤（1）中，若第一级SURF词汇树索引模块未在所训练的SURF词汇树上找到所对应的台标的电视台信息，则直接返回终端匹配失败；若第二级模板匹配索引模块找到最相似频道的相似度低于预设值，则返回终端匹配失败。

与现有技术相比，本发明具有以下有益效果：

（1）通过使用本发明，在大数据量高并发情况下，可以很容易地扩展到分布式方案来适应需求的变化，使得系统仍然保持着高正确率、低错误率，以及快速的响应时间，符合实际需求。

附图说明

图1为本发明的系统框图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例

如图1所示，本发明公开了一种在背景技术五个方面都有着出色表现的基于SURF词汇树和模板匹配的快速电视台台标识别方法，通过该方法实现的系统在大数据量高并发情况下，可以很容易地扩展到分布式方案来适应需求的变化，使得系统仍然保持着高正确率、低错误率，以及快速的响应时间。

在本申请中，根据SURF词汇树算法以及模板匹配算法的特性，把电视台台标分为两类：第一类是非相似台标，即不同电视台下的频道，如AHNU、CCTV1；第二类是相似台标，即同一电视台的多个频道，如CCTV1、CCTV2。相应地将台标索引也分为两级索引：第一级索引是基于SURF特征的词汇树索引，通过提取非相似台标训练集合中的SURF特征，然后通过Kmeans算法聚类成词汇树，当待匹配的图片到达时，通过遍历词汇树返回给第二级索引待识别图片所属的电视台，再由第二级索引最后返回具体所属于的频道；第二级索引是基于模板匹配的模板索引，根据第一级索引返回的非相似台标的信息，到指定电视台目录下进行模板匹配，找到最相似的频道。

具体地说，上述匹配流程如下：

终端发送待识别的图片到预处理模块；预处理模块对图片进行去噪处理，如果信噪比超出预先设置的范围，则直接返回终端匹配失败，否则将处理过的图片发送到第一级SURF词汇树索引模块；第一级SURF词汇树索引模块接收到预处理模块处理过后的图片，提取SURF特征，然后到SURF词汇树上匹配它所属于的哪个电视台，要么匹配失败，失败则直接返回终端匹配失败，匹配成功则将电视台信息和待识别的图片发送给第二级模板匹配索引模块；第二级模板匹配索引模块接收到第一级索引模块传来的待识别的图片和所属于的电视台信息，然后到指定的电视台目录下进行模块匹配，返回相似度最大的频道，如果相似度低于预设的范围则返回终端匹配失败。

该基于SURF词汇树和模板匹配的快速电视台台标识别系统主要由预处理模块，第一级SURF词汇树索引模块和第二级模板匹配索引模块构成。在系统中，首先由预处理模块对终端收集过来的台标图片进行预处理，之后将待识别的图片发送到第一级SURF词汇树索引模块，SURF词汇树索引模块判断出所属的电视台，连同图片一起交给第二级模板匹配索引模块，第二级模板匹配索引模块在指定电视台下进行模板匹配，找出所属的频道。系统中各部分的具体功能如下：

预处理模块：对终端采集上来的图片进行预处理，包括定位台标的区域，对图片进行去噪处理，如果信噪比大于一定阀值可以直接判断匹配失败（阈值根据实际情况进行设定）；

第一级SURF词汇树索引模块：系统初始时由管理员组织训练图片，然后提取SURF特征点，利用Kmeans算法进行有效地聚类，聚类成词汇树。当有待识别的图片到达时，在所训练的SURF词汇树上找到所对应的台标的电视台信息，之后到具体的电视台上进行模板匹配找到具体的频道；

第二级模板匹配索引模块：系统初始时由管理员组织训练图片，然后提取模板匹配所需要的模板，加载到内存，之后处理由第一级SURF词汇树索引模块发送过来的识别，第一级SURF词汇树索引模块返回待识别的图片和图片所属于的电视台，第二级模板匹配索引在具体的电视台目录下进行模板匹配，找到具体的频道，将结果返回给用户。

本发明中，第一级SURF词汇树索引原理如下：

SIFT特征是图像的局部特征，它对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定的稳定性。作为尺度不变特征变换算法SIFT算法的加速版本，SURF算法在适中的条件下完成两幅图像中的匹配，基本实现了实时处理，其快速的基础实际上只有一个，对积分图像haar求导。Hessian矩阵是SURF算法的核心。

Bag-of-words模型源于文本分类技术，对于一个文本，忽略其词序和语法、句法，将其仅仅看作一个词的集合，文本中的每个词的出现都是独立的。

考虑将Bag-of-words模型应用于图像表示，为了表示一副图像，我们可以将图像看作文档，即若干个视觉词汇的集合，视觉词汇之间没有顺序，利用SURF算法，对每张训练图片提取视觉词汇，然后将所有的视觉词汇集合在一起，之后再利用Kmeans算法构造词典，Kmeans算法是一种基于样本间相似性度量的聚类方法，最后利用字典中的词汇表示图像，利用SURF算法，可以从每幅图像中提取多个特征点，这些特征点都可以用字典中的单词近似代替，通过统计字典中每个单词在图像中出现的次数，可以将图像表示成一个向量，根据这个向量，可以很快判定出图像所属的分类信息。

第二级模板匹配索引原理如下：

模板匹配是一项在一副图像中寻找与另一幅模板图像最匹配部分的技术。模板匹配的工作方式和直方图的反向投影基本一样，通过在输入图像中滑动图像块对实际的图像块和输入图像进行匹配。大致的流程如下：

从输入的图像的左上角(0，0)开始，切割一块(0，0)到(x，y)的临时图像；用临时图像和模板图像进行对比，度量函数为h，对比的结果为c；记录结果c，就是图像(0，0)的匹配结果；切割输入图像从(0，1)到(x+1，y+1)的临时图像，再进行上述的计算过程，直到完成整个图像的计算。

常用的度量函数h主要有平方差匹配、标准平方差匹配、相关匹配、标准相关匹配等。

本发明中，第一级SURF词汇树索引的训练流程如下：

训练集中每张图片用它所属电视台台标标识的ID进行关联；对每张图片都提取SURF特征，得到一个特征集合F={fi}以及相应的图片ID集合imgID={idi}，它表示提取到的第i个特征出现在ID为idi的图片中；对特征集合F进行分层聚类，采用Kmeans算法聚类成词汇树。

其中，分层聚类算法如下：

初始时，在树的第1层对特征集合F进行Kmeans聚类，把特征集合F分成K份{Fi | i<=i<=k}；

计算出每个簇集的中心向量Ci；

对每个簇集再利用Kmeans聚类分成K个簇集，不断重复上述操作知道树的深度达到预先设定的L值，若树中某个簇集内的向量小于k，则这个节点就不再分裂。其中，设定的值，最小阈值k均根据实际情况进行设定。

第二级模板匹配索引的训练流程如下：

针对每个相似台标根据预先设定的大小和位置提取台标模板，为了提高精确度，一个台标可以对应多个台标模板；将台标模板加载到内存中。

按照上述实施例，便可很好地实现本发明。

Claims (6)

1.基于SURF词汇树和模板匹配的快速电视台台标识别系统，其特征在于，包括：

预处理模块：对终端采集的台标图片进行预处理，训练阶段对待训练图片进行预处理；匹配阶段将待识别的图片进行预处理后发送给第一级SURF词汇树索引模块；

第一级SURF词汇树索引模块：负责各个电视台信息的索引；训练阶段，提取训练图片的SURF特征点，利用Kmeans算法将提取的SURF特征点聚类成词汇树；匹配阶段，当有待识别的图片到达时，在所训练的SURF词汇树上找到图片所对应的电视台信息，之后将待识别图片及查找出的所属电视台信息发送至第二级模板匹配索引模块；

第二级模板匹配索引模块：负责具体的电视台下的各个频道信息的索引；训练阶段，从训练图片中提取模板匹配所需要的模板，以电视台为单位按照目录的形式加载到内存；匹配阶段，在接收到待识别的图片和图片所属的电视台信息时，到具体的电视台目录下进行模板匹配，找到图片所属的电视台的具体频道，将结果返回给用户。

2.权利要求1所述的基于SURF词汇树和模板匹配的快速电视台台标识别系统的实现方法，其特征在于，包括以下步骤：

根据SURF词汇树算法以及模板匹配算法的特性，将电视台台标分为两类：非相似台标和相似台标，其中，非相似台标为不同电视台下的频道；相似台标为同一电视台的多个频道；

（1）第一级SURF词汇树索引模块提取非相似台标训练集合中的SURF特征，通过Kmeans算法将提取的SURF特征聚类成词汇树，当待匹配的图片到达时，遍历词汇树返回给第二级模板匹配索引模块待识别图片所属的电视台；

（2）第二级模板匹配索引模块根据返回的非相似台标的信息，到指定电视台目录下进行模板匹配，找到最相似的频道。

3.根据权利要求2所述的基于SURF词汇树和模板匹配的快速电视台台标识别系统的实现方法，其特征在于，所述步骤（2）具体包括以下步骤：

（2a）从输入的图像的左上角(0，0)开始，切割一块(0，0)到(x，y)的临时图像；

（2b）用临时图像和模板图像进行对比，度量函数为h，对比的结果为c；

（2c）记录结果c，即图像(0，0)的匹配结果；

（2d）切割输入图像从(0，1)到(x+1，y+1)的临时图像，返回步骤（2b），直至完成整个图像的计算。

4.根据权利要求3所述的基于SURF词汇树和模板匹配的快速电视台台标识别系统的实现方法，其特征在于，所述第一级SURF词汇树索引模块的训练方法如下：

（1a）将训练集中每张图片与其所属电视台台标标识的ID进行关联；

（1b）提取每张图片的SURF特征，得到一个特征集合F={fi}以及相应的图片ID集合imgID={idi}，它表示提取到的第i个特征出现在ID为idi的图片中；

（1c）对特征集合F进行分层聚类，采用Kmeans算法聚类成词汇树。

5.根据权利要求4所述的基于SURF词汇树和模板匹配的快速电视台台标识别系统的识别方法，其特征在于，所述分层聚类算法的具体实现步骤如下：

（1c1）初始时，在树的第1层对特征集合F进行Kmeans聚类，把特征集合F分成K份{Fi |i<=i<=k}；

（1c2）计算出每个簇集的中心向量Ci；

（1c3）利用Kmeans聚类将每个簇集分成K个簇集，不断重复上述操作直到树的深度达到预先设定的值，若树中某个簇集内的向量小于k，则这个节点就不再分裂。

6.根据权利要求5所述的基于SURF词汇树和模板匹配的快速电视台台标识别系统的识别方法，其特征在于，所述步骤（1）中，若第一级SURF词汇树索引模块未在所训练的SURF词汇树上找到所对应的台标的电视台信息，则直接返回终端匹配失败；若第二级模板匹配索引模块找到最相似频道的相似度低于预设值，则返回终端匹配失败。