CN103473551A - 基于sift算子的台标识别方法及系统 - Google Patents

Abstract

本发明提供一种基于SIFT算子的台标识别方法及系统，其中方法包括：建立标准台标库，然后进行台标预判；将标准台标图和待识别台标图都划分为归属块和决定块两个区域，分别对待识别台标图和标准台标图的归属块和决定块进行SIFT特征点提取；对待识别台标图的归属块和标准台标图的归属块进行SIFT特征点匹配，根据匹配的SIFT特征点数及预设的阈值，确定待识别台标图的归属块的信息；在归属块的信息所确定的标准台标图范围内，对待识别台标图的决定块和标准台标图的决定块进行SIFT特征点匹配，根据匹配的特征点数及预设的阈值，完成台标识别。本发明能够较好地解决在透明台标或噪声背景情况下台标识别准确度低的问题。

Description

基于SIFT算子的台标识别方法及系统

技术领域

本发明涉及计算机图像处理技术领域，更为具体地，涉及一种基于SIFT算子的台标识别方法及系统。

背景技术

当前，我国整个电视系统变得越来越庞大和复杂，通过对电视台标的识别，能够区分各个电视台以及相关节目内容，并可以作为从内容上检索未知节目视频的依据，因而广泛应用在电视节目监控及媒资管理部门。在视频安全监控中，台标可作为重要的特征，监测播放内容的合法性;在媒体管理部门，根据台标识别，在海量视频库中快速分类和检索。

台标，即一个电视台的标志，是区别于其他频道，体现办台理念和形象的外在表现符号。台标具有识别、区别和美化的基本功能，其也是实现视频分析、理解、检索的重要语义源之一。随着电视技术的飞速发展，各省、市、县级电视台的节目多达上百套。

台标识别的准确性取决于三个方面，一是台标的准确定位；二是台标特征的有效提取；三是台标特征的正确匹配。

台标大致分为静态和动态两种，当前绝大多数台标是静态的。根据透明度不同，台标又分为不透明和半透明标两种。针对静态台标识别问题，2005年，周献中、史迎春和王韬在南京理工大学学报上发表了一篇基于HSV颜色空间加权Hu不变矩的台标识别的论文，在该论文中提出了一种台标识别方法。该台标方法采用空间彩色直方图方法对台标特征进行描述，并采用知识库辅助直方图统计的方法对台标进行识别。该方法使用遍历识别，随着知识库中台标数量的增加，计算效率会逐步下降，且对半透明台标识别效果不是很理想。

2009年，杨强、程玉昆和马森在计算机应用与软件发表了一篇基于小波特征的台标识别的论文，在该论文中提出了台标区域分割及小波特征参数提取算法，并利用小波参数匹配实现台标识别，但存在准确率不高的问题。

2012年，金阳、程江华、任通和库锡树四人在电机技术期刊上发表了一篇一种基于二值图角点匹配的台标识别方法的论文，在该论文中提出用基于二值图角点匹配的方法，只适合在长视频序列中使用，透明台标识别不理想。

总之，目前传统的台标识别方法容易受到背景变化和噪声影响的局限性，存在计算速率低和匹配的准确率低的问题。

因此，需要一种新的台标识别方法应用于视频检索系统。

发明内容

鉴于上述问题，本发明的目的是提供一种基于SIFT算子的台标识别方法及系统，以解决台标识别准确度低的问题。

本发明提供一种基于SIFT算子的台标识别方法，包括：

建立标准台标库，首先通过对标准台标图进行二值化获取台标映射模板；其次将标准台标图分割为标准台标图的归属块和标准台标图的决定块；然后根据SIFT算子分别提取标准台标图的归属块和标准台标图的决定块的SIFT特征点；

预判待识别台标图，通过标准台标库中的台标映射模板对待识别台标图进行抠像处理获取不含背景信息的待识别台标图案；将待识别台标图案与标准台标库中的标准台标图进行基于颜色特征的对比，根据预设的阈值，筛选出预设色调的标准台标图；

分割待识别台标图及提取待识别台标图的SIFT特征点，将待识别台标图分割为待识别台标图的归属块和待识别台标图的决定块；根据SIFT算子分别提取待识别台标图的归属块和所述待识别台标图的决定块的SIFT特征点；

匹配SIFT特征点，根据SIFT算子，对待识别台标图和预设色调的标准台标图进行SIFT特征点匹配；其中，

将待识别台标图的归属块与预设色调的标准台标图的归属块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定待识别台标图的归属块的信息；在根据待识别台标图的归属块的信息确定的预设色调的标准台标图的范围内，将待识别台标图的决定块和预设色调的标准台标图的决定块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定待识别台标图的决定块的信息；

根据确定的待识别台标图的归属块的信息和决定块的信息，确定待识别台标图的台标信息，完成台标识别。

此外，优选的方案是，在匹配SIFT特征点过程中，将所述待识别台标图与预设色调的标准台标图进行匹配时，可将待识别台标图替换为待识别的台标图案。

此外，优选的方案是，在将待识别台标图案与标准台标库中的标准台标图进行基于颜色特征的对比的过程中，待识别台标图案与标准台标库中的标准台标图也可进行基于亮度特征和统计特性的对比。

此外，优选的方案是，标准台标图指在形状、大小和颜色方面符合标准的台标图像；

待识别台标图指从电视画面的特定位置上截取的待识别台标图像；

标准台标图和待识别台标图的归属块表示电视台标识信息；

标准台标图和待识别台标图的决定块表示同一个电视台中不同频道的标识信息。

本发明还提供了一种基于SIFT算子的台标识别系统，包括：

标准台标库建立单元，用于首先通过对标准台标图进行二值化获取台标映射模板；其次将标准台标图分割为标准台标图的归属块和标准台标图的决定块；然后根据SIFT算子分别提取标准台标图的归属块和标准台标图的决定块的SIFT特征点；

待识别台标图预判单元，用于通过标准台标库中的台标映射模板对待识别台标图进行抠像处理获取不含背景信息的待识别台标图案；将待识别台标图案与标准台标库中的标准台标图进行基于颜色特征的对比，根据预设的阈值，筛选出预设色调的标准台标图；

待识别台标图分割单元，用于将待识别台标图分割为待识别台标图的归属块和待识别台标图的决定块；

待识别台标图的SIFT特征点提取单元，用于根据SIFT算子分别提取待识别台标图的归属块和待识别台标图的决定块的SIFT特征点；

SIFT特征点匹配单元，用于根据SIFT算子，对待识别台标图和预设色调的标准台标图进行SIFT特征点匹配；其中，

SIFT特征点匹配单元包括待识别台标图的归属块确定单元和待识别台标图的决定块确定单元；

待识别台标图的归属块确定单元，用于将待识别台标图的归属块与预设色调的标准台标图的归属块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定待识别台标图的归属块的信息；

待识别台标图的决定块确定单元，用于在根据待识别台标图的归属块的信息确定的预设色调的标准台标图的范围内，将待识别台标图的决定块和预设色调的标准台标图的决定块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定待识别台标图的决定块的信息；

根据确定的待识别台标图的归属块的信息和决定块的信息，确定待识别台标图的台标信息，完成台标识别。

此外，优选的方案是，在SIFT特征点匹配单元中，将所述待识别台标图与预设色调的标准台标图进行匹配时，可将待识别台标图替换为待识别的台标图案。

此外，优选的方案是，在待识别台标图预判单元中，待识别台标图案与标准台标库中的标准台标图进行基于颜色特征的比对时，还进行基于亮度特征和统计特性的对比。

此外，优选的方案是，标准台标图指在形状、大小和颜色方面符合标准的台标图像；

待识别台标图指从电视画面的特定位置上截取的待识别台标图像；

标准台标图和待识别台标图的归属块表示电视台标识信息；

标准台标图和待识别台标图的决定块表示同一个电视台中不同频道的标识信息。

从上面的技术方案可知，本发明的基于SIFT算子的台标识别方法及系统，取得以下有益效果：

1）在台标图切割分块的基础上，结合SIFT算子的台标识别方法，将台标图拆分为决定区域与归属区域，依次对每一区域采用SIFT进行匹配识别；能够缩小SIFT的匹配范围，减少计算区域和计算量，从而提高计算速率；

2）利用SIFT算法提取台标特征点有利于增强对噪声、亮度和背景变化的鲁棒性；

3）能够适应复杂的台标背景变换，适用于透明台标的情况，具有快速、准确的匹配特点，可有效应用于视频分类、管理等。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的基于SIFT算子的台标识别方法流程图；

图2为根据本发明实施例的基于SIFT算子的台标识别的原理框图；

图3-1为根据本发明实施例的采集得到的一帧示意图；

图3-2为根据本发明实施例的台标映射模板示意图；

图3-3为根据本发明实施例的映射的台标示意图；

图4为根据本发明实施例的SIFT算法与颜色直方图速率对比示意图；

图5为根据本发明实施例的标准台标分块示意图；

图6为根据本发明实施例的SIFT算子的总体步骤流程图；

图7-1和图7-2为根据本发明实施例的台标特征点提取示意图；

图8-1为根据本发明实施例的北京台标准台标图与采集关键帧的匹配结果示意图；

图8-2为根据本发明实施例的CCTV7标准台标图与采集关键帧的匹配结果示意图；

图8-3为根据本发明实施例的BTV科教标准台标图与BTV文艺关键帧匹配结果示意图；

图8-4为根据本发明实施例的CCTV2台标与CCTV1台标匹配结果示意图；

图9为根据本发明实施例的基于SIFT算子的台标识别系统的框图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。以下将结合附图对本发明的具体实施例进行详细描述。

以下将结合附图对本发明的具体实施例进行详细描述。

图1示出了根据本发明实施例的基于SIFT算子的台标识别方法流程。如图1所示，本发明提供一种基于SIFT（Scale Invariant Feature Transform，尺度不变特征变换）算子的台标识别方法，包括：

S110：建立标准台标库，首先通过对标准台标图进行二值化获取台标映射模板；其次将标准台标图分割为标准台标图的归属块和标准台标图的决定块；然后根据SIFT算子分别提取标准台标图的归属块和标准台标图的决定块的SIFT特征点；

S120：预判待识别台标图，通过标准台标库中的台标映射模板对待识别台标图进行抠像处理获取不含背景信息的待识别台标图案；将待识别台标图案与标准台标库中的标准台标图进行基于颜色特征的对比，根据预设的阈值，筛选出预设色调的标准台标图；

S130：分割待识别台标图及提取待识别台标图的SIFT特征点，将待识别台标图分割为待识别台标图的归属块和待识别台标图的决定块；根据SIFT算子分别提取待识别台标图的归属块和所述待识别台标图的决定块的SIFT特征点；

S140：匹配SIFT特征点，根据SIFT算子，对待识别台标图和预设色调的标准台标图进行SIFT特征点匹配；其中，

将待识别台标图的归属块与预设色调的标准台标图的归属块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定待识别台标图的归属块的信息；在根据待识别台标图的归属块的信息确定的预设色调的标准台标图的范围内，将待识别台标图的决定块和预设色调的标准台标图的决定块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定待识别台标图的决定块的信息；

根据确定的待识别台标图的归属块的信息和决定块的信息，确定待识别台标图的台标信息，完成台标识别。

在上述步骤S110中，标准台标库由各个电视频道的标准台标图组成。标准台标图是指在形状、大小、颜色等方面均符合标准的台标图像；标准台标图可以从噪声小、台标区域无背景图像的电视画面中截取，或者由电视台节目制作部门提供。

对标准图标库中的标准台标图进行预处理，获得台标映射模板、标准台标图的归属块和标准台标图的决定块、标准台标图的归属块和标准台标图的决定块的SIFT特征点。上述预处理获得的台标映射模板、区域分割位置信息（标准台标图的归属块和标准台标图的决定块）以及标准台标图归属块和决定块的SIFT特征点都将与标准台标图一起存放在标准台标库中。

在上述步骤S120中，待识别台标图是指从电视画面的特定位置上截取的待识别台标图像，通常会带有节目背景；一般电视节目的台标位置都是相对固定的，因此可在电视画面的特定位置上截取台标图像，作为待识别台标图。待识别台标图案是指用台标映射模板对待识别台标图进行抠像处理后得到的不含背景信息的台标图案。

将待识别台标图与标准台标库中的每一个标准台标图进行图像比对，判断出与待识别台标图区分度较大的标准台标图，这些标准台标图将不参与后续的SIFT特征匹配，由此可减少SIFT算法的运算量，步骤S120对标准台标数据库进行粗匹配，筛选出能够参与匹配的标准台标图（即预设色调的标准台标图）。

具体地，待识别台标图与标准台标库中的每一个标准台标图比对的方法是：首先用标准台标库中的台标映射模板对待识别台标图进行抠像处理，得到不含背景信息的台标图案。将标准台标库中的每一个标准台标图与待识别台标图案进行基于亮度特征、颜色特征或统计特性的图像比对，即计算两图像之间的亮度直方图之差、颜色直方图之差或统计特性之差，若差值大于预先设定的阈值，则认为该标准台标图与待识别台标图案相差较大，在后续的SIFT特征匹配中待识别台标图将不再与该标准台标图进行匹配。其中，阈值大小的设定与图像噪声、直方图分组等有关。由于基于亮度、颜色或统计特性的图像比对方法简单、运算量小，因此预判过程不会带来过大的时间开销。

在上述步骤S130中，标准台标图和待识别台标图的归属块表示电视台标识信息；标准台标图和待识别台标图的决定块表示同一个电视台中不同频道的标识信息。

在上述SIFT算子的台标识别方法过程中，步骤S120、S130和S140中，采用的是待识别台标图与预设色调的标准台标进行对比和匹配，在本发明中，更有优选的一种实施例为：待识别台标图能替换为待识别的台标图案与预设色调的标准台标图进行匹配，识别效果基本相同，同时识别速度会略有提升。

其中，标准台标库中的台标映射模板对待识别台标图进行抠像处理获取不含背景信息的待识别台标图案。

上述为SIFT算子的台标识别方法的过程，其过程的原理如图2所示，图2示出了根据本发明实施例的基于SIFT算子的台标识别的原理，该原理包括：

待识别台标图和标准台标图如何进行匹配，最终完成台标识别。

对标准台标图来说，建立标准台标库，标准台标库包括：预处理获得的台标映射模板、区域分割位置信息（标准台标图分割为标准台标图的归属块和标准台标图的决定块）、标准台标图的归属块的SIFT特征点和标准台标图的决定块的SIFT特征点、标准台标图。

在标准台标库中，首先对标准台标图进行二值化，得到台标映射模板，也即是说：台标映射模板是指标准台标图经过二值化处理而获得；其次对标准台标图进行区域分割，将每个标准台标图分割成标准台标图的归属块和标准台标图的决定块；然后分别提取标准台标图的归属块和标准台标图的决定块的SIFT特征点。

对待识别台标图来说，首先用标准台标库中的台标映射模板对待识别台标图进行抠像处理，得到不含背景信息的台标图案。将标准台标库中的每一个标准台标图与待识别台标图案进行基于亮度特征、颜色特征或统计特性的比对，即计算两图像之间的亮度直方图之差、颜色直方图之差或统计特性之差，若差值大于预先设定的阈值，则认为该标准台标图与待识别台标图案相差较大，在后续的SIFT特征匹配中待识别台标图将不再与该标准台标图进行匹配。若差值小于预先设定的阈值，后续的SIFT特征匹配中待识别台标图将与该标准台标图进行匹配，参与SIFT特征匹配的待识别台标图称为预设色调的标准台标图。

其中，阈值大小的设定与图像噪声、直方图分组等有关。由于基于亮度特征、颜色特征或统计特性的比对方法简单、运算量小，因此预判过程不会带来过大的时间开销。

将待识别台标图分割为待识别台标图的归属块和待识别台标图的决定块，并分别提取其SIFT特征点。

最后，待识别台标图通与预设色调的标准台标图进行匹配，从而确定待识别台标图的归属块的信息和决定块的信息，以确定待识别台标图的台标信息，完成台标识别。

从上述原理中得知，台标映射模板是指标准台标图经过二值化处理而获得，颜色直方图是为了将待识别台标图和标准台标图进行对比建立的，下面将详细讲述台标映射模板的获得和颜色直方图的建立。

图3-1为根据本发明实施例的采集得到的一帧示意图；图3-2为根据本发明实施例的台标映射模板示意图；图3-3为根据本发明实施例的映射的台标模板示意图。在台标映射信息提取的过程中，台标映射模板是指能够充分提取台标位置信息的映射图，如图3-2所示，利用该映射模板可以从图3-1中映射出对应的台标RGB信息，把RGB转到HSV颜色空间，其中H表示色相，S表示饱和度，V表示亮度。电视台标拥有丰富的色调信息，是区分不同台标的重要特征。因此，将H（色相）由0-360压缩为0-36，建立颜色直方图，再进行台标预判，粗略筛选出色调上接近的标准台标图（即预设色调的标准台标图）（如图3-3所示）。

在颜色直方图的预判的过程中，由于SIFT算法识别率较高，但其缺点是计算量较大，匹配速率较慢，达不到实时匹配的要求。而颜色直方图匹配计算量较小，匹配速率较快。图4为根据本发明实施例的SIFT算法与颜色直方图速率对比示意图，如图4所示，横坐标表示标准台标图在数据库中的索引值，纵坐标表示检测时间。当检测一幅未知台标时，与他所对应的模板图索引值越大，检测所耗费的时间就越多。

例如一幅待检测的台标图是“BTV_财经”，如果“BTV_财经”模板图在数据库的索引值是30，那么检测图需要与前面0到29的其他标准台标图依次检测，从而导致检测时间增长。所以，采用颜色直方图匹配做预判，筛除最不可能与待检测图匹配的台标模板，使得SIFT算法匹配的次数减少，提高了效率。

在上述原理中，还引入了决定块与归属块的划分，根据筛选出的标准台标图人工划分标准台标图的决定块与标准台标图的归属块。待识别台标图划分为待识别台标图的归属块和待识别台标图的决定块。

其中，归属块表示电视台标识信息；决定块表示同一个电视台中不同频道的标识信息。即，在同一个电视台的不同频道的节目中，其台标的归属块是相同的，而决定块是不同的。

待识别台标图在获得待识别台标图的归属块信息之后，待识别台标图的决定块匹配即可缩小匹配范围，即只需在待识别台标图的归属块所标识的电视台的不同频道内进行匹配。

台标分块在基于SIFT算法的匹配中起到很重要的作用，为了尽可能避免不同台标的部分相同区域的特征点干扰，本发明提出了决定块与归属块划分的方法。决定块是指能够完全区别该台标图与其他台的台标的区域模块，归属块是指该台标和同一个电视台其他频道的台标共同拥有的相同图案区域。例如：BTV_财经，“财经”是该台独有的特征模块区域，可以看作是决定块；“BTV”是北京电视台所有频道的共有标志，是归属块。

图5为根据本发明实施例的标准台标分块示意图，如图5所示，将BTV_财经台标分割为决定块与归属块，并且记录每一块左上角的相对位置以及块的长宽，例如：决定块：“财经”，记录块的左上角位置(X1，Y1)，块的长宽为width1和hight1；归属块：“BTV”，记录块的左上角位置(X2，Y2)，块的长宽为width2和hight2。将相关位置参数存入数据库中。

其中，对台标进行分块要考虑以下几个方面：

1）精确性；为了使背景中含有的干扰和噪声尽量少，分块的边缘应尽量贴近台标的实际边缘。

2）独特性；决定块一定是该台标独有的特征，不能与其他台标有相同特征区域。

本发明采用划分决定块与归属块的方法，减少了计算量，提高了计算速率和准确率。

SIFT算子是一种局部特征描述子，描述图像的兴趣区域的灰度梯度分布情况。其中，SIFT描述子独特性好、信息量丰富、对旋转、尺度缩放、遮挡、3D视角变化、亮度变化、噪声等大多数变换或干扰具有很强的不变性。SIFT算法在场景匹配、图像拼接和目标识别等领域有着十分广泛的应用，因此采用SIFT算法提取台标特征点有利于增强对噪声、亮度和背景变化的鲁棒性。

下面将详细讲述用SIFT算法完成待识别台标图和标准台标图的总的步骤。SIFT算法的总体步骤主要包括尺度空间的建立、SIFT特征点的定位、SIFT特征主方向的确定、SIFT特征点描述子的生成和SIFT特征点匹配。

图6为根据本发明实施例的SIFT算子的总体步骤流程图，如图6所示，S610：建立高斯核尺度空间和DOG尺度空间，通过高斯核对标准台标图的图像进行尺寸变换，获取标准台标图的图像的尺度空间表示序列，提取尺度空间表示序列的尺度空间的SIFT特征点；

S620：在DOG尺度空间中检测获取标准台标图的图像的局部极值点，通过对局部极值点进一步确定SIFT特征点的位置和尺寸；

S630：根据SIFT特征点的位置和尺寸确定特征点邻域像素的梯度方向，进而确定特征点的方向；

S640：以特征点的方向建立坐标轴，并且以特征点为坐标轴中心，将特征点周围的图像区域划分成至少一个图像小块，根据图像小块生成梯度方向直方图和模值，通过绘制每个图像小块的累加值以形成一个具有至少8个方向向量的种子点，使特征点形成图像小块数量×种子点方向向量的个数的特征点描述子；

在步骤S640中，对特征点周围图像区域可以分成4×4图像小块，图像小块生成梯度方向直方图，绘制每个的累加形成一个种子点，每个种子点有8个方向向量，那么就可以生成4×4×8共128维的标准台标图的SIFT特征点描述子。

S650：分别建立标准台标图和待识别台标图的SIFT特征点描述子集合，通过采用欧式距离对标准台标图的SIFT特征描述子集合中的SIFT特征点描述子和待识别台标图的SIFT特征描述子集合的SIFT特征点描述子进行对比，以及根据标准台标图和待识别台标图划分的标准台标图的决定块和标准台标图的归属块以及待识别台标图的决定块和待识别台标图的归属块，完成对标准台标图和待识别台标图的特征匹配。

在上述步骤S610中，尺度空间的建立，即建立高斯核尺度空间和DOG尺度空间，尺度空间理论的主要思想是利用高斯核对标准台标图的图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间的特征点提取。二维高斯核的定义如公式(1-1)所示，其中σ为高斯正态分布的方差：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π\σ}}{e}^{-(x^2+y^2)/{2\mathrm{\σ}}^2}---(1-1)$

对于二维图像I(x，y)，在不同尺度下的尺度空间表示L(x，y，σ)可由图像I(x，y)与高斯核G(x，y，σ)的卷积得到，如公式(1-2)所示：

L(x,y,σ)=L(x,y,σ)×I（x,y）     （1-2）

在公式(1-2)中，L表示尺度空间；(x，y)代表图像I上的点；σ是尺度因子，其值越小则表征该图像被平滑得越小；其值越大则表征该图像被平滑得越大。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。因此，选择合适的尺度因子平滑是建立尺度空间的关键。

DOG金字塔即相邻两尺度空间函数之差，用D(x，y，σ)来表示，如公式(1-3)所示：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)=L(x,y,k)     （1-3）

在上述步骤S620中，在SIFT特征点定位过程中，在建立的DOG尺度空间金字塔中，为了检测到DOG空间的最大值和最小值，DOG尺度空间中间层(最底层和最顶层除外)的每个像素点需要跟同一层的相邻8个像素点以及它上一层和下一层的9个相邻像素点总共26个相邻像素点进行比较，以确保在尺度空间和二维图像空间都检测到局部极值。

由于DOG值对噪声和边缘较敏感，因此，在上面DOG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为SIFT特征点。在本发明的一个具体的实施例中，采用三维二次函数拟和以精确确定特征点的位置和尺度，此外，在本发明的实施例中，也可以采用其他的方式确定特征点的位置和尺度。

下面将对局部极值点进行三维二次函数拟和以精确确定特征点的位置和尺度，尺度空间函数D(x，y，σ)在局部极值点(x₀，y₀，σ)处的泰勒展开式如公式(1-4)所示。

$D(x,y,\mathrm{\σ})=D(x_0,y_0,{\mathrm{\σ}}_0)+\frac{\∂D^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^{2}D}{{\∂x}^2}x---(1-4)$

(k→当前层，k-1→下层,k+1→上一层)

$\frac{{\∂}^{2}D}{\∂\mathrm{x\σ}}=\frac{(D_{k+1}^{x+1,y}-D_{k+1}^{x-1,y})-(D_{k-1}^{x+1,y}-D_{k-1}^{x-1,y})}{4}---(1-5)$

公式(1-6)中的一阶和二阶导数是通过附近区域的差分来近似求出的，列出其中的几个，其它的二阶导数以此类推。通过对公式(1-4)求导，并令其为0，得出精确的极值位置X_max，如公式(1-6)所示：

$X_{\max }=-{\left(\frac{{\∂}^{2}D}{{\∂x}^2}\right)}^{-1}\frac{\∂D}{\∂x}---(1-6)$

通过式(1-6)计算出D(X_max)，若|D(X_max)≥0.03|，则该特征点就保留下来，否则就抛弃。去除不稳定的边缘响应点：海森矩阵如公式(1-7)所示，其中的偏导数是上面确定的特征点处的偏导数，它也是通过附近区域的差分来近似估计的。

$H=\left[\begin{array}{cc}\mathrm{Dxx}& \mathrm{Dxy}\\ \mathrm{Dxy}& \mathrm{Dyy}\end{array}\right]---(1-7)$

通过2×2的海森矩阵H来计算主曲率，由于D的主曲率与H矩阵的特征值成比例，不具体求特征值，求其比ratio。设α是最大幅值特征，β是次小的，

则ratio如公式(1-8)所示。

Tr(H)＝D_xx+D_yy＝α+β

Det(H)＝D_xxD_yy-(D_xy)²＝αβ

$\mathrm{ratio}=\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{\mathrm{\α}+\mathrm{\β}}{\mathrm{\α\β}}=\frac{{(r+1)}^2}{r}---(1-8)$

通过公式(1-8)求出ratio，常取r=10，若ratio≤(r+1)2r，则保留该特征点，否则就丢弃。图7-1和图7-2为根据本发明实施例的台标SIFT特征点提取示意图；如图7所示，台标图提取的SIFT特征点。

在上述步骤S630中，在SIFT特征点方向确定的过程中，根据SIFT特征点的位置和尺寸，利用特征邻域像素的梯度方向分布特性，我们可以为每个特征点指定方向参数方向。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---(1-9)$

θ(x，y)＝tan^-1((L(x，y+1)-L（x，y-1))/(L(x+1，y)-L(x-1，y))   (1-10)

公式(1-9)与(1-10)为(x，y)处的梯度值和方向，其中L为每个特征点各自所在的尺度。在以特征点为中心的领域窗口内采样，并用直方图统计领域像素的梯度方向。梯度直方图的范围是0到360度，其中每10度一个柱总共36柱。直方图的峰值则代表特征点领域梯度的主方向，即作为该特征点的方向。

在上述步骤S640中，在SIFT特征点描述子生成的过程中，将坐标轴旋转为SIFT特征点的方向，以确保旋转不变性，以SIFT特征点为中心取16×16的窗口，在每4×4的图像小块上计算每个像素点的梯度方向和模值，生成梯度直方图，绘制每个梯度方向的累加形成一个种子点，每个种子点有8个方向向量信息，对于一SIFT特征点就产生4×4×8共128个数据，最终形成128维的SIFT特征向量，即生成特征点描述子。

从步骤S610到步骤S640，标准台标图的SIFT特征点的具体信息已经全部获取，待识别台标图也采用上述步骤获取待识别台标图的SIFT特征点的全部信息。

在上述步骤S650中，SIFT特征点匹配，分别对标准台标图和待识别台标图建立SIFT特征点描述子集合。采用欧氏距离作为两幅图像间的相似性度量。目标的识别是通过两点集内SIFT特征点描述子的比对来完成。具有128维的SIFT特征点描述子的相似性度量采用欧式距离。步骤如下：

(1)标准台标图中SIFT特征点描述子：R_i(r_i1,r_i2,r_i3...,r_i128)

(2)待识别台标图中SIFT特征点描述子：R_i(s_i1,s_i2,s_i3...,s_i128)

(3)任意两描述子相似性度量：

(4)要得到配对的SIFT特征点描述子d(R_i,S_i)需满足

,其中J表示实时图中距离R_i S_j表示最近的点，P表示实时图中距离R_i，S_P表示次最近的点，TH表示阈值。

下面将举例详述利用SIFT算法的进行台标匹配情况，图8-1、图8-2、图8-3和图8-4分别为根据本发明实施例的北京台标准台标图与采集关键帧的匹配结果、CCTV7标准台标图与采集关键帧的匹配结果、BTV科教步骤台标图图与BTV文艺关键帧匹配结果和CCTV2台标与CCTV1台标匹配结果示意图。

如图8-1所示，北京台标准台标图与采集关键帧的匹配结果，匹配的SIFT特征点共有33个。如图8-2所示，CCTV7标准台标图与采集关键帧的匹配结果，匹配的SIFT特征点共有12个。如图8-3所示，BTV科教标准台标图与BTV文艺关键帧匹配中，只有“BTV”这一区域有SIFT特征点匹配，“科教”区域与“文艺”没有SIFT特征点匹配；如图8-4所示，CCTV2台标与CCTV1台标匹配中，只有“CCTV”区域有匹配点。

依据归属块的分类，先匹配归属块的SIFT特征点，从而确定归属块的信息，在归属块的确定的决定块的范围内，再匹配决定块的SIFT特征点。

经过SIFT算法匹配，获得最佳匹配点的个数。设定一个SIFT特征点阈值Q₀，得到的特征点数大于阈值Q₀，就是最佳匹配台标。本系统采用的阈值是3～5，具体取值与图像质量有关。

例如，待匹配的台标是BTV_北京，标准台标库中存储的归属块模板有“CCTV”、“BTV”等。首先利用SIFT算法，匹配出“BTV”区域，然后在对应的BTV台下属台标如：BTV北京、BTV科教、BTV文艺依次匹配，根据匹配的特征点数最终确定台标。

本发明采用的硬件平台为Intel(R)Core(TM)i7-2600CPU3.40GHz，软件平台Window7操作系统，VC6.0，Opencv1.0，关键帧是基于IPV6网络电视采集，一帧大小为：640*475，台标库的台标数为53个。

本发明选中央电视台以及各个省电视台为主要应用对象。举例12个电视台，共3900帧，SIFT匹配返回特征点数的阈值Q₀设定为2。表1示出了根据本发明实施例的台标识别的结果。如表1所示，本发明用SIFT算法的进行台标匹配实现了单帧识别，不依赖于连续变化的视频流，因此，满足实时检测识别，由表1可知，平均识别率在96.6%。

表1

上述为本发明的基于SIFT算子的台标识别方法，与基于SIFT算子的台标识别方法相对应，本发明还提供了一种基于SIFT算子的台标识别系统，图9为根据本发明实施例的SIFT算子的台标识别系统框图。

如图9所示，SIFT算子的台标识别系统900包括：标准台标库建立单元910、待识别台标图预判单元920、待识别台标图分割单元930、待识别台标图的SIFT特征点提取单元940和SIFT特征点匹配单元950。其中，SIFT特征点匹配单元950包括待识别台标图的归属块确定单元951和待识别台标图的决定块确定单元952。

标准台标库建立单元910，用于首先通过对标准台标图进行二值化获取台标映射模板；其次将标准台标图分割为标准台标图的归属块和标准台标图的决定块；然后根据SIFT算子分别提取标准台标图的归属块和标准台标图的决定块的SIFT特征点。

待识别台标图预判单元920，用于通过标准台标库中的台标映射模板对待识别台标图进行抠像处理获取不含背景信息的待识别台标图案；将待识别台标图案与标准台标库中的标准台标图进行基于颜色特征对比，根据预设的阈值，筛选出预设色调的标准台标图。

待识别台标图分割单元930，用于将待识别台标图分割为待识别台标图的归属块和待识别台标图的决定块。

待识别台标图的SIFT特征点提取单元940，用于根据SIFT算子分别提取待识别台标图的归属块和待识别台标图的决定块的SIFT特征点。

SIFT特征点匹配单元950，用于根据SIFT算子，对待识别台标图和预设色调的标准台标图进行SIFT特征点匹配。

其中，SIFT特征点匹配单元950包括待识别台标图的归属块确定单元951和待识别台标图的决定块确定单元952。

待识别台标图的归属块确定单元951，用于将待识别台标图的归属块与预设色调的标准台标图的归属块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定待识别台标图的归属块的信息。

待识别台标图的决定块确定单元952，用于在根据待识别台标图的归属块的信息确定的预设色调的标准台标图的范围内，将待识别台标图的决定块和预设色调的标准台标图的决定块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定待识别台标图的决定块的信息。

根据确定的待识别台标图的归属块的信息和决定块的信息，从而确定待识别台标图的台标信息，完成台标识别。

其中，在SIFT特征点匹配单元中950，将所述待识别台标图与所述预设色调的标准台标图进行匹配时，可将待识别台标图能替换为待识别的台标图案。

在待识别台标图预判单元930中，待识别台标图案与标准台标库中的每个标准台标图进行基于颜色特征的比对时，还进行基于亮度特征和统计特性对比。

标准台标图指在形状、大小和颜色各方面均符合标准的台标图像；待识别台标图指从电视画面的特定位置上截取的待识别台标图像；标准台标图和待识别台标图的归属块表示电视台标识信息；标准台标图和待识别台标图的决定块表示同一个电视台中不同频道的标识信息。

通过上述实施方式可以看出，本发明提供的基于SIFT算子的台标识别方法及系统，采用台标映射模板提取识别台标的映射信息，利用颜色做粗匹配；然后将台标划分为决定块与归属块，采用SIFT算子提SIFT特征点；最后根据设定的阈值给出判断。分块的SIFT算法特征匹配的台标识别方法，克服了台标识别算法容易受到背景变化和噪声影响的局限性，同时结合划分特定区域和预判，缩小SIFT算法的匹配范围，减少了计算区域和计算量，提高了计算速率。同时，本发明提供的方法可以适应复杂的台标背景变换以及噪声背景和透明台标情况，具有快速、准确的匹配特点，可有效应用于视频分类及管理系统。

如上参照附图以示例的方式描述了根据本发明提出的基于SIFT算子的台标识别方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于SIFT算子的台标识别方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (8)

1.一种基于SIFT算子的台标识别方法，包括：

建立标准台标库，首先通过对标准台标图进行二值化获取台标映射模板；其次将所述标准台标图分割为标准台标图的归属块和标准台标图的决定块；然后根据SIFT算子分别提取所述标准台标图的归属块和所述标准台标图的决定块的SIFT特征点；

预判待识别台标图，通过所述标准台标库中的台标映射模板对所述待识别台标图进行抠像处理获取不含背景信息的待识别台标图案；将所述待识别台标图案与所述标准台标库中的标准台标图进行基于颜色特征的对比，根据预设的阈值，筛选出预设色调的标准台标图；

分割待识别台标图及提取待识别台标图的SIFT特征点，将所述待识别台标图分割为待识别台标图的归属块和待识别台标图的决定块；根据所述SIFT算子分别提取所述待识别台标图的归属块和所述待识别台标图的决定块的SIFT特征点；

匹配SIFT特征点，根据所述SIFT算子，对所述待识别台标图和所述预设色调的标准台标图进行SIFT特征点匹配；其中，

将所述待识别台标图的归属块与所述预设色调的标准台标图的归属块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定所述待识别台标图的归属块的信息；在根据所述待识别台标图的归属块的信息确定的所述预设色调的标准台标图的范围内，将所述待识别台标图的决定块和所述预设色调的标准台标图的决定块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定所述待识别台标图的决定块的信息；

根据确定的所述待识别台标图的归属块的信息和决定块的信息，确定所述待识别台标图的台标信息，完成台标识别。

2.如权利要求1所述的基于SIFT算子的台标识别方法，其中，

在匹配SIFT特征点过程中，将所述待识别台标图与所述预设色调的标准台标图进行匹配时，可将所述待识别台标图替换为所述待识别的台标图案。

3.如权利要求1所述的基于SIFT算子的台标识别方法，其中，

在将所述待识别台标图案与所述标准台标库中的标准台标图进行基于颜色特征的对比的过程中，所述待识别台标图案与所述标准台标库中的标准台标图还进行基于亮度特征和统计特性的对比。

4.如权利要求1所述的基于SIFT算子的台标识别方法，其中，

所述标准台标图指在形状、大小和颜色方面符合标准的台标图像；

所述待识别台标图指从电视画面的特定位置上截取的待识别台标图像；

所述标准台标图和所述待识别台标图的归属块表示电视台标识信息；

所述标准台标图和所述待识别台标图的决定块表示同一个电视台中不同频道的标识信息。

5.一种基于SIFT算子的台标识别系统，包括：

标准台标库建立单元，用于首先通过对标准台标图进行二值化获取台标映射模板；其次将所述标准台标图分割为标准台标图的归属块和标准台标图的决定块；然后根据SIFT算子分别提取所述标准台标图的归属块和所述标准台标图的决定块的SIFT特征点；

待识别台标图预判单元，用于通过所述标准台标库中的台标映射模板对所述待识别台标图进行抠像处理获取不含背景信息的待识别台标图案；将所述待识别台标图案与所述标准台标库中的标准台标图进行基于颜色特征的对比，根据预设的阈值，筛选出预设色调的标准台标图；

待识别台标图分割单元，用于将所述待识别台标图分割为待识别台标图的归属块和待识别台标图的决定块；

待识别台标图的SIFT特征点提取单元，用于根据所述SIFT算子分别提取所述待识别台标图的归属块和所述待识别台标图的决定块的SIFT特征点；

SIFT特征点匹配单元，用于根据所述SIFT算子，对所述待识别台标图和所述预设色调的标准台标图进行SIFT特征点匹配；其中，

所述SIFT特征点匹配单元包括待识别台标图的归属块确定单元和待识别台标图的决定块确定单元；

所述待识别台标图的归属块确定单元，用于将所述待识别台标图的归属块与所述预设色调的标准台标图的归属块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定所述待识别台标图的归属块的信息；

所述待识别台标图的决定块确定单元，用于在根据所述待识别台标图的归属块的信息确定的所述预设色调的标准台标图的范围内，将所述待识别台标图的决定块和所述预设色调的标准台标图的决定块进行SIFT特征点匹配，根据匹配成功的特征点数量及预设的阈值，确定所述待识别台标图的决定块的信息；

根据确定的所述待识别台标图的归属块的信息和决定块的信息，确定所述待识别台标图的台标信息，完成台标识别。

6.如权利要求5所述的基于SIFT算子的台标识别系统，其中，

在SIFT特征点匹配单元中，将所述待识别台标图与所述预设色调的标准台标图进行匹配时，可将所述待识别台标图替换为所述待识别的台标图案。

7.如权利要求5所述的基于SIFT算子的台标识别系统，其中，

在待识别台标图预判单元中，所述待识别台标图案与所述标准台标库中的标准台标图进行基于颜色特征的比对时，还进行基于亮度特征和统计特性的对比。

8.如权利要求5所述的基于SIFT算子的台标识别系统，其中，

所述标准台标图指在形状、大小和颜色方面符合标准的台标图像；

所述待识别台标图指从电视画面的特定位置上截取的待识别台标图像；

所述标准台标图和所述待识别台标图的归属块表示电视台标识信息；

所述标准台标图和所述待识别台标图的决定块表示同一个电视台中不同频道的标识信息。

Images