CN103336954B - 一种视频中的台标识别方法和装置 - Google Patents

Abstract

本发明实施例公开了一种视频中的台标识别方法和装置，属于图像处理领域。方法包括：将提取到的图像特征输入待检测节目对应的主台标分类器中，将当前视频图像缩放至不同尺度，采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测，定位主台标位置并获取候选台标图像区域，进而通过像素分割和相似度计算得到子台标，从而对视频节目中的台标进行实时检测与定位，识别台标并对其行为进行实时分析；并进一步捕获台标发生的异常行为并准确地给出台标异常行为发生的起始和结束时间点以及该行为对应的类型，具有良好的通用性和鲁棒性，能够适用于多种类型的台标检测与识别。

Description

一种视频中的台标识别方法和装置

技术领域

本发明属于图像处理领域，涉及一种视频中的台标识别方法和装置。

背景技术

目前，在电视台制作节目过程中，为了声明版权，会在视频节目内容中插入代表版权的Logo标识，通常为该节目频道的台标图像。台标包含了电视台以及该频道的标识信息，从而区别于其他电视台和频道。在制作节目的过程中，由于工作人员的失误，在台标的插入过程中会发生一些异常，例如台标消失（即某段时间内台标没有被插入到视频中），台标错误（即某段时间内视频中插入的是另外一个频道的台标），台标移位（即某段时间内视频中的台标发生了移位，台标没有出现在该频道的台标指定位置）,新台标（即某段时间内视频中的台标为一个新的台标，该台标在当前台标库中不存在）。在电视信号在播出过程中，可能会受到非法信号的入侵，而在地方电视台的节目转播过程中可能会存在一些广告插播行为。因此，为了及时地对这些台标异常行为进行检测和报警，需要对节目内容进行实时分析，一旦发生异常立刻发出报警信息并给出台标异常发生的准确起始和结束时间以及对应的异常类型。

现有台标检测与识别技术都是基于台标自身图像内容具有的特点来对视频和图像中的台标进行检测和识别的。常用的台标图像特征包括：台标颜色、台标形状、台标边缘轮廓。目前基于图像内容的台标检测技术主要是基于静态区域跟踪方法。该方法受视频背景内容变化影响较大，且只有当视频背景内容有变化时才能检测到台标的稳定区域或稳定边缘信息，不能够实时的检测出台标的存在与否，也不能够精确定位台标的出现时间。目前基于图像内容的台标识别技术主要有三类：1）模板匹配；2）局部特征匹配；3）分类器。模板匹配方法是将事先计算好的台标的图像特征与被检测图像区域进行相似度计算，然后根据一定的阈值判断被检测图像区域是否属于该台标。该类方法稳定性差、检测范围有限、对于半透明和透明台标的检测效果差。局部特征匹配方法利用局部特征信息来对台标进行描述，该类方法的缺点在于稳定性不够、不能够处理所有类型的台标（当台标本身能够被提取到的局部特征较少时该方法完全失效）、检测范围有限，否则运算量会较大。基于分类器的台标识别技术有：SVM（Support Vector Machine）支持向量机、神经网络等。此类方法的有效性和鲁棒性跟台标训练过程以及训练样本的选择有较大关系，存在台标错分情况，另外此类方法在检测数字台标或台标文字较小时的效果不够理想。

目前，现有台标检测和识别技术通常只能够对节目视频流做出一个整体性的判断，即该视频流中包含某个台标的可能性最大、该视频节目属于哪个频道（通过台标识别结果即可获知）、是否发生了台标的丢失。其缺点在于不能够对视频流中台标发生的异常行为进行分析并精确定位异常发生的时间点。另外，现有台标检测与识别方法通常只适用于某类台标的识别，不具有通用性。除此之外，现有台标检测和识别技术对台标出现检测和识别错误发生时的情况并未提出有效的解决方法。

发明内容

本发明的实施例主要解决广播电视和网络电视节目中的节目内容进行实时检测，对视频中的台标进行识别并对其行为进行实时分析的台标检测与识别，并对台标的行为进行实时分析检测，从而对不同类型的台标进行有效的识别和检测。

为达到上述目的，采用如下技术方案：

本发明公开了一种视频中的台标识别方法，包括如下步骤：

提取当前视频图像的图像特征；

将提取到的图像特征输入待检测节目对应的主台标分类器中，将当前视频图像缩放至不同尺度，采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测，根据主台标分类器的输出结果判断当前视频图像中是否存在候选的主台标，存在则根据主台标的位置将整个台标图像进行输出；所述台标图像包括主台标区域和子台标区域；

将子台标图像的前景像素从子台标区域中进行分割，将提取得到的二值图像作为与对应的主台标相关的所有子台标识别器进行相似度计算，并通过置信度判断得到所述主台标对应的子台标。

优选的，所述提取当前视频图像的图像特征之前，还包括：对当前图像进行预处理，所述预处理包括图像缩放、图像噪声去除以及图像增强。

优选的，所述主台标分类器通过以下步骤构建：

标注并选取既定数量的主台标图像样本和非主台标图像样本；提取所有样本的图像特征，将所有图像特征输入给分类器进行训练，得到分类模型，从而构成主台标分类器。

优选的，所述图像特征为梯度特征，采用梯度直方图特征对样本的特征进行描述。

优选的，所述采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测时，主台标分类器对应的滑动窗口按既定步长在缩放后的图像中进行滑动检测，每滑动一次则判定滑动窗口当前对应的视频图像区域是否是候选主台标图像区域；如果主台标分类器判定为正样本，则当前图像区域为候选主台标图像区域。

优选的，所述将整个台标图像进行输出时，输出的内容具体包括：主台标的图像位置、子台标的图像位置、以及整个台标的图像位置。

优选的，所述子台标识别器通过以下步骤构建：

选择多个包含指定台标的视频作为台标对应的稳定前景区域或边缘图像的样本来源；

标注出台标的具体位置，读入所有样本，将台标位置对应的图像内容输出并保存为台标的正样本；

读入所有台标的正样本，统计每个像素位置处的像素值变化，为每个像素位置统计生成一个高斯分布；

再次读入所有台标的正样本，每读入一张图片就对该图片的每个像素位置进行前景和背景像素点判断；

对所有像素位置进行统计，生成台标的稳定前景区域或边缘图像得到的图像则为当前台标对应的稳定前景区域或边缘图像；

统计稳定前景区域或边缘图像中的前景像素点个数以及背景像素点个数；从而构成每个台标的子台标识别器的三个部分：稳定区域或边缘图像、前景像素个数和背景像素个数。

优选的，所述将子台标图像的前景像素从子台标区域中进行分割时，对所述子台标图像区域进行二值化，获得子台标的前景图像。

优选的，所述方法还包括：识别成功的子台标与其对应的主台标构成的台标识别结果；并对多个台标识别结果进行跟踪，根据跟踪结果对台标识别结果进行修正，从而对视频中台标的行为进行实时监测，得到台标对应的各种行为模式。

优选的，所述台标的行为模式包括：台标正常、台标错误、台标移位、新台标出现、台标消失。

本发明还公开了一种视频中的台标识别装置，包括如下模块：

提取模块，用于提取当前视频图像的图像特征；

识别模块，用于将提取到的图像特征输入待检测节目对应的主台标分类器中，将当前视频图像缩放至不同尺度，采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测，根据主台标分类器的输出结果判断当前视频图像中是否存在候选的主台标，存在则根据主台标的位置将整个台标图像进行输出；所述台标图像包括主台标区域和子台标区域；

相似度计算模块，用于将子台标图像的前景像素从子台标区域中进行分割，将提取得到的二值图像作为与对应的主台标相关的所有子台标识别器进行相似度计算，并通过置信度判断得到所述主台标对应的子台标。

优选的，所述装置还包括：预处理模块，用于对当前图像进行预处理，所述预处理包括图像缩放、图像噪声去除以及图像增强。

优选的，所述主台标分类器通过以下步骤构建：

标注并选取既定数量的主台标图像样本和非主台标图像样本；提取所有样本的图像特征，将所有图像特征输入给分类器进行训练，得到分类模型，从而构成主台标分类器。

优选的，所述图像特征为梯度特征，采用梯度直方图特征对样本的特征进行描述。

优选的，所述识别模块中，主台标分类器对应的滑动窗口按既定步长在缩放后的图像中进行滑动检测，每滑动一次则判定滑动窗口当前对应的视频图像区域是否是候选主台标图像区域；如果主台标分类器判定为正样本，则当前图像区域为候选主台标图像区域。

优选的，所述将整个台标图像进行输出时，输出的内容具体包括：主台标的图像位置、子台标的图像位置、以及整个台标的图像位置。

优选的，所述子台标识别器通过以下步骤构建：

选择多个包含指定台标的视频作为台标对应的稳定前景区域或边缘图像的样本来源；

标注出台标的具体位置，读入所有样本，将台标位置对应的图像内容输出并保存为台标的正样本；

读入所有台标的正样本，统计每个像素位置处的像素值变化，为每个像素位置统计生成一个高斯分布；

再次读入所有台标的正样本，每读入一张图片就对该图片的每个像素位置进行前景和背景像素点判断；

对所有像素位置进行统计，生成台标的稳定前景区域或边缘图像得到的图像则为当前台标对应的稳定前景区域或边缘图像；

统计稳定前景区域或边缘图像中的前景像素点个数以及背景像素点个数；从而构成每个台标的子台标识别器的三个部分：稳定区域或边缘图像、前景像素个数和背景像素个数。

优选的，所述相似度计算模块中，对所述子台标图像区域进行二值化，获得子台标的前景图像。

优选的，所述装置还包括跟踪模块，用于识别成功的子台标与其对应的主台标构成的台标识别结果；并对多个台标识别结果进行跟踪，根据跟踪结果对台标识别结果进行修正，从而对视频中台标的行为进行实时监测，得到台标对应的各种行为模式。

优选的，所述台标的行为模式包括：台标正常、台标错误、台标移位、新台标出现、台标消失。

本发明实施例提供了一种视频中的台标识别方法和装置，将提取到的图像特征输入待检测节目对应的主台标分类器中，将当前视频图像缩放至不同尺度，采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测，得到主台标图像，进而通过像素分割和相似度计算得到子台标，从而对视频节目中的台标进行实时检测与定位，识别台标并对其行为进行实时分析。

进一步，本方法及时捕获台标发生的异常行为并准确地给出台标异常行为发生的起始和结束时间点以及该行为对应的类型，具有良好的通用性和鲁棒性，能够适用于多种类型的台标检测与识别。

附图说明

图1为本发明实施例一提供的一种视频中的台标识别方法的流程图；

图2a为本发明实施例一提供的一种视频中的台标识别方法中的CCTV5的台标示意图；

图2b为本发明实施例一提供的一种视频中的台标识别方法中北京卫视的台标示意图；

图2c为本发明实施例一提供的一种视频中的台标识别方法中黑龙江卫视的台标示意图；

图3为本发明实施例二提供的一种视频中的台标识别装置的模块结构图。

具体实施方式

下面结合附图对本发明实施例一种视频中的台标识别方法和装置进行详细描述。

本发明主要解决广播电视和网络电视节目中的台标检测与识别，并对台标的行为进行实时分析检测，发现异常则发出报警信息以及台标发生异常的起始和结束时间。同时本发明还可用于视频以及静态图片中的类似台标的Logo检测识别与定位。

台标根据其是否运动可以分为两大类：静止台标和动画台标。静止台标的特点在于台标的形状不会发生变化或发生较小的变化；而动画台标的特点在于该台标由多个静态图像组成，在视频中以动画的形式在台标所在位置处进行显示。根据台标的图像内容，台标还分为三类：不透明台标、半透明台标、透明台标。不透明台标是指台标的图像内容固定不变，所在图像区域不会因视频画面背景的变化而变化；半透明台标是指台标的整体形状和轮廓不会发生较大变化，但其图像内容会随着台标区域所覆盖的视频图像内容变化而变化，即台标区域图像内容为台标自身图像内容跟视频背景图像内容进行融合处理后的内容。透明台标是指台标融合到视频背景图像中后，台标的形状和边缘能够保持，但台标的图案区域的图像是透明的，即台标的图像显示为视频背景图像内容。

目前，在电视台制作节目过程中，为了声明版权，会在视频节目内容中插入代表版权的Logo标识，通常为该节目频道的台标图像。本发明提出的方法能够对视频节目内容进行实时检测，对视频中的台标进行识别并对其行为进行实时分析，及时捕获台标发生的异常行为并准确地给出台标异常行为发生的起始和结束时间点以及该行为对应的类型。此外，本发明提出的台标检测和识别方法具有很好地通用性和鲁棒性，能够适用于多种类型的台标检测与识别。

本发明公开了一种视频中的台标识别方法，如图1所示，包括如下步骤：

步骤100：对当前图像进行预处理，所述预处理包括图像缩放、图像噪声去除以及图像增强。

图像缩放操作用于将原始图像缩放到指定图像大小，该操作的目的在于减少后续台标检测识别与分析的运算量；图像噪声去除用于消除一些视频图像传输和解码过程中出现的噪声像素点；图像增强用于增强图像的边缘对比度。图像缩放的指定大小根据所使用的台标检测和识别服务器的计算资源来确定。在本实施例中，将视频图像统一缩放到标清图像大小；图像噪声去除算法我们采用高斯滤波器，而图像增强算法则使用拉普拉斯算子。

步骤101：提取当前视频图像的图像特征；

提取图像特征时，采用HOG（Histogram of Gradient）梯度直方图特征，该特征的优点在于能够捕捉到台标的形状和边缘信息，且能够容忍台标形状发生一些变化，且能够适用于不透明台标、半透明及透明台标的检测。

步骤102：将提取到的图像特征输入待检测节目对应的主台标分类器中，将当前视频图像缩放至不同尺度，采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测，根据主台标分类器的输出结果判断当前视频图像中是否存在候选的主台标，存在则根据主台标的位置将整个台标图像进行输出；所述台标图像包括主台标区域和子台标区域；

所述主台标分类器对台标数据库中台标的主台标部分进行训练，生成对应该台标的主台标的台标分类器。在线检测阶段用于对输入的视频图像或图片进行台标检测，即定位主台标位置，从而获取候选台标图像区域。主台标分类器通过以下步骤构建：

人工标注并选取既定数量的主台标图像样本和非主台标图像样本；提取所有样本的图像特征，将所有图像特征输入给分类器进行训练，得到分类模型，从而构成主台标分类器。

具体地，人工标注并选取一定数量的主台标图像样本（正样本）以及大量的非主台标图像样本（负样本）。其中，正负样本图像的大小相同，将所有图像特征输入给主台标分类器进行训练。本实施例中，采用SVM（Support Vector Machine）支持向量机作为分类器，使用C-SVC分类器。对于数据库中的所有台标都按照上述过程进行分类器训练，最后数据库中的每个台标都拥有一个对应于其主台标的主台标分类器。

所述采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测时，主台标分类器对应的滑动窗口按既定步长在缩放后的图像中进行滑动检测，每滑动一次则判定滑动窗口当前对应的视频图像区域是否是候选主台标图像区域；如果主台标分类器判定为正样本，则当前图像区域为候选主台标图像区域。

将图像缩放到不同尺度（S₁…S_N）下；然后在对应的尺度图像S_k上进行检测，分类器窗口W按一定步长在图像S_k上进行滑动检测，每滑动一次则判定窗口W当前对应的视频图像区域是否是候选主台标图像区域，即将窗口W对应的视频图像区域送入当前主台标分类器中进行判定，如果分类器判定为正样本则当前图像区域为候选主台标图像区域，否则不是；将所有尺度图像下检测得到的所有候选主台标图像区域都一并进行子台标的识别。

通过对台标的主台标部分进行检测并输出以下结果：主台标的图像位置、子台标的图像位置、以及整个台标的图像位置。如果当前台标是一个独立的台标（如图2c中所示的黑龙江电视台台标），则台标检测的输出结果进行行为分析；如果当前台标是一个系列台标中的某个（如图2a和图2b中所示的CCTV5和BTV北京卫视的台标），则转到步骤103进行子台标的识别。本专利中，我们对台标进行如下标记，即一个台标由两个部分来构成：主台标和子台标，对于独立频道的台标，则其台标标记只有主台标，子台标为空。如图2所示：a、台标“CCTV5”由两个部分组成：主台标“CCTV”和子台标“5”，b、台标“BTV北京卫视”由两个部分组成：主台标“BTV”和子台标“北京卫视”，c、黑龙江电视台台标只有主台标，而子台标为空。

所述将整个台标图像进行输出时，输出的内容具体包括：主台标的图像位置、子台标的图像位置、以及整个台标的图像位置。

步骤103：将子台标图像的前景像素从子台标区域中进行分割，将提取得到的二值图像作为与对应的主台标相关的所有子台标识别器进行相似度计算，并通过置信度判断得到所述主台标对应的子台标

本方法采用自适应阈值分割和相似度匹配的台标识别方法来对子台标进行识别，所述子台标识别器通过以下步骤构建：

A、选择多个包含指定台标的视频作为台标对应的稳定前景区域或边缘图像的样本来源；

B、人工标注出台标的具体位置，读入所有样本，将台标位置对应的图像内容输出并保存为台标的正样本。准备好台标的正样本，人工挑选多个包含指定台标的视频作为台标稳定前景区域或边缘图像的获取样本来源，这些视频的分辨率大小相同且图像内容变化复杂（这里是指台标所在区域的视频图像变化复杂）。

C、读入所有台标正样本图片，统计每个像素位置(x,y)处的像素值变化，最后为每个像素位置统计生成一个高斯分布:

$g\left(x\right)=\frac{1}{\mathrm{\δ}\sqrt{2\mathrm{\π}}}{e}^{-\frac{1}{2}{\left(\frac{x-\mathrm{\μ}}{\mathrm{\δ}}\right)}^2}---\left(1\right)$

其中μ为均值，δ为标准差；

D、再次读入所有台标正样本图片，每读入一张图片就对该图片的每个像素位置(x,y)进行前景和背景像素点判断，即如果某个像素位置处的像素值I_(x，y)满足:

|I_(x，y)-g_(x，y)|＞k*δ(k>0) (2)

则认为当前像素为一个前景像素（标记为1），否则为背景像素（标记为0），在本实施例中，k=2.5。

E、对所有像素位置(x,y)进行统计，生成稳定台标区域或边缘图像，该图像的每个像素位置根据如下公式求得：

$B_{(x,y)}=\left\{\begin{array}{cc}1,& \mathrm{if}\frac{{\mathrm{\Σ}}_{n=1}^N{I}_n(x,y)}{N}>T\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

其中，N为样本图片的数目，T（0＜T≤1）为分割控制参数，在本专利的具体实例中T=0.9。

最终得到的图像B就对应当前台标的稳定区域或边缘图像。

统计稳定前景区域或边缘图像中的前景像素点个数以及背景像素点个数；从而构成每个台标的子台标识别器的三个部分：稳定区域或边缘图像、前景像素个数和背景像素个数。

通过上一步骤得到图像B后，统计B中前景像素（B_(x，y)＝1）个数PNum_F和背景像素（B_(x，y)＝0）的个数PNum_B。

最后得到的每个台标的子台标识别器由三部分组成：稳定区域或边缘图像B、前景像素个数PNum_F、背景像素个数PNum_B，即 $R_S^M=(B_S^M,{\mathrm{PNu}{m}_F}_S^M,{\mathrm{Pnu}{m}_B}_S^M),$ 其中M表示主台标ID，S表示子台标ID。

所述将子台标图像的前景像素从子台标区域中进行分割时，对所述子台标图像区域进行二值化，获得子台标的前景图像。

将提取得到的二值图像作为与对应的主台标相关的所有子台标识别器进行相似度计算时：

1）对每个像素位置处进行判断，如果该像素位置处的像素值I_(x，y)与其领域块内的像素均值满足：

$|I_{(x,y)}-I_{(x,y)}^{\mathrm{mean}}|>\mathrm{Ts}(\mathrm{Ts}>0)---\left(4\right)$

则将其视为前景点（像素值赋值为1），否则为背景点（像素值赋值为0）。对子台标图像区域的所有像素都做如上的处理，最后生成一张二值前景图像F_Logo。

2）统计F_Logo中的前景点个数和背景点个数如果远小于PNum_F，则将T的值变小，即T＝T*β（0＜β＜1）,（在一具体实例中，β＝0.8)，然后再重复第一步，直至当前与上一次的的值没有发生较大变化。

3）输出最终的二值图像B_Logo。

4）将二值图像B_Logo与跟其对应的主台标相关的所有子台标识别器进行相似度计算，

$\mathrm{Sim}(B_{\mathrm{Logo}},R_s^M)=\frac{{\mathrm{PNum}}_F^{\mathrm{Logo}}}{{\mathrm{PNu}{m}_F}_S^M+{\mathrm{PNu}{m}_B}_S^M}---\left(5\right)$

当B_Logo与所有(1≤i≤n)都进行相似度计算后，返回最相似的值和次相似的值

5）对本次子台标识别结果进行置信度判断，识别结果是可信的当且仅当满足条件：

$\frac{\mathrm{Sim}2(B_{\mathrm{Logo}},R_s^M\left(k\right))}{\mathrm{Sim}1(B_{\mathrm{Logo}},R_s^M\left(t\right))}<T_{\mathrm{sim}}(0<T_{\mathrm{sim}}<1)---\left(6\right)$

其中，T_sim值可通过训练阶段统计而得，每一个子台标识别器对应一个T_sim值，在本专利的具体实例中T_sim＝0.5。

当B_Logo与满足公式(6)时，则说明B_Logo与识别器最相似且该识别结果可信，因此B_Logo被识别为所对应的子台标，识别成功；否则，表明识别失败。识别成功的子台标与其对应的主台标一起构成了最终的台标识别结果。

步骤104：识别成功的子台标与其对应的主台标构成的台标识别结果；并对多个台标识别结果进行跟踪，根据跟踪结果对台标识别结果进行修正，从而对视频中台标的行为进行实时监测，得到台标对应的各种行为模式。

对于输入图像，通过台标检测和台标识别两个模块的处理，在该帧图像上得到了多个识别结果：

BLogo＝{Logo₁，...，Logo_i，...Logo_n}，这些结果中可能存在错误检测和识别，也可能是发生了台标异常行为。为了对台标检测与识别的结果进行验证，还可以对台标的行为进行分析。

1、对识别结果Logo＝{Logo₁，...，Logo_i，...Logo_n}中的所有台标进行跟踪的过程如下：

第一步：将Logo_i与当前台标跟踪对象序列 中的所有台标跟踪对象进行匹配。Logo_i与匹配，当且仅当满足如下条件：

$\left\{\begin{array}{c}\mathrm{Area}\left({\mathrm{Logo}}_i\right)\&ap;\mathrm{Area}\left({\mathrm{Logo}}_j\right)\\ |X_{{\mathrm{Logo}}_i}-X_{{\mathrm{Logo}}_j}|+|Y_{{\mathrm{Logo}}_i}-Y_{{\mathrm{Logo}}_j}|\&le;T_{\mathrm{dist}}\end{array}\right.---\left(7\right)$

其中，Area(Logo_i)表示台标的面积（即大小），和表示台标在视频图像中的左上角坐标，当然也可以是右上角或左下角或右下角坐标。

如果Logo_i与匹配成功，则执行第二步；如果Logo_i与所有的台标跟踪对象Logo^T都不匹配的话，则执行第三步；

第二步：用Logo_i的信息更新跟踪对象包括台标ID、台标坐标、台标大小、台标长宽比、起始帧号及时间点、结束帧号及时间点、匹配成功次数、置信度等；

第三步：将Logo_i作为新的台标跟踪对象加入到台标跟踪对象序列Logo^T中，加入的信息包括：台标ID、台标名称、台标坐标、台标大小、台标长宽比、起始帧号及时间点、结束帧号及时间点等，其中匹配成功次数和置信度初始化为数值1，起始和结束帧号及时间点为当前视频帧号及时间；

第四步：将Logo^T中未匹配成功的跟踪对象进行更新，降低其置信度

第五步：对当前台标跟踪对象序列

${\mathrm{Logo}}^T=\{{\mathrm{Logo}}_1^T,...,{\mathrm{Logo}}_j^T,...{\mathrm{Logo}}_m^T\}$ 中的所有台标跟踪对象进行如下判断：如果的置信度小于0，且的持续时间（即的结束时间减去起始时间）非常短，则认为是一个由于台标检测与识别算法本身受到噪声因素影响发生检测错误得到的错误结果，因此，需要将从台标跟踪对象序列中删除掉。

在对台标检测与识别结果进行跟踪的基础上，我们可以准确地获取每个被识别和跟踪的台标的所有信息，包括：台标ID、台标名称、台标坐标位置、台标起始和结束帧号及时间、台标匹配成功次数、台标匹配失败次数、置信度等，从而我们可以对台标的行为进行实时准确地监测和分析，主要包括了以下五种台标行为：

●台标正常

当前台标识别正确且被正确跟踪，置信度较高，则认为当前台标被正确识别且没有发生任何异常行为，即台标正常。在本专利的具体实例中，如果大于5秒，则认为结果有效。

●台标错误

当连续一段时间台标的识别结果与指定检测的频道台标不一致时，则认为当前发生了台标错误异常行为。

●台标移位

当台标被正确识别和跟踪，但此时台标出现在视频图像中的位置与该台标被指定出现的位置发生偏移时，则认为当前发生了台标移位异常行为。

●新台标出现

当台标连续一段时间未被检测与识别到，且判断当前没有发生台标错误和台标移位异常行为时，则台标可能发生的异常行为有两种：台标消失和新台标出现。如果在这段时间里能够检测到稳定的类似台标图像区域或稳定边缘图像，则认为出现了新台标。

●台标消失

当台标连续一段时间未被检测与识别到，且判断当前没有发生台标错误、台标移位和新台标出现时，则认为台标发生了消失；即台标发生丢失，未在视频图像上显示。

如果台标行为判断为不正常，则认为台标发生了异常行为，此时需要将此信息反馈给台标检测模块，以便检测台标异常行为的类型，台标异常行为检测的流程：

第一步：进行台标移位检测，即判断当前台标跟踪对象序列 ${\mathrm{Logo}}^T=\{{\mathrm{Logo}}_1^T,...,{\mathrm{Logo}}_j^T,...{\mathrm{Logo}}_m^T\}$ 中是否存在台标ID与指定检测台标ID相同但台标坐标位置发生偏移（对应的坐标位置发生了像素偏移）的台标跟踪对象，如果存在并且满足置信度要求，则发出异常报警，并将该台标发生移位的起始和结束帧号及时间、台标发生移位的坐标位置、异常行为的类型等必要信息输出。否则进入第二步。

第二步：进行台标错误检测，即判断当前台标跟踪对象序列 ${\mathrm{Logo}}^T=\{{\mathrm{Logo}}_1^T,...,{\mathrm{Logo}}_j^T,...{\mathrm{Logo}}_m^T\}$ 中是否存在台标ID与指定检测台标ID不同但该台标ID属于台标数据库，如果存在并且满足置信度要求，则发出异常报警，并将识别到的错误台标信息（ID、大小、位置等），以及其出现的起始和结束帧号及时间、异常行为的类型等必要信息输出。否则进入第三步。

第三步：进行新台标检测，即检测视频图像中是否出现类似台标的稳定图像区域或稳定边缘图像。在本实施例中，如果检测到一个稳定的图像区域或稳定边缘的话，则认为当前发生了新台标异常行为，发出异常报警，并将该新台标对应的原始图像区域以及稳定图像区域或稳定边缘图像保存，将新台标出现的起始和结束帧号及时间、新台标出现的坐标位置、异常行为的类型等必要信息输出。否则进入第四步。

第四步：台标连续多帧未被识别与跟踪到，则说明发生了台标消失，发出异常报警，并将台标消失的起始和结束帧号及时间、异常行为的类型等必要信息输出。其中台标消失的起始帧号及时间由该台标对应的跟踪对象中保存的台标最后一次匹配成功的帧号及时间来求得，而结束帧号及时间则由求得的帧号及时间跟台标消失持续的时间长度来计算得到

本发明实施例提供了一种视频中的台标识别方法和装置，将提取到的图像特征输入待检测节目对应的主台标分类器中，将当前视频图像缩放至不同尺度，采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测，得到主台标图像，进而通过像素分割和相似度计算得到子台标，从而对视频节目中的台标进行实时检测与定位，识别台标并对其行为进行实时分析。

进一步，本方法及时捕获台标发生的异常行为并准确地给出台标异常行为发生的起始和结束时间点以及该行为对应的类型，具有良好的通用性和鲁棒性，能够适用于多种类型的台标检测与识别。

本发明还公开了一种视频中的台标识别装置，如图3所示，包括如下模块：

提取模块301，用于提取当前视频图像的图像特征；

识别模块302，用于将提取到的图像特征输入待检测节目对应的主台标分类器中，将当前视频图像缩放至不同尺度，采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测，根据主台标分类器的输出结果判断当前视频图像中是否存在候选的主台标，存在则根据主台标的位置将整个台标图像进行输出；所述台标图像包括主台标区域和子台标区域；

相似度计算模块303，用于将子台标图像的前景像素从子台标区域中进行分割，将提取得到的二值图像作为与对应的主台标相关的所有子台标识别器进行相似度计算，并通过置信度判断得到所述主台标对应的子台标。

优选的，所述装置还包括：预处理模块300，用于对当前图像进行预处理，所述预处理包括图像缩放、图像噪声去除以及图像增强。

优选的，所述主台标分类器通过以下步骤构建：

人工标注并选取既定数量的主台标图像样本和非主台标图像样本；提取所有样本的图像特征，将所有图像特征输入给分类器进行训练，得到分类模型，从而构成主台标分类器。

优选的，所述图像特征为梯度特征，采用梯度直方图特征对样本的特征进行描述。

优选的，所述识别模块中，主台标分类器对应的滑动窗口按既定步长在缩放后的图像中进行滑动检测，每滑动一次则判定滑动窗口当前对应的视频图像区域是否是候选主台标图像区域；如果主台标分类器判定为正样本，则当前图像区域为候选主台标图像区域。

优选的，所述将整个台标图像进行输出时，输出的内容具体包括：主台标的图像位置、子台标的图像位置、以及整个台标的图像位置。

优选的，所述子台标识别器通过以下步骤构建：

选择多个包含指定台标的视频作为台标对应的稳定前景区域或边缘图像的样本来源；

人工标注出台标的具体位置，读入所有样本，将台标位置对应的图像内容输出并保存为台标的正样本；

读入所有台标的正样本，统计每个像素位置处的像素值变化，为每个像素位置统计生成一个高斯分布；

再次读入所有台标的正样本，每读入一张图片就对该图片的每个像素位置进行前景和背景像素点判断；

对所有像素位置进行统计，生成台标的稳定前景区域或边缘图像得到的图像则为当前台标对应的稳定前景区域或边缘图像；

统计稳定前景区域或边缘图像中的前景像素点个数以及背景像素点个数；从而构成每个台标的子台标识别器的三个部分：稳定区域或边缘图像、前景像素个数和背景像素个数。

优选的，所述相似度计算模块中，对所述子台标图像区域进行二值化，获得子台标的前景图像。

优选的，所述装置还包括跟踪模块304，用于识别成功的子台标与其对应的主台标构成的台标识别结果；并对多个台标识别结果进行跟踪，根据跟踪结果对台标识别结果进行修正，从而对视频中台标的行为进行实时监测，得到台标对应的各种行为模式。

优选的，所述台标的行为模式包括：台标正常、台标错误、台标移位、新台标出现、台标消失。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种视频中的台标识别方法，其特征在于，包括如下步骤：

提取当前视频图像的图像特征；

将提取到的图像特征输入待检测节目对应的主台标分类器中，将当前视频图像缩放至不同尺度，采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测，根据主台标分类器的输出结果判断当前视频图像中是否存在候选的主台标，存在则根据主台标的位置将整个台标图像进行输出；所述台标图像包括主台标区域和子台标区域；

将子台标图像的前景像素从子台标区域中进行分割时，对子台标图像区域进行二值化，获得子台标的前景图像，将提取得到的二值图像与对应的主台标相关的所有子台标识别器进行相似度计算，并通过置信度判断得到所述主台标对应的子台标。

2.根据权利要求1所述的方法，其特征在于：所述提取当前视频图像的图像特征之前，还包括：对当前图像进行预处理，所述预处理包括图像缩放、图像噪声去除以及图像增强。

3.根据权利要求1所述的方法，其特征在于：所述主台标分类器通过以下步骤构建：

标注并选取既定数量的主台标图像样本和非主台标图像样本；提取所有样本的图像特征，将所有图像特征输入给分类器进行训练，得到分类模型，从而构成主台标分类器。

4.根据权利要求3所述的方法，其特征在于：所述图像特征为梯度特征，采用梯度直方图特征对样本的特征进行描述。

5.根据权利要求1所述的方法，其特征在于：所述采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测时，主台标分类器对应的滑动窗口按既定步长在缩放后的图像中进行滑动检测，每滑动一次则判定滑动窗口当前对应的视频图像区域是否是候选主台标图像区域；如果主台标分类器判定为正样本，则当前图像区域为候选主台标图像区域。

6.根据权利要求5所述的方法，其特征在于：所述将整个台标图像进行输出时，输出的内容具体包括：主台标的图像位置、子台标的图像位置、以及整个台标的图像位置。

7.根据权利要求1所述的方法，其特征在于：所述子台标识别器通过以下步骤构建：

选择多个包含指定台标的视频作为台标对应的稳定前景区域或边缘图像的样本来源；

标注出台标的具体位置，读入所有样本，将台标位置对应的图像内容输出并保存为台标的正样本；

读入所有台标的正样本，统计每个像素位置处的像素值变化，为每个像素位置统计生成一个高斯分布；

再次读入所有台标的正样本，每读入一张图片就对该图片的每个像素位置进行前景和背景像素点判断；

对所有像素位置进行统计，所有稳定像素位置构成的图像则为当前台标对应的稳定前景区域或边缘图像；

统计稳定前景区域或边缘图像中的前景像素点个数以及背景像素点个数；从而构成每个台标的子台标识别器的三个部分：稳定区域或边缘图像、前景像素个数和背景像素个数。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：识别成功的子台标与其对应的主台标构成台标识别结果；并对多个台标识别结果进行跟踪，根据跟踪结果对台标识别结果进行修正，并对台标的行为进行分析，从而对视频中台标的行为进行实时监测，得到台标对应的各种行为模式。

9.根据权利要求8所述的方法，其特征在于：所述台标的行为模式包括：台标正常、台标错误、台标移位、新台标出现、台标消失。

10.一种视频中的台标识别装置，其特征在于，包括如下模块：

提取模块，用于提取当前视频图像的图像特征；

识别模块，用于将提取到的图像特征输入待检测节目对应的主台标分类器中，将当前视频图像缩放至不同尺度，采用多尺度方式用分类器窗口按既定步长在缩放后的图像中进行滑动检测，根据主台标分类器的输出结果判断当前视频图像中是否存在候选的主台标，存在则根据主台标的位置将整个台标图像进行输出；所述台标图像包括主台标区域和子台标区域；

相似度计算模块，用于将子台标图像的前景像素从子台标区域中进行分割，对子台标图像区域进行二值化，获得子台标的前景图像，将提取得到的二值图像与对应的主台标相关的所有子台标识别器进行相似度计算，并通过置信度判断得到所述主台标对应的子台标。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：预处理模块，用于对当前图像进行预处理，所述预处理包括图像缩放、图像噪声去除以及图像增强。

12.根据权利要求10所述的装置，其特征在于：所述主台标分类器通过以下步骤构建：

标注并选取既定数量的主台标图像样本和非主台标图像样本；提取所有样本的图像特征，将所有图像特征输入给分类器进行训练，得到分类模型，从而构成主台标分类器。

13.根据权利要求12所述的装置，其特征在于：所述图像特征为梯度特征，采用梯度直方图特征对样本的特征进行描述。

14.根据权利要求10所述的装置，其特征在于：所述识别模块中，主台标分类器对应的滑动窗口按既定步长在缩放后的图像中进行滑动检测，每滑动一次则判定滑动窗口当前对应的视频图像区域是否是候选主台标图像区域；如果主台标分类器判定为正样本，则当前图像区域为候选主台标图像区域。

15.根据权利要求14所述的装置，其特征在于：所述将整个台标图像进行输出时，输出的内容具体包括：主台标的图像位置、子台标的图像位置、以及整个台标的图像位置。

16.根据权利要求10所述的装置，其特征在于：所述子台标识别器通过以下步骤构建：

选择多个包含指定台标的视频作为台标对应的稳定前景区域或边缘图像的样本来源；

标注出台标的具体位置，读入所有样本，将台标位置对应的图像内容输出并保存为台标的正样本；

读入所有台标的正样本，统计每个像素位置处的像素值变化，为每个像素位置统计生成一个高斯分布；

再次读入所有台标的正样本，每读入一张图片就对该图片的每个像素位置进行前景和背景像素点判断；

对所有像素位置进行统计，生成台标的稳定前景区域或边缘图像得到的图像则为当前台标对应的稳定前景区域或边缘图像；

统计稳定前景区域或边缘图像中的前景像素点个数以及背景像素点个数；从而构成每个台标的子台标识别器的三个部分：稳定区域或边缘图像、前景像素个数和背景像素个数。

17.根据权利要求10所述的装置，其特征在于，所述装置还包括跟踪模块，用于识别成功的子台标与其对应的主台标构成台标识别结果；并对多个台标识别结果进行跟踪，根据跟踪结果对台标识别结果进行修正，从而对视频中台标的行为进行实时监测，得到台标对应的各种行为模式。

18.根据权利要求17所述的装置，其特征在于：所述台标的行为模式包括：台标正常、台标错误、台标移位、新台标出现、台标消失。