CN102982350B - 一种基于颜色和梯度直方图的台标检测方法 - Google Patents

Abstract

本发明提供了一种基于颜色和梯度直方图的台标检测方法，步骤：构建台标样本库，通过提取库中样本的HOG特征来训练SVM分类器；提取待测台标的颜色特征，确定其至多前三种主颜色的参数范围与面积比例；通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到台标可能出现的待测区域；将待测区域进行基于仿射变换与最小外接矩形的图像矫正；提取待测区域中的HOG特征，通过训练好的分类器判断是否存在待测台标。经过严格的实验证明，该台标识别方法能够准确的、近实时的识别视频中台标（包括话筒上，背景中等）。

Description

一种基于颜色和梯度直方图的台标检测方法

技术领域

本发明涉及基于图像识别领域，尤其涉及一种视频图像中的基于颜色和梯度直方图的台标检测方法。

背景技术

当前，我国整个电视系统变得越来越庞大和复杂，一些非法电视信号时刻都在试图进入正常的电视频道，实时监测成为电视信号发射台站的一项重要的工作。为了节省人力提高效率，需要开发一种近实时的台标识别方法，实现对非法信号的自动检测功能。

台标识别的准确性取决于三个方面，一是台标的准确定位；二是台标特征的有效提取；三是特征的正确匹配。

中国专利公开号CN 102426647A，专利名称为“一种台标识别的方法、装置”，该专利基于台标的时空不变性特征，在相邻帧中寻找像素值变化较小的区域作为台标可能出现的区域，再通过HU不变矩提取出待测区域的特征，最后通过欧式距离对待测区域与目标台标的特征进行匹配。

考虑到在实际视频中常存在一段时间内保持不变的背景，比如说新闻联播中的大部分画面在一段时间内几乎都是不变的，这时该方法的实时性与准确性就大大的降低了。所以该方法并不能解决实时检测的问题，同时也不能检测场景中出现的台标。

中国专利公开号CN 102289663A，专利名称为“一种基于颜色和形状的台标识别方法”。该专利首先去掉了原图中饱和度较低的像素点，然后根据H特征获取直方图并计算其概率密度分布图，通过Meanshift算法找寻基于模板直方图的颜色信息量最大的中心点，并以之为中心获取左上左下右上右下四个窗口的子窗口，并分别进行概率密度的颜色总量对比，从而找到最可能存在台标的区域。之后采用Sobel算子提取待测区域的轮廓金字塔图像。最后通过Hausdorff距离对待测区域与目标台标的特征进行匹配。然而经过验证，发现该专利存在逻辑上的问题：在HSV（Hue，Saturation，Value）空间中，白色和半透明色的饱和度都是接近于0的，该专利第一步去掉原图中低饱和度像素点时实际上已经错误的去掉了图中一切由白色像素点组成的台标，故后续的台标实际上是无法准确定位了。

另外，对于彩色的台标来说，在去掉的饱和度的像素点之后，仍然需要使用Meanshift对全图进行遍历，造成了巨大的时间成本，即使找到了颜色信息量最大的中心点，只通过在其四周选的四个固定大小的子窗口寻找颜色信息最匹配的窗口，不可避免的会出现分割不准确的问题。这可能也解释了，为什么其他台标的识别率只有75%。所以该方法并不能很好的解决台标的准确定位与实时检测的问题，同时，也不能检测场景中出现的台标。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于颜色和梯度直方图的台标检测方法，使其能够近实时的检测出场景中任何位置出现的台标，包括话筒、车身上等。经过严格的实验证明，该台标检测方法具有较高的判断准确率与鲁棒性。

为了达到上述发明目的，本发明是通过以下技术方案实现的：

本发明所述的一种基于颜色和梯度直方图的台标检测方法，包括如下步骤：

a.构建台标样本库，通过提取库中样本的HOG（HISTOGRAMS OF ORIENTEDGRADIENTS梯度直方图）特征来训练SVM(support vector machine支持向量机）分类器。

b.提取待测台标的颜色特征，确定其至多前三种主颜色的参数范围与面积比例。

c.通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到台标可能出现的待测区域。

d.将待测区域进行基于仿射变换与最小外接矩形的图像矫正。

e.提取待测区域中的HOG（HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图）特征，通过训练好的分类器判断是否存在待测台标。

具体的，步骤a包括：

a1.本设计的初始样本库为模板台标若干和背景负样本大量。

a2.在模板台标中选择一个模板台标作为待测台标，通过对其进行各种仿射变换获得大量正样本，将剩下的模板台标每个做多次仿射变换得到大量负样本。

a3.通过将样本库中的样本归一化到M*N（比如为96×96）像素，并提取其HOG（HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图）特征来训练SVM(support vector machine支持向量机）分类器。

步骤b包括：

b1.通过颜色聚类的方法，在HSV颜色空间下找到待测台标的前三种主颜色（可以小于三种）的H（色调Hue，取值区间为0～360）、S（饱和度Saturation，取值区间为0～1）、V（亮度Value，取值区间为0～1）分量的参数值，记录各个颜色分量的面积比例，面积比例最大的为第一主颜色。

b2.对前三种主颜色的H、S、V分量的参数边界进行放大，增强其在真实场景中光照变换情景下的鲁棒性，具体冗余参数为一个增量Δ，即将获取的H、S、V分量，变为一个区间（H-ΔH，H+ΔH）、（S-ΔS，S+ΔS）、（V-ΔV，V+ΔV）。这里ΔH、ΔS、ΔV分别表示色调、饱和度、亮度的调整量。实际检测时，只要检测区域的HSV分量落在这个区间，即认为该分量是同目标的对应分量相匹配。该参数可通过实验获得一组优化的经验值，但允许使用者根据具体情况进行修改。

步骤c包括：

c1.根据步骤b中的一种或者多种颜色参数范围，在视频帧中分别提取出只含有某种颜色的子图。

c2.在每一张子图中，寻找其中每一个色块的轮廓，并找到其轮廓的外接矩形。

c3.如果该台标只有一种颜色，那么第一主颜色子图中的色块区域确定为待测区域。如果该台标有两（三）种主颜色，遍历第一主颜色子图中的所有色块，如果其中某个色块附近同时存在剩下一（两）种主颜色的色块并且色块面积的相应比值在b1所得到的范围内，则将包含这两（三）个色块的外接矩形确定为待测区域，并从原图中截取出来。

步骤d包括：

d1.在截取出来的待测区域中找到色块的最小外接矩形。

d2.将色块旋转，使其最小外接矩的长边与水平方向平行。

d3.将待测区域归一化到设定的像素大小的图像。

与现有技术相比，本发明具有如下的有益效果：

1)本发明所公开的台标检测方法不仅能够检测出普通的一般位于左上角的台标，还能检测出场景中的台标（包括话筒上，车上等）；

2)由于其在步骤b和c中通过台标的颜色信息在视频帧中进行台标初步分割与定位，排除了大量的通过轮廓信息可能很难辨别的背景与其他非待测台标，不仅极大的缩小了待测区域的范围，更提高了检测的准确率；

3)由于其在步骤d中待测区域进行了图像矫正，极大的缩小了构建样本库时正样本所覆盖的范围，使样本特性更加集中，增加了分类器SVM识别的准确率；

4)由于其生成正负样本空间大部分是通过对少量模板台标的各种仿射变换，减少了建库的工作量，使得使用者可以针对新的待测台标快速建立相应的样本库，体现了一定的智能性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为通过对模板台标的仿射变换制作正样本库；

图2为通过最小外接矩形和仿射变换进行图像矫正；

图3为实际的检测效果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本实施例提供的一种视频图像的湖南卫视台的近实时识别方法，该台标识别方法的实现正是依靠台标颜色鲜明与结构简单的特征。具体包括如下步骤：

a.构建湖南卫视台台标样本库，通过提取库中样本的HOG（HISTOGRAMS OFORIENTED GRADIENTS梯度直方图）特征来训练SVM(support vector machine支持向量机）分类器。

具体的，步骤a包括：

a1.本设计的初始样本库为50个模板台标和1000个通过手动截图获得的背景作为负样本。

a2.在模板台标中选择湖南卫视台台标作为待测台标，通过对其进行各种仿射变换获得900个正样本，如图1所示，将剩下的模板台标每个做20次仿射变换得到980个负样本。最终样本库包含这900个正样本，和1980个负样本。

a3.通过，将样本库中的样本归一化到96×96像素，并提取其HOG（HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图）特征来训练SVM(support vector machine支持向量机）分类器

b.提取待测湖南卫视台台标的颜色特征，确定其主颜色的参数范围与面积比例。

步骤b包括：

b1.通过颜色聚类的方法，在HSV颜色空间下找到湖南卫视台标的两种主颜色橘红色和黄色的参数边界，记录各个颜色的面积比例，面积比例最大的为第一主颜色。

b2.对前三种主颜色的H、S、V分量的参数边界进行放大，增强其在真实场景中光照变换情景下的鲁棒性，具体冗余参数为一个增量Δ，即将获取的H、S、V分量，变为一个区间（H-ΔH，H+ΔH）、（S-ΔS，S+ΔS）、（V-ΔV，V+ΔV）。这里ΔH、ΔS、ΔV分别表示色调、饱和度、亮度的调整量。实际检测时，只要检测区域的HSV分量落在这个区间，即认为该分量是同目标的对应分量相匹配。这里ΔH、ΔS、ΔV分别表示色调、饱和度、亮度的调整量。本发明中，ΔH=10、ΔSS=0.1、ΔV=0.2，该参数为在实验中获得的最优化参数，允许使用者根据具体情况进行修改。

c.通过颜色匹配算法，在视频帧中搜索与湖南卫视台台标颜色组成相同的区域，从而得到湖南卫视台台标可能出现的待测区域。

步骤c包括：

c1.根据b中的橘红色与黄色的HSV颜色参数范围，在视频帧中分别提取出只含有一种颜色的子图。

c2.在每一张子图中，寻找其中每一个色块的轮廓，并找到其轮廓的外接矩形。

c3.湖南卫视台台标有两种主颜色，将每一个橘红色子图中的色块与每一个黄色子图中的色块进行对比，如果两个色块的外接矩形相交，并且颜色面积比例只比在b2所得范围之内，则将包含这两个色块的外接矩形确定为待测区域，并从原图中截取出来。

d.将待测区域进行基于仿射变换与最小外接矩形的图像矫正。

步骤d包括：

d1.在截取出来的待测区域中找到色块的最小外接矩形。

d2.将色块旋转，使其最小外接矩的长边与水平方向平行。

d3.将待测区域归一化到96*96像素大小的图像，如图2所示。

e.提取待测区域中的HOG（HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图）特征，通过a3中训练好的分类器判断是否存在湖南卫视台台标。

对于上述HSV颜色空间，以下进行简要描述。HSV色彩模型从CIE三维颜色空间演变而来，它采用的是用户直观的色彩描述方法，它跟孟塞尔显色系统的HVC球型色立体较接近，只不过HSV色彩模型是一个倒立的六菱锥，只相当于孟塞尔球型色立体的一半（南半球），所以不含黑色的纯净颜色都处于六棱锥顶面的一个色平面上。在HSV六棱锥色彩模型中，色相（H）处于平行于六棱锥顶面的色平面上，它们围绕中心轴V旋转和变化，红、黄、绿、青、蓝、品红六个标准色分别相隔60度。色彩明度（B）沿着六棱锥中心轴V从上至下变化，中心轴顶端呈白色（V=1），底端呈黑色（V=0），它们表示无彩色系的灰度颜色。色彩饱和度（S）沿水平方向变化，越接近六棱锥的中心轴的色彩，其饱和度越低，六边形正中心的色彩饱和度为零（S=0），与最高明度的V=1相重合，最高饱和度的颜色则处于六边形外框的边缘线上（S=1）。

色平面（H、S）的基础是CIE色度图的x、y色平面

色明度/六棱锥中轴（V）的基础是CIE三维颜色空间的亮度因素Y。

对于上述HOG（HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图）算法以及SVM(support vector machine支持向量机）分类器进行简要描述：

HOG（HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图）特征是一种局部区域描述符,它通过计算局部区域上的梯度方向直方图来构成车辆外型特征,能够很好地描述车辆的边缘。它对光照变化和小量的偏移不敏感。输入图像中像素点(x,y)的梯度如以下公式

G_x(x，y)＝H(x+1，y)-H(x-1，y)

G_y(x，y)＝H(x，y+1)-H(x，y-1)

式中,G_x(x,y)、G_y(x,y)、H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向如以下公式

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

HOG（HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图）特征提取步骤：把图像分割为若干个8×8像素的单元(cell)，把[-π/2，π/2]的梯度方向平均划分为9个区间(bin)，在每个cell内对所有像素的梯度幅值在各个方向bin区间进行直方图统计，得到一个9维的特征向量，每相邻4个单元为一个块(block)，把4个单元的特征向量联起来得到块的36维特征向量，用block对样本图像进行扫描，扫描步长为一个cell，最后将所有block的特征串联得到车辆的特征。在DATAL的方法中所有块的大小是固定的，获得的信息有限，不能获得较为完整的信息，本发明实施例中采用大小可变的block提取HOG（HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图）特征，采用的block的宽高比分别为(1：1)、(2：1)、(1：2)。block的大小变化从16×16到64×128，每个block平均分为4个cell单元。每个block的移动步长仍为8个像素，这样总共得到438个block，每个block内HOG（HISTOGRAMSOF ORIENTED GRADIENTS梯度直方图）特征使用以下公式进行归一化。

$V=\frac{v}{\left|\right|v\left|\right|+\mathrm{\ϵ}}$

式中，v为待归一化向量;ε用来避免分母为0，本实施例中取ε=0.05。为了提高计算速度，在计算HOG（HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图）特征时引入积分向量图，先用9个积分直方图来分别表示各像素点在9个梯度方向的梯度积分图，这样在对梯度方向离散化时就不能用三角线性投票方式。利用积分图对任何一个矩形区域内的直方图统计用4个角的积分值可快速计算得到，这样避免了由于block的重叠造成的重复计算，提高了计算速度。

与其他的特征描述方法相比，HOG（HISTOGRAMS OF ORIENTEDGRADIENTS梯度直方图）算法有很多优点。首先，由于HOG（HISTOGRAMS OFORIENTED GRADIENTS梯度直方图）方法是在图像的局部细胞单元上操作，所以它对图像几何的（geometric）和光学的（photometric）形变都能保持很好的不变性，而这两种形变只会出现在更大的空间领域上。

SVM(SUPPORT VECTOR MACHINE支持向量机）的主要思想可以概括为两点：(1)它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习其得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。

实验

本实验测试结果如下：

1.测试平台：

Intel酷睿2双核P7450

2.实验结果

单色电视台：90%，错误识别率3%，速度55ms/帧

多色电视台：94%，错误识别率0%，速度45ms/帧

3.结果分析

由于该方法通过模板台标的颜色构成对视频帧中的可能出现台标的区域进行定位，模板台标颜色越鲜明，种类越多（在1-3种内），定位越精确，可能出现的干扰项越少，准确率越高并且速度越快。同时，由于本发明方法采用HOG特征进行检测识别，由于HOG特征具备角度和尺度的不变性，因此检测结果更为准确和鲁棒。如图3所示，不仅准确地检测出了图片左上角的湖南卫视的电视台台标，而且也准确地检测出了话筒上方和侧面的两个变形了的湖南卫视台标，这也表明了本发明方法的鲁棒性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种基于颜色和梯度直方图的台标检测方法，其特征在于包括如下步骤：

a.构建台标样本库，通过提取库中样本的HOG特征来训练SVM分类器；

b.提取待测台标的颜色特征，确定其至多前三种主颜色的参数范围与面积比例；

c.通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到台标可能出现的待测区域；

d.将待测区域进行基于仿射变换与最小外接矩形的图像矫正；

e.提取待测区域中的HOG特征，通过训练好的分类器判断是否存在待测台标；

步骤b包括：

b1.通过颜色聚类的方法，在HSV颜色空间下找到待测台标的至多前三种主颜色的H、S、V分量的参数值，记录各个颜色分量的面积比例，面积比例最大的为第一主颜色；

b2.对至多前三种主颜色的H、S、V分量的参数边界进行放大，增强其在真实场景中光照变换情景下的鲁棒性，具体冗余参数为一个增量Δ，即将获取的H、S、V分量，变为一个区间(H-ΔH，H+ΔH)、(S-ΔS，S+ΔS)、(V-ΔV，V+ΔV)，这里ΔH、ΔS、ΔV分别表示色调、饱和度、亮度的调整量，实际检测时，只要检测区域的HSV分量落在这个区间，即认为该分量是同目标的对应分量相匹配，该参数通过实验获得一组优化的经验值，但允许使用者根据具体情况进行修改。

2.根据权利要求1所述的基于颜色和梯度直方图的台标检测方法，其特征在于，步骤a包括：

a1.初始样本库为模板台标若干和背景负样本大量；

a2.在模板台标中选择一个模板台标作为待测台标，通过对其进行各种仿射变换获得大量正样本，将剩下的模板台标每个做20次仿射变换得到大量负样本；

a3.通过，将样本库中的样本归一化到设定的像素，并提取其HOG特征来训练SVM分类器。

3.根据权利要求1所述的基于颜色和梯度直方图的台标检测方法，其特征在于，所述b2中，冗余参数为ΔH＝10、ΔS＝0.1、ΔV＝0.2。

4.根据权利要求1所述的基于颜色和梯度直方图的台标检测方法，其特征在于，步 骤c包括：

c1.根据步骤b中的一种或者多种颜色参数范围，在视频帧中分别提取出只含有某种颜色的子图；

c2.在每一张子图中，寻找其中每一个色块的轮廓，并找到其轮廓的外接矩形；

c3.如果该台标只有一种颜色，那么第一主颜色子图中的色块区域确定为待测区域；如果该台标有两种主颜色，遍历第一主颜色子图中的所有色块，如果其中某个色块附近同时存在剩下一或两种主颜色的色块并且色块面积的相应比值在b1所得到的范围内，则将包含这两或三个色块的外接矩形确定为待测区域，并从原图中截取出来。

5.根据权利要求1-4之一所述的基于颜色和梯度直方图的台标检测方法，其特征在于，步骤d包括：

d1.在截取出来的待测区域中找到色块的最小外接矩形；

d2.将色块旋转，使其最小外接矩形的长边与水平方向平行；

d3.将待测区域归一化到设定像素大小的图像。