CN101739561A - 一种电视台标训练方法和识别方法 - Google Patents

Abstract

本发明提供一种电视台标训练方法和识别方法，该电视台标训练方法包括：1)根据帧差法确定训练视频中台标的外接矩形；2)对所述台标的外接矩形进行边缘检测，得到台标的边缘点；3)根据所述台标的边缘点，计算台标的距离变换矩阵D_f。根据该电视台标训练方法得到的特征，在识别过程中不需要通过连续的多帧视频信息来确定台标在视频中的位置，只需要待检测视频的单帧视频信息；且在台标形状和大小有微小变化的情况下，仍能成功识别。

Description

一种电视台标训练方法和识别方法

技术领域

本发明涉及图像的模式识别领域，特别涉及一种电视台标训练方法和识别方法。

背景技术

台标是电视台及电视栏目的标志，是基于内容的多媒体搜索中重要的语义信息之一，同时台标检测也是学术界和工业界近年来的研究热点之一，其主要用于一些网络实时监控系统中。

现有技术中，电视台标识别方法根据台标库中的台标掩码进行台标识别，具体包括以下两个步骤：

1，台标检测：通过多帧帧差的方法得到待检测视频的台标位置和台标掩码，比如将提取台标边缘作为掩码，如图3所示为新唐人台标的台标掩码。例如，2005年9月出版的Proc.European Signal Processing Conference’05中Katrin Meisinger等人的“Automatic tv logo removal using statistical based logo detection and frequency selective inpainting，”文章公开了利用连续帧帧差的办法来提取台标的掩码，该办法假设视频中除了台标区域静止不动外，其他部分都会不断变化。2004年5月的Proc.ICASSP’04中A.Albial等人的“Detection of tv commercials，”中公开了利用了连续帧的平均梯度再加上形态学算子提取台标区域。但在实际的应用中该步骤的方法有很多缺点：首先是在一些实时网络监控系统中无法获得连续多帧视频信息，往往只能得到单帧视频图像信息，此时帧差法无法适用。其次是对台标要求苛刻，动画台标以及比较常见半透明台标不能检测或准确度低。

2，台标的识别：通过台标掩码进行识别。该方法识别台标缺点是：对台标位置和大小要求非常准确，一旦位置有偏移，或台标出现的大小或形状有较小的变化就匹配不上。

发明内容

本发明要解决的技术问题是提供一种电视台标训练方法，使得利用该训练方法所得到的电视台标特征可以在单帧视频图像上进行电视台标识别。

根据本发明的一个方面，提供了一种电视台标训练方法，包括下列步骤：

1)根据帧差法确定训练视频中台标的外接矩形；

2)对所述台标的外接矩形进行边缘检测，得到台标的边缘点；

3)根据所述台标的边缘点，计算台标的距离变换矩阵Df。

该训练方法中，所述步骤2)还包括：

21)将所述台标的外接矩形分割为多个子块；

22)统计所述外接矩形的每个子块中边缘点的个数所服从的正态分布N(μ_i，δ_i)。

该训练方法中，所述步骤2)还包括：

21)将所述台标的外接矩形分割为多个子块；

23)统计所述外接矩形的每个子块中边缘点的梯度分布直方图。

该训练方法中，所述步骤2)还包括：

22)统计所述外接矩形的每个子块中边缘点的个数所服从的正态分布N(μ_i，δ_i)。

该训练方法中，所述步骤1)还包括：

11)根据所述台标的外接矩形确定台标可能会出现的拐角矩形区域。

该训练方法中，所述拐角矩形区域占整个视频画面的1/16。

该训练方法中，其特征在于，

所述步骤3)包括步骤：

31)根据步骤2)的所述台标的边缘点，统计所述训练视频中每个像素位置出现边缘点的次数，所述出现边缘点的次数大于阈值的像素点确定为真正的台标边缘点；

32)根据所述真正的台标边缘点，计算台标的距离变换矩阵D_f。

根据本发明的另一方面，还提供了一种基于电视台标特征的电视台标识别方法，其中，所述电视台标特征包括台标的距离变换矩阵D_f，所述识别方法包括下列步骤：

4)对在待检测视频帧中移动的窗口进行边缘检测，得到所述窗口的边缘点；

5)根据所述台标的距离变换矩阵D_f和所述窗口的边缘点，计算待检测视频帧的窗口到所述台标的匹配距离Dist_(E→T)；

6)根据所述Dist_(E→T)识别所述窗口是否含有所述台标。

该识别方法中，所述步骤5)还包括：

51)根据所述窗口的边缘点，计算模板的距离变化矩阵ED_f；

52)根据所述模板的距离变化矩阵ED_f和所述台标的边缘点，计算所述台标到待检测视频帧的窗口的匹配距离Dist_(T→E)；

所述步骤6)：根据所述Dist_(E→T)和所述Dist_(T→E)识别所述窗口是否含有所述台标。

该识别方法中，所述电视台标特征还包括：所述台标的外接矩形的子块中边缘点的个数所服从的正态分布N(μ_i，δ_i)；

所述步骤4)还包括：

41)将待检测视频帧的窗口分割为多个子块；

42)计算所述窗口的每个子块中边缘点的个数；

43)根据步骤42)中计算所得的个数是否服从所述N(μ_i，δ_i)，对所述待检测视频帧的窗口进行过滤；

所述步骤5)和步骤6)仅对通过所述步骤43)的过滤的窗口进行处理。

该识别方法中，所述电视台标特征还包括：所述台标的外接矩形的子块中边缘点的梯度分布直方图；

所述步骤4)还包括：

41)将待检测视频帧的窗口分割为多个子块；

44)计算所述窗口的每个子块中边缘点梯度方向分布直方图；

45)根据步骤44)中计算所得的直方图与所述台标的外接矩形的子块中边缘点的梯度分布直方图的相似度，对所述待检测视频帧的窗口进行过滤；

所述步骤5)和步骤6)仅对通过所述步骤45)的过滤的窗口进行处理。

该识别方法中，所述电视台标特征还包括：所述台标的外接矩形的子块中边缘点的个数所服从的正态分布N(μ_i，δ_i)；

所述步骤4)还包括：

42)计算所述窗口的每个子块中边缘点的个数；

43)根据步骤42)中计算所得的个数是否服从所述N(μ_i，δ_i)，对所述待检测视频帧的窗口进行过滤；

所述步骤44)和步骤45)仅对通过所述步骤43)的窗口进行处理。

该识别方法中，所述电视台标特征还包括：所述台标可能会出现的拐角矩形区域；

所述步骤4)中所述窗口只在所述台标可能会出现的所述拐角矩形区域内移动。

根据本发明的电视台标训练方法得到的特征，在识别过程中不需要通过连续的多帧视频信息来确定台标在视频中的位置，只需要待检测视频的单帧视频信息；在台标形状和大小有微小变化的情况下，仍能成功识别。

附图说明

图1是各种台标示意图；

图2是台标可能出现的拐角区域示意图；

图3是根据本发明的一个具体实施例的新唐人台标的台标掩码示意图；

图4是根据本发明的一个具体实施例的新唐人台标模板对应的距离矩阵示意图；

图5是根据本发明的一个具体实施例的台标模板的训练流程图；

图6是根据本发明的一个具体实施例的台标检测的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明一个实施例的电视台标识别方法进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下述内容根据本发明的一个具体实施例详细描述了在单帧视频图像上识别电视台标的方法，该方法主要包括台标模板训练和台标检测两个步骤。其中，为描述方便，采用横向从左到右为x方向的正方向、竖向从上到下为y方向的正方向的坐标系统。

在台标模板训练步骤中，如图5的流程图所示，对于每一种需要进行检测的台标，挑选包含该台标的视频作为训练视频，然后提取台标的位置，边缘以及形状特征作为台标的模板，从而可以将其加入台标模板库。

对于每一种台标需要选择一个训练视频，训练视频中必须包含台标。可以理解，视频中的台标越清晰，提取的特征越具有代表性。在训练过程中，为了使训练的台标模板更具有代表性，只使用视频中的关键帧，所以需要训练视频具有足够多的关键帧以提供足够的信息。

训练过程中首先通过帧差法确定训练视频中台标所处的外接矩形区域，从而得到台标在视频中准确位置。该位置可以用来确定台标可能会出现的视频中的四个拐角矩形区域(如图2所示)之一，包括左上角、左下角、右上角和右下角。比如cctv、ahtv等只会出现在左上角上，而新唐人电视台标出现在右上角上。台标如果在左上角，则在检测的时候只需要检测视频画面左上角约占整个画面1/16的区域。从而显著的缩小搜索了台标检测范围。根据所获得的台标外接矩形，确定外接矩形的高度和宽度分别作为台标的高度和宽度。

根据训练视频中的台标可提取台标的边缘特征，其中包括边缘点个数分布特征和边缘点梯度方向分布特征。以下分别对其介绍：

在训练过程中将台标外接矩形区域分割成4×4个相等大小的子块，其中每一个子块的高度和宽度都分别是外接矩形区域高度和宽度的四分之一。通过诸如canny算子，sobel算子，prewitt算子，roberts算子等边缘检测算子进行边缘检测，得到边缘点。假设每一个子块中出现的边缘点的个数服从正态分布N(μ_i，δ_i)(i＝1，2，3，...，N)，通过训练视频中的每一关键帧来统计每一个子块中边缘点个数的平均值和方差，来估计μ_i和δ_i。

边缘点梯度方向分布特征是每个子块中边缘点的梯度方向的分布特征，其比边缘点个数特征更具有区别性。

首先计算梯度方向。通过高斯低通滤波器去除图像中的噪音，再通过滤波器filter_y，filter_x与灰度图像进行卷积，分别得到图像中灰度在y方向和x方向的导数dy和dx。其中：

${\mathrm{filter}}_y=\left[\begin{array}{ccc}0.5& 1& 0.5\\ 0& 0& 0\\ -0.5& -1& -0.5\end{array}\right]$

${\mathrm{filter}}_x=\left[\begin{array}{ccc}0.5& 0& -0.5\\ 1& 0& -1\\ 0.5& 0& -0.5\end{array}\right]$

对于某一边缘点X的梯度为(dx，dy)，则梯度方向为：

$\mathrm{\φ}\left(X\right)=\arg \tan \left(\frac{\mathrm{dy}}{\mathrm{dx}}\right)---\left(1\right)$

将上述梯度方向均匀量化到8个离散数值上，该离散数值分别代表了水平，垂直以及斜对角方向。统计训练视频中每一关键帧的台标区域内各个子块每一边缘点的各个方向上的梯度分布建立直方图，并进行归一化。

上述步骤通过统计的方法提取了台标边缘特征，该特征只能给出“是否包含”的初步判断，如果只利用这些特征进行检测，往往会导致误检。所以还需要提取更加具有区别性的台标形状特征。

可以选择训练视频中的一帧，用于提取台标形状特征。但是，根据边缘检测提取的视频每一帧中的台标边缘可能包含噪音或背景物体的边缘。而且由于采取了无监督的训练方法，所以如果任意选择，将可能选择到并非最具有代表性的那一帧。综上所述，优选的，采用叠加去阈值的办法提取台标的更准确的边缘信息用于提取台标形状特征。

具体的操作为，首先保留提取台标边缘特征步骤中提取的边缘信息，然后通过叠加统计出台标外接矩形区域中每一个像素位置出现边缘点的次数。根据本发明的一个具体实施例，取诸如视频中总帧数的3/4的阈值th1，如果某一位置出现边缘点的次数超过该阈值th1，就将该位置定为真正的台标边缘点。

根据本发明的一个具体实施例，采用台标区域的距离变换矩阵来表示台标的形状。对于一维网格可以通过一遍扫描计算两点间的距离变换(distance transformation)，p点与q点距离变换公式如下：

$D_f\left(p\right)=\underset{q\∈G}{\min }(d(p,q)+f\left(q\right))---\left(2\right)$

其中d(p，q)用来计算p点与q点之间的距离，例如采用欧氏距离或Mahalanobis距离；G是网格点集合；f：G-＞R是网格点上的函数。对于本发明可以采用：

而对于二维网格点，例如图像中的像素点，可以转换成两次一维网格计算，公式如下：

$D_f(x,y)=\underset{x^{\′},y^{\′}}{\min }({(x-x^{\′})}^2+{(y-y^{\′})}^2+f(x^{\′},y^{\′}))$

$=\underset{x^{\′}}{\min }({(x-x^{\′})}^2+\underset{y^{\′}}{\min }({(y-y^{\′})}^2+f(x^{\′},y^{\′})))$

$=\underset{x^{\′}}{\min }({(x-x^{\′})}^2+D_{f|x^{\′}}\left(y\right))---\left(4\right)$

其中，x和x’，y和y’分别是像素在图像中的横纵坐标。

如公式(3)所示可以在O(N)的时间复杂度内计算距离变换矩阵，其中N为网格点个数。在台标的形状表示中，根据本发明的一个实施例提取台标边缘，使用公式(3)中的f函数，并计算台标外接矩形中心为中心，长度和宽度分别为台标长度和宽度两倍的矩形区域中的距离变换D_f(x，y)，如图4示出了根据本发明的一个具体实施例的新唐人台标模板对应的距离矩阵示意图。这样D_f(x，y)中记录了该矩形区域中每一个位置距离最近的边缘点的距离，可以使用一个浮点矩阵来保存D_f(x，y)。

根据训练所得到的台标模板中的台标信息检测某一视频帧中是否包含模板中的台标，如图6流程图所示。首先利用位置特征确定需要检测的区域，然后顺次利用边缘和形状特征检测出单视频帧中是否包含台标。

通过训练，台标模板中确定了待检测台标出现在视频中的四个拐角区域之一，约占整个画面的1/16左右，将该区域称为待检测区域。通过将检测区域从整个帧缩小到待检测区域，提高检测效率和准确度。

在待检测区域中滑动一个窗口，窗口的高度和宽度与台标相同，窗口每次在x向或y向移动的距离为Δx和Δy，其中Δx和Δy可设置为诸如5。窗口每移动到一个新的位置，首先通过边缘点个数特征从单视频帧画面中过滤出边缘点个数特征满足台标模板的区域，然后过滤出边缘梯度方向分布特征满足模板的区域，该窗口所在的位置可能包含台标。该过滤可能存在台标的区域的步骤具体包括：

(1)边缘点个数特征过滤

对于移动到每个位置上的窗口，采用训练时同样的方法进行分块，并根据与训练时相同的方法得到边缘点个数。假设某一子块P_i，边缘点个数n_i。如果|n_i-μ_i|＞k·δ_i，其中k为预先设定的参数，用来控制窗口与模板一致的程度，例如可以设为1.5；则认为此为小概率事件，进而认为子块p_i不符合模板。通过统计符合模板子块的比率，如果比率超过一个设定的阈值th2则进行边缘点梯度方向特征过滤，其中该阈值th2例如2/3；否则窗口移动到下一个位置。

(2)边缘点梯度方向特征过滤

对于通过边缘点个数特征过滤的窗口内的每个子块，根据与模板训练时相同的方法得到各子块的边缘点梯度方向分布。计算各个子块的边缘点归一化后的梯度方向直方图，通过直方图相交的方式计算子块与模板的相似度，相似度大于一定的阈值th3则表示该子块与模板上对应的子块匹配，其中所述阈值th3例如0.6。统计满足模板分布的子块的个数，个数超过一定的阈值th4，例如2/3，则认为通过边缘特征过滤。

如果没有窗口通过上述边缘特征过滤，则表明该视频帧中不包含待检测的台标，直接返回；否则对于通过边缘特征过滤的窗口，进一步通过形状特征来进行检测。首先计算窗口到台标模板的匹配距离，然后计算台标模板到窗口的匹配距离，通过这两次计算匹配距离达到精确匹配的目的。

(1)窗口到台标模板T的匹配距离。

在过滤可能存在台标的区域的步骤中已经获得窗口内的边缘点，采用如下的公式(5)计算窗口到台标模板的倒角匹配(chamfer matching)距离：

${\mathrm{Dist}}_{(E\→T)}=\frac{\underset{-\mathrm{\Δy}\≤j\≤\mathrm{\Δy}}{\underset{-\mathrm{\Δx}\≤i\≤\mathrm{\Δx}}{\min }}\underset{(x,y)\∈E}{\mathrm{\Σ}}{D}_f(x_t+x+i,y_t+y+j)}{\left|E\right|}---\left(5\right)$

其中E为窗口中的边缘点集合，|E|为窗口中边缘点的个数，(x_t，y_t)为台标模板中的边缘点在距离变换矩阵D_f中的对应位置的坐标，Δx和Δy为窗口每次在x向或y向移动的距离。i，j为待检测区域与模板匹配时候微小的偏移距离，之所以有该微小的偏移距离，是因为窗口与台标可能不能够完全吻合，存在一个小的偏移。

Dist_(E→T)可以直观的理解为在窗口与台标最佳匹配下，待检测视频帧中边缘点距离模板中的边缘点的平均距离。

(2)台标模板到窗口的匹配距离

如果窗口中边缘点很少，仅考虑窗口到台标模板的倒角匹配(chamfermatching)距离，可能导致误检，比如在极端条件下矩形待检测区域没有边缘点情况下，平均匹配距离为0。所以在寻找窗口到模板最佳倒角匹配后，还计算模板到窗口的倒角匹配距离。将窗口在视频待检测区域中滑动(min_i，min_j)后，计算模板到窗口的边缘点距离变换矩阵ED_f(x，y)，进而根据公式(6)计算模板到窗口的倒角匹配距离。

${\mathrm{Dist}}_{(T\→E)}=\frac{\underset{(x,y)\∈T}{\mathrm{\Σ}}{\mathrm{ED}}_f(x_w+x,x_w+y)}{\left|T\right|}---\left(6\right)$

其中T为模板中的边缘点集合，|T|为模板中边缘点的个数，ED_f为窗口中边缘点的距离变换矩阵，(x_w，y_w)为窗口中的边缘点在距离变换矩阵EDf中的对应位置的坐标。Dist_(T→E)可以直观的理解为台标模板与窗口最佳匹配下，台标模板中的边缘点距离窗口中的边缘点的平均距离。

关于Dist_(E→T)与Dist_(T→E)分别设一阈值th5和th6，例如均等于2，如果两个距离分别小于阈值th5和th6，则表明形状上与台标匹配，即在该视频帧中检测到了待检测台标。

根据上述步骤，由台标的位置信息、边缘特征和形状特征共同构成台标模板。位置信息包括台标的外接矩形区域。优选的，位置信息还包括台标可能出现的区域，通过确定该台标可能出现的区域可以减少不必要的计算，从而提高计算速度。本领域普通技术人员可以理解，在台标模板中也可以没有边缘特征信息，边缘特征包括边缘点梯度方向分布特征和/或边缘点个数分布特征，根据该边缘特征先对视频帧进行过滤，可提高台标识别效率。

通过上面对本发明具体实施方式的描述，可见本发明产生的有益技术效果是：

(1)不需要通过连续的多帧视频信息来进行帧差确定台标在视频中的位置。只需要待检测视频的单帧视频信息。

(2)计算待检测视频帧的边缘点到模板中边缘点的倒角匹配距离，而不是通过计算边缘命中掩码的点数，从而容许了台标较小的变形。

(3)通过边缘特征与形状信息，提高台标检测的准确度；

(4)通过确定台标可能的拐角矩形区域，有效减少了台标检测的位置范围；

(5)通过两次检测，第一次通过边缘特征预先选出台标可能出现的区域，从而减少了形状匹配的次数，加快了速度。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (13)

1.一种电视台标训练方法，包括下列步骤：

1)根据帧差法确定训练视频中台标的外接矩形；

2)对所述台标的外接矩形进行边缘检测，得到台标的边缘点；

3)根据所述台标的边缘点，计算台标的距离变换矩阵D_f。

2.根据权利要求1所述的训练方法，其特征在于，所述步骤2)还包括：

21)将所述台标的外接矩形分割为多个子块；

22)统计所述外接矩形的每个子块中边缘点的个数所服从的正态分布N(μ_i，δ_i)。

3.根据权利要求1所述的训练方法，其特征在于，所述步骤2)还包括：

21)将所述台标的外接矩形分割为多个子块；

23)统计所述外接矩形的每个子块中边缘点的梯度分布直方图。

4.根据权利要求3所述的训练方法，其特征在于，所述步骤2)还包括：

22)统计所述外接矩形的每个子块中边缘点的个数所服从的正态分布N(μ_i，δ_i)。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述步骤1)还包括：

11)根据所述台标的外接矩形确定台标可能会出现的拐角矩形区域。

6.根据权利要求5所述的方法，其特征在于，所述拐角矩形区域占整个视频画面的1/16。

7.根据权利要求1至4任一项所述的方法，其特征在于，

所述步骤3)包括步骤：

31)根据步骤2)的所述台标的边缘点，统计所述训练视频中每个像素位置出现边缘点的次数，所述出现边缘点的次数大于阈值的像素点确定为真正的台标边缘点；

32)根据所述真正的台标边缘点，计算台标的距离变换矩阵D_f。

8.一种基于电视台标特征的电视台标识别方法，其中，所述电视台标特征包括台标的距离变换矩阵D_f，所述识别方法包括下列步骤：

4)对在待检测视频帧中移动的窗口进行边缘检测，得到所述窗口的边缘点；

5)根据所述台标的距离变换矩阵D_f和所述窗口的边缘点，计算待检测视频帧的窗口到所述台标的匹配距离Dist_(E→T)；

6)根据所述Dist_(E→T)识别所述窗口是否含有所述台标。

9.根据权利要求8所述的识别方法，其特征在于，所述步骤5)还包括：

51)根据所述窗口的边缘点，计算模板的距离变化矩阵ED_f；

52)根据所述模板的距离变化矩阵ED_f和所述台标的边缘点，计算所述台标到待检测视频帧的窗口的匹配距离Dist_(T→E)；

所述步骤6)：根据所述Dist_(E→T)和所述Dist_(T→E)识别所述窗口是否含有所述台标。

10.根据权利要求8或9所述的识别方法，其特征在于，所述电视台标特征还包括：所述台标的外接矩形的子块中边缘点的个数所服从的正态分布N(μ_i，δ_i)；

所述步骤4)还包括：

41)将待检测视频帧的窗口分割为多个子块；

42)计算所述窗口的每个子块中边缘点的个数；

43)根据步骤42)中计算所得的个数是否服从所述N(μ_i，δ_i)，对所述待检测视频帧的窗口进行过滤；

所述步骤5)和步骤6)仅对通过所述步骤43)的过滤的窗口进行处理。

11.根据权利要求8或9所述的识别方法，其特征在于，所述电视台标特征还包括：所述台标的外接矩形的子块中边缘点的梯度分布直方图；

所述步骤4)还包括：

41)将待检测视频帧的窗口分割为多个子块；

44)计算所述窗口的每个子块中边缘点梯度方向分布直方图；

45)根据步骤44)中计算所得的直方图与所述台标的外接矩形的子块中边缘点的梯度分布直方图的相似度，对所述待检测视频帧的窗口进行过滤；

所述步骤5)和步骤6)仅对通过所述步骤45)的过滤的窗口进行处理。

12.根据权利要求11所述的识别方法，其特征在于，所述电视台标特征还包括：所述台标的外接矩形的子块中边缘点的个数所服从的正态分布N(μ_i，δ_i)；

所述步骤4)还包括：

42)计算所述窗口的每个子块中边缘点的个数；

43)根据步骤42)中计算所得的个数是否服从所述N(μ_i，δ_i)，对所述待检测视频帧的窗口进行过滤；

所述步骤44)和步骤45)仅对通过所述步骤43)的窗口进行处理。

13.根据权利要求8或9所述的识别方法，其特征在于，所述电视台标特征还包括：所述台标可能会出现的拐角矩形区域；

所述步骤4)中所述窗口只在所述台标可能会出现的所述拐角矩形区域内移动。

Images