CN103870795A - 一种视频游动字幕的自动检测方法和装置 - Google Patents

Abstract

本发明实施例公开了一种视频游动字幕的自动检测方法和装置，属于图像处理领域。方法包括：对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点；对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态；根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置；根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。本发明充分结合了游动字幕的特点，将得到的备选位置进行模型验证，从而标记视频中的游动字幕，降低了视频中运动区域的非字幕运动区域的影像，使字幕区域的准确率大大提高，进而方便对视频中的字幕进行提取。

Description

一种视频游动字幕的自动检测方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种视频游动字幕的自动检测方法和装置。 

背景技术

近年来，随着电视及视频媒体的飞速发展，电视及视频媒体中经常出现横向或纵向移动的游动字幕，其作为视频媒体中的文字广告及通告广泛出现在了电视及视频媒体中。而通过人工对其进行监控，工作强度，效率低，由此，如何实现视频游动字幕的自动检测具有十分重要的研究和应用价值。 

现有的游动字幕检测方法包括：独立视频帧检测和连续视频帧检测这两类方法。 

独立视频帧检测为将游动字幕归到一般的字幕检测框架中，通过将视频帧进行特征提取、特征分类、候选字幕区域提取、字幕区域验证等逻辑过程，这些方法虽然可以对视频中的字幕进行检测，但是却不能有效的反映出游动字幕的运动情况，故误检率较高。 

连续视频帧检测为设定游动字幕区域有单一的背景色，通过检测背景边缘线的方法来检测游动字幕区域，其算法的复杂度低、速度快，但是不能检测背景不单一或者上下边界不明显的字幕，考虑不到字幕的文字特征，得到的字幕准确率不高。 

发明内容

本发明的实施例提供了一种视频游动字幕的自动检测方法和装置，解决电视及视频媒体中的游动字幕的自动检测问题，进而对视频中的字幕进行提取。 

为达到上述目的，采用如下技术方案： 

本发明公开了一种视频游动字幕的自动检测方法，包括如下步骤： 

对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点； 

对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态； 

根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置； 

根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。 

优选的，所述视频帧中的敏感区域为视频帧的顶部或底部区域。 

优选的，所述对视频帧中的敏感区域进行强角点检测时，计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像素点作为特征点。 

优选的，所述对各特征点进行光流法跟踪时，以图像金字塔的形式采用Lucas–Kanade光流法检测各特征点在不同尺度上运动的瞬时速度。 

优选的，所述根据各特征点的运动状态剔除噪声点时，计算各特征点的运动方向和距离，剔除掉非水平或者垂直移动的特征点。 

优选的，所述将字幕粗定位至备选位置时，将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置。 

优选的，所述既定的文字图像模型根据图像纹理的HOG特征，采用SVM分类器预先训练得到。 

优选的，所述根据既定的文字图像模型对备选位置进行验证时，在敏感区域的滑动窗口中选取备选位置的各子区域，提取子区域中图像纹理在梯度方向上的HOG特征，并基于既定的文字图像模型验证所述滑动窗口中是否含有文字。 

优选的，所述方法还包括：当检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕开始；未检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕结束。 

本发明还公开了一种视频游动字幕的自动检测装置，包括如下模块： 

检测模块，用于对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点； 

跟踪模块，用于对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态； 

滤噪模块，用于根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置； 

验证模块，用于根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。 

优选的，所述视频帧中的敏感区域为视频帧的顶部或底部区域。 

优选的，所述检测模块计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像素点作为特征点。 

优选的，所述跟踪模块以图像金字塔的形式采用Lucas–Kanade光流法检测各特征点在不同尺度上运动的瞬时速度。 

优选的，所述滤噪模块计算各特征点的运动方向和距离，剔除掉非水平或者垂直移动的特征点。 

优选的，所述滤噪模块将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置。 

优选的，所述既定的文字图像模型根据图像纹理的HOG特征，采用SVM分类器预先训练得到。 

优选的，所述验证模块在敏感区域的滑动窗口中选取备选位置的各子区域，提取子区域中图像纹理在梯度方向上的HOG特征，并基于既定的文字图像模型验证所述滑动窗口中是否含有文字。 

优选的，所述装置还包括：检测模块，用于当检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕开始；未检测 到连续既定数量的含有游动字幕的视频帧出现时，游动字幕结束。 

本发明实施例提供的一种视频游动字幕的自动检测方法和装置，充分结合了游动字幕的特点，通过对各视频帧中的敏感区域进行强角点检测和跟踪，结合了字幕的文字特征将得到的备选位置进行模型验证，从而标记视频中的游动字幕，降低了视频中运动区域的非字幕运动区域的影像，使字幕区域的准确率大大提高，进而方便对视频中的字幕进行提取。 

附图说明

图1为本发明实施例一提供的一种视频游动字幕的自动检测方法的流程图； 

图2a、图2b、图2c、图2d、图2e和图2f分别为在本发明实施例一中截取的第93、94、95、96、99、150帧的角点检测、跟踪和粗定位的效果图； 

图3a、图3b、图3c和图3d分别为在本发明实施例一中截取的第95、96、99、150帧图像帧的文字验证效果图； 

图4为本发明实施例二提供的一种视频游动字幕的自动检测装置的模块结构图。 

具体实施方式

下面结合附图对本发明实施例一种视频游动字幕的自动检测方法和装置进行详细描述。 

本专利设计了一个基于特征点跟踪与文字验证的视频游动字幕的自动检测方法。由于视频节目中的游动字幕一般出现在视频画面的底部或者顶部的特点，设定视频顶部或底部为感兴趣区域。针对已经设定的感兴趣区域，首先进行强角点检测，得到视频帧中的图像边缘的曲率极大值的点，然后对这些点进行Lucas–Kanade光流法跟踪，得到这些点在视频流节目中的运动方向和大小，根据得到的点的运动方法和大小，剔除掉不符合 游动字幕运动方向特点的点，粗定位到可能的游动字幕位置。再用支持向量机(SVM)训练出来的文字图像模型进行验证，若定位到的字幕区域有文字，则判断为游动字幕帧。 

本发明公开了一种视频游动字幕的自动检测方法，如图1所示，包括如下步骤： 

步骤101：对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点； 

将视频中的各个视频帧分别进行处理，从各视频帧中检测出游动字幕。一般来说，为了避免影响用户观看视频，游动字幕往往被设置在屏幕的上方或底边，因此，本实施例中，将视频帧中的顶部或底部区域作为视频帧中的敏感区域进行强角点检测。由于角点通常是图像亮度发生剧烈变化或图像边缘曲线上曲率的极大值的特征点，在视频帧中的字幕文字的边缘往往存在很多这样的特征点，对敏感区域进行强角点检测，求出这些特征点即可快递定位到敏感区域中可能的字幕位置，并以特征点为标识对字幕进一步进行跟踪。 

目前的角点检测算法主要包括基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测三大类。 

基于灰度图像的角点检测又可分为基于梯度、基于模板和基于模板梯度的方法，其中，基于模板的方法主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮度对比足够大的点定义为角点。常见的基于模板的角点检测算法有Moravec角点检测算法、harris角点检测算法、FAST角点检测算法等。考虑到游动字幕的特点，本 实施例采用Shi和Tomasi提出的易于跟踪的强角点的检测算法。 

Shi和Tomasi的强角点检测算法衍生于harris算法，harris算法的基本原理是：取以目标像素点为中心的一个小窗口，如果沿任何方向上，移动这个小窗口，窗口内图像的灰度都发生了较大的变化，则认为窗口内遇到了角点。 

假设对于图像I(x,y)，将图像窗口w(x,y)平移[u,v]后产生的灰度变化E(u,v)如下： 

$E(u,v)=\underset{x,y}{\mathrm{\Σ}}w(x,y){[I(x+u,y+v)-I(x,y)]}^2$

根据泰勒展开，I(x+u,y+v)＝I(x,y)+I_xu+I_yv+o(u²,v²)，得： 

$E(u,v)=\underset{x,y}{\mathrm{\Σ}}w(x,y){[I_{x}u+I_{y}v+o(u^2,v^2)]}^2$

$\≈\underset{x,y}{\mathrm{\Σ}}w(x,y){\left\{\right[I_x,I_y\left]\left[\begin{array}{c}u\\ v\end{array}\right]\right\}}^2$

$=[u,v]\underset{w(x,y)}{\mathrm{\Σ}}\left[\begin{array}{c}{I}_x,I_x{I}_x\\ I_x{I}_x,I_y\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]$

$=[u,v]M(x,y)\left[\begin{array}{c}u\\ v\end{array}\right]$

Harris证明，当M(x,y)的特征值λ₁和λ₂都很大，且数值相当时，E(u,v)最大，即图像窗口在所有方向移动时存在明显变化。若两个特征值中较小的一个大于最小阈值，则会得到强角点。 

由于本实施例中，将视频帧的顶部或底部区域作为视频帧中的敏感区域，对视频帧中的敏感区域进行强角点检测时，计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像 素点作为特征点。 

采用Shi和Tomasi提出的强角点检测算法，首先计算图像的二阶导数，再计算特征值，最后得到易于跟踪的一系列特征点，其基本步骤如下： 

1)采用sobel算子计算图像I(x,y)在X和Y方向的梯度I_x、I_y； 

2)计算图像的两个方向的梯度的乘积； 

$I_X^2=I_X\×I_X,$ $I_Y^2=I_Y\×I_Y,$ $I_{\mathrm{XY}}=I_X\×I_Y$

3)对

I_xy、

进行高斯变换，生成矩阵的M； 

$A=I_x^2\⊗g,$ $B=I_{\mathrm{xy}}\⊗g,$ $C=I_y^2\⊗g$

$M=\left[\begin{array}{c}A,B\\ B,C\end{array}\right]$

4)求解M的特征值λ₁和λ₂。对于判断该目标像素点是否为特征点，主要依据是判断λ₁和λ₂是否为极大值点，用既定的角点阈值进行控制，即λ₁和λ₂的最小值是否大于角点阈值，若大于角点阈值，则该目标像素点即为特征点。 

步骤102：对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态； 

步骤101得到敏感区域中的强角点后，就需要对这些强角点在视频流中的运动进行光流法跟踪。本申请采用Lucas-Kanade算法对各特征点进行跟踪，光流是空间运动物体在观测成像面上的像素运动的瞬时速度。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。 

在较大的尺度空间上进行跟踪时，通过图像金字塔向由顶层下对细节丰富的低层进行搜索，可以捕获较大的运行特征。 

本实施例通过Lucas-Kanade光流法在图像金字塔上的跟踪，得到一系列跟踪到的特征点对，从而表示各特征点在视频流中的运动状态。 

步骤103：根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置； 

得到跟踪到的一系列特征点对后，计算各点对的运动方法和移动距离，游动字幕出于信息提示的目的，往往按特定方向运动的(主要是平行移动或者垂直移动两种)，所以，剔除掉非水平或者垂直移动的特征点后，若保留下的平行或者垂直特征点的数量大于一定量，即判断可能存在游动字幕区域。将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置，即为可能的游动字幕区域位置。 

本实施例中，图2a至图2f分别为截取的一段视频的第93、94、95、96、99、150帧图像。其中，黑点和亮点为对各图像帧中进行强角点检测得到的强角点，亮点是筛选得到的符合游动字幕的运动特征的点，矩形框为各亮点外接矩形形成的备选位置，即为可能的游动字幕区域位置。从图中可以看出，亮点不断的向图像帧的左侧运动，而暗点相对来说无明显方向的运动特征，则不断记录各亮点在每个图像帧出现的位置，得到所述粗定位的备选位置。 

步骤104：根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。 

本实施例中，既定的文字图像模型根据图像纹理的HOG特征，采用SVM分类器预先训练得到。 

采集一定数量的视频帧中文字图像作为正样本，视频帧中其他图像作为负样本，提取各图像中纹理的HOG特征，采用SVM分类器对各图像进行训练，得到优化的判决函数。对于支持向量机SVM的训练，本实施例中，利用开源的LIBSVM进行训练，得到既定的文字图像模型。 

根据既定的文字图像模型对备选位置进行验证时，在敏感区域的滑动窗口中选取备选位置的各子区域，提取子区域中图像纹 理在梯度方向上的HOG特征，并基于既定的文字图像模型验证所述滑动窗口中是否含有文字；若模型中文字的分值较高，则表明备选区域中检测到连续排列的文字，则认为该区域是游动字幕存在的区域。 

本实施例中，图3a至图3d为第95、96、99、150帧中可疑字幕运动区域的文字验证结果。其中，矩形框为检测到的游动字幕存在的区域。 

当检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕开始；未检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕结束，在游动字幕开始和游动字幕结束之间的视频帧即为游动字幕所在视频帧，在这些视频帧中进行标记，并可以从这些视频帧中的备选位置采用OCR等方式提取游动字幕。 

本发明还公开了一种视频游动字幕的自动检测装置，包括如下模块： 

检测模块，用于对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点； 

跟踪模块，用于对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态； 

滤噪模块，用于根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置； 

验证模块，用于根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。 

优选的，所述视频帧中的敏感区域为视频帧的顶部或底部区域。 

优选的，所述检测模块计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像素点作为特征点。 

优选的，所述跟踪模块以图像金字塔的形式采用Lucas–Kanade光流法检测各特征点在不同尺度上运动的瞬时 速度。 

优选的，所述滤噪模块计算各特征点的运动方向和距离，剔除掉非水平或者垂直移动的特征点。 

优选的，所述滤噪模块将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置。 

优选的，所述既定的文字图像模型根据图像纹理的HOG特征，采用SVM分类器预先训练得到。 

优选的，所述验证模块在敏感区域的滑动窗口中选取备选位置的各子区域，提取子区域中图像纹理在梯度方向上的HOG特征，并基于既定的文字图像模型验证所述滑动窗口中是否含有文字。 

优选的，所述装置还包括：检测模块，用于当检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕开始；未检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕结束。 

本发明实施例提供的一种视频游动字幕的自动检测方法和装置，充分结合了游动字幕的特点，通过对各视频帧中的敏感区域进行强角点检测和跟踪，结合了字幕的文字特征将得到的备选位置进行模型验证，从而标记视频中的游动字幕，降低了视频中运动区域的非字幕运动区域的影像，使字幕区域的准确率大大提高，进而方便对视频中的字幕进行提取。 

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。 

Claims (18)

1.一种视频游动字幕的自动检测方法，其特征在于，包括如下步骤：

对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点；

对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态；

根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置；

根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。

2.根据权利要求1所述的方法，其特征在于：所述视频帧中的敏感区域为视频帧的顶部或底部区域。

3.根据权利要求1或2所述的方法，其特征在于：所述对视频帧中的敏感区域进行强角点检测时，计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像素点作为特征点。

4.根据权利要求1所述的方法，其特征在于：所述对各特征点进行光流法跟踪时，以图像金字塔的形式采用Lucas–Kanade光流法检测各特征点在不同尺度上运动的瞬时速度。

5.根据权利要求1所述的方法，其特征在于：所述根据各特征点的运动状态剔除噪声点时，计算各特征点的运动方向和距离，剔除掉非水平或者垂直移动的特征点。

6.根据权利要求5所述的方法，其特征在于：所述将字幕粗定位至备选位置时，将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置。

7.根据权利要求1所述的方法，其特征在于：所述既定的文字图像模型根据图像纹理的HOG特征，采用SVM分类器预先训练得到。

8.根据权利要求7所述的方法，其特征在于：所述根据既定的文字图像模型对备选位置进行验证时，在敏感区域的滑动窗口中选取备选位置的各子区域，提取子区域中图像纹理在梯度方向上的HOG特征，并基于既定的文字图像模型验证所述滑动窗口中是否含有文字。

9.根据权利要求1所述的方法，其特征在于，方法还包括：当检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕开始；未检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕结束。

10.一种视频游动字幕的自动检测装置，其特征在于，包括如下模块：

检测模块，用于对视频帧中的敏感区域进行强角点检测，得到视频帧中图像边缘上曲率极大值的特征点；

跟踪模块，用于对各特征点进行光流法跟踪，得到各特征点在视频流中的运动状态；

滤噪模块，用于根据各特征点的运动状态剔除噪声点，根据余下的特征点对应的区域将字幕粗定位至备选位置；

验证模块，用于根据既定的文字图像模型对备选位置进行验证，若得到备选位置中存在连续文字，则标记所述视频帧含有游动字幕。

11.根据权利要求10所述的装置，其特征在于：所述视频帧中的敏感区域为视频帧的顶部或底部区域。

12.根据权利要求10或11所述的装置，其特征在于：所述检测模块计算敏感区域中各像素点在两方向上的梯度，根据所述梯度计算各像素点的两特征值，如果其中的最小值大于角点阈值，则将对应的像素点作为特征点。

13.根据权利要求10所述的装置，其特征在于：所述跟踪模块以图像金字塔的形式采用Lucas–Kanade光流法检测各特征点在不同尺度上运动的瞬时速度。

14.根据权利要求10所述的装置，其特征在于：所述滤噪模块计算各特征点的运动方向和距离，剔除掉非水平或者垂直移动的特征点。

15.根据权利要求14所述的装置，其特征在于：所述滤噪模块将余下的特征点所在区域对应的外接矩形作为游动字幕的备选位置。

16.根据权利要求10所述的装置，其特征在于：所述既定的文字图像模型根据图像纹理的HOG特征，采用SVM分类器预先训练得到。

17.根据权利要求16所述的装置，其特征在于：所述验证模块在敏感区域的滑动窗口中选取备选位置的各子区域，提取子区域中图像纹理在梯度方向上的HOG特征，并基于既定的文字图像模型验证所述滑动窗口中是否含有文字。

18.根据权利要求10所述的装置，其特征在于，装置还包括：检测模块，用于当检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕开始；未检测到连续既定数量的含有游动字幕的视频帧出现时，游动字幕结束。

Images