CN102625029B - 自适应阈值字幕检测方法 - Google Patents

Abstract

本发明属于视频分析和检索技术领域，公开了一种自适应阈值字幕检测方法，该方法的具体步骤如下：第一，启动自适应阈值字幕检测算法，之后视频帧开始计算；第二，计算出前后帧差，将帧差二值化进行判断字幕是否出现；第三，若有字幕出现，利用各点边缘强度的矩阵和亮度信息对字幕位置进行定位。本发明具有快速、准确、稳定将视频信号中的字幕提取出来方便阅读的效果。

Description

自适应阈值字幕检测方法

技术领域

本发明涉及视频分析和检索技术领域，特别涉及一种自适应阈值字幕检测方法。

背景技术

视频中的字幕与视频影像内容相配合，使得观看的人更容易领会视频的内容。随着低码率视频编码的发展和应用领域逐渐扩大，手机电视等移动视频推广也促进了低码率视频编码应用。为了适应带宽的要求，考虑到视频显示效果的损失，因此编码时若能将观众感兴趣的部分检测出并加以保护，就能实现视频显示效果。其中观众感兴趣的部分中，字幕区域是最重要的。

传统的字幕检测方法有如下4种：(1)用纹理特征逐点或逐块进行分析，这种方法的优点是能够检测出复杂背景下的文字区域，但是计算复杂度大，稳定性也不好。(2)假设字幕是单色的，然后采用颜色聚类或者连通区域等方法，利用图像分割，把字符从背景中分割出来，这种方法的前提不一定成立，因为字幕不一定总是单色的，还有半透明字幕等情况存在。(3)先把图像分成小块，然后用训练好的学习分类器把子块标注为字幕或非字幕，这种虽然方法检测效果好，但是算法复杂而且需要现有样本进行训练。(4)通过寻找垂直边缘来检测字幕，速度较快，但是错误率比较高，而且设置参数多而复杂。

发明内容

鉴于上述问题，本发明的目的在于提供一种快速、准确、稳定将视频信号中的字幕提取出来方便阅读的自适应阈值字幕检测方法。

为实现上述目的，本发明提供的自适应阈值字幕检测方法，该方法的具体步骤如下：

(1)第一，启动自适应阈值字幕检测算法，之后视频帧开始计算；

(2)

第二，计算出前后帧差，将帧差二值化进行判断字幕是否出现；

计算当前帧和前一帧的帧差D_n，帧差起到启动检测的作用，选取基本阈值T_d，基本阈值T_d为最高亮度的1/3；帧差D_n的具体算法如下：设f_n为当前帧，根据字幕的特点可知，f_n出现字幕，则D_n在字幕处会有帧差，字幕出现时的帧差大于基本阈值T_d，比较帧差D_n中每个像素值与T_d大小，比T_d大将该像素值改为255，比T_d小改为0，从而将帧差D_n二值化为0和255；因此，在字幕出现时，字幕处的帧差，会满足如下公式：

|D_n+1-D_n|≈D_n，D_n＞T_d

将D_n进行二值化，将可能的字幕区域的点标记为255，则

$D_n^{\′}(i,j)=\left\{\begin{array}{c}255,|D_{n+1}-D_n|\≈D_n,D_n>T_d\\ 0,\mathrm{else}\end{array}\right.$

其中，为帧差二值化后的结果，按行扫描若一行的可能的字幕区域的点个数大于30，则标记为可能的字幕行，若连续出现10行可能的字幕行，判断为出现字幕，视频帧未结束，则启动字幕位置校验算法，否则，当作没有字幕出现，视频帧未结束。

(3)第三，若有字幕出现，利用各点边缘强度的矩阵和亮度信息对字幕位置进行定位。

字幕位置定位需要使用边缘强度和亮度信息，不同的视频由于各种原因会有不同的亮度和清晰度；比如拍摄的原因或者前处理的原因，这不但会影响亮度的阈值而且会影响边缘强度的阈值；如果使用固定的阈值，阈值设置过高，会产生漏检，过低则会产生误检，因此对不同亮度和清晰度的视频应该使用不同的阈值，需要根据图像自适应计算该阈值；

具体的亮度分量：

其中亮度信息已经存在，帧差和边缘强度需要通过计算得出；若原视频是YUV格式，用一帧的亮度分量减去上一帧的亮度分量，可以得到帧差矩阵；边缘强度矩阵可用sobe1算子。

人工加入的字幕为了便于观众阅读，往往符合一般人的书写阅读习惯，视频字幕的特点总的来说可以从两方面考虑，一是视频字幕的时间相关性，二是视频字幕的空间相关性。

1)视频字幕的时间相关性

由于视频字幕的特殊性，利用视频字幕的时间相关性可以大大降低计算复杂度。为了让人有充分的时间阅读字幕，视频字幕通常在出现之后的连续N帧不再发生变化。通常的视频编码的速度是每秒十几帧到几十帧，假设视频编码速度为f帧/秒(f＞15)，如果视频字幕维持t秒(t＞2)，那么在出现字幕之后的ft帧中，字幕不会发生变化，这时我们只需要判断字幕是否结束或改变，而不需要重新定位其位置。如果判断一帧字幕的复杂度是0，那么平均复杂度就会小于0/30。

2)视频字幕的空间相关性

字幕的空间相关性表现在：①字幕中的文字通常是横向排列；②字幕的长度和高度满足一定的范围，一行字幕中间不会出现较大的断裂，字幕不会顶格；③文字的亮度、色度接近；④文字区域的纹理复杂度接近且纹理复杂度高。根据这些特点，先把可能的文字区域提取出来，再根据形态学方法进行排除，就可以得到真正的文字区域。

视频字幕的检测与图像中字幕的检测的本质区别就是视频字幕的时间相关性，而传统的检测方法由于没有利用这一特性，每一帧视频都进行检测，除了效率低之外，更重要的是字幕检测区域无法保持帧间的稳定性，有时容易误检到背景字幕，因而在对检测的字幕区域进行处理的时候就不能随意增强字幕效果，因为帧间的不稳定性会导致处理的字幕区域在连续播放的时候出现闪烁。而本算法将检测过程分成字幕出现条件判断、字幕定位、字幕结束条件判断这三个部分，这样在检测出字幕区域后就不再对字幕区域重新定位，避免了帧间的不连续性，不会误检到背景中的字幕和其他复杂纹理，也增加了处理的实时性。

由此，与传统算法进行复杂度分析。

本算法充分利用了视频字幕的时间相关性，大大降低了算法的复杂度，算法三个部分的计算复杂度分别为：

A、在字幕出现的判断中只需要计算帧差，并对帧差进行加减运算，对分辨率为MxN的视频，每帧的计算复杂度为MN个加法、MN个减法和2MN次判断，记计算复杂度为C1。

B、在字幕位置定位中，运算量最大的部分是计算边缘强度矩阵，每帧需要5MN个加法，6MN个减法和2MN个移位，计算复杂度为C2；

C、在字幕结束判断阶段，如果采用帧差进行字幕监控，只需要计算字幕区域的帧差，计算复杂度为C3；

假设视频字幕的平均间隔为F1帧，每个字幕保持F2帧不变，则算法总体的计算复杂度C约为：

$C\≈\frac{F1\×C1+C2+F2\×C3}{F1+F2}$

应用上述算法应用到检测结果(如图2和图3所示)可以看出，用已有算法检测字幕因为没有充分利用字幕的时域特性，不但算法复杂，而且检测结果会误检到人工字幕外的其他成分，因而会影响后期对字幕效果的增强，而本算法大大提高了查准率和查全率，具有很强的实用性

在一些实施方式中，步骤三将定位好的字幕在稳定期进行字幕结构条件判断。计算字幕区域帧差或边缘强度帧间变化；字幕显示期间只需计算字幕区域变化，计算量小。

附图说明

图1为本发明的自适应阈值字幕检测方法流程图。

图2为用已有算法得到的处理结果。

图3为用本算法得到的处理结果。

具体实施方式

下面结合附图对发明作进一步详细的说明。

如图1所示，自适应阈值字幕检测方法，该方法的具体步骤如下：

第一，启动自适应阈值字幕检测算法，之后视频帧开始计算。

第二，计算出前后帧差，将帧差二值化进行判断字幕是否出现。

计算当前帧和前一帧的帧差Dn，字幕出现处会有较大帧差，帧差起到启动检测的作用，可以选取基本阈值Td，基本阈值Td为最高亮度的1/3。将帧差Dn二值化，根据行30列10判断是否出现字幕和视频帧是否结束。也就是帧差Dn与基本阈值比较，将帧差Dn二值化为0和255。扫描帧差，若一行中被二值化为255的像素点个数大于30并且连续出现10行，如果后续仍有视频信息输入时，属于出现字幕的情形，如果后续没有视频信息输入属于视频帧结束。软件处理中读取视频会提前知道该视频有多少帧，因为视频头信息中包含了该视频的帧数，很容易定位最后一帧。

具体算法，设f_n为当前帧，D_n为当前帧与前一帧的帧差。根据字幕的特点可知，假如f_n出现字幕，则D_n在字幕处会有较大帧差，设字幕出现时的帧差大于一个基本阈值T_d。由于在本算法中，帧差Dn是起到启动检测的作用，因此，T_d可以选取较低，选取T_d等于最高亮度的1/3。由于f_n+1帧字幕保持不变，其帧差D_n+1在字幕处会突降到趋近于0。选取1/3最高亮度作为基本阈值Td，比较帧差Dn中每个像素值与Td大小，比Td大将该像素值改为255，比Td小改为0，从而将帧差Dn二值化为0和255。因此，在字幕出现时，字幕处的帧差D，会满足如下公式：

|D_n+1-D_n|≈D_n，D_n＞T_d

将D_n进行二值化，将可能的字幕区域的点标记为255，则

$D_n^{\′}(i,j)=\left\{\begin{array}{c}255,|D_{n+1}-D_n|\≈D_n,D_n>T_d\\ 0,\mathrm{else}\end{array}\right.$

其中，为帧差二值化后的结果，按行扫描若一行的可能的字幕区域的点个数大于30，则标记为可能的字幕行，若连续出现10行可能的字幕行，则启动字幕位置校验算法，否则，当作没有字幕出现。

第三，若有字幕出现，利用各点边缘强度的矩阵和亮度信息对字幕位置进行定位。

字幕位置定位需要使用边缘强度和亮度信息，不同的视频由于各种原因会有不同的亮度和清晰度(锐利程度)。比如拍摄的原因或者前处理的原因，这不但会影响亮度的阈值而且会影响边缘强度的阈值。如果使用固定的阈值，阈值设置过高，会产生漏检，过低则会产生误检，因此对不同亮度和清晰度的视频应该使用不同的阈值，需要根据图像自适应计算该阈值。获取各点边缘强度的方法：用本像素点分别减去周围8个像素点的值并求和，如果所得值小于255，则该点边缘强度值为0，否则为255。利用边缘强度矩阵和亮度矩阵定位字幕区域的过程：根据自适应阈值将边缘矩阵和亮度矩阵二值化为0和255，然后用边缘强度矩阵和亮度矩阵进行与运算，运算结果为255的像素点区域被标识为字幕区。

I、字幕定位

首先，根据第一步的结果计算边缘强度阈值T_e和亮度阈值T_l，即自适应阈值，计算过程如下：

1、将亮度的取值范围(1-255，0不考虑)划分成11个区间，前10个区间各包含25个亮度值，最后一个区间包含5个亮度值，对视频中标记为字幕的行进行扫描，选出亮度最大的10％个亮度值取均值，记为l_h。假如l_h落入第i区间且i区间为亮度值大于150的区间，则取亮度阈值T_l为第i-1区间的中值(i-1区间为亮度值低于i区间且相邻的区间)。否则，排除出现字幕的可能，因为字幕区域的亮度不可能过低。

2、边缘强度的阈值是由亮度水平决定的，建立亮度值l_h落入的区间与边缘强度阈值对应表如表1所示。

亮度值lh落入区间	11	10	9	8	7
						边缘强度阈值Te	220	200	180	170	150

表1：亮度值与边缘强度阈值对应表

其次，得到自适应阈值之后，二值化边缘矩阵和亮度矩阵并做与运算得字幕区域，并标记待选点。上述的两个矩阵为0-255。

字幕位置定位过程如下：

把边缘矩阵和亮度矩阵二值化，二值化结果和相与得到字幕区域W_n：

$E_n^{\′}(i,j)=\left\{\begin{array}{c}255,E_n(i,j)>T_e\\ 0,\mathrm{else}\end{array}\right.---\left(5\right)$

$L_n^{\′}(i,j)=\left\{\begin{array}{c}255,L_n(i,j)>T_l\\ 0,\mathrm{else}\end{array}\right.---\left(6\right)$

标记为255的点为待选字幕点。

接着，将得到的矩阵进行形态学膨胀。对每个点进行判断，如果该点不是待选字幕点，但是临近的点有2个以上待选字幕点，则该点标记为待选字幕点。

225值是待选点，扫描每个点。如果该点不是待选点但临近点有2个以上待选点，则比较为待选点。

最后，分别扫描标记文字行列，把重叠区标记分为文字块，并且以宏块为单位补齐文字区。

按行列扫描字幕矩阵，若一行255的点个数大于30则标记为字幕行。若一列255点个数大于10则标记为字幕列，选取行列重叠区为文字块，将间距不超过10的文字块拼接成完整文字块，否则取消两侧标志。字幕检测结果是以宏块为单位显示。

W_n(i，j)中标记为255的点为字幕点，按行扫描W_n(i，j)，若一行的字幕区域的点个数大于30，则标记为字幕行。得到文字行后，文字块的确定就是在已得到的文字行中确定文字区域的起始和结束。在这个过程中可以进一步排除文字行的误判，并通过形态学的膨胀补充漏检的文字部分，文字块扫描过程如下：(由于实验是基于CIF图像，其他分辨率的检测阈值可以按比例增大或减小)

(1)对文字行组成的区域进行垂直扫描，若一列的字幕区域点个数大于10则标记为文字列；

(2)文字行与文字列重叠的区域标记为文字块区域；

(3)利用形态学膨胀的方法，将间距不超过10个像素的文字块拼接起来，得到较完整的文字块；若存在超过10个像素的间距，则取消两侧文字块标记；

(4)将检测的结果以宏块为单位补齐，检测结果按照宏块显示，因为检测的结果是为了更好的编码文字区域，而编码的单位是宏块。

II、字幕定位好后，在稳定期进行字幕结构条件判断。

计算字幕区域帧差或边缘强度帧间变化。计算字幕区域帧差和边缘强度帧间变化目的是为了进行平均帧差比较和边缘强度均值变化比较，通过这个比较来确定字幕是否消失。在字幕稳定期间，不需要计算整帧帧差，只需要对已定位的字幕区进行帧差运算和边缘强度变化运算，这样提高了算法效率。字幕显示期间只需计算字幕区域变化，计算量小。

平均帧差是否小于是1/10亮度幅值或边缘强度均值变化小于1/5原边缘强度。字幕未消失前帧差或边缘强度变化很小，当平均帧差小于1/10亮度幅值或者边缘强度均值变化小于1/5原边缘强度，认为文字没变化。

如前所述，出现字幕之后的ft帧中，字幕不会发生变化，这时只需要判断字幕是否结束或改变，而不需要重新定位其位置。由于已经定位出字幕的位置，根据统计在一个字幕结束之前，不会产生新的字幕，因此，只需要对字幕区域进行监控，可以用如下两种方法：

1)计算字幕区域的帧差。

当平均帧差小于1/10亮度幅值，认为文字没有变化。

2)计算字幕区域的边缘强度的帧间变化。

如果边缘强度均值变化小于1/5原边缘强度，则认为文字没有变化。

关于亮度分量，其中亮度信息已经存在，帧差和边缘强度需要通过计算得出。若原视频是YUV格式，用一帧的亮度分量减去上一帧的亮度分量，可以得到帧差矩阵。边缘强度矩阵可用sobe1算子，sobe1算子的优点是计算较为简便，实时性好。(1)和(2)式所示的两个卷积核形成了sobe1边缘算子，卷积核(1)用来计算水平边缘的强度，卷积核(2)用来计算垂直边缘的强度。

$\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]---\left(1\right)$

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]---\left(2\right)$

用图像f中的每一个像素点分别与上面两个核做卷积运算就可以产生相应的边缘矢量定义点(i，j)处的边缘强度为E_i，j＝|ex_i，j|+|ey_i，j|。

实验结果及分析，用C语言做了仿真，并进行了大量的实际测试，测试使用的视频的分辨率为352x288，实验结果如下：

字幕总数	正确检测的字幕	误判的字幕	未检测到的字幕
				791	776	27	15

表2：算法字幕检测实验结果

如图2和图3所示，是利用本算法得到的字幕检测结果实例与传统算法的对比。

从检测结果可以看出，用已有算法检测字幕因为没有充分利用字幕的时域特性，不但算法复杂，而且检测结果会误检到人工字幕外的其他成分，因而会影响后期对字幕效果的增强，而本算法大大提高了查准率和查全率，具有很强的实用性。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于发明的保护范围。

Claims (2)

1.自适应阈值字幕检测方法，其特征在于，该方法的具体步骤如下：

第一，启动自适应阈值字幕检测算法，之后视频帧开始计算；

第二，计算出前后帧差，将帧差二值化进行判断字幕是否出现；

计算当前帧和前一帧的帧差D_n，帧差起到启动检测的作用，选取基本阈值T_d，基本阈值T_d为最高亮度的1/3；帧差D_n的具体算法如下：设f_n为当前帧，根据字幕的特点可知，f_n出现字幕，则D_n在字幕处会有帧差，字幕出现时的帧差大于基本阈值T_d，比较帧差D_n中每个像素值与T_d大小，比T_d大将该像素值改为255，比T_d小改为0，从而将帧差D_n二值化为0和255；因此，在字幕出现时，字幕处的帧差，会满足如下公式：

|D_n+1-D_n|≈D_n，D_n＞T_d

将D_n进行二值化，将可能的字幕区域的点标记为255，则

$D_n^{\′}(i,j)=\left\{\begin{array}{c}255,|D_{n+1}-D_n|\≈D_n,D_n>T_d\\ 0,\mathrm{else}\end{array}\right.$

其中，为帧差二值化后的结果，按行扫描若一行的可能的字幕区域的点个数大于30，则标记为可能的字幕行，若连续出现10行可能的字幕行，判断为出现字幕，视频帧未结束，则启动字幕位置校验算法，否则，当作没有字幕出现，视频帧未结束；

第三，若有字幕出现，利用各点边缘强度的矩阵和亮度信息对字幕位置进行定位；

字幕位置定位需要使用边缘强度和亮度信息，不同的视频由于各种原因会有不同的亮度和清晰度；拍摄的原因或者前处理的原因，这不但会影响亮度的阈值而且会影响边缘强度的阈值；如果使用固定的阈值，阈值设置过高，会产生漏检，过低则会产生误检，因此对不同亮度和清晰度的视频应该使用不同的阈值，需要根据图像自适应计算该阈值。

2.根据权利要求1所述的自适应阈值字幕检测方法，其特征在于，所述步骤三将定位好的字幕在稳定期进行字幕结构条件判断；

计算字幕区域帧差或边缘强度帧间变化；字幕显示期间只需计算字幕区域变化，计算量小。