CN102497492B

CN102497492B - 屏幕中字幕运动的检测方法

Info

Publication number: CN102497492B
Application number: CN201110397351.7A
Authority: CN
Inventors: 刘强; 刘成强
Original assignee: Sichuan Hongwei Technology Co Ltd
Current assignee: Sichuan Hongwei Technology Co Ltd
Priority date: 2011-12-05
Filing date: 2011-12-05
Publication date: 2014-08-06
Anticipated expiration: 2031-12-05
Also published as: CN102497492A

Abstract

本发明涉及屏幕中字幕运动的检测方法。包括步骤：a.通过输入的连续四场隔行信号判断当前像素是否为字幕点；b.计算相邻像素点的序列差的绝对和，所述绝对和值与对应像素点静止的可能性成正比，由此判断相邻的奇场或偶场中同极性场的对应点的灰度分布；c.根据两个像素块对应像素的灰度差和设置的阈值，得到灰度变化趋势的度量值，该量度值的大小与相邻两场的当前像素点的变化成正比；d.将绝对和值与量度值分别与所述两个门限值比较判断字幕点的运动状态。本发明的方法能够对图像画面中的字幕运动状态进行准确的判断，消除去隔行后出现的字幕抖动和字体不完整现象，明显的提高了图像中字幕的清晰度，提高了视觉体验。

Description

屏幕中字幕运动的检测方法

技术领域

本发明涉及屏幕中字幕运动的检测方法，具体的讲是在去隔行技术中对字幕运动的检测方法。

背景技术

由于受到传输带宽的限制，电视台发送的电视信号都不是完整的图像，而是按照先传奇数行再传偶数行的规律发送，这样的信号就是隔行视频信号。但是随着数字信号处理技术的不断发展和宽屏幕平板电视的出现，人们对电视显示质量的要求越来越高，电视台发送的隔行信号存在的屏闪、锯齿等严重问题已经不能让观众满意。因此去隔行技术正是为了解决落后的隔行视频信号和消费者日益提高的视觉要求而产生的。

去隔行技术根据所用滤波器的种类不同分为线性算法、非线性算法、运动补偿算法和运动自适应算法。其中运动自适应算法根据运动检测得到的运动参数来选择场内插值或场间复制，是目前大多消费产品选择的去隔行方案。但是运动自适应的检测方式的其精度受多方面影响，比如视频图像中的噪声水平，图像的明暗程度等。一般的图像内容中当运动检测出错时，去隔行采用场内插值也可以基本满足观众的视觉要求。但是很多的视频序列中还有字幕，比如即时新闻，人物对话等，如果字幕的运动状态检测错误，把本应该静止的字幕检测为运动，那么字幕的边缘就会出现闪烁。相反，如果把本来为运动的字幕点检测为静止，通过场间复制的方式进行去隔行，最后会使字幕出现断点或其他结构性损失，让字体看起来不完整，影响观看质量。

传统的运动检测方法没有特别区分字幕区域和背景区域，把字幕当成普通的图像内容进行运动检测，没有考虑字幕本身的特性，所以去隔行后常常出现字幕抖动和字体不完整的现象。

发明内容

针对上述的问题，本发明提供了一种屏幕中字幕运动的检测方法，能够对图像画面中的字幕运动状态进行准确的判断，消除去隔行后出现的字幕抖动和字体不完整现象。

本发明的屏幕中字幕运动的检测方法是基于字幕与图像背景在亮度上存在的明显差异，并且在相邻连续的视频画面中字幕与背景之间的相对关系变化不大的原理。包括步骤：

a.遍历整幅图像，获得当前遍历的去隔行像素点的坐标，通过输入的连续四场隔行信号判断当前像素是否为字幕点，如果为字幕点向下执行，否则按普通运动检测执行；所述的连续四场隔行信号分别为：当前场F_n，当前场的前两场F_n-2，当前场的前一场F_n-1和当前场的后一场F_n+1；

b.判断相邻的奇场或偶场中，同极性场的对应点在3×3像素块中的灰度分布：在3×3的像素块中计算当前像素点与每个邻域像素点的差值，根据每个所述差值的不同范围分布，对每个邻域点赋一个标识数值，将所述的各标识数值与所述连续四场中同极性场的对应点的数值标识相减得到相邻像素点的序列差，将所述序列差进行绝对和计算，所述绝对和值与对应像素点静止的可能性成正比；

c.判断像素灰度变化趋势：根据两个3×3像素块对应像素的灰度差和设置的阈值，得到灰度变化趋势的度量值，该度量值的大小与相邻两场的当前像素点的变化成正比；

d.判断字幕点的运动状态：设置两个门限值，将步骤b中的到的绝对和值与步骤c中得到的度量值分别与所述两个门限值比较，如果所述绝对和值和度量值都比两个门限值小，则当前像素点为静止像素；绝对和值和度量值之一比所述任一门限值大，则当前像素点为运动像素。

具体的，在步骤a中当满足以下条件之一时，判断当前像素为字幕：

a1.|F_n(i,j)-F_n-2(i,j)|<capsameth1，且

|F_n(i,j+2)-F_n-2(i,j+2)|<capsameth1，且

|F_n(i,j)-F_n-2(i,j+2)|>capdiffth1；

a2.|F_n+1(i,j)-F_n-1(i,j)|<capsameth1，且

|F_n+1(i,j+2)-F_n-1(i,j+2)|<capsameth1，且

|F_n-1(i,j)-F_n-1(i,j+2)|>capdiffth1；

a3.|F_n(i,j)-F_n-2(i,j)|<capsameth2，且

|F_n+1(i,j)-F_n-1(i,j)|<capsameth2，且

|F_n(i,j)-F_n-1(i,j)|>capdiffth2；

其中(i,j)为当前像素点的坐标，capdiffth1、capdiffth2、capsameth1和capsameth2为设定的门限值。其中可选的，门限capdiffth1范围是：0～32，门限capdiffth2范围是：0～32，门限capsameth1范围是：0～256，门限capsameth2范围是：0～256。

进一步的，用步骤b中得到的绝对和替代步骤b中所述同极性场中对应像素点的值。

可选的，步骤c中所述的阈值范围是：10～30。步骤d中所述的两个门限值都可以为1～3的整数值。

本发明的一种屏幕中字幕运动的检测方法，能够对图像画面中的字幕运动状态进行准确的判断，消除去隔行后出现的字幕抖动和字体不完整现象，明显的提高了图像中字幕的清晰度，提高了视觉体验。

以下结合由附图所示实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

附图说明

图1是本发明屏幕中字幕运动的检测方法的流程图。

具体实施方式

如图1所示本发明屏幕中字幕运动的检测方法，包括步骤：

a.遍历整幅图像，获得当前遍历的去隔行像素点的坐标（i，j），通过输入的连续四场隔行信号判断当前像素是否为字幕点，如果为字幕点向下执行，否则按普通运动检测执行；所述的连续四场隔行信号分别为：当前场F_n，当前场的前两场F_n-2，当前场的前一场F_n-1和当前场的后一场F_n+1，也可以取其它位置关系的连续相邻场，其后步骤可根据本实施例采用本领域技术人员可理解的相关方法执行；判断当前像素是否为字幕点的方法为，当满足以下条件之一时，判断当前像素为字幕：

a1.|F_n(i,j)-F_n-2(i,j)|<capsameth1，且

|F_n(i,j+2)-F_n-2(i,j+2)|<capsameth1，且

|F_n(i,j)-F_n-2(i,j+2)|>capdiffth1；

a2.|F_n+1(i,j)-F_n-1(i,j)|<capsameth1，且

|F_n+1(i,j+2)-F_n-1(i,j+2)|<capsameth1，且

|F_n-1(i,j)-F_n-1(i,j+2)|>capdiffth1；

a3.|F_n(i,j)-F_n-2(i,j)|<capsameth2，且

|F_n+1(i,j)-F_n-1(i,j)|<capsameth2，且

|F_n(i,j)-F_n-1(i,j)|>capdiffth2；

其中capdiffth1、capdiffth2、capsameth1和capsameth2为设定的门限值，分别为：capdiffth1范围是：0～32，capdiffth2范围是：0～32，capsameth1范围是：0～256，capsameth2范围是：0～256。

在字幕判断的基础上，结合字幕本身的特性，再通过像素灰度分布趋势判断和像素灰度变化趋势判断步骤来判断字幕的运动情况。

b.从相邻的同极性（奇场或偶场）的两个隔行场中取出的含字幕的3×3的采样块，块中的数值表示字幕像素点和背景像素点的灰度。判断相邻的奇场或偶场中，同极性场的对应点在3×3像素块中的灰度分布：首先根据去隔行的当前点与邻域的8个像素点的灰度值的关系产生一个8位的序列，计算在3×3的像素块中当前像素点与每个邻域像素点的差值：

Diff[1]=frame[2][i×width＋j]－frame[2][(i－1)×width＋j－1]

Diff[2]=frame[2][i×width＋j]－frame[2][(i－1)×width＋j]

Diff[3]=frame[2][i×width＋j]－frame[2][(i－1)×width＋j＋1]

Diff[4]=frame[2][i×width＋j]－frame[2][i×width＋j－1]

Diff[5]=frame[2][i×width＋j]－frame[2][i×width＋j＋1]

Diff[6]=frame[2][i×width＋j]－frame[2][(i＋1)×width＋j－1]

Diff[7]=frame[2][i×width＋j]－frame[2][(i＋1)×width＋j]

Diff[8]=frame[2][i×width＋j]－frame[2][(i＋1)×width＋j＋1]

其中Diff表示计算的差值，frame表示输入的图像，width表示输入图像的宽度。

根据每个所述差值的不同范围分布，对每个邻域点赋一个标识数值Grad，如果差值Diff的绝对值＜门限th1，标识数值Grad[n]=0，否则标识数值Grad[n]=1，其中n为领域像素点的标号1～8，门限th1的范围是10～30。

将得到的各标识值Grad与所述连续四场中同极性场的对应点的数值标识相减得到相邻像素点的序列差d0～d7，将所述序列差d0～d7进行绝对和计算：

d_sum=fabs(d0)+fabs(d1)+fabs(d2)+fabs(d3)+fabs(d4)+fabs(d5)+fabs(d6)+fabs(d7)；

标记dh为相邻同极性场对应点的标识值Grad的差，dh的计算根据当前场的极性选择与之对应的odd或even所存的标识数值序列进行减法：

dh=odd_Grads[i×width+j][h]－Grad[h];

或者dh=even_Grads[i×width+j][h]－Grad[h]；h=1、2、…8

fabs为求绝对值，odd_Grads表示奇场，even_Grads表示偶场。

当绝对和d_sum计算完成后，用求得的绝对和d_sum代替原来奇场odd_Grads或偶场even_Grads中相应位置的值。

绝对和d_sum的值越小，说明当前像素点与前面同极性场对应像素点的差异越小，像素点静止的可能性就越大；反之，像素点运动的可能性越大；

c.判断像素灰度变化趋势：首先计算步骤b中两个3×3像素块对应像素灰度的差：

t0=frame[2][i×width+j]－frame[0][i×width+j];

t1=frame[2][(i－1)×width+j－1]－frame[0][(i－1)×width+j－1];

t2=frame[2][(i－1)×width+j]－frame[0][(i－1)×width+j];

t3=frame[2][(i－1)×width+j+1]－frame[0][(i－1)×width+j+1];

t4=frame[2][i×width+j－1]－frame[0][i×width+j－1];

t5=frame[2][i×width+j+1]－frame[0][i×width+j+1];

t6=frame[2][(i+1)×width+j－1]－frame[0][(i+1)×width+j－1];

t7=frame[2][(i+1)×width+j]－frame[0][(i+1)×width+j];

t8=frame[2][(i+1)×width+j+1]－frame[0][(I+1)×width+j+1];

然后计算灰度差t1～t8与灰度差t0的差的绝对值，并分别将所述差的绝对值与门限th2的大小进行比较，门限th2的范围是10～30。设置灰度差t1～t8中与灰度差t0差的绝对值大于门限th2的个数t_sum变量，如果比较的当前差的绝对值大于门限th2，那么变量t_sum+1，否则变量t_sum保持不变。最后得到的变量t_sum值就为灰度变化趋势的一个度量，其值越大说明相邻两场的当前像素点的变化也越大，其值越小说明相邻两场的当前像素点的变化也越小；

d.判断字幕点的运动状态：设置两个门限值，两个门限值都可以为1～3的整数值。将步骤b中的到的绝对和d_sum的值与步骤c中得到的变量t_sum的值分别与所述两个门限值比较，如果所述绝对和d_sum的值和变量t_sum的值都比两个门限值小，则当前像素点为静止像素；绝对和d_sum的值和变量t_sum的值之一比所述任一门限值大，则当前像素点为运动像素。

Claims

1.屏幕中字幕运动的检测方法，其特征为包括步骤：

c.判断像素灰度变化趋势：根据步骤b所述的两个3×3像素块对应像素的灰度差和设置的阈值，得到灰度变化趋势的度量值，该度量值的大小与相邻两场的当前像素点的变化成正比；

d.判断字幕点的运动状态：设置两个门限值，将步骤b中的到的绝对和值与步骤c中得到的度量值分别与所述两个门限值比较，如果所述绝对和值和度量值都比两个门限值小，则当前像素点为静止像素；绝对和值和度量值之一比所述两个门限值中任一个大，则当前像素点为运动像素。

2.如权利要求1所述的屏幕中字幕运动的检测方法，其特征为：在步骤a中当满足以下条件之一时，判断当前像素为字幕：

a1.|F_n(i,j)-F_n-2(i,j)|<capsameth1，且

|F_n(i,j+2)-F_n-2(i,j+2)|<capsameth1，且

|F_n(i,j)-F_n-2(i,j+2)|>capdiffth1；

a2.|F_n+1(i,j)-F_n-1(i,j)|<capsameth1，且

|F_n+1(i,j+2)-F_n-1(i,j+2)|<capsameth1，且

|F_n-1(i,j)-F_n-1(i,j+2)|>capdiffth1；

a3.|F_n(i,j)-F_n-2(i,j)|<capsameth2，且

|F_n+1(i,j)-F_n-1(i,j)|<capsameth2，且

|F_n(i,j)-F_n-1(i,j)|>capdiffth2；

其中(i,j)为当前像素点的坐标，capdiffth1、capdiffth2、capsameth1和capsameth2为设定的门限值。

3.如权利要求2所述的屏幕中字幕运动的检测方法，其特征为：门限capdiffth1范围是：0～32，门限capdiffth2范围是：0～32，门限capsameth1范围是：0～256，门限capsameth2范围是：0～256。

4.如权利要求1所述的屏幕中字幕运动的检测方法，其特征为：用步骤b中得到的绝对和替代步骤b中所述同极性场中对应像素点的值。

5.如权利要求1至4之一所述的屏幕中字幕运动的检测方法，其特征为：步骤c中所述的阈值范围是：10～30。

6.如权利要求1至4之一所述的屏幕中字幕运动的检测方法，其特征为：步骤d中所述的两个门限值都可以为1～3的整数值。