CN102497492A - 屏幕中字幕运动的检测方法 - Google Patents

屏幕中字幕运动的检测方法 Download PDF

Info

Publication number
CN102497492A
CN102497492A CN2011103973517A CN201110397351A CN102497492A CN 102497492 A CN102497492 A CN 102497492A CN 2011103973517 A CN2011103973517 A CN 2011103973517A CN 201110397351 A CN201110397351 A CN 201110397351A CN 102497492 A CN102497492 A CN 102497492A
Authority
CN
China
Prior art keywords
value
captions
pixel
absolute
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103973517A
Other languages
English (en)
Other versions
CN102497492B (zh
Inventor
刘强
刘成强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hongwei Technology Co Ltd
Original Assignee
Sichuan Hongwei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hongwei Technology Co Ltd filed Critical Sichuan Hongwei Technology Co Ltd
Priority to CN201110397351.7A priority Critical patent/CN102497492B/zh
Publication of CN102497492A publication Critical patent/CN102497492A/zh
Application granted granted Critical
Publication of CN102497492B publication Critical patent/CN102497492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及屏幕中字幕运动的检测方法。包括步骤：a.通过输入的连续四场隔行信号判断当前像素是否为字幕点；b.计算相邻像素点的序列差的绝对和，所述绝对和值与对应像素点静止的可能性成正比，由此判断相邻的奇场或偶场中同极性场的对应点的灰度分布；c.根据两个像素块对应像素的灰度差和设置的阈值，得到灰度变化趋势的度量值，该量度值的大小与相邻两场的当前像素点的变化成正比；d.将绝对和值与量度值分别与所述两个门限值比较判断字幕点的运动状态。本发明的方法能够对图像画面中的字幕运动状态进行准确的判断，消除去隔行后出现的字幕抖动和字体不完整现象，明显的提高了图像中字幕的清晰度，提高了视觉体验。

Description

屏幕中字幕运动的检测方法
技术领域
本发明涉及屏幕中字幕运动的检测方法，具体的讲是在去隔行技术中对字幕运动的检测方法。
背景技术
由于受到传输带宽的限制，电视台发送的电视信号都不是完整的图像，而是按照先传奇数行再传偶数行的规律发送，这样的信号就是隔行视频信号。但是随着数字信号处理技术的不断发展和宽屏幕平板电视的出现，人们对电视显示质量的要求越来越高，电视台发送的隔行信号存在的屏闪、锯齿等严重问题已经不能让观众满意。因此去隔行技术正是为了解决落后的隔行视频信号和消费者日益提高的视觉要求而产生的。
去隔行技术根据所用滤波器的种类不同分为线性算法、非线性算法、运动补偿算法和运动自适应算法。其中运动自适应算法根据运动检测得到的运动参数来选择场内插值或场间复制，是目前大多消费产品选择的去隔行方案。但是运动自适应的检测方式的其精度受多方面影响，比如视频图像中的噪声水平，图像的明暗程度等。一般的图像内容中当运动检测出错时，去隔行采用场内插值也可以基本满足观众的视觉要求。但是很多的视频序列中还有字幕，比如即时新闻，人物对话等，如果字幕的运动状态检测错误，把本应该静止的字幕检测为运动，那么字幕的边缘就会出现闪烁。相反，如果把本来为运动的字幕点检测为静止，通过场间复制的方式进行去隔行，最后会使字幕出现断点或其他结构性损失，让字体看起来不完整，影响观看质量。
传统的运动检测方法没有特别区分字幕区域和背景区域，把字幕当成普通的图像内容进行运动检测，没有考虑字幕本身的特性，所以去隔行后常常出现字幕抖动和字体不完整的现象。
发明内容
针对上述的问题，本发明提供了一种屏幕中字幕运动的检测方法，能够对图像画面中的字幕运动状态进行准确的判断，消除去隔行后出现的字幕抖动和字体不完整现象。
本发明的屏幕中字幕运动的检测方法是基于字幕与图像背景在亮度上存在的明显差异，并且在相邻连续的视频画面中字幕与背景之间的相对关系变化不大的原理。包括步骤：
a.遍历整幅图像，获得当前遍历的去隔行像素点的坐标，通过输入的连续四场隔行信号判断当前像素是否为字幕点，如果为字幕点向下执行，否则按普通运动检测执行；所述的连续四场隔行信号分别为：当前场Fn，当前场的前两场Fn-2，当前场的前一场Fn-1和当前场的后一场Fn+1；
b.判断相邻的奇场或偶场中，同极性场的对应点在3×3像素块中的灰度分布：在3×3的像素块中计算当前像素点与每个邻域像素点的差值，根据每个所述差值的不同范围分布，对每个邻域点赋一个标识数值，将所述的各标识数值与所述连续四场中同极性场的对应点的数值标识相减得到相邻像素点的序列差，将所述序列差进行绝对和计算，所述绝对和值与对应像素点静止的可能性成正比；
c.判断像素灰度变化趋势：根据两个3×3像素块对应像素的灰度差和设置的阈值，得到灰度变化趋势的度量值，该量度值的大小与相邻两场的当前像素点的变化成正比；
d.判断字幕点的运动状态：设置两个门限值，将步骤b中的到的绝对和值与步骤c中得到的量度值分别与所述两个门限值比较，如果所述绝对和值和量度值都比两个门限值小，则当前像素点为静止像素；绝对和值和量度值之一比所述任一门限值大，则当前像素点为运动像素。
具体的，在步骤a中当满足以下条件之一时，判断当前像素为字幕：
a1.|Fn(i，j)-Fn-2(i，j)|＜capsameth1，且
|Fn(i，j+2)-Fn-2(i，j+2)|＜capsameth1，且
|Fn(i，j)-Fn-2(i，j+2)|＞capdiffth1；
a2.|Fn+1(i，j)-Fn-1(i，j)|＜capsameth1，且
|Fn+1(i，j+2)-Fn-1(i，j+2)|＜capsameth1，且
|Fn-1(i，j)-Fn-1(i，j+2)|＞capdiffth1；
a3.|Fn(i，j)-Fn-2(i，j)|＜capsameth2，且
|Fn+1(i，j)-Fn-1(i，j)|＜capsameth2，且
|Fn(i，j)-Fn-1(i，j)|＞capdiffth2；
其中(i，j)为当前像素点的坐标，capdiffth1、capdiffth2、capsameth1和capsameth2为设定的门限值。其中可选的，门限capdiffth1范围是：0～32，门限capdiffth2范围是：0～32，门限capsameth1范围是：0～256，门限capsameth2范围是：0～256。
进一步的，用步骤b中得到的绝对和替代步骤b中所述同极性场中对应像素点的值。
可选的，步骤c中所述的阈值范围是：10～30。步骤d中所述的两个门限值都可以为1～3的整数值。
本发明的一种屏幕中字幕运动的检测方法，能够对图像画面中的字幕运动状态进行准确的判断，消除去隔行后出现的字幕抖动和字体不完整现象，明显的提高了图像中字幕的清晰度，提高了视觉体验。
以下结合由附图所示实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
附图说明
图1是本发明屏幕中字幕运动的检测方法的流程图。
具体实施方式
如图1所示本发明屏幕中字幕运动的检测方法，包括步骤：
a.遍历整幅图像，获得当前遍历的去隔行像素点的坐标(i，j)，通过输入的连续四场隔行信号判断当前像素是否为字幕点，如果为字幕点向下执行，否则按普通运动检测执行；所述的连续四场隔行信号分别为：当前场Fn，当前场的前两场Fn-2，当前场的前一场Fn-1和当前场的后一场Fn+1，也可以取其它位置关系的连续相邻场，其后步骤可根据本实施例采用本领域技术人员可理解的相关方法执行；判断当前像素是否为字幕点的方法为，当满足以下条件之一时，判断当前像素为字幕：
a1.|Fn(i，j)-Fn-2(i，j)|＜capsameth1，且
|Fn(i，j+2)-Fn-2(i，j+2)|＜capsameth1，且
|Fn(i，j)-Fn-2(i，j+2)|＞capdiffth1；
a2.|Fn+1(i，j)-Fn-1(i，j)|＜capsameth1，且
|Fn+1(i，j+2)-Fn-1(i，j+2)|＜capsameth1，且
|Fn-1(i，j)-Fn-1(i，j+2)|＞capdiffth1；
a3.|Fn(i，j)-Fn-2(i，j)|＜capsameth2，且
|Fn+1(i，j)-Fn-1(i，j)|＜capsameth2，且
|Fn(i，j)-Fn-1(i，j)|＞capdiffth2；
其中capdiffth1、capdiffth2、capsameth1和capsameth2为设定的门限值，分别为：capdiffth1范围是：0～32，capdiffth2范围是：0～32，capsameth1范围是：0～256，capsameth2范围是：0～256。
在字幕判断的基础上，结合字幕本身的特性，再通过像素灰度分布趋势判断和像素灰度变化趋势判断步骤来判断字幕的运动情况。
b.从相邻的同极性(奇场或偶场)的两个隔行场中取出的含字幕的3×3的采样块，块中的数值表示字幕像素点和背景像素点的灰度。判断相邻的奇场或偶场中，同极性场的对应点在3×3像素块中的灰度分布：首先根据去隔行的当前点与邻域的8个像素点的灰度值的关系产生一个8位的序列，计算在3×3的像素块中当前像素点与每个邻域像素点的差值：
Diff[1]＝frame[2][i×width+j]-frame[2][(i-1)×width+j-1]
Diff[2]＝frame[2][i×width+j]-frame[2][(i-1)×width+j]
Diff[3]＝frame[2][i×width+j]-frame[2][(i-1)×width+j+1]
Diff[4]＝frame[2][i×width+j]-frame[2][i×width+j-1]
Diff[5]＝frame[2][i×width+j]-frame[2][i×width+j+1]
Diff[6]＝frame[2][i×width+j]-frame[2][(i+1)×width+j-1]
Diff[7]＝frame[2][i×width+j]-frame[2][(i+1)×width+j]
Diff[8]＝frame[2][i×width+j]-frame[2][(i+1)×width+j+1]
其中Diff表示计算的差值，frame表示输入的图像，width表示输入图像的宽度。
根据每个所述差值的不同范围分布，对每个邻域点赋一个标识数值Grad，如果差值Diff的绝对值＜门限th1，标识数值Grad[n]＝0，否则标识数值Grad[n]＝1，其中n为领域像素点的标号1～8，门限th1的范围是10～30。
将得到的各标识值Grad与所述连续四场中同极性场的对应点的数值标识相减得到相邻像素点的序列差d0～d7，将所述序列差d0～d7进行绝对和计算：
d_sum＝fabs(d0)+fabs(d1)+fabs(d2)+fabs(d3)+fabs(d4)+fabs(d5)+fabs(d6)+fabs(d7)；
标记dh为相邻同极性场对应点的标识值Grad的差，dh的计算根据当前场的极性选择与之对应的odd或even所存的标识数值序列进行减法：
dh＝odd_Grads[i×width+j][h]-Grad[h]；
或者dh＝even_Grads[i×width+j][h]-Grad[h]；h＝1、2、...8
fabs为求绝对值，odd_Grads表示奇场，even_Grads表示偶场。
当绝对和d_sum计算完成后，用求得的绝对和d_sum代替原来奇场odd_Grads或偶场even_Grads中相应位置的值。
绝对和d_sum的值越小，说明当前像素点与前面同极性场对应像素点的差异越小，像素点静止的可能性就越大；反之，像素点运动的可能性越大；
c.判断像素灰度变化趋势：首先计算步骤b中两个3×3像素块对应像素灰度的差：
t0＝frame[2][i×width+j]-frame[0][i×width+j]；
t1＝frame[2][(i-1)×width+j-1]-frame[0][(i-1)×width+j-1]；
t2＝frame[2][(i-1)×width+j]-frame[0][(i-1)×width+j]；
t3＝frame[2][(i-1)×width+j+1]-frame[0][(i-1)×width+j+1]；
t4＝frame[2][i×width+j-1]-frame[0][i×width+j-1]；
t5＝frame[2][i×width+j+1]-frame[0][i×width+j+1]；
t6＝frame[2][(i+1)×width+j-1]-frame[0][(i+1)×width+j-1]；
t7＝frame[2][(i+1)×width+j]-frame[0][(i+1)×width+j]；
t8＝frame[2][(i+1)×width+j+1]-frame[0][(I+1)×width+j+1]；
然后计算灰度差t1～t8与灰度差t0的差的绝对值，并分别将所述差的绝对值与门限th2的大小进行比较，门限th2的范围是10～30。设置灰度差t1～t8中与灰度差t0差的绝对值大于门限th2的个数t_sum变量，如果比较的当前差的绝对值大于门限th2，那么变量t_sum+1，否则变量t_sum保持不变。最后得到的变量t_sum值就为灰度变化趋势的一个度量，其值越大说明相邻两场的当前像素点的变化也越大，其值越小说明相邻两场的当前像素点的变化也越小；
d.判断字幕点的运动状态：设置两个门限值，两个门限值都可以为1～3的整数值。将步骤b中的到的绝对和d_sum的值与步骤c中得到的变量t_sum的值分别与所述两个门限值比较，如果所述绝对和d_sum的值和变量t_sum的值都比两个门限值小，则当前像素点为静止像素；绝对和d_sum的值和变量t_sum的值之一比所述任一门限值大，则当前像素点为运动像素。

Claims (6)

1.屏幕中字幕运动的检测方法，其特征为包括步骤：
a.遍历整幅图像，获得当前遍历的去隔行像素点的坐标，通过输入的连续四场隔行信号判断当前像素是否为字幕点，如果为字幕点向下执行，否则按普通运动检测执行；所述的连续四场隔行信号分别为：当前场Fn，当前场的前两场Fn-2，当前场的前一场Fn-1和当前场的后一场Fn+1；
b.判断相邻的奇场或偶场中，同极性场的对应点在3×3像素块中的灰度分布：在3×3的像素块中计算当前像素点与每个邻域像素点的差值，根据每个所述差值的不同范围分布，对每个邻域点赋一个标识数值，将所述的各标识数值与所述连续四场中同极性场的对应点的数值标识相减得到相邻像素点的序列差，将所述序列差进行绝对和计算，所述绝对和值与对应像素点静止的可能性成正比；
c.判断像素灰度变化趋势：根据两个3×3像素块对应像素的灰度差和设置的阈值，得到灰度变化趋势的度量值，该量度值的大小与相邻两场的当前像素点的变化成正比；
d.判断字幕点的运动状态：设置两个门限值，将步骤b中的到的绝对和值与步骤c中得到的量度值分别与所述两个门限值比较，如果所述绝对和值和量度值都比两个门限值小，则当前像素点为静止像素；绝对和值和量度值之一比所述任一门限值大，则当前像素点为运动像素。
2.如权利要求1所述的屏幕中字幕运动的检测方法，其特征为：在步骤a中当满足以下条件之一时，判断当前像素为字幕：
a1.|Fn(i，j)-Fn-2(i，j)|＜capsameth1，且
|Fn(i，j+2)-Fn-2(i，j+2)|＜capsameth1，且
|Fn(i，j)-Fn-2(i，j+2)|＞capdiffth1；
a2.|Fn+1(i，j)-Fn-1(i，j)|＜capsameth1，且
|Fn+1(i，j+2)-Fn-1(i，j+2)|＜capsameth1，且
|Fn-1(i，j)-Fn-1(i，j+2)|＞capdiffth1；
a3.|Fn(i，j)-Fn-2(i，j)|＜capsameth2，且
|Fn+1(i，j)-Fn-1(i，j)|＜capsameth2，且
|Fn(i，j)-Fn-1(i，j)|＞capdiffth2；
其中(i，j)为当前像素点的坐标，capdiffth1、capdiffth2、capsameth1和capsameth2为设定的门限值。
3.如权利要求2所述的屏幕中字幕运动的检测方法，其特征为：门限capdiffth1范围是：0～32，门限capdiffth2范围是：0～32，门限capsameth1范围是：0～256，门限capsameth2范围是：0～256。
4.如权利要求1所述的屏幕中字幕运动的检测方法，其特征为：用步骤b中得到的绝对和替代步骤b中所述同极性场中对应像素点的值。
5.如权利要求1至4之一所述的屏幕中字幕运动的检测方法，其特征为：步骤c中所述的阈值范围是：10～30。
6.如权利要求1至4之一所述的屏幕中字幕运动的检测方法，其特征为：步骤d中所述的两个门限值都可以为1～3的整数值。
CN201110397351.7A 2011-12-05 2011-12-05 屏幕中字幕运动的检测方法 Active CN102497492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110397351.7A CN102497492B (zh) 2011-12-05 2011-12-05 屏幕中字幕运动的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110397351.7A CN102497492B (zh) 2011-12-05 2011-12-05 屏幕中字幕运动的检测方法

Publications (2)

Publication Number Publication Date
CN102497492A true CN102497492A (zh) 2012-06-13
CN102497492B CN102497492B (zh) 2014-08-06

Family

ID=46189276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110397351.7A Active CN102497492B (zh) 2011-12-05 2011-12-05 屏幕中字幕运动的检测方法

Country Status (1)

Country Link
CN (1) CN102497492B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282397A (zh) * 2014-07-22 2016-01-27 北京数码视讯科技股份有限公司 运动字幕的去隔行方法及装置
CN114666649A (zh) * 2022-03-31 2022-06-24 北京奇艺世纪科技有限公司 字幕被裁视频的识别方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200616446A (en) * 2004-11-04 2006-05-16 Himax Tech Inc Caption detection and compensation for interlaced image
CN101043609A (zh) * 2006-03-24 2007-09-26 株式会社东芝 字幕检测设备、字幕检测方法、及降频信号检测设备
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
US20100265393A1 (en) * 2009-04-15 2010-10-21 Novatek Microelectronics Corp. De-interlacing apparatus and method and moving caption compensator

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200616446A (en) * 2004-11-04 2006-05-16 Himax Tech Inc Caption detection and compensation for interlaced image
CN101043609A (zh) * 2006-03-24 2007-09-26 株式会社东芝 字幕检测设备、字幕检测方法、及降频信号检测设备
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
US20100265393A1 (en) * 2009-04-15 2010-10-21 Novatek Microelectronics Corp. De-interlacing apparatus and method and moving caption compensator

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伍刘 等: "带运动检测的自适应去隔行算法及其GPU实现", 《电视技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282397A (zh) * 2014-07-22 2016-01-27 北京数码视讯科技股份有限公司 运动字幕的去隔行方法及装置
CN114666649A (zh) * 2022-03-31 2022-06-24 北京奇艺世纪科技有限公司 字幕被裁视频的识别方法、装置、电子设备及存储介质
CN114666649B (zh) * 2022-03-31 2024-03-01 北京奇艺世纪科技有限公司 字幕被裁视频的识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN102497492B (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
US6104755A (en) Motion detection using field-difference measurements
US8749703B2 (en) Method and system for selecting interpolation as a means of trading off judder against interpolation artifacts
CN102946505B (zh) 一种基于图像分块统计的自适应运动检测方法
US7405766B1 (en) Method and apparatus for per-pixel motion adaptive de-interlacing of interlaced video fields
US8274605B2 (en) System and method for adjacent field comparison in video processing
CN102215368A (zh) 基于视觉特性的运动自适应去隔行方法
US6452972B1 (en) Motion detection using field-difference measurements
CN102447870A (zh) 静止物体检测方法和运动补偿装置
CN101483745B (zh) 基于边缘检测的视频模式识别方法
US20130002957A1 (en) Apparatus and method for local video detector for mixed cadence sequence
CN101483790B (zh) 电影模式视频信号检测方法
CN104202555A (zh) 去隔行方法及装置
CN102497492B (zh) 屏幕中字幕运动的检测方法
US9807339B2 (en) Frame rate conversion system
CN201222771Y (zh) 一种高速边缘自适应的去隔行插值装置
CN101626508A (zh) 一种判断帧率提升中闭塞区域的方法
US20060164559A1 (en) Method and system for detecting motion between video field of same and opposite parity from an interlaced video source
US8532177B2 (en) Motion adaptive image processing
CN101242487B (zh) 运动自适应图像处理
CN101483747B (zh) 一种适用于去隔行技术的运动检测方法
CN1312924C (zh) 基于纹理信息的视频图象运动检测方法
CN102946504B (zh) 一种基于边缘检测的自适应运动检测方法
JP5164716B2 (ja) 映像処理装置および映像表示装置
GB2444529A (en) Motion adaptive image processing
US8045820B2 (en) System and method for edge direction detection for spatial deinterlace

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant