CN113727176B - 一种视频运动字幕检测方法 - Google Patents

一种视频运动字幕检测方法 Download PDF

Info

Publication number
CN113727176B
CN113727176B CN202111003875.3A CN202111003875A CN113727176B CN 113727176 B CN113727176 B CN 113727176B CN 202111003875 A CN202111003875 A CN 202111003875A CN 113727176 B CN113727176 B CN 113727176B
Authority
CN
China
Prior art keywords
motion
mask
subtitle
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111003875.3A
Other languages
English (en)
Other versions
CN113727176A (zh
Inventor
宋一平
梁骏
钟宇清
宋蕴
杨常星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Nationalchip Science & Technology Co ltd
Original Assignee
Hangzhou Nationalchip Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Nationalchip Science & Technology Co ltd filed Critical Hangzhou Nationalchip Science & Technology Co ltd
Priority to CN202111003875.3A priority Critical patent/CN113727176B/zh
Publication of CN113727176A publication Critical patent/CN113727176A/zh
Application granted granted Critical
Publication of CN113727176B publication Critical patent/CN113727176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)

Abstract

本发明公开了一种视频运动字幕检测方法。目前的视频图像处理技术往往针对所有像素采取一样的图像处理手段，而不会对运动字幕区域采取单独的处理方式。本发明方法首先输入连续两帧视频逐行序列，然后提取运动像素区域，再提取运动字幕区域，优化、展宽运动字幕区域后，输出运动字幕区域。本发明方法利用输入两帧逐行图像序列的差值，选取运动像素区域，进而从中选取运动字幕区域，可以有效提取视频中的运动字幕区域，从而可以对运动字幕进行单独的图像处理，达到改善运动字幕显示效果的目的。

Description

一种视频运动字幕检测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种视频运动字幕检测方法，用来对视频中的运动字幕进行检测。
背景技术
随着互联网的飞速发展,人们对视频节目的需求与日俱增。除了电视节目，还有网络发送的各种视频节目。在个人电脑、移动手机上观看视频节目已经成为人们获取信息的主要来源。在一些视频信号中经常存在着运动字幕，例如各类新闻节目。视频中的字幕通常有区别于其他区域的特征，如边缘锐利，与周围像素的反差一般较大，颜色统一，一般不会有颜色渐变等特征。如果能对字幕区域采取更精细的插值，运动补偿等图像处理，会使得显示效果更佳。目前的视频图像处理技术往往针对所有像素采取一样的图像处理手段，而不会对运动字幕区域采取单独的处理方式。
专利号为201510145959.9的发明专利公开了一种滚动字幕检测方法。该方法包括：针对目标视频段中的每一视频帧图像i，对该图像进行边缘检测，确定该图像中的边缘像素点；统计该图像中每一行的边缘像素点占比，确定该视频帧图像i的候选字幕区域集Pi；根据所确定的每个Pi，确定目标视频段的候选字幕区域集V；针对V中的每一个区域V[j]，确定包含该区域的帧图像序列，判断该序列中的任意两个相邻帧图像是否均满足：后一帧图像中与V[j]对应的图像部分相对前一帧图像中与V[j]对应的图像部分存在像素平移，如果是，将V[j]确定为滚动字幕区域。该方法通过简单的边缘像素点数目统计，检测速度较快。
专利号为201110397351.7的发明专利公开了一种屏幕中字幕运动的检测方法。该方法步骤包括：a.通过输入的连续四场隔行信号判断当前像素是否为字幕点；b.计算相邻像素点的序列差的绝对和，所述绝对和值与对应像素点静止的可能性成正比，由此判断相邻的奇场或偶场中同极性场的对应点的灰度分布；c.根据两个像素块对应像素的灰度差和设置的阈值，得到灰度变化趋势的度量值，该量度值的大小与相邻两场的当前像素点的变化成正比；d.将绝对和值与量度值分别与所述两个门限值比较判断字幕点的运动状态。该方法能够对图像画面中的字幕运动状态进行准确的判断，消除去隔行后出现的字幕抖动和字体不完整现象，提高了图像中字幕的清晰度，提高了视觉体验。
发明内容
本发明的目的就是提供一种视频运动字幕检测方法。
本发明方法首先输入连续两帧视频逐行序列，然后提取运动像素区域，再提取运动字幕区域，优化、展宽运动字幕区域后，输出运动字幕区域。具体步骤如下：
步骤(1)输入连续的两帧视频逐行序列A0和A1，分辨率为H×W，H为高度，W为宽度；
步骤(2)将A0和A1所有对应位置的像素做差后取绝对值，得到两帧的差值序列diff，diff 即为运动像素结果；diff上像素差值不为0对应的位置即为A1运动像素的位置，所有运动像素构成运动像素区域diff′；
步骤(3)以n×n大小的滑动窗口在diff′上按照先行后列的顺序遍历，n为奇数；滑动窗口中心点的坐标为(i,j),
统计在滑动窗口内像素值大于设定阈值th1的像素数量count1，如果count1大于设定阈值 th2，则mask(i,j)＝255,否则mask(i,j)＝0；mask表示运动字幕区域，由mask(i,j)＝255对应的像素构成，mask(i,j)表示坐标为(i,j)像素点的像素值；
步骤(4)对mask在高度方向上进行遍历，统计m行内的总像素数量total_pix、像素值为 255的像素数量count2，以及连续分布的255数据段数量count3，连续分布是指连续两个以上的像素值为255的像素，5≤m≤11；如果且count3＞th4，则将当前m行像素保留在mask上，否则将mask上当前m行所有像素的像素值置为0；th3和th4为设定的阈值；
步骤(5)恢复误删除的运动字幕区域；
保留在mask上的像素构成mask上剩余的字幕区域，因此将mask上剩余的字幕区域在高度方向上进行展宽，展宽比例th5，得到最终运动字幕区域mask′；
步骤(6)输出mask′。
本发明方法利用输入两帧逐行图像序列的差值，选取运动像素区域，进而从中选取运动字幕区域，可以有效提取视频中的运动字幕区域，从而可以对运动字幕进行单独的图像处理，达到改善运动字幕显示效果的目的。
附图说明
图1是本发明方法的流程图；
图2是本发明方法中选取运动字幕区域mask的一个实施实例示意图；
图3是为优化运动字幕区域mask的一个实施实例示意图；
图4是mask上某一行统计连续分布的255数据段数量一个实施实例示意图；
图5是mask上展宽运动字幕范围一个实施实例示意图。
具体实施方式
一种视频运动字幕检测方法，可以在视频中单独提取运动字幕区域，进而对运动字幕进行单独的图像处理，达到改善运动字幕显示效果的目的。
如图1所示，该方法首先输入连续两帧视频逐行序列，然后提取运动像素区域，再提取运动字幕区域，优化、展宽运动字幕区域后，输出运动字幕区域。具体步骤如下：
步骤(1)输入连续的两帧视频逐行序列A0和A1，分辨率为H×W，H为高度，W为宽度。
步骤(2)将A0和A1所有对应位置的像素做差后取绝对值，得到两帧的差值序列diff，diff 即为运动像素结果；diff上像素差值不为0对应的位置即为A1运动像素的位置，所有运动像素构成运动像素区域diff′。
步骤(3)以n×n大小的滑动窗口在diff′上按照先行后列的顺序遍历，n为奇数；滑动窗口中心点的坐标为(i,j),
统计在滑动窗口内像素值大于设定阈值th1的像素数量count1，如果count1大于设定阈值 th2，则mask(i,j)＝255,否则mask(i,j)＝0,16≤th1≤64，3≤th2≤6；mask表示运动字幕区域，由mask(i,j)＝255对应的像素构成，mask(i,j)表示坐标为(i,j)像素点的像素值。
如图2，输入的两帧视频序列A1和B1，A13×3和B13×3为其局部放大，求两者的差值，得到差值序列diff,保留像素差值不为0的像素，得到运动像素区域diff′。令th1＝30，统计diff′中像素值大于th1的数量count1＝4；令th2＝3，由于count1＞th2，故mask(i,j)＝255。
步骤(4)对mask在高度方向上进行遍历，统计m行内的总像素数量total_pix、像素值为 255的像素数量count2，以及连续分布的255数据段数量count3，连续分布是指连续两个以上的像素值为255的像素，5≤m≤11；如果且count3＞th4，则将当前m行像素保留在mask上，否则将mask上当前m行所有像素的像素值置为0；th3和th4为设定的阈值，0.2≤th3≤0.4，30≤th4≤90。
如图3，图中灰色区域为一次统计的数据范围,令m＝5，即每次统计5行，则保留5行内值为255的区域，对应为mask上的白色区域,否则将5行内值全部清0，对应为mask上的黑色区域，本实施例中th3＝0.3，th4＝40。
图4是mask上某一行统计连续分布的255数据段数量一个实施实例示意图，在mask上只有两种数值，分别是0和255,从箭头方向遍历这一行的像素值，每遇到从0变为255或者从255变为0的位置时，计数器count增加1,遍历值行末时count＝7，在5行范围内,统计的总和为count3。
步骤(5)恢复误删除的运动字幕区域；
由于字幕的特性，经过步骤(4)后，除了无关运动像素被删除，字幕的顶部和底部也略有损失,保留在mask上的像素构成mask上剩余的字幕区域，因此将mask上剩余的字幕区域在高度方向上进行展宽，展宽比例th5，得到最终运动字幕区域mask′，1.5≤th5≤2。
图5是mask上展宽运动字幕范围一个实施实例示意图，经过之前的步骤处理，由于字幕的特性，将剩余的字幕范围进行展宽，展宽比例为th5＝1.5,将运动字幕的范围进行恢复。
步骤(6)输出mask′。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种视频运动字幕检测方法，其特征在于，该方法步骤包括：
步骤(1)输入连续的两帧视频逐行序列A0和A1，分辨率为H×W，H为高度，W为宽度；
步骤(2)提取运动像素区域：将A0和A1所有对应位置的像素做差后取绝对值，得到两帧的差值序列diff，diff即为运动像素结果；diff上像素差值不为0对应的位置即为A1运动像素的位置，所有运动像素构成运动像素区域diff′；
步骤(3)提取运动字幕区域：以n×n大小的滑动窗口在diff′上按照先行后列的顺序遍历，n为奇数；滑动窗口中心点的坐标为(i,j),
Figure FDA0004161588420000011
统计在滑动窗口内像素值大于设定阈值th1的像素数量count1，如果count1大于设定阈值th2，则mask(i,j)＝255,否则mask(i,j)＝0；mask表示运动字幕区域，由mask(i,j)＝255对应的像素构成，mask(i,j)表示坐标为(i,j)像素点的像素值；
步骤(4)优化运动字幕区域：对mask在高度方向上进行遍历，统计m行内的总像素数量total_pix、像素值为255的像素数量count2，以及连续分布的255数据段数量count3，连续分布是指连续两个以上的像素值为255的像素，5≤m≤11；如果
Figure FDA0004161588420000012
且count3＞th4，则将当前m行像素保留在mask上，否则将mask上当前m行所有像素的像素值置为0；th3和th4为设定的阈值；
步骤(5)展宽运动字幕区域：恢复误删除的运动字幕区域；保留在mask上的像素构成mask上剩余的字幕区域，将mask上剩余的字幕区域在高度方向上进行展宽，展宽比例th5，得到最终运动字幕区域mask′；
步骤(6)输出最终运动字幕区域mask′。
2.如权利要求1所述的一种视频运动字幕检测方法，其特征在于：步骤(3)中，16≤th1≤64，3≤th2≤6。
3.如权利要求1所述的一种视频运动字幕检测方法，其特征在于：步骤(4)中，0.2≤th3≤0.4，30≤th4≤90。
4.如权利要求1所述的一种视频运动字幕检测方法，其特征在于：步骤(5)中，所述展宽比例1.5≤th5≤2。
CN202111003875.3A 2021-08-30 2021-08-30 一种视频运动字幕检测方法 Active CN113727176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111003875.3A CN113727176B (zh) 2021-08-30 2021-08-30 一种视频运动字幕检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111003875.3A CN113727176B (zh) 2021-08-30 2021-08-30 一种视频运动字幕检测方法

Publications (2)

Publication Number Publication Date
CN113727176A CN113727176A (zh) 2021-11-30
CN113727176B true CN113727176B (zh) 2023-05-16

Family

ID=78678988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111003875.3A Active CN113727176B (zh) 2021-08-30 2021-08-30 一种视频运动字幕检测方法

Country Status (1)

Country Link
CN (1) CN113727176B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920507B (zh) * 2021-12-13 2022-04-12 成都索贝数码科技股份有限公司 一种针对新闻场景的滚动字幕提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1865717A1 (fr) * 2006-06-06 2007-12-12 Stmicroelectronics Sa Détecteur de phase de mouvement par regions
CN101211411A (zh) * 2007-12-21 2008-07-02 北京中星微电子有限公司 一种人体检测的方法和装置
CN101600110A (zh) * 2009-07-14 2009-12-09 杭州华三通信技术有限公司 运动检测方法及装置
CN107666560A (zh) * 2016-07-28 2018-02-06 北京数码视讯科技股份有限公司 一种视频去隔行方法及装置
CN111539990A (zh) * 2020-04-20 2020-08-14 深圳Tcl数字技术有限公司 运动物体位置检测方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007076894A1 (en) * 2005-12-30 2007-07-12 Telecom Italia S.P.A. Contour finding in segmentation of video sequences
CN102202224B (zh) * 2011-06-22 2013-03-27 清华大学 用于平面视频立体转换的字幕去抖方法及字幕去抖装置
CN105282475B (zh) * 2014-06-27 2019-05-28 澜至电子科技（成都）有限公司 移动字幕检测与补偿方法及系统
CN107578424B (zh) * 2017-08-04 2020-09-29 中山大学 一种基于时空分类的动态背景差分检测方法、系统及装置
CN112333401B (zh) * 2019-08-05 2022-11-01 瑞芯微电子股份有限公司 一种运动字幕区域检测方法、装置、系统、介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1865717A1 (fr) * 2006-06-06 2007-12-12 Stmicroelectronics Sa Détecteur de phase de mouvement par regions
CN101211411A (zh) * 2007-12-21 2008-07-02 北京中星微电子有限公司 一种人体检测的方法和装置
CN101600110A (zh) * 2009-07-14 2009-12-09 杭州华三通信技术有限公司 运动检测方法及装置
CN107666560A (zh) * 2016-07-28 2018-02-06 北京数码视讯科技股份有限公司 一种视频去隔行方法及装置
CN111539990A (zh) * 2020-04-20 2020-08-14 深圳Tcl数字技术有限公司 运动物体位置检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113727176A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
US9672437B2 (en) Legibility enhancement for a logo, text or other region of interest in video
US8558772B2 (en) Image display apparatus
JP4620163B2 (ja) 静止字幕検出装置、静止字幕を含む画像を表示する映像機器、および静止字幕を含んだ画像の処理方法
JP4295845B2 (ja) ディジタルビデオ画像のアスペクトフォーマットの自動検出方法及び装置
US6442203B1 (en) System and method for motion compensation and frame rate conversion
US6269484B1 (en) Method and apparatus for de-interlacing interlaced content using motion vectors in compressed video streams
US9414025B2 (en) Method for intelligently displaying sports game video for multimedia mobile terminal
US20060209957A1 (en) Motion sequence pattern detection
JP2005318621A (ja) ビデオシーケンスでのティッカー処理
KR100722773B1 (ko) 동영상에서 그래픽 영역을 검출하는 방법 및 장치
CN113727176B (zh) 一种视频运动字幕检测方法
US8311269B2 (en) Blocker image identification apparatus and method
US20060077299A1 (en) System and method for performing inverse telecine deinterlacing of video by bypassing data present in vertical blanking intervals
US9807339B2 (en) Frame rate conversion system
CN107666560B (zh) 一种视频去隔行方法及装置
CN101076104B (zh) 电影模式的检测方法
JP5188272B2 (ja) 映像処理装置及び映像表示装置
US20120106648A1 (en) Image processing device and video reproducing device
CN110896471B (zh) 一种基于图像处理检测视频传输丢包的方法
CN102497492A (zh) 屏幕中字幕运动的检测方法
CN101242487A (zh) 运动自适应图像处理
CN107316314A (zh) 一种动态背景提取方法
Lin et al. Motion adaptive de-interlacing with local scene changes detection
CN107248164A (zh) 一种动态背景提取方法
JP3442145B2 (ja) テレビジョン映像信号の境界位置検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant