CN105282475B - 移动字幕检测与补偿方法及系统 - Google Patents
移动字幕检测与补偿方法及系统 Download PDFInfo
- Publication number
- CN105282475B CN105282475B CN201410301131.3A CN201410301131A CN105282475B CN 105282475 B CN105282475 B CN 105282475B CN 201410301131 A CN201410301131 A CN 201410301131A CN 105282475 B CN105282475 B CN 105282475B
- Authority
- CN
- China
- Prior art keywords
- pixel
- block
- pixels
- crawl
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 97
- 238000001914 filtration Methods 0.000 claims description 28
- 238000012216 screening Methods 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 238000010845 search algorithm Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 102220151991 rs886061744 Human genes 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Television Systems (AREA)
Abstract
本发明提供一种移动字幕检测与补偿方法及系统。根据本发明的方法，先基于运动估计算法对图像中N11×M11的各像素块进行运动矢量计算，以获得各像素块的运动矢量，并当一像素块在一个方向的运动矢量不为0，而在另一个方向的运动矢量为0，且包含该像素块在内的连续L个像素块均只在同一方向的运动矢量不为0且相等，则将该像素块确定为移动字幕区，其中，N11、M11、L均为非0正整数；在此基础上基于各像素块的运动矢量进一步对一些误判予以筛选以及对移动字幕区的非移动像素点进行筛选，由此可以准确检测出视频图像中的移动字幕区，进而通过对移动字幕区的像素点增加运动补偿因子，以避免高频分量的损失，由此能明显改善移动字幕的闪烁问题。
Description
技术领域
本发明涉及视频图像处理领域，特别是涉及一种移动字幕检测与补偿方法及系统。
背景技术
由于处理器速度及频宽等的限制，现有广播电视系统多提供交错式影像信号(即隔行扫描的影像信号)给用户，对于使用阴极射线管显示器(Cathode Ray Tube,CRT)的用户，由于屏幕上萤光的余晖加上视觉暂留效应，播放的交错式影像信号能获得相当好的效果；然而，对于液晶显示器、等离子体显示器等只支持逐行扫描的显示器，播放基于交错式影像信号就会产生严重的闪烁现象，这是因为交错式影像信号两行中只有一行有影像另一行则是全黑，所以亮度看起来会减少一半；因此，对于所有使用渐进式扫描的显示设备都需要有解交错的功能。
现有解交错技术一般先采用运动检测方法区分图像中的运动区域和静止区域，对于静止区域的像素点，则采用weave算法，也就是直接拷贝相邻场的图像数据进行插值；对于运动区域的像素点，则采用运动补偿法进行插值，插值后再进行滤波。然而，现有该种解交错方式，在屏幕出现移动字体，特别是水平移动的中文字体时，能明显看到移动字幕的闪烁。原因就在于运动补偿后的滤波使得部分高频分量损失，造成解交错后的视频图像在奇偶帧间存在不一样的失真，交替运动后形成视觉上的闪烁。
为了解决上述问题，在申请号为200910132831.3的中国专利文献中，公开了一种解交错装置及方法及动态字幕补偿器。该解交错装置采用的移动字幕检测方法中，首先基于一条视频扫描线上的灰度反转来判断是否有字幕线特征，然后再基于字幕线上的像素点计算每个像素点的运动矢量，并统计多条字幕线上的运动矢量来计算出一个区域运动矢量，在这些基础上确定移动字幕区域，并对其进行补偿。该解交错装置虽然可减少图像的闪烁感、线条的抖动及不平顺等，但这种基于灰度反转判定字幕线的方法对于画面细节较多的运动图像可靠性差，而且基于像素点的运动矢量可靠性较低，容易产生较多的误判。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种移动字幕检测与补偿方法及系统，以实现对视频图像中的移动字幕区的准确检测。
本发明的另一目的在于提供一种移动字幕检测与补偿方法及系统，以实现对处于移动字幕区的像素点的运动补偿，进而有效改善移动字幕的闪烁问题。
为实现上述目的及其他相关目的，本发明提供一种移动字幕检测与补偿方法，其至少包括步骤：基于运动估计算法对图像中N11×M11的各像素块进行运动矢量计算，以获得各像素块的运动矢量，其中，N11、M11为非0正整数；以及若一像素块在一个方向的运动矢量不为0，而在另一个方向的运动矢量为0，且包含该像素块在内的连续L个像素块均只在同一方向的运动矢量不为0且相等，则将该像素块确定为移动字幕区，其中，L为非0正整数。
优选地，所述移动字幕检测与补偿方法还包括步骤：若一像素块的SAD_min符合以下条件，则将该像素块确定为非移动字幕区；SAD_min>(PXL_max–PXL_min)*n，其中，SAD_min为在运动矢量计算过程中得到的该像素块的最小匹配值，PXL_max为该像素块中各像素点的像素值中的最大者，PXL_min为该像素块中各像素点的像素值中的最小者，n为非0自然数。
优选地，所述移动字幕检测与补偿方法还包括步骤：基于第一阈值的运动检测算法对移动字幕区的每一像素点进行运动检测以筛选出非移动字幕区的像素点。
优选地，所述移动字幕检测与补偿方法还包括步骤：抽取图像中N11×M11的各像素块中的部分像素点来进行运动矢量计算。
优选地，所述移动字幕检测与补偿方法还包括步骤：基于第二阈值的运动检测法对视频图像中各被插值像素点进行检测以区分运动图像区的被插值像素点及静止图像区的被插值像素点；相应地，基于运动估计算法对对包含运动图像区的被插值像素点的各N11×M11像素块进行运动矢量计算，以获得各像素块的运动矢量。
优选地，所述移动字幕检测与补偿方法还包括步骤：若被插值像素点处于移动字幕区，则基于被插值像素点周围的像素点来进行第一滤波运算以获得该被插值像素点的滤波结果，并将该滤波结果与基于运动补偿算法获得的该被插值像素点的补偿结果进行综合，将综合后的结果作为该被插值像素点的插值结果，其中，第一滤波运算包括基于像素梯度的均值滤波运算或中值滤波运算；若被插值像素点处于运动图像区中的非移动字幕区，则先基于运动补偿算法获得被插值像素点的补偿结果，随后再基于该补偿结果与被插值像素点周围像素点来进行中值滤波运算，以获得被插值像素点的插值结果。
本发明还提供一种移动字幕检测与补偿系统，其至少包括：运动矢量计算模块，用于基于运动估计算法对图像中N11×M11的各像素块进行运动矢量计算，以获得各像素块的运动矢量，其中，N11、M11为非0正整数；以及第一判断模块，用于若一像素块在一个方向的运动矢量不为0，而在另一个方向的运动矢量为0，且包含该像素块在内的连续L个像素块均只在同一方向的运动矢量不为0且相等，则将该像素块确定为移动字幕区，其中，L为非0正整数。
优选地，所述移动字幕检测与补偿系统还包括：第二判断模块，用于若一像素块的SAD_min符合以下条件，则将该像素块确定为非移动字幕区；SAD_min>(PXL_max–PXL_min)*n，其中，SAD_min为该在运动矢量计算过程中得到的像素块的最小匹配值，PXL_max为该像素块中各像素点的像素值中的最大者，PXL_min为该像素块中各像素点的像素值中的的最小者，n为非0自然数。
优选地，所述移动字幕检测与补偿系统还包括：筛选模块，用于基于第一阈值的运动检测算法对移动字幕区的每一像素点进行运动检测以筛选出非移动字幕区的像素点。
优选地，所述矢量计算模块还包括抽取单元，用于抽取图像中N11×M11的各像素块中的部分像素点来进行运动矢量计算。
优选地，所述移动字幕检测与补偿系统还包括：运动检测模块，用于基于第二阈值的运动检测法对视频图像中各被插值像素点进行检测以区分运动图像区的被插值像素点及静止图像区的被插值像素点；相应地，所述矢量计算模块基于运动估计算法对对包含运动图像区的被插值像素点的各N11×M11像素块进行运动矢量计算，以获得各像素块的运动矢量。
优选地，所述移动字幕检测与补偿系统还包括：补偿模块，用于若被插值像素点处于移动字幕区，则基于被插值像素点周围的像素点来进行第一滤波运算以获得该被插值像素点的滤波结果，并将该滤波结果与基于运动补偿算法获得的该被插值像素点的补偿结果进行综合，将综合后的结果作为该被插值像素点的插值结果，其中，第一滤波运算包括基于像素梯度的均值滤波运算或中值滤波运算；若被插值像素点处于运动图像区中的非移动字幕区，则先基于运动补偿算法获得被插值像素点的补偿结果，随后再基于该补偿结果与被插值像素点周围像素点来进行中值滤波运算，以获得被插值像素点的插值结果。
如上所述，本发明的移动字幕检测与补偿方法及系统，具有以下有益效果：能准确检测出视频图像中的移动字幕区，并对移动字幕区的移动像素点予以运动补偿，有效减小闪烁感，提升图像显示质量。
附图说明
图1显示为本发明的移动字幕检测与补偿方法的一种优选流程图。
图2a及2b显示为本发明的移动字幕检测与补偿方法对像素块中的像素点的抽取方式示意图。
图3a及3b显示为本发明的移动字幕检测与补偿方法的当前像素块在多个连续像素块中的位置示意图。
图4显示为本发明的移动字幕检测与补偿方法的另一种优选流程图。
图5显示为造成误判的场景示意图。
图6显示为本发明的移动字幕区的原始像素点与被插值像素点示意图。
图7显示为本发明的移动字幕检测与补偿系统的一种优选示意图。
图8显示为本发明的移动字幕检测与补偿系统的另一种优选示意图。
元件标号说明
1、1’ 移动字幕检测与补偿系统
10 运动检测模块
11、11’ 运动矢量计算模块
12 第一判断模块
13 第二判断模块
14 筛选模块
S0、S1、S1’、S2～S4 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1至图8。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一：
如图1所示，本实施例提供一种移动字幕检测与补偿方法。其中，根据本发明的方法主要通过移动字幕检测与补偿系统来完成，该移动字幕检测与补偿系统包括但不限于安装在计算机设备中且能够实现本发明方案的诸如应用模块、处理控制器等。其中，该计算机设备包括但不限于：机顶盒等。
其中，本发明的方法优选可应用于解交错系统中。
其中，本发明的方法至少包括步骤S1与S2。
在步骤S1中，所述移动字幕检测与补偿系统基于运动估计算法对图像中N11×M11的各像素块进行运动矢量计算，以获得各像素块的运动矢量，其中，N11、M11为非0正整数。
其中，所述运动估计算法包括任何一种能计算两场视频图像之间的运动矢量的算法，优选地，包括但不限于：三维递归搜索算法、菱形搜索算法、六角形搜索算法等。本实施例中采用三维递归搜索算法。
其中，N11、M11基于实际情况，例如处理器的处理能力等来设定，还可基于实际效果来进行调整，优选N11×M11为8×8或16×16等。
具体地，所述移动字幕检测与补偿系统先基于视频图像当前场中各被插值像素点的位置，将当前场的后一场中包含与各被插值像素点对应的各像素点的图像划分为多个N11×M11的像素块，然后每个像素块根据三维递归搜索算法到当前视频图像场的前一场中进行搜索，计算后一场中每一N11×M11的像素块与前一场中各N11×M11的像素块之间的SAD(差分绝对值和)，并将SAD值最小者的前一场的N11×M11的像素块作为后一场相应N11×M11的像素块的匹配像素块，若基于三维递归搜索算法确定后一场某一N11×M11的像素块(例如，像素块Q2)与前一场中N11×M11的匹配像素块(例如像素块Q1)在某方向(例如水平方向)的运动矢量(即位移)为MV_pn，则与该后一场N11×M11的像素块Q2对应的当前场中N11×M11的像素块与前一场中N11×M11的匹配像素块Q1在水平方向的运动矢量为MV_pn/2。
优选地，所述移动字幕检测与补偿系统抽取N11×M11的各像素块中的部分像素点来进行运动矢量计算，由此可有效减少加法器等的硬件开销。
其中，所述移动字幕检测与补偿系统由N11×M11的像素块中抽取像素点的方式可基于处理器等等处理能力来确定，例如，采用图2a所示的逐行间隔式抽取、或图2b所示的隔行间隔式抽取等等。
接着，在步骤S2中，所述移动字幕检测与补偿系统判断各像素块是否为移动字幕区；其中，像素块被判断为水平移动的移动字幕区需同时满足下面的条件：
A)当前像素块水平方向的运动矢量不为零，垂直方向的运动矢量为零；
B)包含该像素块在内的连续L1个像素块均只在水平方向的运动矢量不为0且相等、在垂直方向的运动矢量为零，其中，L1为非0正整数，其值可预先设定，还可基于实际情况来进行调整等，优选范围为4至7。
需要说明的是，当前像素块在L1个像素块中的位置不限，可以是第1个(如图3a中最下面一行所示，图中灰色块为当前像素块)，也可以是最后1个(如图3a中最上面一行所示)，还可以是中间任意位置(如图3a中各中间行所示)。
像素块被判断为垂直移动字幕像素块需同时满足下面的条件：
a)当前像素块垂直方向的运动矢量不为零，水平方向的运动矢量为零；
b)包含该像素块在内的连续L2个像素块均只在垂直方向的运动矢量不为0且相等、在水平方向的运动矢量为零，其中，L2为非0正整数，其值可预先设定，还可基于实际情况来进行调整，优选范围为4至7。
需要说明的是，当前像素块在L2个像素块中的位置不限，可以是第1个(如图3b中最右边一行所示，图中灰色块为当前像素块)，也可以是最后1个(如图3b中最左边一行所示)，还可以是中间任意位置(如图3b中各中间行所示)。
实施例二：
如图4所示，本实施例的移动字幕检测与补偿方法至少包括步骤S0、S1’、S2、S3及S4，其中，步骤S2与前述实施例一中的步骤S2相同，并以引用的方式包含于此，不再详述。
在步骤S0中，所述移动字幕检测与补偿系统基于第二阈值的运动检测法对视频图像中的各被插值像素点进行检测以区分运动图像区的被插值像素点及静止图像区的被插值像素点。
其中，运动检测法包括任何一种能对视频图像静止图像区的像素点及运动图像区的像素点进行检测的算法，优选地，包括但不限于：场间差分法等。
具体地，所述移动字幕检测与补偿系统先基于视频图像当前场中各被插值像素点的位置，将当前场的后一场中与当前场中各被插值像素点对应的各像素点分别作为中心像素点，并对于每一中心像素点，均基于中心像素点及其周围像素点构建一个N14×M14的像素块，再采用运动检测法计算各N14×M14像素块与当前场的前一场中对应各N14×M14像素块之间的SAD，随后将与SAD值小于第二阈值的各像素块的中心像素点对应的当前场中的相应各被插值像素点确定为运动图像区的被插值像素点，否则确定为静止图像区的被插值像素点。例如，若后一场中的N14×M14像素块Q11与前一场中相应的N14×M14像素块Q12之间的SAD值小于第二阈值，则将当前场中与N14×M14像素块Q11的中心像素点对应的被插值像素点确定为静止图像区的被插值像素点，否则确定为运动图像区的被插值像素点。
其中，N14、M14为非0正整数，其值可基于实际情况，例如处理器的处理能力等来设定，还可基于实际效果等来进行调整。
其中，第二阈值基于实际应用来设定，本领域技术人员应该知悉其范围，故在此不再详述。在本实施例中，第二阈值的范围为：200至300之间。
接着，在步骤S1’中，所述移动字幕检测与补偿系统基于运动估计算法对包含运动图像区的被插值像素点的各N11×M11像素块进行运动矢量计算，以获得各像素块的运动矢量，其中，N11、M11为非0正整数。
其中，所述移动字幕检测与补偿系统对包含运动图像区的被插值像素点的各像素块的矢量计算与前述实施例一的步骤S1中对图像区的各像素块的矢量计算相同或相似，并以引用的方式包含于此，不再详述。
在步骤S3中，所述移动字幕检测与补偿系统对被确定为移动字幕区的像素块进行进一步筛选，具体方式如下：
若一像素块的最小匹配值符合以下条件，则将该像素块确定为非移动字幕区；
SAD_min>(PXL_max–PXL_min)*n，其中，SAD_min为在运动矢量计算过程中得到的该像素块的最小匹配值，PXL_max为该像素块中各像素点的像素值中的最大者，PXL_min为该像素块中各像素点的像素值中的的最小者，n为非0正整数，该值可预先设定，并基于实际情况来进行调整，优选范围为：5至10之间。
由于在移动字幕检测过程中，对于一些复杂的情况，仅仅基于运动矢量的判断会造成误判。例如，如图5所示，水平移动的字幕图像“This is Caption”叠加在斜向下运动的圆形图像上，经过前述步骤S2的判断，当前像素块(即虚线框)会被确定为移动字幕区，如此，在解交错处理时，插值后的图像画面会出错，因此需要对该类情况进行筛查，而本步骤就是对该类情况的筛查。
接着，在步骤S4中，所述移动字幕检测与补偿系统基于第一阈值的运动检测算法对移动字幕区的每一像素点进行运动检测以筛选出非移动像素区的像素点。
具体地，所述移动字幕检测与补偿系统将视频图像当前场的后一场中与当前场的移动字幕区的各像素点对应的各像素点分别作为中心像素点，对于每一中心像素点，均以中心像素点与其周围像素点共同构建一个N12×M12的小像素块，再基于第一阈值对各小像素块进行运动检测，并将运动检测后与SAD值小于第一阈值的各像素块的中心像素点对应的当前场中的相应各像素点确定为非移动字幕区的像素点，其中，N12、M12为非0正整数，两者的值可预先设定，还可基于实际情况予以调整。
其中，所述移动字幕检测与补偿系统对各小像素块的运动检测所采用的检测方法与前述步骤S0所采用的运动检测法相同或相似，并以引用的方式包含于此，在此不再详述。
其中，第一阈值基于实际应用来预先设定，本领域技术人员应该知悉其范围，故在此不再详述。
在本实施例中，N12＝3，M12＝5；第一阈值的范围在150至250之间。
需要说明的是，在实际应用中，可基于处理器的处理能力、视频图像的复杂与否等相关因素选择性执行步骤S3或S4，例如，对于画面变化不多的视频图像，在步骤S2之后直接进行步骤S4；又例如，对于视频图像质量要求较低的场合，不执行步骤S4等等。
此外，当本发明的方法应用于解交错系统中时，在检测出移动字幕区后，若被插值像素点处于移动字幕区，则需要对该些处于移动字幕区的被插值像素点进行运动补偿，以减小闪烁感等，为此，作为一种优选方式，在将运动图像区中的移动字幕区检测出之后，例如，实施例二的步骤S4之后，本发明的方法还进一步包括：步骤S5。
在步骤S5中，若被插值像素点处于移动字幕区，则所述移动字幕检测与补偿系统基于被插值像素点周围的像素点来进行第一滤波运算以获得该被插值像素点的滤波结果，并将该滤波结果与基于运动补偿算法获得的该被插值像素点的补偿结果进行综合，将综合后的结果作为该被插值像素点的插值结果，其中，第一滤波运算包括基于像素梯度的均值滤波运算或中值滤波运算；若被插值像素点处于运动图像区但不处于移动字幕区，则所述移动字幕检测与补偿系统先基于运动补偿算法获得被插值像素点的补偿结果，随后再基于该补偿结果与被插值像素点周围像素点来进行中值滤波运算，以获得被插值像素点的插值结果。
所谓基于像素梯度的均值滤波运算，如图6所示，该移动字幕区包括像素点A11-A35，其中，像素点A21至A25为被插值像素点，其余像素点为当前图像帧中原始像素点，若对被插值像素点A23周围像素点进行基于像素梯度的均值滤波运算，其过程如下：
首先确定被插值像素点A23在45度、135度及90度3个方向的像素梯度中的最小者，也就是比较：|RA11-RA33|+|RA12-RA34|+|RA13-RA35|、|RA13-RA31|+|RA14-RA32|+|RA15-RA33|、|RA12-RA32|+|RA13-RA33|+|RA14-RA34|中的最小者，若在45度方向上的像素梯度|RA13-RA31|+|RA14-RA32|+|RA15-RA33|最小，则被插值像素点A23的滤波结果就采用45度方向上与被插值像素点A23相邻的像素点A14与A32的像素平均值。
所谓中值滤波运算，就是取几个值中的中间值作为滤波结果；例如，基于补偿结果、被插值像素点上一行与下一行中相邻像素点的像素值的中间值作为被插值像素点的插值结果。
所谓运动补偿算法，本领域技术人员应该知悉，故在此不再详述。
其中，所述移动字幕检测与补偿系统将滤波结果与补偿结果进行综合的综合方法包括但不限于：加权法等。
例如，若获得的该移动字幕区的被插值像素点的滤波结果为v1，基于运动补偿算法获得的该移动字幕区的被插值像素点的补偿结果为v2，则所述移动字幕检测与补偿系统将两者予以综合后的结果为：
v3 ＝ v1*alpha + v2*(1-alpha)，其中，alpha的范围为0～1。
实施例三：
如图7所示，本实施例提供一种移动字幕检测与补偿系统。该移动字幕检测与补偿系统1至少包括：运动矢量计算模块11与第一判断模块12。
所述运动矢量计算模块11基于运动估计算法对图像区中N11×M11的各像素块进行运动矢量计算，以获得各像素块的运动矢量，其中，N11、M11为非0正整数。
其中，所述运动估计算法包括任何一种能计算两场视频图像之间的运动矢量的算法，优选地，包括但不限于：三维递归搜索算法，菱形搜索算法，六角形搜索算法等；本实施例中采用三维递归搜索算法。
其中，N11、M11基于实际情况，例如处理器的处理能力等来设定，还可基于实际效果来进行调整，优选N11×M11为8×8或16×16等。
具体地，所述运动矢量计算模块11基于视频图像当前场中各被插值像素点的位置，将当前场的后一场中包含与各被插值像素点对应的各像素点的图像划分为多个N11×M11的像素块，然后每个像素块根据三维递归搜索算法到当前视频图像场的前一场中进行搜索，计算后一场中每一N11×M11的像素块与前一场中各N11×M11的像素块之间的SAD(差分绝对值和)，并将SAD值最小者的前一场的N11×M11的像素块作为后一场相应N11×M11的像素块的匹配像素块，若基于三维递归搜索算法确定后一场N11×M11的像素块(例如，像素块Q2)与前一场中N11×M11的匹配像素块(例如像素块Q1)在某方向(例如水平方向)的运动矢量(即位移)为MV_pn，则与该后一场N11×M11的像素块Q2对应的当前场中N11×M11的像素块与前一场中N11×M11的匹配像素块Q1在水平方向的运动矢量为MV_pn/2。
优选地，所述运动矢量计算模块11还包括抽取单元，所述抽取单元抽取N11×M11的各像素块中的部分像素点来进行运动矢量计算，由此可有效减少加法器等的硬件开销。
其中，所述抽取单元由N11×M11的像素块中抽取像素点的方式可基于处理器的处理能力来确定，例如，采用图2a所示的逐行间隔式抽取、或图2b所示的隔行间隔式抽取等等。
接着，所述第一判断模块12判断各像素块是否为移动字幕区；其中，像素块被判断为水平移动的移动字幕区需同时满足下面的条件：
A)当前像素块水平方向的运动矢量不为零，垂直方向的运动矢量为零；
B)包含该像素块在内的连续L1个像素块均只在水平方向的运动矢量不为0且相等、在垂直方向的运动矢量为零，其中，L1为非0正整数，其值可预先设定，还可基于实际情况来进行调整；优选范围为4～7。
需要说明的是，当前像素块在L1个像素块中的位置不限，可以是第1个(如图3a中最下面一行所示，图中灰色块为当前像素块)，也可以是最后1个(如图3a中最上面一行所示)，还可以是中间任意位置(如图3a中各中间行所示)。
像素块被判断为垂直移动字幕像素块需同时满足下面的条件：
a)当前像素块垂直方向的运动矢量不为零，水平方向的运动矢量为零；
b)包含该像素块在内的连续L2个像素块均只在垂直方向的运动矢量不为0且相等、在水平方向的运动矢量为零，其中，L2为非0正整数，其值可预先设定，还可基于实际情况来进行调整；优选范围为4～7。
需要说明的是，当前像素块在L2个像素块中的位置不限，可以是第1个(如图3b中最右边一行所示，图中灰色块为当前像素块)，也可以是最后1个(如图3b中最左边一行所示)，还可以是中间任意位置(如图3b中各中间行所示)。
实施例四：
如图8所示，本实施例的移动字幕检测与补偿系统1’至少包括：运动检测模块10、矢量计算模块11’、第一判断模块12、第二判断模块13及筛选模块14，其中，第一判断模块12与前述实施例三中的第一判断模块12相同，并以引用的方式包含于此，不再详述。
所述运动检测模块10基于第二阈值的运动检测法对视频图像中的各被插值像素点进行检测以区分运动图像区的被插值像素点及静止图像区的被插值像素点。
其中，运动检测法包括任何一种能对视频图像静止图像区的像素点及运动图像区的像素点进行检测的算法，优选地，包括但不限于：场间差分法等。
具体地，所述运动检测模块10先基于视频图像当前场中各被插值像素点的位置，将当前场的后一场中与当前场中各被插值像素点对应的各像素点分别作为中心像素点，并对于每一中心像素点，均基于中心像素点及其周围像素点构建一个N14×M14的像素块，再采用运动检测法计算各N14×M14像素块与当前场的前一场中对应各N14×M14像素块之间的SAD，随后将与SAD值小于第二阈值的各像素块的中心像素点对应的当前场中的相应各被插值像素点确定为运动图像区的被插值像素点，否则确定为静止图像区的被插值像素点。例如，若后一场中的N14×M14像素块Q11与前一场中相应的N14×M14像素块Q12之间的SAD值小于第二阈值，则将当前场中与N14×M14像素块Q11的中心像素点对应的被插值像素点确定为静止图像区的被插值像素点，否则确定为运动图像区的被插值像素点。
其中，N14、M14为非0正整数，其值可基于实际情况，例如处理器的处理能力等来设定，还可基于实际效果等来进行调整。
其中，第二阈值可基于实际应用来设定，本领域技术人员应该知悉其范围，故在此不再详述。在本实施例中，第二阈值的范围为：200至300之间。
接着，所述矢量计算模块11’基于运动估计算法对包含运动图像区的被插值像素点的各N11×M11像素块进行运动矢量计算，以获得各像素块的运动矢量，其中，N11、M11为非0正整数。
其中，所述矢量计算模块11’对包含运动图像区的被插值像素点的各像素块的矢量计算与前述实施例三的矢量计算模块11对图像区的各像素块的矢量计算相同或相似，并以引用的方式包含于此，不再详述。
所述第二判断模块13对被确定为移动字幕区的像素块进行进一步筛选，具体方式如下：
若一像素块的SAD_min符合以下条件，则将该像素块确定为非移动字幕区；
SAD_min>(PXL_max–PXL_min)*n，其中，SAD_min为在运动矢量计算过程中得到的该像素块的最小匹配值，PXL_max为该像素块中各像素点的像素值中的最大者，PXL_min为该像素块中各像素点的像素值中的最小者，n为非0正整数，该值可预先设定，并基于实际情况来进行调整；优选范围为5～10。
由于在移动字幕检测过程中，对于一些复杂的情况，仅仅基于运动矢量的判断会造成误判。例如，如图5所示，水平移动的字幕图像叠加在斜向下运动的圆形图像上，经过前述第一判断模块12的判断，当前像素块(即虚线框)会被确定为移动字幕区，如此，在解交错处理时，插值后的图像画面会出错，因此需要对该类情况进行筛查，而所述第二判断模块13就是对该类情况的筛查。
接着，所述筛选模块14基于第一阈值的运动检测算法对移动字幕区的每一像素点进行运动检测以筛选出非移动像素区的像素点。
具体地，所述筛选模块14将视频图像当前场的后一场中与当前场的移动字幕区的各像素点对应的各像素点分别作为中心像素点，对于每一中心像素点，均以中心像素点与其周围像素点共同构建一个N12×M12的小像素块，再基于第一阈值对各小像素块进行运动检测，并将运动检测后与SAD值小于第一阈值的各像素块的中心像素点对应的当前场中的相应各像素点确定为非移动字幕区的像素点，其中，N12、M12为非0正整数，两者的值可预先设定，还可基于实际情况予以调整。
其中，所述筛选模块14对各小像素块的运动检测所采用的检测方法与前述运动检测模块10所采用的运动检测法相同或相似，并以引用的方式包含于此，在此不再详述。
其中，第一阈值可基于实际应用来设定，本领域技术人员应该知悉其范围，故在此不再详述。
在本实施例中，N12＝3，M12＝5；第一阈值的范围在150至250之间。
需要说明的是，在实际应用中，可基于处理器的处理能力、视频图像的复杂与否等相关因素选取第二判断模块与筛选模块中一者，例如，对于画面变化不多的视频图像，在第一判断模块执行判断操作之后直接由筛选模块执行其判断操作；又例如，对于视频图像质量要求较低的场合，所述移动字幕检测与补偿系统不包含筛选模块等等。此外，当本发明的移动字幕检测与补偿系统应用于解交错系统中时，在检测出运动图像区中的移动字幕区后，若被插值的像素点处于移动字幕区，则需要对该些处于移动字幕区的被插值像素点进行运动补偿，以减小闪烁感等，为此，作为一种优选方式，例如，在所述筛选模块执行其判断操作之后，本发明的移动字幕检测与补偿系统还进一步包括：补偿模块。
若被插值像素点处于移动字幕区，则所述补偿模块基于被插值像素点周围的像素点来进行第一滤波运算以获得该被插值像素点的滤波结果，并将该滤波结果与基于运动补偿算法获得的该被插值像素点的补偿结果进行综合，将综合后的结果作为该被插值像素点的插值结果，其中，第一滤波运算包括基于像素梯度的均值滤波运算或中值滤波运算；若被插值像素点处于运动图像区但不处于移动字幕区，则所述补偿模块先基于运动补偿算法获得被插值像素点的补偿结果，随后再基于该补偿结果与被插值像素点周围像素点来进行中值滤波运算，以获得被插值像素点的插值结果。
其中，基于像素梯度的均值滤波运算、中值滤波运算在实施例二中予以详述，并以引用的方式包含于此，不再详述。
其中，所述补偿模块将滤波结果与运动补偿结果进行综合的综合方法包括但不限于：加权法等。
例如，若获得的该移动字幕区的被插值像素点的滤波结果为v1，获得的该移动字幕区的被插值像素点的运动补偿结果为v2，则所述补偿模块将两者予以综合后的结果为：v3＝v1*alpha +v2*(1-alpha)；alpha的范围为0～1。
综上所述，本发明的移动字幕检测与补偿系统通过对运动图像区的图像进行再次的检测及筛查，从而能有效而准确检测出处于移动字幕区的移动像素点，并对各移动像素点增加运动补偿因子，避免高频分量的损失，由此能明显改善移动字幕的闪烁问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种移动字幕检测与补偿方法，其特征在于，所述移动字幕检测与补偿方法至少包括步骤：
基于视频图像当前场中各被插值像素点的位置，将当前场的后一场中包含与各被插值像素点对应的各像素点的图像划分为多个N11×M11的像素块；
基于运动估计算法对图像中N11×M11的各像素块进行运动矢量计算，以获得各像素块的运动矢量，其中，N11、M11为非0正整数；
若一像素块在一个方向的运动矢量不为0，而在另一个方向的运动矢量为0，且包含该像素块在内的连续L个像素块均只在同一方向的运动矢量不为0且相等，则将该像素块确定为移动字幕区，其中，L为非0正整数；
基于第一阈值的运动检测算法对移动字幕区的每一像素点进行运动检测以筛选出非移动字幕区的像素点。
2.根据权利要求1所述的移动字幕检测与补偿方法，其特征在于还包括步骤：所述移动字幕检测与补偿系统对被确定为移动字幕区的像素块进行进一步筛选，若一像素块的SAD_min>(PXL_max–PXL_min)*n，则将该像素块确定为非移动字幕区，
其中，SAD_min为在运动矢量计算过程中得到的该像素块的最小匹配值，PXL_max为该像素块中各像素点的像素值中的最大者，PXL_min为该像素块中各像素点的像素值中的的最小者，n为5至10之间的非0自然数。
3.根据权利要求1所述的移动字幕检测与补偿方法，其特征在于还包括：抽取图像中N11×M11的各像素块中的部分像素点来进行运动矢量计算。
4.根据权利要求1所述的移动字幕检测与补偿方法，其特征在于还包括：
基于第二阈值的运动检测法对视频图像中各被插值像素点进行检测以区分运动图像区的被插值像素点及静止图像区的被插值像素点；
相应地，基于运动估计算法对包含运动图像区的被插值像素点的各N11×M11像素块进行运动矢量计算，以获得各像素块的运动矢量。
5.根据权利要求4所述的移动字幕检测与补偿方法，其特征在于还包括：
若被插值像素点处于移动字幕区，则基于被插值像素点周围的像素点来进行第一滤波运算以获得该被插值像素点的滤波结果，并将该滤波结果与基于运动补偿算法获得的该被插值像素点的补偿结果进行综合，将综合后的结果作为该被插值像素点的插值结果，其中，第一滤波运算包括基于像素梯度的均值滤波运算或中值滤波运算；
若被插值像素点处于运动图像区中的非移动字幕区，则先基于运动补偿算法获得被插值像素点的补偿结果，随后再基于该补偿结果与被插值像素点周围像素点来进行中值滤波运算，以获得被插值像素点的插值结果。
6.一种移动字幕检测与补偿系统，其特征在于，所述移动字幕检测与补偿系统至少包括：
运动矢量计算模块，用于基于视频图像当前场中各被插值像素点的位置，将当前场的后一场中包含与各被插值像素点对应的各像素点的图像划分为多个N11×M11的像素块，基于运动估计算法对图像中N11×M11的各像素块进行运动矢量计算，以获得各像素块的运动矢量，其中，N11、M11为非0正整数；
第一判断模块，用于判断若一像素块在一个方向的运动矢量不为0，而在另一个方向的运动矢量为0，且包含该像素块在内的连续L个像素块均只在同一方向的运动矢量不为0且相等，则将该像素块确定为移动字幕区，其中，L为非0正整数；
筛选模块，用于基于第一阈值的运动检测算法对移动字幕区的每一像素点进行运动检测以筛选出非移动字幕区的像素点。
7.根据权利要求6所述的移动字幕检测与补偿系统，其特征在于还包括：第二判断模块，用于对被确定为移动字幕区的像素块进行进一步筛选，判断若一像素块的SAD_min>(PXL_max–PXL_min)*n，则将该像素块确定为非移动字幕区，
其中，SAD_min为在运动矢量计算过程中得到的该像素块的最小匹配值，PXL_max为该像素块中各像素点的像素值中的最大者，PXL_min为该像素块中各像素点的像素值中的最小者，n为预设的在5至10之间的非0自然数。
8.根据权利要求6所述的移动字幕检测与补偿系统，其特征在于：所述矢量计算模块还包括抽取单元，用于抽取图像中N11×M11的各像素块中的部分像素点来进行运动矢量计算。
9.根据权利要求6所述的移动字幕检测与补偿系统，其特征在于还包括：
运动检测模块，用于基于第二阈值的运动检测法对视频图像中各被插值像素点进行检测以区分运动图像区的被插值像素点及静止图像区的被插值像素点；
相应地，所述矢量计算模块基于运动估计算法对包含运动图像区的被插值像素点的各N11×M11像素块进行运动矢量计算，以获得各像素块的运动矢量。
10.根据权利要求9所述的移动字幕检测与补偿系统，其特征在于还包括：
补偿模块，用于若被插值像素点处于移动字幕区，则基于被插值像素点周围的像素点来进行第一滤波运算以获得该被插值像素点的滤波结果，并将该滤波结果与基于运动补偿算法获得的该被插值像素点的补偿结果进行综合，将综合后的结果作为该被插值像素点的插值结果，其中，第一滤波运算包括基于像素梯度的均值滤波运算或中值滤波运算；
若被插值像素点处于运动图像区中的非移动字幕区，则先基于运动补偿算法获得被插值像素点的补偿结果，随后再基于该补偿结果与被插值像素点周围像素点来进行中值滤波运算，以获得被插值像素点的插值结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410301131.3A CN105282475B (zh) | 2014-06-27 | 2014-06-27 | 移动字幕检测与补偿方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410301131.3A CN105282475B (zh) | 2014-06-27 | 2014-06-27 | 移动字幕检测与补偿方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105282475A CN105282475A (zh) | 2016-01-27 |
| CN105282475B true CN105282475B (zh) | 2019-05-28 |
Family
ID=55150701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410301131.3A Active CN105282475B (zh) | 2014-06-27 | 2014-06-27 | 移动字幕检测与补偿方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105282475B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107026998B (zh) * | 2016-02-01 | 2019-11-05 | 北京数码视讯科技股份有限公司 | 一种去隔行方法及设备 |
| CN107666560B (zh) * | 2016-07-28 | 2020-11-17 | 北京数码视讯科技股份有限公司 | 一种视频去隔行方法及装置 |
| CN108810601B (zh) * | 2017-05-04 | 2020-10-27 | 福州瑞芯微电子股份有限公司 | 运动字幕解交织方法、系统、移动终端及可读存储介质 |
| CN109729298B (zh) * | 2017-10-27 | 2020-11-06 | 联咏科技股份有限公司 | 图像处理方法与图像处理装置 |
| CN112333401B (zh) * | 2019-08-05 | 2022-11-01 | 瑞芯微电子股份有限公司 | 一种运动字幕区域检测方法、装置、系统、介质及设备 |
| CN113962854A (zh) * | 2020-07-21 | 2022-01-21 | 晶晨半导体(上海)股份有限公司 | 图像处理方法和图像处理装置及电子设备和存储介质 |
| CN111901606A (zh) * | 2020-07-31 | 2020-11-06 | 杭州当虹科技股份有限公司 | 一种提升字幕编码质量的视频编码方法 |
| CN112532880B (zh) * | 2020-11-26 | 2022-03-11 | 展讯通信（上海）有限公司 | 视频处理方法、装置、终端设备及存储介质 |
| CN113207003B (zh) * | 2021-04-15 | 2023-01-24 | 上海顺久电子科技有限公司 | 一种视频图像的运动估计方法及电子设备 |
| CN113727176B (zh) * | 2021-08-30 | 2023-05-16 | 杭州国芯科技股份有限公司 | 一种视频运动字幕检测方法 |
| CN113920507B (zh) * | 2021-12-13 | 2022-04-12 | 成都索贝数码科技股份有限公司 | 一种针对新闻场景的滚动字幕提取方法 |
| CN115797921B (zh) * | 2023-02-03 | 2023-05-09 | 北京探境科技有限公司 | 字幕识别方法、装置、电子设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1503564A (zh) * | 2002-11-23 | 2004-06-09 | 三星电子株式会社 | 能够检测滚动文本和图形数据的运动估计装置、方法及机器可读介质 |
| CN101199203A (zh) * | 2005-01-31 | 2008-06-11 | 汤姆森许可贸易公司 | 用于改变显示区域的用户界面特征 |
| CN102572289A (zh) * | 2011-08-02 | 2012-07-11 | 上海高清数字科技产业有限公司 | 电影模式的检测及处理方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120019717A1 (en) * | 2009-01-06 | 2012-01-26 | Nec Corporation | Credit information segment detection method, credit information segment detection device, and credit information segment detection program |
| JP5315162B2 (ja) * | 2009-08-05 | 2013-10-16 | 株式会社日立製作所 | 映像処理装置及び映像処理方法 |
-
2014
- 2014-06-27 CN CN201410301131.3A patent/CN105282475B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1503564A (zh) * | 2002-11-23 | 2004-06-09 | 三星电子株式会社 | 能够检测滚动文本和图形数据的运动估计装置、方法及机器可读介质 |
| CN101199203A (zh) * | 2005-01-31 | 2008-06-11 | 汤姆森许可贸易公司 | 用于改变显示区域的用户界面特征 |
| CN102572289A (zh) * | 2011-08-02 | 2012-07-11 | 上海高清数字科技产业有限公司 | 电影模式的检测及处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105282475A (zh) | 2016-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105282475B (zh) | 移动字幕检测与补偿方法及系统 | |
| CN101600061B (zh) | 视频运动自适应去隔行的方法及装置 | |
| KR101536794B1 (ko) | 후광현상이 줄어든 영상보간 장치 및 방법 | |
| US20050100095A1 (en) | Method of searching for motion vector, method of generating frame interpolation image and display system | |
| CN101867759B (zh) | 基于场景检测的自适应运动补偿帧频提升方法 | |
| CN103369208A (zh) | 自适应去隔行方法及装置 | |
| CN100380922C (zh) | 用于处理信号的设备和方法 | |
| US7538824B1 (en) | Systems and methods for reducing noise during video deinterlacing | |
| JP3842756B2 (ja) | インターレース−プログレッシブ変換用のエッジ適応補間のための方法及びシステム | |
| CN102447870A (zh) | 静止物体检测方法和运动补偿装置 | |
| CN104202555A (zh) | 去隔行方法及装置 | |
| CN102497525B (zh) | 一种运动补偿去隔行方法 | |
| CN101309376B (zh) | 去隔行方法和装置 | |
| JP2007195062A (ja) | 画像静止領域判定装置、およびインタレース−プログレッシブ画像変換装置 | |
| CN101282415B (zh) | 运动自适应图像处理 | |
| CN105915835B (zh) | 一种可硬件实现的帧频提升方法 | |
| CN101232570B (zh) | 自运动适应图像处理的装置和方法 | |
| US10587840B1 (en) | Image processing method capable of deinterlacing the interlacing fields | |
| US7750974B2 (en) | System and method for static region detection in video processing | |
| CN1312924C (zh) | 基于纹理信息的视频图象运动检测方法 | |
| CN105898179A (zh) | 一种隔行视频的去隔行方法及装置 | |
| JP5164716B2 (ja) | 映像処理装置および映像表示装置 | |
| CN103686043B (zh) | 对视频进行反交错的方法和装置 | |
| EP1576808B1 (en) | 3d vector method of inter-field motion detection | |
| CN102497492A (zh) | 屏幕中字幕运动的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20171102 Address after: 610200 Sichuan Chengdu Shuangliu District Dongsheng Street Chengdu core industrial park concentration area Applicant after: Montage LZ Technologies (Chengdu) Co.,Ltd. Applicant after: MONTAGE TECHNOLOGY (SHANGHAI) CO.,LTD. Address before: 200233 room A1601, No. 900, Xuhui District, Shanghai, Yishan Road Applicant before: MONTAGE TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Mobile Subtitle Detection and Compensation Method and System Granted publication date: 20190528 Pledgee: Renlai Electronic Technology (Shanghai) Co.,Ltd. Pledgor: MONTAGE TECHNOLOGY (SHANGHAI) CO.,LTD.|Montage LZ Technologies (Chengdu) Co.,Ltd. Registration number: Y2024980016169 |