CN105282397B - 运动字幕的去隔行方法及装置 - Google Patents

Abstract

本发明公开了一种运动字幕的去隔行方法及装置，其中，该方法包括：读取隔行扫描所得视频流的图像数据帧，检测该图像数据帧中的字幕区域，确定字幕的运动方向，根据上述运动方向移动字幕区域的顶场图像和/或字幕区域的底场图像。通过本发明，提高了字幕显示效果。

Description

运动字幕的去隔行方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种运动字幕的去隔行方法及装置。

背景技术

电视视频信号按隔行扫描的方式采集并发送。隔行扫描是在视频采集时，将先后两个不同的时间点上采集的视频内容，按照按行交织的方式存储在同一帧中的技术。对于隔行扫描信号源，将一帧图像中的所有奇数行像素抽取为顶场，将所有偶数行像素抽取为底场，每一场为某一个时间点上完整的图像画面。在视频发送端(例如，电视台)，依次对顶场和底场视频内容进行编码和发送；在视频接收端(例如，机顶盒、电视机)，依次对顶场和底场进行接收、解码和显示。电视机所显示的视频中每一幅图像，都是一场图像而不是一帧图像，每场图像经过电视的后处理后依次显示在屏幕上，连续播放形成视频。

随着网络视频的兴起，通过互联网发送电视节目，通过个人电脑、移动终端等接收并显示。电视节目的节目流按照隔行扫描方式采集和发送，而个人电脑、移动终端的显示设备和视频播放软件不具备按场播放和后处理功能，通过个人电脑直接接收并显示电视节目的节目流，按帧播放时就会出现明显的横向梳状条纹，这是由两个不同时刻的图像隔行拼接形成的视觉效果。因此，在给个人电脑、移动终端等发送电视节目时，可以先对电视节目流进行去隔行处理，再重新编码并发送。去隔行技术在视频编码端可以消除每一帧视频图像中的横向梳状条纹，使每一帧图像看起来都像是某一个时刻完整的一幅画面，而不是由两个不同时刻画面隔行拼接而成。

运动字幕是一种在电视节目中很常见并且很重要的内容。运动字幕在生成时也考虑到了电视视频信号的隔行特性，其奇数行像素和偶数行像素是对应不同显示时刻的，奇数行和偶数行字幕像素运动所达到的位置不同。当机顶盒或电视机接收到这样的字幕时，通过按场播放及后处理，可以清晰地显示运动字幕。

相关技术中的去交错技术对自然物体能达到较好的去交错效果，但是对运动字幕无法进行有效地处理。

发明内容

针对相关技术无法对运动字幕进行有效的去隔行处理的问题，本发明提供了一种运动字幕的去隔行方法及装置，以至少解决上述问题。

根据本发明的一个方面，提供了一种运动字幕的去隔行方法，包括：读取隔行扫描所得视频流的图像数据帧；检测所述图像数据帧中的字幕区域；确定字幕的运动方向；根据所述运动方向移动所述字幕区域的顶场图像和/或所述字幕区域的底场图像。

优选地，上述方法还包括：稽核移动后所述字幕区域的边缘区域是否存在形状残缺；当稽核到所述边缘区域存在形状残缺时，对所述边缘区域进行平滑处理以减小所述形状残缺。

优选地，确定字幕的运动方向，包括：所述字幕区域的长边对应的方向为所述运动方向。

优选地，根据所述运动方向移动所述顶场图像和/或所述底场图像，包括：根据所述运动方向移动所述顶场图像和/或所述底场图像，以使移动后所述字幕区域的在所述运动方向上的边缘强度最小。

优选地，根据所述运动方向移动所述顶场图像和/或所述底场图像，包括：根据所述运动方向按照不同移动距离矢量移动所述顶场图像和/或所述底场图像；计算按照所述不同移动距离矢量移动所述字幕区域后对应的字幕区域在所述运动方向上的边缘强度；选取取值最小的边缘强度对应的移动距离矢量作为最优移动距离矢量；按照所述最优移动距离矢量移动所述顶场图像和/或所述底场图像。

优选地，上述方法还包括：获取所述不同移动距离矢量的取值范围和用于调整所述不同移动距离矢量的步长。

优选地，稽核移动后所述字幕区域的边缘区域是否存在形状残缺，包括：对所述边缘区域移动前的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第一数量的连通域；对所述边缘区域移动后的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第二数量的连通域；如果所述第二数量大于所述第一数量，则存在所述形状残缺；如果所述第二数量小于或等于所述第一数量，则不存在所述形状残缺。

优选地，对所述边缘区域进行平滑处理以减小所述形状残缺，包括：根据基于运动强度的自适应插值算法对所述边缘区域进行平滑处理，以减小所述形状残缺。

优选地，检测所述图像数据帧中的字幕区域，包括：检测空间域上边缘强度与参考帧相比大于第一预定值的第一像素点，其中所述参考帧为当前图像数据帧的前一帧；检测时间域上与所述参考帧的像素点亮度值的差分大于第二预定值的第二像素点；检测所述图像数据帧四周边缘预定范围内的第三像素点；按照像素点的亮度值和/或色度值对像素点分类，确定同一所述像素点分类中位置集中的第四像素点；确定所述第一像素点、所述第二像素点、所述第三像素点和所述第四像素点交集的像素点所在区域构成的矩形区域为所述字幕区域。

根据本发明的另一个方面，提供了一种运动字幕的去隔行装置，包括：读取模块，用于读取隔行扫描所得视频流的图像数据帧；检测模块，用于检测所述图像数据帧中的字幕区域；确定模块，用于确定字幕的运动方向；移动模块，用于根据所述运动方向移动所述字幕区域的顶场图像和/或所述字幕区域的底场图像。

优选地，上述装置还包括：稽核模块，用于稽核移动后所述字幕区域的边缘区域是否存在形状残缺；处理模块，用于当稽核到所述边缘区域存在形状残缺时，对所述边缘区域进行平滑处理以减小所述形状残缺。

优选地，所述确定模块，用于确定所述字幕区域的长边对应的方向为所述运动方向。

优选地，所述移动模块，用于根据所述运动方向移动所述顶场图像和/或所述底场图像，以使移动后所述字幕区域的边缘强度最小。

优选地，所述移动模块包括：第一移动单元，用于根据所述运动方向按照不同移动距离矢量移动所述顶场图像和/或所述底场图像；计算单元，用于计算按照所述不同移动距离矢量移动所述字幕区域后对应的字幕区域在运动方向上的边缘强度；选取单元，用于选取取值最小的边缘强度对应的移动距离矢量作为最优移动距离矢量；第二移动单元，用于按照所述最优移动距离矢量移动所述顶场图像和/或所述底场图像。

优选地，所述移动模块还包括：获取单元，用于获取所述不同移动距离矢量的取值范围和用于调整所述不同移动距离矢量的步长。

优选地，所述稽核模块包括：第一分割单元，用于对所述边缘区域移动前的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第一数量的连通域；第二分割单元，用于对所述边缘区域移动后的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第二数量的连通域；第一确定单元，用于在所述第二数量大于所述第一数量时，确定存在所述形状残缺；在所述第二数量小于或等于所述第一数量时，确定不存在所述形状残缺。

优选地，所述处理模块，用于根据基于运动强度的自适应插值算法对所述边缘区域进行平滑处理，以减小所述形状残缺。

优选地，所述检测模块包括：第一检测单元，用于检测空间域上边缘强度与参考帧相比大于第一预定值的第一像素点，其中所述参考帧为当前图像数据帧的前一帧；第二检测单元，用于检测时间域上与所述参考帧的像素点亮度值的差分大于第二预定值的第二像素点；第三检测单元，用于检测所述图像数据帧四周边缘预定范围内的第三像素点；第四检测单元，用于按照像素点的亮度值和/或色度值对像素点分类，确定同一所述像素点分类中位置集中的第四像素点；第二确定单元，用于确定所述第一像素点、所述第二像素点、所述第三像素点和所述第四像素点交集的像素点所在区域构成的矩形区域为所述字幕区域。

通过本发明，读取隔行扫描所得视频流的图像数据帧，检测该图像数据帧中的字幕区域，确定字幕的运动方向，根据上述运动方向移动字幕区域的顶场图像和/或字幕区域的底场图像，提高了字幕显示效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的运动字幕的去隔行方法的流程图；

图2是根据本发明实施例的运动字幕的去隔行装置的结构框图；

图3是根据本发明实施例优选的运动字幕的去隔行方法的流程图；

图4是根据本发明实施例优选的运动字幕的去隔行方法的示意图；以及

图5是根据本发明实施例的亮度值聚类统计的示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1是根据本发明实施例的运动字幕的去隔行方法的流程图，如图1所示，该方法包括步骤S102至步骤S108。

步骤S102，读取隔行扫描所得视频流的图像数据帧。

步骤S104，检测上述图像数据帧中的字幕区域。字幕区域也称为字幕所在的区域。

步骤S106，确定字幕的运动方向。

步骤S108，根据上述运动方向移动字幕区域的顶场图像和/或字幕区域的底场图像。

通过本发明实施例，提高了隔行扫描所得视频流的字幕显示效果。

在本发明实施例的一个实施方式中，步骤S108之后，还可以稽核移动后字幕区域的边缘区域是否存在形状残缺；当稽核到该边缘区域存在形状残缺时，可以对该边缘区域进行平滑处理以减小形状残缺。

在本发明实施例的一个实施方式中，上述步骤S106，确定字幕的运动方向，包括：确定字幕区域的长边对应的方向为上述运动方向。

字幕区域可以是矩形区域，该矩形区域的长边的方向为字幕的运动方向，该长边的方向可以是垂直方向、水平方向，也可以是与水平方向或垂直方向存在一定夹角的方向。一般地，字幕的方向为水平方向或垂直方向。

上述的矩形区域可以是不规则的矩形区域，在本发明实施例中，可以对不规则的矩形区域进行调整，得到一个最接近的矩形，然后以该矩形的长边的方向作为字幕的运动方向。

在本发明实施例的一个实施方式中，上述步骤S108，可以根据上述运动方向移动字幕区域对应的顶场图像和/或字幕区域对应的底场图像，以使移动后所述字幕区域的在上述运动方向上的边缘强度最小。通过该实施方式，对字幕区域对应的顶场图像和/或字幕区域对应的底场图像进行移动，使得移动后所述字幕区域的在上述运动方向上的边缘强度最小，从而提高了字幕的显示效果。

在本发明实施例的一个优选实施方式中，可以根据上述运动方向按照不同移动距离矢量移动上述顶场图像和/或上述底场图像；计算按照不同移动距离矢量移动字幕区域后对应的在上述运动方向上的边缘强度，选取取值最小的边缘强度对应的移动距离矢量作为最优移动距离矢量，按照该最优移动距离矢量移动顶场图像和/或底场图像。

在本发明实施例的一个实施方式中，可以设置不同移动距离矢量的取值范围和用于调整该不同移动距离矢量的步长。上述的移动距离矢量包括移动的距离和移动的方向。

在本发明实施例中，上述的移动，可以是对底场图像的移动，也可以是对顶场图像的移动，还可以是对底场图像和顶场图像进行移动。

当上述运动方向为水平方向，则移动距离矢量为方向为水平方向，以水平方向的一端为正方向，则上述移动可以是延正方向和负方向两个方向移动。如果字幕从左向右显示，则可以向右移动底场图像，或者向左移动顶场图像，或者向右移动底场图像并向左移动顶场图像，移动的距离为单独移动顶场图像或底场图像的距离之和。

当上述运动方向为垂直方向，则移动距离矢量的方向为垂直方向，以垂直方向的一端为正方向，则上述移动可以是延正方向和负方向两个方向移动。如果字幕从上向下显示，则可以向下移动底场图像，或者向上移动顶场图像，或者向下移动底场图像并向上移动顶场图像，移动的距离为单独移动顶场图像或底场图像的距离之和。

当上述运动方向为与垂直方向或水平方法存在一定夹角时，则移动距离矢量的方向为夹角的方向，可以分解为垂直方向和水平方向的移动。分解后的移动方法与上述方法相同，同时在水平方向和垂直方向上移动，在此不再赘述。

在本发明实施例的一个实施方式中，上述方法还可以包括：稽核移动后字幕区域的边缘区域是否存在形状残缺；当稽核到该边缘区域存在形状残缺时，对该边缘区域进行平滑处理以减小形状残缺。

在本发明实施例的一个实施方式中，稽核移动后字幕区域的边缘区域是否存在形状残缺，包括：对移动后字幕区域的边缘区域移动前的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第一数量的连通域；对移动后字幕区域的边缘区域移动后的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第二数量的连通域；如果第二数量大于第一数量，则存在形状残缺；如果第二数量小于或等于第一数量，则不存在形状残缺。

优选地，可以根据基于运动强度的自适应插值算法对移动后字幕区域的边缘区域进行平滑处理，以减小形状残缺。基于运动补偿(Motion Compensation，简称为MC)的方法，通过匹配运动中的物体在多个场中的位置，为当前待去隔行场中的每个像素找到在其他相邻场中的对应位置，并以之为基准进行内插。

在本发明实施例的一个实施方式中，上述步骤S102可以包括：

(1)检测空间域上边缘强度与参考帧相比大于第一预定值的第一像素点，该参考帧为当前图像数据帧的前一帧。

优选地，对于视频流的第一帧数据不做上述处理。

(2)检测时间域上与所述参考帧的像素点亮度值的差分大于第二预定值的第二像素点。

(3)检测图像数据帧四周边缘预定范围内的第三像素点。

(4)按照像素点的亮度值和/或色度值对像素点分类，确定同一所述像素点分类中位置集中的第四像素点。

(5)确定第一像素点、第二像素点、第三像素点和第四像素点交集的像素点所在区域构成的矩形区域为所述字幕区域。

图2是根据本发明实施例的运动字幕的去隔行装置的结构框图，如图2所示，该装置包括：读取模块10、检测模块20、确定模块30和移动模块40。其中，读取模块10，用于读取隔行扫描所得视频流的图像数据帧；检测模块20，用于检测图像数据帧中的字幕区域；确定模块30，用于确定字幕的运动方向；移动模块40，用于根据上述运动方向移动字幕区域的顶场图像和/或字幕区域的底场图像。

通过本发明实施例，提高了隔行扫描所得视频流的字幕显示效果。

在本发明实施例的一个实施方式中，上述装置还包括：稽核模块，用于稽核移动后所述字幕区域的边缘区域是否存在形状残缺；处理模块，用于当稽核到所述边缘区域存在形状残缺时，对所述边缘区域进行平滑处理以减小所述形状残缺。

在本发明实施例的一个实施方式中，确定模块30，可以用于确定字幕区域的长边对应的方向为上述运动方向。

在本发明实施例的一个实施方式中，移动模块40，用于根据上述运动方向移动上述顶场图像和/或上述底场图像，以使移动后字幕区域的在上述运动方向上的边缘强度最小。

在本发明实施例的一个实施方式中，移动模块40可以包括：第一移动单元，用于根据上述运动方向按照不同移动距离矢量移动上述顶场图像和/或上述底场图像；计算单元，用于计算按照不同移动距离矢量移动字幕区域后对应的字幕区域在上述运动方向上的边缘强度；选取单元，用于选取取值最小的边缘强度对应的移动距离矢量作为最优移动距离矢量；第二移动单元，用于按照最优移动距离矢量移动上述顶场图像和/或上述底场图像。

在本发明实施例的一个实施方式中，上述移动模块40还包括：获取单元，用于获取上述不同移动距离矢量的取值范围和用于调整不同移动距离矢量的步长。

在本发明实施例的一个实施方式中，上述稽核模块可以包括：第一分割单元，用于对字幕区域的边缘区域移动前的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第一数量的连通域；第二分割单元，用于对字幕区域的边缘区域移动后的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第二数量的连通域；第一确定单元，用于在第二数量大于第一数量时，确定存在形状残缺；在第二数量小于或等于第一数量时，确定不存在形状残缺。

在本发明实施例的一个实施方式中，处理模块，可以用于根据基于运动强度的自适应插值算法对移动后的边缘区域进行平滑处理，以减小其形状残缺，提高字幕的显示效果。基于运动补偿(Motion Compensation，简称为MC)的方法，通过匹配运动中的物体在多个场中的位置，为当前待去隔行场中的每个像素找到在其他相邻场中的对应位置，并以之为基准进行内插。

在本发明实施例的一个实施方式中，检测模块20可以包括：

第一检测单元，用于检测空间域上边缘强度与参考帧相比大于第一预定值的第一像素点，其中该参考帧为当前图像数据帧的前一帧。

第二检测单元，用于检测时间域上与参考帧的像素点亮度值的差分大于第二预定值的第二像素点。

第三检测单元，用于检测图像数据帧四周边缘预定范围内的第三像素点。

第四检测单元，用于按照像素点的亮度值和/或色度值对像素点分类，确定同一像素点分类中位置集中的第四像素点。

第二确定单元，用于确定第一像素点、第二像素点、第三像素点和第四像素点交集的像素点所在区域构成的矩形区域为字幕区域。

可以预料的是，本发明实施例的方法及装置可以通过计算机程序单元实现。

下面结合一个优选实施例，对本发明实施例进行描述。

图3是根据本发明实施例优选的运动字幕的去隔行方法的流程图，如图3所示，该方法包括步骤S302至步骤S308。

步骤S302，以帧为单位读取输入视频流。

第一帧图像不作处理，从第二帧开始计算。每一帧处理，结束时都将未进行去隔行的当前帧输入数据设为前向参考帧，此参考帧用于字幕区域检测及边缘区域自适应滤波。

步骤S304，进行运动字幕区域检测，分割出含有连续运动字幕的图像区域，并判定运动方向。

步骤S306，根据运动方向对底场进行水平或垂直平移匹配，在每一个平移距离上计算横向边缘强度，取强度最小的距离作为最优距离，然后使非区域边缘的底场像素根据最优距离进行平移。

步骤S308，对边缘区域进行稽核形状残缺检验，若边缘区域有形状残缺，采用基于运动强度的自适应插值算法对字幕区域的边缘进行平滑处理，否则将边缘处的底场像素也按最优距离进行平移。

图4是根据本发明实施例优选的运动字幕的去隔行方法的示意图，如图4所示，该方法包括步骤S402至步骤S428。

步骤S402，读入一帧图像。

步骤S404，判断该帧图像是否为第一帧，如果是，进入步骤S428；如果否，进入步骤S406。

步骤S406，检测运动字幕区域。、

步骤S408，判断运动方法，如果是水平运动，进入步骤S410；如果是垂直运动，进入步骤S414。

步骤S410，底场水平平移匹配。

步骤S412，得到水平最优距离，进入步骤S418。

步骤S414，底场垂直平移匹配。

步骤S416，得到垂直最优距离。

步骤S418，对字幕区域的中心区域根据最优距离进行平移。

步骤S420，检测字幕区域边缘区域的几何形状残缺。

步骤S422，判断是否存在形状残缺，如果是，进入步骤424,；如果否，进入步骤S426。

步骤S424，边缘区域自适应插值，进入步骤S428。

步骤S426，边缘区域按最优距离平移。

步骤S428，将当前帧设置为前向参考帧，返回步骤S402，直到读取完所有的图像帧。

下面对上述方法的优选实施方式进行描述。

(1)字幕区域检测

运动字幕区域在空间域和时间域上的特点如下：(A)空间域上，有大量边缘强度很大的像素点，且这些像素点的边缘方向以水平和垂直为主。(B)时间域上，由于文字的强对比度及连续运动，在相同像素位置对当前帧与参考帧之间进行差分计算会得到很大的值。(C)若按照亮度值和色度值对像素进行分类，能得到一个较大比例的明显聚类的像素类别。(D)字幕通常出现在画面的四周。

因此，在本发明实施例中，字幕区域检测通过对以上四种特点进行加权计算得到含有运动字幕的区域。

λ_edge为边缘特性可能性系数，依照Sobel边缘检测滤波器的原理综合考虑方向和强度来计算。以p_i，j表示横坐标为i、纵坐标为j的像素点的亮度值，则该点处以水平右向为0度的0度、45度、90度、135度四个方向的边缘强度值为

edge_strength_0°＝|(p_i-1，j-1+2×p_i，j-1+p_i+1，j-1)-(p_i-1，j+1+2×p_i，j+1+p_i+1，j+1)|

edge_strength_45°＝|(p_i-1，j+2×p_i-1，j-1+p_i，j-1)-(p_i+1，j+2×p_i+1，j+1+p_i，j+1)|

edge_strength_90°＝|(p_i-1，j-1+2×p_i-1，j+p_i-1，j+1)-(p_i+1，j-1+2×p_i+1，j+p_i+1，j+1)|

edge_strength_135°＝|(p_i，j-1+2×p_i+1，j-1+p_i+1，j)-(p_i-1，j+2×p_i-1，j+1+p_i，j+1)|

则p_i，j点边缘强度

edge_strength_i,j＝max(edge_strength_0°,edge_strength_45°,edge_strength_90°,edge_strength_135°)

边缘方向为最大值对应的方向，导出

λ_edge＝edge_strength_i,j×α_direction/edge_strength_norm

其中α_direction在边缘方向为0度或90度时为1，否则为0.5。edge_strength_norm为参考帧中所有点的边缘强度的平均值。

λ_diff为差分特性可能性系数，以表示参考帧中横坐标为i、纵坐标为j的像素点的亮度值，则p_i，j点的差分值

以此导出

λ_diff＝diff_i,j/diff_norm

其中diff_norm为参考帧中所有点的差分值之和，第一帧中初始值为16。

λ_position为位置可能性系数，其计算方法为

λ_position＝ln(width/width-l)/ln(width)

其中width为图像宽、高中较大的一个，l为像素点与边缘的距离。

然后，按如下公式计算出每一个像素点的字幕可能性系数。

λ_pixel＝λ_edge×λ_diff×λ_position

然后将图像分割为16x16的小块，进行以小块为一个区域的计算。

λ_cluster为区域的聚类可能性系数。

对区域内像素的亮度值进行统计，统计亮度为每一种值时的像素数量，视频源中亮度的取值范围为0～255，典型的形状如图5所示。

以每一个亮度值对应的像素数的局部最大值为中心，以更小和更大的亮度值对应的最近的局部最小值为边界，计算其中像素数量占区域总数量的比例。遍历所有的局部最大值之后，得到占比最大的和次大的亮度聚类范围，其各自占区域内总像素数的比例为ρ₁和ρ₂，则

λ_cluster＝1-min(|ρ_norm-ρ₁|,|ρ_norm-ρ₂|)/ρ_norm

其中ρ_norm为预设的最优聚类比例，其典型值范围为0.3～0.4。

则得到每一个区域的字幕可能性系数计算方法为：

λ_block＝λ_cluster×∑λ_pixel/n_pixel其中n_pixel为区域中所包含的像素数。

最后遍历所有的16x16小块所能拼成的长方形，每个长方形的字幕可能性系数为

λ_caption＝∑λ_block/n_block

其中n_block为长方形中所包含的小块区域数量。

取整幅图像中λ_caption值最大的长方形区域为字幕区域。根据该长方形的宽高比来确定字幕运动方向，宽大于高的α倍时为水平运动，否则为垂直运动，α的典型值范围为0.5～4。

(2)底场平移匹配

以底场水平平移为例进行说明，垂直匹配时除了平移方向改为垂直方向之外没有任何区别。

字幕区域为顶场和底场像素交错形成的，其奇数行为顶场像素，偶数行为底场像素。每一个像素的亮度值与其上一行中对应位置像素的亮度值之差的绝对值可以用来表征这两个像素之间存在的横向边缘的强度，

hori_strength_i,j＝|p_i，j-p_i，j-1|

其值为0时表示这两个像素亮度值相同，该位置不存在边缘。其值很大时表示这两个像素亮度值相差很大，有明显可见的横向边缘效应。

去隔行可以认为是要从视觉上消除因为两场对应的显示时间点不同而人为造成的横向边缘效果。而且，作为字幕机生成字幕过程的逆过程，可以保证一定存在一个顶、底场的对应位置，该位置下顶、底场可以拼接为连续流畅的文字笔画。

去隔行采用平移匹配的方法，其流程如下：

此流程中min_hori_strength为搜索出的最小总横向边缘强度值，best_pos为对应最小横向边缘强度值的最优距离，pos为每次平移的实际距离，n为平移搜索的最大值，i为像素点横坐标，j为像素点纵坐标，p(i,j)表示(i,j)坐标点的像素值，hori_strength(i,j)为(i,j)坐标点的横向边缘强度，sum_hori_strength为区域内总横向边缘强度，abs为求绝对值的运算，sum为求和运算。

首先，对最小总横向边缘强度和最优距离赋初值。

然后，设定平移搜索的最大值n，以底场向左最多平移n及向右最多平移n为搜索范围。然后在每一个平移距离下进行如下各步骤：

将字幕区域内所有的底场像素按当前平移距离pos进行平移。

在字幕区域内逐像素计算所有点的横向边缘强度hori_strength(i,j)，其中底场数据均使用平移后的值进行计算。

将字幕区域内所有点的hori_strength(i,j)累加，得到当前平移距离下的总横向边缘强度。

然后，比较每一个平移距离下的总横向边缘强度，取其最小值对应的平移距离为最优距离。

最后，逐像素遍历区域内所有非边缘底场数据，将原本的像素值用按照最优距离平移后的像素值取代。

(3)边缘形状残缺检验及自适应边缘处理方式

边缘区域在本方法中被定义为字幕运动方向上的两个区域边缘范围，其宽度为m个像素，m的典型值为8～16。

字幕边缘处涉及文字的出现和消失，平移匹配的操作也会导致字幕区域外的像素被移入字幕区域内，所以边缘处的文字形状可能被平移匹配破坏，造成主观瑕疵，是必须要被处理的问题。因此，在字幕区域边缘处要先判定平移匹配是否会造成形状残缺，当不会造成形状残缺时对边缘区域按照上述(3)中得到的最优距离进行平移匹配，否则进行基于运动强度和边缘方向的自适应插值。

判断形状残缺的方法是对边缘区域进行图像分割。采用canny滤波器对未平移匹配的边缘区域进行边缘检测，并对边缘线进行连通处理，分割得到连通域数量w1,。然后用同样的方法分割平移匹配之后的边缘区域，得到连通域数量w2。若w2大于w1，即边缘区域的连通域数量增大，几何形状更加破碎，则认为平移匹配造成了边缘形状残缺。此时，边缘区域使用自适应插值方法。

自适应插值是仅对底场像素进行的，对底场中每一个像素点首先判断其是否需要插值，然后对需要插值的点选择方向并插值，否则不需处理。流程如下：

首先判断当前点是否具有明显运动。判断的方式是比较本帧的当前点、当前点的上方相邻点、当前点的下方相邻点与前向参考帧中对应位置点的亮度值的差分值是否大于阈值。若三个差分值中有两个大于阈值，则当前点被认为具有明显运动，当前点需要被插值，否则当前点不需要插值。此阈值的典型值为10～30。

然后，对于需要被插值的底场像素点，按照(2)中方式计算本点处的边缘方向，计算三个边缘强度edge_strength_45°、edge_strength_90°、edge_strength_135°的值，取其中值最大的强度对应的方向为本点处的边缘方向。

若边缘方向为45度，插值公式为

p_i，j＝(19×(p_i+1,j-1+p_i-1,j+1)-3×(p_i+3,j-3+p_i-3,j+3)+16)/32

若边缘方向为90度，插值公式为

p_i，j＝(19×(p_i,j-1+p_i,j+1)-3×(p_i,j-3+p_i,j+3)+16)/32

若边缘方向为135度，插值公式为

p_i，j＝(19×(p_i-1,j-1+p_i+1,j+1)-3×(p_i-3,j-3+p_i+3,j+3)+16)/32

从以上的描述中，可以看出，本发明实现了如下技术效果：去交错之后的字幕质量很高，文字笔画的边缘清晰。而且计算量相比基于运动补偿的方法也更小。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种运动字幕的去隔行方法，其特征在于，包括：

读取隔行扫描所得视频流的图像数据帧；

检测所述图像数据帧中的字幕区域；

确定字幕的运动方向；

根据所述运动方向移动所述字幕区域的顶场图像和/或所述字幕区域的底场图像；

其中，所述方法还包括：稽核移动后所述字幕区域的边缘区域是否存在形状残缺；当稽核到所述边缘区域存在形状残缺时，对所述边缘区域进行平滑处理以减小所述形状残缺；

其中，根据所述运动方向移动所述字幕区域的顶场图像和/或所述字幕区域的底场图像，包括：根据所述运动方向按照不同移动距离矢量移动所述顶场图像和/或所述底场图像；计算按照所述不同移动距离矢量移动所述字幕区域后对应的所述字幕区域在所述运动方向上的边缘强度；选取取值最小的边缘强度对应的移动距离矢量作为最优移动距离矢量；按照所述最优移动距离矢量移动所述顶场图像和/或所述底场图像；

其中，所述字幕区域为顶场像素和底场像素交错形成的，所述字幕区域的奇数行为所述顶场像素，偶数行为所述底场像素，每一个所述像素的亮度值与上一行中对应位置像素的亮度值之差的绝对值表征两个像素之间存在的横向边缘的强度。

2.根据权利要求1所述的方法，其特征在于，确定字幕的运动方向，包括：

所述字幕区域的长边对应的方向为所述运动方向。

3.根据权利要求1所述的方法，其特征在于，根据所述运动方向移动所述顶场图像和/或所述底场图像，包括：

根据所述运动方向移动所述顶场图像和/或所述底场图像，以使移动后所述字幕区域在所述运动方向上的边缘强度最小。

4.根据权利要求1所述的方法，其特征在于，还包括：获取所述不同移动距离矢量的取值范围和用于调整所述不同移动距离矢量的步长。

5.根据权利要求1所述的方法，其特征在于，稽核移动后所述字幕区域的边缘区域是否存在形状残缺，包括：

对所述边缘区域移动前的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第一数量的连通域；

对所述边缘区域移动后的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第二数量的连通域；

如果所述第二数量大于所述第一数量，则存在所述形状残缺；如果所述第二数量小于或等于所述第一数量，则不存在所述形状残缺。

6.根据权利要求1或5所述的方法，其特征在于，对所述边缘区域进行平滑处理以减小所述形状残缺，包括：

根据基于运动强度的自适应插值算法对所述边缘区域进行平滑处理，以减小所述形状残缺。

7.根据权利要求1所述的方法，其特征在于，检测所述图像数据帧中的字幕区域，包括：

检测空间域上边缘强度与参考帧相比大于第一预定值的第一像素点，其中所述参考帧为当前图像数据帧的前一帧；

检测时间域上与所述参考帧的像素点亮度值的差分大于第二预定值的第二像素点；

检测所述图像数据帧四周边缘预定范围内的第三像素点；

按照像素点的亮度值和/或色度值对像素点分类，确定同一所述像素点分类中位置集中的第四像素点；

确定所述第一像素点、所述第二像素点、所述第三像素点和所述第四像素点交集的像素点所在区域构成的矩形区域为所述字幕区域。

8.一种运动字幕的去隔行装置，其特征在于，包括：

读取模块，用于读取隔行扫描所得视频流的图像数据帧；

检测模块，用于检测所述图像数据帧中的字幕区域；

确定模块，用于确定字幕的运动方向；

移动模块，用于根据所述运动方向移动所述字幕区域的顶场图像和/或所述字幕区域的底场图像；

其中，所述装置还包括：稽核模块，用于稽核移动后所述字幕区域的边缘区域是否存在形状残缺；处理模块，用于当稽核到所述边缘区域存在形状残缺时，对所述边缘区域进行平滑处理以减小所述形状残缺；

其中，所述移动模块包括：第一移动单元，用于根据所述运动方向按照不同移动距离矢量移动所述顶场图像和/或所述底场图像；计算单元，用于计算按照所述不同移动距离矢量移动所述字幕区域后对应的所述字幕区域在所述运动方向上的边缘强度；选取单元，用于选取取值最小的边缘强度对应的移动距离矢量作为最优移动距离矢量；第二移动单元，用于按照所述最优移动距离矢量移动所述顶场图像和/或所述底场图像；

其中，所述字幕区域为顶场像素和底场像素交错形成的，所述字幕区域的奇数行为所述顶场像素，偶数行为所述底场像素，每一个所述像素的亮度值与上一行中对应位置像素的亮度值之差的绝对值表征两个像素之间存在的横向边缘的强度。

9.根据权利要求8所述的装置，其特征在于，所述确定模块，用于确定所述字幕区域的长边对应的方向为所述运动方向。

10.根据权利要求8所述的装置，其特征在于，所述移动模块，用于根据所述运动方向移动所述顶场图像和/或所述底场图像，以使移动后所述字幕区域在所述运动方向上的边缘强度最小。

11.根据权利要求8所述的装置，其特征在于，所述移动模块还包括：获取单元，用于获取所述不同移动距离矢量的取值范围和用于调整所述不同移动距离矢量的步长。

12.根据权利要求8所述的装置，其特征在于，所述稽核模块包括：

第一分割单元，用于对所述边缘区域移动前的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第一数量的连通域；

第二分割单元，用于对所述边缘区域移动后的图像数据进行边缘检测，对检测得到的边缘线进行连通处理，分割得到第二数量的连通域；

第一确定单元，用于在所述第二数量大于所述第一数量时，确定存在所述形状残缺；在所述第二数量小于或等于所述第一数量时，确定不存在所述形状残缺。

13.根据权利要求8或12所述的装置，其特征在于，所述处理模块，用于根据基于运动强度的自适应插值算法对所述边缘区域进行平滑处理，以减小所述形状残缺。

14.根据权利要求8所述的装置，其特征在于，所述检测模块包括：

第一检测单元，用于检测空间域上边缘强度与参考帧相比大于第一预定值的第一像素点，其中所述参考帧为当前图像数据帧的前一帧；

第二检测单元，用于检测时间域上与所述参考帧的像素点亮度值的差分大于第二预定值的第二像素点；

第三检测单元，用于检测所述图像数据帧四周边缘预定范围内的第三像素点；

第四检测单元，用于按照像素点的亮度值和/或色度值对像素点分类，确定同一所述像素点分类中位置集中的第四像素点；

第二确定单元，用于确定所述第一像素点、所述第二像素点、所述第三像素点和所述第四像素点交集的像素点所在区域构成的矩形区域为所述字幕区域。