CN109040825A - 一种字幕截取方法及装置 - Google Patents

Abstract

本申请提供了一种截取字幕的方法及装置，将包括待截取的字幕的候选图像帧序列中的图像帧确定为第一类图像帧和第二类图像帧，并将第一类图像帧中的字幕与第二类图像帧拼接为字幕截取图像。其中，第一类图像帧为候选图像帧序列中与前一个候选图像帧的相似度大于预设阈值的候选图像帧，第二类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度不大于预设阈值的候选图像帧，可见，在图像帧与前一个图像帧相似的情况下，仅将第一类图像帧中的字幕拼接到字幕截取图像中，在图像帧与前一个图像帧不相似的情况下，将整个图像帧进行拼接到字幕截取图像中，因此，不仅能够提高字幕截取的便利性，还能降低字幕截取图像的空间占用量。

Description

一种字幕截取方法及装置

技术领域

本申请涉及电子信息领域，尤其涉及一种字幕截取方法及装置。

背景技术

随着截屏技术的发展，越来越多的用户在观看视频的过程中，有截取字幕的需求。

如果用户需要截取分布在视频中的多个图像帧的字幕，目前，只能分别截取包括字幕的多个图像帧，再使用图像处理软件将多个图像帧进行拼接。

显然，上述字幕截取方法操作繁琐，因此便利性不高。

发明内容

申请人在研究的过程中发现，现有的一些视频播放软件具有自动将用户截取的图像帧拼接为一幅图像的功能，虽然提高了字幕截取的便利性，但拼接得到的字幕截取图像的空间占用量较大，不利于存储与转发。

本申请提供了一种截取字幕的方法及装置，目的在于解决如何提高字幕截取的便利性且降低字幕截取图像的空间占用量的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种截取字幕的方法，包括：

获取候选图像帧，所述候选图像帧为包括待截取的字幕的图像帧；

确定候选图像帧序列中的第一类图像帧和第二类图像帧，所述候选图像帧序列为所述候选图像帧按照时间戳的预设排序规则排列形成的序列；其中，所述第一类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度大于预设阈值的候选图像帧，所述第二类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度不大于预设阈值的候选图像帧；

将所述第一类图像帧中的字幕与所述第二类图像帧拼接为字幕截取图像。

可选的，所述将所述第一类图像帧中的字幕与所述第二类图像帧拼接为字幕截取图像，包括：

从所述候选图像帧中选择初始图像帧，并将所述初始图像帧作为迭代图像；

依次将其它图像帧作为当前图像帧，进行如下操作：如果所述当前图像帧为所述第一类图像帧，将所述当前图像帧中的字幕拼接到所述迭代图像中，得到更新的迭代图像；如果所述当前图像帧为所述第二类图像帧，将所述当前图像帧拼接到所述迭代图像中，得到更新的迭代图像；其中，所述其它图像帧为所述候选图像帧中，除所述初始图像帧之外的候选图像帧；

将遍历全部所述其它图像帧之后得到的迭代图像，作为所述字幕截取图像。

可选的，所述从所述候选图像帧中选择初始图像帧，包括：

将所述候选图像帧序列中的第一个图像帧作为所述初始图像帧；

所述将所述当前图像帧中的字幕拼接到所述迭代图像中，包括：

从所述当前图像帧中截取字幕图像帧，所述字幕图像帧为包括所述字幕的区域，且所述字幕图像帧的面积小于所述当前图像；

将所述字幕图像帧拼接在所述迭代图像中的最后一个图像帧之后；

所述将所述当前图像帧拼接到所述迭代图像中包括：

将所述当前图像帧拼接到所述迭代图像中的最后一个图像帧之后。

可选的，所述获取候选图像帧，包括：

获取用户选择的时间范围；

依据预设的字幕信息表，将视频中时间戳在所述时间范围内的图像帧，作为所述候选图像帧，所述字幕信息表中包括任意一条字幕与时间戳的对应关系。

可选的，对于任意一条待截取字幕，在存在多个候选图像帧的情况下，从所述该待截取字幕的多个候选图像帧中选择一个作为包括该待截取字幕的候选图像帧。

一种截取字幕的装置，包括：

获取模块，用于获取候选图像帧，所述候选图像帧为包括待截取的字幕的图像帧；

确定模块，用于确定候选图像帧序列中的第一类图像帧和第二类图像帧，所述候选图像帧序列为所述候选图像帧按照时间戳的预设排序规则排列形成的序列；其中，所述第一类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度大于预设阈值的候选图像帧，所述第二类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度不大于预设阈值的候选图像帧；

拼接模块，用于将所述第一类图像帧中的字幕与所述第二类图像帧拼接为字幕截取图像。

可选的，所述拼接模块用于将所述第一类图像帧中的字幕与所述第二类图像帧拼接为字幕截取图像，包括：

所述拼接模块具体用于，从所述候选图像帧中选择初始图像帧，并将所述初始图像帧作为迭代图像；依次将其它图像帧作为当前图像帧，进行如下操作：如果所述当前图像帧为所述第一类图像帧，将所述当前图像帧中的字幕拼接到所述迭代图像中，得到更新的迭代图像；如果所述当前图像帧为所述第二类图像帧，将所述当前图像帧拼接到所述迭代图像中，得到更新的迭代图像；其中，所述其它图像帧为所述候选图像帧中，除所述初始图像帧之外的候选图像帧；将遍历全部所述其它图像帧之后得到的迭代图像，作为所述字幕截取图像。

可选的，所述拼接模块用于从所述候选图像帧中选择初始图像帧，包括：

所述拼接模块具体用于，将所述候选图像帧序列中的第一个图像帧作为所述初始图像帧；

所述拼接模块用于将所述当前图像帧中的字幕拼接到所述迭代图像中，包括：

所述拼接模块具体用于，从所述当前图像帧中截取字幕图像帧，所述字幕图像帧为包括所述字幕的区域，且所述字幕图像帧的面积小于所述当前图像；将字幕图像帧拼接在所述迭代图像中的最后一个图像帧之后；

所述拼接模块用于将所述当前图像帧拼接到所述迭代图像中包括：

所述拼接模块具体用于，将所述当前图像帧拼接到所述迭代图像中的最后一个图像帧之后。

可选的，所述获取模块用于获取候选图像帧包括：

所述获取模块具体用于，获取用户选择的时间范围；依据预设的字幕信息表，将视频中时间戳在所述时间范围内的图像帧，作为所述候选图像帧，所述字幕信息表中包括任意一条字幕与时间戳的对应关系。

可选的，所述获取模块还用于：

对于任意一条待截取字幕，在存在多个候选图像帧的情况下，从所述该待截取字幕的多个候选图像帧中选择一个作为包括该待截取字幕的候选图像帧。

本申请所述的截取字幕的方法及装置，将包括待截取的字幕的候选图像帧序列中的图像帧确定为第一类图像帧和第二类图像帧，并将第一类图像帧中的字幕与第二类图像帧拼接为字幕截取图像。其中，第一类图像帧为候选图像帧序列中与前一个候选图像帧的相似度大于预设阈值的候选图像帧，第二类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度不大于预设阈值的候选图像帧，可见，在图像帧与前一个图像帧相似的情况下，仅将第一类图像帧中的字幕拼接到字幕截取图像中，在图像帧与前一个图像帧不相似的情况下，将整个图像帧进行拼接到字幕截取图像中，因此，不仅能够提高字幕截取的便利性，还能降低字幕截取图像的空间占用量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的字幕截取方法的流程图；

图2为候选图像帧序列的示例图；

图3为本申请实施例公开的字幕截取方法获得的字幕截取图像的示例图；

图4为本申请实施例公开的又一字幕截取方法的流程图；

图5为本申请实施例公开的字幕截取装置的结构示意图。

具体实施方式

本申请实施例公开的字幕截取方法，可以应用在视频播放类应用中，进一步的，设置在播放类应用的客户端和网络端均可，以便用户在观看视频的过程中，便利地截取字幕。

在以下实施例中所述的视频，由图像帧按照时间先后顺序排列构成。视频中显示的字幕具有时间戳，在视频播放过程中，字幕显示在与其具有相同的时间戳的图像帧中。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例公开的字幕截取方法，包括以下步骤：

S101：获取候选图像帧。

其中，候选图像帧为包括待截取的字幕的图像帧。候选图像帧由用户选择，具体的选择方式将在后续实施例中说明。

S102：将候选图像帧按照时间戳的预设排序规则排列，得到候选图像帧序列。

如前所述，视频由图像帧按照时间先后顺序排列构成，因此，候选图像帧序列的排列依据为候选图像帧的时间戳。

预设的排序规则可以包括但不限于：从先到后或者从后到先，以从先到后为例，即候选图像帧序列中，时间戳在先的候选图像帧排在时间戳在后的候选图像帧之前。

S103：确定候选图像帧序列中的第一类图像帧和第二类图像帧。

其中，第一类图像帧为候选图像帧序列中与前一个候选图像帧的相似度大于预设阈值的候选图像帧。第二类图像帧为候选图像帧序列中与前一个候选图像帧的相似度不大于预设阈值的候选图像帧。例如，图2中包括一个候选图像帧序列中的三个图像帧，其中，第二个图像帧与第三个图像帧中，除字幕之外，其它内容高度相似，因此，相似度大于预设阈值(相似度的计算方式可以参见现有技术)。而第一个图像帧与第二个和第三个图像帧的内容明显不相似，相似度小于预设阈值，因此，在图2所示的序列中，第一类图像帧为与第二个图像帧较为相似的第三个图像帧，第二类图像帧为与第一个图像帧不相似的第二个图像帧。候选图像帧序列中的第一个图像帧，因为不存在前一个图像帧，因此，为第二类图像帧。预设阈值可以依据经验设置。

S104：从第一类图像帧中截取字幕所占的区域，得到字幕图像帧。

例如，从一帧第一类图像帧中截取包括该图像帧中的全部字幕的长方形区域。从图像帧中截取字幕图像帧的方式可以参见现有技术，这里不再赘述。

S105：将字幕图像帧与第二类图像帧拼接为字幕截取图像。

图3为图2所示的图像帧序列拼接得到的字幕截取图像，字幕截取图像中，按照从上到下的顺序，第一张图像为候选图像帧序列中的第一个图像帧，为第二类图像帧，因此，包括全部的图像内容和字幕。第二张图像与第一张图像的内容有较大差异，因此，也为第二类图像帧，包括全部的图像内容和字幕。在之后的图像帧与前一个图像帧较为相似的情况下，如图2中所示，字幕截取图像中第二张图像之后的图像均为图像帧中仅包括字幕的区域。需要说明的是，也可以将字幕(而非字幕图像帧)与第二类图像帧拼接为字幕截取图像。具体的，可以按照候选图像帧的时间戳，查询字幕信息表(字幕信息表中存储字幕与时间戳的对应关系)获取字幕，并将获取的字幕以图像的形式与第二类图像帧拼接为字幕截取图像。

从图3可以看出，图1所示的方法，不仅能够自动将视频中包括目标字幕的图像帧拼接为字幕截取图像，而且，还可以将相似的图像帧的字幕合并到一个图像帧之下，而不会重复显示相似的图像帧，因此，能够得到空间占用较小的字幕截取图像，从而方便存储和转发。

进一步的，将相似的图像帧的字幕合并到一个图像帧之下，还使得字幕截取图像简洁且内容紧凑，从而获得良好的用户体验。

图4为本申请实施例公开的字幕截取方法的又一种实现过程，与图1相比，包括更为详细的执行步骤：

S401：获取字幕信息表，字幕信息表中包括任意一条字幕与时间戳的对应关系。

字幕信息表可以由维护人员预先存储在视频播放服务器中，在S401中，从视频播放服务器中调用。字幕与时间戳的对应关系指示的是字幕显示的时间。

S402：显示时间范围输入界面，并接收用户在界面中输入的时间范围。

时间范围输入界面可以是输入框的形式，用户在输入框中输入时间范围，也可以是交互界面的形式，用户可以在交互界面中拖动视频的进度条(在用户拖动过程中，可以显示进度条上的每个时刻点对应的图像帧)，拖动起始点对应的时间即为时间范围的起始时间，拖动对应的时间即为终止点，终止时间。

S403：初始化计数器i＝1。

S404：通过查询字幕信息表，获取视频中时间戳在时间范围内的字幕中按照时间戳从先到后的顺序的第i条字幕。

S405：截取与第i条字幕具有相同的时间戳的一个图像帧。

有可能，一条字幕出现的在两个图像帧中(即该条字幕的时间戳范围内包括多个图像帧的时间戳)，但本实施例里，选择一个包括该条字幕的图像帧，以进一步减小字幕截取图像的空间占用量。具体的，可以随机选择，也可以按照时间戳选择，例如选择时间戳在先的图像帧。

S406：判断时间戳在时间范围内的字幕中，按照时间戳从先到后的顺序，第i条字幕之后是否还有字幕，如果是，执行S407，否则，执行S408。

S407：i＝i+1，返回执行S404。

S408：将截取到的第一个图像帧作为初始图像帧，并将所述初始图像帧作为迭代图像。

可选的，也可以选择其它图像帧作为初始图像帧，例如视频的第一个图像帧(可能时间戳不在时间范围内)。但选择截取到的图像帧中的一个图像帧作为初始图像帧，不会引入新的图像帧，从而减小字幕截取图像的空间占用量。

S409：初始化计数器j＝1。

S410：判断截取到的图像帧中，按照时间戳从先到后的顺序的第j+1个图像帧与第j个图像帧的相似度是否大于预设阈值，如果是，执行S411，如果否，执行S412。

S411：将第j+1个图像帧中的字幕图像帧拼接到迭代图像中的最后一个图像帧之后。

S412：将第j+1个图像帧拼接到迭代图像中的最后一个图像帧之后。

S413：判断截取的图像帧是否还有未拼接到字幕截取图像中的图像帧，如果是，执行S414，否则，执行S415。

S414：j＝j+1，返回执行S410。

S415：输出最终的迭代图像作为字幕截取图像。

图5为本申请实施例公开的一种截取字幕的装置，包括：获取模块、确定模块和拼接模块。

其中，获取模块，用于获取候选图像帧，所述候选图像帧为包括待截取的字幕的图像帧。确定模块用于确定候选图像帧序列中的第一类图像帧和第二类图像帧，所述候选图像帧序列为所述候选图像帧按照时间戳的预设排序规则排列形成的序列。其中，所述第一类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度大于预设阈值的候选图像帧，所述第二类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度不大于预设阈值的候选图像帧。拼接模块用于将所述第一类图像帧中的字幕与所述第二类图像帧拼接为字幕截取图像。

以上各个模块的功能的具体实现方式，可以参见上述方法实施例，这里不再赘述。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种截取字幕的方法，其特征在于，包括：

获取候选图像帧，所述候选图像帧为包括待截取的字幕的图像帧；

确定候选图像帧序列中的第一类图像帧和第二类图像帧，所述候选图像帧序列为所述候选图像帧按照时间戳的预设排序规则排列形成的序列；其中，所述第一类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度大于预设阈值的候选图像帧，所述第二类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度不大于预设阈值的候选图像帧；

将所述第一类图像帧中的字幕与所述第二类图像帧拼接为字幕截取图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一类图像帧中的字幕与所述第二类图像帧拼接为字幕截取图像，包括：

从所述候选图像帧中选择初始图像帧，并将所述初始图像帧作为迭代图像；

依次将其它图像帧作为当前图像帧，进行如下操作：如果所述当前图像帧为所述第一类图像帧，将所述当前图像帧中的字幕拼接到所述迭代图像中，得到更新的迭代图像；如果所述当前图像帧为所述第二类图像帧，将所述当前图像帧拼接到所述迭代图像中，得到更新的迭代图像；其中，所述其它图像帧为所述候选图像帧中，除所述初始图像帧之外的候选图像帧；

将遍历全部所述其它图像帧之后得到的迭代图像，作为所述字幕截取图像。

3.根据权利要求2所述的方法，其特征在于，所述从所述候选图像帧中选择初始图像帧，包括：

将所述候选图像帧序列中的第一个图像帧作为所述初始图像帧；

所述将所述当前图像帧中的字幕拼接到所述迭代图像中，包括：

从所述当前图像帧中截取字幕图像帧，所述字幕图像帧为包括所述字幕的区域，且所述字幕图像帧的面积小于所述当前图像；

将所述字幕图像帧拼接在所述迭代图像中的最后一个图像帧之后；

所述将所述当前图像帧拼接到所述迭代图像中包括：

将所述当前图像帧拼接到所述迭代图像中的最后一个图像帧之后。

4.根据权利要求1所述的方法，其特征在于，所述获取候选图像帧，包括：

获取用户选择的时间范围；

依据预设的字幕信息表，将视频中时间戳在所述时间范围内的图像帧，作为所述候选图像帧，所述字幕信息表中包括任意一条字幕与时间戳的对应关系。

5.根据权利要求4所述的方法，其特征在于，对于任意一条待截取字幕，在存在多个候选图像帧的情况下，从所述该待截取字幕的多个候选图像帧中选择一个作为包括该待截取字幕的候选图像帧。

6.一种截取字幕的装置，其特征在于，包括：

获取模块，用于获取候选图像帧，所述候选图像帧为包括待截取的字幕的图像帧；

确定模块，用于确定候选图像帧序列中的第一类图像帧和第二类图像帧，所述候选图像帧序列为所述候选图像帧按照时间戳的预设排序规则排列形成的序列；其中，所述第一类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度大于预设阈值的候选图像帧，所述第二类图像帧为所述候选图像帧序列中与前一个候选图像帧的相似度不大于预设阈值的候选图像帧；

拼接模块，用于将所述第一类图像帧中的字幕与所述第二类图像帧拼接为字幕截取图像。

7.根据权利要求6所述的装置，其特征在于，所述拼接模块用于将所述第一类图像帧中的字幕与所述第二类图像帧拼接为字幕截取图像，包括：

所述拼接模块具体用于，从所述候选图像帧中选择初始图像帧，并将所述初始图像帧作为迭代图像；依次将其它图像帧作为当前图像帧，进行如下操作：如果所述当前图像帧为所述第一类图像帧，将所述当前图像帧中的字幕拼接到所述迭代图像中，得到更新的迭代图像；如果所述当前图像帧为所述第二类图像帧，将所述当前图像帧拼接到所述迭代图像中，得到更新的迭代图像；其中，所述其它图像帧为所述候选图像帧中，除所述初始图像帧之外的候选图像帧；将遍历全部所述其它图像帧之后得到的迭代图像，作为所述字幕截取图像。

8.根据权利要求7所述的装置，其特征在于，所述拼接模块用于从所述候选图像帧中选择初始图像帧，包括：

所述拼接模块具体用于，将所述候选图像帧序列中的第一个图像帧作为所述初始图像帧；

所述拼接模块用于将所述当前图像帧中的字幕拼接到所述迭代图像中，包括：

所述拼接模块具体用于，从所述当前图像帧中截取字幕图像帧，所述字幕图像帧为包括所述字幕的区域，且所述字幕图像帧的面积小于所述当前图像；将所述字幕图像帧拼接在所述迭代图像中的最后一个图像帧之后；

所述拼接模块用于将所述当前图像帧拼接到所述迭代图像中包括：

所述拼接模块具体用于，将所述当前图像帧拼接到所述迭代图像中的最后一个图像帧之后。

9.根据权利要求6所述的装置，其特征在于，所述获取模块用于获取候选图像帧包括：

所述获取模块具体用于，获取用户选择的时间范围；依据预设的字幕信息表，将视频中时间戳在所述时间范围内的图像帧，作为所述候选图像帧，所述字幕信息表中包括任意一条字幕与时间戳的对应关系。

10.根据权利要求9所述的装置，其特征在于，所述获取模块还用于：

对于任意一条待截取字幕，在存在多个候选图像帧的情况下，从所述该待截取字幕的多个候选图像帧中选择一个作为包括该待截取字幕的候选图像帧。