CN114422841A - 字幕生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种字幕生成方法、装置、电子设备及存储介质。其中，所述字幕生成方法，包括：获取待编辑视频；确定所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度；根据所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频；根据所述目标参考视频对应的字幕信息生成所述待编辑视频的字幕。采用本公开实施例提供的字幕生成方法可以结合预设视频集合中的参考视频，自动生成待编辑视频的字幕，可以有效提高用户体验。

Description

字幕生成方法、装置、电子设备及存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及一种字幕生成方法、装置、电子设备及存储介质。

背景技术

相关技术中，用户在编辑视频的过程中，经常需要为视频添加字幕。目前，为视频添加字幕的过程为：用户想好要添加的字幕文本，再在视频中的字幕区域手动输入要添加的字幕文本。这样，视频中添加的字幕需要用户自己创作和手动输入，如此，会导致用户体验较差。

发明内容

本公开提供一种字幕生成方法、装置、电子设备及存储介质，以至少解决相关技术中用户体验较差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种字幕生成方法，包括：

获取待编辑视频；

确定所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度；

根据所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频；

根据所述目标参考视频对应的字幕信息生成所述待编辑视频的字幕。

在一种可能的实施方式中，所述确定所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度，包括：

根据所述待编辑视频的第一视频帧，生成所述待编辑视频对应的第一特征向量；

确定所述第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度；

所述根据所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频，包括：

根据所述第一特征向量与所述至少一个第二特征向量之间的相似度确定目标参考视频。

在一种可能的实施方式中，在所述获取待编辑视频之前，还包括：

按照预设间隔时长提取所述预设视频集合中所述每个参考视频的第二视频帧；

通过图像分类算法对所述每个参考视频的第二视频帧进行分类；

基于每个参考视频中各个类别的第二视频帧数量，生成所述预设视频集合中每个参考视频对应的第二特征向量。

在一种可能的实施方式中，所述根据所述待编辑视频的第一视频帧，生成所述待编辑视频对应的第一特征向量之前，还包括：

按照预设间隔时长提取所述待编辑视频中的第一视频帧；

所述根据所述待编辑视频的第一视频帧，生成所述待编辑视频对应的第一特征向量，包括：

通过图像分类算法对所述待编辑视频的第一视频帧进行分类；

基于所述待编辑视频中各个类别的第一视频帧数量，生成所述待编辑视频对应的第一特征向量。

在一种可能的实施方式中，所述确定所述第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度，包括：

分别计算所述第一特征向量与所述预设视频集合中至少一个所述参考视频对应的至少一个第二特征向量之间的欧氏距离。

在一种可能的实施方式中，所述根据所述第一特征向量与所述至少一个第二特征向量之间的相似度确定目标参考视频，包括：

从所述欧氏距离中选取预设数量个数值最小的目标欧氏距离；其中，所述预设数量为一个或多个；

将每个所述目标欧氏距离对应的参考视频确定为目标参考视频。

在一种可能的实施方式中，所述根据所述目标参考视频对应的字幕信息生成所述待编辑视频的字幕，包括：

获取每个所述目标参考视频对应的字幕信息；

显示所有所述字幕信息；

接收用户的操作指令，所述操作指令用于从所有所述字幕信息中选择目标字幕信息；

响应于所述操作指令，基于所述目标字幕信息，生成所述待编辑视频的字幕。

根据本公开实施例的第二方面，提供一种字幕生成装置，包括：

获取模块，被配置为获取待编辑视频；

相似度确定模块，被配置为确定所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度；

视频确定模块，被配置为根据所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频；

字幕生成模块，被配置为根据所述目标参考视频对应的字幕信息生成所述待编辑视频的字幕。

在一种可能的实施方式中，所述相似度确定模块，包括：

向量生成单元，被配置为根据所述待编辑视频的第一视频帧，生成所述待编辑视频对应的第一特征向量；

相似度确定单元，被配置为确定所述第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度；

所述视频确定模块，具体被配置为：

根据所述第一特征向量与所述至少一个第二特征向量之间的相似度确定目标参考视频。

在一种可能的实施方式中，所述字幕生成装置，还包括：

第一提取模块，被配置为按照预设间隔时长提取所述预设视频集合中所述每个参考视频的第二视频帧；

分类模块，被配置为通过图像分类算法对所述每个参考视频的第二视频帧进行分类；

第二向量生成模块，被配置为基于每个参考视频中各个类别的第二视频帧数量，生成所述预设视频集合中每个参考视频对应的第二特征向量。

在一种可能的实施方式中，所述字幕生成装置，还包括：

第二提取模块，被配置为按照预设间隔时长提取所述待编辑视频中的第一视频帧；

所述向量生成单元，包括：

分类子单元，被配置为通过图像分类算法对所述待编辑视频的第一视频帧进行分类；

向量生成子单元，被配置为基于所述待编辑视频中各个类别的第一视频帧数量，生成所述待编辑视频对应的第一特征向量。

在一种可能的实施方式中，所述相似度确定单元，具体被配置为：

分别计算所述第一特征向量与所述预设视频集合中至少一个所述参考视频对应的至少一个第二特征向量之间的欧氏距离。

在一种可能的实施方式中，所述视频确定模块，包括：

选取单元，被配置为从所述欧氏距离中选取预设数量个数值最小的目标欧氏距离；其中，所述预设数量为一个或多个；

确定单元，被配置为将每个所述目标欧氏距离对应的参考视频确定为目标参考视频。

在一种可能的实施方式中，所述字幕生成模块，包括：

获取单元，被配置为获取每个所述目标参考视频的字幕信息；

显示单元，被配置为显示所有所述字幕信息；

接收单元，被配置为接收用户的操作指令，所述操作指令用于从所有所述字幕信息中选择目标字幕信息；

字幕生成单元，被配置为响应于所述操作指令，基于所述目标字幕信息，生成所述待编辑视频的字幕。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项所述的字幕生成方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面中任一项所述的字幕生成方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一项所述的字幕生成方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

在本公开的实施例中，通过获取待编辑视频，根据待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频，再根据目标参考视频对应的字幕信息生成待编辑视频的字幕。这样，可以结合预设视频集合中的参考视频，自动生成待编辑视频的字幕，也就是说，无需用户创作字幕文本也无需手动输入，即可自动为待编辑视频生成字幕，如此，可以有效提高用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种字幕生成方法的流程图。

图2是根据一示例性实施例示出的另一种字幕生成方法的流程图。

图3是根据一示例性实施例示出的又一种字幕生成方法的流程图。

图4是根据一示例性实施例示出的再一种字幕生成方法的流程图。

图5是根据一示例性实施例示出的一种字幕生成装置的框图。

图6是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

由背景技术可知，相关技术中，需要用户自己创作字幕文本且需要用户手动输入字幕文本，会导致用户体验较差。基于此，本公开实施例提供了一种字幕生成方法、装置、电子设备及存储介质，能够自动为待编辑视频生成字幕，有效提高用户体验。

下面结合附图对本公开实施例提供的字幕生成方法、装置、电子设备及存储介质进行详细说明。

图1是根据一示例性实施例示出的一种字幕生成方法的流程图，该字幕生成方法可以应用于电子设备，例如，可以为手机、平板电脑、电脑。如图1所示，字幕生成方法可以包括以下步骤。

在步骤S101中，获取待编辑视频。

在本公开实施例中，电子设备可以获取需要添加字幕的视频，即待编辑视频。可以理解的，用户在编辑视频时，电子设备可以自动获取该视频作为待编辑视频，或者，也可以在接收到用户的指令后，获取待编辑视频。

在步骤S102中，确定待编辑视频与预设视频集合中至少一个参考视频之间的相似度。

其中，预设视频集合可以是包括至少一个参考视频的集合，参考视频可以是预先选择好的符合预设条件的视频，预设条件可以包括视频中存在可识别的字幕信息、视频中的字幕内容可以用于其他视频、播放量大于预设阈值等条件中的一个或多个。示例性的，对于情景剧视频，由于情景剧视频中的字幕信息通常是与剧中演员的台词一一对应的，这种视频的字幕信息通常不能应用于其他视频，所以这种类型的视频不能作为参考视频；对于vlog(video blog，微录)视频，由于vlog视频的字幕信息通常是描述心情的，这种字幕信息通常是可以应用于其他视频的，所以这种类型的视频可以作为参考视频。可以理解的，参考视频的选择可以是人工筛选的，也可以是电子设备根据预设条件自动筛选的。

在本公开实施例中，电子设备在获取到待编辑视频之后，可以确定待编辑视频与预设视频集合中的至少一个参考视频之间的相似度。示例性的，以预设视频集合中的至少一个参考视频为参考视频A、参考视频B、参考视频C、参考视频D、参考视频E为例，则可以分别确定待编辑视频与参考视频A之间的相似度、待编辑视频与参考视频B之间的相似度、待编辑视频与参考视频C之间的相似度、待编辑视频与参考视频D之间的相似度、待编辑视频与参考视频E之间的相似度。

可以理解的，上述至少一个参考视频可以是预设视频集合中的全部参考视频，也可以是预设视频集合中的部分参考视频。

在步骤S103中，根据待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频。

在本公开实施例中，电子设备在确定待编辑视频与预设视频集合中至少一个参考视频之间的相似度之后，可以根据待编辑视频与预设视频集合中至少一个参考视频之间的相似度，确定目标参考视频，其中，目标参考视频可以为预设视频集合中，用于确定待编辑视频的字幕的参考视频，目标参考视频可以是一个也可以是多个。仍以至少一个参考视频为参考视频A、参考视频B、参考视频C、参考视频D、参考视频E为例，则可以根据待编辑视频与参考视频A之间的相似度、待编辑视频与参考视频B之间的相似度、待编辑视频与参考视频C之间的相似度、待编辑视频与参考视频D之间的相似度、待编辑视频与参考视频E之间的相似度，确定目标参考视频。

在步骤S104中，根据目标参考视频对应的字幕信息生成待编辑视频的字幕。

在本公开实施例中，电子设备在根据待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频之后，可以获取目标参考视频对应的字幕信息。示例性的，当目标参考视频为一个时，则可以仅获取这一个目标参考视频对应的字幕信息；当目标参考视频为多个时，则可以分别获取每个目标参考视频各自对应的字幕信息。在获取到目标参考视频的字幕信息之后，可以根据目标参考视频的字幕信息生成待编辑视频的字幕。

在本公开的实施例中，通过获取待编辑视频，根据待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频，再根据目标参考视频对应的字幕信息生成待编辑视频的字幕。这样，可以结合预设视频集合中的参考视频，自动生成待编辑视频的字幕，也就是说，无需用户创作字幕文本也无需手动输入，即可自动为待编辑视频生成字幕，如此，可以有效提高用户体验。

在一种可能的实施方式中，可以根据待编辑视频与预设视频集合中至少一个参考视频各自对应的特征向量，确定待编辑视频与预设视频集合中至少一个参考视频之间的相似度。相应的，如图2所示，上述确定待编辑视频与预设视频集合中至少一个参考视频之间的相似度的具体实现方式可以包括如下步骤：

在步骤S201中，根据待编辑视频的第一视频帧，生成待编辑视频对应的第一特征向量；

在步骤S202中，确定第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度。

此时，上述根据待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频的具体实现方式可以包括如下步骤：

在步骤S203中，根据第一特征向量与至少一个第二特征向量之间的相似度确定目标参考视频。

其中，第一视频帧为待编辑视频中的部分视频帧或全部视频帧。

在本公开实施例中，电子设备在确定待编辑视频与预设视频集合中至少一个参考视频之间的相似度时，可以获取待编辑视频的视频帧，即第一视频帧。其中，第一视频帧可以包括待编辑视频中的部分视频帧，或者也可以包括待编辑视频中的全部视频帧。电子设备在获取到待编辑视频的第一视频帧之后，可以根据待编辑视频的第一视频帧，生成该待编辑视频的特征向量，即第一特征向量，其中，第一特征向量可以用于表示待编辑视频的第一视频帧中，各个类型的视频帧数量在第一视频帧中的占比。

然后，电子设备可以获取预设视频集合中的至少一个参考视频对应的特征向量，即第二特征向量，确定待编辑视频对应的第一特征向量与预设视频集合中的至少一个参考视频对应的至少一个第二特征向量的相似度。示例性的，以待编辑视频对应的第一特征向量为特征向量1，预设视频集合中的至少一个参考视频包括参考视频A、参考视频B、参考视频C、参考视频D、参考视频E为例，假设参考视频A、参考视频B、参考视频C、参考视频D、参考视频E各自对应的第二特征向量为分别特征向量2、特征向量3、特征向量4、特征向量5、特征向量6，则可以分别确定特征向量1与特征向量2之间的相似度、特征向量1与特征向量3之间的相似度、特征向量1与特征向量4之间的相似度、特征向量1与特征向量5之间的相似度、特征向量1与特征向量6之间的相似度。

之后，电子设备可以根据第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度，确定目标参考视频。仍以第一特征向量为特征向量1，至少一个参考视频为参考视频A、参考视频B、参考视频C、参考视频D、参考视频E为例，可以根据特征向量1与参考视频A对应的特征向量2之间的相似度、特征向量1与参考视频B对应的特征向量3之间的相似度、特征向量1与参考视频C对应的特征向量4之间的相似度、特征向量1与参考视频D对应的特征向量5之间的相似度、特征向量1与参考视频E对应的特征向量6之间的相似度确定目标参考视频。

这样，由于特征向量可以表示对应的视频中各个类型的视频帧数量占比，故而，通过待编辑视频与至少一个参考视频各自对应的特征向量，确定待编辑视频与至少一个参考视频之间的相似度，可以使得确定出的相似度更准确，从而可以提高根据相似度确定出的目标参考视频的准确性。

在一种可能的实施方式中，在获取待编辑视频之前，还可以预先生成预设视频集合中的每个参考视频对应的第二特征向量，相应的，如图3所示，其具体实现方式可以包括如下步骤：

在步骤S301中，按照预设间隔时长提取预设视频集合中每个参考视频的第二视频帧；

在步骤S302中，通过图像分类算法对每个参考视频的第二视频帧进行分类；

在步骤S303中，基于每个参考视频中各个类别的第二视频帧数量，生成预设视频集合中每个参考视频对应的第二特征向量。

在本公开的实施例中，在获取待编辑视频之前，可以先按照预设间隔时长提取预设视频集合中每个参考视频的视频帧，即第二视频帧。其中，预设间隔时长可以是预先设定好的获取参考视频的第二视频帧的间隔时长，如可以设置为1秒、0.5秒等。在获取到预设视频集合中每个参考视频的第二视频帧之后，可以通过图像分类算法对每个参考视频的第二视频帧进行分类处理，例如，可以通过CNN(Convolutional Neural Networks,卷积神经网络)、KNN(K-NearestNeighbor，邻近算法)等图像分类算法对第二视频帧进行分类处理，分类处理的类别数量可以根据实际需要进行设定，如可以设置为人物、动物、植物等，或者也可以设置为男生、女生、猫、狗、树、花等较为具体的类别。在对每个参考视频的第二视频帧进行分类之后，可以统计每个参考视频中属于各个类别的第二视频帧的数量，再根据每个参考视频中各个类别的第二视频帧的数量和第二视频帧的总数量，生成预设视频集合中每个参考视频对应的第二特征向量。

示例性的，可以通过计算每个参考视频中各个类别的第二视频帧的数量在第二视频帧的总数量的占比，根据各个占比生成每个参考视频对应的第二特征向量。具体的，以参考视频为参考视频1，分类的类别为C1、C2、C3、C4为例，假设参考视频1的第二视频帧数量为100，其中属于类别C1、C2、C3、C4的第二视频帧数量分别为10、20、30、40，则可以计算得到类别C1的第二视频帧数量在参考视频1的第二视频帧总数量的占比为10/100＝0.1、类别C2的第二视频帧数量在参考视频1的第二视频帧总数量的占比为20/100＝0.2、类别C3的第二视频帧数量在参考视频1的第二视频帧总数量的占比为30/100＝0.3、类别C4的第二视频帧数量在参考视频1的第二视频帧总数量的占比为40/100＝0.4。然后，可以基于类别C1、C2、C3、C4各自对应的第二视频帧数量在第二视频帧总数量的占比生成参考视频1的第二特征向量[0.1,0.2,0.3,0.4]。

这样，可以预先生成预设视频集合中每个参考视频对应的第二特征向量，如此，一方面，可以为本公开实施例提供的字幕生成方法提供数据支持。另一方面，在确定第一特征向量和至少一个第二特征向量间的相似度时，可以直接获取预先生成好的参考视频对应的第二特征向量，无需实时执行生成参考视频的第二特征向量的步骤，从而可以减少字幕生成耗时，进而可以有效提高字幕生成效率。

在一种可能的实施方式中，在根据待编辑视频的第一视频帧，生成待编辑视频对应的第一特征向量之前，还可以按照预设间隔时长提取待编辑视频中的第一视频帧。相应的，上述根据待编辑视频的第一视频帧，生成待编辑视频对应的第一特征向量的具体实现方式可以如下：

通过图像分类算法对待编辑视频的第一视频帧进行分类；

基于待编辑视频中各个类别的第一视频帧数量，生成待编辑视频对应的第一特征向量。

在本公开的实施例中，可以按照预设间隔时长提取待编辑视频中的第一视频帧。在提取到待编辑视频的第一视频帧后，可以通过图像分类算法对待编辑视频的第一视频帧进行分类处理。然后，可以分别统计属于各个类别的第一视频帧数量，再根据待编辑视频中各个类别的第一视频帧数量，以及第一视频帧的总数量，生成待编辑视频对应的第一特征向量。可以理解的，按照预设间隔时长提取第一视频帧的具体实现过程，与上述按照预设间隔时长提取预设视频集合中每个参考视频的第二视频帧的具体实现过程类似；通过图像分类算法对第一视频帧进行分类的具体实现过程，与上述通过图像分类算法对第二视频帧进行分类的具体实现过程类似；基于待编辑视频中各个类别的第一视频帧数量生成待编辑视频对应的第一特征向量的具体实现过程，与上述基于每个参考视频中各个类别的第二视频帧数量生成每个参考视频对应的第二特征向量的具体实现过程类似，为简洁起见，在此不再赘述。

这样，按照与生成参考视频对应的第二特征向量类似的方法，生成待编辑视频的第一特征向量，可以使得第一特征向量和第二特征向量均能够表征对应的视频中包含的对象类别、各类别的视频帧数量等信息，如此，可以提高基于第一特征向量和第二特征向量确定出的相似度的准确性，提高基于相似度确定出的目标参考视频的准确性，从而可以使得基于目标参考视频的字幕信息生成的字幕，能够更好的匹配待编辑视频，从而可以进一步提高用户体验。

在一种可能的实施方式中，可以用欧式距离表示相似度，相应的，上述确定第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度的具体实现方式可以如下：

分别计算第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的欧氏距离。

在本公开的实施例中，可以分别计算第一特征向量与预设视频集合中至少一个参考视频各自对应的至少一个第二特征向量之间的欧式距离，再将计算出的欧式距离确定对应的第一特征向量与第二特征向量之间的相似度。仍以第一特征向量为特征向量1，至少一个参考视频为参考视频A、参考视频B、参考视频C、参考视频D、参考视频E，每个参考视频对应的第二特征向量分别为特征向量2、特征向量3、特征向量4、特征向量5、特征向量6为例，可以计算特征向量1与特征向量2之间的欧式距离1、特征向量1与特征向量3之间的欧式距离2、特征向量1与特征向量4之间的欧式距离3、特征向量1与特征向量5之间的欧式距离4、特征向量1与特征向量6之间的欧式距离5，再将欧式距离1确定为第一特征向量与参考视频A之间的相似度、将欧式距离2确定为第一特征向量与参考视频B之间的相似度、将欧式距离3确定为第一特征向量与参考视频C之间的相似度、将欧式距离4确定为第一特征向量与参考视频D之间的相似度、将欧式距离5确定为第一特征向量与参考视频E之间的相似度。

可以理解的，欧式距离越小，则说明相似度越高，反之，欧式距离越大，则说明相似度越低。

这样，通过计算第一特征向量和第二特征向量之间的欧式距离，确定第一特征向量和第二特征向量之间的相似度，能够以数字的形式更直观、更准确的表示特征向量间的之间的相似度。

在进一步的可能的实施方式中，如图4所示，上述根据第一特征向量和第二特征向量之间的相似度确定目标参考视频的具体实现方式可以包括如下步骤：

在步骤S401中，从欧氏距离中选取预设数量个数值最小的目标欧氏距离；

在步骤S402中，将每个目标欧氏距离对应的参考视频确定为目标参考视频。

其中，预设数量可以为一个或多个，相应的，与各个目标欧氏距离对应的目标参考视频也可以是一个或多个。预设数量可以是预先设定的数值，其具体数值可以根据实际情况进行设置。

在本公开的实施例中，可以先从确定出的所有欧氏距离中选取预设数量个数值最小的欧氏距离，即目标欧氏距离。示例性的，可以将计算出的欧式距离按照从小到大或从大到小的顺序进行排序，再从排序后的数列中选取预设数量个数值最小的欧式距离，将这些欧氏距离确定为目标欧氏距离。在选取出预设数量个目标欧氏距离之后，可以确定每个目标欧氏距离对应的参考视频，将每个目标欧氏距离对应的参考视频确定为目标参考视频。

这样，欧氏距离越小，该欧氏距离对应的两个特征向量之间的相似度就越高，该欧氏距离对应的参考视频与待编辑视频的相似度越高，也就是说，数值最小的预设数量个目标参考视频的字幕信息通常更适合用于待编辑视频。基于此，将预设数量个数值最小的目标欧氏距离对应的参考视频确定为目标参考视频，可以有效提高目标参考视频的字幕信息与待编辑视频的匹配度，如此，可以进一步提高生成的字幕的准确性和适配性，，从而可以进一步提高用户体验。

在进一步的可能的实施方式中，上述根据目标参考视频对应的字幕信息生成待编辑视频的字幕的具体实现方式可以如下：

获取每个目标参考视频对应的字幕信息；

显示所有字幕信息；

接收用户的操作指令，操作指令可以用于从所有字幕信息中选择目标字幕信息；

响应于操作指令，基于目标字幕信息，生成待编辑视频的字幕。

在本公开的实施例中，在根据目标参考视频对应的字幕信息生成待编辑视频的字幕时，可以获取每个目标参考视频对应的字幕信息，将每个目标参考视频对应的字幕信息显示在电子设备上，示例性的，字幕信息可以直接显示在电子设备的屏幕上，也可以以滚动的形式显示在屏幕上，用户可以操作电子设备滚动查看字幕信息，或者也可以以其他方式显示，只要使用户能够查看到所有的目标参考视频对应的字幕信息即可。然后，用户可以在显示的所有字幕信息中，选择一个字幕信息，使得电子设备可以接收到用户的操作指令。响应于用户的操作指令，电子设备可以将用户选择的字幕信息，确定为目标字幕信息，再基于目标字幕信息生成待编辑视频的字幕，例如，可以将目标字幕信息确定为待编辑视频的字幕，并将目标字幕信息嵌入待编辑视频中。

这样，可以显示目标参考视频对应的字幕信息供用户选择，如此，可以使得用户能够根据个人需求选择目标字幕信息，从而可以使得生成的待编辑视频的字幕更符合用户的需求，进而可以进一步提高用户满意度，提高用户体验。

图5是根据一示例性实施例示出的一种字幕生成装置框图。参照图5，该字幕生成装置500可以包括：

获取模块510，被配置为获取待编辑视频；

相似度确定模块520，被配置为确定所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度；

视频确定模块530，被配置为根据所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频；

字幕生成模块540，被配置为根据所述目标参考视频对应的字幕信息生成所述待编辑视频的字幕。

在进一步的可能的实施方式中，所述相似度确定模块520，包括：

向量生成单元，被配置为根据所述待编辑视频的第一视频帧，生成所述待编辑视频对应的第一特征向量；

相似度确定单元，被配置为确定所述第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度；

所述视频确定模块530，具体被配置为：

根据所述第一特征向量与所述至少一个第二特征向量之间的相似度确定目标参考视频。

在进一步的可能的实施方式中，所述字幕生成装置500，还包括：

第一提取模块，被配置为按照预设间隔时长提取所述预设视频集合中所述每个参考视频的第二视频帧；

分类模块，被配置为通过图像分类算法对所述每个参考视频的第二视频帧进行分类；

向量生成模块，被配置为基于每个参考视频中各个类别的第二视频帧数量，生成所述预设视频集合中每个参考视频对应的第二特征向量。

在进一步的可能的实施方式中，所述字幕生成装置500，还包括：

第二提取模块，被配置为按照预设间隔时长提取所述待编辑视频中的第一视频帧；

所述向量生成单元，包括：

分类子单元，被配置为通过图像分类算法对所述待编辑视频的第一视频帧进行分类；

向量生成子单元，被配置为基于所述待编辑视频中各个类别的第一视频帧数量，生成所述待编辑视频对应的第一特征向量。

在进一步的可能的实施方式中，所述相似度确定单元，具体被配置为：

分别计算所述第一特征向量与所述预设视频集合中至少一个所述参考视频对应的至少一个第二特征向量之间的欧氏距离。

在进一步的可能的实施方式中，所述视频确定模块530，包括：

选取单元，被配置为从所述欧氏距离中选取预设数量个数值最小的目标欧氏距离；其中，所述预设数量为一个或多个；

确定单元，被配置为将每个所述目标欧氏距离对应的参考视频确定为目标参考视频。

在进一步的可能的实施方式中，所述字幕生成模块540，包括：

获取单元，被配置为获取每个所述目标参考视频的字幕信息；

显示单元，被配置为显示所有所述字幕信息；

接收单元，被配置为接收用户的操作指令，所述操作指令用于从所有所述字幕信息中选择目标字幕信息；

字幕生成单元，被配置为响应于所述操作指令，基于所述目标字幕信息，生成所述待编辑视频的字幕。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如字幕生成方法。例如，在一些实施例中，字幕生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的字幕生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行字幕生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种字幕生成方法，其特征在于，包括：

获取待编辑视频；

确定所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度；

根据所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频；

根据所述目标参考视频对应的字幕信息生成所述待编辑视频的字幕。

2.根据权利要求1所述的字幕生成方法，其特征在于，所述确定所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度，包括：

根据所述待编辑视频的第一视频帧，生成所述待编辑视频对应的第一特征向量；

确定所述第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度；

所述根据所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频，包括：

根据所述第一特征向量与所述至少一个第二特征向量之间的相似度确定目标参考视频。

3.根据权利要求2所述的字幕生成方法，其特征在于，在所述获取待编辑视频之前，还包括：

按照预设间隔时长提取所述预设视频集合中所述每个参考视频的第二视频帧；

通过图像分类算法对所述每个参考视频的第二视频帧进行分类；

基于每个参考视频中各个类别的第二视频帧数量，生成所述预设视频集合中每个参考视频对应的第二特征向量。

4.根据权利要求2所述的字幕生成方法，其特征在于，所述确定所述第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度，包括：

分别计算所述第一特征向量与所述预设视频集合中至少一个所述参考视频对应的至少一个第二特征向量之间的欧氏距离。

5.根据权利要求4所述的字幕生成方法，其特征在于，所述根据所述第一特征向量与所述至少一个第二特征向量之间的相似度确定目标参考视频，包括：

从所述欧氏距离中选取预设数量个数值最小的目标欧氏距离；其中，所述预设数量为一个或多个；

将每个所述目标欧氏距离对应的参考视频确定为目标参考视频。

6.根据权利要求5所述的字幕生成方法，其特征在于，所述根据所述目标参考视频对应的字幕信息生成所述待编辑视频的字幕，包括：

获取每个所述目标参考视频对应的字幕信息；

显示所有所述字幕信息；

接收用户的操作指令，所述操作指令用于从所有所述字幕信息中选择目标字幕信息；

响应于所述操作指令，基于所述目标字幕信息，生成所述待编辑视频的字幕。

7.一种字幕生成装置，其特征在于，包括：

获取模块，被配置为获取待编辑视频；

相似度确定模块，被配置为确定所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度；

视频确定模块，被配置为根据所述待编辑视频与预设视频集合中至少一个参考视频之间的相似度确定目标参考视频；

字幕生成模块，被配置为根据所述目标参考视频对应的字幕信息生成所述待编辑视频的字幕。

8.根据权利要求7所述的字幕生成装置，其特征在于，所述相似度确定模块，包括：

向量生成单元，被配置为根据所述待编辑视频的第一视频帧，生成所述待编辑视频对应的第一特征向量；

相似度确定单元，被配置为确定所述第一特征向量与预设视频集合中至少一个参考视频对应的至少一个第二特征向量之间的相似度；

所述视频确定模块，具体被配置为：

根据所述第一特征向量与所述至少一个第二特征向量之间的相似度确定目标参考视频。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的字幕生成方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的字幕生成方法。

Images