CN113673414A - 弹幕生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种弹幕生成方法、装置、电子设备及存储介质，所述方法包括：获取目标视频的评论数据，按照预设的文本提炼方式对评论数据进行提炼，得到评论数据的文摘数据，再从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，根据文摘数据和时刻匹配要素确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻，并将文摘数据和展示时刻按照预设数据格式进行封装，得到目标视频的弹幕。基于此，本申请的方法会将目标视频的评论数据转换成目标视频的弹幕，以增加目标视频的弹幕数量。

Description

弹幕生成方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种弹幕生成方法、装置、电子设备及存储介质。

背景技术

弹幕是一种新兴的视频评论方式，一般，弹幕中的评论内容会在视频播放的过程中，以字幕的形式滑入视频播放界面，并以一定的移动速度从视频播放界面中划出，这样，观看视频的用户便可以一边观看视频，一边查看弹幕的评论内容，给用户一种与其他用户一起观看视频并评论视频的体验，增加了观看视频的乐趣。

由于弹幕是近几年才出现的，那么对于一些长尾视频，上架时间越久，比如上架时间早于弹幕出现的时间的视频，弹幕形式的评论可能会越少，那么用户在观看这些长尾视频时，查看弹幕的乐趣就会减少，降低用户的观影体验。

发明内容

为克服相关技术中存在的上架时间早于弹幕出现的时间的视频，弹幕形式的评论可能会越少问题，本申请提供一种弹幕生成方法、装置、电子设备及存储介质。

根据本申请的第一方面，提供一种弹幕生成方法，包括：

获取目标视频的评论数据，并按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据；

从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

根据所述文摘数据和所述时刻匹配要素，确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻；

将所述文摘数据和所述展示时刻按照预设数据格式进行封装，得到所述目标视频的弹幕。

在一个可选的实施方式中，所述按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据，包括：

将所述评论数据输入到预先训练的文本文摘生成模型中进行文摘数据的预测和提炼，获取所述文本文摘生成模型根据所述评论数据生成的文摘数据。

在一个可选的实施方式中，所述根据所述文摘数据和所述时刻匹配要素，确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻，包括：

基于预设的内容要素与时刻匹配算法的映射关系，确定所述文摘数据中包含的目标内容要素对应的目标时刻匹配算法；

根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻。

在一个可选的实施方式中，若所述目标内容要素为人物要素，所述从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，包括：

基于预设的内容要素与时刻匹配要素的映射关系，确定所述人物要素对应的第一目标时刻匹配要素，所述第一目标时刻匹配要素为视频帧以及各视频帧的时间戳；

提取所述目标视频的视频帧以及各视频帧的时间戳，并将提取到的视频帧以及各视频帧的时间戳确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

所述根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，包括：

提取所述文摘数据中所述人物要素对应的人物信息；

从所有所述视频帧中确定出现与所述人物信息对应的人物图像的目标视频帧；

将所述目标视频帧的时间戳对应的时刻确定为所述目标视频中与所述文摘数据相关联的时间点。

在一个可选的实施方式中，若所述目标内容要素为环境要素，所述从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，包括：

基于预设的内容要素与时刻匹配要素的映射关系，确定所述环境要素对应的第二目标时刻匹配要素，所述第二目标时刻匹配要素为视频帧以及各视频帧的时间戳；

提取所述目标视频的视频帧以及各视频帧的时间戳，并将提取到的视频帧以及各视频帧的时间戳确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

所述根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，包括：

提取所述文摘数据中所述环境要素对应的环境信息；

从所有所述视频帧中确定出现与所述环境信息对应的环境图像的目标视频帧；

将所述目标视频帧的时间戳对应的时刻确定为所述目标视频中与所述文摘数据相关联的时间点。

在一个可选的实施方式中，所述时刻匹配要素包括所述目标视频的时长；

若所述目标内容要素为时间要素，所述从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，包括：

基于预设的内容要素与时刻匹配要素的映射关系，确定所述时间要素对应的第三目标时刻匹配要素，所述第三目标时刻匹配要素为视频时长；

提取所述目标视频的视频时长，并将提取到的视频时长确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

所述根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，包括：

提取所述文摘数据中所述时间要素对应的时间信息；

根据所述时间信息和所述视频时长计算所述目标视频中与所述文摘数据相关联的时间点。

在一个可选的实施方式中，所述视频数据包括所述目标视频的时长；

若所述目标内容要素为预设要素，所述从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，包括：

基于预设的内容要素与时刻匹配要素的映射关系，确定所述预设要素对应的第四目标时刻匹配要素，所述第四目标时刻匹配要素为视频时长；

提取所述目标视频的视频时长，并将提取到的视频时长确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

所述根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，包括：

提取所述文摘数据中的目标关键词；

从所有预设关键词中确定与所述目标关键词的含义相似度最高的目标预设关键词；

根据预先设置的预设关键词与时刻计算公式的映射关系确定所述目标预设关键词对应的目标时刻计算公式；

将所述目标视频的视频时长输入到所述目标时刻计算公式中进行计算，得到所述目标视频中与所述文摘数据相关联的时间点。

在一个可选的实施方式中，在所述按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据之后，所述方法还包括：

按照预设的处理算法对所述文摘数据进行规则修正和过滤。

根据本申请的第二方面，提供一种弹幕生成装置，包括：

获取模块，用于获取目标视频的评论数据，并按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据；

提取模块，用于从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

确定模块，用于根据所述文摘数据和所述时刻匹配要素，确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻；

封装模块，用于将所述文摘数据和所述展示时刻按照预设数据格式进行封装，得到所述目标视频的弹幕。

根据本申请的第三方面，提供一种电子设备，包括：至少一个处理器和存储器；

所述处理器用于执行所述存储器中存储的程序，以实现本申请第一方面所述的方法。

根据本申请的第四方面，提供一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被执行时，实现本申请第一方面所述的方法。

本申请提供的技术方案可以包括以下有益效果：获取目标视频的评论数据，按照预设的文本提炼方式对评论数据进行提炼，得到评论数据的文摘数据，再从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，根据文摘数据和时刻匹配要素确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻，并将文摘数据和展示时刻按照预设数据格式进行封装，得到目标视频的弹幕。基于此，本申请的方法会将目标视频的评论数据转换成目标视频的弹幕，以增加目标视频的弹幕数量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请的一个实施例提供的一种弹幕生成方法的流程示意图；

图2是本申请的一个实施例提供的一种Attention矩阵对比示意图；

图3是本申请的一个实施例提供的确定展示时刻的流程示意图；

图4是本申请的另一实施例提供的一种弹幕生成装置的结构示意图；

图5是本申请的另一实施例提供的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

请参阅图1，图1是本申请的一个实施例提供的一种弹幕生成方法的流程示意图。

如图1所示，本实施例提供的弹幕生成方法可以包括：

步骤S101、获取目标视频的评论数据，并按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据。

需要说明的是，目标视频的评论数据指的是用户对该目标视频的评论，对于上架时间早于弹幕出现时间的长尾视频，用户对该长尾视频的评论往往是集中在视频的评论区，平台会对这些数据进行收集，并显示在该视频的评论区。

当然，目标视频的评论数据也可以是其他平台对于该目标视频的评论，比如一些论坛、博客等，本申请在获取这些评论数据时，可以通过爬虫技术来实现，也可以通过其他平台的一些接口来进行获取。

本步骤中，提炼的方式可以有很多，比如提取关键词，再将关键词进行拼接，得到文摘数据，还可以是借助文本文摘生成模型进行文摘的生成。具体的，可以将评论数据输入到预先训练的文本文摘生成模型中，获取文本文摘生成模型根据评论数据生成的文摘数据。

需要说明的是，文本文摘生成模型的架构可以采用微软UNILM模型的架构，以通过self-attention机制，把Seq2Seq Language Model整合到BERT中，将Transformer架构跟Seq2Seq结合起来，用来做文摘生成任务。

为了提高文摘生成的准确性，本实施例可以将新闻文本分类数据集(THUCNews)作为训练集对文本文摘生成模型进行训练，其中，可以将新闻文本分类数据集中的正文文本作为训练样本，各正文文本的标题对应作为各自正文文本的标签。

需要说明的是，本实施例基于微软UNILM模型的架构，可以使用单个Bert完成Seq2Seq任务。其中，Seq2Seq实质上是一个翻译模型，把一个语言序列翻译成另一种语言序列，应用到本申请中就是将正文文本翻译成摘要文本，即文摘数据，其要求输入部分的Attention是双向的，输出部分的Attention是单向的，为了满足这一就要求，可以将输入部分的Mask去掉。

在一个具体的例子中，为了满足Seq2Seq的要求，得到“将输入部分的Mask去掉”这一结论的过程如下。

比如输入为“挺好看的”，对应的文摘数据为“好看”，UNILM模型的架构生成文摘数据的过程，可以看成一个句子补全的过程，也就是“挺好看的”是一个不完整的句子，将“好看”补全到“挺好看的”中后，构成一个完整的句子，也就是“[CLS]挺好看的[SEP]好看[SEP]”，其中，“[CLS]”为表示开始的字符，“[SEP]”为表示句子中断的字符。

为了找到能够满足Seq2Seq的要求的Mask，可以参阅图2，图2是本申请的一个实施例提供的一种Attention矩阵对比示意图。

如图2所示，未填充的所有的框构成一个Mask图形，左图中的Mask图形为传统的下三角形，其把“挺好看的”也加入了预测的范围，其中，列上的字符表示输入，行上的字符表示输出，输入为[CLS]，可以预测到“挺”，输入为“[CLS]挺”可以预测到“挺好”以此类推，实质上，对于“挺好看的”预测是不必要的，甚至会成为额外的约束，真正要预测的只是“好看”这一部分，因此，可以将“挺好看的”这部分的Mask去掉，形成了右图中特殊的Mask图形。

由于去掉了“挺好看的”这部分的Mask，那么“挺好看的”就是双向的Attention，即“挺好”可以预测到“看”，“看”还可以反过来预测到“挺好”，而对于“好看”，由于存在Mask，其无法从“好看”中的“看”反向预测“好看”中的“好”，即输出的单向Attention，满足了Seq2Seq的要求。

另外，在本步骤提炼出文摘数据后，还可以按照预设的处理算法对文摘数据进行规则修正和过滤，该预处理可以提高文摘数据的质量，比如文摘数据中存在广告等引流信息(比如友商名称)，或者文摘数据中存在一些不适合展示的信息(比如暴力内容)等，可以对文摘数据进行预处理。

具体的处理方式可以有修正、过滤剔除等，修正可以是对不适合展示的信息进行打码，比如替换成“***”等符号展示，过滤剔除则是直接奖盖文摘数据进行剔除，不再基于该文摘数据生成相应的弹幕。

步骤S102、从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素。

本步骤中的时刻匹配要素具体用于为生成的弹幕匹配在目标视频中的展示时刻。而时刻匹配要素可以有多种，比如目标视频的视频帧以及各视频帧的时间戳，或者是目标视频的时长，由于在具体匹配的过程中，评论数据的不同会导致时刻匹配算法有所不同，而不同时刻匹配算法进行匹配所基于的数据也会有所不同，该部分会在后续步骤中进行详细说明，此处不再赘述。

步骤S103、根据所述文摘数据和所述时刻匹配要素，确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻。

基于文摘数据中包含的内容要素的不同，确定展示时刻所基于的时刻匹配算法也有所不同，需要说明的是，内容要素指的是文摘数据中包含的较为关键的信息对应的要素，比如时间要素、人物要素等。在一个具体的例子中，如果文摘数据出现了人名，则可以认为文摘数据中包含人物要素，如果文摘数据出现了时间，比如最后、结束、结局、一般、看完、分钟、小时、开场、第**分钟、第**小时等信息，则可以认为文摘数据中包含时间要素。

具体的，本步骤确定展示时刻的过程可以参阅图3，图3是本申请的一个实施例提供的确定展示时刻的流程示意图。

如图3所示，本实施例提供的确定展示时刻的过程可以包括：

步骤S301、基于预设的内容要素与时刻匹配算法的映射关系，确定所述文摘数据中包含的目标内容要素对应的目标时刻匹配算法。

本步骤中，可以对文摘数据进行分析，来确定文摘数据中包含的目标内容要素。具体可以先对文摘数据进行分词(比如可以利用jieba分词)，然后对分词属于哪种内容要素来进行分析，分析的过程可以通过预先训练的分类模型来实现，该分类模型可以根据本实施例内容要素的种类设置最终的分类类型，比如本实施例中包括人物要素、时间要素、预设要素和一般要素，其中，一般要素为本实施例中无需关心的内容要素，那么可以将分类模型最终的分类类型设置为人物要素、时间要素和一般要素。

需要说明的是，预设要素是相对于不包含人物要素和时间要素的文摘数据而言的，如果一个文摘数据中既不包括人物要素，也不包括时间要素，本实施例便可以对该文摘要素进行归类，比如将我看看、来我看看这类归为打卡类，将他是机器人、这个球是上旋球这类归为观点类，将一些感叹的，比如好厉害、我的天这类归为日常类。

具体归类的方法可以是将带有某一类对应的某些关键词或者关键词的相似词的文摘数据归为该类。

本步骤中，将分词得到的分词结果，依次输入到该分类模型中进行分类，得到每个分词对应的要素类型，只在不是一般要素的情况下，才可以将分词对应的要素类型确定为文摘数据的目标要素类型。

在一个具体的例子中，比如文摘数据为“某某在30分钟的时候进球了”，利用jieba分词的方法，分词后得到“某某/在/30分钟/的/时候/进球了”，然后依次将“某某”、“在”、“30分钟”、“的”、“时候”、“进球了”输入到分类模型中，分类的结果比如是“某某”为人物要素、“在”为一般要素、“30分钟”为时间要素、“的”为一般要素、“时候”为一般要素、“进球了”为一般要素，然后将要素类型和具体的分词映射，形成如下表1。

分词	要素类型
		某某	人物要素
在	一般要素
		30分钟	时间要素
的	一般要素
		时候	一般要素
进球了	一般要素

表1

根据表1可以知道，文摘数据“某某在30分钟的时候进球了”包含的目标内容要素为人物要素和时间要素。

需要说明的是，为了提高时刻匹配的精准度，还可以设置其他要素，比如场景要素，动作要素等，可以综合更多要素为文摘数据匹配展示时刻。

仍以人物要素、时间要素、预设要素和一般要素为例，本实施例关心的是人物要素、时间要素、预设要素，不同的要素会对应不同的时刻匹配算法，在一个具体的例子中，可以如表2所示。

要素类型	时刻匹配算法
		人物要素	算法1
时间要素	算法2
		预设要素	算法3

表2

以前述“某某在30分钟的时候进球了”为例，本步骤中的目标时刻匹配算法就是算法1和算法2。

步骤S302、根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻。

本步骤中，仍以人物要素、时间要素、预设要素为例，如果目标内容要素为人物要素，那么从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素时，可以基于预设的内容要素与时刻匹配要素的映射关系，确定所述人物要素对应的第一目标时刻匹配要素，所述第一目标时刻匹配要素为视频帧以及各视频帧的时间戳，然后提取所述目标视频的视频帧以及各视频帧的时间戳，并将提取到的视频帧以及各视频帧的时间戳确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素。

也就是说，如果目标内容要素为人物要素，那么时刻匹配要素需要包括目标视频的视频帧以及各视频帧的时间戳，本步骤对应的目标时刻匹配算法即为表2中的算法1，具体可以包括：

步骤一，提取文摘数据中人物要素对应的人物信息。

由于前述过程已经将要素类型和分词进行了映射，本步骤中提取文摘数据中人物要素对应的人物信息只需要将人物要素对应的信息提取出来，就可以得到人物信息。

在一个具体的例子中，可以参考表1，人物要素对应了“某某”，那么“某某”就是本步骤中提取出来的人物信息。

步骤二，从所有视频帧中确定出现与人物信息对应的人物图像的目标视频帧。

本步骤中，每个视频帧可以相当于一个静态图像，在确定某个视频帧是否包含有与人物信息对应的人物图像时，可以从网络中获取与该任务信息对应的基准人脸图像，然后基于预先训练的人脸识别模型，识别该视频帧中是否存在与该基准人脸图像相似度超过预设阈值的人脸图像，如果存在，则可以将该视频帧确定为目标视频帧。

步骤三，将目标视频帧的时间戳对应的时刻确定为所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻。

需要说明的是，本步骤中最终确定的目标视频帧的数量可能为多个，那么本步骤可以将每个目标视频帧各自的时间戳对应的时刻都确定为所述目标视频中与所述文摘数据相关联的时间点，即展示时刻，在后边封装时，可以每个时刻都封装得到一个弹幕。

在一个具体的例子中，比如文摘数据对应有时刻1、时刻2、时刻3，那么可以将文摘数据与时刻1进行封装，得到弹幕1，将文摘数据与时刻2进行封装，得到弹幕2，将文摘数据与时刻3进行封装，得到弹幕3。

当然，如果目标内容要素除了人物要素还有其他要素，那么还可以在根据其他要素确定了一个展示时刻后，比较本步骤根据人物要素确定的展示时刻与其他要素确定的展示时刻相距的时长，将相距时长最短的根据人物要素确定的展示时刻确定为最终的展示时刻。

另外，与人物要素相类似，若所述目标内容要素为环境要素，会以前述同样的方式进行时刻匹配要素的获取以及展示时刻的确定。

具体的，若所述目标内容要素为环境要素，从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素时，可以基于预设的内容要素与时刻匹配要素的映射关系，确定所述环境要素对应的第二目标时刻匹配要素，所述第二目标时刻匹配要素为视频帧以及各视频帧的时间戳；提取所述目标视频的视频帧以及各视频帧的时间戳，并将提取到的视频帧以及各视频帧的时间戳确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素。

也就是说，如果目标内容要素为环境要素，那么时刻匹配要素需要包括目标视频的视频帧以及各视频帧的时间戳，本步骤对应的目标时刻匹配算法同样为表2中的算法1(环境要素和人物要素相同)，具体可以包括：

提取所述文摘数据中所述环境要素对应的环境信息；从所有所述视频帧中确定出现与所述环境信息对应的环境图像的目标视频帧；将所述目标视频帧的时间戳对应的时刻确定为所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻。

具体说明可以参考前述对于人物要素的相关说明，此处不再赘述。

若目标内容要素为时间要素，从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素时，可以基于预设的内容要素与时刻匹配要素的映射关系，确定所述时间要素对应的第三目标时刻匹配要素，所述第三目标时刻匹配要素为视频时长；提取所述目标视频的视频时长，并将提取到的视频时长确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素。

也就是说，时刻匹配要素需要包括目标视频的视频时长，本步骤对应的目标时刻匹配算法即为表2中的算法2，具体可以包括：

步骤一，提取文摘数据中时间要素对应的时间信息。

由于前述过程已经将要素类型和分词进行了映射，本步骤中提取文摘数据中时间要素对应的时间信息只需要将时间要素对应的信息提取出来，就可以得到时间信息。

在一个具体的例子中，可以参考表1，人物要素对应了“30分钟”，那么“30分钟”就是本步骤中提取出来的时间信息。

步骤二，根据时间信息和目标视频的视频时长计算所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻。

本步骤中，由于时间信息有时并不会像表1中的“30分钟”那么明确，可能是最后、结束、结局、一般、看完、开场等时间信息，那么对于这种信息，一般会有3类：开始、中间和结尾，对于这3类，可以预先映射计算公式，具体可以如表3所示。

时间信息类型	计算公式
		开始	0
中间	目标视频的时长/2
		结尾	目标视频的时长

表3

需要说明的是，本步骤中，可以先对时间信息进行归类，类别有“明确时刻”、“开始”、“中间”、“结尾”。若时间信息中包含数字，则归类为“明确时刻”，将其中的数字对应为时间点。

若时间不包含数字，则分别比较与“开始”、“中间”、“结尾”的文本相似度，将时间信息归类为最相似的时间类型信息，并根据表3中对应的计算公式确定最终的时间点，即展示时刻。

若目标内容要素为预设要素，从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素时，可以基于预设的内容要素与时刻匹配要素的映射关系，确定所述预设要素对应的第四目标时刻匹配要素，所述第四目标时刻匹配要素为视频时长；提取所述目标视频的视频时长，并将提取到的视频时长确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素。

也就是说，时刻匹配要素需要包括目标视频的视频时长，本步骤对应的目标时刻匹配算法即为表2中的算法3，具体可以包括：

步骤一，提取文摘数据中的目标关键词。

需要说明的是，本步骤提取关键词可以基于关键词提取模型来实现，该关键词提取模型可以采用比较常见的关键词提取模型，此处不再赘述。

步骤二，从所有预设关键词中确定与目标关键词的含义相似度最高的目标预设关键词。

本步骤中，预设关键词是对每个归类类型设定的关键词，比如前述的打卡类、观点类和日常类。具体可以参考表4。

归类类型	预设关键词
		打卡类	看看
打卡类	来了
		观点类	认为
日常类	厉害
		日常类	棒

表4

本步骤对于每一个目标关键词，都会依次计算与预设关键词的相似度。

如果有多个目标关键词，那么可以为文摘数据设置多个出现时间，具体可以参考前述出现多个出现时间的说明，此处不再赘述。

步骤三，根据预先设置的预设关键词与时刻计算公式的映射关系确定目标预设关键词对应的目标时刻计算公式。

本步骤中，一般是每个归类类型对应有一个目标时刻计算公式，又因为每个归类类型都有对应的预设关键词，因此，预设关键词也会对应目标时刻计算公式。

需要说明的是，本步骤中归类类型与目标时刻计算公式的映射关系可以如表5所示。

归类类型	时刻计算公式
		打卡类	0
观点类	目标视频的时长/2
		日常类	目标视频的时长

表5

步骤四，将目标视频的视频时长输入到目标时刻计算公式中进行计算，得到所述目标视频中与所述文摘数据相关联的时间点，并将时间点确定为文摘数据在目标视频中的展示时刻。

本步骤中可以参考表3的相关计算过程，此处不再赘述。

步骤S104、将文摘数据和展示时刻按照预设数据格式进行封装，得到目标视频的弹幕。

需要说明的是，预设数据格式可以为ass弹幕文件格式，这种格式饿数据可以通过ffmpeg直接嵌入到目标视频中。

本实施例中，首先获取目标视频的评论数据和时刻匹配要素，按照预设的文本提炼方式对评论数据进行提炼，得到评论数据的文摘数据，再根据文摘数据和时刻匹配要素确定文摘数据在目标视频中的展示时刻，最后将文摘数据和展示时刻按照预设数据格式进行封装，得到目标视频的弹幕。基于此，本申请的方法会将目标视频的评论数据转换成目标视频的弹幕，以增加目标视频的弹幕数量。

请参阅图4，图4是本申请的另一实施例提供的一种弹幕生成装置的结构示意图。

如图4所示，本实施例提供的弹幕生成装置可以包括：

获取模块401，用于获取目标视频的评论数据，并按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据；

提取模块402，用于从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

确定模块403，用于根据所述文摘数据和所述时刻匹配要素，确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻；

封装模块404，用于将所述文摘数据和所述展示时刻按照预设数据格式进行封装，得到所述目标视频的弹幕。

请参阅图5，图5是本申请的另一实施例提供的一种电子设备的结构示意图。

如图5所示，本实施例提供的电子设备包括：至少一个处理器501、存储器502、至少一个网络接口503和其他用户接口504。电子设备500中的各个组件通过总线系统505耦合在一起。可理解，总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统505。

其中，用户接口504可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本发明实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器502存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统5021和应用程序5022。

其中，操作系统5021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序5022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序5022中。

在本发明实施例中，通过调用存储器502存储的程序或指令，具体的，可以是应用程序5022中存储的程序或指令，处理器501用于执行各方法实施例所提供的方法步骤。

上述本发明实施例揭示的方法可以应用于处理器501中，或者由处理器501实现。处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文功能的单元来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。

当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在电子设备侧执行的弹幕生成方法。

处理器用于执行存储器中存储的弹幕生成程序，以实现以下在电子设备侧执行前述方法实施例提供的弹幕生成方法的步骤。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种弹幕生成方法，其特征在于，所述方法包括：

获取目标视频的评论数据，并按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据；

从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

根据所述文摘数据和所述时刻匹配要素，确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻；

将所述文摘数据和所述展示时刻按照预设数据格式进行封装，得到所述目标视频的弹幕。

2.根据权利要求1所述的方法，其特征在于，所述按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据，包括：

将所述评论数据输入到预先训练的文本文摘生成模型中进行文摘数据的预测和提炼，获取所述文本文摘生成模型根据所述评论数据生成的文摘数据。

3.根据权利要求1所述的方法，其特征在于，所述根据所述文摘数据和所述时刻匹配要素，确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻，包括：

基于预设的内容要素与时刻匹配算法的映射关系，确定所述文摘数据中包含的目标内容要素对应的目标时刻匹配算法；

根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻。

4.根据权利要求3所述的方法，其特征在于，若所述目标内容要素为人物要素，所述从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，包括：

基于预设的内容要素与时刻匹配要素的映射关系，确定所述人物要素对应的第一目标时刻匹配要素，所述第一目标时刻匹配要素为视频帧以及各视频帧的时间戳；

提取所述目标视频的视频帧以及各视频帧的时间戳，并将提取到的视频帧以及各视频帧的时间戳确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

所述根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，包括：

提取所述文摘数据中所述人物要素对应的人物信息；

从所有所述视频帧中确定出现与所述人物信息对应的人物图像的目标视频帧；

将所述目标视频帧的时间戳对应的时刻确定为所述目标视频中与所述文摘数据相关联的时间点。

5.根据权利要求3所述的方法，其特征在于，若所述目标内容要素为环境要素，所述从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，包括：

基于预设的内容要素与时刻匹配要素的映射关系，确定所述环境要素对应的第二目标时刻匹配要素，所述第二目标时刻匹配要素为视频帧以及各视频帧的时间戳；

提取所述目标视频的视频帧以及各视频帧的时间戳，并将提取到的视频帧以及各视频帧的时间戳确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

所述根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，包括：

提取所述文摘数据中所述环境要素对应的环境信息；

从所有所述视频帧中确定出现与所述环境信息对应的环境图像的目标视频帧；

将所述目标视频帧的时间戳对应的时刻确定为所述目标视频中与所述文摘数据相关联的时间点。

6.根据权利要求3所述的方法，其特征在于，所述时刻匹配要素包括所述目标视频的时长；

若所述目标内容要素为时间要素，所述从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，包括：

基于预设的内容要素与时刻匹配要素的映射关系，确定所述时间要素对应的第三目标时刻匹配要素，所述第三目标时刻匹配要素为视频时长；

提取所述目标视频的视频时长，并将提取到的视频时长确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

所述根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，包括：

提取所述文摘数据中所述时间要素对应的时间信息；

根据所述时间信息和所述视频时长计算所述目标视频中与所述文摘数据相关联的时间点。

7.根据权利要求3所述的方法，其特征在于，若所述目标内容要素为预设要素，所述从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素，包括：

基于预设的内容要素与时刻匹配要素的映射关系，确定所述预设要素对应的第四目标时刻匹配要素，所述第四目标时刻匹配要素为视频时长；

提取所述目标视频的视频时长，并将提取到的视频时长确定为所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

所述根据所述文摘数据和所述时刻匹配要素，利用所述目标时刻匹配算法确定所述目标视频中与所述文摘数据相关联的时间点，包括：

提取所述文摘数据中的目标关键词；

从所有预设关键词中确定与所述目标关键词的含义相似度最高的目标预设关键词；

根据预先设置的预设关键词与时刻计算公式的映射关系确定所述目标预设关键词对应的目标时刻计算公式；

将所述目标视频的视频时长输入到所述目标时刻计算公式中进行计算，得到所述目标视频中与所述文摘数据相关联的时间点。

8.根据权利要求1所述的方法，其特征在于，在所述按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据之后，所述方法还包括：

按照预设的处理算法对所述文摘数据进行规则修正和过滤。

9.一种弹幕生成装置，其特征在于，所述装置包括：

获取模块，用于获取目标视频的评论数据，并按照预设的文本提炼方式对所述评论数据进行提炼，得到所述评论数据的文摘数据；

提取模块，用于从所述目标视频中提取所述文摘数据中包含的目标内容要素对应的时刻匹配要素；

确定模块，用于根据所述文摘数据和所述时刻匹配要素，确定所述目标视频中与所述文摘数据相关联的时间点，并将所述时间点确定为所述文摘数据在所述目标视频中在的展示时刻；

封装模块，用于将所述文摘数据和所述展示时刻按照预设数据格式进行封装，得到所述目标视频的弹幕。

10.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述处理器用于执行所述存储器中存储的程序，以实现权利要求1-8任一项所述的方法。

11.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被执行时，实现权利要求1-8任一项所述的方法。

Images