CN108694236A - 视频数据处理方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种视频数据处理方法、装置及电子设备，其中，视频数据处理方法包括：根据视频的实时评论信息，获取至少一个实时评论密度峰值；确定与各个所述实时评论密度峰值对应的视频帧；根据各个所述视频帧的视频帧特征向量，确定与各个所述视频帧对应的视频片段。通过本发明实施例，用户可以方便、快速地找到感兴趣的视频片段并进行观看，节约观看时间，提升观看体验。

Description

视频数据处理方法、装置及电子设备

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种视频数据处理方法、装置及电子设备。

背景技术

随着互联网技术的发展，人们已习惯于通过互联网观看视频。但对于长视频来说，一个视频可能持续几十分钟或数小时的时长，而对于时间有限或者只想观看视频中感兴趣部分的用户，很难实现视频的完整观看，进而导致用户体验和视频观看率的下降。

为此，现有的一种方案提供了根据演员角色对视频进行标记，为用户提供只观看该演员演出部分片段的方案，但该方案仍然可能时长较长(如主角演出片段)，且内容也仍然可能无法满足用户的兴趣需求。

因此，如何对视频数据进行处理，以有效截取视频片段，使用户能够快速找到并观看感兴趣视频片段，节约观看时间，成为亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供一种视频数据处理方法、装置及电子设备，以解决现有视频无法有效截取视频片段，导致用户不能快速找到并观看感兴趣视频片段，节约观看时间的问题。

根据本发明实施例的第一方面，提供了一种视频数据处理方法，包括：根据视频的实时评论信息，获取至少一个实时评论密度峰值；确定与各个所述实时评论密度峰值对应的视频帧；根据各个所述视频帧的视频帧特征向量，确定与各个所述视频帧对应的视频片段。

根据本发明实施例的第二方面，提供了视频数据处理装置，包括：获取模块，用于根据视频的实时评论信息，获取至少一个实时评论密度峰值；第一确定模块，用于确定与各个所述实时评论密度峰值对应的视频帧；第二确定模块，用于根据各个所述视频帧的视频帧特征向量，确定与各个所述视频帧对应的视频片段。

根据本发明实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的视频数据处理方法对应的操作。

根据本发明实施例提供的视频数据处理方案，以与各个实时评论密度峰值对应的视频帧的特征向量为基础，确定相应的各个视频片段。一般来说，在一个视频中会存在多个实时评论的密度峰值，每个密度峰值表征了某一视频时段内最受关注的视频帧，以该视频帧为依据，可以确定该时段内的热点视频片段。因实时评论达到密度峰值时意味着实时评论较为集中，因此可以认为该峰值对应的视频片段为大部分用户都感兴趣的热点视频片段。基于此，用户可以直接根据这些与实时评论密度峰值对应的视频片段的信息，方便、快速地找到感兴趣的视频片段并进行观看，节约观看时间，提升观看体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例一的一种视频数据处理方法的步骤流程图；

图2为根据本发明实施例二的一种视频数据处理方法的步骤流程图；

图3为根据本发明实施例三的一种视频数据处理方法的步骤流程图；

图4为根据本发明实施例四的一种视频数据处理装置的结构框图；

图5为根据本发明实施例五的一种视频数据处理装置的结构框图；

图6为根据本发明实施例六的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

实施例一

参照图1，示出了根据本发明实施例一的一种视频数据处理方法的步骤流程图。

本实施例的视频数据处理方法包括以下步骤：

步骤S102：根据视频的实时评论信息，获取至少一个实时评论密度峰值。

视频的实时评论信息为用户观看视频时实时发表的评论的信息，例如，视频的弹幕信息等。

本发明实施例中，实时评论密度峰值表示在不同的视频时段内发表的实时评论的最大值。一个视频可以根据实时评论的密度被分为一个或多个视频时段，由此，一个视频可能对应有一个或多个实时评论密度峰值。例如，从视频的第五分钟开始出现实时评论，逐渐呈上升趋势，至第八分钟达到数量最大值，然后开始下降。接着，从第二十分钟又从下降趋势转为上升趋势，至第二十五分钟达到数量最大值后，又开始呈下降趋势，依此类推，可以获得视频的至少一个实时评论密度峰值。

可见，通过对一个视频的实时评论信息进行统计，即可得到不同视频时段的实时评论密度峰值。例如，以视频弹幕为例，可以对某个视频的所有弹幕评论进行数量统计，根据弹幕评论数量和评论时间，获得弹幕评论数量的分布曲线，从该分布曲线中即可得到视频中所有的弹幕评论的峰值，每个峰值时间点对应于视频的某一帧。可选地，还可以为峰值设置一个阈值(表征评论密度)，从所有峰值中选出大于该阈值的峰值，也即，仅对评论密度大于该密度的峰值进行处理，以减少数据处理量，提高热点视频片段的选择效率。但本领域技术人员应当明了的是，不设置阈值的方式也同样适用，以尽可能多地确定用户可能感兴趣的视频片段。

步骤S104：确定与各个实时评论密度峰值对应的视频帧。

如前所述，每个实时评论密度峰值所在的时间点都对应有一个视频帧，据此，即可确定各个实时评论密度峰值对应的视频帧。

步骤S106：根据各个视频帧的视频帧特征向量，确定与各个视频帧对应的视频片段。

其中，视频帧特征向量可以是任意适当的特征向量，如，可以是视频帧的内容特征向量，也可以视频帧的评论特征向量，或者是视频帧的情感特征向量，等等。以当前视频帧为基准，其前后的视频帧中应当包含有与其有关联的视频帧，如，与当前视频帧的特征向量较为匹配或相似度较高的视频帧，根据这些视频帧可确定对应的视频片段。

因这些视频片段均是与实时评论密度峰值相对应的视频片段，因此，为用户感兴趣的热点视频片段的机率更大。

通过本实施例，以与各个实时评论密度峰值对应的视频帧的特征向量为基础，确定相应的各个视频片段。一般来说，在一个视频中会存在多个实时评论的密度峰值，每个密度峰值表征了某一视频时段内最受关注的视频帧，以该视频帧为依据，可以确定该时段内的热点视频片段。因实时评论达到密度峰值时意味着实时评论较为集中，因此可以认为该峰值对应的视频片段为大部分用户都感兴趣的热点视频片段。基于此，用户可以直接根据这些与实时评论密度峰值对应的视频片段的信息，方便、快速地找到感兴趣的视频片段并进行观看，节约观看时间，提升观看体验。

本实施例的视频数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，如平板电脑、手机、台式机、服务器等。

实施例二

参照图2，示出了根据本发明实施例二的一种视频数据处理方法的步骤流程图。

本实施例的视频数据处理方法包括以下步骤：

步骤S202：获取视频的实时评论信息。

本实施例中，视频的实时评论信息，如弹幕信息，可以实时获取，也可以每隔一定时间段或在视频播放完毕后再获取。

步骤S204：根据视频的实时评论信息，获取至少一个实时评论密度峰值。

在获取视频对应的一个或多个实时评论密度峰值时，一种可选方式如实施例一中所述，可以根据实时评论的数量分布曲线获取；在另一种可选方式中，可以对设定视频时段内的每个视频帧对应的实时评论的数量进行统计，从统计结果中选取最大值作为实时评论密度峰值，其中，设定视频时段可以是一个固定值，也可以根据实时评论情况设定为一个非固定值。

步骤S206：确定与各个实时评论密度峰值对应的视频帧。

每个实时评论密度峰值都对应有一个视频帧，例如，实时评论1覆盖第1、第2和第3视频帧，实时评论2覆盖第2、第3、第4和第5视频帖，实时评论3覆盖第3、第4和第5视频帧，则，在这一时间段内，实时评论密度峰值为3(同一时刻有3个实时评论)，其对应于这一时段的第1至第5视频帧中的第3视频帧。

步骤S208：根据与各个实时评论密度峰值对应的各个视频帧的视频帧特征向量，确定与各个视频帧对应的视频片段。

如实施例一中所述，视频帧特征向量可以是视频帧的内容特征向量，也可以视频帧的评论特征向量，或者是视频帧的情感特征向量，等等。

当视频帧特征向量为内容特征向量时，可以由本领域技术人员根据实际需求采用任意适当的内容特征提取方式获得视频帧对应的内容特征向量，如，通过神经网络模型方式等。内容特征向量能够有效表征视频帧的内容特征，基于此，可以进一步在与该视频帧相连续的前后多帧视频帧中，获得内容相关联或具有一定相似度的视频帧，并最终形成包括该视频帧在内的视频片段。

此外，视频帧特征向量还可以根据与视频帧对应的至少一个实时评论的词向量生成。

例如，当视频帧特征向量为评论特征向量时，该评论特征向量可以根据该视频帧对应的实时评论信息生成。在一种可行方式中，该视频帧的评论特征向量可以根据与该视频帧对应的至少一个实时评论的词向量生成，如根据对至少一个实时评论的词向量进行累加后求平均的结果生成。其中，实时评论的词向量可以由本领域技术人员根据实际需求采用任意适当的方式获得，包括但不限于通过WORD2VEC模型方式，或者通过DOC2VEC模型方式，或者通过其它自然语言处理或神经网络方式等。

又例如，当视频帧特征向量为情感特征向量时，该情感特征向量可以根据该视频帧对应的实时评论信息的情感特征词向量生成。也即，实时评论的词向量为表征实时评论的情感特征的词向量；视频帧特征向量为表征视频帧的情感特征的向量。

其中，表征实时评论的情感特征的词向量可以通过以下方式获得：根据实时评论的内容信息，获取对应的评论词向量；获取评论词向量与预设的情感关键词向量中的多个情感关键词的相似度；根据相似度最高的情感关键词，生成表征实时评论的情感特征的词向量。预设的情感关键词向量中包含的多个情感关键词可以由本领域技术人员根据实际经验或者大数据统计分析结果预先设置，如，高兴、兴奋、忧郁、悲伤，等等。针对一个实时评论，在获取到该实时评论的评论词向量后(如通过WORD2VEC模型或者通过DOC2VEC模型等获取)，可以将该评论词向量与情感关键词向量进行相似度计算，如计算两者之间的余弦距离，根据该相似度计算的结果，将最相似的情感关键词作为该评论词向量的情感特征，进而生成相应的表征该实时评论的情感特征的词向量，如，将向量中最相似的情感关键词位置置1，其它置0。

由于用户在观看视频的过程中，会在看到精彩片段后产生共鸣甚至感动，以至于发送实时评论如弹幕评论，因此，可以认为视频片段的精彩程度与用户发送实时评论的时间有关，越靠近发送时间，则与实际精彩程度的时间点越接近，并随时间快速衰减。基于此，可以在每条实时评论出现期间，给所有相关的视频帧计算相应的权重。例如，针对每个实时评论，根据当前实时评论的发布时间和持续时间，确定当前实时评论覆盖的至少一帧视频帧；确定当前实时评论在至少一帧视频帧中的各个视频帧的出现时间；根据当前实时评论的发布时间和在各个视频帧的出现时间，计算当前实时评论的词向量在各个视频帧的权重。又因，一个视频帧可能对应有多条实时评论，因此，一个视频帧最终的情感特征向量可以根据与该视频帧对应的至少一个实时评论的词向量及其对应的权重生成。

例如，实时评论1从第1帧开始至第3帧视频帧结束，其词向量的情感特征为高兴，则从第1帧至第3帧的权重假设分别为1.0、0.6、0.2；实时评论2从第2帧开始至第4帧视频帧结束，其词向量的情感特征也为高兴，从第2帧至第4帧的权重假设也分别为1.0、0.6、0.2；实时评论3从第2帧开始至第3帧视频帧结束，其词向量的情感特征为兴奋，从第2帧至第3帧的权重假设分别为1.0、0.4。则，针对第2帧视频帧，其对应的情感特征向量可能为[0，0，……，1.6，……，1.0，……]，其中，1.6为高兴这一情感特征的权重之和，而1.0则为兴奋这一情感特征的权重之和。

在获得了视频帧特征向量后，即可确定与该视频帧对应的视频片段。在一种可行方式中，可以针对当前视频帧，获取当前视频帧的特征向量；以当前视频帧为起始帧，根据当前视频帧的特征向量、当前视频帧之前的连续多个视频帧对应的特征向量，和当前视频帧之后的连续多个视频帧对应的特征向量，确定与当前视频帧的相似度满足设定相似度阈值的前向视频帧和后向视频帧；根据确定的前向视频帧和后向视频帧，确定与当前视频帧对应的视频片段。其中，所述设定相似度阈值可以由本领域技术人员根据实际需求适当设置，本发明实施例对此不作限制。

例如，假设与一个实时评论密度峰值对应的视频帧为第10帧(当前视频帧)，以第10帧为起始帧，判断其前一视频帧即第9帧的特征向量与第10帧的特征向量的相似度是否满足设定相似度阈值；若满足，则继续判断第8帧的特征向量与第10帧的特征向量的相似度是否满足设定相似度阈值；若仍然满足，则继续判断第7帧的特征向量与第10帧的特征向量的相似度是否满足设定相似度阈值，直至向前找到不满足设定相似度阈值的视频帧，本实例中假定为第6帧，即第6帧的特征向量与第10帧的特征向量的相似度不满足设定相似度阈值。类似地，在后向方向，仍以第10帧为起始帧，判断其后一视频帧即第11帧的特征向量与第10帧的特征向量的相似度是否满足设定相似度阈值；若满足，则继续判断第12帧的特征向量与第10帧的特征向量的相似度是否满足设定相似度阈值；若仍然满足，则继续判断第13帧的特征向量与第10帧的特征向量的相似度是否满足设定相似度阈值，直至向后找到不满足设定相似度阈值的视频帧，本实例中假定为第14帧，即第14帧的特征向量与第10帧的特征向量的相似度不满足设定相似度阈值。由此，可以获得与当前视频帧即第10帧的特征向量的相似度满足设定相似度阈值的前向视频帧边界即第7帧，以及，后向视频帧边界即第13帧。由此，将从第7帧开始至第13帧结束的视频片段确定为与当前视频帧对应的视频片段。

需要说明的是，上述实例仅为示例性说明，在实际应用中，本领域技术人员可以采用任意适当的确定多个视频帧之间的特征向量相似度的方式，并且，也可以先后向判断再前向判断，或者并行执行，本发明实施例对此不作限制。例如，还可以确定一个包括当前视频帧在内的视频帧范围，然后采用HASH算法或二分法等适当算法确定与当前视频帧对应的视频片段的前后边界，等等。

至此，实现了对一个视频中的至少一个热点视频片段的确定。后续可以对这些热点视频片段进行标记和/或显示相应信息，以供用户方便、快速地查找和观看，提升用户使用体验。

通过本实施例，以与各个实时评论密度峰值对应的视频帧的特征向量为基础，确定相应的各个视频片段。一般来说，在一个视频中会存在多个实时评论的密度峰值，每个密度峰值表征了某一视频时段内最受关注的视频帧，以该视频帧为依据，可以确定该时段内的热点视频片段。因实时评论达到密度峰值时意味着实时评论较为集中，因此可以认为该峰值对应的视频片段为大部分用户都感兴趣的热点视频片段。基于此，用户可以直接根据这些与实时评论密度峰值对应的视频片段的信息，方便、快速地找到感兴趣的视频片段并进行观看，节约观看时间，提升观看体验。

本实施例的视频数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，如平板电脑、手机、台式机、服务器等。

实施例三

参照图3，示出了根据本发明实施例三的一种视频数据处理方法的步骤流程图。

本实施例以一个具体实例的形式，对本发明实施例提供的视频数据处理方案进行说明。其中，实时评论以弹幕评论为例，视频帧特征向量采用表征视频帧的情感特征的向量的形式。

基于此，本实施例的视频数据处理方法包括以下步骤：

步骤S302：获取视频的弹幕评论数据。

一般来说，用户针对视频的弹幕评论数据会存储在服务器端，每条弹幕评论数据包括弹幕评论的文本内容，以及弹幕评论对应视频的时间帧信息(包括但不限于弹幕评论覆盖的视频帧、弹幕评论的出现时间、持续时间等)。因此，可以从服务器端提取每一个视频对应的弹幕评论数据。

步骤S304：对获取的弹幕评论数据进行结构化处理，获得每个弹幕评论的表征情感特征的词向量。

对获取的所有弹幕评论数据进行分析，通过中文分词工具进行分词。例如，对弹幕评论数据进行WORD2VEC模型分析，得到每个弹幕评论中的每个分词的词向量，将该弹幕评论的分词的词向量累加求平均，得到该弹幕评论的词向量。

本实施例中，弹幕评论的词向量采用表征该弹幕评论的情感特征的词向量。则进一步地，获取预先设置的表达用户情感的情感关键词向量，其中包括多个情感关键词，本实施例中设定为一维情感关键词向量，长度为W。然后，将每个弹幕评论的词向量与情感关键词向量求余弦距离，取最相似的情感关键词作为该条弹幕评论的情感特征，生成该弹幕评论的最终词向量，如，V_i＝{N₁,N₂,N₃，……，N_W}，其中，V_i表示第i条弹幕评论，N_j表示一个情感关键词，j＝1,2,……，W。对于弹幕评论V_i，在确定其情感特征后，可以将对应的情感关键词的位置置1，其它位置置0。例如，若N₁表示兴奋,N₂表示高兴,N₃表示愤怒，……，N_W表示悲伤，当V_i的情感特征为高兴时，则可表示为V_i＝{0,1,0，……，0}。

步骤S306：对视频进行结构化处理，分为多个视频帧。

可以将视频按照统一的时长进行处理，例如每256ms作为一帧。

步骤S308：进行弹幕评论的峰值检测，确定对应于每个峰值的视频帧。

例如，可以根据弹幕评论数据生成弹幕评论数量分布曲线；再根据弹幕评论数量分布曲线，得到视频中弹幕评论的所有峰值，每个峰值的时间点即对应于视频片段的某一帧。

步骤S310：获取对应于每个峰值的视频帧的情感特征向量。

一条弹幕评论会覆盖多个视频帧，而每个对应于峰值的视频帧也会有一条或多条弹幕评论。

在一种可行方式中，可以将每个视频帧所有的弹幕评论的词向量累加求平均，得到单个视频帧的特征向量。

在另一种可行方式中，对于每个与弹幕评论峰值对应的视频帧，可以根据该视频帧对应的弹幕评论的词向量及权重，得到该视频帧的特征向量。由于用户会在看到视频的精彩片段后产生共鸣甚至感动，以至于发送弹幕评论，因此，可以认为视频片段的精彩程度与用户发送弹幕评论的时间有关，越靠近发送时间，则与实际精彩程度的时间点越接近，并随时间快速衰减。

基于此，每个弹幕评论对所覆盖的视频帧中的每一帧的权重可以通过如下公式获得：

其中，g_c(t)表示当前弹幕评论在t时刻的视频帧中的权重，t₀表示当前弹幕评论的起始时间，t₀+T_c表示当前弹幕评论的结束时间，T_c表示当前弹幕评论的时长，可以表示为毫秒，也可以表示为秒。

基于此，可以为每条弹幕评论出现期间所覆盖的视频帧计算相应的权重。又因每个与弹幕评论峰值对应的视频帧可能会对应有多个弹幕评论，可以将该多个弹幕评论的词向量乘以其对应的权重后进行累加，最终生成当前视频帧的表征情感特征的向量；或者，可以将该多个弹幕评论的词向量乘以其对应的权重后进行累加，然后再求平均，最终生成当前视频帧的表征情感特征的向量。

步骤S312：确定与每个弹幕评论峰值对应的视频帧所对应的视频片段。

例如，可以设定一个相似度阈值，针对每个与弹幕评论峰值对应的视频帧，根据其特征向量依次与前后每个视频帧的特征向量扩散，通过余弦距离进行相似度比对(即计算当前视频帧的特征向量与其前后每个视频帧的特征向量的余弦距离，根据该余弦距离确定相似度)，直到小于设定的相似度阈值的视频帧，则认为当前视频帧的前边界为当前视频帧之前的小于设定的相似度阈值的视频帧的后一帧，当前视频帧的后边界为当前视频帧之后的小于设定的相似度阈值的视频帧的前一帧。根据当前视频帧的前后边界确定当前视频帧对应的视频片段。

步骤S314：展示确定的视频片段的信息。

例如，可以在视频中进行标示，如在进度条上进行设定符号标示(如圆点标示或矩形标示等等任意适当标示)，当用户鼠标悬浮于设定符号标示之上时，显示相应的信息。

再例如，可以独立于当前视频，根据确定的视频片段的信息截取相应的视频片段，在当前视频之外(如下方或侧方)展示截取的视频片段。

又例如，在当前视频之外，以文字或图片或极短视频的形式，展示视频片段的信息，当用户点击该信息时，触发视频播放对应的视频片段的内容。

但不限于此，在实际应用中，本领域技术人员还可以采用任意适当的其它方式展示确定的视频片段的信息，以供用户快速、方便地查找和观看感兴趣的视频片段。

此外，还需要说明的是，在实际应用中，也可以先执行步骤S306和S308，再执行步骤S302和S304，或者两部分也可以并行执行，并不限于上述执行顺序。

本实施例中，弹幕评论本身包含的文本信息和时序性特征为精彩视频片段的抽取提供了支持；弹幕评论的集中程度可以用来对视频进行动态分段；而随着时间变化的弹幕评论的数量也反映了视频不同部分的精彩程度；弹幕评论往往是用户观看视频后的一种情感流露，通过对于相似情感的集中程度的分析，可以作为精彩片段的提取特征。

可见，本实施例通过对视频的弹幕评论的情感特征的分析，实现自动化分析视频内容，定位精彩视频片段的起止时间区间，可以方便用户更好更方便地找到感兴趣的视频片段。

本实施例的视频数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，如平板电脑、手机、台式机、服务器等。

实施例四

参照图4，示出了根据本发明实施例四的一种视频数据处理装置的结构框图。

本实施例的视频数据处理装置包括：获取模块402，用于根据视频的实时评论信息，获取至少一个实时评论密度峰值；第一确定模块404，用于确定与各个实时评论密度峰值对应的视频帧；第二确定模块406，用于根据各个视频帧的视频帧特征向量，确定与各个视频帧对应的视频片段。

通过本实施例，以与各个实时评论密度峰值对应的视频帧的特征向量为基础，确定相应的各个视频片段。一般来说，在一个视频中会存在多个实时评论的密度峰值，每个密度峰值表征了某一视频时段内最受关注的视频帧，以该视频帧为依据，可以确定该时段内的热点视频片段。因实时评论达到密度峰值时意味着实时评论较为集中，因此可以认为该峰值对应的视频片段为大部分用户都感兴趣的热点视频片段。基于此，用户可以直接根据这些与实时评论密度峰值对应的视频片段的信息，方便、快速地找到感兴趣的视频片段并进行观看，节约观看时间，提升观看体验。

实施例五

参照图5，示出了根据本发明实施例五的一种视频数据处理装置的结构框图。

本实施例的视频数据处理装置包括：获取模块502，用于根据视频的实时评论信息，获取至少一个实时评论密度峰值；第一确定模块504，用于确定与各个实时评论密度峰值对应的视频帧；第二确定模块506，用于根据各个视频帧的视频帧特征向量，确定与各个视频帧对应的视频片段。

可选地，第二确定模块506用于针对当前视频帧，获取当前视频帧的特征向量；以当前视频帧为起始帧，根据当前视频帧的特征向量、当前视频帧之前的连续多个视频帧对应的特征向量，和当前视频帧之后的连续多个视频帧对应的特征向量，确定与当前视频帧的相似度满足设定相似度阈值的前向视频帧和后向视频帧；根据确定的前向视频帧和后向视频帧，确定与当前视频帧对应的视频片段。

可选地，视频帧特征向量根据与视频帧对应的至少一个实时评论的词向量生成。

可选地，实时评论的词向量为表征实时评论的情感特征的词向量；视频帧特征向量为表征所述视频帧的情感特征的向量。

可选地，本实施例的视频数据处理装置还包括：词向量模块508，用于通过以下方式获得表征实时评论的情感特征的词向量：根据实时评论的内容信息，获取对应的评论词向量；获取评论词向量与预设的情感关键词向量中的多个情感关键词的相似度；根据相似度最高的情感关键词，生成表征实时评论的情感特征的词向量。

可选地，本实施例的视频数据处理装置还包括：权重模块510，用于针对每个实时评论，根据当前实时评论的发布时间和持续时间，确定当前实时评论覆盖的至少一帧视频帧；确定当前实时评论在至少一帧视频帧中的各个视频帧的出现时间；根据当前实时评论的发布时间和在各个视频帧的出现时间，计算当前实时评论的词向量在各个视频帧的权重。

可选地，视频帧特征向量根据与视频帧对应的至少一个实时评论的词向量及对应的权重生成。

可选地，视频帧特征向量根据与视频帧对应的至少一个实时评论的词向量进行累加后求平均的结果生成。

本实施例的视频数据处理装置用于实现前述多个方法实施例中相应的视频数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例六

参照图6，示出了根据本发明实施例六的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图6所示，该电子设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。

其中：

处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。

通信接口604，用于与其它终端设备或服务器进行通信。

处理器602，用于执行程序610，具体可以执行上述视频数据处理方法实施例中的相关步骤。

具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。

处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。终端设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序610具体可以用于使得处理器602执行以下操作：根据视频的实时评论信息，获取至少一个实时评论密度峰值；确定与各个实时评论密度峰值对应的视频帧；根据各个视频帧的视频帧特征向量，确定与各个视频帧对应的视频片段。

在一种可选的实施方式中，程序610还用于使得处理器602在根据各个视频帧的视频帧特征向量，确定与各个视频帧对应的视频片段时，针对当前视频帧，获取当前视频帧的特征向量；以当前视频帧为起始帧，根据当前视频帧的特征向量、当前视频帧之前的连续多个视频帧对应的特征向量，和当前视频帧之后的连续多个视频帧对应的特征向量，确定与当前视频帧的相似度满足设定相似度阈值的前向视频帧和后向视频帧；根据确定的述前向视频帧和后向视频帧，确定与当前视频帧对应的视频片段。

在一种可选的实施方式中，视频帧特征向量根据与视频帧对应的至少一个实时评论的词向量生成。

在一种可选的实施方式中，实时评论的词向量为表征实时评论的情感特征的词向量；视频帧特征向量为表征视频帧的情感特征的向量。

在一种可选的实施方式中，表征实时评论的情感特征的词向量通过以下方式获得：根据实时评论的内容信息，获取对应的评论词向量；获取评论词向量与预设的情感关键词向量中的多个情感关键词的相似度；根据相似度最高的情感关键词，生成表征实时评论的情感特征的词向量。

在一种可选的实施方式中，程序610还用于使得处理器602针对每个实时评论，根据当前实时评论的发布时间和持续时间，确定当前实时评论覆盖的至少一帧视频帧；确定当前实时评论在至少一帧视频帧中的各个视频帧的出现时间；根据当前实时评论的发布时间和在各个视频帧的出现时间，计算当前实时评论的词向量在各个视频帧的权重。

在一种可选的实施方式中，视频帧特征向量根据与视频帧对应的至少一个实时评论的词向量及对应的权重生成。

在一种可选的实施方式中，视频帧特征向量根据与视频帧对应的至少一个实时评论的词向量进行累加后求平均的结果生成。

程序610中各步骤的具体实现可以参见上述视频数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

通过本实施例的电子设备，以与各个实时评论密度峰值对应的视频帧的特征向量为基础，确定相应的各个视频片段。一般来说，在一个视频中会存在多个实时评论的密度峰值，每个密度峰值表征了某一视频时段内最受关注的视频帧，以该视频帧为依据，可以确定该时段内的热点视频片段。因实时评论达到密度峰值时意味着实时评论较为集中，因此可以认为该峰值对应的视频片段为大部分用户都感兴趣的热点视频片段。基于此，用户可以直接根据这些与实时评论密度峰值对应的视频片段的信息，方便、快速地找到感兴趣的视频片段并进行观看，节约观看时间，提升观看体验。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的视频数据处理方法。此外，当通用计算机访问用于实现在此示出的视频数据处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的视频数据处理方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (17)

1.一种视频数据处理方法，包括：

根据视频的实时评论信息，获取至少一个实时评论密度峰值；

确定与各个所述实时评论密度峰值对应的视频帧；

根据各个所述视频帧的视频帧特征向量，确定与各个所述视频帧对应的视频片段。

2.根据权利要求1所述的方法，其中，所述根据各个所述视频帧的视频帧特征向量，确定与各个所述视频帧对应的视频片段，包括：

针对当前视频帧，获取当前视频帧的特征向量；

以当前视频帧为起始帧，根据当前视频帧的特征向量、当前视频帧之前的连续多个视频帧对应的特征向量，和当前视频帧之后的连续多个视频帧对应的特征向量，确定与当前视频帧的相似度满足设定相似度阈值的前向视频帧和后向视频帧；

根据确定的所述前向视频帧和后向视频帧，确定与当前视频帧对应的视频片段。

3.根据权利要求2所述的方法，其中，所述视频帧特征向量根据与所述视频帧对应的至少一个实时评论的词向量生成。

4.根据权利要求3所述的方法，其中，所述实时评论的词向量为表征所述实时评论的情感特征的词向量；所述视频帧特征向量为表征所述视频帧的情感特征的向量。

5.根据权利要求4所述的方法，其中，所述表征所述实时评论的情感特征的词向量通过以下方式获得：

根据所述实时评论的内容信息，获取对应的评论词向量；

获取所述评论词向量与预设的情感关键词向量中的多个情感关键词的相似度；

根据相似度最高的情感关键词，生成表征所述实时评论的情感特征的词向量。

6.根据权利要求3-5任一项所述的方法，其中，所述方法还包括：

针对每个所述实时评论，根据当前实时评论的发布时间和持续时间，确定当前实时评论覆盖的至少一帧视频帧；

确定当前实时评论在所述至少一帧视频帧中的各个视频帧的出现时间；

根据当前实时评论的发布时间和在各个视频帧的出现时间，计算当前实时评论的词向量在各个视频帧的权重。

7.根据权利要求6所述的方法，其中，所述视频帧特征向量根据与所述视频帧对应的至少一个实时评论的词向量及对应的权重生成。

8.根据权利要求3-5任一项所述的方法，其中，所述视频帧特征向量根据与所述视频帧对应的至少一个实时评论的词向量进行累加后求平均的结果生成。

9.一种视频数据处理装置，包括：

获取模块，用于根据视频的实时评论信息，获取至少一个实时评论密度峰值；

第一确定模块，用于确定与各个所述实时评论密度峰值对应的视频帧；

第二确定模块，用于根据各个所述视频帧的视频帧特征向量，确定与各个所述视频帧对应的视频片段。

10.根据权利要求9所述的装置，其中，所述第二确定模块，用于针对当前视频帧，获取当前视频帧的特征向量；以当前视频帧为起始帧，根据当前视频帧的特征向量、当前视频帧之前的连续多个视频帧对应的特征向量，和当前视频帧之后的连续多个视频帧对应的特征向量，确定与当前视频帧的相似度满足设定相似度阈值的前向视频帧和后向视频帧；根据确定的所述前向视频帧和后向视频帧，确定与当前视频帧对应的视频片段。

11.根据权利要求10所述的装置，其中，所述视频帧特征向量根据与所述视频帧对应的至少一个实时评论的词向量生成。

12.根据权利要求11所述的装置，其中，所述实时评论的词向量为表征所述实时评论的情感特征的词向量；所述视频帧特征向量为表征所述视频帧的情感特征的向量。

13.根据权利要求12所述的装置，其中，所述装置还包括：

词向量模块，用于通过以下方式获得所述表征所述实时评论的情感特征的词向量：根据所述实时评论的内容信息，获取对应的评论词向量；获取所述评论词向量与预设的情感关键词向量中的多个情感关键词的相似度；根据相似度最高的情感关键词，生成表征所述实时评论的情感特征的词向量。

14.根据权利要求11-13任一项所述的装置，其中，所述装置还包括：

权重模块，用于针对每个所述实时评论，根据当前实时评论的发布时间和持续时间，确定当前实时评论覆盖的至少一帧视频帧；确定当前实时评论在所述至少一帧视频帧中的各个视频帧的出现时间；根据当前实时评论的发布时间和在各个视频帧的出现时间，计算当前实时评论的词向量在各个视频帧的权重。

15.根据权利要求14所述的装置，其中，所述视频帧特征向量根据与所述视频帧对应的至少一个实时评论的词向量及对应的权重生成。

16.根据权利要求11-13任一项所述的装置，其中，所述视频帧特征向量根据与所述视频帧对应的至少一个实时评论的词向量进行累加后求平均的结果生成。

17.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8任一项所述的视频数据处理方法对应的操作。