CN107066488A - 基于影视内容语义分析的影视桥段自动分割方法 - Google Patents

Abstract

本发明提供了一种基于影视内容语义分析的影视桥段自动分割方法，包括步骤有：将影视视频按预定的时间间隔依序拆分成若干画面；根据每张所述画面的像素计算对应的像素参数值；将所述像素参数值达到预定的第一相似度阈值的画面集群作为粗分桥段；计算所述粗分桥段中的各所述画面的内容相似度；将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段。另外，本发明还提供了一种基于影视内容语义分析的影视桥段自动分割方法。借此，本发明通过分析影视内容语义大数据，进行影视桥段的自动化划分，大大降低人工编辑的工作量，加速桥段的生成效率，从而为后期影视的制作与创作提供支持。

Description

基于影视内容语义分析的影视桥段自动分割方法

技术领域

本发明涉及一种基于影视内容语义分析的影视桥段自动分割方法及系统。

背景技术

影视桥段是电影、电视剧等影视剧情的基本元素，通过有情节的策划，包括对动作、表情、场景、台词，以至部分情节等的表现手法形成影视内容原数据。图1是现有影视桥段拆分的处理流程图，包括第一幕、第二幕、第三幕；建置，对抗，结局；按剧本页数划分的情节点1和情节点2，进行场景段落的分解。但现有影视桥段的划分都还处于人工编辑及剧本分析的手工参与状态，通过对电影、电视剧的剧本中的人物、台词以及背景等进行人工打标签的形式拆分归类形成桥段库，这种方法对于效率与人工的消耗都比较大，而且覆盖率及准确率都不高。另外，现有影视桥段分析通常依赖于影视剧本，而影视剧本对于一般的影视研究者和爱好者来说较难获取，难以实现其划分影视桥段的需求。

综上可知，现有技术在实际使用上显然存在不便与缺陷，所以有必要加以改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种基于影视内容语义分析的影视桥段自动分割方法及系统，能够通过影视内容语义大数据自动化划分桥段，大大降低人工编辑的工作量，加速桥段的生成效率，为后期影视的制作与创作提供支持。

为了实现上述目的，本发明提供一种基于影视内容语义分析的影视桥段自动分割方法，包括步骤有：

将影视视频按预定的时间间隔依序拆分成若干画面；

根据每张所述画面的像素计算对应的像素参数值；

将所述像素参数值达到预定的第一相似度阈值的画面集群作为粗分桥段；

计算所述粗分桥段中的各所述画面的内容相似度；

将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段。

根据本发明所述的影视桥段自动分割方法，所述将影视视频按预定的时间间隔依序拆分成若干画面的步骤包括：

将所述影视视频按秒依序拆分成逐张的所述画面。

根据本发明所述的影视桥段自动分割方法，所述根据每张所述画面的像素计算对应的像素参数值的步骤包括：

根据每张所述画面的像素计算对应的主色调值；

所述将所述像素参数值达到预定的第一相似度阈值的画面集群作为粗分桥段的步骤包括：

将所述主色调值达到所述第一相似度阈值的画面集群作为所述粗分桥段。

根据本发明所述的影视桥段自动分割方法，所述将影视视频按预定的时间间隔依序拆分成若干画面的步骤还包括：

按照拆分的所述画面的时间先后顺序对其进行编号；

所述根据每张所述画面的像素计算对应的主色调值的步骤包括：

根据每张所述画面的像素计算对应的帧R、帧G、帧B数值，将三者中数值最大者作为所述画面的所述主色调值；

所述将所述主色调值达到所述第一相似度阈值的画面集群作为所述粗分桥段的步骤包括：

当n号画面的主色调值为R、G或B时，所述n为自然数且1≤n≤总画面张数，若n+1号画面的主色调值仍为R、G或B，则认为n号画面和n+1号画面同属于一个桥段；

当n号画面的主色调值为R、G或B时，若n+1号画面的主色调值非R、G或B，则计算从n+1号画面开始，到n+N号画面之间主色调为值R、G或B的画面张数，若其比例大于M％，则认为n+1号画面与n号画面同属于一个桥段，否则认为从n+1号是一个粗桥段分割点，所述参数N为自然数且1≤N≤总画面张数-n，所述参数M为实数且0＜M＜100，所述参数N与M根据样本训练结果确定；

根据所述粗桥段分割点，将所述影视视频划分为若干个所述粗分桥段。

根据本发明所述的影视桥段自动分割方法，所述计算所述粗分桥段中的各所述画面的内容相似度的步骤包括：

根据图像识别技术，计算所述粗分桥段中的各所述画面的人脸及环境的特征向量；

根据各所述画面的人脸及环境的所述特征向量，计算所述粗分桥段中每两个画面之间的余弦相似度；

所述将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段的步骤包括：

将所述粗分桥段中所述余弦相似度达到所述第二相似度阈值的画面集群作为所述细分桥段。

根据本发明所述的影视桥段自动分割方法，所述将所述粗分桥段中所述余弦相似度达到所述第二相似度阈值的画面集群作为所述细分桥段的步骤包括：

将所述粗分桥段中的n号画面，所述n为自然数且1≤n≤总画面张数-1，先按时间顺序推演，若n与n+1～n+P号画面中的Q％及以上画面的所述余弦相似度大于所述第二相似度阈值，则认为n～n+P号画面同属于一个桥段，否则认为n是一个疑似细桥段分割点；所述参数P为自然数且1≤P≤总画面张数-n，所述参数Q为实数且0＜Q＜100，所述参数P与Q根据样本训练结果确定；

将所述粗分桥段中的m号画面，所述m为自然数且2≤m≤总画面张数，再按时间倒序推演，若m与m-1～m-P号画面中的Q％及以上画面的所述余弦相似度大于所述第二相似度阈值，则认为m-P～m号画面同属于一个桥段，反之则认为m是一个疑似细桥段分割点；

若顺序推演的疑似分割点n与倒序推演的可疑分割点m恰好相邻或重叠，则认定n和/或m是一个细桥段分割点；

根据所述细桥段分割点，将所述粗分桥段划分为若干个所述细分桥段。

根据本发明所述的影视桥段自动分割方法，所述将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段的步骤之后包括：

根据各所述细分桥段的字幕上下文进行分析，将所述字幕上下文有关联且相邻的所述细分桥段进行合并。

根据本发明所述的影视桥段自动分割方法，所述根据各所述细分桥段的字幕上下文进行分析，将所述字幕上下文有关联且相邻的所述细分桥段进行合并的步骤包括：

根据自然语言处理中的概率上下文无关文算法结合北大中文语料库训练出所需要的参数，从而形成语法树；

通过所述语法树检验各所述细分桥段中的字幕，若发现一个细分桥段的最后一句字幕和后一细分桥段的第一句字幕存在上下文关系，则将上述两个细分桥段合并。

根据本发明所述的影视桥段自动分割方法，所述将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段的步骤之后包括：

根据各所述细分桥段的背景音乐进行分析，将所述背景音乐有关联且相邻的所述细分桥段进行合并。

根据本发明所述的影视桥段自动分割方法，所述根据各所述细分桥段的背景音乐进行分析，将所述背景音乐有关联且相邻的所述细分桥段进行合并的步骤还包括：

将所述影视视频的音频文件中的人声消除，并计算所有背景音乐的音乐起始点；

根据所述音乐起始点，将包含某段相同所述音乐起始点的多个相邻的所述细分桥段进行合并。

本发明还提供一种基于影视内容语义分析的影视桥段自动分割系统，包括有：

画面拆分模块，用于将影视视频按预定的时间间隔依序拆分成若干画面；

参数值计算模块，用于根据每张所述画面的像素计算对应的像素参数值；

桥段粗分模块，用于将所述像素参数值达到预定的第一相似度阈值的画面集群作为粗分桥段；

内容相似度计算模块，用于计算所述粗分桥段中的各所述画面的内容相似度；

桥段细分模块，用于将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段。

根据本发明所述的影视桥段自动分割系统，所述画面拆分模块用于将所述影视视频按秒依序拆分成逐张的所述画面。

根据本发明所述的影视桥段自动分割系统，所述参数值计算模块用于根据每张所述画面的像素计算对应的主色调值；

所述桥段粗分模块用于将所述主色调值达到所述第一相似度阈值的画面集群作为所述粗分桥段。

根据本发明所述的影视桥段自动分割系统，所述画面拆分模块还包用于按照拆分的所述画面的时间先后顺序对其进行编号；

所述参数值计算模块用于根据每张所述画面的像素计算对应的帧R、帧G、帧B数值，将三者中数值最大者作为所述画面的所述主色调值；

所述桥段粗分模块包括：

第一判断子模块，用于当n号画面的主色调值为R、G或B时，所述n为自然数且1≤n≤总画面张数，若n+1号画面的主色调值仍为R、G或B，则认为n号画面和n+1号画面同属于一个桥段；

第二判断子模块，用于当n号画面的主色调值为R、G或B时，若n+1号画面的主色调值非R、G或B，则计算从n+1号画面开始，到n+N号画面之间主色调为值R、G或B的画面张数，若其比例大于M％，则认为n+1号画面与n号画面同属于一个桥段，否则认为从n+1号是一个粗桥段分割点，所述参数N为自然数且1≤N≤总画面张数-n，所述参数M为实数且0＜M＜100，所述参数N与M根据样本训练结果确定；

粗分子模块，用于根据所述粗桥段分割点，将所述影视视频划分为若干个所述粗分桥段。

根据本发明所述的影视桥段自动分割系统，所述内容相似度计算模块包括：

特征向量计算子模块，用于根据图像识别技术，计算所述粗分桥段中的各所述画面的人脸及环境的特征向量；

余弦相似度计算子模块，用于根据各所述画面的人脸及环境的所述特征向量，计算所述粗分桥段中每两个画面之间的余弦相似度；

所述桥段细分模块用于将所述粗分桥段中所述余弦相似度达到所述第二相似度阈值的画面集群作为所述细分桥段。

根据本发明所述的影视桥段自动分割系统，所述桥段细分模块包括：

时间顺序推演子模块，用于将所述粗分桥段中的n号画面，所述n为自然数且1≤n≤总画面张数-1，先按时间顺序推演，若n与n+1～n+P号画面中的Q％及以上画面的所述余弦相似度大于所述第二相似度阈值，则认为n～n+P号画面同属于一个桥段，否则认为n是一个疑似细桥段分割点；所述参数P为自然数且1≤P≤总画面张数-n，所述参数Q为实数且0＜Q＜100，所述参数P与Q根据样本训练结果确定；

时间倒序推演子模块，用于将所述粗分桥段中的m号画面，所述m为自然数且2≤m≤总画面张数，再按时间倒序推演，若m与m-1～m-P号画面中的Q％及以上画面的所述余弦相似度大于所述第二相似度阈值，则认为m-P～m号画面同属于一个桥段，反之则认为m是一个疑似细桥段分割点；

第三判断子模块，用于若顺序推演的疑似分割点n与倒序推演的可疑分割点m恰好相邻或重叠，则认定n和/或m是一个细桥段分割点；

细分子模块，用于根据所述细桥段分割点，将所述粗分桥段划分为若干个所述细分桥段。

根据本发明所述的影视桥段自动分割系统，还包括有：

第一细分桥段合并模块，用于在所述桥段细分模块划分出若干所述细分桥段后，根据各所述细分桥段的字幕上下文进行分析，将所述字幕上下文有关联且相邻的所述细分桥段进行合并。

根据本发明所述的影视桥段自动分割系统，所述第一细分桥段合并模块包括：

语法树生成子模块，用于根据自然语言处理中的概率上下文无关文算法结合北大中文语料库训练出所需要的参数，从而形成语法树；

第一合并子模块，用于通过所述语法树检验各所述细分桥段中的字幕，若发现一个细分桥段的最后一句字幕和后一细分桥段的第一句字幕存在上下文关系，则将上述两个细分桥段合并。

根据本发明所述的影视桥段自动分割系统，还包括有：

第二细分桥段合并模块，用于在所述桥段细分模块划分出若干所述细分桥段后，根据各所述细分桥段的背景音乐进行分析，将所述背景音乐有关联且相邻的所述细分桥段进行合并。

根据本发明所述的影视桥段自动分割系统，所述第二细分桥段合并模块还包括：

起始点计算子模块，用于将所述影视视频的音频文件中的人声消除，并计算所有背景音乐的音乐起始点；

第二合并子模块，用于根据所述音乐起始点，将包含某段相同所述音乐起始点的多个相邻的所述细分桥段进行合并。

本发明通过影视内容语义分析进行影视桥段的自动划分，将影视视频按时间顺序拆分成若干画面；计算每张画面的像素参数值；将像素参数值近似的画面集群作为粗分桥段；再计算粗分桥段中的各画面的内容相似度；将内容近似的粗分桥段中的画面集群作为细分桥段。借此，本发明通过分析影视内容语义大数据，进行影视桥段的自动化划分，大大降低人工编辑的工作量，加速桥段的生成效率，从而为后期影视的制作与创作提供支持。并且，本发明影视桥段的划分技术不再依赖剧本，从而能够让影视研究者和爱好者不再受制于剧本的可得性，可方便地获取可靠的影视桥段拆分结果。

附图说明

图1是现有影视桥段拆分的处理流程图；

图2是本发明基于影视内容语义分析的影视桥段自动分割系统的结构示意图；

图3是本发明优选基于影视内容语义分析的影视桥段自动分割系统的结构示意图；

图4是本发明对于画面主色调像素的生成值的界面实例图。

图5是本发明基于影视内容语义分析的影视桥段自动分割方法的流程图；

图6是本发明优选基于影视内容语义分析的影视桥段自动分割方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图2是本发明基于影视内容语义分析的影视桥段自动分割系统的结构示意图，所述影视桥段自动分割系统100包括有：

画面拆分模块10，用于将影视视频按预定的时间间隔依序拆分成若干画面，即将影视画面拆分。优选的是，画面拆分模块10用于将影视视频按秒依序拆分成逐张的画面。所述影视包括电影、电视剧等用电影、电视剧拍摄方式形成的视频。

参数值计算模块20，用于根据每张画面的像素计算对应的像素参数值。即可获取每张画面的像素值，所述像素参数值包括帧R、帧G、帧B、帧方差、帧信息熵、帧梯度值等。优选的是，参数值计算模块20用于根据每张画面的像素计算对应的主色调值。

桥段粗分模块30，用于将像素参数值达到预定的第一相似度阈值的画面集群作为第一次粗略拆分的粗分桥段。优选的是，桥段粗分模块30用于将主色调值达到第一相似度阈值的画面集群作为粗分桥段。

内容相似度计算模块40，用于计算粗分桥段中的各画面的内容相似度。优选的是，内容相似度计算模块40，用于根据图像识别技术，计算粗分桥段中的各画面的人脸及环境的特征向量；然后根据各画面的人脸及环境的特征向量，计算粗分桥段中每两个画面之间的余弦相似度。

桥段细分模块50，用于将粗分桥段中内容相似度达到预定的第二相似度阈值的画面集群作为第二次细化拆分的细分桥段。

本发明基于现有影视作品与内容，进行影视内容语义的桥段的自动化划分，进而形成一个“影视桥段百科书”或者“桥段数据库”，为后期影视的制作与创作提供支持。本发明不再依赖剧本，在保持影视主体内容不间断的前提下，自动根据影像声音等影视内容语义数据自动化拆分影视桥段。从而能够让影视研究者和爱好者不再受制于剧本的可得性，得到方便可靠的影视桥段拆分结果。同时，在面对大量影视的分析时，本发明的自动化特性能够大大减少编辑的工作量，加速桥段的生产。

图3是本发明优选基于影视内容语义分析的影视桥段自动分割系统的结构示意图，所述影视桥段自动分割系统100至少包括有画面拆分模块10、参数值计算模块20、桥段粗分模块30、内容相似度计算模块40、桥段细分模块50，其中本发明有三个假设：

假设A：影视中单个桥段的画面主色调是一致的；

假设B：影视中前后两个桥段的字幕不具有上下文关系；

假设C：一段完整的音乐应该出现在一个连续的桥段当中。

所述画面拆分模块10，用于将影视视频按预定的时间间隔依序拆分成若干画面。优选的是，画面拆分模块10用于将影视视频按秒依序拆分成逐张的画面。更好的是，按照拆分的画面的时间先后顺序对其进行编号。

所述参数值计算模块20，用于根据每张画面的像素计算对应的像素参数值。优选的是，参数值计算模块20用于根据每张画面的像素计算对应的主色调值。如图4所示，根据每张画面的像素生成每张画面的帧R、帧G、帧B、帧方差、帧信息熵、帧梯度值等像素参数值。参数值计算模块20用于根据每张画面的像素计算对应的帧R、帧G、帧B数值，将三者中数值最大者作为画面的主色调值。优选利用图像数据处理工具得到每张画面的帧R、帧G、帧B数值。

所述桥段粗分模块30，用于将像素参数值达到预定的第一相似度阈值的画面集群作为粗分桥段。优选的是，根据相同桥段中画面的色调相近的原理，桥段粗分模块30用于将主色调值(帧R、帧G、帧B)达到第一相似度阈值的画面集群作为第一次粗略拆分的粗分桥段。优选桥段粗分模块30包括：

第一判断子模块31，用于当n号画面的主色调值为R、G或B时，n为自然数且1≤n≤总画面张数，若n+1号画面的主色调值仍为R、G或B，则认为n号画面和n+1号画面同属于一个桥段。

第二判断子模块32，用于当n号画面的主色调值为R、G或B时，若n+1号画面的主色调值非R、G或B，则计算从n+1号画面开始，到n+N号画面之间主色调为值R、G或B的画面张数，若其比例大于M％，则认为n+1号画面与n号画面同属于一个桥段，否则认为从n+1号是一个粗桥段分割点，以此类推。此处参数N为自然数且1≤N≤总画面张数-n，参数M为实数且0＜M＜100，参数N与M根据样本训练结果确定，即通过训练画面色调相似度实现。

粗分子模块33，用于根据粗桥段分割点，将整个影视视频划分为若干个粗分桥段。

所述内容相似度计算模块40，用于计算粗分桥段中的各画面的内容相似度。优选的是，内容相似度计算模块40包括：

特征向量计算子模块41，用于根据图像识别技术，计算粗分桥段中的各画面的人脸及环境的特征向量。在桥段粗分模块30划分的若干个粗分桥段基础上，需要对画面进行进一步处理。优选通过人脸识别技术，使用Viola/Jones Face Detector(维奥拉/琼斯的人脸检测器)方法等对画面中的人脸以及环境进行检测；同时对借助分类能力更强的特征表述人脸与环境的特征向量。所述人脸是指每张画面中人物的脸部；所述环境是指每张画面中除人物之外的其他对象，如房屋、道路、树木、动物、日用品等。

余弦相似度计算子模块42，用于根据各画面的人脸及环境的特征向量，计算粗分桥段中每两个画面之间的余弦相似度。即通过计算两个向量的夹角余弦值来评估他们的相似度。余弦值的范围在[-1，1]之间，值越趋近于1，代表两个向量的方向越趋近于0，他们的方向更加一致，相应的相似度也越高。设向量A＝(A1,A2,...,An)，B＝(B1,B2,...,Bn)。推广到多维:

所述桥段细分模块50，用于将粗分桥段中内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段。优选的是，所述桥段细分模块50，用于将粗分桥段中余弦相似度达到第二相似度阈值的画面集群作为细分桥段。更好的是，所述桥段细分模块50包括：

时间顺序推演子模块51，用于将粗分桥段中的n号画面，n为自然数且1≤n≤总画面张数-1，先按时间顺序推演，若n与n+1～n+P号画面中的Q％及以上画面的余弦相似度大于第二相似度阈值L，则认为n～n+P号画面同属于一个桥段，否则认为n是一个疑似细桥段分割点。参数P为自然数且1≤P≤总画面张数-n，参数Q为实数且0＜Q＜100，参数P与Q根据样本训练结果确定。

时间倒序推演子模块52，用于将粗分桥段中的m号画面，m为自然数且2≤m≤总画面张数，再按时间倒序推演，若m与m-1～m-P号画面中的Q％及以上画面的余弦相似度大于第二相似度阈值L，则认为m-P～m号画面同属于一个桥段，反之则认为m是一个疑似细桥段分割点。

第三判断子模块53，用于若顺序推演的疑似分割点n与倒序推演的可疑分割点m恰好相邻或重叠，则认定n和/或m是一个细桥段分割点。

细分子模块54，用于根据细桥段分割点，将粗分桥段划分为若干个细分桥段。

本发明对粗分桥段内的画面进行人像和环境特征向量相似度进行计算，达到细分桥段的结果。

优选的是，本发明还可以使用NLP(Natural Language Processing，自然语言处理)对影视字幕进行分析，并可结合影视背景音乐识别，对上述可能有关联的相邻细分桥段进行拼接，从而降低桥段拆分过细的可能性。

所述影视桥段自动分割系统100还包括有：

第一细分桥段合并模块60，用于在桥段细分模块50划分出若干细分桥段后，根据各细分桥段的字幕上下文进行分析，将字幕上下文有关联且相邻的细分桥段进行合并。

优选的是，第一细分桥段合并模块60包括：

语法树生成子模块61，用于根据NLP中的PCFG(Probabilistic Context FreeGrammar，概率上下文无关文法)算法，并结合北大中文语料库(CCL)训练出PCFG所需要的参数，从而形成语法树。

第一合并子模块62，用于通过语法树检验各细分桥段中的字幕，若发现一个细分桥段的最后一句字幕和后一细分桥段的第一句字幕存在上下文关系，则将上述两个细分桥段合并。

更好的是，所述影视桥段自动分割系统100还包括有：

第二细分桥段合并模块70，用于在桥段细分模块50划分出若干细分桥段后，根据各细分桥段的背景音乐进行分析，将背景音乐有关联且相邻的细分桥段进行合并。优选的是，第二细分桥段合并模块70还包括：

起始点计算子模块71，用于将影视视频的音频文件中的人声消除，并计算所有背景音乐的音乐起始点。

第二合并子模块72，用于根据音乐起始点，将包含某段相同音乐起始点的多个相邻的细分桥段进行合并。

本发明主要原理：从影视视频内容出发，将影视视频流数据拆解成以秒为单位的帧图片；从图片的像素以及内容识别上入手，比较时序图片之间的相似性，寻找桥段的分割点；根据字幕的上下文关系及背景音乐关系的连贯性进行微桥段整合，最终形成比较可靠的主题桥段。

本发明通过对影视内容语义大数据的拆分收集，经过画面主色调、人脸、环境及背景音乐等识别进行影视桥段的自动化分割，把一部电影、电视剧等影视按时间顺序分成不同的片段，再通过色调、人脸、环境及背景音乐的自动匹配和组合，构建影视元素的桥段情景。本发明涉及在影视内容语义大数据中通过对影视桥段自动化的拆分进行内容语义的归类，为影视内容创作、影视剧本预测、影视元素及影视班底分析等提供大数据自动化语义采集划分的支撑，大大降低人工采集的强度，加速影视大数据创作的生产。

图5是本发明基于影视内容语义分析的影视桥段自动分割方法的流程图，其可通过如图2或图3所示的影视桥段自动分割系统100实现，包括步骤有：

步骤S501，将影视视频按预定的时间间隔依序拆分成若干画面。本步骤用于将影视画面进行拆分。优选的是，将影视视频按秒依序拆分成逐张的画面。所述影视包括电影、电视剧等用电影、电视剧拍摄方式形成的视频。

步骤S502，根据每张画面的像素计算对应的像素参数值。即可获取每张画面的像素值，所述像素参数值包括帧R、帧G、帧B、帧方差、帧信息熵、帧梯度值等。优选的是，根据每张画面的像素计算对应的主色调值。

步骤S503，将像素参数值达到预定的第一相似度阈值的画面集群作为第一次粗略拆分的粗分桥段。优选的是，将主色调值达到第一相似度阈值的画面集群作为粗分桥段。

步骤S504，计算粗分桥段中的各画面的内容相似度。优选的是，根据图像识别技术，计算粗分桥段中的各画面的人脸及环境的特征向量；然后根据各画面的人脸及环境的特征向量，计算粗分桥段中每两个画面之间的余弦相似度。

步骤S505，将粗分桥段中内容相似度达到预定的第二相似度阈值的画面集群作为第二次细化拆分的细分桥段。

图6是本发明基于影视内容语义分析的影视桥段自动分割方法的优选流程图，其可通过如图3所示的影视桥段自动分割系统100实现，其中本发明有三个假设：

假设A：影视中单个桥段的画面主色调是一致的；

假设B：影视中前后两个桥段的字幕不具有上下文关系；

假设C：一段完整的音乐应该出现在一个连续的桥段当中。

本发明影视桥段自动分割方法包括步骤有：

步骤S601，将影视视频按预定的时间间隔依序拆分成若干画面。

本步骤优选的是，将影视视频按秒依序拆分成逐张的画面。

本步骤更好的是，按照拆分的画面的时间先后顺序对其进行编号。

步骤S602，根据每张画面的像素计算对应的主色调值。

如图4所示，根据每张画面的像素生成每张画面的帧R、帧G、帧B、帧方差、帧信息熵、帧梯度值等像素参数值。本步骤优选的是，根据每张画面的像素计算对应的帧R、帧G、帧B数值，将三者中数值最大者作为画面的主色调值。优选利用图像数据处理工具得到每张画面的帧R、帧G、帧B数值。

步骤S603，根据相同桥段中画面的色调相近的原理，将主色调值(帧R、帧G、帧B)达到第一相似度阈值的画面集群作为第一次粗略拆分的粗分桥段。

本步骤优选进一步包括：

当n号画面的主色调值为R、G或B时，n为自然数且1≤n≤总画面张数，若n+1号画面的主色调值仍为R、G或B，则认为n号画面和n+1号画面同属于一个桥段。

当n号画面的主色调值为R、G或B时，若n+1号画面的主色调值非R、G或B，则计算从n+1号画面开始，到n+N号画面之间主色调为值R、G或B的画面张数，若其比例大于M％，则认为n+1号画面与n号画面同属于一个桥段，否则认为从n+1号是一个粗桥段分割点，以此类推。此处参数N为自然数且1≤N≤总画面张数-n，参数M为实数且0＜M＜100，参数N与M根据样本训练结果确定，即通过训练画面色调相似度实现。

根据粗桥段分割点，将整个影视视频划分为若干个粗分桥段。

步骤S604，计算粗分桥段中的各画面的内容相似度。

本步骤优选进一步包括：

根据图像识别技术，计算粗分桥段中的各画面的人脸及环境的特征向量。优选通过人脸识别技术，使用Viola/Jones Face Detector(维奥拉/琼斯的人脸检测器)方法等对画面中的人脸以及环境进行检测；同时对借助分类能力更强的特征表述人脸与环境的特征向量。所述人脸是指每张画面中人物的脸部；所述环境是指每张画面中除人物之外的其他对象，如房屋、道路、树木、动物、日用品等。

根据各画面的人脸及环境的特征向量，计算粗分桥段中每两个画面之间的余弦相似度。即通过计算两个向量的夹角余弦值来评估他们的相似度。余弦值的范围在[-1，1]之间，值越趋近于1，代表两个向量的方向越趋近于0，他们的方向更加一致，相应的相似度也越高。设向量A＝(A1,A2,...,An)，B＝(B1,B2,...,Bn)。推广到多维:

步骤S605，将粗分桥段中内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段。

本步骤优选的是，将粗分桥段中余弦相似度达到第二相似度阈值的画面集群作为细分桥段，进一步包括：

将粗分桥段中的n号画面，n为自然数且1≤n≤总画面张数-1，先按时间顺序推演，若n与n+1～n+P号画面中的Q％及以上画面的余弦相似度大于第二相似度阈值，则认为n～n+P号画面同属于一个桥段，否则认为n是一个疑似细桥段分割点。参数P为自然数且1≤P≤总画面张数-n，参数Q为实数且0＜Q＜100，参数P与Q根据样本训练结果确定。

将粗分桥段中的m号画面，m为自然数且2≤m≤总画面张数，再按时间倒序推演，若m与m-1～m-P号画面中的Q％及以上画面的余弦相似度大于第二相似度阈值，则认为m-P～m号画面同属于一个桥段，反之则认为m是一个疑似细桥段分割点。

若顺序推演的疑似分割点n与倒序推演的可疑分割点m恰好相邻或重叠，则认定n和/或m是一个细桥段分割点。

根据细桥段分割点，将粗分桥段划分为若干个细分桥段。

本发明对粗分桥段内的画面进行人像和环境特征向量相似度进行计算，达到细分桥段的结果。

优选的是，本发明还可以使用NLP对影视字幕进行分析，并可结合影视背景音乐识别，对上述可能有关联的相邻细分桥段进行拼接，从而降低桥段拆分过细的可能性。所述影视桥段自动分割方法进一步包括：

步骤S606，根据各细分桥段的字幕上下文进行分析，将字幕上下文有关联且相邻的细分桥段进行合并。

本步骤优选进一步包括：

根据NLP中的概率上下文无关文算法结合北大中文语料库训练出所需要的参数，从而形成语法树。

通过语法树检验各细分桥段中的字幕，若发现一个细分桥段的最后一句字幕和后一细分桥段的第一句字幕存在上下文关系，则将上述两个细分桥段合并。

步骤S607，根据各细分桥段的背景音乐进行分析，将背景音乐有关联且相邻的细分桥段进行合并。

本步骤优选进一步包括：

将影视视频的音频文件中的人声消除，并计算所有背景音乐的音乐起始点。

根据音乐起始点，将包含某段相同音乐起始点的多个相邻的细分桥段进行合并。

综上所述，本发明通过影视内容语义分析进行影视桥段的自动划分，将影视视频按时间顺序拆分成若干画面；计算每张画面的像素参数值；将像素参数值近似的画面集群作为粗分桥段；再计算粗分桥段中的各画面的内容相似度；将内容近似的粗分桥段中的画面集群作为细分桥段。借此，本发明通过分析影视内容语义大数据，进行影视桥段的自动化划分，大大降低人工编辑的工作量，加速桥段的生成效率，从而为后期影视的制作与创作提供支持。并且，本发明影视桥段的划分技术不再依赖剧本，从而能够让影视研究者和爱好者不再受制于剧本的可得性，可方便地获取可靠的影视桥段拆分结果。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (20)

1.一种基于影视内容语义分析的影视桥段自动分割方法，其特征在于，包括步骤有：

将影视视频按预定的时间间隔依序拆分成若干画面；

根据每张所述画面的像素计算对应的像素参数值；

将所述像素参数值达到预定的第一相似度阈值的画面集群作为粗分桥段；

计算所述粗分桥段中的各所述画面的内容相似度；

将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段。

2.根据权利要求1所述的影视桥段自动分割方法，其特征在于，所述将影视视频按预定的时间间隔依序拆分成若干画面的步骤包括：

将所述影视视频按秒依序拆分成逐张的所述画面。

3.根据权利要求1所述的影视桥段自动分割方法，其特征在于，所述根据每张所述画面的像素计算对应的像素参数值的步骤包括：

根据每张所述画面的像素计算对应的主色调值；

所述将所述像素参数值达到预定的第一相似度阈值的画面集群作为粗分桥段的步骤包括：

将所述主色调值达到所述第一相似度阈值的画面集群作为所述粗分桥段。

4.根据权利要求3所述的影视桥段自动分割方法，其特征在于，所述将影视视频按预定的时间间隔依序拆分成若干画面的步骤还包括：

按照拆分的所述画面的时间先后顺序对其进行编号；

所述根据每张所述画面的像素计算对应的主色调值的步骤包括：

根据每张所述画面的像素计算对应的帧R、帧G、帧B数值，将三者中数值最大者作为所述画面的所述主色调值；

所述将所述主色调值达到所述第一相似度阈值的画面集群作为所述粗分桥段的步骤包括：

当n号画面的主色调值为R、G或B时，所述n为自然数且1≤n≤总画面张数，若n+1号画面的主色调值仍为R、G或B，则认为n号画面和n+1号画面同属于一个桥段；

当n号画面的主色调值为R、G或B时，若n+1号画面的主色调值非R、G或B，则计算从n+1号画面开始，到n+N号画面之间主色调为值R、G或B的画面张数，若其比例大于M％，则认为n+1号画面与n号画面同属于一个桥段，否则认为从n+1号是一个粗桥段分割点，所述参数N为自然数且1≤N≤总画面张数-n，所述参数M为实数且0＜M＜100，所述参数N与M根据样本训练结果确定；

根据所述粗桥段分割点，将所述影视视频划分为若干个所述粗分桥段。

5.根据权利要求1所述的影视桥段自动分割方法，其特征在于，所述计算所述粗分桥段中的各所述画面的内容相似度的步骤包括：

根据图像识别技术，计算所述粗分桥段中的各所述画面的人脸及环境的特征向量；

根据各所述画面的人脸及环境的所述特征向量，计算所述粗分桥段中每两个画面之间的余弦相似度；

所述将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段的步骤包括：

将所述粗分桥段中所述余弦相似度达到所述第二相似度阈值的画面集群作为所述细分桥段。

6.根据权利要求5所述的影视桥段自动分割方法，其特征在于，所述将所述粗分桥段中所述余弦相似度达到所述第二相似度阈值的画面集群作为所述细分桥段的步骤包括：

将所述粗分桥段中的n号画面，所述n为自然数且1≤n≤总画面张数-1，先按时间顺序推演，若n与n+1～n+P号画面中的Q％及以上画面的所述余弦相似度大于所述第二相似度阈值，则认为n～n+P号画面同属于一个桥段，否则认为n是一个疑似细桥段分割点；所述参数P为自然数且1≤P≤总画面张数-n，所述参数Q为实数且0＜Q＜100，所述参数P与Q根据样本训练结果确定；

将所述粗分桥段中的m号画面，所述m为自然数且2≤m≤总画面张数，再按时间倒序推演，若m与m-1～m-P号画面中的Q％及以上画面的所述余弦相似度大于所述第二相似度阈值，则认为m-P～m号画面同属于一个桥段，反之则认为m是一个疑似细桥段分割点；

若顺序推演的疑似分割点n与倒序推演的可疑分割点m恰好相邻或重叠，则认定n和/或m是一个细桥段分割点；

根据所述细桥段分割点，将所述粗分桥段划分为若干个所述细分桥段。

7.根据权利要求1～6任一项所述的影视桥段自动分割方法，其特征在于，所述将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段的步骤之后包括：

根据各所述细分桥段的字幕上下文进行分析，将所述字幕上下文有关联且相邻的所述细分桥段进行合并。

8.根据权利要求7所述的影视桥段自动分割方法，其特征在于，所述根据各所述细分桥段的字幕上下文进行分析，将所述字幕上下文有关联且相邻的所述细分桥段进行合并的步骤包括：

根据自然语言处理中的概率上下文无关文算法结合北大中文语料库训练出所需要的参数，从而形成语法树；

通过所述语法树检验各所述细分桥段中的字幕，若发现一个细分桥段的最后一句字幕和后一细分桥段的第一句字幕存在上下文关系，则将上述两个细分桥段合并。

9.根据权利要求7所述的影视桥段自动分割方法，其特征在于，所述将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段的步骤之后包括：

根据各所述细分桥段的背景音乐进行分析，将所述背景音乐有关联且相邻的所述细分桥段进行合并。

10.根据权利要求9所述的影视桥段自动分割方法，其特征在于，所述根据各所述细分桥段的背景音乐进行分析，将所述背景音乐有关联且相邻的所述细分桥段进行合并的步骤还包括：

将所述影视视频的音频文件中的人声消除，并计算所有背景音乐的音乐起始点；

根据所述音乐起始点，将包含某段相同所述音乐起始点的多个相邻的所述细分桥段进行合并。

11.一种基于影视内容语义分析的影视桥段自动分割系统，其特征在于，包括有：

画面拆分模块，用于将影视视频按预定的时间间隔依序拆分成若干画面；

参数值计算模块，用于根据每张所述画面的像素计算对应的像素参数值；

桥段粗分模块，用于将所述像素参数值达到预定的第一相似度阈值的画面集群作为粗分桥段；

内容相似度计算模块，用于计算所述粗分桥段中的各所述画面的内容相似度；

桥段细分模块，用于将所述粗分桥段中所述内容相似度达到预定的第二相似度阈值的画面集群作为细分桥段。

12.根据权利要求11所述的影视桥段自动分割系统，其特征在于，所述画面拆分模块用于将所述影视视频按秒依序拆分成逐张的所述画面。

13.根据权利要求11所述的影视桥段自动分割系统，其特征在于，所述参数值计算模块用于根据每张所述画面的像素计算对应的主色调值；

所述桥段粗分模块用于将所述主色调值达到所述第一相似度阈值的画面集群作为所述粗分桥段。

14.根据权利要求13所述的影视桥段自动分割系统，其特征在于，所述画面拆分模块还包用于按照拆分的所述画面的时间先后顺序对其进行编号；

所述参数值计算模块用于根据每张所述画面的像素计算对应的帧R、帧G、帧B数值，将三者中数值最大者作为所述画面的所述主色调值；

所述桥段粗分模块包括：

第一判断子模块，用于当n号画面的主色调值为R、G或B时，所述n为自然数且1≤n≤总画面张数，若n+1号画面的主色调值仍为R、G或B，则认为n号画面和n+1号画面同属于一个桥段；

第二判断子模块，用于当n号画面的主色调值为R、G或B时，若n+1号画面的主色调值非R、G或B，则计算从n+1号画面开始，到n+N号画面之间主色调为值R、G或B的画面张数，若其比例大于M％，则认为n+1号画面与n号画面同属于一个桥段，否则认为从n+1号是一个粗桥段分割点，所述参数N为自然数且1≤N≤总画面张数-n，所述参数M为实数且0＜M＜100，所述参数N与M根据样本训练结果确定；

粗分子模块，用于根据所述粗桥段分割点，将所述影视视频划分为若干个所述粗分桥段。

15.根据权利要求11所述的影视桥段自动分割系统，其特征在于，所述内容相似度计算模块包括：

特征向量计算子模块，用于根据图像识别技术，计算所述粗分桥段中的各所述画面的人脸及环境的特征向量；

余弦相似度计算子模块，用于根据各所述画面的人脸及环境的所述特征向量，计算所述粗分桥段中每两个画面之间的余弦相似度；

所述桥段细分模块用于将所述粗分桥段中所述余弦相似度达到所述第二相似度阈值的画面集群作为所述细分桥段。

16.根据权利要求15所述的影视桥段自动分割系统，其特征在于，所述桥段细分模块包括：

时间顺序推演子模块，用于将所述粗分桥段中的n号画面，所述n为自然数且1≤n≤总画面张数-1，先按时间顺序推演，若n与n+1～n+P号画面中的Q％及以上画面的所述余弦相似度大于所述第二相似度阈值，则认为n～n+P号画面同属于一个桥段，否则认为n是一个疑似细桥段分割点；所述参数P为自然数且1≤P≤总画面张数-n，所述参数Q为实数且0＜Q＜100，所述参数P与Q根据样本训练结果确定；

时间倒序推演子模块，用于将所述粗分桥段中的m号画面，所述m为自然数且2≤m≤总画面张数，再按时间倒序推演，若m与m-1～m-P号画面中的Q％及以上画面的所述余弦相似度大于所述第二相似度阈值，则认为m-P～m号画面同属于一个桥段，反之则认为m是一个疑似细桥段分割点；

第三判断子模块，用于若顺序推演的疑似分割点n与倒序推演的可疑分割点m恰好相邻或重叠，则认定n和/或m是一个细桥段分割点；

细分子模块，用于根据所述细桥段分割点，将所述粗分桥段划分为若干个所述细分桥段。

17.根据权利要求11～16任一项所述的影视桥段自动分割系统，其特征在于，还包括有：

第一细分桥段合并模块，用于在所述桥段细分模块划分出若干所述细分桥段后，根据各所述细分桥段的字幕上下文进行分析，将所述字幕上下文有关联且相邻的所述细分桥段进行合并。

18.根据权利要求17所述的影视桥段自动分割系统，其特征在于，所述第一细分桥段合并模块包括：

语法树生成子模块，用于根据自然语言处理中的概率上下文无关文算法结合北大中文语料库训练出所需要的参数，从而形成语法树；

第一合并子模块，用于通过所述语法树检验各所述细分桥段中的字幕，若发现一个细分桥段的最后一句字幕和后一细分桥段的第一句字幕存在上下文关系，则将上述两个细分桥段合并。

19.根据权利要求17所述的影视桥段自动分割系统，其特征在于，还包括有：

第二细分桥段合并模块，用于在所述桥段细分模块划分出若干所述细分桥段后，根据各所述细分桥段的背景音乐进行分析，将所述背景音乐有关联且相邻的所述细分桥段进行合并。

20.根据权利要求19所述的影视桥段自动分割系统，其特征在于，所述第二细分桥段合并模块还包括：

起始点计算子模块，用于将所述影视视频的音频文件中的人声消除，并计算所有背景音乐的音乐起始点；

第二合并子模块，用于根据所述音乐起始点，将包含某段相同所述音乐起始点的多个相邻的所述细分桥段进行合并。