CN110378190A - 基于主题识别的视频内容检测系统及检测方法 - Google Patents

Abstract

本发明揭示了一种基于主题识别的视频内容检测系统及检测方法，系统包括原始视频读取模块，用于读取原始的视频流；视频切片模块，用于将所读取的视频流按镜头进行划分和聚类、得到一组视频片组；片内主题识别模块，用于识别视频片组内全部视频片的不同主题、并输出主题序列；异常片检测模块，用于检测视频片组中是否存在主题异常的视频片。方法包括原始视频读取步骤、视频切片步骤、片内主题识别步骤以及异常片检测步骤本发明利用主题识别技术将视频按主题进行划分，进而判断出其中所有主题的相似度和关联性，找出视频中的异常片。

Description

基于主题识别的视频内容检测系统及检测方法

技术领域

本发明涉及一种检测系统及相应的检测方法，具体涉及一种基于主题识别的视频内容检测系统及检测方法，属于视频检测领域。

背景技术

随着目前各大综合视频平台和短视频平台的火爆，越来越多的人参与到了视频创作当中。然而，这其中不乏一些投机取巧、趁虚而入的个人或团体，他们利用一些吸引眼球但却与视频内容无关的封面博取点击量，或是在视频中夹带与内容无关的不良不实信息，从中获利。

传统的视频检测操作需要依赖经过培训的专业人员来完成，通过重复播放甚至逐帧播放视频的方式来人工排查视频内容，审核无误后方可将其发布。显而易见的，这种方式于视频发布平台而言，需要耗费大量的时间、人力和财力，同时效率又极其低下；于视频制作者而言，这样的检测方式也使得视频无法在第一时间发布、无法紧跟热点，同样造成了巨大的损失。

主题识别是一种在没有人工干预的情况下计算机自动识别数据流主题的技术，在理论上，可以利用主题识别技术，识别出视频封面和视频内容的主题，从而判断视频的封面与其内容是否相符；抑或识别出视频不同部分内容的主题，进而判断某一部分内容是否偏离整个视频的主题。

综上所述，如何在现有技术的基础上提出一种基于主题识别的视频内容检测系统及相对应的检测方法，也就成为了本领域内技术人员共同的研究目标。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于主题识别的视频内容检测系统及检测方法，具体如下。

一种基于主题识别的视频内容检测系统，包括：

原始视频读取模块，用于读取原始的视频流；

视频切片模块，用于将所读取的视频流按镜头进行划分和聚类、得到一组视频片组；

片内主题识别模块，用于识别视频片组内全部视频片的不同主题、并输出主题序列；

异常片检测模块，用于检测视频片组中是否存在主题异常的视频片。

优选地，所述视频切片模块具体包括：

镜头划分模块，用于按视频中的镜头切换对视频流进行分解，所述镜头切换包括镜头突变切换以及镜头渐变切换；

镜头聚类模块，用于利用视觉特性将内容相似的镜头聚集在一起、生成视频片；

封面提取模块，用于从视频发布平台提取读取视频的封面、并将其视作一个独立的单帧视频片。

优选地，所述片内主题识别模块具体包括：

特征提取模块，用于识别和提取视频片中与主题相关的文本特征；

模型建立模块，用于建立视频片主题分类模型；

所述特征提取模块具体包括，

音频转文本模块，用于将视频片中的音频数据转换为文本，

文本特征提取模块，用于利用命名实体识别，提取视频片的文本特征；

所述模型建立模块具体包括，

相似度计算模块，用于计算视频片主题的相似度，

相似度判断模块，用于判断视频片主题为新主题还是历史主题。

优选地，所述异常片检测模块具体包括：

关联规则计算模块，用于利用关联规则算法计算主题序列中两主题之间的关联规则；

关联性判断模块，用于根据主题间的关联规则判断其关联性。

一种基于主题识别的视频内容检测方法，包括如下步骤：

S1、原始视频读取步骤，读取原始的视频流；

S2、视频切片步骤，将所读取的视频流按镜头进行划分和聚类、得到一组视频片组；

S3、片内主题识别步骤，识别视频片组内全部视频片的不同主题、并输出主题序列；

S4、异常片检测步骤，检测视频片组中是否存在主题异常的视频片。

优选地，S2所述视频切片步骤具体包括：

S21、镜头划分步骤，按视频中的镜头切换对视频流进行分解，所述镜头切换包括镜头突变切换以及镜头渐变切换；

S22、镜头聚类步骤，利用视觉特性将内容相似的镜头聚集在一起、生成视频片；

S23、封面提取步骤，从视频发布平台提取读取视频的封面、并将其视作一个独立的单帧视频片。

优选地，S3所述片内主题识别步骤具体包括：

S31、特征提取步骤，识别和提取视频片中与主题相关的文本特征；

S32、模型建立步骤，建立视频片主题分类模型；

S31所述特征提取步骤具体包括，

S311、音频转文本步骤，将视频片中的音频数据转换为文本，

S312、文本特征提取步骤，利用命名实体识别，提取视频片的文本特征；

S32所述模型建立步骤具体包括，

S321、相似度计算步骤，计算视频片主题的相似度，先分别计算视频片之间各个对应的语义类的相似度，并根据不同语义类的重要程度确定一个权重系数，然后定义主题的相似度为各个相似度分量按权重的线性组合；

S322、相似度判断步骤，判断视频片主题为新主题还是历史主题，将视频片主题的相似度与给定阈值比较，若高于阈值，则判断为新主题、保留该主题并将其加入分类模型中，若低于阈值，则判断为历史主题、不保留该主题。

优选地，S4所述异常片检测步骤具体包括：

S41、关联规则计算步骤，利用关联规则算法计算主题序列中两主题之间的关联规则；

S42、关联性判断模块，根据主题间的关联规则判断其关联性，若某一主题与主题序列中的任何主题间都不存在关联规则，则判断该主题与其他主题无关，包含该主题的视频片为异常片，反之，则判断该主题与其他主题相关，包含该主题的视频片为正常片。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明的基于主题识别的视频内容检测系统及检测方法，利用主题识别技术将视频按主题进行划分，进而判断出其中所有主题的相似度和关联性，找出视频中的异常片。使用本发明的系统及方法可以快速、有效地完成视频检测，不但节约了大量的时间、人力及财力，也使得视频能够在最快的时间内完成审核发布、保证了视频的时效性。

同时，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于视频检测方面的其他相关技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明系统的整体运行流程示意图；

图2为本发明系统中视频切片模块的运行流程示意图；

图3为本发明系统中片内主题识别模块的运行流程示意图；

图4为本发明系统中特征提取模块的运行流程示意图；

图5为本发明系统中模型建立模块的运行流程示意图；

图6为本发明系统中异常片检测模块的运行流程示意图。

具体实施方式

本发明针对目前采用人工方式进行视频内容检测的现状，提出了一种基于主题识别的视频内容检测系统及检测方法，以下便结合附图对本发明的方案进行说明。

如图1所示，本发明揭示了一种基于主题识别的视频内容检测系统，包括：

原始视频读取模块100，用于读取原始的视频流。

视频切片模块200，用于将所读取的视频流按镜头进行划分和聚类、得到一组视频片组。

片内主题识别模块300，用于识别视频片组内全部视频片的不同主题、并输出主题序列。

异常片检测模块400，用于检测视频片组中是否存在主题异常的视频片。

如图2所示，所述视频切片模块200具体包括：

镜头划分模块210，用于按视频中的镜头切换对视频流进行分解，所述镜头切换包括镜头突变切换以及镜头渐变切换。

镜头聚类模块220，用于利用视觉特性将内容相似的镜头聚集在一起、生成视频片。

封面提取模块230，用于从视频发布平台提取读取视频的封面、并将其视作一个独立的单帧视频片。

如图3所示，所述片内主题识别模块300具体包括：

特征提取模块310，用于识别和提取视频片中与主题相关的文本特征。

模型建立模块320，用于建立视频片主题分类模型。

如图4所示，所述特征提取模块310具体包括：

音频转文本模块311，用于利用IBM Watson的Speech To Text API将视频片中的音频数据转换为文本，

文本特征提取模块312，用于利用命名实体识别，提取视频片的文本特征。

如图5所示，所述模型建立模块320具体包括：

相似度计算模块321，用于计算视频片主题的相似度。

相似度判断模块322，用于判断视频片主题为新主题还是历史主题。

如图6所示，所述异常片检测模块400具体包括：

关联规则计算模块410，用于利用Apriori算法等关联规则算法计算主题序列中两主题之间的关联规则。

关联性判断模块420，用于根据主题间的关联规则判断其关联性。

本发明还揭示了一种基于主题识别的视频内容检测方法，与上述基于主题识别的视频内容检测系统相对应，包括如下步骤：

S1、原始视频读取步骤，读取原始的视频流。

S2、视频切片步骤，将所读取的视频流按镜头进行划分和聚类、得到一组视频片组。

所述视频切片步骤具体包括：

S21、镜头划分步骤，按视频中的镜头切换对视频流进行分解，所述镜头切换包括镜头突变切换以及镜头渐变切换。

目前，性能较好的视频镜头突变切换检测算法有二次差分法和像素点匹配法等，性能较好的视频镜头渐变切换检测算法有隔帧帧间差法和基于方差的方法等。

S22、镜头聚类步骤，利用视觉特性将内容相似的镜头聚集在一起、生成视频片，以分析视频的结构特征。

传统的聚类方法有k-means聚类、DBSCAN聚类、高斯混合聚类等，而当下新兴的聚类方法有谱聚类和DP聚类等。

S23、封面提取步骤，从视频发布平台提取读取视频的封面、并将其视作一个独立的单帧视频片。

S3、片内主题识别步骤，识别视频片组内全部视频片的不同主题、并输出主题序列。

所述片内主题识别步骤具体包括：

S31、特征提取步骤，识别和提取视频片中与主题相关的文本特征。

S32、模型建立步骤，建立视频片主题分类模型。其主要方法为以向量表示的文本特征集合代表视频片主题。对于一个新的视频片，将其特征集合与所有历史视频片的特征集合进行比较，据此判断新视频片是否描述了一个新主题。最终完成所有视频片主题判断，将所有不相似的主题构成一个主题序列。

具体而言，所述特征提取步骤又包括：

S311、音频转文本步骤，利用IBM Watson的Speech To Text API将视频片中的音频数据转换为文本。

S312、文本特征提取步骤，利用命名实体识别，提取视频片的文本特征。进一步而言，就是从文本中提取“4wh”语义类，即时间 (when)、地点(where)、人物(who)和事件(what)，将此四元组作为视频片的文本特征。

所述模型建立步骤又包括：

S321、相似度计算步骤，计算视频片主题的相似度，先分别计算视频片之间各个对应的语义类的相似度，并根据不同语义类的重要程度确定一个权重系数，然后定义主题的相似度为各个相似度分量按权重的线性组合。

S322、相似度判断步骤，判断视频片主题为新主题还是历史主题，将视频片主题的相似度与给定阈值比较，若高于阈值，则判断为新主题、保留该主题并将其加入分类模型中，若低于阈值，则判断为历史主题、不保留该主题。

S4、异常片检测步骤，检测视频片组中是否存在主题异常的视频片。

所述异常片检测步骤具体包括：

S41、关联规则计算步骤，利用Apriori算法等关联规则算法计算主题序列中两主题之间的关联规则。

S42、关联性判断模块，根据主题间的关联规则判断其关联性，若某一主题与主题序列中的任何主题间都不存在关联规则，则判断该主题与其他主题无关，包含该主题的视频片为异常片，反之，则判断该主题与其他主题相关，包含该主题的视频片为正常片。

本发明的基于主题识别的视频内容检测系统及检测方法，利用主题识别技术将视频按主题进行划分，进而判断出其中所有主题的相似度和关联性，找出视频中的异常片。使用本发明的系统及方法可以快速、有效地完成视频检测，不但节约了大量的时间、人力及财力，也使得视频能够在最快的时间内完成审核发布、保证了视频的时效性。

同时，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于视频检测方面的其他相关技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于主题识别的视频内容检测系统，其特征在于，包括：

原始视频读取模块，用于读取原始的视频流；

视频切片模块，用于将所读取的视频流按镜头进行划分和聚类、得到一组视频片组；

片内主题识别模块，用于识别视频片组内全部视频片的不同主题、并输出主题序列；

异常片检测模块，用于检测视频片组中是否存在主题异常的视频片。

2.根据权利要求1所述的基于主题识别的视频内容检测系统，其特征在于，所述视频切片模块具体包括：

镜头划分模块，用于按视频中的镜头切换对视频流进行分解，所述镜头切换包括镜头突变切换以及镜头渐变切换；

镜头聚类模块，用于利用视觉特性将内容相似的镜头聚集在一起、生成视频片；

封面提取模块，用于从视频发布平台提取读取视频的封面、并将其视作一个独立的单帧视频片。

3.根据权利要求1所述的基于主题识别的视频内容检测系统，其特征在于，所述片内主题识别模块具体包括：

特征提取模块，用于识别和提取视频片中与主题相关的文本特征；

模型建立模块，用于建立视频片主题分类模型；

所述特征提取模块具体包括，

音频转文本模块，用于将视频片中的音频数据转换为文本，

文本特征提取模块，用于利用命名实体识别，提取视频片的文本特征；

所述模型建立模块具体包括，

相似度计算模块，用于计算视频片主题的相似度，

相似度判断模块，用于判断视频片主题为新主题还是历史主题。

4.根据权利要求1所述的基于主题识别的视频内容检测系统，其特征在于，所述异常片检测模块具体包括：

关联规则计算模块，用于利用关联规则算法计算主题序列中两主题之间的关联规则；

关联性判断模块，用于根据主题间的关联规则判断其关联性。

5.一种基于主题识别的视频内容检测方法，其特征在于，包括如下步骤：

S1、原始视频读取步骤，读取原始的视频流；

S2、视频切片步骤，将所读取的视频流按镜头进行划分和聚类、得到一组视频片组；

S3、片内主题识别步骤，识别视频片组内全部视频片的不同主题、并输出主题序列；

S4、异常片检测步骤，检测视频片组中是否存在主题异常的视频片。

6.根据权利要求5所述的基于主题识别的视频内容检测方法，其特征在于，S2所述视频切片步骤具体包括：

S21、镜头划分步骤，按视频中的镜头切换对视频流进行分解，所述镜头切换包括镜头突变切换以及镜头渐变切换；

S22、镜头聚类步骤，利用视觉特性将内容相似的镜头聚集在一起、生成视频片；

S23、封面提取步骤，从视频发布平台提取读取视频的封面、并将其视作一个独立的单帧视频片。

7.根据权利要求5所述的基于主题识别的视频内容检测系统，其特征在于，S3所述片内主题识别步骤具体包括：

S31、特征提取步骤，识别和提取视频片中与主题相关的文本特征；

S32、模型建立步骤，建立视频片主题分类模型；

S31所述特征提取步骤具体包括，

S311、音频转文本步骤，将视频片中的音频数据转换为文本，

S312、文本特征提取步骤，利用命名实体识别，提取视频片的文本特征；

S32所述模型建立步骤具体包括，

S321、相似度计算步骤，计算视频片主题的相似度，先分别计算视频片之间各个对应的语义类的相似度，并根据不同语义类的重要程度确定一个权重系数，然后定义主题的相似度为各个相似度分量按权重的线性组合；

S322、相似度判断步骤，判断视频片主题为新主题还是历史主题，将视频片主题的相似度与给定阈值比较，若高于阈值，则判断为新主题、保留该主题并将其加入分类模型中，若低于阈值，则判断为历史主题、不保留该主题。

8.根据权利要求5所述的基于主题识别的视频内容检测系统，其特征在于，S4所述异常片检测步骤具体包括：

S41、关联规则计算步骤，利用关联规则算法计算主题序列中两主题之间的关联规则；

S42、关联性判断模块，根据主题间的关联规则判断其关联性，若某一主题与主题序列中的任何主题间都不存在关联规则，则判断该主题与其他主题无关，包含该主题的视频片为异常片，反之，则判断该主题与其他主题相关，包含该主题的视频片为正常片。