CN113361313A

CN113361313A - 一种基于关联分析的多标签关系的视频检索方法

Info

Publication number: CN113361313A
Application number: CN202110193192.2A
Authority: CN
Inventors: 张笑钦; 赵丽
Original assignee: Wenzhou University
Current assignee: Wenzhou University
Priority date: 2021-02-20
Filing date: 2021-02-20
Publication date: 2021-09-07

Abstract

本发明公开了一种基于关联分析的多标签关系的视频检索方法，获得待检索视频；获得待检索视频的多个视频镜头；对每个视频镜头进行处理，获得待检索视频的关键视频帧；对样本视频进行处理，获得样本视频的视频标签；从样本视频标签中提取特征信息，获得样本视频标签的关键视频帧；基于样本视频的关键视频帧在待检索视频中查找，若在待检索是中找到某个视频镜头中的关键视频帧的数量大于等于样本视频帧数量的预设阈值，则表明检索到与样本视频相对应的视频，否则未检索到与样本视频相对应的视频；本发明具有能够实现视频的精准检索，提高检索效率的有益效果。

Description

一种基于关联分析的多标签关系的视频检索方法

技术领域

本发明涉及检索方法，具体涉及一种基于关联分析的多标签关系的视频检索方法。

背景技术

随着网络技术的快速发展，各种各样的多媒体视频呈现在人们的眼前，同时伴随着的暴力恐怖视频也悄然传播和扩散。视频的传播和扩散影响着人们的身心健康，因此就需要将视频中的包含的视频检索出来，对人们予以预警。然而目前对视频的检索主要通过人工检索或者简单的单标签检索，这种方法耗费了大量财力物力。

因此，急需提出一种基于关联分析的多标签关系的视频检索方法来解决视频的漏检、错检问题。

发明内容

有鉴于此，本发明提供一种基于关联分析的多标签关系的视频检索方法，以解决上述技术问题。

为实现上述目的，本发明提供如下技术方案：

一种基于关联分析的多标签的视频检索方法，包括以下步骤：

步骤1：获得待检索视频，所述待检索视频信息包括视频信息和非视频信息；

步骤2：对所述待检索视频按照视频分割技术分割成若干个待检索视频的视频镜头；

步骤3：根据视频播放顺序对所述每个视频镜头进行处理，获得若干个所述待检索视频的关键视频帧，并进行关键特征提取；

步骤4：对样本视频进行处理，获得样本视频的样本视频标签；所述样本视频信息包括基本信息、背景知识和行为知识等多标签数据集；

步骤5：从所述样本视频标签中提取特征信息，获得若干个所述样本视频标签的关键视频帧；

步骤6：基于所述样本视频的关键视频帧在所述待检索视频中进行查找，若在所述待检索视频中找到关键视频帧数量大于等于所述样本视频的关键视频帧数量的预设阈值，则表示检索到与样本视频相对应的视频，否则未检索到与样本视频相对应的视频。

更进一步地，对所述样本视频的多个标签进行获取，具体包括以下步骤：

步骤4.1：获取所述样本视频的特征信息；

步骤4.2：将获取的所述样本视频的特征信息输入至不同的模型中，得到多个视频标签；

步骤4.3：根据多个视频标签的概率值，从多个视频标签中选取所述视频的样本视频标签。

更进一步地，对所述待检索视频中的每个镜头和所述样本视频的样本视频的多个标签进行处理，具体包括以下步骤：

步骤5.1：基于所述待检索视频中每个镜头和所述样本视频的多个标签的帧间差值，生成多个关键视频帧；

步骤5.2：从关键视频帧中确定出极限值，将极限值作为所述待检索视频和所述样本视频的关键视频帧的关键视频点。

更进一步地，从所述待检索视频的每个视频镜头和所述样本视频中获取所述关键视频帧的具体步骤包括：

将所述待检索视频和所述样本视频的第一帧作为关键视频帧，将其后的视频帧按照顺序与关键视频帧进行比较，当第N帧与第一帧的帧间差值超过设定阈值时，则第N帧变为新的关键视频帧，随后将后面的视频帧与第N帧新的关键视频帧进行比较，直至最后一帧，获得多个新的关键视频帧，并对所述多个新的关键视频帧中相同的关键视频帧进行去重叠处理，确定出最终所有所述待检索视频和所述样本视频的关键视频帧。

更进一步地，所述关键视频帧的去重叠方法如下：第一步：获取所有关键视频帧；

第二步，确定所有关键视频帧的质量评分；

第三步，去除关键视频中质量评分小于第一预设值的关键视频帧；

第四步，计算所有关键视频帧中每两个关键视频帧的相似度；

第五步，当计算出的相似度大于第二预设值时，将关键视频帧中质量评分较低的关键视频帧去掉，得到新的关键视频帧。

更进一步地，所述极限值为所述关键视频帧的最大值和最小值。

进一步地，所述预设阈值设置为95％，所述第一预设值和所述第二预设值均设置为60％。

更进一步地，所述特征信息类型包括文理特征信息、颜色特征信息、形状特征信息和边缘特征信息中至少一种类型。

更进一步地，当所述特征信息类型多于两类时，将两类特征向量加权融合，关联分析进而确定关键视频帧。

从上述的技术方案可以看出，本发明的优点是：

1.通过多标签关联分析对待检索视频中的视频能够精准的检索，能够实现既提高检索视频的速度又提高视频的精确度；

2.该基于关联分析的多标签关系的视频检索方法，克服了传统视频检索的不足，降低了资源耗费，提高了视频检索的检索效率。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

在附图中：

图1为本发明的一种基于关联分析的多标签关系的视频检索方法步骤图。

图2为本发明的一种基于关联分析的多标签关系的视频检索方法的流程图。

图3为本发明的一种基于关联分析的多标签关系的视频检索方法中样本视频标签的获取步骤图。

图4位本发明的一种基于关联分析的多标签关系的视频检索方法中关键视频帧去重的步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示的一种基于关联分析的多标签关系的视频检索方法，该基于关联分析的多标签关系的视频检索方法包括以下步骤：

具体的，本发明中根据对待检索视频的分割通过视频分割技术来实现的，具体的步骤包括：根据获取到多个视频帧，判断多个视频帧之间的连续性，对当前的视频帧与上一个视频帧进行比较判断；根据判断结果将所述待检索视频分为若干个视频镜头，若连续则为同一个视频镜头，若不连续，则为写一个视频镜头。

本发明种获取视频帧采用时间顺序来获取，对待检索视频进行判断，根据判断结果将待检索视频全部分割，获得若干个视频镜头。

具体的，所述关键特征的提取可以采用特征降维的方式来提取。

具体的，如图3所示，对于所述样本视频的多个标签的获取包括以下过程：

步骤4.1：获取所述样本视频的特征信息；

步骤4.2：将获取的所述视频的特征信息输入至不同的分类模型中，得到多个视频标签；

这里的特征信息的类型可以是文理特征信息、颜色特征信息、形状特征信息和边缘特征信息等，这些特征信息都可以用向量表示出来，若特征多于两类时，使用向量加权融合进行关联分析，进而确定所述样本视频标签的关键视频帧。

对所述待检索视频中的每个镜头和所述样本视频的多个样本视频标签的关键视频帧和关键视频的关键点获取如下：

步骤5.1：对于所述待检索视频中的每个镜头和所述样本视频的多个标签进行处理，生成多个关键视频帧；

具体的，处理方法可以采用帧间差值法或者视频关键帧提取模型法中任一种，本发明中采用的处理方法为帧间差值法，确定关键视频帧。

步骤5.2：从关键视频帧中确定出极限值，将极限值作为关键视频帧的关键视频点；所述极限值为最大值和最小值，所述极限值的确定可以采用高斯尺度空间的方法。

进一步地，所述获取待检索视频每个镜头和所述样本视频多个标签的关键视频帧的步骤为：将所述待检索视频的第一帧作为关键视频帧，将其后的视频帧按照时间顺序与关键视频帧进行比较，当第N帧与第一帧的帧间差值超过设定阈值时，则第N帧变为新的关键视频帧，随后将后面的视频帧与第N帧新的关键视频帧进行比较，直至最后一帧，获得多个新的关键视频帧，并对所述多个新的关键视频帧中相同的关键视频帧进行去重叠处理，即去除重复的相似的视频关键帧，确定出最终所有所述待检索视频和所述样本视频的新的关键视频帧。

通过对关键视频帧进行去重处理，去除重叠信息后获得最有代表性的关键视频帧。其中，对关键视频帧的获取主要是在所述待检索视频中提取最有代表性的每个镜头的图像信息，往往代表性的关键视频帧与相邻的关键视频帧的图像区别最大。对关键视频帧的去重处理可以减少检索的工作量，一定程度上也节省检索时间。一般情况下，获得的多个关键视频帧中往往会存在重复性较高的关键视频帧，因此需要对所有的关键视频帧进行去重处理，保留重复性较高、具有代表性的所有关键视频帧中的任一关键视频帧或特定的关键视频帧，而将重复性较高的关键视频帧中的其他关键视频帧被去掉，从而得到新的关键视频帧。

比如，提取的多个关键视频帧包括关键视频帧1、关键视频帧2、关键视频帧3、关键视频帧4一直到关键视频帧10，其中关键视频帧3和关键视频帧 4的重复性较高，则保留关键视频帧3去掉关键视频帧4，则得到的新的关键视频帧依次为关键视频帧1、关键视频帧2、关键视频帧3一直到关键视频帧 10。

本发明中通过对所述待检索视频和所述样本视频的关键视频帧进行去重处理，确保了关键视频帧表示更加有代表性的内容，提高检索视频概率性。

具体的，对获得的所有关键视频帧的去重，获得新的关键视频帧包括以下步骤：

第一步，获得所有关键视频帧。

具体的，从所述待检索视频和所述样本视频中获得所有关键视频帧。

第二步，确定所有关键视频帧的质量评分。

具体的，对每个关键视频帧进行分析，确定每个关键视频帧的质量评分，质量评分用于对关键视频帧进行质量评估。对关键视频帧的质量评分可以通过维度数据来实现。

第三步，去除所有关键视频帧中质量评分小于第一预设值的关键视频帧。

具体的，在确定关键视频帧的质量评分后，将每一个关键视频帧的质量评分与是第一预设值相比较，去掉所有关键视频帧中质量评分小于第一预设值的关键视频帧，保留质量评分大于等于第一预设值的关键视频帧。

比如，第一预设值是0.9，所有关键视频的质量评分在0-1之间，则去掉所有关键视频中小于0.9的关键视频帧。

第四步，计算所有关键视频帧中每两个关键视频帧的相似度。

具体的，计算两个关键视频帧的方法可以采用最小均方值法来实现。

第五步，当计算出的相似度大于第二预设值时，将所有关键视频帧中质量评分较低的关键视频帧去掉，得到新的关键视频帧。

具体的，当相似度大于第二预设值时，确定所有关键视频帧中的两个关键视频帧有可能为同一个，说明两个关键视频帧具有重复性，因此，需要将质量评分中较低的去掉，保留质量评分较高的关键视频帧，即可得到新的关键视频帧。

具体的，所述预设阈值越大则说明匹配的精确度越高，所述第一预设值和所述第二预设值越大，则说明所有关键视频中两个关键视频帧的重复性越大。所述第一预设值和所述第二预设值均均可以设置为60％，表明关键视频帧的重复性越大。本发明的所述预设阈值可以设置为95％，从而使检索到的视频与样本视频匹配的精度更高，检索更加精准，减少错检、漏检视频的几率，净化视频传播。

本发明通过与样本视视频相对应的方式对待检索视频进行检索，首先确定出待检索视频的关键视频帧，再通过对标签关联分析的方式确定样本视频的关键视频帧，将样本视频的关键视频帧与待检索视频的关键视频帧进行检索，匹配率大于95％时，则待检索视频中存在视频，从而实现待检索视频的视频的高精准度检索，同时达到降低成本，提高用户的实际体验感。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于关联分析的多标签关系的视频检索方法，其特征在于，包括以下步骤：

步骤5：从所述样本视频标签中提取特征信息，获得所述样本视频标签的关键视频帧；

2.如权利要求1所述的基于关联分析的多标签关系的视频检索方法，其特征在于，对所述样本视频的多个标签进行获取，具体包括以下步骤：

步骤4.1：获取所述样本视频的特征信息；

3.如权利要求2所述的基于关联分析的多标签关系的视频检索方法，其特征在于，对所述待检索视频的每个镜头和所述样本视频的样本视频的多个标签进行处理，具体包括以下步骤：

步骤5.1：基于所述待检索视频的每个镜头和所述样本视频的多个标签的帧间差值，生成多个关键视频帧；

4.如权利要求3所述的基于关联分析的多标签关系的视频检索方法，其特征在于，从所述待检索视频的每个视频镜头和所述样本视频中获取所述关键视频帧的具体步骤包括：

将所述待检索视频和所述样本视频的第一帧作为关键视频帧，将其后的视频帧按照顺序与关键视频帧进行比较，当第N帧与第一帧的帧间差帧值超过设定阈值时，则第N帧变为新的关键视频帧，随后将后面的视频帧与第N帧新的关键视频帧进行比较，直至最后一帧，获得多个新的关键视频帧，并对所述多个新的关键视频帧中的相同关键视频帧进行去重叠处理，确定出最终所有所述待检索视频和所述样本视频的关键视频帧。

5.如权利要求4所述的基于关联分析的多标签关系的视频检索方法，其特征在于，所述关键视频帧的去重叠方法如下：第一步：获取所有关键视频帧；

第二步，确定所有关键视频帧的质量评分；

6.如权利要求5所述的基于关联分析的多标签关系的视频检索方法，其特征在于，所述极限值为所述关键视频帧的最大值和最小值。

7.如权利要求6所述的基于关联分析的多标签关系的视频检索方法，其特征在于，所述预设阈值设置为95％，所述第一预设值和所述预设值设置为60％。

8.如权利要求2所述的基于关联分析的多标签关系的视频检索方法，其特征在于，所述特征信息类型包括文理特征信息、颜色特征信息、形状特征信息和边缘特征信息中至少一种类型。

9.如权利要求8所述的基于关联分析的多标签关系的视频检索方法，其特征在于，当所述特征信息类型多于两类时，将两类特征向量加权融合，关联分析进而确定关键视频帧。