CN114595360A - 一种基于时序特征的同源视频检索方法及系统 - Google Patents

Abstract

本发明公开了一种基于时序特征的同源视频检索方法及系统，包括对视频提取关键帧，使用深度残差卷积神经网络对关键帧提取特征，使用两个子模块提取对应的帧时序特征信息及帧重要性信息，经过特征聚合后得到视频的整体特征向量表示，使用孪生网络构建正负样本对网络参数进行训练，得到固定参数的网络模型后对保护视频及检索视频分别提取特征并检测相似度是否超过阈值，返回检测结果。本发明给出的深度残差卷积神经网络实现特征提取，时序特征信息提取及帧重要性信息提取两个子模块实现对侵权视频干扰帧及片段剪取调换顺序等操作的检测，提高了对多种侵权手段检测覆盖的效果，也提升了同源视频检索的准确性。

Description

一种基于时序特征的同源视频检索方法及系统

技术领域

本发明属于视频检索技术领域，具体为一种基于时序特征的同源视频检索方法及系统。

背景技术

前时代下随着信息技术不断发展，不同形式的数字作品在互联网上流传，由于各大短视频平台的兴起，短视频成为不同形式的数字作品中较为广泛的媒介，人们通过发布短视频分享和记录自己的生活和创意设计。但由于互联网上数字内容的易盗用、可篡改的特点，侵权者往往可以通过增添水印、改变帧率、改变色调、调整画面比例等操作对他人作品或内容简单变换后进行盗用，一些盗用者更采取这些操作的组合使得视频领域的侵权检测成为难题。

人们开始探索不同的检测方法尝试保护视频等数字作品的知识版权。目前视频领域的侵权检测一般需要同源视频检索方法(Near Duplicate Video Retrieval,NDVR)。NDVR的目标是对于需要检查是否被侵权的视频(查询视频)，在可能发生侵权的待检索视频库中逐一比对与查询视频的相似度，返回超过一定阈值的视频作为疑似侵权结果。

在深度学习技术兴起之后，现有的同源视频检索方法一般对视频提取关键帧。使用标注训练数据对神经网络参数进行训练直至收敛，检索时对关键帧使用训练好的卷积神经网络提取特征之后使用不同的对比方法得到视频对之间的相似度。而不同的对比方法大体可以分为：

(1)对所有关键帧的特征向量使用求平均等方式进行聚合后得到视频的整体特征向量表示，计算视频特征向量之间的余弦距离得到相似度。

(2)计算视频的关键帧与关键帧特征向量之间的距离作为帧与帧之间的相似度，使用词袋(Bag-of-Words,BoW)等方法对视频中各关键帧的序列关系进行分析。

然而，以上两类方式在一些常见的侵权场景中都存在一些缺陷。现有算法往往对视频均匀地每一定时长片段内提取一定数量帧作为关键帧，并且未能有效考虑帧与帧之间的时序关系信息。但是侵权者往往会对原视频插入干扰帧、对原视频关键帧增加大面积遮挡或是水印文字等内容、对原视频进行截取之后将片段分开缝入自己的侵权视频中，对现有检测方法造成一定性能影响。此外，现有的神经网络训练方式使得模型参数较为固定，在面对大量、复杂、多变的侵权手段时性能会有所下降，使得检测同源视频的性能有限。

发明内容

针对现有技术的不足，本发明提供一种基于时序特征的同源视频检索方法及系统。

为实现上述目的，本发明提供的技术方案是：

本发明公开了一种基于时序特征的同源视频检索方法，其包括以下步骤：

(1)构建神经网络模型，使用开源数据集对网络模型参数进行训练，训练直至模型参数收敛后将网络模型参数固定；

(2)使用训练完成的模型对需要保护及检索的视频提取对应特征向量；

所述的步骤(1)具体包括以下步骤：

(1-1)关键帧提取：查询及检索视频拆解成帧，按照视频时长在一定时长内提取一定数量帧，最后对提取出的帧进行采样，并缩放到特定尺寸后得到视频关键帧；

(1-2)帧特征提取：将视频关键帧输入至在ImageNet数据集上预训练好的深度残差卷积神经网络中，进行正向传播对帧图片各通道提取特征，经过池化、激活、正则操作后提取最后一层平均池化层输出的向量作为各帧的特征向量；

(1-3)时序特征提取：将各帧的特征向量按帧在视频中出现的时序顺序输入至Transformer编码器中，得到帧与帧之间的时序信息特征向量；

(1-4)帧重要性信息提取：使用注意力机制对各帧的特征向量提取不同语义空间中的映射，得到包含各帧重要性信息的特征向量，经过拼接聚合后得到帧重要性信息特征向量；

(1-5)特征聚合：将自注意力机制与时序特征提取模块的输出特征向量输入全连接层加权聚合之后得到视频整体特征向量表示；

(1-6)孪生网络训练：训练网络参数时，在每个训练轮次对每个输入视频提取一个与该视频同源的视频作为正样本，一个与该视频不同源的视频作为负样本，构建成为三元组，使用三元组损失函数Triplet Loss得到损失值，使用损失值计算出梯度后对神经网络进行反馈传播并更新各层参数，重复此步骤直至网络参数收敛。

步骤(2)具体包括以下步骤：

(2-1)构建需要保护的视频数据库：对系统需要保护的用户原创视频存入数据库，每个保护视频通过步骤(1)得到视频的特征向量，将所有视频的特征向量存放至数据库中得到所有保护视频的特征矩阵；

(2-2)对检索视频提取特征：对于需要检测是否存在与保护视频库内视频产生侵权的视频，通过步骤(1)提取对应的视频特征向量，进行比对检索。

步骤(3)具体包括以下步骤：

(3-1)设定相似度检索阈值：计算得到检索视频与保护视频之间的相似度，该相似度在(0,1)区间内，1表示模型判断检索视频与保护视频100％相似，0表示完全不相似，其他值则表示相似性的百分比；设定一个检索阈值，则系统将返回相似度超过该阈值的视频对作为疑似产生侵权行为结果，供用户后续进一步判定；

(3-2)计算相似度：在步骤(2)中得到的检索视频的特征向量，逐一与保护视频库内的特征矩阵进行点乘操作，得到检索视频与每一保护视频的特征向量之间的余弦距离作为相似度；逐一比对相似度以判断是否有超过设定的阈值，如有则返回该视频对作为系统检测结果，没有则返回未检测出疑似侵权视频作为系统检测结果。)设定相似度检索阈值，进行相似度计算。

一种基于时序特征的同源视频检索，其包括

模型构建及训练模块，用于构建神经网络模型，并训练网络模型参数至模型参数收敛后将网络模型参数固定；

特征提取模块，提取特征并构成保护视频特征矩阵存入数据库；

相似度计算模块，用于对比检索视频是否产生侵权。

本发明的有益效果：

本发明方法通过对视频提取关键帧，使用在大规模数据集ImageNet上预训练得到固定参数的深度残差卷积神经网络ResNet对各帧提取特征向量，各帧特征采用自注意力机制及Transformer编码器分别提取和解析各帧重要性及时序信息，经过聚合加权等操作后得到视频的特征向量表示，同时使用度量学习方法对模型参数进行训练，使得同源视频的特征向量表达在语义空间中更加接近，而不同源视频的特征向量在语义空间中更加远离。计算不同视频的特征向量之间的余弦距离以比对衡量视频之间的相似度，并检索出疑似产生侵权的视频结果。

附图说明

图1为基于时序特征的同源视频检索方法及系统流程示意图；

图2为深度残差卷积神经网络提取帧特征流程示意图；

图3为时序特征提取、各帧重要性信息提取及特征聚合模块示意图；

图4为特征提取及相似度计算模块流程示意图。

具体实施方式

为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

如图1所示，本实施例涉及一种基于时序特征的同源视频检索系统,其包括模型构建及训练模块、特征提取模块和相似度计算模块；所述的模型构建及训练模块用于构建神经网络模型，并训练网络模型参数至模型参数收敛后将网络模型参数固定；所述的特征提取模块用于提取特征并构成保护视频特征矩阵存入数据库，相似度计算模块用于对比检索视频是否产生侵权。

实施例2

本实施例涉及一种基于时序特征的同源视频检索方法，其包括以下步骤：

(1)首先在模型构建及训练模块中构建神经网络模型，使用开源数据集VCDB、FIVR及CC_WEB_VIDEO等对网络模型参数进行训练，训练直至模型参数收敛后将网络模型参数固定。

(2)在特征提取模块中使用该固定参数的模型对需要保护的视频离线地提取特征并构成保护视频特征矩阵存入数据库中。

(3)在对需要检索是否产生疑似侵权行为的视频发起检测时，对检索视频使用相同的模型提取特征向量并与库内保护视频特征矩阵计算相似度并在相似度计算模块中一一对比是否超过保护阈值，返回超过该阈值的视频对作为检测结果。

在模型构建及训练模块中，即上述步骤(1)中，

(1-1)首先对数据集中的视频进行关键帧提取工作：对所有视频每整秒数提取一帧，设定帧数采样值为20，则对所有提取出来的帧中等距离采样共20帧作为该视频关键帧。将关键帧图片进行预处理操作，训练阶段包括随机裁剪、随机翻转、变换为张量、缩放至统一尺寸等，训练完成后在特征提取模块中使用模型时则只需要缩放至统一尺寸。

(1-2)对视频关键帧提取特征：构建深度残差卷积神经网络，网络具体结构如图2所示，使用在大规模数据集ImageNet上预训练好参数的ResNet50网络结构对帧图片提取特征向量，该特征向量经过深度网络后包含了高层语义特征信息(如物体、场景等)，同时因为经过残差相加操作也保留了底层语义特征信息(如颜色、纹理、轮廓等)。经过模型正向推理后，选取模型最后一层的输出，帧图片被提取出维度为(7，7，2048)的特征张量，其中7x7为特征图的长宽像素，2048为通道数。

由于侵权者往往通过对原视频插入干扰帧、剪取片段并调换顺序插入至自己的视频中等操作尝试躲避现有检测方法，本发明如图3所示通过时序特征提取和帧重要性信息提取两个子模块对深度残差卷积神经网络提取出的特征张量做进一步解析以解决上述问题。将进行上述步骤后得到的帧特征张量复制为两份，分别输入至时序特征提取和帧重要性信息提取的子模块中。

(1-3)对关键帧特征提取时序信息：首先对一个视频的所有关键帧特征张量，按照在视频中出现的时序排列好，分别经过线性变换为一维的特征向量。构建一个时序编码向量，编码为0至19分别对应第1至第20帧的特征向量，对原特征向量加入编码向量后输入至Transformer编码器中。该编码器由多层重复操作组成，每层包括多头注意力机制、残差相加正则化、全连接层等操作组成。经过该编码器输出后得到一个一维的特征向量，包含各帧对应特征张量的时序特征信息。

(1-4)对关键帧特征提取重要性信息：将输入视频的所有关键帧特征张量，输入至重要性信息提取模块。该子模块由3头注意力机制组成，每头基于1维卷积操作后使用softmax函数缩放。经过注意力机制与特征张量的相乘相加操作后得到各维度加权总和为1的向量，对应表示各帧的信息重要性。在侵权者插入干扰帧的检测场景中，此方法可以有效提取各帧的信息重要性，经过训练后模型参数可以更加重视来自需要保护的原视频中的帧，而对应侵权者插入的干扰帧的权重则会相对较低。

(1-5)对时序信息向量及重要性信息向量进行聚合：经过上述两个子模块后，得到两个向量分别包含各帧的时序特征信息及重要性特征信息，将两个向量各维度进行求平均操作后得到最后的各帧加权向量。将该向量与视频关键帧特征张量相乘得到视频整体的特征向量表示，其中包含各帧的高层及底层语义信息，并且包含帧与帧之间的时序关系及重要性比较信息。

(1-6)构建正负样本三元组及孪生网络训练模型：在训练网络模型参数时，每一轮次对于一个输入视频，在与其同源的其他视频中随机采样一个作为正样本，在与其不同源的其他视频中随机采样一个作为负样本，构成三元组。对正样本与负样本分别输入两个孪生网络得到对应的特征向量表示，计算正样本与负样本的特征向量在语义空间中对于当前训练轮次的输入视频的特征向量之间的L2(欧式)距离。距离计算公式为：

其中Q，R为两个视频的特征向量，在特征提取模块固定参数模型使用中，Q，R分别对应保护及检索的视频特征向量。设定一个间距阈值，构建三元组损失函数：

L(Q,R)＝max{0,γ+Dist(Q,R^-)-Dist(Q,R⁺)}，

使得当前训练视频与正样本视频特征向量之间距离与对应负样本之间的距离差大小至少为该阈值，一般设定该阈值为0.5。经过此方法训练后，网络模型参数提取的同源视频特征向量之间相似度较大，反之则较小。

使用开源数据集训练网络参数直至收敛，得到固定参数的网络模型。

在特征提取模块中，即上述步骤(2)中，

(2-1)离线构建保护视频特征库：对于用户需要保护的原创视频作品，逐一输入至模型构建及训练模块完成后得到的固定参数网络模型中，得到对应的保护视频特征向量。将不同保护视频的特征向量按照维度对齐后构建为保护视频特征矩阵，将该矩阵存入本地数据库中。此步骤可以离线完成，并在有新的用户上传保护视频时将新加入的特征向量排放至已有保护矩阵下方更新即可。

(2-2)在线提取检索视频特征向量。对于需要检测是否对用户保护视频产生侵权的检索视频，同样地输入至模型构建及训练模块中得到的固定参数网络模型中，得到对应的检索视频特征向量。

在相似度计算模块中，及上述步骤(3)中：

(3-1)在特征提取模块中得到保护视频特征矩阵及检索视频特征向量后，将检索视频特征向量执行导致操作，然后将两者进行点乘，得到相似度向量。该相似度向量每一维度表示检索视频特征向量对于每一保护视频特征向量的余弦距离，即检索视频对于每一保护视频的相似度。

(3-2)比对是否超过阈值：设定相似度检测阈值，一般设定为0.8。对步骤(1)中得到的相似度向量，逐一检查每一维度相似度是否超过上述阈值。如有超过该阈值，将超过该阈值的维度对应的相似度信息、保护视频信息提取出来与检索视频构建为视频对，并返回为检索的疑似侵权视频对结果。如没有检测出超过该阈值的维度，则返回未发现疑似侵权行为作为检测结果。

上述虽然对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，而不具备创造性劳动的修改或变形仍在本发明的保护范围以内。

Claims (5)

1.一种基于时序特征的同源视频检索方法，其特征在于，其包括以下步骤：

(1)构建神经网络模型，使用开源数据集对网络模型参数进行训练，训练直至模型参数收敛后将网络模型参数固定；

(2)使用训练完成的模型对需要保护及检索的视频提取对应特征向量；

(3)设定相似度检索阈值，进行相似度计算。

2.根据基于时序特征的同源视频检索方法，其特征在于，所述的步骤(1)具体包括以下步骤：

(1-1)关键帧提取：查询及检索视频拆解成帧，按照视频时长在一定时长内提取一定数量帧，最后对提取出的帧进行采样，并缩放到设定尺寸后得到视频关键帧；

(1-2)帧特征提取：将视频关键帧输入至在ImageNet数据集上预训练好的深度残差卷积神经网络中，进行正向传播对帧图片各通道提取特征，经过池化、激活、正则操作后提取最后一层平均池化层输出的向量作为各帧的特征向量；

(1-3)时序特征提取：将各帧的特征向量按帧在视频中出现的时序顺序输入至Transformer编码器中，得到帧与帧之间的时序信息特征向量；

(1-4)帧重要性信息提取：使用注意力机制对各帧的特征向量提取不同语义空间中的映射，得到包含各帧重要性信息的特征向量，经过拼接聚合后得到帧重要性信息特征向量；

(1-5)特征聚合：将自注意力机制与时序特征提取模块的输出特征向量输入全连接层加权聚合之后得到视频整体特征向量表示；

(1-6)孪生网络训练：训练网络参数时，在每个训练轮次对每个输入视频提取一个与该视频同源的视频作为正样本，一个与该视频不同源的视频作为负样本，构建成为三元组，使用三元组损失函数Triplet Loss得到损失值，使用损失值计算出梯度后对神经网络进行反馈传播并更新各层参数，重复此步骤直至网络参数收敛。

3.根据基于时序特征的同源视频检索方法，其特征在于，步骤(2)具体包括以下步骤：

(2-1)构建需要保护的视频数据库：对系统需要保护的用户原创视频存入数据库，每个保护视频通过步骤(1)得到视频的特征向量，将所有视频的特征向量存放至数据库中得到所有保护视频的特征矩阵；

(2-2)对检索视频提取特征：对于需要检测是否存在与保护视频库内视频产生侵权的视频，通过步骤(1)提取对应的视频特征向量，进行比对检索。

4.根据基于时序特征的同源视频检索方法，其特征在于，步骤(3)具体包括以下步骤：

(3-1)设定相似度检索阈值：计算得到检索视频与保护视频之间的相似度，该相似度在(0,1)区间内，1表示模型判断检索视频与保护视频100％相似，0表示完全不相似，其他值则表示相似性的百分比；设定一个检索阈值，则系统将返回相似度超过该阈值的视频对作为疑似产生侵权行为结果，供用户后续进一步判定；

(3-2)计算相似度：在步骤(2)中得到的检索视频的特征向量，逐一与保护视频库内的特征矩阵进行点乘操作，得到检索视频与每一保护视频的特征向量之间的余弦距离作为相似度；逐一比对相似度以判断是否有超过设定的阈值，如有则返回该视频对作为系统检测结果，没有则返回未检测出疑似侵权视频作为系统检测结果。

5.一种基于时序特征的同源视频检索系统，所述系统用于权利要求1-5中任一于时序特征的同源视频检索方法，其特征在于，其包括

模型构建及训练模块，用于构建神经网络模型，并训练网络模型参数至模型参数收敛后将网络模型参数固定；

特征提取模块，提取特征并构成保护视频特征矩阵存入数据库；

相似度计算模块，用于对比检索视频是否产生侵权。

Images