CN110349070B - 一种短视频水印检测方法 - Google Patents

Abstract

本发明公开了一种短视频水印检测方法，该方法充分考虑到短视频水印位置集中和水印面试较小的特点，利用yolov3模型和sigmoid二分类模型来预测每一帧视频中含有目标水印的概率，从而给短视频水印检测提供更高的检测准确率和更小的定位误差。

Description

一种短视频水印检测方法

技术领域

本发明涉及水印检测技术领域，更具体的说是涉及一种短视频水印检测方法。

背景技术

目前，现有的水印检测方法主要有两种，一种是基于基准水印比对方法，该方法需要实现知道待检测的基准水印模板，其检测、定位的流程如下：

1)提取：从待检测图片中提取水印信号；

2)计算与校正：通过计算相关度进行坐标校正，确定水印区域；

3)判断：计算该区域与所有水印模板的相似度，判断是否匹配某一个水印模板。

另一种是基于共有图案的方法，这种方法不需要事先知道水印模板，这种方法不需要实现知道水印模板，它假设每张图片J都是由原始图片I和水印模板W合成而来，形式化：

I(p)＝a(p)W(p)+(1-a(p)I(p))

其中P＝(x，y)是像素位置，上面公式是单张图片的表示，如果我们有一个图片集合K，那么每一张图片可以形式化表示为：

I_k＝aW+(1-a)I_k'k＝1,2,...K

然后用参数估计的方法计算出水印W，然后利用模板匹配的方法，对水印与目标图片进行水印位置匹配。

但是，基于基准水印比对方法存在如下缺点：

1)耗时长，水印的面积占比大都很小，需要对目标图片进行多次特征提取、计算校正，再与模板比对，整个过程非常耗时；

2)鲁棒性差，现在短视频上的水印大都是动态的，如果因为截帧的原因截到的水印不完整，或者是截到变形的动态水印，该方法的准确率就会大大折扣。

而基于共有图像的方法存在如下缺点：

1)对训练数据量要求很高，因为要估计的参数多；

2)对水印的位置和范围判断不准；

3)对于短视频内容经常出现水印叠加的问题和水印模糊的问题，该方法的准确率会大幅降低。

因此，如何提供一种检测准确率高、定位误差小且耗时短的水印检测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种短视频水印检测方法，该方法充分考虑到短视频水印位置集中和水印面试较小的特点，利用yolov3模型和sigmoid二分类模型来预测每一帧视频中含有目标水印的概率，从而给短视频水印检测提供更高的检测准确率和更小的定位误差。

为了实现上述目的，本发明采用如下技术方案：

一种短视频水印检测方法，该方法包括以下步骤：

步骤1：预先标注出每张图中所有的水印及其坐标信息，利用预先标注的数据，训练yolov3模型和n个sigmoid二分类模型；

步骤2：对视频进行截帧，用训练好的yolov3模型预测每一帧视频中含有目标水印的概率；

步骤3：分别将每一帧视频中含有目标水印的概率与预先设定的概率阈值进行比对；

若当前帧视频中含有目标水印的概率大于预先设定的概率阈值，则判定当前帧视频中含有目标水印，直接进行步骤5；

若当前帧视频中含有目标水印的概率小于预先设定的概率阈值，则初步判定当前帧视频中不含有目标水印，进行步骤4；

步骤4：将初步判定不含有目标水印的每一帧视频分别输入到训练好的n个sigmoid二分类模型，进一步判定初步判定不含有目标水印的每一帧视频是否含有目标水印；

步骤5：输出目标水印。

在上述方案的基础上，对本发明提供的方案做进一步解释说明。

进一步地，步骤2中对视频进行截帧时，截取的视频帧数范围为5-10。

进一步地，yolov3模型中的损失函数为：

其中，第一行是bounding_box坐标误差；第二行是bounding_box的宽高误差，通过加大小物体检测错误的惩罚，提高小物体检测准确率；第三行是IOU误差；第四行是分类误差；

式中，S²表示网格的数量；B表示每个网格输出的bounding_box的数量；

表示一个指示变量，标识第i个网格的第j个变量是否负责这个物体的预测；x_i，y_i，w_i，h_i表示训练样本中标注的bounding_box的坐标和宽高；

表示预测的bounding_box的坐标和宽高；C_i表示训练集中标注的类别；

表示预测的类别；p_i(c)表示第i个网格负责预测的物体类别是c的概率；

表示第i个网格预测的物体类别是c的概率。

进一步地，步骤2中用训练好的yolov3模型预测每一帧视频中含有目标水印的概率时，输出值为：

[＜n₁,p₁,(x₁,y₁,w₁,h₁)＞,＜n₂,p₂,(x₂,y₂,w₂,h₂)＞,...,＜n_i,p_i,(x_i,y_i,w_i,h_i)＞,...,＜n_n,p_n,(x_n,y_n,w_n,h_n)＞]

式中，n_i表示目标水印，p_i表示概率第i帧视频中含有目标水印n_i的概率，(x_i,y_i,w_i,h_i)表示目标水印n_i的位置。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种短视频水印检测方法，该方法充分考虑到短视频水印位置集中和水印面试较小的特点，利用yolov3模型和sigmoid二分类模型来预测每一帧视频中含有目标水印的概率，从而给短视频水印检测提供更高的检测准确率和更小的定位误差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种短视频水印检测方法的方法流程示意图；

图2附图为本发明实施例中yolov3模型的网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种短视频水印检测方法，参见附图1，该方法包括以下步骤：

S1：预先标注出每张图中所有的水印及其坐标信息，利用上述预先标注的数据，训练yolov3模型和n个sigmoid二分类模型；

S2：对视频进行截帧，用训练好的yolov3模型预测每一帧视频中含有目标水印的概率；

S3：分别将每一帧视频中含有目标水印的概率与预先设定的概率阈值进行比对；

若当前帧视频中含有目标水印的概率大于预先设定的概率阈值，则判定当前帧视频中含有目标水印，直接进行步骤S5；

若当前帧视频中含有目标水印的概率小于预先设定的概率阈值，则初步判定当前帧视频中不含有目标水印，进行步骤S4；

S4：将初步判定不含有目标水印的每一帧视频分别输入到训练好的n个sigmoid二分类模型，进一步判定初步判定不含有目标水印的每一帧视频是否含有目标水印；

S5：输出目标水印。

在一个具体的实施例中，步骤S2中对视频进行截帧时，截取的视频帧数范围为5-10。

在一个具体的实施例中，参见附图2，为yolov3模型的网络结构示意图，相比与传统的目标检测算法rcnn系列，yolov3抛弃了region_proposal，是一个完全端到端的网络，将物体检测和识别到统一到一个回归任务里，便于优化求解。yolov3模型中的损失函数为：

其中，第一行是bounding_box坐标误差；第二行是bounding_box的宽高误差，通过加大小物体检测错误的惩罚，提高小物体检测准确率；第三行是IOU误差；第四行是分类误差；

式中，S²表示网格的数量；B表示每个网格输出的bounding_box的数量；

表示一个指示变量，标识第i个网格的第j个变量是否负责这个物体的预测；x_i，y_i，w_i，h_i表示训练样本中标注的bounding_box的坐标和宽高；

表示预测的bounding_box的坐标和宽高；C_i表示训练集中标注的类别；

表示预测的类别；p_i(c)表示第i个网格负责预测的物体类别是c的概率；

表示第i个网格预测的物体类别是c的概率。

相比于传统的算法，yolov3算法对水印的大小、角度、色彩等不敏感，同时泛化性能特别好。

在一个具体的实施例中，步骤S2中用训练好的yolov3模型预测每一帧视频中含有目标水印的概率时，输出值为：

[＜n₁,p₁,(x₁,y₁,w₁,h₁)＞,＜n₂,p₂,(x₂,y₂,w₂,h₂)＞,...,＜n_i,p_i,(x_i,y_i,w_i,h_i)＞,...,＜n_n,p_n,(x_n,y_n,w_n,h_n)＞]

式中，n_i表示目标水印，p_i表示概率第i帧视频中含有目标水印n_i的概率，(x_i,y_i,w_i,h_i)表示目标水印n_i的位置。

下面对上述实施例中提到的部分术语做具体解释说明：

yolov3是一种目标检测算法，用户检测一张图片中的某些物体及其位置

Sigmoid是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

rcnn是Region-convolutional neural network(区域卷积神经网络)的缩写，表示一种目标检测算法。

region_proposal表示可能存在物体的一片区域。

bounding_box表示圈出一个物体的虚拟的矩形方框。

水印：视频中肉眼可见的标识视频版权微缩图片

IOU表示物体检测中预测区域和标注区域之间重叠部分的面积占比。

本发明实施例公开了一种短视频水印检测方法，该方法充分考虑到短视频水印位置集中和水印面试较小的特点，利用yolov3模型和sigmoid二分类模型来预测每一帧视频中含有目标水印的概率，由于动态水印的存在，截帧往往截不到水印的完整图，所以检测结果不够准确，所以我们设计了一个方案，结合连续帧的检测结果来提高预测置信度。本发明提供的方法利用训练好的sigmoid二分类模型对概率低的目标水印进行进一步判定，从而提高了概率低的水印的预测准确率，给短视频水印检测提供更准确的检测准确率和更小的定位误差。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种短视频水印检测方法，其特征在于，包括以下步骤：

步骤1：预先标注出每张图中所有的水印及其坐标信息，利用预先标注的数据，训练yolov3模型和n个sigmoid二分类模型；

步骤2：对视频进行截帧，用训练好的yolov3模型预测每一帧视频中含有目标水印的概率；

步骤3：分别将每一帧视频中含有目标水印的概率与预先设定的概率阈值进行比对；

若当前帧视频中含有目标水印的概率大于预先设定的概率阈值，则判定当前帧视频中含有目标水印，直接进行步骤5；

若当前帧视频中含有目标水印的概率小于预先设定的概率阈值，则初步判定当前帧视频中不含有目标水印，进行步骤4；

步骤4：将初步判定不含有目标水印的每一帧视频分别输入到训练好的n个sigmoid二分类模型，进一步判定初步判定不含有目标水印的每一帧视频是否含有目标水印；

步骤5：输出目标水印。

2.根据权利要求1所述的一种短视频水印检测方法，其特征在于，步骤2中对视频进行截帧时，截取的视频帧数范围为5-10。

3.根据权利要求1所述的一种短视频水印检测方法，其特征在于，yolov3模型中的损失函数为：

其中，第一行是bounding_box坐标误差；第二行是bounding_box的宽高误差，通过加大小物体检测错误的惩罚，提高小物体检测准确率；第三行是IOU误差；第四行是分类误差；

式中，S²表示网格的数量；B表示每个网格输出的bounding_box的数量；

表示一个指示变量，标识第i个网格的第j个变量是否负责这个物体的预测；x_i，y_i，w_i，h_i表示训练样本中标注的bounding_box的坐标和宽高；

表示预测的bounding_box的坐标和宽高；C_i表示训练集中标注的类别；

表示预测的类别；p_i(c)表示第i个网格负责预测的物体类别是c的概率；

表示第i个网格预测的物体类别是c的概率。

4.根据权利要求1所述的一种短视频水印检测方法，其特征在于，步骤2中用训练好的yolov3模型预测每一帧视频中含有目标水印的概率时，输出值为：

[＜n₁,p₁,(x₁,y₁,w₁,h₁)＞,＜n₂,p₂,(x₂,y₂,w₂,h₂)＞,...,＜n_i,p_i,(x_i,y_i,w_i,h_i)＞,...,＜n_n,p_n,(x_n,y_n,w_n,h_n)＞]

式中，n_i表示目标水印，p_i表示概率第i帧视频中含有目标水印n_i的概率，(x_i,y_i,w_i,h_i)表示目标水印n_i的位置。

Images