CN111914926A - 基于滑窗的视频抄袭检测方法、装置、设备和介质 - Google Patents

基于滑窗的视频抄袭检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN111914926A
CN111914926A CN202010744467.2A CN202010744467A CN111914926A CN 111914926 A CN111914926 A CN 111914926A CN 202010744467 A CN202010744467 A CN 202010744467A CN 111914926 A CN111914926 A CN 111914926A
Authority
CN
China
Prior art keywords
video
sliding window
detection
similarity
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010744467.2A
Other languages
English (en)
Other versions
CN111914926B (zh
Inventor
谭卫军
郭宏伟
刘汝帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenmu Information Technology Co ltd
Original Assignee
Shenzhen Shenmu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenmu Information Technology Co ltd filed Critical Shenzhen Shenmu Information Technology Co ltd
Priority to CN202010744467.2A priority Critical patent/CN111914926B/zh
Publication of CN111914926A publication Critical patent/CN111914926A/zh
Application granted granted Critical
Publication of CN111914926B publication Critical patent/CN111914926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于滑窗的视频抄袭检测方法,该方法包括:获取至少一个底库视频和查询视频,选择至少一个底库视频作为候选视频。将查询视频与每个候选视频组成匹配视频对,构建每个匹配视频对的相似度矩阵图像。获取检测滑窗,将检测滑窗按照预设滑动轨迹在相似度矩阵图像上滑动,记录检测滑窗在相似值累计和大于预设阈值时的检测位置;根据记录的检测位置生成合并滑窗,根据合并滑窗获取到疑似抄袭片段。本发明可实现多个疑似抄袭片段的检测判断,提高了视频抄袭的检测效率。此外,还提出了基于滑窗的视频抄袭检测装置、设备和介质。

Description

基于滑窗的视频抄袭检测方法、装置、设备和介质
技术领域
本发明涉及视频检测技术领域,尤其是涉及基于滑窗的视频抄袭检测方法、装置、设备和介质。
背景技术
随着网络视频的大量出现,视频抄袭现象日益严重,成为一个亟待解决的问题。视频抄袭检测主要应用于视频公司保护自己具有版权的视频不被别人抄袭,比如电视台、电影公司等。其它应用场景也包括在网上查找不健康的视频,比如黄色视频等。由于网络视频的数量过于庞大,加之人工审核速度过慢,因此将视频抄袭检测交由计算机设备进行处理会成为将来必然的趋势。
但现有的视频抄袭方法通常只能在视频底库中搜索一个抄袭片段,或者需要通过迭代的方法才能检测一个底库视频中的多个抄袭片段。因此视频检测的速度仍不够理想。
发明内容
基于此,有必要针对上述问题,提供可以同时检测多个抄袭片段的基于滑窗的视频抄袭检测方法、装置、设备和介质。
一种基于滑窗的视频抄袭检测的方法,所述方法包括:
获取至少一个底库视频和查询视频,选择至少一个所述底库视频作为候选视频;
将所述查询视频与每个所述候选视频组成匹配视频对,构建每个所述匹配视频对的相似度矩阵图像,所述相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳;
获取检测滑窗,将所述检测滑窗按照预设滑动轨迹在所述相似度矩阵图像上滑动,当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置;
根据记录的所述检测位置生成合并滑窗,根据所述合并滑窗获取疑似抄袭片段。
在其中一个实施例中,所述构建每个所述匹配视频对的相似度矩阵图像,包括:
获取每个所述候选视频中的所述近邻匹配帧,将所述近邻匹配帧的位置在所述相似度矩阵图像中显示;
过滤所述相似度矩阵图像中相似度小于预设阈值的点。
在其中一个实施例中,所述当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置,包括:
计算所述检测滑窗内对角线区域的相似值总和;其中,所述对角线区域为所述检测滑窗内的对角线及相对于所述对角线平行的平行线所包含的区域;
当所述相似值总和大于预设阈值时,记录所述检测滑窗的检测位置。
在其中一个实施例中,所述检测滑窗包括多个子滑窗,所述多个子滑窗间隔排列;
所述当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置,包括:
计算每个所述子滑窗的子相似值,将所述子相似值进行累加,得到所述检测滑窗的滑窗相似值累计和;
当所述滑窗相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置。
在其中一个实施例中,所述根据记录的所述检测位置生成合并滑窗,包括:
在每个记录的所述检测位置生成与所述检测滑窗大小一致的记录滑窗,将所有存在交集的所述记录滑窗进行合并,得到至少一个合并滑窗;
调整所述合并滑窗的窗口边界,以使得所述合并滑窗移除滑窗边界的非近邻匹配帧及涵盖所述滑窗边界的所述近邻匹配帧。
在其中一个实施例中,所述选择至少一个所述底库视频作为候选视频,包括:
对每个所述底库视频和所述查询视频进行间隔抽帧,获取每个所述底库视频的多个底库图像和所述查询视频的多个查询图像;
分别将每个所述底库视频的所述多个底库图像和所述查询视频的多个查询图像输入卷积神经网络进行特征提取,进行高斯滤波处理与最大值池化处理,获取每个所述底库视频的底库视频帧特征和所述查询视频的查询视频帧特征;
获取每个所述查询视频帧特征和每个所述底库视频帧特征的相似度,将所述相似度高于第一预设阈值的底库视频帧作为近邻匹配帧;
获取每个所述近邻匹配帧对应的底库视频编码标识,将所述近邻匹配帧按照所述底库视频编码标识归类,生成至少一个底库视频帧集合;
选择至少一个所述底库视频帧集合对应的底库视频作为候选视频。
在其中一个实施例中,在所述根据所述合并滑窗获取疑似抄袭片段之后,还包括:
丢弃片段时长少于预设片段时长的所述疑似抄袭片段。
一种基于滑窗的视频抄袭检测装置,所述装置包括:
视频获取模块,用于获取至少一个底库视频和查询视频,选择至少一个所述底库视频作为候选视频;
矩阵图像构建模块,用于将所述查询视频与每个所述候选视频组成匹配视频对,构建每个所述匹配视频对的相似度矩阵图像,所述相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳;
滑窗检测模块,用于获取检测滑窗,将所述检测滑窗按照预设滑动轨迹在所述相似度矩阵图像上滑动,当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置;
滑窗合并模块,用于根据记录的所述检测位置生成合并滑窗,根据所述合并滑窗获取疑似抄袭片段。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
获取至少一个底库视频和查询视频,选择至少一个所述底库视频作为候选视频;
将所述查询视频与每个所述候选视频组成匹配视频对,构建每个所述匹配视频对的相似度矩阵图像,所述相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳;
获取检测滑窗,将所述检测滑窗按照预设滑动轨迹在所述相似度矩阵图像上滑动,当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置;
根据记录的所述检测位置生成合并滑窗,根据所述合并滑窗获取疑似抄袭片段。
一种基于滑窗的视频抄袭检测设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
获取至少一个底库视频和查询视频,选择至少一个所述底库视频作为候选视频;
将所述查询视频与每个所述候选视频组成匹配视频对,构建每个所述匹配视频对的相似度矩阵图像,所述相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳;
获取检测滑窗,将所述检测滑窗按照预设滑动轨迹在所述相似度矩阵图像上滑动,当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置;
根据记录的所述检测位置生成合并滑窗,根据所述合并滑窗获取疑似抄袭片段。
本发明提供了基于滑窗的视频抄袭检测方法、装置、设备和介质,通过将检测滑窗按照预设滑动轨迹在相似度矩阵图像上滑动,记录检测滑窗在相似值大于预设阈值时的检测位置;根据记录的检测位置生成合并滑窗,获取合并滑窗中的近邻匹配帧的时间戳以得到疑似抄袭片段。本发明可实现多个疑似抄袭片段的同时检测判断,提高了视频抄袭的检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为第一实施例中基于滑窗的视频抄袭检测方法的流程示意图;
图2为相似度矩阵图像的第一实施例示意图;
图3对检测滑窗内角线区域的示意图;
图4为多个子滑窗的示意图;
图5为相似度矩阵图像的第二实施例示意图;
图6为第二实施例中基于滑窗的视频抄袭检测方法的流程示意图;
图7为一个实施例中基于滑窗的视频抄袭检测装置的结构示意图;
图8为一个实施例中基于滑窗的视频抄袭检测设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,图1为第一实施例中基于滑窗的视频抄袭检测方法的流程示意图,该第一实施例中基于滑窗的视频抄袭检测方法提供的步骤包括:
步骤102,获取至少一个底库视频和查询视频,选择至少一个底库视频作为候选视频。
其中,查询视频为待检测是否存在抄袭的视频,查询视频以底库视频为检测范围。候选视频是指底库视频中最有抄袭嫌疑的一批视频。
步骤104,将查询视频与每个候选视频组成匹配视频对,构建每个匹配视频对的相似度矩阵图像。
其中,该相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳。
在一个实施例中,如图2所示,图2为相似度矩阵图像的第一实施例示意图。该图中的横轴方向表示底库视频帧的时间戳,该图中的纵轴方向表示查询视频帧的时间戳。以构建一个相似度矩阵图像为例:首先,获取一个候选视频中的近邻匹配帧。其中,近邻匹配帧代表候选视频中具有抄袭嫌疑的帧。将近邻匹配帧的位置在相似度矩阵图像中显示,并过滤相似度矩阵图像中相似度小于预设阈值(比如0.8)的点。如图2所示,白点为保留的近邻匹配帧所代表的点,黑点为被过滤掉的底库视频帧的点。
步骤106,获取检测滑窗,将检测滑窗按照预设滑动轨迹在相似度矩阵图像上滑动,当检测到检测滑窗内的相似值累计和大于预设阈值时,记录检测滑窗的检测位置。
其中,相似值在该相似度矩阵图像中代表每一像素点的灰度值大小,也反应每一帧在查询视频与候选视频之间的相似度情况。相似值是相似度矩阵中的值(通过分别构建查询视频与候选视频的特征矩阵,并计算內积得到),也可以是当相似度大于一个预设值(通常为0.8)时,强制为1,当相似度小于或等于该预设值时,强制为0。
如图2所示,检测滑窗一般设置为矩形窗口。在本实施例中,其中一个较优的滑动轨迹为:从左上角开始从左至右遍历相似度矩阵图像的第一行,再开始左至右遍历相似度矩阵图像的第二行(第一行与第二行之间紧密衔接),直到滑动检测滑窗到相似度矩阵图像的右下角。
在一个实施例中,首先,计算检测滑窗内对角线区域的相似值总和,以判断检测滑窗内的相似值是否大于预设阈值。其中,该对角线区域为检测滑窗内的对角线及相对于该对角线平行的平行线所包含的区域。如图3所示,该图中的虚线为对角线,而对角线区域为“ABCD”所覆盖的区域。对应的,当相似值取相似度时,计算对角线区域内每个像素点的相似度的和作为相似值总和;而当相似值取0或1时,统计对角线区域内相似值为1的数量作为相似值总和。其次,当相似值总和大于预设阈值时,记录检测滑窗的检测位置(一般取对角线的交点处的坐标)。本实施例中,选择对角线区域作为统计区域的原因在于:抄袭片段一般会在对角线区域的位置出现最大相似度,通过计算对角线区域可有效提高检测效率。
在另一个实施例中,检测滑窗包括多个子滑窗,其中子滑窗的数量以3个最佳,结合视频抄袭检测设备的运算能力也可以设置子滑窗的数量为5个或更多,但测试得到,子滑窗数量在多于3个时,视频抄袭检测的判断精度并没有显著提升。示例性的,如图4所示,该图中设置有叠加的子滑窗A,子滑窗B以及子滑窗C,其中每个子滑窗的大小均为8×8,子滑窗A相对于子滑窗B偏移-4,子滑窗C相对于子滑窗B偏移4。在计算检测滑窗内的相似值时,单独计算每个子滑窗内的子相似值,将子相似值进行累加,记为检测滑窗的滑窗相似值累计和。与上一实施例同理,当相似值取相似度时,滑窗相似值累计和为单独将三个子滑窗内相似度的和进行累加。当相似值取0或1时,滑窗相似值累计和为单独将三个子滑窗内1的数量进行累加。当滑窗相似值累计和大于预设阈值时,记录检测滑窗的检测位置。
步骤108,根据记录的检测位置生成合并滑窗,根据合并滑窗获取疑似抄袭片段。
在一个实施例中,生成合并滑窗的实现方式为:首先在每个记录的检测位置生成与检测滑窗大小一致的记录滑窗,根据检测位置以及滑窗大小可得到每个记录滑窗的2个对角点的坐标,对两两记录滑窗的对角点进行计算可逐渐合并记录滑窗。具体的,以两个记录滑窗的合并为例,其中第一记录滑窗的对角点坐标为(2,3)、(10,11),第二记录滑窗的对角点坐标为(4,5)、(12,13)。在横坐标上取最值位置可得到最小横坐标2与最大横坐标12,在纵坐标上取最值位置可得到最小纵坐标3与最大纵坐标13。进一步的,对上述最值位置进行整合可得到两个记录滑窗合并后的对角点坐标(2,3)、(12,13)。同理,将所有存在交集的记录滑窗进行合并,得到至少一个合并滑窗。其中每个合并滑窗内的起始近邻匹配帧与终止近邻匹配帧(根据时间戳顺序确定)之间的候选视频的片段,即为疑似抄袭片段,从而实现了多个疑似抄袭片段的同时检测判断,提高了检测效率。
进一步的,由于在合并滑窗的窗口边界处可能存在部分的非近邻匹配帧被覆盖在内,也有可能存在部分的近邻匹配帧未被覆盖在内,因此需微调整合并滑窗的窗口边界以提高检测的精确性。示例性的,如图5所示,将合并滑窗的左边界向右调整至图中虚线处。
进一步的,丢弃片段时长少于预设片段时长的疑似抄袭片段。因为通常片段时长较短的候选抄袭片段的误判率较高,且检测的意义不是很重要。
上述基于滑窗的视频抄袭检测方法,通过将检测滑窗按照预设滑动轨迹在相似度矩阵图像上滑动,记录检测滑窗在相似值大于预设阈值时的检测位置;根据记录的检测位置生成合并滑窗,获取合并滑窗中的近邻匹配帧的时间戳以得到疑似抄袭片段。本发明可实现多个疑似抄袭片段的同时检测判断,提高了视频抄袭的检测效率。
如图6所示,图6为第二实施例中基于滑窗的视频抄袭检测方法的流程示意图,该第二实施例中基于滑窗的视频抄袭检测方法提供的步骤包括:
步骤602,获取至少一个底库视频和查询视频,对每个底库视频和查询视频进行间隔抽帧,获取每个底库视频的多个底库图像和查询视频的多个查询图像。
在一个实施例中,分别对获取到的底库视频和查询视频进行均匀抽帧,抽帧的频率为每隔1秒抽一帧。为提高视频抄袭检测的判断精确度,也可采用每隔0.5秒抽一帧的频率进行抽帧。
步骤604,分别将每个底库视频的多个底库图像和查询视频的多个查询图像输入卷积神经网络进行特征提取,进行高斯滤波处理与最大值池化处理,获取每个底库视频的底库视频帧特征和查询视频的查询视频帧特征。
本实施例中,可选用较为常见的图像分类卷积神经网络进行特征提取,例如VGG-16卷积神经网络或Resnet-18卷积神经网络。以VGG-16卷积神经网络为例,在特征提取前选用ImageNet数据集的部分数据对VGG-16卷积神经网络进行预训练,然后将底库图像输入训练好的VGG-16卷积神经网络,将最后一层卷积的输出进行高斯滤波处理与最大值池化处理,得到底库视频的多个底库视频帧特征。同理,通过特征提取可得到查询视频的多个查询视频帧特征。
步骤606,获取每个查询视频帧特征和每个底库视频帧特征的相似度,将相似度高于第一预设阈值的底库视频帧作为近邻匹配帧。
在一个实施例中,通过构建相似度矩阵的方法来寻找近邻匹配帧。具体的,由属于同一视频的底库视频帧特征组成底库视频特征,由查询视频帧特征组成查询视频特征。再分别构建查询视频特征的一个特征矩阵和底库视频特征的一个特征矩阵,再将这两个特征矩阵进行內积计算,可得到一个带有相似度值的相似度矩阵。其中,相似度值为底库视频帧特征与查询视频帧特征之间的内积。对相似度值进行排序并选择数值最大的K个相似度,由实验可得,K的取值为200-500之间为最佳。进一步的,为提高抄袭检测的判断效率,将近邻匹配帧用第一预设阈值(例如0.65)进行过滤。最后,通过逆推导查找,找到內积值是由哪些底库视频特征包含的底库视频帧特征计算得到的,将这些底库视频帧作为近邻匹配帧。
步骤608,获取每个近邻匹配帧对应的底库视频编码标识,将近邻匹配帧按照底库视频编码标识归类,生成至少一个底库视频帧集合。
其中,编码标识是指ID(IDentity)标识或其他可表征近邻匹配帧属性的标识,依据编码标识归类,从而便于后续获取每个底库视频与查询视频的相似度情况。
步骤610,选择至少一个底库视频帧集合对应的底库视频作为候选视频。
在一个实施例中,选择方式为:首先对属于一个底库视频帧集合内的所有近邻匹配帧进行相似度求和,得到相似度总和。再对所有底库视频帧集合的相似度总和进行排序,取相似度总和数值最大的N个作为保留的底库视频帧集合。其中N较优的选择为5个,当然也可以根据检索速度的要求以及检索精确度的要求,将N适应性的增大或减小。进一步的,每个底库视频帧集合有一个统一的编码标识,根据该编码标识找到对应的底库视频作为候选视频。
步骤612,将查询视频与每个候选视频组成匹配视频对,构建每个匹配视频对的相似度矩阵图像。
步骤614,获取检测滑窗,将检测滑窗按照预设滑动轨迹在相似度矩阵图像上滑动,当检测到检测滑窗内的相似值累计和大于预设阈值时,记录检测滑窗的检测位置。
步骤616,根据记录的检测位置生成合并滑窗,根据合并滑窗获取疑似抄袭片段。
在一个具体的实施场景中,步骤612-616与第一实施例中基于滑窗的视频抄袭检测方法的步骤104-108基本一致,此处不再进行赘述。
在一个实施例中,如图7所示,提出了一种基于滑窗的视频抄袭检测装置,该装置包括:
视频获取模块702,用于获取至少一个底库视频和查询视频,选择至少一个底库视频作为候选视频;
矩阵图像构建模块704,用于将查询视频与每个候选视频组成匹配视频对,构建每个匹配视频对的相似度矩阵图像,相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳;
滑窗检测模块706,用于获取检测滑窗,将检测滑窗按照预设滑动轨迹在相似度矩阵图像上滑动,当检测到检测滑窗内的相似值累计和大于预设阈值时,记录检测滑窗的检测位置;
滑窗合并模块708,用于根据记录的检测位置生成合并滑窗,根据合并滑窗获取疑似抄袭片段。
上述基于滑窗的视频抄袭检测装置,通过将检测滑窗按照预设滑动轨迹在相似度矩阵图像上滑动,记录检测滑窗在相似值大于预设阈值时的检测位置;根据记录的检测位置生成合并滑窗,获取合并滑窗中的近邻匹配帧的时间戳以得到疑似抄袭片段。本发明可实现多个疑似抄袭片段的同时检测判断,提高了视频抄袭的检测效率。
在一个实施例中,矩阵图像构建模块704,还具体用于获取每个候选视频中的近邻匹配帧,将近邻匹配帧的位置在相似度矩阵图像中显示;过滤相似度矩阵图像中相似度小于预设阈值的点。
在一个实施例中,滑窗检测模块706,还具体用于:计算检测滑窗内对角线区域的相似值总和;其中,对角线区域为检测滑窗内的对角线及相对于对角线平行的平行线所包含的区域;当相似值总和大于预设阈值时,记录检测滑窗的检测位置。
在一个实施例中,检测滑窗包括多个子滑窗,多个子滑窗间隔排列;滑窗检测模块706,还具体用于:计算每个子滑窗的子相似值,将子相似值进行累加,得到检测滑窗的滑窗相似值累计和;当滑窗相似值累计和大于预设阈值时,记录检测滑窗的检测位置。
在一个实施例中,滑窗合并模块708,还具体用于:在每个记录的检测位置生成与检测滑窗大小一致的记录滑窗,将所有存在交集的记录滑窗进行合并,得到至少一个合并滑窗;调整合并滑窗的窗口边界,以使得合并滑窗移除滑窗边界的非近邻匹配帧及涵盖滑窗边界的近邻匹配帧。
在一个实施例中,视频获取模块702,还具体用于:对每个底库视频和查询视频进行间隔抽帧,获取每个底库视频的多个底库图像和查询视频的多个查询图像;分别将每个底库视频的多个底库图像和查询视频的多个查询图像输入卷积神经网络进行特征提取,进行高斯滤波处理与最大值池化处理,获取每个底库视频的底库视频帧特征和查询视频的查询视频帧特征;获取每个查询视频帧特征和每个底库视频帧特征的相似度,将相似度高于第一预设阈值的底库视频帧作为近邻匹配帧;获取每个近邻匹配帧对应的底库视频编码标识,将近邻匹配帧按照底库视频编码标识归类,生成至少一个底库视频帧集合;选择至少一个底库视频帧集合对应的底库视频作为候选视频。
在一个实施例中,基于滑窗的视频抄袭检测装置还包括:丢弃模块,用于丢弃片段时长少于预设片段时长的候选抄袭片段。
图8示出了一个实施例中基于滑窗的视频抄袭检测设备的内部结构图。如图8所示,该基于滑窗的视频抄袭检测设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该基于滑窗的视频抄袭检测设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现基于滑窗的视频抄袭检测方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行基于滑窗的视频抄袭检测方法。本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的基于滑窗的视频抄袭检测设备的限定,具体的基于滑窗的视频抄袭检测设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
一种基于滑窗的视频抄袭检测设备,包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序,该处理器执行该计算机程序时实现如下步骤:获取至少一个底库视频和查询视频,选择至少一个底库视频作为候选视频;将查询视频与每个候选视频组成匹配视频对,构建每个匹配视频对的相似度矩阵图像,相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳;获取检测滑窗,将检测滑窗按照预设滑动轨迹在相似度矩阵图像上滑动,当检测到检测滑窗内的相似值累计和大于预设阈值时,记录检测滑窗的检测位置;根据记录的检测位置生成合并滑窗,根据合并滑窗获取疑似抄袭片段。
在一个实施例中,构建每个匹配视频对的相似度矩阵图像,包括:获取每个候选视频中的近邻匹配帧,将近邻匹配帧的位置在相似度矩阵图像中显示;过滤相似度矩阵图像中相似度小于预设阈值的点。
在一个实施例中,当检测到检测滑窗内的相似值累计和大于预设阈值时,记录检测滑窗的检测位置,包括:计算检测滑窗内对角线区域的相似值总和;其中,对角线区域为检测滑窗内的对角线及相对于对角线平行的平行线所包含的区域;当相似值总和大于预设阈值时,记录检测滑窗的检测位置。
在一个实施例中,检测滑窗包括多个子滑窗,多个子滑窗间隔排列;当检测到检测滑窗内的相似值累计和大于预设阈值时,记录检测滑窗的检测位置,包括:计算每个子滑窗的子相似值,将子相似值进行累加,得到检测滑窗的滑窗相似值累计和;当滑窗相似值累计和大于预设阈值时,记录检测滑窗的检测位置。
在一个实施例中,根据记录的检测位置生成合并滑窗,包括:在每个记录的检测位置生成与检测滑窗大小一致的记录滑窗,将所有存在交集的记录滑窗进行合并,得到至少一个合并滑窗;调整合并滑窗的窗口边界,以使得合并滑窗移除滑窗边界的非近邻匹配帧及涵盖滑窗边界的近邻匹配帧。
在一个实施例中,选择至少一个底库视频作为候选视频,包括:对每个底库视频和查询视频进行间隔抽帧,获取每个底库视频的多个底库图像和查询视频的多个查询图像;分别将每个底库视频的多个底库图像和查询视频的多个查询图像输入卷积神经网络进行特征提取,进行高斯滤波处理与最大值池化处理,获取每个底库视频的底库视频帧特征和查询视频的查询视频帧特征;获取每个查询视频帧特征和每个底库视频帧特征的相似度,将相似度高于第一预设阈值的底库视频帧作为近邻匹配帧;获取每个近邻匹配帧对应的底库视频编码标识,将近邻匹配帧按照底库视频编码标识归类,生成至少一个底库视频帧集合;选择至少一个底库视频帧集合对应的底库视频作为候选视频。
在一个实施例中,在根据合并滑窗获取疑似抄袭片段之后,还包括:丢弃片段时长少于预设片段时长的候选抄袭片段。
一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如下步骤:获取至少一个底库视频和查询视频,选择至少一个底库视频作为候选视频;将查询视频与每个候选视频组成匹配视频对,构建每个匹配视频对的相似度矩阵图像,相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳;获取检测滑窗,将检测滑窗按照预设滑动轨迹在相似度矩阵图像上滑动,当检测到检测滑窗内的相似值累计和大于预设阈值时,记录检测滑窗的检测位置;根据记录的检测位置生成合并滑窗,根据合并滑窗获取疑似抄袭片段。
在一个实施例中,构建每个匹配视频对的相似度矩阵图像,包括:获取每个候选视频中的近邻匹配帧,将近邻匹配帧的位置在相似度矩阵图像中显示;过滤相似度矩阵图像中相似度小于预设阈值的点。
在一个实施例中,当检测到检测滑窗内的相似值累计和大于预设阈值时,记录检测滑窗的检测位置,包括:计算检测滑窗内对角线区域的相似值总和;其中,对角线区域为检测滑窗内的对角线及相对于对角线平行的平行线所包含的区域;当相似值总和大于预设阈值时,记录检测滑窗的检测位置。
在一个实施例中,检测滑窗包括多个子滑窗,多个子滑窗间隔排列;当检测到检测滑窗内的相似值累计和大于预设阈值时,记录检测滑窗的检测位置,包括:计算每个子滑窗的子相似值,将子相似值进行累加,得到检测滑窗的滑窗相似值累计和;当滑窗相似值累计和大于预设阈值时,记录检测滑窗的检测位置。
在一个实施例中,根据记录的检测位置生成合并滑窗,包括:在每个记录的检测位置生成与检测滑窗大小一致的记录滑窗,将所有存在交集的记录滑窗进行合并,得到至少一个合并滑窗;调整合并滑窗的窗口边界,以使得合并滑窗移除滑窗边界的非近邻匹配帧及涵盖滑窗边界的近邻匹配帧。
在一个实施例中,选择至少一个底库视频作为候选视频,包括:对每个底库视频和查询视频进行间隔抽帧,获取每个底库视频的多个底库图像和查询视频的多个查询图像;分别将每个底库视频的多个底库图像和查询视频的多个查询图像输入卷积神经网络进行特征提取,进行高斯滤波处理与最大值池化处理,获取每个底库视频的底库视频帧特征和查询视频的查询视频帧特征;获取每个查询视频帧特征和每个底库视频帧特征的相似度,将相似度高于第一预设阈值的底库视频帧作为近邻匹配帧;获取每个近邻匹配帧对应的底库视频编码标识,将近邻匹配帧按照底库视频编码标识归类,生成至少一个底库视频帧集合;选择至少一个底库视频帧集合对应的底库视频作为候选视频。
在一个实施例中,在根据合并滑窗获取疑似抄袭片段之后,还包括:丢弃片段时长少于预设片段时长的候选抄袭片段。
需要说明的是,上述基于滑窗的视频抄袭检测方法、装置、设备及计算机可读存储介质属于一个总的发明构思,基于滑窗的视频抄袭检测方法、装置、设备及计算机可读存储介质实施例中的内容可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于滑窗的视频抄袭检测的方法,其特征在于,所述方法包括:
获取至少一个底库视频和查询视频,选择至少一个所述底库视频作为候选视频;
将所述查询视频与每个所述候选视频组成匹配视频对,构建每个所述匹配视频对的相似度矩阵图像,所述相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳;
获取检测滑窗,将所述检测滑窗按照预设滑动轨迹在所述相似度矩阵图像上滑动,当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置;
根据记录的所述检测位置生成合并滑窗,根据所述合并滑窗获取疑似抄袭片段。
2.根据权利要求1所述的方法,其特征在于,所述构建每个所述匹配视频对的相似度矩阵图像,包括:
获取每个所述候选视频中的所述近邻匹配帧,将所述近邻匹配帧的位置在所述相似度矩阵图像中显示;
过滤所述相似度矩阵图像中相似度小于预设阈值的点。
3.根据权利要求1所述的方法,其特征在于,所述当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置,包括:
计算所述检测滑窗内对角线区域的相似值总和;其中,所述对角线区域为所述检测滑窗内的对角线及相对于所述对角线平行的平行线所包含的区域;
当所述相似值总和大于预设阈值时,记录所述检测滑窗的检测位置。
4.根据权利要求1所述的方法,其特征在于,所述检测滑窗包括多个子滑窗,所述多个子滑窗间隔排列;
所述当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置,包括:
计算每个所述子滑窗的子相似值,将所述子相似值进行累加,得到所述检测滑窗的滑窗相似值累计和;
当所述滑窗相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置。
5.根据权利要求1所述的方法,其特征在于,所述根据记录的所述检测位置生成合并滑窗,包括:
在每个记录的所述检测位置生成与所述检测滑窗大小一致的记录滑窗,将所有存在交集的所述记录滑窗进行合并,得到至少一个合并滑窗;
调整所述合并滑窗的窗口边界,以使得所述合并滑窗移除滑窗边界的非近邻匹配帧及涵盖所述滑窗边界的所述近邻匹配帧。
6.根据权利要求1所述的方法,其特征在于,所述选择至少一个所述底库视频作为候选视频,包括:
对每个所述底库视频和所述查询视频进行间隔抽帧,获取每个所述底库视频的多个底库图像和所述查询视频的多个查询图像;
分别将每个所述底库视频的所述多个底库图像和所述查询视频的多个查询图像输入卷积神经网络进行特征提取,进行高斯滤波处理与最大值池化处理,获取每个所述底库视频的底库视频帧特征和所述查询视频的查询视频帧特征;
获取每个所述查询视频帧特征和每个所述底库视频帧特征的相似度,将所述相似度高于第一预设阈值的底库视频帧作为近邻匹配帧;
获取每个所述近邻匹配帧对应的底库视频编码标识,将所述近邻匹配帧按照所述底库视频编码标识归类,生成至少一个底库视频帧集合;
选择至少一个所述底库视频帧集合对应的底库视频作为候选视频。
7.根据权利要求1所述的方法,其特征在于,在所述根据所述合并滑窗获取疑似抄袭片段之后,还包括:
丢弃片段时长少于预设片段时长的所述疑似抄袭片段。
8.一种基于滑窗的视频抄袭检测装置,其特征在于,所述装置包括:
视频获取模块,用于获取至少一个底库视频和查询视频,选择至少一个所述底库视频作为候选视频;
矩阵图像构建模块,用于将所述查询视频与每个所述候选视频组成匹配视频对,构建每个所述匹配视频对的相似度矩阵图像,所述相似度矩阵图像的横轴方向和纵轴方向的其中一个表示底库视频帧的时间戳,另一个表示查询视频帧的时间戳;
滑窗检测模块,用于获取检测滑窗,将所述检测滑窗按照预设滑动轨迹在所述相似度矩阵图像上滑动,当检测到所述检测滑窗内的相似值累计和大于预设阈值时,记录所述检测滑窗的检测位置;
滑窗合并模块,用于根据记录的所述检测位置生成合并滑窗,根据所述合并滑窗获取疑似抄袭片段。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种基于滑窗的视频抄袭检测设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
CN202010744467.2A 2020-07-29 2020-07-29 基于滑窗的视频抄袭检测方法、装置、设备和介质 Active CN111914926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010744467.2A CN111914926B (zh) 2020-07-29 2020-07-29 基于滑窗的视频抄袭检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010744467.2A CN111914926B (zh) 2020-07-29 2020-07-29 基于滑窗的视频抄袭检测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111914926A true CN111914926A (zh) 2020-11-10
CN111914926B CN111914926B (zh) 2023-11-21

Family

ID=73286772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010744467.2A Active CN111914926B (zh) 2020-07-29 2020-07-29 基于滑窗的视频抄袭检测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111914926B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378902A (zh) * 2021-05-31 2021-09-10 深圳神目信息技术有限公司 一种基于优化视频特征的视频抄袭检测方法
CN113849088A (zh) * 2020-11-16 2021-12-28 阿里巴巴集团控股有限公司 目标图片确定方法及装置
CN114140737A (zh) * 2022-01-11 2022-03-04 腾讯科技(深圳)有限公司 视频重复片段的检测方法、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123053A1 (en) * 2003-12-08 2005-06-09 Fuji Xerox Co., Ltd. Systems and methods for media summarization
JP2006058874A (ja) * 2004-08-20 2006-03-02 Mitsubishi Electric Research Laboratories Inc マルチメディア中の事象を検出する方法
JP2006350465A (ja) * 2005-06-13 2006-12-28 Nec Corp 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
CN102956238A (zh) * 2011-08-19 2013-03-06 杜比实验室特许公司 用于在音频帧序列中检测重复模式的方法及设备
CN104504307A (zh) * 2015-01-08 2015-04-08 北京大学 基于拷贝单元的音视频拷贝检测方法和装置
US9153239B1 (en) * 2013-03-14 2015-10-06 Google Inc. Differentiating between near identical versions of a song
JP2016014990A (ja) * 2014-07-01 2016-01-28 学校法人早稲田大学 動画像検索方法、動画像検索装置及びそのプログラム
CN109977262A (zh) * 2019-03-25 2019-07-05 北京旷视科技有限公司 从视频中获取候选片段的方法、装置及处理设备
WO2019184522A1 (zh) * 2018-03-29 2019-10-03 北京字节跳动网络技术有限公司 一种重复视频的判断方法及装置
CN110890086A (zh) * 2018-08-17 2020-03-17 北京嘉楠捷思信息技术有限公司 一种基于贪心算法的语音相似度计算方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123053A1 (en) * 2003-12-08 2005-06-09 Fuji Xerox Co., Ltd. Systems and methods for media summarization
JP2006058874A (ja) * 2004-08-20 2006-03-02 Mitsubishi Electric Research Laboratories Inc マルチメディア中の事象を検出する方法
JP2006350465A (ja) * 2005-06-13 2006-12-28 Nec Corp 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
CN102956238A (zh) * 2011-08-19 2013-03-06 杜比实验室特许公司 用于在音频帧序列中检测重复模式的方法及设备
US9153239B1 (en) * 2013-03-14 2015-10-06 Google Inc. Differentiating between near identical versions of a song
JP2016014990A (ja) * 2014-07-01 2016-01-28 学校法人早稲田大学 動画像検索方法、動画像検索装置及びそのプログラム
CN104504307A (zh) * 2015-01-08 2015-04-08 北京大学 基于拷贝单元的音视频拷贝检测方法和装置
WO2019184522A1 (zh) * 2018-03-29 2019-10-03 北京字节跳动网络技术有限公司 一种重复视频的判断方法及装置
CN110890086A (zh) * 2018-08-17 2020-03-17 北京嘉楠捷思信息技术有限公司 一种基于贪心算法的语音相似度计算方法和装置
CN109977262A (zh) * 2019-03-25 2019-07-05 北京旷视科技有限公司 从视频中获取候选片段的方法、装置及处理设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHIEN-LI CHOU等: "Pattern-Based Near-Duplicate Video Retrieval and Localization on Web-Scale Videos", 《IEEE TRANSACTIONS ON MULTIMEDIA》, vol. 17, no. 13, pages 382 - 395, XP011573338, DOI: 10.1109/TMM.2015.2391674 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849088A (zh) * 2020-11-16 2021-12-28 阿里巴巴集团控股有限公司 目标图片确定方法及装置
CN113378902A (zh) * 2021-05-31 2021-09-10 深圳神目信息技术有限公司 一种基于优化视频特征的视频抄袭检测方法
CN113378902B (zh) * 2021-05-31 2024-02-23 深圳神目信息技术有限公司 一种基于优化视频特征的视频抄袭检测方法
CN114140737A (zh) * 2022-01-11 2022-03-04 腾讯科技(深圳)有限公司 视频重复片段的检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN111914926B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN111914926B (zh) 基于滑窗的视频抄袭检测方法、装置、设备和介质
CN110245662B (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN109447169B (zh) 图像处理方法及其模型的训练方法、装置和电子系统
CN110941594B (zh) 一种视频文件的拆分方法、装置、电子设备及存储介质
US8385646B2 (en) Image processing
CN111949827A (zh) 视频抄袭检测方法、装置、设备和介质
CN110163842B (zh) 建筑裂缝检测方法、装置、计算机设备和存储介质
CN111242128B (zh) 目标检测方法、装置、计算机可读存储介质和计算机设备
WO2015007168A1 (en) Character recognition method and device
US11321287B2 (en) Data noise reduction method, device, computer apparatus and storage medium
US20220301317A1 (en) Method and device for constructing object motion trajectory, and computer storage medium
CN111445487B (zh) 图像分割方法、装置、计算机设备和存储介质
Hanjalic et al. Template-based detection of anchorperson shots in news programs
CN111488847B (zh) 体育比赛视频进球片段获取系统及方法、终端
CN113487607A (zh) 基于多视场图像的缺陷检测方法及装置
CN116543334A (zh) 关键帧抽取方法、装置、电子设备及存储介质
US11270439B2 (en) Histogram-based method for auto segmentation of integrated circuit structures from SEM images
CN116431857B (zh) 一种用于无人场景的视频处理方法和系统
CN112036232B (zh) 一种图像表格结构识别方法、系统、终端以及存储介质
CN111445411B (zh) 图像去噪方法、装置、计算机设备和存储介质
CN111127480B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN109784291B (zh) 基于多尺度的卷积特征的行人检测方法
CN111291716A (zh) 精子细胞识别方法、装置、计算机设备和存储介质
KR102556350B1 (ko) 병변 면적비율 산출 방법 및 그를 위한 장치
CN107103611A (zh) 一种基于最大稳定均匀区域的图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant