CN105893405A - 重复视频检测方法和系统 - Google Patents

重复视频检测方法和系统 Download PDF

Info

Publication number
CN105893405A
CN105893405A CN201510771736.3A CN201510771736A CN105893405A CN 105893405 A CN105893405 A CN 105893405A CN 201510771736 A CN201510771736 A CN 201510771736A CN 105893405 A CN105893405 A CN 105893405A
Authority
CN
China
Prior art keywords
video
gauss
fusion image
similarity
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510771736.3A
Other languages
English (en)
Inventor
孙成龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Cloud Computing Co Ltd filed Critical LeTV Cloud Computing Co Ltd
Priority to CN201510771736.3A priority Critical patent/CN105893405A/zh
Publication of CN105893405A publication Critical patent/CN105893405A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种重复视频检测方法,采集所有待检测视频的关键帧和与所述关键帧相对应的邻近帧,并确定高斯融合图像;确定所述高斯融合图像的特征子的描述子;选举不同视频之间的描述子相近的匹配特征子;对所述匹配特征子所对应的高斯融合图像进行余弦相似度判断,得到所述不同视频之间的相似度;根据所述不同视频之间的相似度与预设阈值之间的大小判断视频是否重复。相应的还提供一种重复视频检测系统;本发明的重复视频检测方法及系统,通过基于关键帧的匹配在本质上使用图像内容匹配的方法,通过基于不同视频的关键帧的高斯融合图像之间的余弦相似度计算,在本质上使用图像内容匹配的方法,提高了确定重复视频的准确度。

Description

重复视频检测方法和系统
技术领域
本发明涉及视频处理领域,特别涉及一种重复视频检测方法和系统。
背景技术
在视频搜索领域,需要处理海量的、来自不同提供方的视频源,它们中间存在着大量的重复视频,尤其是一些热门视频。这样会严重影响搜索和视频推荐结果的质量,导致用户体验的下降。所以如何去除具有相同内容的视频,成为视频搜索中必须要解决的问题。而视频相似度分析在视频去重、视频分类等技术中处于一个核心的步骤和重要的地位。
现有技术中视频去重的计算最普遍的是以两个视频的md5是否相同作判断为两个视频是否为同一视频的依据,该方法认为拥有同一个md5值的视频是同一个视频,但是视频只要经过转码、添加字幕、修改一些基本属性、再传递等操作md5值就会发生变化,所以这种方法只适用两个完全相同的视频文件相比较,并且对于较大的视频进行md5值计算会消耗大量的时间。
另一种方式是使用字幕、时长、文件名等多种视频特征进行余弦相似度这样的距离计算求解两个视频的相似程度,但这样的计算方式误差很大,这些特征都不是很稳定,很容易被修改。
发明内容
本发明的实施方式提供一种重复视频检测方法及系统,用于解决现有技术中不能准确确定重复视频的技术问题。
根据本发明的一个方面,提供了一种重复视频检测方法,包括:
采集所有待检测视频的关键帧和与所述关键帧相对应的邻近帧,并确定高斯融合图像;
确定所述高斯融合图像的特征子的描述子;
选举不同视频之间的描述子相近的匹配特征子;
对所述匹配特征子所对应的高斯融合图像进行余弦相似度判断,得到所述不同视频之间的相似度;
根据所述不同视频之间的相似度与预设阈值之间的大小判断视频是否重复。
本发明的另一个方面,提供了一种重复视频检测系统,包括:
高斯融合单元,其用于采集所有待检测视频的关键帧和与所述关键帧相对应的邻近帧,并确定高斯融合图像;
特征子捕获单元,其用于确定所述高斯融合图像的特征子的描述子;
匹配特征子捕获单元,其用于选举不同视频之间的描述子相近的匹配特征子;
相似度计算单元,其用于对所述匹配特征子所对应的高斯融合图像进行余弦相似度判断,得到所述不同视频之间的相似度;
重复判定单元,其用于根据所述不同视频之间的相似度与预设阈值之间的大小判断视频是否重复。
本发明实施例提供的重复视频检测方法及系统,通过基于不同视频的关键帧的高斯融合图像之间的余弦相似度计算,在本质上使用图像内容匹配的方法,提高了确定重复视频的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的重复视频检测方法一实施方式的流程图;
图2为本发明的重复视频检测方法另一实施方式的流程图;
图3为本发明的重复视频检测方法又一实施方式的流程图;
图4为本发明的重复视频检测方法再一实施方式的流程图;
图5为本发明的重复视频检测系统一实施方式的示意图;
图6为本发明的高斯融合单元一实施方式的示意图;
图7为本发明的特征子捕获单元一实施方式的示意图;
图8为本发明的相似度计算单元一实施方式的示意图;
图9为本发明的重复视频检测方法一实施方式的关键帧获取示意图;
图10为本发明的重复视频检测方法一实施方式的关键帧以及与关键帧邻近的帧的高斯融合示意图;
图11为本发明的重复视频检测方法一实施方式的关键帧高斯融合图像特征点匹配示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施方式及实施方式中的特征可以相互组合。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中,“组件”、“装置”、“系统”等等指应用于计算机的相关实体,如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说,例如,组件可以、但不限于是运行于处理器的过程、处理器、对象、可执行组件、执行线程、程序和/或计算机。还有,运行于服务器上的应用程序或脚本程序、服务器都可以是组件。一个或多个组件可在执行的过程和/或线程中,并且组件可以在一台计算机上本地化和/或分布在两台或多台计算机之间,并可以由各种计算机可读介质运行。组件还可以根据具有一个或多个数据包的信号,例如,来自一个与本地系统、分布式系统中另一组件交互的,和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
而且,在本文中“和/或”表示本文既包含了“和”的关系,也包含了“或”的关系,其中:如果方案A与方案B是“和”的关系,则表示某实施方式中可以同时包括方案A和方案B;如果方案A与方案B是“或”的关系,则表示某实施方式中可以单独包括方案A,或者单独包括方案B。
如图1所示,本发明的重复视频检测方法的一些实施方式包括如下步骤:
S1、初始化,读入视频文件,获取视频文件信息,如视频时长、分辨率信息;采集所有待检测视频的关键帧以及与关键帧相邻的多个邻近帧,通过关键帧的邻近帧求取关键帧的高斯融合图像。
视频关键帧的提取有利于缩短视频特征提取的计算时间,关键帧可以代表视频的主要信息,提取关键帧就可以得到视频的主要关键信息,这就减少了视频处理的计算量。
关键帧的提取通常采用均匀采样的方法,采样率为每秒两帧(或者根据实际需求任意选取采样率)。
如图2所示,步骤S1的具体实现方法如下:
S11、采用爬虫爬取所述待检测视频的多个关键帧;
S12、采用爬虫爬取每个所述关键帧的多个邻近帧;
S13、根据所述多个邻近帧及相对应的关键帧确定所述关键帧的高斯融合图像。
本实施方式中通过爬虫爬取待检测视频关键帧的技术,保证了关键帧获取的可靠性,进而保证了对重复视频检测的准确性,并且可以综合考虑对视频查重的精度以及查重时间的折中选择关键帧的采集的频率以及相应于关键帧的邻近帧的数量。
如图9所示,横向表示时间,每个视频中以一定的采样率在视频的时间长度上等间隔的采集n个关键帧,纵向表示使用每个关键帧在计算高斯融合图像所用到的m个附近帧,即计算每一个关键帧的高斯融合图像采用了m个附近帧。
本实施方式中的m值可以根据实际的需求进行调整,由于关键帧的高斯融合图像是通过邻近帧的高斯图像的加权得到的,通过对视频关键帧附近帧图像高斯模糊以及按时长比例获取关键帧,可以有效的防止视频的图像序列错位,抗拒帧序列不匹配对相似度计算结果的影响,即对视频序列异位有一定的鲁棒性,所以m取值越大,得到的高斯融合图像越准确,但综合考虑计算量以及视频查重的精度的要求一般取m值的大小为10。当然,随着计算机处理能力的发展,m的取值也可以不断的增大,以达到最优的视频查重性能。
如图10所示,关键帧以及与关键帧邻近的帧的高斯融合示意图。针对时长为T的一个视频,提取n段关键帧那么第i段关键帧的位置为i/n*T,每个关键帧采取开窗大小为m的高斯融合,图10中以第二关键帧为例,示出了第二关键帧以及延时间方向上分布的第二关键的邻近帧k和邻近帧m的示意图,以及相应的延时间方向的高斯加权系数曲线,从高斯加权系数曲线上按照对应的值去为关键帧图像数据加权,最后得到高斯融合图像。那么p倍方差内高斯融合图像的计算公式如下(p代表对关键帧图像的信任度,p值越小表明越信任关键帧,通常p取1即可)
I M E R G E ( x , y ) = Σ i = 0 m e - ( 2 m + 1 ) 2 ( i - m + 1 2 ) 2 p 2 I i S I N G L E ( x , y )
为第i张单张图像的像素亮度函数,(x、y)代表像素点在图像中的位置。
IMERGE(x,y)为高斯融合后的图像的像素亮度函数,(x、y)代表像素点在图像中的位置。
S2、采用SURF算法计算每个高斯融合图像的鲁棒的特征角点与特征信息子(统称为特征子),同时计算每个特征子的描述子。
本实施方式中,通过确定高斯融合图像的特征子进行匹配,可以使得针对于尺度变化下的视频准确的计算相似度,从而对视频尺寸甚至方向有鲁棒性。
如图3所示,步骤S2的具体实现方法如下:
S21、通过构建所述高斯融合图像的Hessian矩阵得到所述高斯融合图像的高斯金字塔;
S22、在高斯金字塔中定位特征子和所述特征子的主方向;
S23、根据所述特征子的主方向生成特征子的描述子。
在SURF算法中,特征子的判据为某像素亮度的Hessian矩阵的行列式(Dxx*Dyy-Dxy*Dxy)为一个极值,其中Dxx表示IMERGE(x,y)在x轴方向的二阶导数,Dyy表示IMERGE(x,y)在y轴方向的二阶导数,Dxy表示IMERGE(x,y)在x轴、y轴方向的混合二阶导数。由于Hessian矩阵的计算一般通过像素点亮度值与盒状滤波器的某一方向偏导数卷积而成,在SURF算法里采用近似的盒状滤波器(0,1,1组成的box filter),在精度影响很小的情况下,提高了算法运行速度。因为盒状滤波器仅有0,-1,1,因此卷积的计算可以用积分图像(Integral image)来优化时间复杂度,大大提高了效率。
每个像素点需计算Dxx,Dyy,Dxy三个值,故需要三个滤波器;用它们滤波后,得到一幅高斯融合图像的响应图(Response image,其中每个像素的值为原高斯融合图像素的Dxx*Dyy-Dxy*Dxy),对高斯融合图像用不同尺寸的滤波器进行滤波,得到同一图像在不同尺度的一系列响应图,构成一个高斯金字塔。
特征子的检测,在3x 3x3的矩阵中,若某点的Dxx*Dyy-Dxy*Dxy大于其邻域的26个点的Dxx*Dyy-Dxy*Dxy(即,为一个最大极值),则该点为特征子。
其次,描述子的建立,为保证特征子描述子的旋转不变性,需对每个特征子计算主方向。计算主方向的过程如下:
统计以特征子为中心,正比于特征子尺度的某个数为半径范围内的点在x、y方向的Haar小波响应,并给这些响应值赋高斯权重系数,使得靠近特征点的响应贡献大,而远离特征点的响应贡献小,其次将张角为60°的扇形区域内的在x、y方向的所有响应相加,以形成新的矢量,遍历整个圆形区域,选择最长矢量的方向为特征点的主方向。
描述子的建立过程如下:
选定以特征子为中心的一块正方形区域,将其旋转与主方向对齐;
将正方形分为4x4的16个子区域,对每个区域进行Haar小波变换(用积分图像加速),得到4个系数;
每个区域中的点按梯度大小和正态分布加权,绘制出8个方向的直方图,所以每个特征子可得到一个128维的描述子向量(因为要使特征点对对比度变化不敏感,还需对向量归一化处理)。这些描述子可用于匹配,即寻找另一幅图像中与该特征点128维向量几何距离最短的特征子。
此算法的优点在于大量合理使用积分图像降低运算量,效率更高,而且在运用的过程中并未降低精度(小波变换,Hessian矩阵行列式检测都是成熟有效的手段),并且鲁棒性很好。
S3、使用K近邻方法选举匹配两个高斯融合图像的特征子(后称匹配特征子)。除了K近邻方法以外,还可以采用目前比较普遍的匹配特征子的方法:穷举法和随机一致性采样方法。穷举法是求取所有特征子之间的距离,找出每一对近距离的特征子;随机一致性采样的方法采用先随机采样再验证不断迭代的方法实现。由于视频匹配中的图像匹配的情况比较单一,尺寸的变化大部分是等比变换,所以使用区域划分可以很高效解决,同时区域划分后,使用K近邻可以非常有效的保证结果的准确性。
步骤S3的具体实现方法为:
区域划分的K近邻匹配特征子。先对每个高斯图像划分成若干个区域(如图11所示,划分4个区域),在每个区域中使用K近邻投票的方式进行特征子的匹配。
S4、求取匹配特征子之间余弦相似度,计算每帧对应的关键桢高斯融合图像的平均余弦相似度;求取两个视频间的高斯加权平均相似度。
使用余弦相似度计算每个视频的每个高斯融合图像的每个特征子相似度,求取整张高斯融合图像的相似度平均值,对每个高斯融合图像的相似度平均进行高斯值加权求取平均值。
如图4所示,对匹配特征子所对应的高斯融合图像进行余弦相似度判断,得到所述不同视频之间的相似度包括:
S41、确定两个所述高斯融合图像之间的多个匹配特征子之间的余弦相似度;
S42、根据所述多个匹配特征子之间的余弦相似度确定所述多个匹配特征子对应的高斯融合图像之间的平均余弦相似度;
S43、对所述平均余弦相似度进行高斯加权,得到所述两视频之间的相似度。
本实施方式中通过对高斯融合图像之间的平均余弦相似度进行高斯加权求和的方法,更加准确的计算出两个视频之间的相似度。
下面是具体的计算公式:
对于在k/n*T(简称为第k帧)帧融合图像在VIJ k这个特征子匹配点对的余弦相似度计算公式如下:
cosθ V I J k k = λ ( x I k , y I k ) I k ‾ · λ ( x J k , y J k ) J k ‾ | λ ( x I k , y I k ) I k ‾ | | λ ( x J k , y J k ) J k ‾ | , ( x I k , y I k x J k , y J k ) ∈ V I J k
其中表示在第k帧I图像上的点的64维度的描述子;表示的是在视频I、视频J的第K帧图像上的两个像素点的坐标。第k帧融合图像的平均余弦相似度计算公式如下:
cosθ k ‾ = 1 L e n g t h ( v I J k ) Σ v I J k ∈ V I J k cosθ v I J k k
对于两个视频I,J相似度的计算公式计算如下(p同为方差):
S i m ( I , J ) = Σ k = 1 m ( e - ( 2 n + 1 ) 2 ( k - n + 1 2 ) 2 p 2 cosθ k ‾ )
S5、通过判断视频的高斯加权平均余弦相似度是否大于预设阈值,来判定该视频是否为重复视频,如果大于则判定该视频为重复视频,否则判断该视频无重复。
预设阈值选取过大,则大部分的视频不能判定为相同,准确率比较高,检测率较低,反之,预设阈值选取过小,准确率较低,检测率较高。可以根据不同的要求自主进行确定预设阈值的设定,目前我们使用的数值在0.4–0.45这个范围。
为方便理解,以向用户展示视频搜索结果的场景为例进行说明。在这种应用场景中,关键帧图像的高斯融合图像的计算时机可以有两个:
第一个计算时机,针对视频网站中所有视频文件,可以预先计算这些视频文件的关键帧图像的高斯融合图像,这样,当接收到用户的搜索请求时,可以直接获得与用户的搜索请求相对应的视频文件的关键帧图像的高斯融合图像,因此可以利用本发明重复视频检测方法将检测出的重复视频只保留一个并删除剩余重复视频。
举例说明,在视频网站中,可以通过爬虫模块爬取大量视频文件的关键帧图像,进而获得这些关键帧图像的url(Uniform Resource Locator,统一资源定位符)信息。如果视频网站中视频文件很多,需要爬取的关键帧图像的数量很大,可以采用增量下载方式或多台机器多线程并行下载方式。当然,因为重新下载代价较大,所以可以定期备份关键帧图像数据以防丢失。针对下载下来的关键帧图像,可以单机计算其高斯融合图像,还可以采用多进程方式计算,比如,将多个关键帧图像按照一定规律分组,每个进程计算对应组中关键帧图像的高斯融合图像。另外,为及时更新关键帧图像的高斯融合图像,可以定期计算新下载的关键帧图像的高斯融合图像。
第二个计算时机,接收到用户的搜索请求后,先获得与用户的搜索请求相对应的视频文件,针对这些视频文件计算其关键帧图像的高斯融合图像,因此可以利用本发明重复视频检测方法只将检测出的重复视频中的一个并显示为搜索结果。
如图5所示,本发明的一实施例还提供了一种重复视频检测系统,其包括:
高斯融合单元,其用于采集所有待检测视频的关键帧和与所述关键帧相对应的邻近帧,并确定所述关键帧的高斯融合图像;
特征子捕获单元,其用于确定所述高斯融合图像的特征子的描述子;
匹配特征子捕获单元,其用于选举不同视频之间的描述子相近的匹配特征子;
相似度计算单元,其用于对所述匹配特征子所对应的高斯融合图像进行余弦相似度判断,得到所述不同视频之间的相似度;
重复判定单元,其用于根据所述不同视频之间的相似度与预设阈值之间的大小判断视频是否重复。
如图6所示,在一些实施例中,高斯融合单元包括:
帧爬取单元,其用于爬取所述待检测视频的多个关键帧,以及爬取每个所述关键帧的多个邻近帧;
高斯融合图像生成单元,其用于根据所述多个邻近帧及相对应的关键帧确定所述关键帧的高斯融合图像。
如图7所示,在一些实施例中,特征子捕获单元包括:
高斯金字塔生成单元,其用于通过构建所述高斯融合图像的Hessian矩阵得到所述高斯融合图像的高斯金字塔;
特征子主方向确定单元,其用于在高斯金字塔中定位特征子和所述特征子的主方向;
描述子确定单元,其用于根据所述特征子的主方向生成特征子的描述子。
如图8所示,在一些实施例中,相似度计算单元包括:
匹配特征子相似度确定单元,其用于确定两个所述高斯融合图像之间的多个匹配特征子之间的余弦相似度;
高斯融合图像相似度确定单元,其用于根据所述多个匹配特征子之间的余弦相似度确定所述多个匹配特征子对应的高斯融合图像之间的平均余弦相似度;
视频相似度确定单元,其用于对所述平均余弦相似度进行高斯加权,得到所述两视频之间的相似度。
以上所描述的方法实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本领域内的技术人员应明白,本发明的实施方式可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种重复视频检测方法,包括:
采集所有待检测视频的关键帧和与所述关键帧相对应的邻近帧,并确定高斯融合图像;
确定所述高斯融合图像的特征子的描述子;
选举不同视频之间的描述子相近的匹配特征子;
对所述匹配特征子所对应的高斯融合图像进行余弦相似度判断,得到所述不同视频之间的相似度;
根据所述不同视频之间的相似度与预设阈值之间的大小判断视频是否重复。
2.根据权利要求1所述的重复视频检测方法,其特征在于,所述采集所有待检测视频的关键帧,确定高斯融合图像包括:
采用爬虫爬取所述待检测视频的多个关键帧;
采用爬虫爬取每个所述关键帧的多个邻近帧;
根据所述多个邻近帧及相对应的关键帧确定所述关键帧的高斯融合图像。
3.根据权利要求1所述的重复视频检测方法,其特征在于,所述确定所述高斯融合图像的特征子的描述子包括:
通过构建所述高斯融合图像的Hessian矩阵得到所述高斯融合图像的高斯金字塔;
在高斯金字塔中定位特征子和所述特征子的主方向;
根据所述特征子的主方向生成特征子的描述子。
4.根据权利要求1所述的重复视频检测方法,其特征在于,所述选举不同视频之间的描述子相近的匹配特征子,使用K近邻方法进行选举。
5.根据权利要求1所述的重复视频检测方法,其特征在于,所述对所述匹配特征子所对应的高斯融合图像进行余弦相似度判断,得到所述不同视频之间的相似度包括:
确定两个高斯融合图像之间的多个匹配特征子之间的余弦相似度;
根据所述多个匹配特征子之间的余弦相似度确定所述多个匹配特征子对应的两个高斯融合图像之间的平均余弦相似度;
对所述平均余弦相似度进行高斯加权,得到所述两个视频之间的相似度。
6.一种重复视频检测系统,包括:
高斯融合单元,其用于采集所有待检测视频的关键帧和与所述关键帧相对应的邻近帧,并确定高斯融合图像;
特征子捕获单元,其用于确定所述高斯融合图像的特征子的描述子;
匹配特征子捕获单元,其用于选举不同视频之间的描述子相近的匹配特征子;
相似度计算单元,其用于对所述匹配特征子所对应的高斯融合图像进行余弦相似度判断,得到所述不同视频之间的相似度;
重复判定单元,其用于根据所述不同视频之间的相似度与预设阈值之间的大小判断视频是否重复。
7.根据权利要求6所述的重复视频检测系统,其特征在于,所述高斯融合单元包括:
帧爬取单元,其用于爬取所述待检测视频的多个关键帧,以及爬取每个所述关键帧的多个邻近帧;
高斯融合图像生成单元,其用于根据所述多个邻近帧及相对应的关键帧确定所述关键帧的高斯融合图像。
8.根据权利要求6所述的重复视频检测系统,其特征在于,所述特征子捕获单元包括:
高斯金字塔生成单元,其用于通过构建所述高斯融合图像的Hessian矩阵得到所述高斯融合图像的高斯金字塔;
特征子主方向确定单元,其用于在高斯金字塔中定位特征子和所述特征子的主方向;
描述子确定单元,其用于根据所述特征子的主方向生成特征子的描述子。
9.根据权利要求6所述的重复视频检测方法,其特征在于,所述选举不同视频之间的描述子相近的匹配特征子,使用K近邻方法进行选举。
10.根据权利要求6所述的重复视频检测系统,其特征在于,所述相似度计算单元包括:
匹配特征子相似度确定单元,其用于确定两个高斯融合图像之间的多个匹配特征子之间的余弦相似度;
高斯融合图像相似度确定单元,其用于根据所述多个匹配特征子之间的余弦相似度确定所述多个匹配特征子对应的两个高斯融合图像之间的平均余弦相似度;
视频相似度确定单元,其用于对所述平均余弦相似度进行高斯加权,得到所述两个视频之间的相似度。
CN201510771736.3A 2015-11-12 2015-11-12 重复视频检测方法和系统 Pending CN105893405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510771736.3A CN105893405A (zh) 2015-11-12 2015-11-12 重复视频检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510771736.3A CN105893405A (zh) 2015-11-12 2015-11-12 重复视频检测方法和系统

Publications (1)

Publication Number Publication Date
CN105893405A true CN105893405A (zh) 2016-08-24

Family

ID=57002306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510771736.3A Pending CN105893405A (zh) 2015-11-12 2015-11-12 重复视频检测方法和系统

Country Status (1)

Country Link
CN (1) CN105893405A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801091A (zh) * 2016-09-05 2018-03-13 工业和信息化部电信研究院 一种视频文件相似性识别方法和装置
CN109189991A (zh) * 2018-08-17 2019-01-11 百度在线网络技术(北京)有限公司 重复视频识别方法、装置、终端及计算机可读存储介质
CN109522451A (zh) * 2018-12-13 2019-03-26 连尚(新昌)网络科技有限公司 重复视频检测方法和装置
WO2019184522A1 (zh) * 2018-03-29 2019-10-03 北京字节跳动网络技术有限公司 一种重复视频的判断方法及装置
CN110781711A (zh) * 2019-01-21 2020-02-11 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN111212322A (zh) * 2020-01-15 2020-05-29 济南浪潮高新科技投资发展有限公司 一种基于多视频去重拼接的视频压缩方法
CN112306885A (zh) * 2020-11-11 2021-02-02 天津汇商共达科技有限责任公司 一种脚本调试的方法及装置
CN112866800A (zh) * 2020-12-31 2021-05-28 四川金熊猫新媒体有限公司 视频内容相似性检测方法、装置、设备及存储介质
CN113255625A (zh) * 2021-07-14 2021-08-13 腾讯科技(深圳)有限公司 一种视频检测方法、装置、电子设备和存储介质
CN116887010A (zh) * 2023-05-08 2023-10-13 武汉精阅数字传媒科技有限公司 一种自媒体短视频素材加工控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682298A (zh) * 2012-04-28 2012-09-19 聂秀山 基于图建模的视频指纹方法
CN102917227A (zh) * 2012-10-29 2013-02-06 山东省计算中心 基于压缩感知的自适应视频信息隐藏方法
CN103546667A (zh) * 2013-10-24 2014-01-29 中国科学院自动化研究所 一种面向海量广播电视监管的自动新闻拆条方法
US20150032719A1 (en) * 2008-06-05 2015-01-29 Enpulz, L.L.C. Search system employing multiple image based search processing approaches
US20150227796A1 (en) * 2014-02-10 2015-08-13 Geenee UG (haftungsbeschraenkt) Systems and methods for image-feature-based recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150032719A1 (en) * 2008-06-05 2015-01-29 Enpulz, L.L.C. Search system employing multiple image based search processing approaches
CN102682298A (zh) * 2012-04-28 2012-09-19 聂秀山 基于图建模的视频指纹方法
CN102917227A (zh) * 2012-10-29 2013-02-06 山东省计算中心 基于压缩感知的自适应视频信息隐藏方法
CN103546667A (zh) * 2013-10-24 2014-01-29 中国科学院自动化研究所 一种面向海量广播电视监管的自动新闻拆条方法
US20150227796A1 (en) * 2014-02-10 2015-08-13 Geenee UG (haftungsbeschraenkt) Systems and methods for image-feature-based recognition

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801091B (zh) * 2016-09-05 2020-06-19 工业和信息化部电信研究院 一种视频文件相似性识别方法和装置
CN107801091A (zh) * 2016-09-05 2018-03-13 工业和信息化部电信研究院 一种视频文件相似性识别方法和装置
US11265598B2 (en) 2018-03-29 2022-03-01 Seijing Bytedance Network Technology Co., Ltd. Method and device for determining duplicate video
WO2019184522A1 (zh) * 2018-03-29 2019-10-03 北京字节跳动网络技术有限公司 一种重复视频的判断方法及装置
CN110324660A (zh) * 2018-03-29 2019-10-11 北京字节跳动网络技术有限公司 一种重复视频的判断方法及装置
CN109189991A (zh) * 2018-08-17 2019-01-11 百度在线网络技术(北京)有限公司 重复视频识别方法、装置、终端及计算机可读存储介质
CN109189991B (zh) * 2018-08-17 2021-06-08 百度在线网络技术(北京)有限公司 重复视频识别方法、装置、终端及计算机可读存储介质
CN109522451A (zh) * 2018-12-13 2019-03-26 连尚(新昌)网络科技有限公司 重复视频检测方法和装置
CN109522451B (zh) * 2018-12-13 2024-02-27 连尚(新昌)网络科技有限公司 重复视频检测方法和装置
CN110781711A (zh) * 2019-01-21 2020-02-11 北京嘀嘀无限科技发展有限公司 目标对象识别方法、装置、电子设备及存储介质
CN111212322A (zh) * 2020-01-15 2020-05-29 济南浪潮高新科技投资发展有限公司 一种基于多视频去重拼接的视频压缩方法
CN112306885A (zh) * 2020-11-11 2021-02-02 天津汇商共达科技有限责任公司 一种脚本调试的方法及装置
CN112866800A (zh) * 2020-12-31 2021-05-28 四川金熊猫新媒体有限公司 视频内容相似性检测方法、装置、设备及存储介质
CN113255625B (zh) * 2021-07-14 2021-11-05 腾讯科技(深圳)有限公司 一种视频检测方法、装置、电子设备和存储介质
CN113255625A (zh) * 2021-07-14 2021-08-13 腾讯科技(深圳)有限公司 一种视频检测方法、装置、电子设备和存储介质
CN116887010A (zh) * 2023-05-08 2023-10-13 武汉精阅数字传媒科技有限公司 一种自媒体短视频素材加工控制系统
CN116887010B (zh) * 2023-05-08 2024-02-02 杭州元媒科技有限公司 一种自媒体短视频素材加工控制系统

Similar Documents

Publication Publication Date Title
CN105893405A (zh) 重复视频检测方法和系统
Kwon et al. Learning jpeg compression artifacts for image manipulation detection and localization
Ye et al. Robust registration of multimodal remote sensing images based on structural similarity
Wang et al. Detection and localization of image forgeries using improved mask regional convolutional neural network
Hou et al. Image signature: Highlighting sparse salient regions
US8031947B2 (en) Method and system for rapid matching of video streams
KR101303124B1 (ko) 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법
KR101506060B1 (ko) 이미지 식별용 특징-기반 시그네처
Qu et al. Detect digital image splicing with visual cues
CN104517104A (zh) 一种基于监控场景下的人脸识别方法及系统
CN102713938A (zh) 用于均匀和非均匀照明变化中的改善的特征检测的尺度空间正规化技术
CN108416343B (zh) 一种人脸图像识别方法及装置
CN102495998B (zh) 基于视觉选择性注意计算模型的静态目标检测方法
Lee et al. Skewed rotation symmetry group detection
US11816946B2 (en) Image based novelty detection of material samples
KR101191516B1 (ko) 향상된 이미지 식별
Park et al. Rotation and scale invariant upsampled log-polar fourier descriptor for copy-move forgery detection
US20110286670A1 (en) Image processing apparatus, processing method therefor, and non-transitory computer-readable storage medium
Siddiqi et al. Image Splicing‐Based Forgery Detection Using Discrete Wavelet Transform and Edge Weighted Local Binary Patterns
Li et al. Infrared and visible image fusion using a shallow CNN and structural similarity constraint
Bi et al. Multi-task wavelet corrected network for image splicing forgery detection and localization
Marra et al. Counter-forensics in machine learning based forgery detection
Brogan et al. Spotting the difference: Context retrieval and analysis for improved forgery detection and localization
He et al. Image processing design and algorithm research based on cloud computing
Fang et al. Attacking image splicing detection and localization algorithms using synthetic traces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160824