CN109189991A - 重复视频识别方法、装置、终端及计算机可读存储介质 - Google Patents
重复视频识别方法、装置、终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109189991A CN109189991A CN201810940302.5A CN201810940302A CN109189991A CN 109189991 A CN109189991 A CN 109189991A CN 201810940302 A CN201810940302 A CN 201810940302A CN 109189991 A CN109189991 A CN 109189991A
- Authority
- CN
- China
- Prior art keywords
- video
- key frame
- similarity
- identified
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种重复视频识别方法、装置和终端,所述方法包括:提取待识别视频的关键帧;根据待识别视频的关键帧提取视觉特征向量,视觉特征向量包括多个视觉特征值;从关键帧图像检索库中获取与视觉特征值对应的已存储视频的关键帧;根据待识别视频的关键帧和已存储视频的关键帧计算待识别视频和已存储视频之间的视频相似度;根据视频相似度确认待识别视频与已存储视频是否为重复视频。避免了大量视频之间进行两两的关键帧序列相似度计算的繁琐过程,提升了视频重复检测的时间效率,同时提高视频重复检测的召回率和准确率。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种重复视频识别方法、装置以及终端。
背景技术
在传统的视频重复识别方法中,通常通过计算视频之间按照时间顺序排列的关键帧相似度来判定视频之间的相似度,从而判断视频是否重复。然而,关键帧相似度的计算往往采用直接比对签名是否相等、或者是从不同维度,用多个高维向量去标示一个图像,然后降维映射成一个定长的字符串,两两比较的时候,计算字符串的距离,再结合阈值,去判断两个图像是否相似。该方法计算粒度粗糙,并且需要针对全部视频进行两两交叉计算,时间消耗随视频数量增加呈指数级增长,无法适应大规模视频重复检测的问题,也无法满足大规模商业化的需求。
发明内容
本发明实施例提供一种重复视频识别方法、装置以及终端,以至少解决现有技术中的以上技术问题。
第一方面,本发明实施例提供了一种重复视频识别方法,包括:
提取待识别视频的关键帧;
根据所述待识别视频的关键帧提取视觉特征向量,所述视觉特征向量包括多个视觉特征值;
从关键帧图像检索库中获取与所述视觉特征值对应的已存储视频的关键帧;
根据所述待识别视频的关键帧和所述已存储视频的关键帧计算所述待识别视频和所述已存储视频之间的视频相似度;
根据所述视频相似度确认所述待识别视频与所述已存储视频是否为重复视频。
结合第一方面,本发明在第一方面的第一种实施方式中,从关键帧图像检索库中获取与所述视觉特征值对应的已存储视频的关键帧,包括:
按照视频内容特征对关键帧图像检索库中的所述已存储视频的关键帧进行分类,生成关键帧特征簇;
根据所述视觉特征值检索对应的所述视频内容特征,得到对应的所述关键帧特征簇;
在所述关键帧特征簇中,查找与所述视觉特征值对应的所述已存储视频的关键帧。
结合第一方面,本发明在第一方面的第二种实施方式中,根据所述待识别视频的关键帧和所述已存储视频的关键帧计算所述待识别视频和所述已存储视频之间的视频相似度,包括:
建立所述待识别视频和所述已存储视频之间的关键帧相似度矩阵;
根据所述关键帧相似度矩阵计算所述待识别视频和所述已存储视频之间的视频相似度。
结合第一方面的第二种实施方式,本发明在第三种实施方式中,根据所述关键帧相似度矩阵计算所述目标视频和所述待识别视频之间的视频相似度,包括:
根据所述关键帧相似度矩阵拟合所述目标视频的关键帧序列和所述待识别视频的关键帧序列之间的公共相似序列;
所述公共相似序列与所述目标视频的关键帧序列之比得到序列占比;
根据所述目标视频的内容描述文本与所述待识别视频的内容描述文本,计算得到文本相似度;
根据所述目标视频时长和所述待识别视频时长,计算得到视频时长相似度;
根据所述公共相似序列、所述序列占比、所述文本相似度以及所述视频时长相似度得到所述视频相似度。
结合第一方面或其任意一种实施方式,本发明在第一方面的第四种实施方式中,根据所述视频相似度确认所述待识别视频与所述已存储视频是否为重复视频,包括:
判断所述视频相似度是否大于相似度阈值;
若是,则确认所述待识别视频与所述已存储视频为重复视频。
第二方面,本发明实施例提供了一种重复视频识别装置,包括:
关键帧提取模块,用于提取待识别视频的关键帧;
视觉特征提取模块,用于根据所述待识别视频的关键帧提取视觉特征向量,所述视觉特征向量包括多个视觉特征值;
关键帧检索模块,用于从关键帧图像检索库中获取与所述视觉特征值对应的已存储视频的关键帧;
相似度计算模块,用于根据所述待识别视频的关键帧和所述已存储视频的关键帧计算所述待识别视频和所述已存储视频之间的视频相似度;
重复视频判断模块,用于根据所述视频相似度确认所述待识别视频与所述已存储视频是否为重复视频。
结合第二方面,本发明在第二方面的第一种实施方式中,所述关键帧检索模块包括:
关键帧分类单元,用于按照视频内容特征对关键帧图像检索库中的所述已存储视频的关键帧进行分类,生成关键帧特征簇;
特征检索单元,用于根据所述视觉特征值检索对应的所述视频内容特征,得到对应的所述关键帧特征簇;
关键帧查找单元,用于在所述关键帧特征簇中,查找与所述视觉特征值对应的所述已存储视频的关键帧。
结合第二方面,本发明在第二方面的第二种实施方式中,所述相似度计算模块包括:
关键帧相似度矩阵建立单元,用于建立所述待识别视频和所述已存储视频之间的关键帧相似度矩阵;
视频相似度计算单元,用于根据所述关键帧相似度矩阵计算所述待识别视频和所述已存储视频之间的视频相似度。
结合第二方面的第二种实施方式中,本发明在第四种实施方式中,所述视频相似度计算单元包括:
公共相似序列拟合子单元,用于根据所述关键帧相似度矩阵拟合所述目标视频的关键帧序列和所述待识别视频的关键帧序列之间的公共相似序列;
序列占比计算子单元,用于所述公共相似序列与所述目标视频的关键帧序列之比得到序列占比;
文本相似度计算子单元,用于根据所述目标视频的内容描述文本与所述待识别视频的内容描述文本,计算得到文本相似度;
视频时长相似度计算子单元,用于根据所述目标视频时长和所述待识别视频时长,计算得到视频时长相似度;
视频相似度计算子单元,用于根据所述公共相似序列、所述序列占比、所述文本相似度以及所述视频时长相似度得到所述视频相似度。
第三方面,本发明实施例提供了一种重复视频识别终端,包括处理器和存储器,所述存储器用于存储支持重复视频识别装置执行上述第一方面中重复视频识别方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述终端还可以包括通信接口,用于所述终端与其他设备或通信网络通信。
所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面,本发明实施例提供了一种计算机可读存储介质,用于重复视频识别装置所用的计算机软件指令,其包括用于执行上述第一方面中重复视频识别方法为重复视频识别装置所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果:本方案中,在待识别视频的关键帧中提取基于对视频内容的视觉特征向量,并利用视觉特征向量在包含有已存储视频的关键帧的关键帧图像检索库中进行检索,检索出来的已存储视频的关键帧和待识别视频的关键帧计算视频相似度。这样,避免了大量视频之间进行两两的关键帧序列相似度计算的繁琐过程,提升了视频重复检测的时间效率。同时,基于视频内容的检索不仅提高视频重复检测的召回率,HIA提高了视频重复检测的准确率。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1为本发明实施例提供的重复视频识别方法步骤流程示意图;
图2为本发明实施例提供的重复视频识别方法中每个步骤中相对应的计算方法示意图;
图3为本发明实施例提供的关键帧图像检索库检索优化图;
图4为本发明实施例提供的重复视频识别装置结构框图;
图5为本发明实施例提供的重复视频识别终端结构示意图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
实施例一
在一种具体的实施方式中,提供了一种重复视频识别方法,如图1和图2所示,包括:
步骤S100:提取待识别视频的关键帧。
首先,对待识别视频进行精细化切帧处理,分割为连续帧。接着,利用基于图像突变的关键帧提取方法,在连续帧中选择图像内容的变化大于突变阈值的帧作为待识别视频的关键帧。例如,提取出来第一关键帧、第二关键帧、第三关键帧等。最后,将提取的所有关键帧组成待识别视频的关键帧序列。需要说明的是,可以将待识别视频的时间序列分割为多个连续分布的时间区间,从每个时间区间中均提取一帧作为关键帧。例如,在5秒的时间区间中,即使其中并没有变化很明显的帧,也可以强制取一帧作为待识别视频的关键帧,从而保证待识别视频的关键帧序列的均匀分布。
步骤S200:根据待识别视频的关键帧提取视觉特征向量,视觉特征向量包括多个视觉特征值。
分别从每一个待识别视频的关键帧中提取视觉特征向量。视觉特征向量中可以包括多个视觉特征值。视觉特征值可以包括颜色特征、纹理特征以及语义特征等,可以利用具体的数据来表达颜色、纹理以及语义等。
步骤S300:从关键帧图像检索库中获取与视觉特征值对应的已存储视频的关键帧。
关键帧图像检索库中包括多个已存储视频,例如A视频、B视频、C视频等。对每个已存储视频进行切帧处理,并提取关键帧,得到已存储视频的关键帧。例如A视频对应A1关键帧、A2关键帧、A3关键帧等,B视频对应B1关键帧、B2关键帧、B3关键帧等,C视频对应C1关键帧、C2关键帧、C3关键帧等。上述每个视频对应的所有关键帧构成关键帧序列。
待识别视频中的视觉特征值可以包括表示颜色特征的数据、表示纹理特征的数据以及表示语义特征的数据等。根据每个视觉特征值在关键帧图像检索库中的各个已存储视频对应的关键帧中检索。例如,从待识别视频的第一关键帧提取出来颜色特征值(即颜色特征的数据)。根据颜色特征值在关键帧图像检索库检索出来的关键帧可能包括A视频中的A2关键帧、B视频中的B1关键帧、C视频中的C3关键帧。因此,第一关键帧中的颜色特征值对应的关键帧集合为:{A2、B1、C3}。同理,继续检索第一关键帧中的其它视觉特征值,每个视觉特征值对应一个已存储关键帧集合。同理,根据第二关键帧中的所有视觉特征值检索得到第二关键帧对应的已存储关键帧集合。
步骤S400:根据待识别视频的关键帧和已存储视频的关键帧计算待识别视频和已存储视频之间的视频相似度。
根据步骤S300检索结果,计算得到待识别视频的关键帧和已存储视频如A视频、B视频、C视频等对应的关键帧之间的相似度,进而构成每个视觉特征值对应的关键帧相似度矩阵(也可以称为视觉相似矩阵)。根据视觉相似矩阵进一步计算得到待识别视频和已存储视频之间的视频相似度。
步骤S500:根据视频相似度确认待识别视频与已存储视频是否为重复视频。
判断是否为重复视频的方式可以包括比较视频相似度和已有的相似度阈值的大小。例如,如果待识别视频与已存储视频的视频相似度大于相似度阈值,待识别视频与已存储视频为重复视频。当然,判断是否为重复视频的方式有多种,包括但不限于上述方式,均在本实施例的保护范围内。
在一种实施方式中,从关键帧图像检索库中获取与视觉特征值对应的已存储视频的关键帧,包括:
按照视频内容特征对关键帧图像检索库中的已存储视频的关键帧进行分类,生成关键帧特征簇;
根据视觉特征值检索对应的视频内容特征,得到对应的关键帧特征簇;
在关键帧特征簇中,查找与视觉特征值对应的已存储视频的关键帧。
为了对检索进行优化,本实施方式中可以先对已存储视频的关键帧进行分类,便于索引。分类的依据包括视频内容特征,便于组织索引。视频内容特征包括:已存储视频的关键帧所在的视频的时长,例如,时长小于1分钟、时长在1到3分钟之间、以及时长在3到7分钟之间等;视频的主题分类,例如,描述视频的关键词、核心主题对应的分类(娱乐、新闻、体育、知识、游戏等等);以及已存储视频的关键帧的人工可辨认的颜色特征、纹理特征以及语义内容等。每一个类别下,已存储视频的关键帧构成一个符合此类别的关键帧集合,即为关键帧特征簇。
为了便于理解,举例说明。如图3所示,如果没有时长信息等视频内容特征,待识别视频的关键帧需要分别遍历关键帧图像检索库中第一索引库、第二索引库以及第三索引库中的已存储视频的关键帧,耗时耗力。为了便于索引,本实施例建立了视频内容特征为视频时长的关键帧特征簇,即建立了基于视频内容特征的关键帧索引。结合时长信息后,就可以做相应的检索调度:对于视觉特征值是所属视频时长为50s,只需要在检索1分钟以内的视频关键帧特征簇中进行检索即可;同理,待识别视频关键帧所属视频的时长在1-3分钟之间或3-7分钟之间,也只需要在相应的视频关键帧特征簇中进行检索即可。由于检索请求会落到关键帧图像检索库中部分视频关键帧特征簇中,增大了检索的并发程度,从而提高检索系统的处理能力。
以视频内容特征对关键帧图像检索库中的已存储视频的关键帧进行有效分拆组织,并在检索时基于视频内容特征做调度,以提高检索系统的处理能力。随着移动互联网的迅速、蓬勃发展,出现了大量的小视频应用(抖音、快手等等),也随之出现了大量的短于30秒的视频资源。在这样的场景下,除了前述实施例中提到的视频内容特征是时长信息的情况,还可以结合视频分类(例如,娱乐类的视频、知识类的视频等)、视频内容风格(类似滤镜的颜色、纹理等,例如,视觉鲜艳的视频、视觉阴暗的视频等)。因此,基于视频内容特征的检索调度,可以针对性只检索部分索引,初步定位到视频关键帧特征簇中,在特征簇中继续查找与视觉特征值对应的已存储视频的关键帧。
在一种实施方式中,根据待识别视频的关键帧和已存储视频的关键帧计算待识别视频和已存储视频之间的视频相似度,包括:
建立待识别视频和已存储视频之间的关键帧相似度矩阵;
根据关键帧相似度矩阵计算待识别视频和已存储视频之间的视频相似度。
在上一实施方式中,由于已经得到待识别视频的关键帧和已存储视频的关键帧,为了减少冗余的计算,首先对已存储视频的关键帧进行分类,查找关键帧特征簇,在关键帧特征簇中检索相关的已存储视频的关键帧。基于上一实施方式的情况下,计算查到的关键帧特征簇中的已存储视频的关键帧与待识别视频的关键帧之间的相似度,构成各个视觉特征值对应的关键帧相似度矩阵。
在一种实施方式中,根据关键帧相似度矩阵计算目标视频和待识别视频之间的视频相似度,包括:
根据关键帧相似度矩阵拟合目标视频的关键帧序列和待识别视频的关键帧序列之间的公共相似序列;
公共相似序列与目标视频的关键帧序列之比得到序列占比;
根据目标视频的内容描述文本与待识别视频的内容描述文本,计算得到文本相似度;
根据目标视频时长和待识别视频时长,计算得到视频时长相似度;
根据公共相似序列、序列占比、文本相似度以及视频时长相似度得到视频相似度。
在一种实施方式中,根据视频相似度确认待识别视频与已存储视频是否为重复视频,包括:
判断视频相似度是否大于相似度阈值;
若是,则确认待识别视频与已存储视频为重复视频。
需要指出的是,相似度阈值的选取根据实际情况进行调整,均在本实施例的保护范围内。
实施例二
在另一种具体的实施方式中,提供了一种重复视频识别装置,如图4所示,包括:
关键帧提取模块10,用于提取待识别视频的关键帧;
视觉特征提取模块20,用于根据所述待识别视频的关键帧提取视觉特征向量,所述视觉特征向量包括多个视觉特征值;
关键帧检索模块30,用于从关键帧图像检索库中获取与所述视觉特征值对应的已存储视频的关键帧;
相似度计算模块40,用于根据所述待识别视频的关键帧和所述已存储视频的关键帧计算所述待识别视频和所述已存储视频之间的视频相似度;
重复视频判断模块50,用于根据所述视频相似度确认所述待识别视频与所述已存储视频是否为重复视频。
在一种实施方式中,所述关键帧检索模块包括:
关键帧分类单元,用于按照视频内容特征对关键帧图像检索库中的所述已存储视频的关键帧进行分类,生成关键帧特征簇;
特征检索单元,用于根据所述视觉特征值检索对应的所述视频内容特征,得到对应的所述关键帧特征簇;
关键帧查找单元,用于在所述关键帧特征簇中,查找与所述视觉特征值对应的所述已存储视频的关键帧。
在一种实施方式中,所述相似度计算模块,包括:
关键帧相似度矩阵建立单元,用于建立所述待识别视频和所述已存储视频之间的关键帧相似度矩阵;
视频相似度计算单元,用于根据所述关键帧相似度矩阵计算所述待识别视频和所述已存储视频之间的视频相似度。
在一种实施方式中,所述视频相似度计算单元,包括:
公共相似序列拟合子单元,用于根据所述关键帧相似度矩阵拟合所述目标视频的关键帧序列和所述待识别视频的关键帧序列之间的公共相似序列;
序列占比计算子单元,用于所述公共相似序列与所述目标视频的关键帧序列之比得到序列占比;
文本相似度计算子单元,用于根据所述目标视频的内容描述文本与所述待识别视频的内容描述文本,计算得到文本相似度;
视频时长相似度计算子单元,用于根据所述目标视频时长和所述待识别视频时长,计算得到视频时长相似度;
视频相似度计算子单元,用于根据所述公共相似序列、所述序列占比、所述文本相似度以及所述视频时长相似度得到所述视频相似度。
实施例三
本发明实施例提供了一种重复视频识别终端,如图5所示,包括:
存储器400和处理器500,存储器400内存储有可在处理器500上运行的计算机程序。处理器500执行所述计算机程序时实现上述实施例中的重复视频识别方法。存储器400和处理器500的数量可以为一个或多个。
通信接口600,用于存储器400和处理器500与外部进行通信。
存储器400可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器400、处理器500以及通信接口600独立实现,则存储器400、处理器500以及通信接口600可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,PeripheralComponent)总线或扩展工业标准体系结构(EISA,Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器400、处理器500以及通信接口600集成在一块芯片上,则存储器400、处理器500及通信接口600可以通过内部接口完成相互间的通信。
实施例四
一种计算机可读存储介质,其存储有计算机程序,所述程序被处理器执行时实现如实施例一包括的任一所述的重复视频识别方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种重复视频识别方法,其特征在于,包括:
提取待识别视频的关键帧;
根据所述待识别视频的关键帧提取视觉特征向量,所述视觉特征向量包括多个视觉特征值;
从关键帧图像检索库中获取与所述视觉特征值对应的已存储视频的关键帧;
根据所述待识别视频的关键帧和所述已存储视频的关键帧计算所述待识别视频和所述已存储视频之间的视频相似度;
根据所述视频相似度确认所述待识别视频与所述已存储视频是否为重复视频。
2.如权利要求1所述的重复视频识别方法,其特征在于,从关键帧图像检索库中获取与所述视觉特征值对应的已存储视频的关键帧,包括:
按照视频内容特征对关键帧图像检索库中的所述已存储视频的关键帧进行分类,生成关键帧特征簇;
根据所述视觉特征值检索对应的所述视频内容特征,得到对应的所述关键帧特征簇;
在所述关键帧特征簇中,查找与所述视觉特征值对应的所述已存储视频的关键帧。
3.如权利要求1所述的重复视频识别方法,其特征在于,根据所述待识别视频的关键帧和所述已存储视频的关键帧计算所述待识别视频和所述已存储视频之间的视频相似度,包括:
建立所述待识别视频和所述已存储视频之间的关键帧相似度矩阵;
根据所述关键帧相似度矩阵计算所述待识别视频和所述已存储视频之间的视频相似度。
4.如权利要求3所述的重复视频识别方法,其特征在于,根据所述关键帧相似度矩阵计算所述目标视频和所述待识别视频之间的视频相似度,包括:
根据所述关键帧相似度矩阵拟合所述目标视频的关键帧序列和所述待识别视频的关键帧序列之间的公共相似序列;
所述公共相似序列与所述目标视频的关键帧序列之比得到序列占比;
根据所述目标视频的内容描述文本与所述待识别视频的内容描述文本,计算得到文本相似度;
根据所述目标视频时长和所述待识别视频时长,计算得到视频时长相似度;
根据所述公共相似序列、所述序列占比、所述文本相似度以及所述视频时长相似度得到所述视频相似度。
5.如权利要求1至4中任一项所述的重复视频识别方法,其特征在于,根据所述视频相似度确认所述待识别视频与所述已存储视频是否为重复视频,包括:
判断所述视频相似度是否大于相似度阈值;
若是,则确认所述待识别视频与所述已存储视频为重复视频。
6.一种重复视频识别装置,其特征在于,包括:
关键帧提取模块,用于提取待识别视频的关键帧;
视觉特征提取模块,用于根据所述待识别视频的关键帧提取视觉特征向量,所述视觉特征向量包括多个视觉特征值;
关键帧检索模块,用于从关键帧图像检索库中获取与所述视觉特征值对应的已存储视频的关键帧;
相似度计算模块,用于根据所述待识别视频的关键帧和所述已存储视频的关键帧计算所述待识别视频和所述已存储视频之间的视频相似度;
重复视频判断模块,用于根据所述视频相似度确认所述待识别视频与所述已存储视频是否为重复视频。
7.如权利要求6所述的重复视频识别装置,其特征在于,所述关键帧检索模块包括:
关键帧分类单元,用于按照视频内容特征对关键帧图像检索库中的所述已存储视频的关键帧进行分类,生成关键帧特征簇;
特征检索单元,用于根据所述视觉特征值检索对应的所述视频内容特征,得到对应的所述关键帧特征簇;
关键帧查找单元,用于在所述关键帧特征簇中,查找与所述视觉特征值对应的所述已存储视频的关键帧。
8.如权利要求6所述的重复视频识别装置,其特征在于,所述相似度计算模块包括:
关键帧相似度矩阵建立单元,用于建立所述待识别视频和所述已存储视频之间的关键帧相似度矩阵;
视频相似度计算单元,用于根据所述关键帧相似度矩阵计算所述待识别视频和所述已存储视频之间的视频相似度。
9.如权利要求8所述的重复视频识别装置,其特征在于,所述视频相似度计算单元包括:
公共相似序列拟合子单元,用于根据所述关键帧相似度矩阵拟合所述目标视频的关键帧序列和所述待识别视频的关键帧序列之间的公共相似序列;
序列占比计算子单元,用于所述公共相似序列与所述目标视频的关键帧序列之比得到序列占比;
文本相似度计算子单元,用于根据所述目标视频的内容描述文本与所述待识别视频的内容描述文本,计算得到文本相似度;
视频时长相似度计算子单元,用于根据所述目标视频时长和所述待识别视频时长,计算得到视频时长相似度;
视频相似度计算子单元,用于根据所述公共相似序列、所述序列占比、所述文本相似度以及所述视频时长相似度得到所述视频相似度。
10.一种重复视频识别终端,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
11.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810940302.5A CN109189991B (zh) | 2018-08-17 | 2018-08-17 | 重复视频识别方法、装置、终端及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810940302.5A CN109189991B (zh) | 2018-08-17 | 2018-08-17 | 重复视频识别方法、装置、终端及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109189991A true CN109189991A (zh) | 2019-01-11 |
CN109189991B CN109189991B (zh) | 2021-06-08 |
Family
ID=64918197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810940302.5A Active CN109189991B (zh) | 2018-08-17 | 2018-08-17 | 重复视频识别方法、装置、终端及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109189991B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321958A (zh) * | 2019-07-08 | 2019-10-11 | 北京字节跳动网络技术有限公司 | 神经网络模型的训练方法、视频相似度确定方法 |
CN110490119A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 重复视频标记方法、装置和计算机可读存储介质 |
CN110781859A (zh) * | 2019-11-05 | 2020-02-11 | 深圳奇迹智慧网络有限公司 | 图像标注方法、装置、计算机设备和存储介质 |
CN111212322A (zh) * | 2020-01-15 | 2020-05-29 | 济南浪潮高新科技投资发展有限公司 | 一种基于多视频去重拼接的视频压缩方法 |
CN111241344A (zh) * | 2020-01-14 | 2020-06-05 | 新华智云科技有限公司 | 视频查重方法、系统、服务器及存储介质 |
CN111356015A (zh) * | 2020-02-25 | 2020-06-30 | 北京奇艺世纪科技有限公司 | 重复视频检测方法、装置、计算机设备和存储介质 |
CN111400546A (zh) * | 2020-03-18 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 一种视频召回方法、视频推荐方法及装置 |
CN111935506A (zh) * | 2020-08-19 | 2020-11-13 | 百度时代网络技术(北京)有限公司 | 用于确定重复视频帧的方法和装置 |
WO2021007846A1 (zh) * | 2019-07-18 | 2021-01-21 | 华为技术有限公司 | 一种视频相似检测的方法、装置及设备 |
CN112291634A (zh) * | 2019-07-25 | 2021-01-29 | 腾讯科技(深圳)有限公司 | 视频处理方法及装置 |
CN112434185A (zh) * | 2020-10-26 | 2021-03-02 | 国家广播电视总局广播电视规划院 | 一种查找相似视频片段的方法、系统、服务器及存储介质 |
CN112468843A (zh) * | 2020-10-26 | 2021-03-09 | 国家广播电视总局广播电视规划院 | 视频去重方法及装置 |
CN112653928A (zh) * | 2020-12-04 | 2021-04-13 | 苏州浪潮智能科技有限公司 | 一种基于内容相同的视频过滤方法、系统及设备 |
CN112668528A (zh) * | 2020-12-30 | 2021-04-16 | 咪咕文化科技有限公司 | 视频拷贝检测方法、装置、电子设备和存储介质 |
CN112836600A (zh) * | 2021-01-19 | 2021-05-25 | 新华智云科技有限公司 | 一种视频相似度的计算方法与系统 |
CN112866800A (zh) * | 2020-12-31 | 2021-05-28 | 四川金熊猫新媒体有限公司 | 视频内容相似性检测方法、装置、设备及存储介质 |
CN113065025A (zh) * | 2021-03-31 | 2021-07-02 | 厦门美图之家科技有限公司 | 视频查重方法、装置、设备及存储介质 |
CN113283351A (zh) * | 2021-05-31 | 2021-08-20 | 深圳神目信息技术有限公司 | 一种使用cnn优化相似度矩阵的视频抄袭检测方法 |
CN113360709A (zh) * | 2021-05-28 | 2021-09-07 | 维沃移动通信(杭州)有限公司 | 短视频侵权风险的检测方法、装置和电子设备 |
CN113722543A (zh) * | 2021-09-14 | 2021-11-30 | 图灵创智(北京)科技有限公司 | 一种视频相似性比对方法、系统及设备 |
CN113886632A (zh) * | 2021-12-03 | 2022-01-04 | 杭州并坚科技有限公司 | 一种基于动态规划的视频检索匹配方法 |
CN114267001A (zh) * | 2022-03-01 | 2022-04-01 | 北京华育启智科技有限公司 | 视觉识别系统 |
CN116628265A (zh) * | 2023-07-25 | 2023-08-22 | 北京天平地成信息技术服务有限公司 | Vr内容管理方法、管理平台、管理设备和计算机存储介质 |
CN117112815A (zh) * | 2023-06-06 | 2023-11-24 | 青岛尘元科技信息有限公司 | 个人关注视频事件检索方法和系统、存储介质及电子设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1851710A (zh) * | 2006-05-25 | 2006-10-25 | 浙江大学 | 嵌入式多媒体基于关键帧的视频检索的实现方法 |
US20090052784A1 (en) * | 2007-08-22 | 2009-02-26 | Michele Covell | Detection And Classification Of Matches Between Time-Based Media |
CN101650740A (zh) * | 2009-08-27 | 2010-02-17 | 中国科学技术大学 | 一种电视广告检测方法及装置 |
US20110208744A1 (en) * | 2010-02-24 | 2011-08-25 | Sapna Chandiramani | Methods for detecting and removing duplicates in video search results |
CN103617233A (zh) * | 2013-11-26 | 2014-03-05 | 烟台中科网络技术研究所 | 一种基于语义内容多层表示的重复视频检测方法与装置 |
CN103631932A (zh) * | 2013-12-06 | 2014-03-12 | 中国科学院自动化研究所 | 一种对重复视频进行检测的方法 |
US20150332124A1 (en) * | 2011-06-20 | 2015-11-19 | Microsoft Technology Licensing, Llc | Near-duplicate video retrieval |
CN105468755A (zh) * | 2015-11-27 | 2016-04-06 | 东方网力科技股份有限公司 | 一种视频筛选存储方法和装置 |
CN105893405A (zh) * | 2015-11-12 | 2016-08-24 | 乐视云计算有限公司 | 重复视频检测方法和系统 |
CN106548118A (zh) * | 2015-09-23 | 2017-03-29 | 北京丰源星际传媒科技有限公司 | 影院放映内容的识别检索方法及系统 |
CN108184153A (zh) * | 2017-12-29 | 2018-06-19 | 伟乐视讯科技股份有限公司 | 一种与视频内容相匹配的广告插播系统及方法 |
-
2018
- 2018-08-17 CN CN201810940302.5A patent/CN109189991B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1851710A (zh) * | 2006-05-25 | 2006-10-25 | 浙江大学 | 嵌入式多媒体基于关键帧的视频检索的实现方法 |
US20090052784A1 (en) * | 2007-08-22 | 2009-02-26 | Michele Covell | Detection And Classification Of Matches Between Time-Based Media |
CN101650740A (zh) * | 2009-08-27 | 2010-02-17 | 中国科学技术大学 | 一种电视广告检测方法及装置 |
US20110208744A1 (en) * | 2010-02-24 | 2011-08-25 | Sapna Chandiramani | Methods for detecting and removing duplicates in video search results |
US20150332124A1 (en) * | 2011-06-20 | 2015-11-19 | Microsoft Technology Licensing, Llc | Near-duplicate video retrieval |
CN103617233A (zh) * | 2013-11-26 | 2014-03-05 | 烟台中科网络技术研究所 | 一种基于语义内容多层表示的重复视频检测方法与装置 |
CN103631932A (zh) * | 2013-12-06 | 2014-03-12 | 中国科学院自动化研究所 | 一种对重复视频进行检测的方法 |
CN106548118A (zh) * | 2015-09-23 | 2017-03-29 | 北京丰源星际传媒科技有限公司 | 影院放映内容的识别检索方法及系统 |
CN105893405A (zh) * | 2015-11-12 | 2016-08-24 | 乐视云计算有限公司 | 重复视频检测方法和系统 |
CN105468755A (zh) * | 2015-11-27 | 2016-04-06 | 东方网力科技股份有限公司 | 一种视频筛选存储方法和装置 |
CN108184153A (zh) * | 2017-12-29 | 2018-06-19 | 伟乐视讯科技股份有限公司 | 一种与视频内容相匹配的广告插播系统及方法 |
Non-Patent Citations (1)
Title |
---|
杨朝欢: "基于深度学习的重复视频检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321958B (zh) * | 2019-07-08 | 2022-03-08 | 北京字节跳动网络技术有限公司 | 神经网络模型的训练方法、视频相似度确定方法 |
CN110321958A (zh) * | 2019-07-08 | 2019-10-11 | 北京字节跳动网络技术有限公司 | 神经网络模型的训练方法、视频相似度确定方法 |
WO2021007846A1 (zh) * | 2019-07-18 | 2021-01-21 | 华为技术有限公司 | 一种视频相似检测的方法、装置及设备 |
CN112291634A (zh) * | 2019-07-25 | 2021-01-29 | 腾讯科技(深圳)有限公司 | 视频处理方法及装置 |
CN110490119A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 重复视频标记方法、装置和计算机可读存储介质 |
CN110781859A (zh) * | 2019-11-05 | 2020-02-11 | 深圳奇迹智慧网络有限公司 | 图像标注方法、装置、计算机设备和存储介质 |
CN110781859B (zh) * | 2019-11-05 | 2022-08-19 | 深圳奇迹智慧网络有限公司 | 图像标注方法、装置、计算机设备和存储介质 |
CN111241344B (zh) * | 2020-01-14 | 2023-09-05 | 新华智云科技有限公司 | 视频查重方法、系统、服务器及存储介质 |
CN111241344A (zh) * | 2020-01-14 | 2020-06-05 | 新华智云科技有限公司 | 视频查重方法、系统、服务器及存储介质 |
CN111212322A (zh) * | 2020-01-15 | 2020-05-29 | 济南浪潮高新科技投资发展有限公司 | 一种基于多视频去重拼接的视频压缩方法 |
CN111356015A (zh) * | 2020-02-25 | 2020-06-30 | 北京奇艺世纪科技有限公司 | 重复视频检测方法、装置、计算机设备和存储介质 |
CN111356015B (zh) * | 2020-02-25 | 2022-05-10 | 北京奇艺世纪科技有限公司 | 重复视频检测方法、装置、计算机设备和存储介质 |
CN111400546B (zh) * | 2020-03-18 | 2020-12-01 | 腾讯科技(深圳)有限公司 | 一种视频召回方法、视频推荐方法及装置 |
CN111400546A (zh) * | 2020-03-18 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 一种视频召回方法、视频推荐方法及装置 |
CN111935506B (zh) * | 2020-08-19 | 2023-03-28 | 百度时代网络技术(北京)有限公司 | 用于确定重复视频帧的方法和装置 |
CN111935506A (zh) * | 2020-08-19 | 2020-11-13 | 百度时代网络技术(北京)有限公司 | 用于确定重复视频帧的方法和装置 |
CN112468843A (zh) * | 2020-10-26 | 2021-03-09 | 国家广播电视总局广播电视规划院 | 视频去重方法及装置 |
CN112434185B (zh) * | 2020-10-26 | 2023-07-14 | 国家广播电视总局广播电视规划院 | 一种查找相似视频片段的方法、系统、服务器及存储介质 |
CN112434185A (zh) * | 2020-10-26 | 2021-03-02 | 国家广播电视总局广播电视规划院 | 一种查找相似视频片段的方法、系统、服务器及存储介质 |
CN112653928B (zh) * | 2020-12-04 | 2022-12-02 | 苏州浪潮智能科技有限公司 | 一种基于内容相同的视频过滤方法、系统及设备 |
CN112653928A (zh) * | 2020-12-04 | 2021-04-13 | 苏州浪潮智能科技有限公司 | 一种基于内容相同的视频过滤方法、系统及设备 |
CN112668528B (zh) * | 2020-12-30 | 2024-03-26 | 咪咕文化科技有限公司 | 视频拷贝检测方法、装置、电子设备和存储介质 |
CN112668528A (zh) * | 2020-12-30 | 2021-04-16 | 咪咕文化科技有限公司 | 视频拷贝检测方法、装置、电子设备和存储介质 |
CN112866800A (zh) * | 2020-12-31 | 2021-05-28 | 四川金熊猫新媒体有限公司 | 视频内容相似性检测方法、装置、设备及存储介质 |
CN112836600B (zh) * | 2021-01-19 | 2023-12-22 | 新华智云科技有限公司 | 一种视频相似度的计算方法与系统 |
CN112836600A (zh) * | 2021-01-19 | 2021-05-25 | 新华智云科技有限公司 | 一种视频相似度的计算方法与系统 |
CN113065025A (zh) * | 2021-03-31 | 2021-07-02 | 厦门美图之家科技有限公司 | 视频查重方法、装置、设备及存储介质 |
CN113360709B (zh) * | 2021-05-28 | 2023-02-17 | 维沃移动通信(杭州)有限公司 | 短视频侵权风险的检测方法、装置和电子设备 |
CN113360709A (zh) * | 2021-05-28 | 2021-09-07 | 维沃移动通信(杭州)有限公司 | 短视频侵权风险的检测方法、装置和电子设备 |
CN113283351A (zh) * | 2021-05-31 | 2021-08-20 | 深圳神目信息技术有限公司 | 一种使用cnn优化相似度矩阵的视频抄袭检测方法 |
CN113283351B (zh) * | 2021-05-31 | 2024-02-06 | 深圳神目信息技术有限公司 | 一种使用cnn优化相似度矩阵的视频抄袭检测方法 |
CN113722543A (zh) * | 2021-09-14 | 2021-11-30 | 图灵创智(北京)科技有限公司 | 一种视频相似性比对方法、系统及设备 |
CN113886632B (zh) * | 2021-12-03 | 2022-04-01 | 杭州并坚科技有限公司 | 一种基于动态规划的视频检索匹配方法 |
CN113886632A (zh) * | 2021-12-03 | 2022-01-04 | 杭州并坚科技有限公司 | 一种基于动态规划的视频检索匹配方法 |
CN114267001A (zh) * | 2022-03-01 | 2022-04-01 | 北京华育启智科技有限公司 | 视觉识别系统 |
CN117112815A (zh) * | 2023-06-06 | 2023-11-24 | 青岛尘元科技信息有限公司 | 个人关注视频事件检索方法和系统、存储介质及电子设备 |
CN116628265A (zh) * | 2023-07-25 | 2023-08-22 | 北京天平地成信息技术服务有限公司 | Vr内容管理方法、管理平台、管理设备和计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109189991B (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109189991A (zh) | 重复视频识别方法、装置、终端及计算机可读存储介质 | |
CN112434721B (zh) | 一种基于小样本学习的图像分类方法、系统、存储介质及终端 | |
Manjunatha et al. | Explicit bias discovery in visual question answering models | |
CN110837836B (zh) | 基于最大化置信度的半监督语义分割方法 | |
US11238310B2 (en) | Training data acquisition method and device, server and storage medium | |
CN106611052B (zh) | 文本标签的确定方法及装置 | |
US10599709B2 (en) | Object recognition device, object recognition method, and program for recognizing an object in an image based on tag information | |
WO2022116537A1 (zh) | 一种资讯推荐方法、装置、电子设备和存储介质 | |
US9977951B2 (en) | Picture ranking method, and terminal | |
CN110325983A (zh) | 图像检索装置和图像检索方法 | |
CN110321805B (zh) | 一种基于时序关系推理的动态表情识别方法 | |
CN108376164B (zh) | 一种潜力主播的展示方法及装置 | |
CN110443120A (zh) | 一种人脸识别方法及设备 | |
CN108563655A (zh) | 基于文本的事件识别方法和装置 | |
CN111401339B (zh) | 识别人脸图像中的人的年龄的方法、装置及电子设备 | |
CN107392311A (zh) | 序列切分的方法和装置 | |
CN114783021A (zh) | 一种口罩佩戴智能检测方法、装置、设备及介质 | |
CN109086794A (zh) | 一种基于t-lda主题模型的驾驶行为模式识方法 | |
CN104077288B (zh) | 网页内容推荐方法和网页内容推荐设备 | |
CN103324641A (zh) | 信息记录推荐方法和装置 | |
CN114168768A (zh) | 图像检索方法及相关设备 | |
CN113743079A (zh) | 一种基于共现实体交互图的文本相似度计算方法及装置 | |
CN113032524A (zh) | 商标侵权识别方法、终端设备及存储介质 | |
CN116933130A (zh) | 一种基于大数据的企业行业分类方法、系统、设备及介质 | |
CN116797830A (zh) | 一种基于YOLOv7的图像风险分类方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |