CN113987270A - 相似视频片段的确定方法、装置、终端及存储介质 - Google Patents
相似视频片段的确定方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN113987270A CN113987270A CN202111243914.7A CN202111243914A CN113987270A CN 113987270 A CN113987270 A CN 113987270A CN 202111243914 A CN202111243914 A CN 202111243914A CN 113987270 A CN113987270 A CN 113987270A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- similarity
- frame
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种相似视频片段的确定方法、装置、终端及存储介质。方法包括:计算第一视频和第二视频的视频相似度;若视频相似度满足预设视频相似度,利用第一预设算法确定第一视频和第二视频对应的相似图像;基于相似图像确定第一视频和第二视频对应的相似视频片段。本发明通过对第一视频和第二视频组成的相似矩阵来计算两个视频的相似度,再利用贪心算法提取出第一视频与第二视频对应的相似视频片段,提高了相似视频片段的准确度,还具有广泛的适应性,不但适用于单个视频也适用于拼接剪切的视频。
Description
技术领域
本申请涉及视频检索技术领域,具体而言,涉及一种相似视频片段的确定方法、装置、终端及存储介质。
背景技术
视频检索是指从视频中搜索有用或者需要的资料。随着视频检索技术的更迭以及发展,智能算法被应用于视频检索。但是,如何提高视频检索的效果成为当前亟待解决的问题。
目前,主要采用机器学习的方法来实现视频的检索,具体地,先通过神经网络模型提取出两个视频的图像特征,然后对图像特征进行余弦相似度的计算,以判断两个视频的相似度,再将满足预设相似度的视频与数据库中所有视频进行比较,以确定相似视频片段。
但是,上述方法存在检索出的相似视频片段准确度低的问题。
发明内容
本申请的主要目的在于提供一种相似视频片段的确定方法、装置、终端及存储介质,以解决相关技术中对相似视频片段检索存在准确度低的问题。
为了实现上述目的,第一方面,本申请提供了一种相似视频片段的确定方法,包括:
计算第一视频和第二视频的视频相似度;
若视频相似度满足预设视频相似度,利用第一预设算法确定第一视频和第二视频对应的相似图像,其中,相似图像是通过计算第一视频中的帧图像和第二视频中的帧图像的图像相似度确定,其中,图像相似度是通过对比学习模型提取的第一视频中的帧图像对应的图像特征和第二视频中的帧图像对应的图像特征确定的;
基于相似图像确定第一视频和第二视频对应的相似视频片段。
在一种可能的实现方式中,计算第一视频和第二视频的视频相似度,包括:
确定第一视频和第二视频的相似矩阵;
利用第二预设算法和相似矩阵,确定视频相似度。
在一种可能的实现方式中,确定第一视频和第二视频的相似矩阵,包括:
分别提取第一视频中的m帧图像和第二视频中的n帧图像;
将m帧图像中的每帧图像和n帧图像中的每帧图像进行内积运算,构成相似矩阵。
在一种可能的实现方式中,利用第二预设算法和相似矩阵,确定视频相似度,包括:
提取相似矩阵中的列向量中的每个列向量的最大值和行向量中的每个行向量的最大值;
将列向量中的每个列向量的最大值进行和运算得到的结果与列向量数目作商,得到第一商值,并将第一商值作为相似矩阵在列方向上的最大值;
将行向量中的每个行向量的最大值进行和运算得到的结果与行向量数目作商,得到第二商值,并将第二商值作为相似矩阵在行方向上的最大值;
在所列方向上的最大值和行方向上的最大值中选取最大值作为视频相似度。
在一种可能的实现方式中,若视频相似度满足预设视频相似度,利用第一预设算法确定第一视频和第二视频对应的相似图像,包括:
若视频相似度满足预设视频相似度,从m帧图像中的第一帧图像开始每次选取一个帧图像;
在n帧图像中查找与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,直至n帧图像中查找不到与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像;
将大于或等于预设图像相似度的图像相似度对应的帧图像作为相似图像。
在一种可能的实现方式中,若在n帧图像中查找与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,直至n帧图像中查找不到与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,包括:
若n帧图像中存在与m帧图像中的第一帧图像的图像相似度大于或等于预设图像相似度的第i帧图像,继续选取m帧图像中的第二帧图像并遍历n帧图像中的第i帧图像后的帧图像,其中,i大于0且小于n;
直至第i帧图像后的帧图像中不存在与第二帧图像的图像相似度大于或等于预设图像相似度的第j帧图像,其中,j大于i且小于n。
在一种可能的实现方式中,若在n帧图像中查找与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,直至n帧图像中查找不到与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,包括:
若n帧图像中存在与m帧图像中的第一帧图像的图像相似度大于或等于预设图像相似度的第i帧图像,继续选取m帧图像中的第二帧图像并遍历n帧图像中的第i帧图像后的帧图像,其中,i大于0且小于n;
若第i帧图像后的帧图像中存在与第二帧图像的图像相似度大于或等于预设图像相似度的第j帧图像,继续选取第三帧图像并遍历n帧图像中的第j帧图像后的帧图像,直至第j帧图像后的帧图像中不存在与第三帧图像的图像相似度大于或等于预设图像相似度的第k帧图像,其中,j大于i且小于n,k大于j且小于n。
第二方面,本发明实施例提供了一种相似视频片段的确定装置,包括:
视频相似度计算模块,用于计算第一视频和第二视频的视频相似度;
相似图像确定模块,用于若视频相似度满足预设视频相似度,利用第一预设算法确定第一视频和第二视频对应的相似图像,其中,相似图像是通过计算第一视频中的帧图像和第二视频中的帧图像的图像相似度确定,其中,图像相似度是通过对比学习模型提取的第一视频中的帧图像对应的图像特征和第二视频中的帧图像对应的图像特征确定的;
相似视频片段确定模块,用于基于相似图像确定第一视频和第二视频对应的相似视频片段。
第三方面,本发明实施例提供了一种终端,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上任一种相似视频片段的确定方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上任一种相似视频片段的确定方法的步骤。
本发明实施例提供了一种相似视频片段的确定方法、装置、终端及存储介质,包括:计算第一视频和第二视频的视频相似度,若视频相似度满足预设视频相似度,利用第一预设算法确定第一视频和第二视频对应的相似图像,然后基于相似图像确定第一视频和第二视频对应的相似视频片段。本发明通过对第一视频和第二视频组成的相似矩阵来计算两个视频的相似度,再利用贪心算法提取出第一视频与第二视频对应的相似视频片段,提高了相似视频片段的准确度,还具有广泛的适应性,不但适用于单个视频也适用于拼接剪切的视频。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本发明实施例提供的一种相似视频片段的确定方法的实现流程图;
图2是本发明实施例提供的对比学习模型的训练图像示意图;
图3是本发明实施例提供的一种相似视频片段的确定装置的结构示意图;
图4是本发明实施例提供的终端的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
应当理解,在本发明中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本发明中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含,“包含A、B或C”是指包含A、B、C三者之一,“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解,在本发明中,“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”,表示B与A相关联,根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。A与B的匹配,是A与B的相似度大于或等于预设的阈值。
取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图通过具体实施例来进行说明。
在一个实施例中,如图1所示,提供了一种相似视频片段的确定方法,包括以下步骤:
步骤S101:计算第一视频和第二视频的视频相似度;
步骤S102:若视频相似度满足预设视频相似度,利用第一预设算法确定第一视频和第二视频对应的相似图像;
步骤S103:基于相似图像确定第一视频和第二视频对应的相似视频片段。
其中,相似图像是通过计算第一视频中的帧图像和第二视频中的帧图像的图像相似度确定,其中,图像相似度是通过对比学习模型提取的第一视频中的帧图像对应的图像特征和第二视频中的帧图像对应的图像特征确定的。
对比学习是机器学习中前沿的方法,旨在通过大量数据自动学习到数据的表征,而不需要繁重的人工标注。在计算机视频领域中,对比学习的重要一步是对于图像进行丰富的数据增强以及扰动,例如,随机截取图像或者改变图像的亮度等,依然能提取出图像中物体固有的特征。以图2为例,以下10张图像的共性就是狗,对比学习模型很容易从10张图像中学习到此共性,而图像中的其他部分是后期编辑加入的一些非自然因素,因此,利用上述10张图像对对比学习模型进行训练,对比学习模型可直接提取出此共性,即多个图像的共同特征。
具体的,本发明首先获取两个视频,第一视频和第二视频;通过两个视频的相似矩阵计算两个视频的相似度,若视频相似度满足预设视频相似度(系统内部预设的值,不做具体限定),通过对比学习模型提取第一视频中的帧图像对应的图像特征和第二视频中的帧图像对应的图像特征,再通过贪心算法计算第一视频中的帧图像和第二视频中的帧图像的图像相似度,可得到第一视频和第二视频对应的相似图像,最后基于相似图像确定第一视频和第二视频对应的相似视频片段。
本发明实施例提供了一种相似视频片段的确定方法,包括:计算第一视频和第二视频的视频相似度,若视频相似度满足预设视频相似度,利用第一预设算法确定第一视频和第二视频对应的相似图像,然后基于相似图像确定第一视频和第二视频对应的相似视频片段。本发明通过对第一视频和第二视频组成的相似矩阵来计算两个视频的相似度,再利用贪心算法提取出第一视频与第二视频对应的相似视频片段,提高了相似视频片段的准确度,还具有广泛的适应性,不但适用于单个视频也适用于拼接剪切的视频。
在一实施例中,步骤S101包括:
步骤S201:确定第一视频和第二视频的相似矩阵。
具体地,确定相似矩阵包括:分别提取第一视频中的m帧图像和第二视频中的n帧图像;将m帧图像中的每帧图像和n帧图像中的每帧图像进行内积运算,构成相似矩阵。
进一步地,假设第一视频ft和第二帧视频fq,从第一视频ft中提取m帧图像,从第二帧视频fq中提取n帧图像,将m帧图像和n帧图像进行内积运算,即可构成如下相似矩阵S:
步骤S202:利用第二预设算法和相似矩阵,确定视频相似度。
具体地,确定视频相似度包括:提取相似矩阵中的列向量中的每个列向量的最大值和行向量中的每个行向量的最大值;将列向量中的每个列向量的最大值进行和运算得到的结果与列向量数目作商,得到第一商值,并将第一商值作为相似矩阵在列方向上的最大值;将行向量中的每个行向量的最大值进行和运算得到的结果与行向量数目作商,得到第二商值,并将第二商值作为相似矩阵在行方向上的最大值;在所列方向上的最大值和行方向上的最大值中选取最大值作为视频相似度。
首先,将两个视频中的图像进行内积运算,得到如下相似矩阵fqft:
其次,利用以下公式计算相似矩阵在列方向上的最大值和行方向上的最大值中的最大值,即视频相似度。
具体地,将上述相似矩阵fqft(即公式(2)中的向量)代入公式(3)中,可得公式(4),即:
通过公式(4)可知两个视频的相似度(即视频相似度)为0.8。
在一实施例中,步骤S102包括:
步骤S301:若视频相似度满足预设视频相似度,从m帧图像中的第一帧图像开始每次选取一个帧图像;
步骤S302:在n帧图像中查找与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,直至n帧图像中查找不到与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像;
步骤S303:将大于或等于预设图像相似度的图像相似度对应的帧图像作为相似图像。
其中,上述实施例中得到两个视频的相似度为0.8,若预设视频相似度小于或等于0.8,说明两个视频符合相似度要求,则可进行下一步的相似图像提取;若预设视频相似度大于0.8,说明两个视频不符合相似度要求,则不能进行相似图像的提取。
假设第一视频和第二视频符合相似度要求,则对第一视频和第二视频进行相似图像的提取。本发明对于相似图像的提取,需要先将第一视频中的帧图像与对应的第二视频中的帧图像进行相似度计算,再将大于或等于预设图像相似度的图像相似度对应的帧图像作为相似图像。具体地,将第一视频中的第一帧图像与第二视频中的所有帧图像进行相似度计算,若得到的帧图像(第i帧图像)相似度大于或等于预设图像相似度,则将第一视频中的第二帧图像与第i帧图像之后的所有帧图像进行相似度计算,若得到的第j帧图像相似度大于或等于预设图像相似度,则将第一视频帧中的第三帧图像与第j帧图像之后的所有帧图像进行相似度计算,以此类推,直至第二视频中不存在与第一视频中的帧视频的图像相似度大于或等于预设图像相似度的帧图像为止。
分别以第二次遍历第二视频即终止遍历和第三次遍历第二视频即终止遍历为例,对步骤S302和步骤S302进行具体说明:
第二次遍历第二视频则结束遍历,具体为:若n帧图像中存在与m帧图像中的第一帧图像的图像相似度大于或等于预设图像相似度的第i帧图像,继续选取m帧图像中的第二帧图像并遍历n帧图像中的第i帧图像后的帧图像,其中,i大于0且小于n;直至第i帧图像后的帧图像中不存在与第二帧图像的图像相似度大于或等于预设图像相似度的第j帧图像,其中,j大于i且小于n;提取第一帧图像和第i帧图像作为相似图像。
第三次遍历第二视频则结束遍历,具体为:若n帧图像中存在与m帧图像中的第一帧图像的图像相似度大于或等于预设图像相似度的第i帧图像,继续选取m帧图像中的第二帧图像并遍历n帧图像中的第i帧图像后的帧图像,其中,i大于0且小于n;若第i帧图像后的帧图像中存在与第二帧图像的图像相似度大于或等于预设图像相似度的第j帧图像,继续选取第三帧图像并遍历n帧图像中的第j帧图像后的帧图像,直至第j帧图像后的帧图像中不存在与第三帧图像的图像相似度大于或等于预设图像相似度的第k帧图像,其中,j大于i且小于n,k大于j且小于n;提取第一帧图像、第二帧图像、第i帧图像和第j帧图像为相似图像。
此外,第四次遍历第二视频则结束遍历、第五次遍历第二视频则结束遍历...第z次遍历第二视频则结束遍历,其遍历过程均满足上述规则,其中,z为大于5的正整数。
需要注意的是,上述图像相似度计算过程中,如果在第二视频中找到与第一视频中的帧视频的图像相似度大于或等于预设图像相似度的帧图像,则下次计算图像相似度时,需要遍历上次计算得到的第二视频中的帧图像之后的所有帧图像。
基于短视频搜索的场景,我们模拟实现了视频拼接,画中画,填加边框,亮度变化,视频时间剪切,画幅裁剪,翻转,旋转,视频加速,添加字幕,添加水印共十一种视频的批量编辑方式。将五百个视频通过这十一种编辑方式进行修改编辑,可以得到共六千个视频。使用本发明的方法在这六千个视频上进行测试,目标是对于每组十二个视频里的每个视频都能检测出同一来源的十一个视频。其中的视频拼接与视频时间剪切也将用于测试提取相似视频片段的准确性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
以下为本发明的装置实施例,对于其中未详尽描述的细节,可以参考上述对应的方法实施例。
图3示出了本发明实施例提供的一种相似视频片段的确定装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分,一种相似视频片段的确定装置包括视频相似度计算模块31、相似图像确定模块32和相似视频片段确定模块33,具体如下:
视频相似度计算模块31,用于计算第一视频和第二视频的视频相似度;
相似图像确定模块32,用于若视频相似度满足预设视频相似度,利用第一预设算法确定第一视频和第二视频对应的相似图像,其中,相似图像是通过计算第一视频中的帧图像和第二视频中的帧图像的图像相似度确定,其中,图像相似度是通过对比模型提取的第一视频中的帧图像对应的图像特征和第二视频中的帧图像对应的图像特征确定的;
相似视频片段确定模块33,用于基于相似图像确定第一视频和第二视频对应的相似视频片段。
在一种可能的实现方式中,视频相似度计算模块31包括:
相似矩阵确定子模块,用于确定第一视频和第二视频的相似矩阵;
视频相似度确定子模块,用于利用第二预设算法和相似矩阵,确定视频相似度。
在一种可能的实现方式中,相似矩阵确定子模块包括:
帧视频提取单元,用于分别提取第一视频中的m帧图像和第二视频中的n帧图像;
内积运算单元,用于将m帧图像中的每帧图像和n帧图像中的每帧图像进行内积运算,构成相似矩阵。
在一种可能的实现方式中,视频相似度确定子模块包括:
最大值提取单元,用于提取相似矩阵中的列向量中的每个列向量的最大值和行向量中的每个行向量的最大值;
第一最大值确定单元,用于将列向量中的每个列向量的最大值进行和运算得到的结果与列向量数目作商,得到第一商值,并将第一商值作为相似矩阵在列方向上的最大值;
第二最大值确定单元,用于将行向量中的每个行向量的最大值进行和运算得到的结果与行向量数目作商,得到第二商值,并将第二商值作为相似矩阵在行方向上的最大值;
视频相似度确定单元,用于在所列方向上的最大值和行方向上的最大值中选取最大值作为视频相似度。
在一种可能的实现方式中,相似图像确定模块32包括:
帧图像选取子模块,用于若视频相似度满足预设视频相似度,从m帧图像中的第一帧图像开始每次选取一个帧图像;
帧图像查找子模块,用于在n帧图像中查找与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,直至n帧图像中查找不到与一个帧图像的图像相似度大于或等于预设图像相似度的帧图像;
相似图像确定子模块,用于将大于或等于预设图像相似度的图像相似度对应的帧图像作为相似图像。
在一种可能的实现方式中,帧图像查找子模块包括:
第一查找单元,用于若n帧图像中存在与m帧图像中的第一帧图像的图像相似度大于或等于预设图像相似度的第i帧图像,继续选取m帧图像中的第二帧图像并遍历n帧图像中的第i帧图像后的帧图像,其中,i大于0且小于n;
第一结束单元,用于直至第i帧图像后的帧图像中不存在与第二帧图像的图像相似度大于或等于预设图像相似度的第j帧图像,其中,j大于i且小于n。
在一种可能的实现方式中,帧图像查找子模块包括:
第一查找单元,用于若n帧图像中存在与m帧图像中的第一帧图像的图像相似度大于或等于预设图像相似度的第i帧图像,继续选取m帧图像中的第二帧图像并遍历n帧图像中的第i帧图像后的帧图像,其中,i大于0且小于n;
第二结束单元,用于若第i帧图像后的帧图像中存在与第二帧图像的图像相似度大于或等于预设图像相似度的第j帧图像,继续选取第三帧图像并遍历n帧图像中的第j帧图像后的帧图像,直至第j帧图像后的帧图像中不存在与第三帧图像的图像相似度大于或等于预设图像相似度的第k帧图像,其中,j大于i且小于n,k大于j且小于n。
图4是本发明实施例提供的终端的示意图。如图4所示,该实施例的终端4包括:处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。处理器40执行计算机程序42时实现上述各个相似视频片段的确定方法实施例中的步骤,例如图1所示的步骤101至步骤103。或者,处理器40执行计算机程序42时实现上述各装置实施例中各模块/单元的功能,例如图3所示模块/单元31至33的功能。
本发明还提供一种可读存储介质,可读存储介质中存储有计算机程序,计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中,可读存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,可读存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该可读存储介质写入信息。当然,可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits,简称:ASIC)中。另外,该ASIC可以位于用户设备中。当然,处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述设备的实施例中,应理解,处理器可以是中央处理单元(英文:CentralProcessing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:DigitalSignal Processor,简称:DSP)、专用集成电路(英文:Application Specific IntegratedCircuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种相似视频片段的确定方法,其特征在于,包括:
计算第一视频和第二视频的视频相似度;
若所述视频相似度满足预设视频相似度,利用第一预设算法确定所述第一视频和所述第二视频对应的相似图像,其中,所述相似图像是通过计算所述第一视频中的帧图像和所述第二视频中的帧图像的图像相似度确定,其中,所述图像相似度是通过对比学习模型提取的所述第一视频中的帧图像对应的图像特征和所述第二视频中的帧图像对应的图像特征确定的;
基于所述相似图像确定所述第一视频和所述第二视频对应的相似视频片段。
2.如权利要求1所述的相似视频片段的确定方法,其特征在于,所述计算第一视频和第二视频的视频相似度,包括:
确定所述第一视频和所述第二视频的相似矩阵;
利用第二预设算法和所述相似矩阵,确定所述视频相似度。
3.如权利要求2所述的相似视频片段的确定方法,其特征在于,所述确定所述第一视频和所述第二视频的相似矩阵,包括:
分别提取所述第一视频中的m帧图像和所述第二视频中的n帧图像;
将所述m帧图像中的每帧图像和所述n帧图像中的每帧图像进行内积运算,构成所述相似矩阵。
4.如权利要求3所述的相似视频片段的确定方法,其特征在于,所述利用第二预设算法和所述相似矩阵,确定所述视频相似度,包括:
提取所述相似矩阵中的列向量中的每个列向量的最大值和行向量中的每个行向量的最大值;
将所述列向量中的每个列向量的最大值进行和运算得到的结果与列向量数目作商,得到第一商值,并将所述第一商值作为所述相似矩阵在列方向上的最大值;
将所述行向量中的每个行向量的最大值进行和运算得到的结果与行向量数目作商,得到第二商值,并将所述第二商值作为所述相似矩阵在行方向上的最大值;
在所列方向上的最大值和所述行方向上的最大值中选取最大值作为所述视频相似度。
5.如权利要求4所述的相似视频片段的确定方法,其特征在于,所述若所述视频相似度满足预设视频相似度,利用第一预设算法确定所述第一视频和所述第二视频对应的相似图像,包括:
若所述视频相似度满足预设视频相似度,从所述m帧图像中的第一帧图像开始每次选取一个帧图像;
在所述n帧图像中查找与所述一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,直至所述n帧图像中查找不到与所述一个帧图像的图像相似度大于或等于预设图像相似度的帧图像;
将大于或等于预设图像相似度的图像相似度对应的帧图像作为所述相似图像。
6.如权利要求5所述的相似视频片段的确定方法,其特征在于,所述若所述在所述n帧图像中查找与所述一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,直至所述n帧图像中查找不到与所述一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,包括:
若所述n帧图像中存在与所述m帧图像中的第一帧图像的图像相似度大于或等于预设图像相似度的第i帧图像,继续选取所述m帧图像中的第二帧图像并遍历所述n帧图像中的第i帧图像后的帧图像,其中,i大于0且小于n;
直至所述第i帧图像后的帧图像中不存在与所述第二帧图像的图像相似度大于或等于预设图像相似度的第j帧图像,其中,j大于i且小于n。
7.如权利要求5所述的相似视频片段的确定方法,其特征在于,所述若所述在所述n帧图像中查找与所述一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,直至所述n帧图像中查找不到与所述一个帧图像的图像相似度大于或等于预设图像相似度的帧图像,包括:
若所述n帧图像中存在与所述m帧图像中的第一帧图像的图像相似度大于或等于预设图像相似度的第i帧图像,继续选取所述m帧图像中的第二帧图像并遍历所述n帧图像中的第i帧图像后的帧图像,其中,i大于0且小于n;
若所述第i帧图像后的帧图像中存在与所述第二帧图像的图像相似度大于或等于预设图像相似度的第j帧图像,继续选取第三帧图像并遍历所述n帧图像中的第j帧图像后的帧图像,直至所述第j帧图像后的帧图像中不存在与所述第三帧图像的图像相似度大于或等于预设图像相似度的第k帧图像,其中,j大于i且小于n,k大于j且小于n。
8.一种相似视频片段的确定装置,其特征在于,包括:
视频相似度计算模块,用于计算第一视频和第二视频的视频相似度;
相似图像确定模块,用于若所述视频相似度满足预设视频相似度,利用第一预设算法确定所述第一视频和所述第二视频对应的相似图像,其中,所述相似图像是通过计算所述第一视频中的帧图像和所述第二视频中的帧图像的图像相似度确定,其中,所述图像相似度是通过对比学习模型提取的所述第一视频中的帧图像对应的图像特征和所述第二视频中的帧图像对应的图像特征确定的;
相似视频片段确定模块,用于基于所述相似图像确定所述第一视频和所述第二视频对应的相似视频片段。
9.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述相似视频片段的确定方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行所述计算机程序时实现如权利要求1至7中任一项所述相似视频片段的确定方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111243914.7A CN113987270A (zh) | 2021-10-25 | 2021-10-25 | 相似视频片段的确定方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111243914.7A CN113987270A (zh) | 2021-10-25 | 2021-10-25 | 相似视频片段的确定方法、装置、终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113987270A true CN113987270A (zh) | 2022-01-28 |
Family
ID=79741220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111243914.7A Pending CN113987270A (zh) | 2021-10-25 | 2021-10-25 | 相似视频片段的确定方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113987270A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419736A (zh) * | 2022-03-10 | 2022-04-29 | 成都西交智汇大数据科技有限公司 | 一种实验评分方法、系统、设备及可读存储介质 |
-
2021
- 2021-10-25 CN CN202111243914.7A patent/CN113987270A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419736A (zh) * | 2022-03-10 | 2022-04-29 | 成都西交智汇大数据科技有限公司 | 一种实验评分方法、系统、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
CN107291945B (zh) | 基于视觉注意力模型的高精度服装图像检索方法及系统 | |
CN110765246B (zh) | 基于智能机器人的问答方法、装置、存储介质和智能设备 | |
CN116188821B (zh) | 版权检测方法、系统、电子设备和存储介质 | |
US10685236B2 (en) | Multi-model techniques to generate video metadata | |
CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
CN112199582B (zh) | 一种内容推荐方法、装置、设备及介质 | |
CN110096617B (zh) | 视频分类方法、装置、电子设备及计算机可读存储介质 | |
CN114283351A (zh) | 视频场景分割方法、装置、设备及计算机可读存储介质 | |
CN111581423A (zh) | 一种目标检索方法及装置 | |
CN114550070A (zh) | 视频片段的识别方法、装置、设备以及存储介质 | |
CN114357206A (zh) | 基于语义分析的教育类视频彩色字幕生成方法及系统 | |
CN113987270A (zh) | 相似视频片段的确定方法、装置、终端及存储介质 | |
CN114677402A (zh) | 海报文本布局、海报生成方法及相关装置 | |
CN112884866A (zh) | 一种黑白视频的上色方法、装置、设备及存储介质 | |
CN111008295A (zh) | 书页检索方法、装置、电子设备和存储介质 | |
JP6778625B2 (ja) | 画像検索システム、画像検索方法及び画像検索プログラム | |
CN115278300A (zh) | 视频处理方法、装置、电子设备、存储介质和程序产品 | |
CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
CN113014831B (zh) | 用于对体育视频进行场景获取的方法及装置、设备 | |
CN116052220B (zh) | 行人重识别方法、装置、设备及介质 | |
CN117830537B (zh) | 一种弱监督的3d场景图生成方法、装置、设备及介质 | |
CN109492023A (zh) | 一种汽车信息处理方法及其设备、计算机存储介质 | |
CN116188804B (zh) | 一种基于transformer的孪生网络目标搜索系统 | |
CN117194698B (zh) | 一种基于oar语义知识库的任务处理系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |