CN104636505A - 一种视频检索方法及装置 - Google Patents
一种视频检索方法及装置 Download PDFInfo
- Publication number
- CN104636505A CN104636505A CN201510111724.8A CN201510111724A CN104636505A CN 104636505 A CN104636505 A CN 104636505A CN 201510111724 A CN201510111724 A CN 201510111724A CN 104636505 A CN104636505 A CN 104636505A
- Authority
- CN
- China
- Prior art keywords
- video
- fragment
- unit
- similarity
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种视频检索方法及装置,获取目标视频片段的视频距离轨迹,其中包括目标视频片段中的各个视频单元的线性拟合特征,依据线性拟合特征,计算各个视频单元与样本视频片段中的各个视频单元之间的内容相似度,并依据内容相似度,确定目标视频片段与样本视频片段的最优视觉相似度,用于表示目标视频片段与样本视频片段之间的匹配程度,因为最优视觉相似度依据目标视频片段中的各个单元与样本视频片段中的各个视频单元之间的内容相似度确定,因此,进行视频检索的依据为视频单元之前的内容相似度,而非对目标视频片段的文字描述,所以,依据更为客观,从而得到的检索结果更为准确。
Description
技术领域
本申请涉及电子信息领域,尤其涉及一种视频检索方法及装置。
背景技术
目前,随着互联网技术的发展,对互联网中数据的监控的需求日益迫切。其中,从互联网中检索与样本视频匹配的目标视频,成为对互联网中的视频的监控的一项重要内容。
现有的视频检索技术,通常以人为对互联网中的视频标注的文字注释为依据,可见,检索的依据不够客观,因此,导致检索结果不够客观,从而影响检索结果的准确性。
发明内容
本申请提供了一种视频检索方法及装置,目的在于解决视频检索不够准确的问题。
为了实现上述目的,本申请提供了以下技术方案:
一种视频检索方法,包括:
获取目标视频片段中的各个视频单元的线性拟合特征;
依据所述各个视频单元的线性拟合特征,计算所述各个视频单元与样本视频片段中的各个视频单元之间的内容相似度;
依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,所述最优视觉相似度用于表示所述目标视频片段与所述样本视频片段之间的匹配程度。
可选地,计算所述目标视频片段中的一个视频单元与样本视频片段中的一个视频单元之间的内容相似度的方法包括:
计算第一参数集,所述第一参数集为所述目标视频片段中的第一视频单元的线性拟合特征的参数的集合;
获取第二参数集,所述第二参数集为所述样本视频单元中的第二视频单元的线性拟合特征的参数的集合;
所述第一参数集与所述第二参数集中的对应参数间的差值的乘积为所述第一视频单元与所述第二视频单元之间的相似度。
可选地,所述第一参数集中包括:
所述第一视频单元的线性拟合特征在X轴上的投影、所述第一视频单元的线性拟合特征在Y轴上的投影,所述第一视频单元的线性拟合特征的倾斜角度;
所述第二参数集包括:所述第二视频单元的线性拟合特征在X轴上的投影,所述第二视频单元的线性拟合特征在Y轴上的投影,所述第二视频单元的线性拟合特征的倾斜角度。
可选地,所述依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度包括:
构建网格,所述网格中的横轴为所述目标视频片段中的各个视频单元的编号,所述网格中的纵轴为所述样本视频片段中的各个视频单元的编号,所述网格中的纵向线为经过所述横轴上的整数坐标且与所述纵轴平行的直线,所述网络中的横向线为经过所述纵轴上的整数坐标且与所述横轴平行的直线,所述网格中的横向线与纵向线的交点的权重为所述交点对应的两个视频单元的内容相似度;
所述网格中的最优路径为所述目标视频片段与样本视频片段的最优视觉相似度,所述最优路径为此路径上的交叉点的权重之和最大的路径。
可选地,还包括:
依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优时序相似度;
依据所述最优视觉相似度和最优时序相似度,确定所述目标视频片段与所述样本视频片段之间的匹配程度。
可选地,所述目标视频片段的获取方法包括:
检测在线视频的类型;
当所述在线视频为网页源码中携带绝对路径的视频时,如果所述在线视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地;
当所述在线视频为内嵌在网页中的视频时,将所述网页上的视频文件碎片重组到本地;
当所述在线视频为网盘空间内存储的视频时,获取所述视频的读取权限,如果所述视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地。
一种视频检索装置,包括:
获取模块,用于获取目标视频片段中的各个视频单元的线性拟合特征;
计算模块,用于依据所述各个视频单元的线性拟合特征,计算所述各个视频单元与样本视频片段中的各个视频单元之间的内容相似度;
确定模块,用于依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,所述最优视觉相似度用于表示所述目标视频片段与所述样本视频片段之间的匹配程度。
可选地,所述计算模块用于计算所述目标视频片段中的一个视频单元与样本视频片段中的一个视频单元之间的内容相似度,包括:
所述计算模块具体用于,计算第一参数集,所述第一参数集为所述目标视频片段中的第一视频单元的线性拟合特征的参数的集合;获取第二参数集,所述第二参数集为所述样本视频单元中的第二视频单元的线性拟合特征的参数的集合;所述第一参数集与所述第二参数集中的对应参数间的差值的乘积为所述第一视频单元与所述第二视频单元之间的相似度。
可选地,所述计算模块具体用于计算第一参数集,获取第二参数集,包括:
所述计算模块具体用于:计算第一参数集,获取第二参数集;
其中,所述第一参数集中包括:所述第一视频单元的线性拟合特征在X轴上的投影、所述第一视频单元的线性拟合特征在Y轴上的投影,所述第一视频单元的线性拟合特征的倾斜角度;所述第二参数集包括:所述第二视频单元的线性拟合特征在X轴上的投影,所述第二视频单元的线性拟合特征在Y轴上的投影,所述第二视频单元的线性拟合特征的倾斜角度。
可选地,所述确定模块用于依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,包括:
所述确定模块具体用于,构建网格,所述网格中的横轴为所述目标视频片段中的各个视频单元的编号,所述网格中的纵轴为所述样本视频片段中的各个视频单元的编号,所述网格中的纵向线为经过所述横轴上的整数坐标且与所述纵轴平行的直线,所述网络中的横向线为经过所述纵轴上的整数坐标且与所述横轴平行的直线,所述网格中的横向线与纵向线的交点的权重为所述交点对应的两个视频单元的内容相似度;所述网格中的最优路径为所述目标视频片段与样本视频片段的最优视觉相似度,所述最优路径为此路径上的交叉点的权重之和最大的路径。
可选地,还包括:
匹配模块,用于依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优时序相似度;以及依据所述最优视觉相似度和最优时序相似度,确定所述目标视频片段与所述样本视频片段之间的匹配程度。
可选地,所述获取单元还用于:
检测在线视频的类型;
当所述在线视频为网页源码中携带绝对路径的视频时,如果所述在线视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地;
当所述在线视频为内嵌在网页中的视频时,将所述网页上的视频文件碎片重组到本地;
当所述在线视频为网盘空间内存储的视频时,获取所述视频的读取权限,如果所述视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地,以获取所述目标视频片段。
本申请所述的视频检索方法及装置,获取目标视频片段的视频距离轨迹,其中包括目标视频片段中的各个视频单元的线性拟合特征,依据线性拟合特征,计算各个视频单元与样本视频片段中的各个视频单元之间的内容相似度,并依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,用于表示目标视频片段与样本视频片段之间的匹配程度,可见,本实施例中所述方法及装置,依据最优视觉相似度确定目标视频片段与所述样本视频片段之前的匹配程度,而最优视觉相似度依据目标视频片段中的各个单元与样本视频片段中的各个视频单元之间的内容相似度确定,因此,进行视频检索的依据为视频单元之前的内容相似度,而非对目标视频片段的文字描述,所以,依据更为客观,从而得到的检索结果更为准确。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种视频检索方法的流程图;
图2为本申请实施例公开的一种视频检索方法的流程图;
图3为一个视频片段的VDT的示例图;
图4为本申请实施例公开的计算所述目标视频片段中的一个视频单元与样本视频片段中的一个视频单元之间的内容相似度的方法的流程图;
图5为一个网格的示例图;
图6为本申请实施例公开的又一种视频检索方法的流程图;
图7为本申请实施例公开的一种视频检索装置的结构示意图。
具体实施方式
本申请实施例公开了一种视频检索方法及装置,可以应用在确定网络上的视频片段与样本视频片段的匹配程度(即相似程度)的过程中。目的在于提高匹配程度计算的准确性。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例公开的一种视频检索方法,如图1所示,包括:
S101:获取目标视频片段中的各个视频单元的线性拟合特征;
线性拟合特征(Linear Fitting Feature,LFF)为将视频单元内视频帧的离散分布拟合为一条直线轨迹,该拟合直线是一个基于最小误差平方和的线性拟合函数,从而得到视频单元的线性拟合特征。
S102:依据各个视频单元的线性拟合特征,计算各个视频单元与样本视频片段中的各个视频单元之间的内容相似度;
S103:依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,所述最优视觉相似度用于表示所述目标视频片段与所述样本视频片段之间的匹配程度。
现有技术中,为了对视频片段进行匹配,通常为视频片段设置文字描述,在进行视频匹配时,将文字描述作为依据,确定目标视频片段与样本视频片段的匹配程度,使用这种方式,匹配的依据不够客观,因此得到的匹配度不够准确。
而本实施例中所述的方法,以视频单元之间的内容相似度确定出目标视频片段与样本视频片段之间的最优视觉相似度,从而得到两者匹配程度,因为以视频片段自身的内容为依据,所以准确性高。
本申请实施例公开的又一种视频检索方法,如图2所示,包括以下具体步骤:
S201:获取目标视频片段的视频距离轨迹;
视频距离轨迹(Video Distance Track,VDT)是一种用来表示视频片段的视觉特征随时间变化的参数。
视频距离轨迹的获取方式为:首先选取一个参考点,然后分别计算目标视频片段中的所有视频帧与该参考点之间的、基于特定特征的距离。例如视频片段可以用帧序列Q={f 1,f 2,…,f k}来表示,其中fi表示第i帧。图3为Q的前1050个帧对应的VDT,即VDT Q={d(f 1,O),d(f 2,O),…,d(f k,O)},其中,O是固定参考帧,d(f i,O)则表示第i个视频帧f i与O之间的距离,本实施例中,特定特征采用全局颜色直方图特征,距离采用欧拉距离,从而将高维的视频特征序列转换为一维的距离序列特征。
图3中,横坐标为视频帧的帧序号,刻度单位为1,范围为1-k,纵坐标为视频帧与参考点之间的距离值。
需要说明的是,不同的固定参考帧选取方法对最终相似度的影响程度基本上没有差别。
S202:依据目标视频片段的视频距离轨迹,将目标视频片段分割为视频单元;
视频单元是视频片段一组在内容上具有较强连续性的图像序列,多用于表现一个镜头拍摄的内容,于是可以推断出一个视频单元内的视频帧在VDT中对应的坐标位置必定是连续并且紧邻的,类似于线性分布。根据该特征可以将视频单元从VDT中分割出来,如图3所示,图中的视频片段Q被分割成了15个视频单元。
S203:计算各个视频单元的线性拟合特征LFF,得到VDT={LFF1,LFF2,…LFFm},其中m为视频单元的数量;
S204:依次获得目标视频片段中的每一个视频单元与样本视频片段中的各个视频单元之间的内容相似度;
如图4所示,计算所述目标视频片段中的一个视频单元与样本视频片段中的一个视频单元之间的内容相似度的方法包括以下具体步骤:
S401:计算第一参数集;
第一参数集为目标视频片段中的第一视频单元的线性拟合特征的参数的集合,本实施例中,第一参数集中包括第一视频单元的线性拟合特征在X轴上的投影I,用于表示第一视频单元的长度、第一视频单元的线性拟合特征在Y轴上的投影α,用于表示第一视频单元的内容、以及第一视频单元的线性拟合特征的倾斜角度β,用于表示第一视频单元中的视频帧的变化趋势。
S402:获取第二参数集,所述第二参数集为所述样本视频单元中的第二视频单元的线性拟合特征的参数的集合;
第二参数集中包括第二视频单元的线性拟合特征在X轴上的投影I1,所述第二视频单元的线性拟合特征在Y轴上的投影α1,所述第二视频单元的线性拟合特征的倾斜角度β1。
S403:第一参数集与所述第二参数集中的对应参数间的差值的乘积为所述第一视频单元与所述第二视频单元之间的相似度。
第一参数集与所述第二参数集中的对应参数间的差值分别为:d1=|I-I1|反应了视频单元在长度上的差异,d2=|α-α1|,反应了视频单元在内容上的差异,d3=|β-β1|,反应了视频单元在变化方向上的差异。
对这三个相似度进行融合之前还需要对这三个相似度分别进行规范化处理,规范化方法如下:
两个视频单元LFF之间的最终相似度为:
S205:构建网格;
网格中的横轴为所述目标视频片段中的各个视频单元的编号,所述网格中的纵轴为所述样本视频片段中的各个视频单元的编号,所述网格中的纵向线为经过所述横轴上的整数坐标且与所述纵轴平行的直线,所述网络中的横向线为经过所述纵轴上的整数坐标且与所述横轴平行的直线,所述网格中的横向线与纵向线的交点的权重为所述交点对应的两个视频单元的内容相似度。图5为一个网格的示例,图5所示为完全相同的两段视频进行比对,因此在每一视频单元比对上其纵横线两两相交。如果两个视频差异很大,则可能在每一对应片段点上纵横线均不相交。
S206:计算网格中的最优路径,即为目标视频片段与样本视频片段的最优视觉相似度。
最优路径为此路径上的交叉点的权重之和最大的路径,具体的计算方式如下:
上述网格为一个m×n的矩阵,m为样本视频中的视频单元的数量,n为目标视频中的视频单元的数量。矩阵中第i行第j列的元素记为D(i,j)=sim(i,j),表示位于坐标(i,j)上点的权重值。
采用动态规划算法迭代计算权重和,得到最优路径,如下式所示:
S(i,j)=D(i,j)zi,j+max(s(i-1,j),S(i-1,j-1))
其中zi,j为一个二值化的值,若视频单元i和视频单元j为匹配视频单元,则zi,j=1,反之zi,j=0,另外,zi,j=1必须满足约束条件:Σjzi,j=1,该约束条件表示一个视频单元只能选择一个匹配对象,必须为一对一的匹配。S(i,j)表示前i个视频单元和前j个视频单元之间所有视频单元的相似度累加合的最大值。对上式进行迭代计算直到i=m,且j=n,最后得到的极大值S v即为最优视觉相似度。
S207:同样采取上述方法计算时序相似度,其目的是找到最长视频单元序列;
这个问题为最长公共子序列(Lon-gest Common Sequence,LCS)问题:视频单元序列Q={q1,q 2,…,q m}和V={v 1,v 2,…,v n},要求找出Q和V的一个最长公共子序列。用c[i,j]记录视频单元序列之间的最长公共子序列的长度,建立递归关系如下:
对式中的i和j进行循环直到i=m,且j=n,最后得到的极大值S T即为最优时序相似度。
S208:将最优视觉相似度和时序相似进行加权融合即得到视频片段Q和V之间的匹配程度:
similarity(Q,V)=w1·Sv+w2·ST
其中,w1,w2表明了对视觉、时序特征的重视程度,不同的用户可以根据各自的任务需求对其进行调整。本实施例中,w1=0.7,w2=0.3。
视频片段之间的相似度往往是由两个因素共同决定的:视频单元之间的视觉相似度和视频单元序列的时序相似度。视觉相似度考虑的是视频单元在视觉内容上的相似程度,而时序相似度考虑的是视频单元序列在时间顺序上的相似程度,考虑到相似视频片段之间并不一定存在视频单元序列的时序一致性,故而相似视频片段之间的相似视频单元在时间上的前后顺序可能是不一样的。因此,本实施例中将视频单元的视觉相似度作为主要衡量标准,将时序相似度作为辅助因素,最终的视频片段之间的相似度则是由这两个因素进行加权计算得到的。可见,本实施例所述方法得到的匹配程度更为准确。
本申请实施例公开的又一种视频检索方法,如图6所示,包括以下具体步骤:
S601:通过关联第三信息资源库自动进行IP反查,确定待监测的IP范围;
S602:检测待监测的IP范围内的在线视频的类型;
S603:当在线视频为网页源码中携带绝对路径的视频时,如果在线视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地,成为目标视频片段;
本实施例中,预设条件为可以目标视频与样本视频集中的任一个样本视频的大小相比,浮动在10%之内。
S604:当在线视频为内嵌在网页中的视频时,将网页上的视频文件碎片重组到本地,成为目标视频片段;
S605:当在线视频为网盘空间内存储的视频时,获取所述视频的读取权限,如果所述视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地,成为目标视频片段;
S606:获取目标视频片段中的各个视频单元的线性拟合特征;
S607:依据所述各个视频单元的线性拟合特征,计算所述各个视频单元与样本视频片段中的各个视频单元之间的内容相似度;
S608:依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,所述最优视觉相似度用于表示所述目标视频片段与所述样本视频片段之间的匹配程度。
本实施例中,当在线视频满足条件时,再下载为目标视频片段,可见,能够节省对带宽的消耗以及本地计算资源,从而进一步能够减小本地核心设备的负担。
除了本实施例中S603、S604及S605所述的下载条件之外,也可以使用其它条件进行下载,例如,以视频的大小为下载条件,或者,以样本视频片段的文件名和哈希值为下载条件,本实施例不做限定。
与上述方法实施例相对应地,本申请实施例还公开了一种视频检索装置,如图7所示,包括:
获取模块701,用于获取目标视频片段中的各个视频单元的线性拟合特征;
计算模块702,用于依据所述各个视频单元的线性拟合特征,计算所述各个视频单元与样本视频片段中的各个视频单元之间的内容相似度;
确定模块703,用于依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,所述最优视觉相似度用于表示所述目标视频片段与所述样本视频片段之间的匹配程度。
可选地,本实施例中所述的装置,还可以包括:
匹配模块704,用于依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优时序相似度;以及依据所述最优视觉相似度和最优时序相似度,确定所述目标视频片段与所述样本视频片段之间的匹配程度。
其中,具体地,所述计算模块计算所述目标视频片段中的一个视频单元与样本视频片段中的一个视频单元之间的内容相似度的具体实现方式可以为:计算第一参数集,所述第一参数集为所述目标视频片段中的第一视频单元的线性拟合特征的参数的集合;获取第二参数集,所述第二参数集为所述样本视频单元中的第二视频单元的线性拟合特征的参数的集合;所述第一参数集与所述第二参数集中的对应参数间的差值的乘积为所述第一视频单元与所述第二视频单元之间的相似度,其中,所述第一参数集中包括:所述第一视频单元的线性拟合特征在X轴上的投影、所述第一视频单元的线性拟合特征在Y轴上的投影,所述第一视频单元的线性拟合特征的倾斜角度;所述第二参数集包括:所述第二视频单元的线性拟合特征在X轴上的投影,所述第二视频单元的线性拟合特征在Y轴上的投影,所述第二视频单元的线性拟合特征的倾斜角度。
所述确定模块依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度的具体实现方式可以为:构建网格,所述网格中的横轴为所述目标视频片段中的各个视频单元的编号,所述网格中的纵轴为所述样本视频片段中的各个视频单元的编号,所述网格中的纵向线为经过所述横轴上的整数坐标且与所述纵轴平行的直线,所述网络中的横向线为经过所述纵轴上的整数坐标且与所述横轴平行的直线,所述网格中的横向线与纵向线的交点的权重为所述交点对应的两个视频单元的内容相似度;所述网格中的最优路径为所述目标视频片段与样本视频片段的最优视觉相似度,所述最优路径为此路径上的交叉点的权重之和最大的路径。
获取单元还可以用于获取所述目标视频片段,其具体过程为:
检测在线视频的类型;
当所述在线视频为网页源码中携带绝对路径的视频时,如果所述在线视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地;
当所述在线视频为内嵌在网页中的视频时,将所述网页上的视频文件碎片重组到本地;
当所述在线视频为网盘空间内存储的视频时,获取所述视频的读取权限,如果所述视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地,以获取所述目标视频片段。
本实施例所述的装置,以视频单元之间的内容相似度确定出目标视频片段与样本视频片段之间的最优视觉相似度,从而得到两者匹配程度,因为以视频片段自身的内容为依据,所以准确性高。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种视频检索方法,其特征在于,包括:
获取目标视频片段中的各个视频单元的线性拟合特征;
依据所述各个视频单元的线性拟合特征,计算所述各个视频单元与样本视频片段中的各个视频单元之间的内容相似度;
依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,所述最优视觉相似度用于表示所述目标视频片段与所述样本视频片段之间的匹配程度。
2.根据权利要求1所述的方法,其特征在于,计算所述目标视频片段中的一个视频单元与样本视频片段中的一个视频单元之间的内容相似度的方法包括:
计算第一参数集,所述第一参数集为所述目标视频片段中的第一视频单元的线性拟合特征的参数的集合;
获取第二参数集,所述第二参数集为所述样本视频单元中的第二视频单元的线性拟合特征的参数的集合;
所述第一参数集与所述第二参数集中的对应参数间的差值的乘积为所述第一视频单元与所述第二视频单元之间的相似度。
3.根据权利要求2所述的方法,其特征在于,所述第一参数集中包括:
所述第一视频单元的线性拟合特征在X轴上的投影、所述第一视频单元的线性拟合特征在Y轴上的投影,所述第一视频单元的线性拟合特征的倾斜角度;
所述第二参数集包括:所述第二视频单元的线性拟合特征在X轴上的投影,所述第二视频单元的线性拟合特征在Y轴上的投影,所述第二视频单元的线性拟合特征的倾斜角度。
4.根据权利要求2或3所述的方法,其特征在于,所述依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度包括:
构建网格,所述网格中的横轴为所述目标视频片段中的各个视频单元的编号,所述网格中的纵轴为所述样本视频片段中的各个视频单元的编号,所述网格中的纵向线为经过所述横轴上的整数坐标且与所述纵轴平行的直线,所述网络中的横向线为经过所述纵轴上的整数坐标且与所述横轴平行的直线,所述网格中的横向线与纵向线的交点的权重为所述交点对应的两个视频单元的内容相似度;
所述网格中的最优路径为所述目标视频片段与样本视频片段的最优视觉相似度,所述最优路径为此路径上的交叉点的权重之和最大的路径。
5.根据权利要求4所述的方法,其特征在于,还包括:
依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优时序相似度;
依据所述最优视觉相似度和最优时序相似度,确定所述目标视频片段与所述样本视频片段之间的匹配程度。
6.根据权利要求1或2所述的方法,其特征在于,所述目标视频片段的获取方法包括:
检测在线视频的类型;
当所述在线视频为网页源码中携带绝对路径的视频时,如果所述在线视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地;
当所述在线视频为内嵌在网页中的视频时,将所述网页上的视频文件碎片重组到本地;
当所述在线视频为网盘空间内存储的视频时,获取所述视频的读取权限,如果所述视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地。
7.一种视频检索装置,其特征在于,包括:
获取模块,用于获取目标视频片段中的各个视频单元的线性拟合特征;
计算模块,用于依据所述各个视频单元的线性拟合特征,计算所述各个视频单元与样本视频片段中的各个视频单元之间的内容相似度;
确定模块,用于依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,所述最优视觉相似度用于表示所述目标视频片段与所述样本视频片段之间的匹配程度。
8.根据权利要求7所述的装置,其特征在于,所述计算模块用于计算所述目标视频片段中的一个视频单元与样本视频片段中的一个视频单元之间的内容相似度,包括:
所述计算模块具体用于,计算第一参数集,所述第一参数集为所述目标视频片段中的第一视频单元的线性拟合特征的参数的集合;获取第二参数集,所述第二参数集为所述样本视频单元中的第二视频单元的线性拟合特征的参数的集合;所述第一参数集与所述第二参数集中的对应参数间的差值的乘积为所述第一视频单元与所述第二视频单元之间的相似度。
9.根据权利要求8所述的装置,其特征在于,所述计算模块具体用于计算第一参数集,获取第二参数集,包括:
所述计算模块具体用于:计算第一参数集,获取第二参数集;
其中,所述第一参数集中包括:所述第一视频单元的线性拟合特征在X轴上的投影、所述第一视频单元的线性拟合特征在Y轴上的投影,所述第一视频单元的线性拟合特征的倾斜角度;所述第二参数集包括:所述第二视频单元的线性拟合特征在X轴上的投影,所述第二视频单元的线性拟合特征在Y轴上的投影,所述第二视频单元的线性拟合特征的倾斜角度。
10.根据权利要求8或9所述的装置,其特征在于,所述确定模块用于依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优视觉相似度,包括:
所述确定模块具体用于,构建网格,所述网格中的横轴为所述目标视频片段中的各个视频单元的编号,所述网格中的纵轴为所述样本视频片段中的各个视频单元的编号,所述网格中的纵向线为经过所述横轴上的整数坐标且与所述纵轴平行的直线,所述网络中的横向线为经过所述纵轴上的整数坐标且与所述横轴平行的直线,所述网格中的横向线与纵向线的交点的权重为所述交点对应的两个视频单元的内容相似度;所述网格中的最优路径为所述目标视频片段与样本视频片段的最优视觉相似度,所述最优路径为此路径上的交叉点的权重之和最大的路径。
11.根据权利要求10所述的装置,其特征在于,还包括:
匹配模块,用于依据所述内容相似度,确定所述目标视频片段与样本视频片段的最优时序相似度;以及依据所述最优视觉相似度和最优时序相似度,确定所述目标视频片段与所述样本视频片段之间的匹配程度。
12.根据权利要求7所述的装置,其特征在于,所述获取单元还用于:
检测在线视频的类型;
当所述在线视频为网页源码中携带绝对路径的视频时,如果所述在线视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地;
当所述在线视频为内嵌在网页中的视频时,将所述网页上的视频文件碎片重组到本地;
当所述在线视频为网盘空间内存储的视频时,获取所述视频的读取权限,如果所述视频的大小与样本视频片段的大小之间满足预设条件,则将所述在线视频下载到本地,以获取所述目标视频片段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510111724.8A CN104636505A (zh) | 2015-03-13 | 2015-03-13 | 一种视频检索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510111724.8A CN104636505A (zh) | 2015-03-13 | 2015-03-13 | 一种视频检索方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104636505A true CN104636505A (zh) | 2015-05-20 |
Family
ID=53215250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510111724.8A Pending CN104636505A (zh) | 2015-03-13 | 2015-03-13 | 一种视频检索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104636505A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412690A (zh) * | 2015-07-23 | 2017-02-15 | 无锡天脉聚源传媒科技有限公司 | 一种视频播放的确定方法及装置 |
CN106960006A (zh) * | 2017-02-24 | 2017-07-18 | 河海大学 | 一种不同轨迹间相似度度量系统及其度量方法 |
CN107122439A (zh) * | 2017-04-21 | 2017-09-01 | 图麟信息科技(深圳)有限公司 | 一种视频片段查询方法及装置 |
CN108304506A (zh) * | 2018-01-18 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 检索方法、装置及设备 |
CN109246446A (zh) * | 2018-11-09 | 2019-01-18 | 东方明珠新媒体股份有限公司 | 比较视频内容相似性的方法、装置和设备 |
CN110234022A (zh) * | 2019-05-30 | 2019-09-13 | 阿里巴巴集团控股有限公司 | 一种视频监播方法、装置、系统及设备 |
CN110798736A (zh) * | 2019-11-28 | 2020-02-14 | 百度在线网络技术(北京)有限公司 | 视频播放方法、装置、设备和介质 |
CN110830836A (zh) * | 2019-11-18 | 2020-02-21 | 电子科技大学 | 一种视频广告播出监测方法 |
US10944493B2 (en) | 2019-05-30 | 2021-03-09 | Advanced New Technologies Co., Ltd. | Monitoring video broadcasts |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117313A (zh) * | 2010-12-29 | 2011-07-06 | 天脉聚源(北京)传媒科技有限公司 | 一种视频检索方法和系统 |
CN102521321A (zh) * | 2011-12-02 | 2012-06-27 | 华中科技大学 | 基于检索词歧义性和用户偏好的视频搜索方法 |
CN103823833A (zh) * | 2013-11-29 | 2014-05-28 | 奇智软件(北京)有限公司 | 网页中多媒体数据的收藏方法和浏览器装置 |
CN104199896A (zh) * | 2014-08-26 | 2014-12-10 | 海信集团有限公司 | 基于特征分类的视频相似度确定及视频推荐方法 |
-
2015
- 2015-03-13 CN CN201510111724.8A patent/CN104636505A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117313A (zh) * | 2010-12-29 | 2011-07-06 | 天脉聚源(北京)传媒科技有限公司 | 一种视频检索方法和系统 |
CN102521321A (zh) * | 2011-12-02 | 2012-06-27 | 华中科技大学 | 基于检索词歧义性和用户偏好的视频搜索方法 |
CN103823833A (zh) * | 2013-11-29 | 2014-05-28 | 奇智软件(北京)有限公司 | 网页中多媒体数据的收藏方法和浏览器装置 |
CN104199896A (zh) * | 2014-08-26 | 2014-12-10 | 海信集团有限公司 | 基于特征分类的视频相似度确定及视频推荐方法 |
Non-Patent Citations (1)
Title |
---|
吴玲达 等: "基于内容的相似视频片段检索技术", 《小型微型计算机系统》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412690A (zh) * | 2015-07-23 | 2017-02-15 | 无锡天脉聚源传媒科技有限公司 | 一种视频播放的确定方法及装置 |
CN106412690B (zh) * | 2015-07-23 | 2020-01-10 | 无锡天脉聚源传媒科技有限公司 | 一种视频播放的确定方法及装置 |
CN106960006A (zh) * | 2017-02-24 | 2017-07-18 | 河海大学 | 一种不同轨迹间相似度度量系统及其度量方法 |
CN106960006B (zh) * | 2017-02-24 | 2020-05-05 | 河海大学 | 一种不同轨迹间相似度度量系统及其度量方法 |
CN107122439A (zh) * | 2017-04-21 | 2017-09-01 | 图麟信息科技(深圳)有限公司 | 一种视频片段查询方法及装置 |
CN108304506A (zh) * | 2018-01-18 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 检索方法、装置及设备 |
CN109246446A (zh) * | 2018-11-09 | 2019-01-18 | 东方明珠新媒体股份有限公司 | 比较视频内容相似性的方法、装置和设备 |
CN110234022A (zh) * | 2019-05-30 | 2019-09-13 | 阿里巴巴集团控股有限公司 | 一种视频监播方法、装置、系统及设备 |
US10944493B2 (en) | 2019-05-30 | 2021-03-09 | Advanced New Technologies Co., Ltd. | Monitoring video broadcasts |
US11201683B2 (en) | 2019-05-30 | 2021-12-14 | Advanced New Technologies Co., Ltd. | Monitoring video broadcasts |
CN110830836A (zh) * | 2019-11-18 | 2020-02-21 | 电子科技大学 | 一种视频广告播出监测方法 |
CN110798736A (zh) * | 2019-11-28 | 2020-02-14 | 百度在线网络技术(北京)有限公司 | 视频播放方法、装置、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104636505A (zh) | 一种视频检索方法及装置 | |
CN108921221B (zh) | 用户特征的生成方法、装置、设备及存储介质 | |
US9551583B1 (en) | Hybrid road network and grid based spatial-temporal indexing under missing road links | |
EP2657884B1 (en) | Identifying multimedia objects based on multimedia fingerprint | |
Padhee et al. | Spatio-temporal reconstruction of MODIS NDVI by regional land surface phenology and harmonic analysis of time-series | |
US20080307203A1 (en) | Scaling Instruction Intervals to Identify Collection Points for Representative Instruction Traces | |
CN109522435A (zh) | 一种图像检索方法及装置 | |
US20190034473A1 (en) | Methods and systems to detect and correct outliers in a dataset stored in a data-storage device | |
CN103646070A (zh) | 搜索引擎的数据处理方法及装置 | |
US11017016B2 (en) | Clustering product media files | |
US10303794B2 (en) | Query performance prediction | |
Xu et al. | Robust and automatic modeling of tunnel structures based on terrestrial laser scanning measurement | |
CN105260371A (zh) | 一种特征选择方法及装置 | |
CN112818162A (zh) | 图像检索方法、装置、存储介质和电子设备 | |
US20150278907A1 (en) | User Inactivity Aware Recommendation System | |
Hewitt et al. | Inconsistency robustness | |
US7702699B2 (en) | Dynamic data stream histograms for large ranges | |
Bánhidi et al. | Sensitivity of TOPSIS ranks to data normalization and objective weights on the example of digital development | |
US9201967B1 (en) | Rule based product classification | |
US8630477B2 (en) | Electronic device and method for outputting measurement data | |
CN114743150A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
KR102242042B1 (ko) | 데이터 라벨링 방법, 시스템 및 컴퓨터 프로그램 | |
CN105824871A (zh) | 一种图片检测方法与设备 | |
Li et al. | An integrated fast Hough transform for multidimensional data | |
Jang et al. | Accurate approximation of the earth mover’s distance in linear time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150520 |