CN103412909B - 一种基于特征融合的视频数据检索方法 - Google Patents
一种基于特征融合的视频数据检索方法 Download PDFInfo
- Publication number
- CN103412909B CN103412909B CN201310332704.4A CN201310332704A CN103412909B CN 103412909 B CN103412909 B CN 103412909B CN 201310332704 A CN201310332704 A CN 201310332704A CN 103412909 B CN103412909 B CN 103412909B
- Authority
- CN
- China
- Prior art keywords
- video data
- matrix
- represent
- feature
- calculate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于特征融合的视频数据检索方法,计算不同种类视频数据特征的拉普拉斯矩阵,对拉普拉斯矩阵进行融合得到联合拉普拉斯矩阵,提取联合拉普拉斯矩阵的特征值和特征向量,找出前M个最大特征值所对应的特征向量,计算这些特征向量的相似性矩阵,最后,对每个要查找的目标视频数据,利用相似性矩阵得到每个视频数据的分数,将视频数据按照分数从高到低排序,在前若干个排好序的视频数据中,统计其中与目标视频数据属于同一类别的视频数据数量,计算检索准确率。利用本发明方法,可以实现多种视频数据特征的融合检索,融合后的检索准确率比融合前有了大幅提高。
Description
技术领域
本发明涉及一种基于特征融合的视频数据检索方法,可以应用于不同种类视频数据的检索当中。
背景技术
随着数字多媒体数据的爆炸式增长,网络上的视频数据数量与日俱增,如何利用计算机在海量的视频数据中准确地检索出用户喜欢的视频数据变的越来越重要。传统的视频数据检索方法主要是根据视频数据的底层视觉特征如颜色、形状和纹理等来区分视频的类别,从大量视频数据中寻找出用户期望得到的视频数据类型。但是这种方法的准确性还不能令人满意,近来一种基于人脑认知的视频数据特征被提出并用在视频数据检索中,取得了优于传统视频数据特征的效果。该特征来自测试者观看视频数据时大脑的磁共振响应数据,反映了视频数据在人脑中的理解模式,我们称这种视频数据特征为脑功能特征。虽然脑功能特征在平均水平上比传统特征表现优越,但是我们也发现,对于某些个视频数据,在传统特征中表现要好于脑功能特征。这说明,传统特征还是有其独特的优越性的。所以,基于这些发现,我们提出了一种视频检索方法,该方法能将两种特征的优势进行融合,并用于视频检索中,结果表明,与单独使用一种特征进行检索相比,检索准确率有了很大的提高。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于特征融合的视频数据检索方法,将传统的视频特征和脑功能特征进行融合,提高视频数据检索技术的准确性。
技术方案
一种基于特征融合的视频数据检索方法,其特征在于步骤如下:
步骤1利用计算N个视频数据的特征X1,X2,...,XN的相似性矩阵W1,利用计算N个视频数据的特征Y1,Y2,...,YN的相似性矩阵W2;
其中,X1,X2,...,XN表示第1、2和N个视频数据的第一种特征;Y1,Y2,...,YN表示第1、2和N个视频数据的第二种特征;表示矩阵W1第i行和第j列的元素;i=1,2,...,N,j=1,2,...,N,N>0;σ>0为常数;Xi,Xj表示第i个和第j个视频数据的第一种特征;上标T表示向量转置;表示矩阵W2第i行和第j列的元素;Yi,Yj表示第i个和第j个视频数据的第二种特征;
步骤2利用公式计算W1的拉普拉斯矩阵L1,利用计算W2的拉普拉斯矩阵L2;
其中,D1表示对角线矩阵,其元素 t=1,2,...,N;表示矩阵W1的第i行第t列的元素;D2表示对角线矩阵,其元素 t=1,2,...,N;表示矩阵W2的第i行第t列的元素;
步骤3利用公式计算联合拉普拉斯矩阵L;其中,p=1,2;α>0表示常数;I表示单位矩阵;
步骤4计算联合拉普拉斯矩阵L的特征值和特征向量,选取前M个最大特征值所对应的特征向量U1,U2,...,UM;其中,M≥1表示常数;U1,U2,...,UM表示大小为N×1的特征向量;
步骤5构造矩阵V=[U1 U2...UM];计算[V1 V2...VN]T的相似性矩阵S,S的元素计算公式为:
其中,V1,V2,...,VN表示矩阵V的第1,2,...,N行元素;
步骤6利用公式r=β(I-λS)-1F计算N个视频数据的分数r,并将视频数据按照分数大小从高到低排列,得到排序后的N个视频数据;其中,r=(r1,r2,...,rN)表示N个视频数据的得分向量,r1,r2,...,rN表示第1,2,...,N个视频数据的得分;β=1-λ表示常数;λ=0.99;F=[f1,...,fN]T表示检索时的查询向量,fi=1表示第i个视频数据为所要查找的目标视频数据,否则fi=0。
利用统计前Q个排序后的音频数据中与目标音频数据属于同一类别的音频数据数量C,计算检索准确率A=C/Q。
有益效果
本发明提出的一种基于特征融合的视频数据检索方法,计算不同种类视频数据特征的拉普拉斯矩阵,对拉普拉斯矩阵进行融合得到联合拉普拉斯矩阵,提取联合拉普拉斯矩阵的特征值和特征向量,找出前M个最大特征值所对应的特征向量,计算这些特征向量的相似性矩阵,最后,对每个要查找的目标视频数据,利用相似性矩阵得到每个视频数据的分数,将视频数据按照分数从高到低排序,在前若干个排好序的视频数据中,统计其中与目标视频数据属于同一类别的视频数据数量,计算检索准确率。利用本发明方法,可以实现多种视频数据特征的融合检索,融合后的检索准确率比融合前有了大幅提高。
本发明提出的一种视频数据检索方法,能够融合视频数据不同种类特征进行视频数据检索,与单独用一种特征进行检索相比,大大提高了视频数据检索的准确率。
附图说明
图1:本发明方法的基本流程图
图2:本发明方法的检索结果
具体实施方式
现结合实施例、附图对本发明作进一步描述:
用于实施的硬件环境是:AMD Athlon 64×2 5000+计算机、2GB内存、256M显卡,运行的软件环境是:Matlab2009a和Windows XP。我们用Matlab软件实现了本发明提出的方法。
本发明流程图如附图1所示,具体实施如下:
1、分别计算N=1256个视频数据的两种特征X1,X2,...,XN和Y1,Y2,...,YN的拉普拉斯矩阵L1和L2。X1,X2,...,XN表示第1、2和N个视频数据的第一种特征;Y1,Y2,...,YN表示第1、2和N个视频数据的第二种特征。1256个视频数据包含三类,分别为:561个运动视频数据、364个天气预报视频数据和331个广告视频数据。两种特征分别为脑功能特征和底层特征,具体步骤如下:
(1)计算两种特征X1,X2,...,XN的相似性矩阵W1和Y1,Y2,...,YN的相似性矩阵W2,W1的元素计算公式为同理计算矩阵W2,其元素计算公式为
其中,表示矩阵W1第i行和第j列的元素;i=1,2,...,N,j=1,2,...,N,N=1256;σ=8×10-6为常数;Xi,Xj表示第i个和第j个视频数据的第一种特征;上标T表示向量转置;表示矩阵W2第i行和第j列的元素;Yi,Yj表示第i个和第j个视频数据的第二种特征;
(2)利用公式计算W1的拉普拉斯矩阵L1,同理,计算W2的拉普拉斯矩阵
其中,D1表示对角线矩阵,其元素 t=1,2,...,N;表示矩阵W1的第i行第t列的元素;D2表示对角线矩阵,其元素 t=1,2,...,N;表示矩阵W2的第i行第t列的元素;
2、利用公式计算联合拉普拉斯矩阵L;其中,p=1,2;α=0.01表示常数;I表示单位矩阵;
3、计算联合拉普拉斯矩阵L的特征值和特征向量,选取前M个最大特征值所对应的特征向量U1,U2,...,UM;其中,M≥1表示常数;U1,U2,...,UM表示大小为N×1的特征向量;
4、构造矩阵V=[U1 U2...UM];计算[V1 V2...VN]T的相似性矩阵S,S的元素计算公式为σ=8×10-6;其中,V1,V2,...,VN表示矩阵V的第1,2,...,N行元素;
5、利用公式r=β(I-λS)-1F计算N个视频数据的分数r,并将视频数据按照分数大小从高到低排列,得到排序后的N个视频数据。
其中,r=(r1,r2,...,rN)表示N个视频数据的得分向量,r1,r2,...,rN表示第1,2,...,N个视频数据的得分;β=1-λ表示常数;λ=0.99;F=[f1,...,fN]T表示检索时的查询向量,fi=1表示第i个视频数据为所要查找的目标视频数据,否则fi=0;
6、统计前Q个排序后的音频数据中与目标音频数据属于同一类别的音频数据数量C,计算检索准确率A=C/Q;
利用本方法进行视频数据检索,将1256个视频数据每个都作为目标视频数据进行一次检索,在前5、10、15和20个视频数据内分别统计与目标视频数据属于同一类别的视频数据数量,计算检索准确率。对1256个视频数据查询所得的检索准确率进行平均,得到1256个视频的平均检索准确率。如附图2所示。作为对比,我们也单独使用脑功能特征和底层特征进行检索,将得到的检索准确率也显示在附图2中,从图中可以看出,我们提出的检索算法可以综合利用两种特征的优势,得到比两种特征更好的检索准确率。本算法的检索准确率比单独使用脑功能特征的检索准确率提高了16%,比单独使用底层特征的检索准确率提高了25%。
Claims (2)
1.一种基于特征融合的视频数据检索方法,其特征在于步骤如下:
步骤1利用计算N个视频数据的特征X1,X2,...,XN的相似性矩阵W1,利用计算N个视频数据的特征Y1,Y2,...,YN的相似性矩阵W2;
其中,X1,X2,...,XN表示第1、2和N个视频数据的第一种特征;Y1,Y2,...,YN表示第1、2和N个视频数据的第二种特征;表示矩阵W1第i行和第j列的元素;i=1,2,...,N,j=1,2,...,N,N>0;σ>0为常数;Xi,Xj表示第i个和第j个视频数据的第一种特征;上标T表示向量转置;表示矩阵W2第i行和第j列的元素;Yi,Yj表示第i个和第j个视频数据的第二种特征;
步骤2利用公式计算W1的拉普拉斯矩阵L1,利用计算W2的拉普拉斯矩阵L2;
其中,D1表示对角线矩阵,其元素 表示矩阵W1的第i行第t列的元素;D2表示对角线矩阵,其元素 表示矩阵W2的第i行第t列的元素;
步骤3利用公式计算联合拉普拉斯矩阵L;其中,p=1,2;α>0表示常数;I表示单位矩阵;
步骤4计算联合拉普拉斯矩阵L的特征值和特征向量,选取前M个最大特征值所对应的特征向量U1,U2,...,UM;其中,M≥1表示常数;U1,U2,...,UM表示大小为N×1的特征向量;
步骤5构造矩阵V=[U1 U2 ... UM];计算[V1 V2 ... VN]T的相似性矩阵S,S的元素计算公式为:
其中,V1,V2,...,VN表示矩阵V的第1,2,...,N行元素;
步骤6利用公式r=β(I-λS)-1F计算N个视频数据的分数r,并将视频数据按照分数大小从高到低排列,得到排序后的N个视频数据;其中,r=(r1,r2,...,rN)表示N个视频数据的得分向量,r1,r2,...,rN表示第1,2,...,N个视频数据的得分;β=1-λ表示常数;λ=0.99;F=[f1,...,fN]T表示检索时的查询向量,fi=1表示第i个视频数据为所要查找的目标视频数据,否则fi=0;
所述的α=0.01,σ=8×10-6。
2.根据权利要求1所述的基于特征融合的视频数据检索方法,其特征在于:利用统计前Q个排序后的音频数据中与目标音频数据属于同一类别的音频数据数量C,计算检索准确率A=C/Q。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310332704.4A CN103412909B (zh) | 2013-08-01 | 2013-08-01 | 一种基于特征融合的视频数据检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310332704.4A CN103412909B (zh) | 2013-08-01 | 2013-08-01 | 一种基于特征融合的视频数据检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103412909A CN103412909A (zh) | 2013-11-27 |
CN103412909B true CN103412909B (zh) | 2016-08-24 |
Family
ID=49605921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310332704.4A Expired - Fee Related CN103412909B (zh) | 2013-08-01 | 2013-08-01 | 一种基于特征融合的视频数据检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103412909B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680193B (zh) * | 2015-02-11 | 2018-05-04 | 上海交通大学 | 基于快速相似性网络融合算法的在线目标分类方法与系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101329765A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 多摄像机目标匹配特征融合方法 |
CN101826095A (zh) * | 2009-08-25 | 2010-09-08 | 张艳红 | 基于智能脑网格与参数化指数池技术的图像视频搜索引擎 |
CN103136730A (zh) * | 2013-01-25 | 2013-06-05 | 西安理工大学 | 视频图像中内容的光流和轮廓特征动态结构融合方法 |
-
2013
- 2013-08-01 CN CN201310332704.4A patent/CN103412909B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101329765A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 多摄像机目标匹配特征融合方法 |
CN101826095A (zh) * | 2009-08-25 | 2010-09-08 | 张艳红 | 基于智能脑网格与参数化指数池技术的图像视频搜索引擎 |
CN103136730A (zh) * | 2013-01-25 | 2013-06-05 | 西安理工大学 | 视频图像中内容的光流和轮廓特征动态结构融合方法 |
Non-Patent Citations (1)
Title |
---|
视觉显著性检测:一种融合长期和短期特征的信息论算法;钱晓亮 等;《电子与信息学报》;20130731;第35卷(第7期);1636-1643 * |
Also Published As
Publication number | Publication date |
---|---|
CN103412909A (zh) | 2013-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Na et al. | Research on k-means clustering algorithm: An improved k-means clustering algorithm | |
CN107908685A (zh) | 基于迁移学习的多视角商品图像检索与识别方法 | |
CN103336795A (zh) | 基于多特征的视频索引方法 | |
CN104090936B (zh) | 一种基于超图排序的新闻推荐方法 | |
CN102841929A (zh) | 一种综合用户和项目评分及特征因素的推荐方法 | |
CN103177098B (zh) | 一种基于手绘图的三维模型检索的方法 | |
CN101996245B (zh) | 一种图形对象的形状特征描述与检索方法 | |
CN106897914A (zh) | 一种基于主题模型的商品推荐方法及系统 | |
CN102750347B (zh) | 一种用于图像或视频搜索重排序的方法 | |
CN102663447B (zh) | 基于判别相关分析的跨媒体检索方法 | |
CN105678261B (zh) | 基于有监督图的直推式数据降维方法 | |
CN103810252A (zh) | 一种基于群稀疏特征选择的图像检索方法 | |
CN102880834B (zh) | 一种保持数据数字特征的隐私信息保护方法 | |
CN105183795A (zh) | 基于内容的遥感图像变化检测信息检索方法 | |
CN106250925A (zh) | 一种基于改进的典型相关分析的零样本视频分类方法 | |
CN102831161B (zh) | 用于图像检索的基于流形正则化的半监督排序学习方法 | |
CN105868352A (zh) | 一种基于维度相关性分析的高维数据维度排序方法 | |
CN104200227A (zh) | 一种用于人类认知模式识别的特征归一化方法及系统 | |
CN103412909B (zh) | 一种基于特征融合的视频数据检索方法 | |
CN104809478A (zh) | 一种面向大规模三维重建的图像分块方法及装置 | |
CN106776910A (zh) | 一种搜索结果的显示方法及装置 | |
CN103336830A (zh) | 基于结构语义直方图的图像检索方法 | |
CN103049570B (zh) | 基于相关保持映射和一分类器的图像视频搜索排序方法 | |
CN101894267B (zh) | 一种三维对象特征视图选取方法 | |
CN108009847A (zh) | 外卖场景下店铺embedding特征提取的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160824 Termination date: 20190801 |
|
CF01 | Termination of patent right due to non-payment of annual fee |