CN103279578B - 一种基于上下文空间的视频检索方法 - Google Patents

Abstract

本发明提出一个基于上下文空间的视频检索方法。该系统通过对基础的概念空间对象进行分析，构建一个概念相似度矩阵，然后对其进行谱分解，得到一组基本的概念基，最后将已知的概念映射至该组概念基张成的空间上，并在此空间上度量概念对象之间的相似度。该发明构建概念空间的方式避免了传统本体概念集下度量测度所带来的局部性、不一致性等问题，使得映射至该空间上的概念对象之间的度量测度统一并且全局一致，为视频检索问题提供了一种有效的解决方案，使得基本抽象概念之间的关系更加紧致，有效地提高了视频检索的精度。

Description

一种基于上下文空间的视频检索方法

技术领域

本发明涉及多媒体语义挖掘领域，提出了一种基于上下文空间的视频检索方法。

背景技术

语义概念挖掘正逐渐成为提高视频检索精度的主流研究方向，但是传统语义概念挖掘大多针对单一概念进行探测，而忽略了大多概念对象在视频中共发这一客观事实。简而言之，概念之间并不是彼此独立、毫无关联的，它们之间在视频单元中往往是紧密联系的。正是概念对象相互关联这一客观事实提供了进一步挖掘上下文信息的线索，以增强视频检索的精度。特别是在一些已知概念对象存在的前提下，可以在上下文信息(概念相关性)的指引下挖掘一些本身客观存在但是在传统语义概念挖掘中并未发现的概念知识。比如，“飞机”、“天空”、“云彩”等概念对象经常在视频单元中共同出现，因此当系统检测出该视频单元中包含如“天空”、“云彩”等概念提供的上下文信息会有效提升系统检索“飞机”这一概念对象的效果。

发明内容

本发明的目的是克服现有视频语义挖掘技术的不足，提出了一种构建语义概念上下文空间的方法，使得映射至此空间上的语义概念之间的测度统一并且全局一致，可以在一定程度上提高现有视频检索的精度。

本发明为了实现上述目的采用以下技术方案：

一种基于上下文空间的视频检索方法，其特征在于：

给定一组基础的概念词汇集A＝[C₁,C₂,C₃…C_n]；

构造上下文空间的过程：

步骤A1基础的概念词汇集A进行Agglomerative层次聚类形成紧致概念集A‘，去除了原始概念集的冗余，增强了后期矩阵分解的计算稳定性。是对原始概念集的一个提炼处理。

步骤A2采用皮尔森积差系数作为A‘概念集中任意一组概念对之间相关性的度量标准，构造相关性矩阵R，

步骤A3、对构造好的矩阵R，将其表达为：

R＝C^TC(2)，

对其进行谱分解得到：

其中，∧为对角矩阵，其值由矩阵R分解后所有特征值组成，V为对应特征值的特征向量所组成的矩阵，

由等式(2)和(3)得到C的向量表示：

步骤A4、通过计算得到的一组基向量，将其在向量空间中构造张成一个正交的上下文空间；

概念表达及检索比对：

步骤B1、将由基本概念集抽象而成的本体概念集之外的概念映射至构建好的上下文空间中得到向量对C_i,C_j，映射方法如下，对于C_u￠V将其向量化为：

$C^T\stackrel{\→}{C_u}=\stackrel{\→}{R_u}$

$\stackrel{\→}{C_u}={\left(C^T\right)}^{-1}\stackrel{\→}{R_u},$

其中由概念C_u与上下文空间中的概念基通过皮尔森积差系数构成，利用Moore-Penrose违逆法计算(C^T)^-1；

将映射得到的向量对C_i,C_j，用向量空间余弦相似度度量如：

$Semantic(C_i,C_j)=\frac{\stackrel{\→}{C_i}.\stackrel{\→}{C_j}}{\left|\stackrel{\→}{C_i}\right|\left|\stackrel{\→}{C_j}\right|};$

得到的概念对之间的差异可以为后期的检索比对提供一个全局一致的响应值；

步骤B2、对于查询请求的视频样本抽象出的概念集按照1中的方式映射至上下文空间并在上下文空间内进行概念的识别、匹配，将各个概念对其的响应值构造成一组查询向量组其中q_i(1≤i≤m)为上下文空间中基概念对单个查询概念的响应值，将查询组作为原始查询概念的加权系数与样本库中的视频片段进行比对得出最终的查询结果。

上述方案中，步骤A2中所述的皮尔森积差系数描述如下：

$PM(C_i,C_j)\frac{{\mathrm{\Σ}}_{k=1}^{\left|\mathrm{\τ}\right|}(O_{ik}-{\mathrm{\μ}}_i)(O_{jk}-{\mathrm{\μ}}_i)}{\left(\right|\mathrm{\τ}|-1){\mathrm{\σ}}_i{\mathrm{\σ}}_j}---\left(1\right)$

其中，如果在视频序列中第k个视频帧检测出了概念C_i，那么令O_ik为1，否则为0，μ_i和σ_i分别表示样本的均值和方差，|τ|表示训练样本的个数。

本发明具有以下有益效果：

一、相对于传统基于内容的视频检索技术，该发明以语义概念检索为基础，有效地填补了现实世界与低层特征空间的语义鸿沟。

二、相对于传统的语义空间的构建方法，该发明更多注重的是语义概念之间的相关性，语义概念并不是彼此独立存在的，它们之间的存在一定的共发性和相关性。简而言之，概念的推理并不是彼此隔离的个体行为，而是彼此相互关联的客观事实。因此，该发明充分挖掘了语义概念之间的关系，促进了视频检索的精度。

三、传统的本体概念空间在概念度量上存在局部性、不一致性等问题，并不能够保证概念之间差异的有效性。该发明提出的由一组基向量张成空间的思想方法，使得映射至该空间上的概念之间的差异全局一致并且有效。

四、传统的基向量的构建往往采用诸如流行学习、因子分析、聚类等方案，本发明先对原始概念集进行Agglomerative层次聚类，在此基础上构建关系矩阵进行谱分解，由此产生的基向量是对原始概念集最紧致的一种描述表达。

五、传统的查询往往采用基于经验、基于数据分布、基于监督学习等方式对查询请求进行处理，本发明采用将查询请求映射至上下文空间得到概念空间的响应作为加权向量，再对原始查询进行处理，能够有效避免传统处理方式带来的不客观、不能保证准确刻画类内的语义一致性和类间差异等问题。

附图说明

图1为本发明的样本检索图

图2为本发明的流程图；

图3为本发明的构造上下文空间的过程流程图。

具体实施方式

本发明提供了一种基于上下文空间的视频检索方法：

给定一组基础的概念词汇集A＝[C₁,C₂,C₃…C_n]。

构造上下文空间的过程：

步骤A1、基础的概念词汇集A进行Agglomerative层次聚类形成紧致概念集A‘，去除了原始概念集的冗余，增强了后期矩阵分解的计算稳定性。是对原始概念集的一个提炼处理。

步骤A2、采用皮尔森积差系数(Pearsonproduct-moment)作为A‘概念集中任意一组概念对(conceptpair)之间相关性的度量标准构造相关性矩阵R。皮尔森积差系数描述如下：

$PM(C_i,C_j)\frac{{\mathrm{\Σ}}_{k=1}^{\left|\mathrm{\τ}\right|}(O_{ik}-{\mathrm{\μ}}_i)(O_{jk}-{\mathrm{\μ}}_i)}{\left(\right|\mathrm{\τ}|-1){\mathrm{\σ}}_i{\mathrm{\σ}}_j}---\left(1\right)$

其中，如果在视频序列中第k个视频帧检测出了概念C_i，那么令O_ik为1，否则为0，μ_i和σ_i分别表示样本的均值和方差，|τ|表示训练样本的个数。

步骤A3、对构造好的矩阵R，可将其表达为：

R＝C^TC(2)，

对其进行谱分解得到：

其中，∧为对角矩阵，其值由矩阵R分解后所有特征值组成，V为对应特征值的特征向量所组成的矩阵。由等式(2)和(3)得到：

步骤A4、将得到的一组向量基张成一个上下文空间，由于构成该空间的向量基彼此正交，因此它对于原始本体概念集的表达能力更加丰富。

概念表达及检索比对：

步骤B1、将由基础的概念词汇集抽象而成的本体概念集之外，也就是将基础概念集聚类抽象而成，是对基础概念更加精简的表达的概念映射至构建好的上下文空间中得到向量对C_i,C_j，映射方法如下，对于C_u￠V将其向量化如：

$C^T\stackrel{\→}{C_u}=\stackrel{\→}{R_u}$

$\stackrel{\→}{C_u}={\left(C^T\right)}^{-1}\stackrel{\→}{R_u},$

其中由概念C_u与上下文空间中的概念基通过皮尔森积差系数构成，利用Moore-Penrose违逆法计算(C^T)^-1；V为对应特征值的特征向量所组成的矩阵。将映射得到的向量对C_i,C_j，用向量空间余弦相似度度量如：

$Semantic(C_i,C_j)=\frac{\stackrel{\→}{C_i}.\stackrel{\→}{C_j}}{\left|\stackrel{\→}{C_i}\right|\left|\stackrel{\→}{C_j}\right|};$

这样得到的概念对之间的差异可以为后期的检索比对提供一个全局一致的响应值。

步骤B2、对于查询请求的视频样本抽象出的概念集按照步骤B1中的方式映射至上下文空间内进行概念的识别、匹配，也就是将查询请求投影在上下文空间中，这样就可以在一个可度量的空间中进行相似度匹配了，其实就是一个比对的过程，将各个概念对其的响应值构造成一组查询向量组其中q_i(1≤i≤m)为上下文空间中基概念对单个查询概念的响应值，将查询组作为原始查询概念的加权系数与样本库中的视频片段进行比对得出最终的查询结果。

Claims (1)

1.一种基于上下文空间的视频检索方法，其特征在于：

给定一组基础的概念词汇集A＝[C₁,C₂,C₃…C_n]；

构造上下文空间的过程：

步骤A1、基础的概念词汇集A进行Agglomerative层次聚类形成紧致概念集A‘；

步骤A2、采用皮尔森积差系数作为A‘概念集中任意一组概念对之间相关性的度量标准，构造相关性矩阵R，

步骤A3、对构造好的矩阵R，将其表达为：

R＝C^TC(2)，

对其进行谱分解得到：

其中，∧为对角矩阵，其值由矩阵R分解后所有特征值组成，V为对应特征值的特征向量所组成的矩阵，

由等式(2)和(3)得到C的向量表示：

步骤A4、通过计算得到的一组基向量，将其在向量空间中构造张成一个正交的上下文空间；

概念表达及检索比对：

步骤B1、将由基础的概念词汇集抽象而成的本体概念集之外的概念映射至构建好的上下文空间中得到向量对C_i,C_j，映射方法如下，对于将其向量化为：

$C^T\stackrel{\→}{C_u}=\stackrel{\→}{R_u}$

$\stackrel{\→}{C_u}={\left(C^T\right)}^{-1}\stackrel{\→}{R_u},$

其中由概念C_u与上下文空间中的概念集通过皮尔森积差系数构成，利用Moore-Penrose违逆法计算(C^T)^-1；V为对应特征值的特征向量所组成的矩阵，

将映射得到的向量对C_i,C_j，用向量空间余弦相似度度量如：

$Semantic(C_i,C_j)=\frac{\stackrel{\→}{c_i}\·\stackrel{\→}{c_j}}{\left|\stackrel{\→}{c_i}\right|\left|\stackrel{\→}{c_j}\right|};$

得到的概念对之间的差异可以为后期的检索比对提供一个全局一致的响应值；

步骤B2、对于查询请求的视频样本抽象出的概念集按照步骤B1中的方式映射至上下文空间并在上下文空间内进行概念的识别、匹配，将各个概念对其的响应值构造成一组查询向量组其中q_i(1≤i≤m)为上下文空间中集概念对单个查询概念的响应值，将查询组作为原始查询概念的加权系数与样本库中的视频片段进行比对得出最终的查询结果；

步骤A2中所述的皮尔森积差系数描述如下：

$PM(C_i,C_j)=\frac{{\mathrm{\Σ}}_{k=1}^{\left|\mathrm{\τ}\right|}(O_{ik}-{\mathrm{\μ}}_i)(O_{jk}-{\mathrm{\μ}}_i)}{\left(\right|\mathrm{\τ}|-1){\mathrm{\σ}}_i{\mathrm{\σ}}_j}---\left(1\right)$

其中，如果在视频序列中第k个视频帧检测出了概念C_i，那么令O_ik为1，否则为0，μ_i和σ_i分别表示样本的均值和方差，|τ|表示训练样本的个数。