CN103279580B - 基于新型语义空间的视频检索方法 - Google Patents

Abstract

本发明提出了一个基于新型语义空间的视频检索方法。该方法首先会将所有的概念构建一个概念空间，并且对每个概念构建一个检测器，用于将视频中的低级特征映射到概念空间中。针对构建好的概念空间，对其进行谱分解，得到多个“关键概念”张成的语义空间。再根据该语义空间，构建一个全局的本体语义空间，该空间用来衡量不同概念之间的相似度。该发明解决了检索过程中，对于不同概念之间无法直接进行统一和全局的比较的问题，从而提高了检索视频的精度。

Description

基于新型语义空间的视频检索方法

技术领域

本发明涉及多媒体检索领域，提出基于新型语义空间的视频检索方法。

背景技术

传统的视频检索是基于视频的文本标签进行检索的，没有将视频特征和文本特征的相关性结合起来，导致检索结果不佳。基于概念的语义的视频检索成为了主流趋势，然而当前的技术主要是基于单一概念的语义进行视频检索，忽略了概念之间的从属关系，推导关系，并没有充分发挥概念语义之间的关系的能力。比如“坦克”，“迫击炮”，“轰炸机”等概念从属于“武器”这个概念，而“武器”这个概念对“战争”这个概念又有一定的推导能力。对于检索“战争”相关的视频时，当视频中出现了“坦克”，“迫击炮”，那么就有一定程度说明该视频与“战争”相关，即语义之间的关系网对于提高视频检索精度具有很大意义。

发明内容

本发明充分利用多个概念的语义之间从属关系和推导关系，构建一个全局统一的语义空间，在该空间上进行基于语义的检索，解决了当前基于单一概念的语义的方法进行视频检索的不足，从而提高检索精度。

本发明为了实现上述目的采用以下技术方案：

基于新型语义空间的视频检索方法，其特征在于：

给定一组基础的概念语义，构成传统概念语义空间C＝[C₁，C₂，……·C_N]，其中每个C_i为一个概念的语义，每个概念C_i对应一个检测器d_i，用以将视频的低级特征映射到概念空间中。

构建新的语义空间B的过程如下：

步骤A1：对语义空间进行转换，得到新的完备和紧致的语义空间P，可以根据C空间的情况来选择方法，线性空间可采用PCA，SVD，非负矩阵分解等，非线性空间可采用manifold方法。

步骤A2：将C空间中的语义映射到P空间中，然后的进行层次聚类，可使用BrownCluster或其他算法。该聚类的结果可以构建一个树形结构，用来表达概念之间的从属和推广能力。

步骤A3：选择表达P空间中每个概念之间相似度度量的策略，使用WUP来表达具有从属和推广能力的相似度。其中表示概念i和概念j的最短路径的树的深度，L(C_i，C_j)表示最短路径的长度。

步骤A4：采用步骤A3计算每个概念与其他概率的相似度，可以构造一个关系矩阵R，R为对称矩阵。对R进行谱分解，抽取其中的基向量构造新的语义空间B；

其中V为R的特征向量矩阵，Λ为特征值对角矩阵。

检索过程，具体包括以下步骤：

步骤B1：对于一个属于原始语义概念空间C的未知语义将其映射到P空间中，形成将映射到新的B空间中，映射公式为：计算B空间中向量间的相似度，这里采用余弦相似度来计算，计算公式为：

步骤B2：对每个视频的关键帧，使用每个检测器d_i(如：这里使用MediaMil-101，Columbia-374和Vireo-374这些检测器集合中的概念检测器)，响应超过一定阈值，则将其对应的C_i加入到集合S中，并对S中的每个语义概念进行步骤B1中的映射，形成新的语义集合N，计算与N中的相似度，进行排序，选取前K个视频作为返回视频。

本发明具有以下有益效果：

本发明充分利用多个概念的语义之间从属关系和推导关系，构建一个全局统一的语义空间，在该空间上进行基于语义的检索，解决了当前基于单一概念的语义的方法进行视频检索的不足，从而提高检索精度。

附图说明

图1为本发明的系统流程图。

具体实施方式

基于新型语义空间的视频检索方法，其特征在于：

给定一组基础的概念语义，构成传统概念语义空间C＝[C₁，C₂，……·C_N]，其中每个C_i为一个概念的语义，每个概念C_i对应一个检测器d_i，用以将视频的低级特征映射到概念空间中。

构建新的语义空间B的过程如下：

步骤A1：对语义空间进行转换，得到新的完备和紧致的语义空间P，可以根据C空间的情况来选择方法，线性空间可采用PCA，SVD，非负矩阵分解等，非线性空间可采用manifold方法。

步骤A2：将C空间中的语义映射到P空间中，然后的进行层次聚类，可使用BrownCluster或其他算法。该聚类的结果可以构建一个树形结构，用来表达概念之间的从属和推广能力。

步骤A3：选择表达P空间中每个概念之间相似度度量的策略，使用WUP来表达具有从属和推广能力的相似度。其中表示概念i和概念j的最短路径的树的深度，L(C_i，C_j)表示最短路径的长度。

步骤A4：计算每个概念与其他概率的相似度，可以构造一个关系矩阵R，R为对称矩阵。对R进行谱分解，抽取其中的基向量构造新的语义空间B。

其中V为R的特征向量矩阵，∧为特征值对角矩阵。

检索过程，包括以下步骤：

步骤B1：对于一个属于原始语义概念空间C的未知语义将其映射到P空间中，形成将映射到新的B空间中，映射公式为：计算B空间中向量间的相似度，这里采用余弦相似度来计算，计算公式为：

步骤B2：对每个视频的关键帧，使用每个检测器d_i，响应超过一定阈值，则将其对应的C_i加入到集合S中，并对S中的每个语义概念进行步骤B1中的映射，形成新的语义集合N，计算与N中的相似度，进行排序，选取前K个视频作为返回视频。

实施的流程简单介绍如下：

1:首先采用一些原始概念检测器，每个概念检测器对应一个概念，由多个概念构成定义原始概念空间C。

2:将系统预定义的原始概念组成的原始概念空间C进行变换(如PCA)，转变为一个紧致的关键概念空间P。

3：构建原始概念之间的关系矩阵，该关系矩阵由每对概念之间的相似度WUP构成，对该矩阵进行谱分解，获得一个变化矩阵T。

4：使用T矩阵将P空间进行变换，变化后获得新的B空间，该B空间即为新型的本体语义空间。C_i，C_j

C_i，C_j

5：对新来的query，即来至于原始语义空间C中的未知向量，对query这个向量先投影到空间P中得到Qp向量，再将Qp向量使用T变化矩阵投影到B空间，最后得到一个属于B空间中的Qb向量。

6：对所有的视频关键帧的样本使用原始概念检测器进行检测，获得关键帧在B空间中的向量集合，然后同样进行与5中一致的变换，得到B空间中关键帧的向量集合S。

7：使用余弦相似度对Qb和S中的每个向量计算相似度，排序后，取得相似度最大的K个视频即可。

Claims (1)

1.基于新型语义空间的视频检索方法，其特征在于：

构建传统概念语义空间：

给定一组基础的概念语义，构成传统概念语义空间C＝[C₁,C₂,.......C_N]，其中每个C_i为一个概念的语义，每个概念C_i对应一个检测器d_i，用以将视频的低级特征映射到概念空间中；

构建新的语义空间B，其步骤包括以下步骤：

步骤A1：对传统概念语义空间进行转换，得到新的完备和紧致的语义空间P，

步骤A2：将C空间中的语义映射到P空间中，然后的进行层次聚类，该聚类的结果构建一个树形结构，用来表达概念之间的从属和推广能力；

步骤A3：选择表达P空间中本体的概念之间相似度度量的策略，使用WUP来表达具有从属和推广能力的相似度，其中表示概念C_i和概念C_j的最低的公共父亲节点的深度，L(C_i，C_j)表示C_i和C_j之间的路径的长度；

步骤A4：采用步骤A3计算P空间中的每个概念与其他概念的相似度，构造一个关系矩阵R，R为对称矩阵，对R进行谱分解，公式如下：

$R={\mathrm{V\ΛV}}^T={\left({\mathrm{V\Λ}}^{\frac{1}{2}}{V}^T\right)}^T\left({\mathrm{V\Λ}}^{\frac{1}{2}}{V}^T\right)$

V为R的特征向量矩阵，Λ为特征值对角矩阵；

抽取其中的基向量构造新的语义空间B，公式如下：

检索过程，具体包括以下步骤：

步骤B1：对于一个属于传统语义概念空间C的未知语义将其映射到P空间中，形成将映射到新的B空间中，映射公式为：计算B空间中向量间的相似度，这里采用余弦相似度来计算，计算公式为：

公式中B_i、B_j新的语义空间B中的向量；

步骤B2：对每个视频的关键帧，使用每个传统语义概念C_i所对应的概念检测器d_i，响应超过一定阈值，则将其对应的C_i加入到集合S中，并对S中的每个语义概念进行步骤B1中的映射，形成新的语义集合N，计算与N中的余弦相似度，进行排序，选取前K个视频作为返回视频。