CN103412907B - 一种改进的视频数据特征映射方法 - Google Patents

Abstract

本发明涉及一种改进的视频数据特征映射方法，在第一次将测试视频数据的第一种特征映射到第二种特征后，从测试的视频数据第一种特征中选出与训练集中第一种特征最相关的特征加入到训练集中，同时从测试视频数据第二种特征中选出与训练集中第二种特征最相关的特征加入到训练集中，然后利用训练集中的特征重新计算映射关系，并利用映射关系重新将测试视频数据的第一种特征重新映射到第二种特征上，得到测试视频数据的第二种特征。本发明提出的方法，能够利用测试视频数据的特征信息建立两种特征之间更完备的映射关系，将测试视频数据的第一种特征更准确地映射到第二种特征上，与传统的视频数据特征映射方法相比，可以提高测试视频数据第二种特征的分类准确率。

Description

一种改进的视频数据特征映射方法

技术领域

本发明涉及一种改进的视频数据特征映射方法，可以应用于视频数据特征映射问题的解决当中。

背景技术

在现实生活中，视频数据某种特征全部可以得到，但是另外一种特征却只能得到一部分，我们将全部都可以得到的特征称为视频数据的第一种特征，将只能得到一部分的特征称为视频数据的第二种特征。我们期望通过特征映射得到视频数据缺失的第二种特征。特征映射是指利用视频数据训练集中的两种特征，建立两种特征之间的映射关系，将用于测试的视频数据的第一种特征映射到第二种特征，从而得到测试视频数据缺失的第二种特征。传统的视频数据特征映射方法在建立映射关系时只利用了训练集中的两种特征，忽视了测试视频数据中所包含的第一种特征，在训练集包含的特征个数较少时难以达到满意的映射效果，所以我们提出了一种改进的视频数据特征映射方法，该方法在第一次将测试视频数据第一种特征映射到第二种特征后，从测试视频数据第一种特征中选出与训练集中第一种特征最相关的特征加入到训练集中，同时从测试的视频数据第二种特征中选出与训练集中第二种特征最相关的特征加入到训练集中，然后利用训练集中的特征重新计算映射关系，并利用映射关系重新将测试视频数据的第一种特征映射到第二种特征上。

实验结果显示，利用改进的视频数据特征映射方法得到的第二种特征的分类准确率高于传统的视频数据特征映射方法得到的第二种特征的分类准确率。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种改进的视频数据特征映射方法，利用测试视频数据的特征信息，建立两种特征之间更完备的映射关系，提高视频数据特征映射方法得到的特征的分类准确率。

技术方案

一种改进的视频数据特征映射方法，其特征在于步骤如下：

步骤1：将训练集R₁中的N个视频数据特征Y₁,Y₂,...,Y_N写成矩阵形式：

$Z=\left[\begin{array}{c}{Y}_1\\ Y_2\\ \·\·\·\\ Y_N\end{array}\right]=\left[\begin{array}{c}{y}_{\mathrm{1,1}},y_{\mathrm{1,2}},\·\·\·,y_{1,n}\\ y_{\mathrm{2,1}},y_{\mathrm{2,2}},\·\·\·,y_{2,n}\\ \·\·\·\\ y_{N,1},y_{N,2},\·\·\·,y_{N,n}\end{array}\right];$

其中，R₁表示N个视频数据特征Y₁,Y₂,...,Y_N和特征X₁,X₂,...,X_N构成的集合；Y₁,Y₂,...,Y_N和X₁,X₂,...,X_N表示N个视频数据的两种特征；y_1,1,y_1,2,...,y_1,n表示Y₁中的n个元素；y_2,1,y_2,2,...,y_2,n表示Y₂中的n个元素；y_N,1,y_N,2,...,y_N,n表示Y_N中的n个元素；N表示训练集中视频数据个数，N＞0；

步骤2：利用 $\left\{\begin{array}{c}{y}_{1,h}=W^T\mathrm{\φ}\left(X_1\right)\\ y_{2,h}=W^T\mathrm{\φ}\left(X_2\right)\\ \·\·\·\\ y_{N,h}=W^T\mathrm{\φ}\left(X_N\right)\end{array}\right.$

计算矩阵Z的第h列元素y_1,h,y_2,h,...,y_N,h的映射矩阵W和基函数φ(X₁),φ(X₂),…,φ(X_N)中参数μ_j和s_j；其中，h＝1,2,...,n；y₁,y₂,...,y_N表示矩阵Z中的一列元素；

所述W表示利用 $\left\{\begin{array}{c}{y}_{1,h}=W^T\mathrm{\φ}\left(X_1\right)\\ y_{2,h}=W^T\mathrm{\φ}\left(X_2\right)\\ \·\·\·\\ y_{N,h}=W^T\mathrm{\φ}\left(X_N\right)\end{array}\right.$ 计算得到的映射矩阵；上标T表示矩阵转置；φ(X₁)＝[φ_j(x_1,j)]，j＝1,2,...,M表示X₁中第j个元素的标号，x_1,j表示X₁中的第j个元素；φ(X₂)＝[φ_j(x_2,j)]，j＝1,2,...,M表示X₂中第j个元素的标号，x_2,j表示X₂中的第j个元素；φ(X_N)＝[φ_j(x_N,j)]；j＝1,2,...,M表示X_N中第j个元素的标号，x_N,j表示X_N中的第j个元素；M表示X₁,X₂,…,X_N中元素的个数；

步骤3：利用 $\left\{\begin{array}{c}{y}_{N+1,h}=W^T\mathrm{\φ}\left(X_{N+1}\right)\\ y_{N+2,h}=W^T\mathrm{\φ}\left(X_{N+2}\right)\\ \·\·\·\\ y_{N+P,h}=W^T\mathrm{\φ}\left(X_{N+P}\right)\end{array}\right.$ 计算P个测试视频数据的特征Y_N+1,Y_N+2,...,Y_N+P的第h列元素y_N+1,h,y_N+2,h,...,y_N+P,h；

其中，X_N+1,X_N+2,...,X_N+P为P个测试视频数据的第一种特征；P表示测试视频数据的个数，P＞0；

步骤4：利用下式计算X₁,X₂,...,X_N和X_N+1,X_N+2,...,X_N+P中每两个特征的相关性系数r(X_i,X_k)，

$r(X_i,X_k)=\frac{{\mathrm{\Σ}}_{t=1}^M\left[(x_{i,t}-{\stackrel{\‾}{X}}_i)\right]\·\left[(x_{k,t}-{\stackrel{\‾}{X}}_k)\right]}{\sqrt{{\mathrm{\Σ}}_{t=1}^M{(x_{i,t}-{\stackrel{\‾}{X}}_i)}^2{\mathrm{\Σ}}_{t=1}^M{(x_{k,t}-{\stackrel{\‾}{X}}_k)}^2}};$

利用下式计算Y₁,Y₂,...,Y_N和Y_N+1,Y_N+2,...,Y_N+P中每两个特征的相关性系数r(Y_i,Y_k)，

$r(Y_i,Y_k)=\frac{{\mathrm{\Σ}}_{q=1}^n\left[(y_{i,q}-{\stackrel{\‾}{Y}}_i)\right]\·\left[(y_{k,q}-{\stackrel{\‾}{Y}}_k)\right]}{\sqrt{{\mathrm{\Σ}}_{q=1}^n{(y_{i,q}-{\stackrel{\‾}{Y}}_i)}^2{\mathrm{\Σ}}_{q=1}^n{(y_{k,q}-{\stackrel{\‾}{Y}}_k)}^2}}$

若r(X_i,X_k)＞T₁且r(Y_i,Y_k)＞T₂，则将Y_k、X_k加入R₁；

其中，r(X_i,X_k)表示视频数据特征X_i和X_k的相关性系数；t＝1,2,...,M；i＝1,2,...,N；k＝N+1,N+2,...,N+P；x_i,t表示X_i中第t个元素；表示X_i的均值；x_k,t表示X_k中第t个元素；表示X_k的均值；T₁,T₂∈[-1,1]表示阈值；r(Y_i,Y_k)表示Y_i和Y_k的相关性系数；q＝1,2,...,n；y_i,q表示Y_i中第q个元素；表示Y_i的均值；y_k,q表示Y_k中第q个元素；表示Y_k的均值；

步骤5：将R₁中视频数据的特征Y₁,Y₂,...,Y_N,Y_k和X₁,X₂,...,X_N,X_k按照步骤1、步骤2和步骤3重新计算得到P个测试视频数据的特征Y′_N+1,Y′_N+2,...,Y′_N+P。

有益效果

本发明提出的一种改进的视频数据特征映射方法，在第一次将测试视频数据的第一种特征映射到第二种特征后，从测试的视频数据第一种特征中选出与训练集中第一种特征最相关的特征加入到训练集中，同时从测试视频数据第二种特征中选出与训练集中第二种特征最相关的特征加入到训练集中，然后利用训练集中的特征重新计算映射关系，并利用映射关系重新将测试视频数据的第一种特征重新映射到第二种特征上，得到测试视频数据的第二种特征。

本发明提出的方法，能够利用测试视频数据的特征信息建立两种特征之间更完备的映射关系，将测试视频数据的第一种特征更准确地映射到第二种特征上，与传统的视频数据特征映射方法相比，可以提高测试视频数据第二种特征的分类准确率。

附图说明

图1：本发明方法的基本流程图

图2：本发明方法映射得到的测试视频数据第二种特征的分类准确率

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：AMD Athlon 64×2 5000+计算机、2GB内存、256M显卡，运行的软件环境是：Matlab2009a和Windows XP。我们用Matlab软件实现了本发明提出的方法。

本发明具体实施如下：

1、本发明流程图如附图1所示。实验中采用51个视频数据的BoW特征X₁,X₂,...,X₅₁和BIS特征Y₁,Y₂,...,Y₅₁作为训练集R₁中的第一种特征和第二种特征，将1256个测试视频数据的BoW特征X₅₂,X₅₃,...,X₁₃₀₇作为测试视频数据的第一种特征；将

Y₁,Y₂,...,Y₅₁写成矩阵形式 $Z=\left[\begin{array}{c}{Y}_1\\ Y_2\\ \·\·\·\\ Y_{51}\end{array}\right]=\left[\begin{array}{c}{y}_{\mathrm{1,1}},y_{\mathrm{1,2}},\·\·\·,y_{1,65}\\ y_{\mathrm{2,1}},y_{\mathrm{2,2}},\·\·\·,y_{2,65}\\ \·\·\·\\ y_{51,1},y_{51,2},\·\·\·,y_{51,65}\end{array}\right];$

其中，R₁表示51个视频数据特征Y₁,Y₂,...,Y₅₁和特征X₁,X₂,...,X₅₁构成的集合；y_1,1,y_1,2,...,y_1,65表示Y₁中的第1、2和第65个元素；y_2,1,y_2,2,...,y_2,65表示Y₂中的第1、2和第65个元素；y_51,1,y_51,2,...,y_51,65表示Y₅₁中的第1、2和第65个元素；

2、利用 $\left\{\begin{array}{c}{y}_{1,h}=W^T\mathrm{\φ}\left(X_1\right)\\ y_{2,h}=W^T\mathrm{\φ}\left(X_2\right)\\ \·\·\·\\ y_{51,h}=W^T\mathrm{\φ}\left(X_{51}\right)\end{array}\right.$ 计算矩阵Z的第h列元素y_1,h,y_2,h,...,y_51,h的映射矩阵W和基函数φ(X₁)φ(X₂),…,φ(X_N)中的参数μ_j和s_j；

其中，y₁,y₂,...,y₅₁表示矩阵Z中的一列元素；W表示利用 $\left\{\begin{array}{c}{y}_{1,h}=W^T\mathrm{\φ}\left(X_1\right)\\ y_{2,h}=W^T\mathrm{\φ}\left(X_2\right)\\ \·\·\·\\ y_{51,h}=W^T\mathrm{\φ}\left(X_5\right)\end{array}\right.$ 计算得到的映射矩阵；上标T表示矩阵转置；φ(X₁)＝[φ_j(x_1,j)]，j＝1,2,...,65表示X₁中第j个元素的标号，x_1,j表示X₁中的第j个元素；φ(X₂)＝[φ_j(x_2,j)]，j＝1,2,...,65表示X₂中第j个元素的标号，x_2,j表示X₂中的第j个元素；φ(X₅₁)＝[φ_j(x_51,j)]；j＝1,2,...,65表示X₅₁中第j个元素的标号，x_51,j表示X₅₁中的第j个元素；65表示X₁,X₂,…,X₅₁中元素的个数；

3、利用 $\left\{\begin{array}{c}{y}_{52,h}=W^T\mathrm{\φ}\left(X_{52}\right)\\ y_{53,h}=W^T\mathrm{\φ}\left(X_{53}\right)\\ \·\·\·\\ y_{1307,h}=W^T\mathrm{\φ}\left(X_{1307}\right)\end{array}\right.$ 计算1256个测试视频数据的特征Y₅₂,Y₅₃,...,Y₁₃₀₇的第h列元素y_52,h,y_53,h,...,y_1307,h；

其中，X₅₂,X₅₃,...,X₁₃₀₇为1256个测试视频数据的第一种特征；

4、利用 $r(X_i,X_k)=\frac{{\mathrm{\Σ}}_{t=1}^{65}\left[(x_{i,t}-{\stackrel{\‾}{X}}_i)\right]\·\left[(x_{k,t}-{\stackrel{\‾}{X}}_k)\right]}{\sqrt{{\mathrm{\Σ}}_{t=1}^{65}{(x_{i,t}-{\stackrel{\‾}{X}}_i)}^2{\mathrm{\Σ}}_{t=1}^{65}{(x_{k,t}-{\stackrel{\‾}{X}}_k)}^2}}$ 计算X₁,X₂,...,X₅₁和X₅₂,X₅₃,...,X₁₃₀₇之间每两个特征的相关性系数，利用 $r(Y_i,Y_k)=\frac{{\mathrm{\Σ}}_{q=1}^{65}\left[(y_{i,q}-{\stackrel{\‾}{Y}}_i)\right]\·\left[(y_{k,q}-{\stackrel{\‾}{Y}}_k)\right]}{\sqrt{{\mathrm{\Σ}}_{q=1}^{65}{(y_{i,q}-{\stackrel{\‾}{Y}}_i)}^2{\mathrm{\Σ}}_{q=1}^{65}{(y_{k,q}-{\stackrel{\‾}{Y}}_k)}^2}}$ 计算Y₁,Y₂,...,Y₅₁和Y₅₂,Y₅₃,...,Y₁₃₀₇之间每两个特征的相关性系数，若r(X_i,X_k)＞T₁且r(Y_i,Y_k)＞T₂，则将Y_k、X_k加入集合R₁；

其中，r(X_i,X_k)表示X_i和X_k的相关性系数；t＝1,2,...,65；i＝1,2,...,51；k＝52,53,...,1307；x_i,t表示X_i中第t个元素；表示X_i的均值；x_k,t表示X_k中第t个元素；表示X_k的均值；T₁＝T₂＝0.5表示阈值；r(Y_i,Y_k)表示Y_i和Y_k的相关性系数；q＝1,2,...,65；y_i,q表示Y_i中第q个元素；表示Y_i的均值；y_k,q表示Y_k中第q个元素；表示Y_k的均值；

5、将R₁中视频数据的特征Y₁,Y₂,...,Y₅₁,Y_k和X₁,X₂,...,X₅₁,X_k按照步骤1、步骤2和步骤3重新计算得到1256个测试视频数据的第二种特征Y′₅₂,Y′₅₃,...,Y′₁₃₀₇。

实验用1256个BIS特征Y′₅₂,Y′₅₃,...,Y′₁₃₀₇进行视频数据分类，计算分类准确率，分类算法采用KNN算法，KNN算法中K取值为1到10。作为对比，计算传统的视频数据特征映射方法得到的BIS特征Y₅₂,Y₅₃,...,Y₁₃₀₇的分类准确率。结果如图2所示，从图中可以看出，改进的视频数据特征映射方法得到的Y′₅₂,Y′₅₃,...,Y′₁₃₀₇的分类准确率为63.5%，传统的视频数据特征映射方法的得到的Y₅₂,Y₅₃,...,Y₁₃₀₇的分类准确率为56.5%，改进的视频数据特征映射方法的得到的Y′₅₂,Y′₅₃,...,Y′₁₃₀₇分类准确率比传统的视频数据特征映射方法得到的Y₅₂,Y₅₃,...,Y₁₃₀₇的分类准确率高7%。

Claims (1)

1.一种改进的视频数据特征映射方法，其特征在于步骤如下：

步骤1：将训练集R₁中的N个视频数据特征Y₁，Y₂，…，Y_N写成矩阵形式：

$Z=\left[\begin{array}{c}{Y}_1\\ Y_2\\ ...\\ Y_N\end{array}\right]=\left[\begin{array}{c}{y}_{1,1},y_{1,2},...,y_{1,n}\\ y_{2,1},y_{2,2},...,y_{2,n}\\ \mathrm{...}\\ y_{N,1},y_{N,2},...,y_{N,n}\end{array}\right];$

其中，R₁表示N个视频数据特征Y₁，Y₂，…，Y_N和特征X₁，X₂，…，X_N构成的集合；Y₁，Y₂，…，Y_N和X₁，X₂，…，X_N表示N个视频数据的两种特征；y_1，1，y_1，2，…，y_1，n表示Y₁中的n个元素；y_2，1，y_2，2，…，y_2，n表示Y₂中的n个元素；y_N，1，y_N，2，…，y_N，n表示Y_N中的n个元素；n∈[0，100000]；N表示训练集中视频数据个数，N＞0；

步骤2：利用

计算矩阵Z的第h列元素y_1，h，y_2，h，…，y_N，h的映射矩阵W和基函数φ(X₁)，φ(X₂)，…，φ(X_N)中参数μ_j和s_j；其中，h＝1，2，…，n；y₁，y₂，…，y_N表示矩阵Z中的一列元素；

所述W表示利用计算得到的映射矩阵；上标T表示矩阵转置；φ(X₁)＝[φ_j(x_1，j)]，j＝1，2，…，M表示X₁中第j个元素的标号，x_1，j表示X₁中的第j个元素；φ(X₂)＝[φ_j(x_2，j)]，j＝1，2，…，M表示X₂中第j个元素的标号，x_2，j表示X₂中的第j个元素；φ(X_N)＝[φ_j(x_N，j)]；j＝1，2，…，M表示X_N中第j个元素的标号，x_N，j表示X_N中的第j个元素；M表示X₁，X₂，…，X_N中元素的个数；

步骤3：利用计算P个测试视频数据的特征Y_N+1，Y_N+2，…，Y_N+P的第h列元素y_N+1，h，Y_N+2，h，…，y_N+P，h；

其中，X_N+1，X_N+2，…，X_N+P为P个测试视频数据的第一种特征；P表示测试视频数据的个数，P＞O；

步骤4：利用下式计算X₁，X₂，…，X_N和X_N+1，X_N+2，…，X_N+P中每两个特征的相关性系数r(X_i，X_k)，

> $r(X_i,X_k)=\frac{{\mathrm{\Σ}}_{t=1}^M\[(x_{i,t}-{\stackrel{\‾}{X}}_i)\]\·\[(x_{k,t}-{\stackrel{\‾}{X}}_k)\]}{\sqrt{{\mathrm{\Σ}}_{t=1}^M{(x_{i,t}-{\stackrel{\‾}{X}}_i)}^2{\mathrm{\Σ}}_{t=1}^M{(x_{k,t}-{\stackrel{\‾}{X}}_k)}^2}};$

利用下式计算Y₁，Y₂，…，Y_N和Y_N+1，Y_N+2，…，Y_N+P中每两个特征的相关性系数r(Y_i，Y_k)，

> $r(Y_i,Y_k)=\frac{{\mathrm{\Σ}}_{q=1}^n\[(y_{i,q}-{\stackrel{\‾}{Y}}_i)\]\·\[(y_{k,q}-{\stackrel{\‾}{Y}}_k)\]}{\sqrt{{\mathrm{\Σ}}_{q=1}^n{(y_{i,q}-{\stackrel{\‾}{Y}}_i)}^2{\mathrm{\Σ}}_{q=1}^n{(y_{k,q}-{\stackrel{\‾}{Y}}_k)}^2}}$

若r(X_i，X_k)＞T₁且r(Y_i，Y_k)＞T₂，则将Y_k、X_k加入R₁；

其中，r(X_i，X_k)表示视频数据特征X_i和X_k的相关性系数；t＝1，2，…，M；i＝1，2，…，N；k＝N+1，N+2，…，N+P；x_i，t表示X_i中第t个元素；表示X_i的均值；x_k，t表示X_k中第t个元素；表示X_k的均值；T₁，T₂∈[-1，1]表示阈值；r(Y_i，Y_k)表示Y_i和Y_k的相关性系数；q＝1，2，…，n；y_i，q表示Y_i中第q个元素；表示Y_i的均值；y_k，q表示Y_k中第q个元素；表示Y_k的均值；

步骤5：将R₁中视频数据的特征Y₁，Y₂，…，Y_N，Y_k和X₁，X₂，…，X_N，X_k按照步骤1、步骤2和步骤3重新计算得到P个测试视频数据的特征Y′_N+1，Y′_N+2，…，Y′_N+P。