CN103473308A - 基于最大间隔张量学习的高维多媒体数据分类方法 - Google Patents

Abstract

本发明公开了一种基于最大间隔张量学习的高维多媒体数据分类方法。它包括如下步骤：1）建立多媒体数据的训练数据集；2）对训练数据集建模，进行分析，得到分类模型；3）根据用户查询数据集及分类模型，对查询数据集分类。本发明针对多媒体的高维性和结构性，利用张量来表达多媒体数据，并通过最大间隔分类器的方法，对高维的多媒体数据进行分类。在对多媒体数据进行分解分析的同时完成分类，不仅保留了多媒体数据中的结构信息，而且避免了传统的通过拼合的方法产生的高维数据所引发的“维数灾难”，因此比传统的多媒体数据分类方法更加准确，并易于计算。

Description

基于最大间隔张量学习的高维多媒体数据分类方法

技术领域

本发明涉及多媒体分类，尤其涉及一种基于最大间隔张量学习的高维多媒体数据分类方法。

背景技术

随着计算机存储技术和网络技术的发展，信息不再仅仅是单一的文字或语言，而是以更加多样化的多媒体形式呈现，包括文本，图片，声音，视频，如图像数据库Picasa，视频数据库YouTube等。如何有效地获取、管理和利用这些多媒体数据成为计算机应用技术中越来越重要的研究问题。多媒体分类技术可以帮助用户有效地查询、管理这些海量的多媒体数据。一般来说，多媒体数据具有两个特点。第一，高维性，多媒体数据通常数据量巨大，特征维数高；第二，结构性：多媒体数据存在内部结构关系，如图像中物体的位置关系，视频中动作的先后关系。由于传统的分类方法往往将提取的特征进行简单的拼合，产生了非常高维的数据，从而在数据的分析中产生“维数灾难”。此外，传统的方法没有考虑多媒体数据中存在的内部结构信息，因此不能很好地处理和分析海量的高维多媒体数据，从而无法很好地适应用户需求。

针对多媒体数据的特点，张量可以用来表达和分析多媒体数据。张量，即多为数组，是对向量和矩阵的自然扩展。多媒体数据可以自然地表达成张量数据，如自然图像可以认为是由场景结构、光照及主体形象三方面因素共同作用的结果，因此，可以将自然图像表达成一个三阶张量；又如视频片断可以表达成“长×宽×时间”的三阶张量。在张量的表达中，多媒体数据中所包含的同一类型媒体数据特征被表达为张量的一阶。利用张量表达多媒体数据，一定程度避免了从不同类型媒体数据中所提取特征因为拼合而产生的维数灾难及过压缩问题，而且通过张量的表达可以自然地保留多媒体数据中的结构信息。通过对表达成张量的多媒体数据进行分解，可以得到多媒体数据分量的多维线性组合，很好地保留了多媒体数据内部的结构信息。

另一方面，在数据分类方面，近年来最大间隔的分类器，如支持向量机(support vector machines)，最大间隔马尔科夫网络(maximum margin MarkovNetworks)被广泛地应用于许多多媒体分类的问题中，并显示出了很好的分类效果。最大间隔的方法通常将数据映射到一个再生核希尔伯特空间(reproducingkernel Hilbert space)中，建立一个最优的分割超平面，将数据间的间隔最大化。最大间隔的分类器由于核的运用，具有很强的扩展性，因而近年来成为一个研究的热点。

本发明针对多媒体的高维性和结构性，利用张量来表达多媒体数据，并通过最大间隔分类器的方法，对高维的多媒体数据进行分类。在对多媒体数据进行分解分析的同时完成分类，不仅保留了多媒体数据中的结构信息，而且避免了传统的通过拼合的方法产生的高维数据所引发的“维数灾难”。

发明内容

本发明的目的在于对多媒体数据进行分类，使得相同主题图像标注为一类，以方便用户进行管理、检索多媒体数据，提出一种基于最大间隔张量学习的高维多媒体数据分类方法基于最大间隔张量学习的高维多媒体数据分类方法包括如下步骤：

(1)建立多媒体数据的训练数据集，提取不同种类的特征，并对多媒体数据进行标注；

(2)将训练数据集表达成张量，得到基于最大间隔张量学习的高维多媒体数据分类的目标函数，并对目标函数进行分析，优化，得到分类模型；

(3)对用户查询数据集提取不同种类的特征，根据分类模型，对查询数据集标注分类。

所述的步骤(1)包括：

所述的建立多媒体数据的训练数据集，其步骤如下：

1)编写爬虫程序下载用户所需的多媒体数据，构成多媒体数据集合

其中I_N是集合DATA中的多媒体数据个数；

2)对DATA中的多媒体数据提取不同种类的特征，T₁，...，T_N-1，N-1为特征的种类数；

3)对DATA中的多媒体数据进行标注，正例为“1”，反例为“0”；

4)建立训练张量

其中I₁，...，I_N-1模态对应为步骤2)中多媒体数据的特征T₁，...，T_N-1，I_N模态对应为多媒体数据个数。

所述的步骤(2)包括：

1)根据训练张量X，得到基于最大间隔张量学习的高维多媒体数据分类的目标函数：

$\underset{U_1,...U_N}{\min }{\left|\right|X-C{\×}_1{U}_1{\×}_2...{\×}_N{U}_N\left|\right|}^2+\mathrm{\Ω}\left(X\right)---\left(1\right)$

s.t.U_n＞0，1≤n≤N

其中Ω(X)表示训练数据的监督信息，U_n(1≤n≤N)为张量分解后得到的矩阵，C为核张量，其n阶展开矩阵C_(n)满足以下条件：

a)C_(n)的元素全由“0”或“1”组成；

b)C_(n)的所有行相互正交；

c)对于任意的n，C_(n)为满秩；

2)根据张量展开，可以将公式(1)写作：

$\underset{U_N}{\min }{\left|\right|X_{\left(n\right)}-U_N{B}_{\left(n\right)}\left|\right|}^2+\mathrm{\Ω}\left(X_{\left(n\right)}\right)---\left(1\right)$

s.t.U_n>0，1≤n≤N

其中，B_(n)=C×₁U₁×₂...×_n-1U_n-1×_n+1U_n+1×_n+2...×_NU_N，X_(n)为训练张量X的n阶展开矩阵；

令 $X_{\left(n\right)}={[x_1,x_2,...,x_{I_n}]}^T,U_{\left(n\right)}={[u_1,u_2,...,u_{I_n}]}^T$ 将公式(1)中每一个矩阵U_i转置并分成I_i个独立的优化问题：

$\underset{u_i}{\min }{\left|\right|x_i-B_{\left(n\right)}^T{u}_i\left|\right|}^2+\mathrm{\Ω}\left(x_i\right)---\left(2\right)$

s.t.u_i>0，1≤i≤I_n

3)将公式(2)中有监督信息，即n=N时的分量引入最大间隔的分类器作为监督信息，得到如下的优化函数：

$\underset{u_i^{\left(N\right)},\mathrm{\α}}{\min }\mathrm{\γ}{\left|\right|x_i^{\left(N\right)}-B_{\left(N\right)}^T{u}_i^{\left(N\right)}\left|\right|}^2+{\mathrm{\λ\α}}^T\mathrm{K\α}+\underset{i=1}{\overset{I_N}{\mathrm{\Σ}}}L(y_i,K_i^T\mathrm{\α})---\left(3\right)$

$U_i^{\left(N\right)}>\mathrm{0,1}\≤i\≤I_N$

其中，γ为控制近似误差的权重参数，λ为控制分类误差的权重参数，y_i为相应的标注标签，α为待优化的分类参数，L为损失函数L(y，t)=max(0，1-yt)²，K为核矩阵，其元素k_ij=k(u_i，u_j)，k为核函数；

4)使用共轭梯度下降的方法，迭代地优化参数α与矩阵分量

在优化分类参数α的过程中首先计算α的梯度：

${\▿}_{\mathrm{\α}}=2(\mathrm{\λK\α}+K{I}^0(\mathrm{K\α}-Y))$

其中I⁰为I_N×I_N的对角矩阵，其中前n_v(支持向量的各数)个元素为1，其余为0。

然后计算α的Hessian矩阵：

H_α=2(λK+KI⁰K)

在优化矩阵分量的过程中，首先假定使用内积核：

$k(u_i^{\left(N\right)},u_j^{\left(N\right)})=u_i^{\left(N\right)T}\·u_j^{\left(N\right)}$

计算

的梯度：

$\begin{array}{c}{\▿}_{u_i^{\left(N\right)}}=-2\mathrm{\γ}{B}_{\left(N\right)}{x}_i^{\left(N\right)}+2\mathrm{\γ}\left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)u_i^{\left(N\right)}+2\mathrm{\λ}{\mathrm{\α}}_i\underset{j=1}{\overset{I_s}{\mathrm{\Σ}}}{\mathrm{\α}}_j{u}_j^{\left(N\right)}\\ +2\left(\underset{j=1}{\overset{n_v}{\mathrm{\Σ}}}{l}_j{\mathrm{\α}}_j{u}_j^{\left(N\right)}\right[i\∈n_v]+{\mathrm{\α}}_i\underset{j=1}{\overset{n_v}{\mathrm{\Σ}}}{l}_j{u}_j^{\left(N\right)})\end{array}$

然后计算

的Hessian矩阵：

$H_{u_i^{\left(N\right)}}=2\mathrm{\γ}\left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)+(2\mathrm{\λ}{\mathrm{\α}}_i^2+4l_i{\mathrm{\α}}_i[i\∈n_v\left]\right)I_{\mathrm{ns}}$

其中，I_ns是大小为I_s的单位矩阵，[i∈n_v]是一个指示函数，当且仅当i属于支持向量的集合时函数值为1，其余为0；

5)对于公式(2)中无监督信息的模态，即n≠N时，加入稀疏选择的约束，即I₁范数：

$\underset{u_i^{\left(n\right)}}{\min }{\left|\right|x_i^{\left(n\right)}-B_{\left(n\right)}^T{u}_i^{\left(n\right)}\left|\right|}^2+{\mathrm{\η}}_{\left(n\right)}\left|u_i^{\left(n\right)}\right|---\left(4\right)$

$s.t.u_i^{\left(n\right)}\≥0,n\≠N$

其中，η_(n)是控制模态n中的稀疏度；

6)使用如下方法求解公式(4)

$u_{\mathrm{ij}}^{\left(n\right)}=\left\{\begin{array}{cc}\frac{t-{\mathrm{\η}}_{\left(n\right)}}{b_j{b}_j^T},& t>{\mathrm{\η}}_{\left(n\right)}\\ 0,& t\≤{\mathrm{\η}}_{\left(n\right)}\end{array}\right.$

其中，

为

中的元素，

$B_{\left(n\right)}={[b_1^T,b_2^T,...,b_{R_n}^T]}^T$

$t=b_j(B_{\left(n\right)}^T{u}_i^{\left(n\right)}-b_j^T{x}_i)$

7)根据步骤4)与步骤6)求得的u_i，拼合成U，反复迭代，直至收敛，得到分类模型的参数{U₁，...，U_N;α}。

所述的步骤(3)包括：

1)编写爬虫程序下载用户所需的待分类的多媒体数据，构成多媒体数据测试集合

其中I_Nt是集合TEST中的待分类的多媒体数据个数；

2)对TEST中的多媒体数据提取不同种类的特征，与训练时所提取的特征一致，Tt₁，...，Tt_N-1，N-1为特征的种类数；

3)建立测试张量

其中I₁，...，I_N-1模态对应为步骤2)中多媒体数据的特征T₁，...，T_N-1，I_N模态对应为待分类的多媒体数据个数；

4)根据步骤3中得到的分类模型参数{U₁，...，U_N;α}，以及公式(3)，计算待分类的多媒体数据的y_i；

5)根据步骤4)中得到的y_i，进行以0.5为阈值的二值化操作，获得待分类的多媒体数据的标签及分类结果。

本发明提出了一种新的针对多媒体数据分类的方法。针对多媒体的高维性和结构性，利用张量来表达多媒体数据，并通过最大间隔分类器的方法，对高维的多媒体数据进行分类。在对多媒体数据进行分解分析的同时完成分类，不仅保留了多媒体数据中的结构信息，而且避免了传统的通过拼合的方法产生的高维数据所引发的“维数灾难”，因此比传统的多媒体数据分类方法更加准确，并易于计算。

附图说明

图1是基于最大间隔张量学习的高维多媒体数据分类方法示意图。

具体实施方式

基于最大间隔张量学习的高维多媒体数据分类方法，包括如下步骤：

(1)建立多媒体数据的训练数据集，提取不同种类的特征，并对多媒体数据进行标注；

(2)将训练数据集表达成张量，得到基于最大间隔张量学习的高维多媒体数据分类的目标函数，并对目标函数进行分析，优化，得到分类模型；

(3)对用户查询数据集提取不同种类的特征，根据分类模型，对查询数据集标注分类。

所述的步骤(1)包括：

1)编写爬虫程序下载用户所需的多媒体数据，构成多媒体数据集合

其中I_N是集合DATA中的多媒体数据个数；

2)对DATA中的多媒体数据提取不同种类的特征，T₁，...，T_N-1，N-1为特征的种类数；

3)对DATA中的多媒体数据进行标注，正例为“1”，反例为“0”；

4)建立训练张量

其中I₁，...，I_N-1模态对应为步骤2)中多媒体数据的特征T₁，...，T_N-1，I_N模态对应为多媒体数据个数。

所述的步骤(2)包括：

1)根据训练张量X，得到基于最大间隔张量学习的高维多媒体数据分类的目标函数：

$\underset{U_1,...U_N}{\min }\left|\right|X-C{\×}_1{U}_1{\×}_2...{\×}_N{U}_N{\left|\right|}^2+\mathrm{\Ω}\left(X\right)---\left(1\right)$

s.t.U_n＞0，1≤n≤N

其中Ω(X)表示训练数据的监督信息，U_n(1≤n≤N)为张量分解后得到的矩阵，C为核张量，其n阶展开矩阵C_(n)满足以下条件：

a)C_(n)的元素全由“0”或“1”组成；

b)C_(n)的所有行相互正交；

c)对于任意的n，C_(n)为满秩；

2)根据张量展开，可以将公式(1)写作：

$\underset{U_N}{\min }{\left|\right|X_{\left(n\right)}-U_N{B}_{\left(n\right)}\left|\right|}^2+\mathrm{\Ω}\left(X_{\left(n\right)}\right)---\left(1\right)$

s.t.U_n＞0，1≤n≤N

其中，B_(n)=C×₁U₁×₂...×_n-1U_N-1×_n+1U_n+1×_n+2...×_NU_N，X_(n)为训练张量X的n阶展开矩阵；

令 $X_{\left(n\right)}={[x_1,x_2,...,x_{I_n}]}^T,U_{\left(n\right)}={[u_1,u_2,...,u_{I_n}]}^T$ 将公式(1)中每一个矩阵U_i转置并分成I_i个独立的优化问题：

$\underset{u_i}{\min }{\left|\right|x_i-B_{\left(n\right)}^T{u}_i\left|\right|}^2+\mathrm{\Ω}\left(x_i\right)---\left(2\right)$

s.t.u_i＞0，1≤i≤I_n

3)将公式(2)中有监督信息，即n=N时的分量引入最大间隔的分类器作为监督信息，得到如下的优化函数：

$\underset{u_i^{\left(N\right)},\mathrm{\α}}{\min }\mathrm{\γ}{\left|\right|x_i^{\left(N\right)}-B_{\left(N\right)}^T{u}_i^{\left(N\right)}\left|\right|}^2+{\mathrm{\λ\α}}^T{K}_{\mathrm{\α}}+\underset{i=1}{\overset{I_N}{\mathrm{\Σ}}}L(y_i,K_i^T\mathrm{\α})---\left(3\right)$

$s.t.U_i^{\left(N\right)}>\mathrm{0,1}\≤i\≤I_N$

其中，γ为控制近似误差的权重参数，λ为控制分类误差的权重参数，y_i为相应的标注标签，α为待优化的分类参数，L为损失函数L(yt)=max(0，1-yt)²，K为核矩阵，其元素k_ij=k(u_i，u_j)，k为核函数；

4)使用共轭梯度下降的方法，迭代地优化参数α与矩阵分量

在优化分类参数α的过程中首先计算α的梯度：

${\▿}_{\mathrm{\α}}=2(\mathrm{\λK\α}+{\mathrm{KI}}^0(\mathrm{K\α}-Y))$

其中I⁰为I_N×I_N的对角矩阵，其中前n_v(支持向量的各数)个元素为1，其余为0；

然后计算α的Hessian矩阵：

H_α=2(λK+KI⁰K)

在优化矩阵分量

的过程中，首先假定使用内积核：

$k(u_i^{\left(N\right)},u_j^{\left(N\right)})=u_i^{\left(N\right)T}\·u_j^{\left(N\right)}$

计算的梯度：

$\begin{array}{c}{\▿}_{u_i^{\left(N\right)}}=-2\mathrm{\γ}{B}_{\left(N\right)}{x}_i^{\left(N\right)}+2\mathrm{\γ}\left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)u_i^{\left(N\right)}+2\mathrm{\λ}{\mathrm{\α}}_i\underset{i=1}{\overset{I_s}{\mathrm{\Σ}}}{\mathrm{\α}}_j{u}_j^{\left(N\right)}\\ +2\left(\underset{j=1}{\overset{n_v}{\mathrm{\Σ}}}{l}_j{\mathrm{\α}}_j{u}_j^{\left(N\right)}\right[i\∈n_v]+{\mathrm{\α}}_i\underset{j=1}{\overset{n_v}{\mathrm{\Σ}}}{l}_j{u}_j^{\left(N\right)})\end{array}$

然后计算

的Hessian矩阵：

$H_{u_i^{\left(N\right)}}=2\mathrm{\γ}\left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)+({2\mathrm{\λ\α}}_i^2+{4l}_i{\mathrm{\α}}_i[i\∈n_v\left]\right)I_{\mathrm{ns}}$

其中，I_ns是大小为I_s的单位矩阵，[i∈n_v]是一个指示函数，当且仅当i属于支持向量的集合时函数值为1，其余为0；

5)对于公式(2)中无监督信息的模态，即n≠N时，加入稀疏选择的约束，即I₁范数：

$\underset{u_i^{\left(n\right)}}{\min }{\left|\right|x_i^{\left(n\right)}-B_{\left(n\right)}^T{u}_i^{\left(n\right)}\left|\right|}^2+{\mathrm{\η}}_{\left(n\right)}\left|u_i^{\left(n\right)}\right|---\left(4\right)$

$s.t.u_i^{\left(n\right)}\≥0,n\≠N$

其中，η_(n)是控制模态n中的稀疏度；

6)使用如下方法求解公式(4)

$u_{\mathrm{ij}}^{\left(n\right)}=\left\{\begin{array}{cc}\frac{t-{\mathrm{\η}}_{\left(n\right)}}{b_j{b}_j^T},& t>{\mathrm{\η}}_{\left(n\right)}\\ 0,& t\≤{\mathrm{\η}}_{\left(n\right)}\end{array}\right.$

其中，

为

中的元素，

$B_{\left(n\right)}={[b_1^T,b_2^T,...,b_{R_n}^T]}^T$

$t=b_j(B_{\left(n\right)}^T{u}_i^{\left(n\right)}-b_j^T{x}_i)$

7)根据步骤4)与步骤6)求得的u_i，拼合成U，反复迭代，直至收敛，得到分类模型的参数{U₁，...，U_N；α}。

所述的步骤(3)包括：

1)编写爬虫程序下载用户所需的待分类的多媒体数据，构成多媒体数据测试集合

其中I_Nt是集合TEST中的待分类的多媒体数据个数；

2)对TEST中的多媒体数据提取不同种类的特征，与训练时所提取的特征一致，Tt₁，...，Tt_N-1，N-1为特征的种类数；

3)建立测试张量

其中I₁，...，I_N-1模态对应为步骤2)中多媒体数据的特征T₁，...，T_N-1，I_N模态对应为待分类的多媒体数据个数；

4)根据权利要求步骤3中得到的分类模型参数{U₁，...，U_N；α}，以及公式(3)，计算待分类的多媒体数据的y_i；

5)根据步骤4)中得到的y_i，进行以0.5为阈值的二值化操作，获得待分类的多媒体数据的标签及分类结果。

实施例：

假设动作数据的分类问题，动作数据具有重要的结构信息。编写爬虫程序下载有关数据集中的动作数据50000个做训练，假设拥有49个类，提取其x，y，z三个方向的坐标作为其三种特征，构成的训练张量X∈R^3×49×50000。

对训练数据集建模，进行分析，得到分类模型，其步骤如下：

1)根据训练张量X，得到基于最大间隔张量学习的高维多媒体数据分类的目标函数：

$\underset{U_1,...U_N}{\min }\left|\right|X-C{\×}_1{U}_1{\×}_2...{\×}_N{U}_N{\left|\right|}^2+\mathrm{\Ω}\left(X\right)---\left(1\right)$

s.t.U_n＞0，1≤n≤N

其中Ω(X)表示训练数据的监督信息，U_n(1≤n≤N)为张量分解后得到的矩阵，C为核张量，其n阶展开矩阵C_(n)满足以下条件：

a)C_(n)的元素全由“0”或“1”组成；

b)C_(n)的所有行相互正交；

c)对于任意的n，C_(n)为满秩；

2)根据张量展开，可以将公式(1)写作：

$\underset{U_N}{\min }{\left|\right|X_{\left(n\right)}-U_N{B}_{\left(n\right)}\left|\right|}^2+\mathrm{\Ω}\left(X_{\left(n\right)}\right)---\left(1\right)$

s.t.U_n＞0，1≤n≤N

其中，B_(n)=C×₁U₁×2...×_n-1U_n-1×_n+1U_n+1×_n+2...×_NU_N，X_(n)为训练张量X的n阶展开矩阵；

令 $X_{\left(n\right)}={[x_1,x_2,...,x_{I_n}]}^T,U_{\left(n\right)}={[u_1,u_2,...,u_{I_n}]}^T$ 将公式(1)中每一个矩阵U_i转置并分成I_i个独立的优化问题：

$\underset{u_i}{\min }{\left|\right|x_i-B_{\left(n\right)}^T{u}_i\left|\right|}^2+\mathrm{\Ω}\left(x_i\right)---\left(2\right)$

s.t.u_i＞0，1≤i≤I_n

3)将公式(2)中有监督信息，即n=N时的分量引入最大间隔的分类器作为监督信息，得到如下的优化函数：

$\underset{u_i^{\left(N\right)},\mathrm{\α}}{\min }\mathrm{\γ}{\left|\right|x_i^{\left(N\right)}-B_{\left(N\right)}^T{u}_i^{\left(N\right)}\left|\right|}^2+{\mathrm{\λ\α}}^T\mathrm{K\α}+\underset{i=1}{\overset{I_N}{\mathrm{\Σ}}}L(y_i,K_i^T\mathrm{\α})---\left(3\right)$

$s.t.U_i^{\left(N\right)}>\mathrm{0,1}\≤i\≤I_N$

其中，γ为控制近似误差的权重参数，λ为控制分类误差的权重参数，y_i为相应的标注标签，α为待优化的分类参数，L为损失函数L(y，t)=max(0，1-yt)²，K为核矩阵，其元素k_ij=k(u_i，u_j)，k为核函数。

4)使用共轭梯度下降的方法，迭代地优化参数α与矩阵分量

在优化分类参数α的过程中首先计算α的梯度：

${\▿}_{\mathrm{\α}}=2(\mathrm{\λK\α}+{\mathrm{KI}}^0(\mathrm{K\α}-Y))$

其中I⁰为I_N×I_N的对角矩阵，其中前n_v(支持向量的各数)个元素为1，其余为0。

然后计算α的Hessian矩阵：

H_α=2(λK+KI⁰K)

在优化矩阵分量

的过程中，首先假定使用内积核：

$k(u_i^{\left(N\right)},u_j^{\left(N\right)})=u_i^{\left(N\right)T}\·u_j^{\left(N\right)}$

计算

的梯度：

$\begin{array}{c}{\▿}_{u_i^{\left(N\right)}}=-2\mathrm{\γ}{B}_{\left(N\right)}{x}_i^{\left(N\right)}+2\mathrm{\γ}\left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)u_i^{\left(N\right)}+2\mathrm{\λ}{\mathrm{\α}}_i\underset{j=1}{\overset{I_s}{\mathrm{\Σ}}}{\mathrm{\α}}_j{u}_j^{\left(N\right)}\\ +2\left(\underset{j=1}{\overset{n_v}{\mathrm{\Σ}}}{l}_j{\mathrm{\α}}_j{u}_j^{\left(N\right)}\right[i\∈n_v]+{\mathrm{\α}}_i\underset{j=1}{\overset{n_v}{\mathrm{\Σ}}}{l}_j{u}_j^{\left(N\right)})\end{array}$

然后计算

的Hessian矩阵：

$H_{u_i^{\left(N\right)}}=2\mathrm{\γ}\left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)+(2\mathrm{\λ}{\mathrm{\α}}_i^2+4l_i{\mathrm{\α}}_i[i\∈n_v\left]\right)I_{\mathrm{ns}}$

其中，I_ns是大小为I_s的单位矩阵，[i∈n_v]是一个指示函数，当且仅当i属于支持向量的集合时函数值为1，其余为0。

5)对于公式(2)中无监督信息的模态，即n≠N时，加入稀疏选择的约束，即l₁范数：

$\begin{array}{c}\underset{u_i^{\left(n\right)}}{\min }{\left|\right|x_i^{\left(n\right)}-B_{\left(n\right)}^T{u}_i^{\left(n\right)}\left|\right|}^2+{\mathrm{\η}}_{\left(n\right)}\left|u_i^{\left(n\right)}\right|---\left(4\right)\\ s.t.u_i^{\left(n\right)}\≥0,n\≠N\end{array}$

其中，η_(n)是控制模态n中的稀疏度。

6)使用如下方法求解公式(4)

$u_{\mathrm{ij}}^{\left(n\right)}=\left\{\begin{array}{c}\frac{t+{\mathrm{\η}}_{\left(n\right)}}{b_j{b}_j^T},t>{\mathrm{\η}}_{\left(n\right)}\\ 0,t\≤{\mathrm{\η}}_{\left(n\right)}\end{array}\right.$

其中，

为

中的元素，

$B_{\left(n\right)}={[b_1^T,b_2^T,...,b_{R_n}^T]}^T$

$t=b_j(B_{\left(n\right)}^T{u}_i^{\left(n\right)}-b_j^T{x}_i)$

7)根据步骤4)与步骤6)求得的u_i，拼合成U，反复迭代，直至收敛。得到分类模型的参数{U₁，...，U_N；α}。

根据用户查询数据集及分类模型，对查询数据集分类，其步骤如下：

1)编写爬虫程序下载有关数据集中的动作数据剩余的19363个做训练，提取其x，y，z三个方向的坐标作为其三种特征，构成的测试张量Xt∈R^3×49×19363；

2)根据之前得到的分类模型参数{U₁，...，U_N；α}，以及公式(3)，计算待分类的多媒体数据的y_i；

3)根据步骤2)中得到的y_i，进行以0.5为阈值的二值化操作，获得待分类的多媒体数据的标签及分类结果；

4)结果经过Accuracy，MacroF1，MicroF1，MacroAUC，MicroAUC五个分类评价标准的结果如下：

Accuracy	MacroF1	MicroF1	MacroAUC	MicroAUC
					0.8879	0.7616	0.7857	0.7212	0.7407

Claims (4)

1.一种基于最大间隔张量学习的高维多媒体数据分类方法，其特征在于包括如下步骤：

(1)建立多媒体数据的训练数据集，提取不同种类的特征，并对多媒体数据进行标注；

(2)将训练数据集表达成张量，得到基于最大间隔张量学习的高维多媒体数据分类的目标函数，并对目标函数进行分析，优化，得到分类模型；

(3)对用户查询数据集提取不同种类的特征，根据分类模型，对查询数据集标注分类。

2.根据权利要求1所述的一种基于最大间隔张量学习的高维多媒体数据分类方法，其特征在于所述的步骤(1)包括：

1)编写爬虫程序下载用户所需的多媒体数据，构成多媒体数据集合

其中I_N是集合DATA中的多媒体数据个数；

2)对DATA中的多媒体数据提取不同种类的特征，T₁，...，T_N-1，N-1为特征的种类数；

3)对DATA中的多媒体数据进行标注，正例为“1”，反例为“0”；

4)建立训练张量

其中I₁，...，I_N-1模态对应为步骤2)中多媒体数据的特征T₁，...，T_N-1，I_N模态对应为多媒体数据个数。

3.根据权利要求1所述的一种基于最大间隔张量学习的高维多媒体数据分类方法，其特征在于所述的步骤(2)包括：

1)根据训练张量X，得到基于最大间隔张量学习的高维多媒体数据分类的目标函数：

$\begin{array}{c}\underset{U_1,...U_N}{\min }{\left|\right|X-C{\×}_1{U}_1{\×}_2{...\×}_N{U}_N\left|\right|}^2+\mathrm{\Ω}\left(X\right)\\ s.t.U_n>\mathrm{0,1}\≤n\≤N\end{array}---\left(1\right)$

其中Ω(X)表示训练数据的监督信息，U_n(1≤n≤N)为张量分解后得到的矩阵，C为核张量，其n阶展开矩阵C_(n)满足以下条件：

a)C_(n)的元素全由“0”或“1”组成；

b)C_(n)的所有行相互正交；

c)对于任意的n，C_(n)为满秩；

2)根据张量展开，可以将公式(1)写作：

$\begin{array}{c}\underset{U_N}{\min }{\left|\right|X_{\left(n\right)}-U_N{B}_{\left(n\right)}\left|\right|}^2+\mathrm{\Ω}\left(X_{\left(n\right)}\right)\\ s.t.U_n>\mathrm{0,1}\≤n\≤N\end{array}---\left(1\right)$

其中，B_(n)=C×₁U₁×₂...×_n-1U_n-1×_n+1U_n+1×_n+2...×_NU_N，X_(n)为训练张量X的n阶展开矩阵；

令 $X_{\left(n\right)}={[x_1,x_2,...,x_{I_n}]}^T,U_{\left(n\right)}={[u_1,u_2,...,u_{I_n}]}^T$ 将公式(1)中每一个矩阵U_i转置并分成I_i个独立的优化问题：

$\begin{array}{c}\underset{u_i}{\min }{\left|\right|x_i-B_{\left(n\right)}^T{u}_i\left|\right|}^2+\mathrm{\Ω}\left(x_i\right)\\ s.t.u_i>\mathrm{0,1}\≤i\≤I_n\end{array}---\left(2\right)$

3)将公式(2)中有监督信息，即n=N时的分量引入最大间隔的分类器作为监督信息，得到如下的优化函数：

$\begin{array}{c}\underset{u_i^{\left(N\right)},\mathrm{\α}}{\min }\mathrm{\γ}{\left|\right|x_i^{\left(N\right)}-B_{\left(N\right)}^T{u}_i^{\left(N\right)}\left|\right|}^2+\mathrm{\λ}{\mathrm{\α}}^T\mathrm{K\α}+\underset{i=1}{\overset{I_N}{\mathrm{\Σ}}}L(y_i,K_i^T\mathrm{\α})\\ s.t.U_i^{\left(N\right)}>\mathrm{0,1}\≤i\≤I_N\end{array}---\left(3\right)$

其中，γ为控制近似误差的权重参数，λ为控制分类误差的权重参数，y_i为相应的标注标签，α为待优化的分类参数，L为损失函数L(y，t)=max(0，1-yt)²，K为核矩阵，其元素k_ij=k(u_i，u_j)，k为核函数；

4)使用共轭梯度下降的方法，迭代地优化参数α与矩阵分量

在优化分类参数α的过程中首先计算α的梯度：

${\▿}_{\mathrm{\α}}=2(\mathrm{\λK\α}+K{I}^0(\mathrm{K\α}-Y))$

其中I⁰为I_N×I_N的对角矩阵，其中前n_v(支持向量的各数)个元素为1，其余为0。

然后计算α的Hessian矩阵：

H_α=2(λK+KI⁰K)

在优化矩阵分量

的过程中，首先假定使用内积核：

$k(u_i^{\left(N\right)},u_j^{\left(N\right)})=u_i^{\left(N\right)T}\·u_j^{\left(N\right)}$

计算

的梯度：

$\begin{array}{c}{\▿}_{u_i^{\left(N\right)}}=-2\mathrm{\γ}{B}_{\left(N\right)}{x}_i^{\left(N\right)}+2\mathrm{\γ}\left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)u_i^{\left(N\right)}+2\mathrm{\λ}{\mathrm{\α}}_i\underset{j=1}{\overset{I_s}{\mathrm{\Σ}}}{\mathrm{\α}}_j{u}_j^{\left(N\right)}\\ +2\left(\underset{j=1}{\overset{n_v}{\mathrm{\Σ}}}{l}_j{\mathrm{\α}}_j{u}_j^{\left(N\right)}\right[i\∈n_v]+{\mathrm{\α}}_i\underset{j=1}{\overset{n_v}{\mathrm{\Σ}}}{l}_j{u}_j^{\left(N\right)})\end{array}$

然后计算

的Hessian矩阵：

$H_{u_i^{\left(N\right)}}=2\mathrm{\γ}\left(B_{\left(N\right)}{B}_{\left(N\right)}^T\right)+(2\mathrm{\λ}{\mathrm{\α}}_i^2+4l_i{\mathrm{\α}}_i[i\∈n_v\left]\right)I_{\mathrm{ns}}$

其中，I_ns是大小为I_s的单位矩阵，[i∈n_v]是一个指示函数，当且仅当i属于支持向量的集合时函数值为1，其余为0；

5)对于公式(2)中无监督信息的模态，即n≠N时，加入稀疏选择的约束，即I₁范数：

$\begin{array}{c}\underset{u_i^{\left(n\right)}}{\min }{\left|\right|x_i^{\left(n\right)}-B_{\left(n\right)}^T{u}_i^{\left(n\right)}\left|\right|}^2+{\mathrm{\η}}_{\left(n\right)}\left|u_i^{\left(n\right)}\right|\\ s.t.u_i^{\left(n\right)}\≥0,n\≠N\end{array}---\left(4\right)$

其中，η_(n)是控制模态n中的稀疏度；

6)使用如下方法求解公式(4)

$u_{\mathrm{ij}}^{\left(n\right)}=\left\{\begin{array}{cc}\frac{t-{\mathrm{\η}}_{\left(n\right)}}{b_j{b}_j^T},& t>{\mathrm{\η}}_{\left(n\right)}\\ 0,& t\≤{\mathrm{\η}}_{\left(n\right)}\end{array}\right.$

其中，

为

中的元素，

$B_{\left(n\right)}={[b_1^T,b_2^T,...,b_{R_n}^T]}^T$

$t=b_j(B_{\left(n\right)}^T{u}_i^{\left(n\right)}-b_j^T{x}_i)$

7)根据步骤4)与步骤6)求得的u_i，拼合成U，反复迭代，直至收敛。得到分类模型的参数{U₁，...，U_N；α}。

4.根据权利要求1所述的一种基于最大间隔张量学习的高维多媒体数据分类方法，其特征在于所述的步骤(3)包括：

1)编写爬虫程序下载用户所需的待分类的多媒体数据，构成多媒体数据测试集合

其中I_Nt是集合TEST中的待分类的多媒体数据个数

2)对TEST中的多媒体数据提取不同种类的特征，与训练时所提取的特征一致，Tt₁，...，Tt_N-1，N-1为特征的种类数；

3)建立测试张量其中I₁，...，I_N-1模态对应为步骤2)中多媒体数据的特征T₁，...，T_N-1，I_N模态对应为待分类的多媒体数据个数；

4)根据得到的分类模型参数{U₁，...，U_N；α}，以及公式(3)，计算待分类的多媒体数据的y_i；

5)根据步骤4)中得到的y_i，进行以0.5为阈值的二值化操作，获得待分类的多媒体数据的标签及分类结果。

Images