CN104036296A - 一种图像的表示和处理方法及装置 - Google Patents

Abstract

本发明适用于图像处理领域，提供了一种图像的表示和处理方法及装置，该方法包括：在待表示图像中提取至少两种类型的局部特征；根据待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型；根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码，并将局部特征的编码进行概要，获取所述图像的多视角超向量表示。通过获取的多视角超向量,可用于分类器训练以及图像的检索。由于本发明得到的多视角超向量表示为对不同类型的局部特征的共享信息和独立信息进行编码，可以使得编码后的图像信息完整的同时，也不会出现冗余，从而能够显著提高图像的编码效果。

Description

一种图像的表示和处理方法及装置

技术领域

本发明属于图像处理领域，尤其涉及一种图像的表示和处理方法及装置。

背景技术

在对图像(包括图片以及视频等媒体数据)进行分类或者检索时，需要在待分类或者检索的图像中提取用于描述图像的局部图像特征信息，对所述局部图像特征进行编码，以对所述图像进行表示，便于对图像的分类和检索。对于图片可由变置换特征(SIFT)、梯度方向直方图(HOG)等描述，对于视频可由HOG、光流直方图(HOF)等描述。

此前的研究发现，不同类型的局部特征从不同方面(不同视角)描述图像，它们之间存在一定的互补性。而且通过具有互补性的不同类型的局部特征有助于提高图像的分类和识别的效果。

目前对图像的不同类型的局部特征处理方法一般为：首先在图片中分划局部区域，然后根据这些局部区域在原始帧中提取梯度方向直方图等特征。对特征进行融合时，包括早期融合法和后期融合法，其中早期融合法是，将所有的局部特征串联形成一个长特征向量进行编码和聚合，以形成中层的图片表示；后期融合法是，将单种局部特征分别进行编码和聚合，形成多个中层图片表示方法，然后将中层表示串联或者在单个特征得到分类得分后，进行加权融合，最后将中层图片表示输入至分类器中进行分类。

然而，由于上述方法仅仅是通过对编码前局部特征或者编码后的图像的拼接，可能会造成最后得到的图片编码不完整或者过于冗余，图像的编码效果不佳。

发明内容

本发明实施例的目的在于提供一种包括不同局部特征之间的共享信息以及独立信息的图像的表示和处理方法，以解决现有技术中对图像进行编码时，由于只通过编码前或者编码后的图像的拼接，造成图片编码不完整或者过于冗余的问题。

本发明实施例是这样实现的，一种图像的表示和处理方法，所述方法包括：

在待表示图像中提取至少两种类型的局部特征；

根据待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型，所述混合独立信息分解模型包括不同类型的局部特征中的共享信息和独立信息；

根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码，获取所述图像的多视角超向量表示。

本发明实施例的另一目的在于提供一种图像的表示和处理装置，所述装置包括：

提取单元，用于在待表示图像中提取至少两种类型的局部特征；

建模单元，用于根据待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型，所述混合独立信息分解模型包括不同类型的局部特征中的共享信息和独立信息；

编码单元，用于根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码，获取所述图像的多视角超向量表示。

在本发明实施例中，通过提取待表示图像中的至少两种类型的局部特征，联合建立包括不同类型的局部特征的共享信息和独立信息的混合独立信息分解模型，并根据所述混合独立信息分解模型对不同类型的局部特征的共享信息和独立信息进行编码，得到图像的多视角超向量表示。由于本发明得到的多视角超向量表示为对不同类型的局部特征的共享信息和独立信息进行编码，可以使得编码后的图像信息完整的同时，也不会出现冗余，从而能够显著提高图像的编码效果。

附图说明

图1是本发明具体实施例提供的图像的表示和处理方法的实现流程图；

图2是本发明具体实施例提供的混合独立信息分解模型的参数训练的实现流程图；

图3是本发明具体实施例提供的获取图像的多视角超向量表示的实现流程图；

图4为本发明具体实施例提供的图片的处理装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例主要用于对图片或者视频进行多种局部特征的描述表示。所述图片和视频，以及其它媒体数据，在本发明中统一称为图像。由于本发明所述的图像表示的处理方法，融合了多种局部特征，并且包括由不同类型的局部特征的共享信息所构成超向量，因此其可称为基于多视角(即包括多种类型的局部特征)超向量的图像的表示和处理方法。另外，本发明所述的图像的表示和处理方法得到图像的多视角超向量，可以用于训练分类器，以便于使用分类器快速的完成对图像的分类，也可以根据多视角超向量的相似度估计函数，如马氏函数、核函数等，来检索与待查找图像相似的图像。下面通过实施例进行具体说明。

如图1所示为本发明实施例所述的图像的表示和处理方法的实施流程示意图。其中，在步骤S101中，在待表示图像中提取至少两种类型的局部特征。

其中，所述图像的局部特征，对于图片的局部特征，可以为尺度不变转换特征(其英文全称为Scale-invariant feature transform，其英文简称为SIFT)、梯度方向直方图(英文全称为Histogram of oriented gradient，英文简称为HoG)等，对于视频的局部特征可以为梯度方向直方图或光流直方图等。

所述SIFT特征是基于物体上的一些局部外观的兴趣点而与图像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。而且使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。

所述梯度方向直方图HoG描述子的核心思想是一幅图像中的物体的表象和形状可以被像素强度梯度或边缘的方向分布很好地描述。其实现方法是先将图像分成小的叫做方格单元连通区域；然后采集方格单元中各像素点的梯度方向或边缘方向直方图；最后把这些直方图组合起来就可以构成特征描述子。为了提高精确度，还可以把这些局部直方图在图像的更大的区间(block)中进行对比度归一化(contrast-normalized)，此方法通过先计算各直方图在这个区间(block)中的密度，然后根据这个密度值对区间中的各个方格单元做归一化。通过这个归一化后，能对光照变化和阴影获得更好的稳定性。

与其他的特征描述方法相比，方向梯度直方图(HOG)描述子有很多优点。首先，由于HoG方法是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。方向梯度直方图方法是特别适合于做图像中的行人检测。

由此可见，不同类型的局部特征从不同方面，即不同视角描述图像和视频，他们之间的优点以缺点具有互补性。

在步骤S102中，根据待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型，所述混合独立信息分解模型包括不同类型的局部特征中的共享信息和独立信息。

对于给定图片中提取对应于每个局部区域的两种特征，将这两种特征串联起来得到了包含多视角信息的新特征。为了对串联得到的新特征进一步的建模，需要利用独立信息的分解模型。对于两种底层特征x,y，假设它们满足以下条件：

x＝W_xz+z_x+ξ_x

y＝W_yz+z_y+ξ_y

其中，z代表x和y两种底层特征的共享信息，W_x，W_y分别为线性变换，z_x和z_y分别代表x和y特有的独立信息，ξ_x和ξ_y代表噪声，是误差项，分别服从高斯分布。因此，有如下概率模型：

p(x|z)＝N(W_xz+μ_x,Ψ_x)

p(y|z)＝N(W_yz+μ_y,Ψ_y)

计算边缘分布我们可以得到：

p(x)＝∫P(x|z)p(z)dz＝N(μ_x,W_x(W_x)^T+Ψ_x)

p(y)＝∫P(y|z)p(z)dz＝N(μ_y,W_y(W_y)^T+Ψ_y)。

常用的独立信息分解模型可以抽取新特征里面被两种特征共享的一部分特征，但是这个模型只能处理线性相关的关系。在实际的数据中，不同的特征之间往往有非线性的相关性，因此需要采用混合独立信息分解模型对新特征进行建模。

作为一个混合模型，混合相关分析模型将特征空间分划成几个局部区域，并在每个局部用独立信息分解模型建模。因为局部区域中的相关性可以被近似为线性关系，这样全局非线性关系就能由局部线性的混合模型来建模。因此，本发明所述的混合独立信息分解模型可以处理特征之间的非线性相关关系。

作为一种可选的实施方式中，所述混合独立信息分解模型的数学统计模型可以描述为：

$p(x,y)=\underset{k}{\mathrm{\Σ}}{\mathrm{\ω}}_{k}p(x,y|k)=\underset{k}{\mathrm{\Σ}}{\mathrm{\ω}}_k\∫p\left(x\right|z_k,k)p\left(y\right|z_k,k)p\left(z_k\right){\mathrm{dz}}_k,$

其中k为混合数的序号，ω_k＝P(k)代表第k个混合数的先验概率，z_k代表第k个混合数中x与y的共享变量，条件概率 服从正态分布，z代表x和y两种底层特征的共享信息，W_x，W_y分别为线性变换，z_x和z_y分别代表x和y特有的独立信息。

假定z_k满足标准高斯分布，则可以推导出：

是一个高斯分布N(μ_k,∑k)，则其均值为： ${\mathrm{\μ}}_k=\left(\begin{array}{c}{\mathrm{\μ}}_x^k\\ {\mathrm{\μ}}_y^k\end{array}\right),$ 其方差为： $\mathrm{\Σk}=\left[\begin{array}{cc}{W}_x^k{\left(W_x^k\right)}^T+{\mathrm{\Ψ}}_x^k,& W_x^k{\left(W_y^k\right)}^T\\ W_y^k{\left(W_x^k\right)}^T,& W_y^k{\left(W_y^k\right)}^T+{\mathrm{\Ψ}}_y^k\end{array}\right].$

所述混合独立信息分解模型的参数，在具体的场景下，如对于多种不同局部特征的集合，需要进行具体的训练，以得到具体特征数据对应的参数，其中，对参数的训练过程包括如图2所示的以下步骤：

步骤S201,初始化混合独立信息分解模型的参数，所初始化的混合独立信息分解模型的参数包括协方差矩阵、局部高斯分布的中心、投影矩阵以及每个局部矩阵的权值。

具体可选的，可以对所有特征进行k-means的聚合算法处理，得到图像词汇表{v_k}k＝1...K和对应于特征x和y的局部协相关矩阵和作为每个局部高斯分布的中心，再对每个局部高斯进行单个独立信息分解，得到对应于每个局部高斯的参数，变即投影矩阵 每个局部模型的权重设为相同，变即ω_k＝1/k。

步骤S202,根据所初始化的混合独立信息分解模型的参数，计算对应于样本局部特征的隐变量以及后验概率的估计。

具体可选的，基于初始化的模型参数，计算对应于样本局部特征x_i和y_i的隐变量z_i,k以及后验概率γi,k的估计。首先在每个局部高斯模型k下，计算样本局部特征i的后验概率γ_i,k，计算公式如下：所述隐变量z_i,k的估计的计算公式如下：其中，所述ω_k代表第k个混合数的先验概率，υ_i＝[x_i,y_i]表示对第i个局部特征对,是第k个混合数的中心。

然后再更新相应于每个局部模型中隐变量的期望、协方差和相关矩阵。其中，隐变量期望计算式为： ${\hat{z}}_{i,k}=E\left(z_{i,k}\right)=[{\left(W_x^k\right)}^T,{\left(W_y^k\right)}^T]{\mathrm{\&Sigma;}}_k^{-1}\left[\begin{array}{c}{x}_i-{\mathrm{\&mu;}}_x^k\\ y_i-{\mathrm{\&mu;}}_y^k\end{array}\right],$ 协方差计算式为： $E_z^{i,k}=\mathrm{Var}\left(z_{i,k}\right)=I-[{\left(W_x^k\right)}^T,{\left(W_y^k\right)}^T]{\mathrm{\&Sigma;}}_k^{-1}\left[\begin{array}{c}{W}_x^k\\ W_y^k\end{array}\right],$ 相关矩阵的计算公式为： $<z_{i,k}{z_{i,k}}^T>=E\left(z_{i,k}{z_{i,k}}^T\right)={\mathrm{\&Sigma;}}_z^{i,k}+{\hat{z}}_{i,k}{{\hat{z}}_{i,k}}^T.$

步骤S203,根据所计算的隐变量和后验概率，更新所述参数，所述参数包括所述协方差矩阵、局部高斯模型的中心、投影矩阵、每个局部矩阵的权值。

具体可选的，基于隐变量z_i,k以及后验概率γi,k更新模型的其它参数，变即每个局部高斯模型中的权重、局部高斯模型的中心、、投影矩阵、每个局部矩阵，具体可以为：

根据公式计算每局部高斯模型的权重；

根据公式 ${\mathrm{\&mu;}}_x^k=\frac{{\mathrm{\&Sigma;}}_i\widehat{\mathrm{\&gamma;}}i,k(x_i-W_x^k{\hat{z}}_{i,k})}{{\mathrm{\&Sigma;}}_i\widehat{\mathrm{\&gamma;}}i,k},{\mathrm{\&mu;}}_y^k=\frac{{\mathrm{\&Sigma;}}_i\widehat{\mathrm{\&gamma;}}i,k(y_i-W_y^k{\hat{z}}_{i,k})}{{\mathrm{\&Sigma;}}_i\widehat{\mathrm{\&gamma;}}i,k}$ 计算局部高斯模型的中心；

根据公式：

$W_x^k=\left\{\underset{i}{\mathrm{\&Sigma;}}{\widehat{\mathrm{\&gamma;}}}_{i,k}(x_i-{\mathrm{\&mu;}}_x^k){\hat{z}}_{i,k}^T\right\}{\{\underset{i}{\mathrm{\&Sigma;}}{\widehat{\mathrm{\&gamma;}}}_{i,k}<{\hat{z}}_{i,k},{\hat{z}}_{i,k}^T>\}}^{-1},$

$W_y^k=\left\{\underset{i}{\mathrm{\&Sigma;}}{\widehat{\mathrm{\&gamma;}}}_{i,k}(y_i-{\mathrm{\&mu;}}_y^k){\hat{z}}_{i,k}^T\right\}{\{\underset{i}{\mathrm{\&Sigma;}}{\widehat{\mathrm{\&gamma;}}}_{i,k}<{\hat{z}}_{i,k},{\hat{z}}_{i,k}^T>\}}^{-1}$ 计算协方差矩阵；

根据公式

${\mathrm{\&Psi;}}_x^k=\frac{{\mathrm{\&Sigma;}}_i{\widehat{\mathrm{\&gamma;}}}_{i,k}(x_i-W_x^k{\hat{z}}_{i,k}-{\mathrm{\&mu;}}_x^k){(x_i-W_x^k{\hat{z}}_{i,k}-{\mathrm{\&mu;}}_x^k)}^T}{{\mathrm{\&Sigma;}}_i{\widehat{\mathrm{\&gamma;}}}_{i,k}}+W_x^k{\mathrm{\&Sigma;}}_z^k{W}_x^{\mathrm{kT}},$

${\mathrm{\&Psi;}}_y^k=\frac{{\mathrm{\&Sigma;}}_i{\widehat{\mathrm{\&gamma;}}}_{i,k}(y_i-W_y^k{\hat{z}}_{i,k}-{\mathrm{\&mu;}}_y^k){(y_i-W_y^k{\hat{z}}_{i,k}-{\mathrm{\&mu;}}_y^k)}^T}{{\mathrm{\&Sigma;}}_i{\widehat{\mathrm{\&gamma;}}}_{i,k}}+W_y^k{\mathrm{\&Sigma;}}_z^k{W}_y^{\mathrm{kT}}$ 计算投影矩阵；

其中，其中k为混合数的序号，ω_k＝P(k)代表第k个混合数的先验概率，z_k代表第k个混合数中x与y的共享变量，条件概率 服从正态分布，z代表x和y两种底层特征的共享信息，W_x，W_y分别为线性变换，z_x和z_y分别代表x和y特有的独立信息。

步骤S204，判断所述参数收敛是否收敛，或者计算所述参数迭代的次数是否达到迭代的最大次数，如果所述参数不收敛或者所述参数迭代的次数没有达到迭代的最大次数，转入步骤S202，否则转入步骤S205得到所述混合独立信息分解模型的学习后的参数。

在步骤S103中，根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码。由于图像可以看成是一个不同类型局部特征对(样本)的集合，我们可在对局部特征编码的基础上，将局部特征的编码进行概要，进而获取所述图像的多视角超向量表示。

本步骤中利用混合独立信息分解模型构建图像的多视角超向量表示，从图像中抽取的不同类型的局部特征，可以看成是图像的局部特征对的集合{(x_i,y_i)}。接着我们利用混合独立信息分解模型对不同类型局部特征的共享信息和各种独立信息进行编码，，并将局部特征的编码进行概要，从而获得图像的多视角超向量表示。具体获取图像的多视角超向量表示的步骤可如图3所示：

在步骤S301中，根据所述混合独立信息分解模型的参数确定每个样本的隐变量的估计，并通过后验概率进行加权整合，得到每个局部高斯模型隐变量的估计，并将每个局部高斯模型隐变更的估计串联，得到共享信息的超向量。

具体的，进行混合独立信息分解模型EM算法求平均如步骤S202所示，从每个样本得到相应的隐变量z_i,k的估计，再将这些估计通过及后验概率γi,k进行加权融合，就得到每个局部高斯模型隐变量z_k的计算公式如下：

共享信息的超向量表示Z就是所有局部隐变量z_k的串联向量，即将各局部高斯获得的隐变量串起来形成共享信息向量。

在步骤S302中，获取混合独立信息分解模型的样本似然函数分别相对于x和y的参数的梯度向量，也称为Fisher向量，英文全称为Fisher informationmetric。该梯度向量包含不同类型局部特征x和y的独立信息。

具体的，求模型分别相对于x和y的参数和的梯度向量g_x和g_y。具体中以根据公式

$\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&mu;}}_x^k}=2{\mathrm{\&omega;}}_k{\left({\mathrm{\&Psi;}}_x^k\right)}^{-1}\{{\mathrm{\&mu;}}_x^k-\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}(x_i-W_x^k{\hat{z}}_{i,k})}{\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{i,k}}\}$

$\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&Psi;}}_x^k}={\mathrm{\&omega;}}_k{\left({\mathrm{\&Psi;}}_x^k\right)}^{-1}\{{\mathrm{\&Psi;}}_x^k-\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}(x_{i,k}-W_x^k{\hat{z}}_{i,k}){(x_{i,k}-W_x^k{\hat{z}}_{i,k})}^T}{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}}\}{\left({\mathrm{\&Psi;}}_x^k\right)}^{-1}$ 计算所述混合独立信息分解模型相对于x的参数的梯度向量；

根据公式

$\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&mu;}}_y^k}=2{\mathrm{\&omega;}}_k{\left({\mathrm{\&Psi;}}_x^k\right)}^{-1}\{{\mathrm{\&mu;}}_y^k-\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}(y_i-W_y^k{\hat{z}}_{i,k})}{\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{i,k}}\}$

$\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&Psi;}}_y^k}={\mathrm{\&omega;}}_k{\left({\mathrm{\&Psi;}}_y^k\right)}^{-1}\{{\mathrm{\&Psi;}}_y^k-\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}(y_{i,k}-W_y^k{\hat{z}}_{i,k}){(y_{i,k}-W_y^k{\hat{z}}_{i,k})}^T}{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}}\}{\left({\mathrm{\&Psi;}}_y^k\right)}^{-1}$ 计算所述混合独立信息分解模型相对于y的参数的梯度向量；

其中，代表混合独立信息分解模型的对数似然函数，k为混合数的序号，ω_k＝P(k)代表第k个混合数的先验概率，z_k代表第k个混合数中x与y的共享变量，W_x，W_y分别为线性变换。

在步骤S303中，由所述共享信息的超向量以及包含独立信息的所述梯度向量串联起来，得到多视角超向量表示。

即将共享信息超向量表示Z和梯度向量

$G_x=[\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&mu;}}_x^k},\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&Psi;}}_x^k}]$ $G_y=[\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&mu;}}_y^k},\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&Psi;}}_y^k}]$ 串联起来，就得到最后的多视角超向量表示。

作为对本发明实施例进一步的实施方式中，所述图像的表示和处理方法还可包括步骤S104，根据所获取的不同类别的图像的多视角超向量，训练分类器，使得分类器可根据图像的多视角超向量进行分类步骤，或者根据图像块的多视角超向量训练检测器，使得检测能够检测图像块内是否存在特定物体。

或者步骤S105，根据所获取的多视角超向量以及所述多视角超向量的相相似度估计函数，检索与其相似的图像。从而更为方便有效的完成对图像的分类和检索。

本发明实施例通过提取待表示图像中的至少两种类型的局部特征，联合建立包括不同类型的局部特征的共享信息和独立信息的混合独立信息分解模型，并根据所述混合独立信息分解模型对不同类型的局部特征的共享信息和独立信息进行编码，得到图像的多视角超向量表示。由于本发明得到的多视角超向量表示为对不同类型的局部特征的共享信息和独立信息进行编码，可以使得编码后的图像信息完整的同时，也不会出现冗余，从而能够显著提高图像的编码效果。

本发明的又一实施方式如图4所示的图像的表示和处理装置，其包括：

提取单元401，用于在待表示图像中提取至少两种类型的局部特征；

建模单元402，用于根据待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型，所述混合独立信息分解模型包括不同类型的局部特征中的共享信息和独立信息；

编码单元403，用于根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码，并将局部特征的编码进行概要，获取所述图像的多视角超向量表示。

进一步，本发明怕述图像的表示和处理方法还可以包括：

识别单元404，用于根据所获取的不同类别的图像的多视角超向量，训练分类器，使得分类器可根据图像的多视角超向量对其类别进行判断；或者根据图像块的多视角超向量训练检测器，使得检测能够检测图像块内是否存在特定物体。

或者检索单元405，用于根据所获取的多视角超向量以及所述多视角超向量的相相似度估计函数，检索与其相似的图像。

可选的，所述混合独立信息分解模型为：

$p(x,y)=\underset{k}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{k}p(x,y|k)=\underset{k}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_k\&Integral;p\left(x\right|z_k,k)p\left(y\right|z_k,k)p\left(z_k\right){\mathrm{dz}}_k,$

其中k为混合数的序号，ω_k＝P(k)代表第k个混合数的先验概率，z_k代表第k个混合数中x与y的共享变量，条件概率 z代表x和y两种底层特征的共享信息，W_x，W_y分别为线性变换，z_x和z_y分别代表x和y特有的独立信息；

所述建模单元包括：

初始化子单元，用于初始化混合独立信息分解模型的参数，所初始化的混合独立信息分解模型的参数包括协方差矩阵、局部高斯分布的中心、投影矩阵以及每个局部矩阵的权值；

计算子单元，用于根据所初始化的混合独立信息分解模型的参数，计算对应于样本局部特征的隐变量以及后验概率的估计；

更新子单元，用于根据所计算的隐变量和后验概率，更新所述参数，所述参数包括所述协方差矩阵、局部高斯模型的中心、投影矩阵、每个局部矩阵的权值；

判断子单元，用于判断所述参数收敛是否收敛，或者计算所述参数迭代的次数是否达到迭代的最大次数，如果所述参数不收敛或者所述参数迭代的次数没有达到迭代的最大次数，转入计算单元，否则得到所述混合独立信息分解模型的学习后的参数。

可选的，所述编码单元从图像中抽取不同类型的局部特征，构成多态局部特征样本集，利用训练出的混合独立信息分解模型，计算样本集的共享信息和独立信息向量，进而构成图像表示的多视角超向量，具体包括：

超向量获取子单元，用于根据所述混合独立信息分解模型的参数确定每个样本的隐变量的估计，并通过后验概率进行加权整合，得到每个局部高斯模型隐变量的估计，并将每个局部高斯模型隐变更的估计串联，得到共享信息的超向量；

梯度向量获取子单元，用于获取混合独立信息分解模型分别相对于x和y的参数的梯度向量；

串联子单元，用于由所述共享信息的超向量以及所述梯度向量串联起来，得到多视角超向量表示。

本发明实施例图4所述图像的表示和处理装置与图1、图2以及图3所示的图像的表示和处理方法相对应，在此不作重复赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像的表示和处理方法，其特征在于，所述方法包括：

在待表示图像中提取至少两种类型的局部特征；

根据待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型，所述混合独立信息分解模型包括不同类型的局部特征中的共享信息和独立信息；

根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码，并将局部特征的编码进行概要，获取所述图像的多视角超向量表示。

2.根据权利要求1所述方法，其特征在于，所述混合独立信息分解模型为：

$p(x,y)=\underset{k}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{k}p(x,y|k)=\underset{k}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_k\&Integral;p\left(x\right|z_k,k)p\left(y\right|z_k,k)p\left(z_k\right){\mathrm{dz}}_k,$

其中k为混合数的序号，ω_k＝P(k)代表第k个混合数的先验概率，z_k代表第k个混合数中x与y的共享变量，条件概率 服从正态分布；z代表x和y两种底层特征的共享信息，W_x，W_y分别为线性变换，z_x和z_y分别代表x和y特有的独立信息；

所述根据从待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型步骤包括：

A,初始化混合独立信息分解模型的参数，所初始化的混合独立信息分解模型的参数包括协方差矩阵、局部高斯分布的中心、投影矩阵以及每个局部矩阵的权值；

B,根据所初始化的混合独立信息分解模型的参数，计算对应于样本局部特征的隐变量以及后验概率的估计；

C,根据所计算的隐变量和后验概率，更新所述参数，所述参数包括所述协方差矩阵、局部高斯模型的中心、投影矩阵、每个局部矩阵的权值；

D，判断所述参数收敛是否收敛，或者计算所述参数迭代的次数是否达到迭代的最大次数，如果所述参数不收敛或者所述参数迭代的次数没有达到迭代的最大次数，转入步骤B，否则得到所述混合独立信息分解模型的学习后的参数。

3.根据权利要求2所述方法，其特征在于，所述根据所初始化的混合独立信息分解模型的参数，计算对应于样本局部特征的隐变量以及后验概率步骤中，

所述后验概率γ_i,k的估计的计算公式如下：其中，所述ω_k代表第k个混合数的先验概率，υ_i＝[x_i,y_i]表示对第i个局部特征对,是第k个混合数的中心；所述隐变量z_i,k的估计的计算公式如下： ${\hat{z}}_k=[W_x^{\mathrm{kT}},W_y^{\mathrm{kT}}]{\mathrm{\&Sigma;}}_k^{-1}\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{i,k}({\mathrm{\&upsi;}}_i-{\mathrm{\&mu;}}_k);$

所述根据所计算的隐变量和后验概率，更新所述参数，所述参数包括所述协方差矩阵、局部高斯模型的中心、投影矩阵、每个局部矩阵的权值步骤为：

根据公式计算每局部高斯模型的权重；

根据公式 ${\mathrm{\&mu;}}_x^k=\frac{{\mathrm{\&Sigma;}}_i\widehat{\mathrm{\&gamma;}}i,k(x_i-W_x^k{\hat{z}}_{i,k})}{{\mathrm{\&Sigma;}}_i\widehat{\mathrm{\&gamma;}}i,k},{\mathrm{\&mu;}}_y^k=\frac{{\mathrm{\&Sigma;}}_i\widehat{\mathrm{\&gamma;}}i,k(y_i-W_y^k{\hat{z}}_{i,k})}{{\mathrm{\&Sigma;}}_i\widehat{\mathrm{\&gamma;}}i,k}$ 计算局部高斯模型的中心；

根据公式：

$W_x^k=\left\{\underset{i}{\mathrm{\&Sigma;}}{\widehat{\mathrm{\&gamma;}}}_{i,k}(x_i-{\mathrm{\&mu;}}_x^k){\hat{z}}_{i,k}^T\right\}{\{\underset{i}{\mathrm{\&Sigma;}}{\widehat{\mathrm{\&gamma;}}}_{i,k}<{\hat{z}}_{i,k},{\hat{z}}_{i,k}^T>\}}^{-1},$

$W_y^k=\left\{\underset{i}{\mathrm{\&Sigma;}}{\widehat{\mathrm{\&gamma;}}}_{i,k}(x_i-{\mathrm{\&mu;}}_y^k){\hat{z}}_{i,k}^T\right\}{\{\underset{i}{\mathrm{\&Sigma;}}{\widehat{\mathrm{\&gamma;}}}_{i,k}<{\hat{z}}_{i,k},{\hat{z}}_{i,k}^T>\}}^{-1}$ 计算协方差矩阵；

根据公式

${\mathrm{\&Psi;}}_x^k=\frac{{\mathrm{\&Sigma;}}_i{\widehat{\mathrm{\&gamma;}}}_{i,k}(x_i-W_x^k{\hat{z}}_{i,k}-{\mathrm{\&mu;}}_x^k){(x_i-W_x^k{\hat{z}}_{i,k}-{\mathrm{\&mu;}}_x^k)}^T}{{\mathrm{\&Sigma;}}_i{\widehat{\mathrm{\&gamma;}}}_{i,k}}+W_x^k{\mathrm{\&Sigma;}}_z^k{W}_x^{\mathrm{kT}},$

${\mathrm{\&Psi;}}_y^k=\frac{{\mathrm{\&Sigma;}}_i{\widehat{\mathrm{\&gamma;}}}_{i,k}(y_i-W_y^k{\hat{z}}_{i,k}-{\mathrm{\&mu;}}_y^k){(y_i-W_y^k{\hat{z}}_{i,k}-{\mathrm{\&mu;}}_y^k)}^T}{{\mathrm{\&Sigma;}}_i{\widehat{\mathrm{\&gamma;}}}_{i,k}}+W_y^k{\mathrm{\&Sigma;}}_z^k{W}_y^{\mathrm{kT}}$ 计算投影矩阵；

其中，其中k为混合数的序号，ω_k＝P(k)代表第k个混合数的先验概率，z_k代表第k个混合数中x与y的共享变量，条件概率 服从正态分布，z代表x和y两种底层特征的共享信息，W_x，W_y分别为线性变换，z_x和z_y分别代表x和y特有的独立信息。

4.根据权利要求1所述方法，其特征在于，所述根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码，并将局部特征的编码进行概要，获取所述图像的多视角超向量表示，具体步骤包括：

根据所述混合独立信息分解模型的参数估计每个样本，即局部特征对的共享隐变量，并通过各个样本的后验概率进行加权整合，得到每个局部高斯模型隐变量的估计，并将每个局部高斯模型隐变更的估计串联，得到共享信息的超向量；

获取混合独立信息分解模型的样本似然函数分别相对于x和y的参数的梯度向量，该梯度向量包含不同类型局部特征x和y的独立信息；

由所述共享信息的超向量以及包含独立信息的所述梯度向量串联起来，得到多视角超向量表示。

5.根据权利要求4所述方法，其特征在于，所述根据所述混合独立信息分解模型的参数估计确定每个样本，即局部特征对的共享隐变量的估计，并通过各个样本的后验概率进行加权整合，得到每个局部高斯模型隐变量的估计，并将每个局部高斯模型隐变更的估计串联，得到共享信息的超向量步骤中，根据公式计算每个局部高斯模型隐变量的估计；

将各局部高斯获得的隐变量串起来形成共享信息向量；

所述获取混合独立信息分解模型分别相对于x和y的参数的梯度向量步骤中，根据公式

$\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&mu;}}_x^k}=2{\mathrm{\&omega;}}_k{\left({\mathrm{\&Psi;}}_x^k\right)}^{-1}\{{\mathrm{\&mu;}}_x^k-\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}(x_i-W_x^k{\hat{z}}_{i,k})}{\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{i,k}}\}$

$\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&Psi;}}_x^k}={\mathrm{\&omega;}}_k{\left({\mathrm{\&Psi;}}_x^k\right)}^{-1}\{{\mathrm{\&Psi;}}_x^k-\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}(x_{i,k}-W_x^k{\hat{z}}_{i,k}){(x_{i,k}-W_x^k{\hat{z}}_{i,k})}^T}{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}}\}{\left({\mathrm{\&Psi;}}_x^k\right)}^{-1}$ 计算所述混合独立信息分解模型相对于x的参数的梯度向量；

根据公式

$\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&mu;}}_y^k}=2{\mathrm{\&omega;}}_k{\left({\mathrm{\&Psi;}}_x^k\right)}^{-1}\{{\mathrm{\&mu;}}_y^k-\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}(y_i-W_y^k{\hat{z}}_{i,k})}{\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{i,k}}\}$

$\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&Psi;}}_y^k}={\mathrm{\&omega;}}_k{\left({\mathrm{\&Psi;}}_y^k\right)}^{-1}\{{\mathrm{\&Psi;}}_y^k-\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}(y_{i,k}-W_y^k{\hat{z}}_{i,k}){(y_{i,k}-W_y^k{\hat{z}}_{i,k})}^T}{{\mathrm{\&Sigma;}}_i{\mathrm{\&gamma;}}_{i,k}}\}{\left({\mathrm{\&Psi;}}_y^k\right)}^{-1}$ 计算所述混合独立信息分解模型相对于y的参数的梯度向量；

其中，代表混合独立信息分解模型的对数似然函数，k为混合数的序号，ω_k＝P(k)代表第k个混合数的先验概率，z_k代表第k个混合数中x与y的共享变量，W_x，W_y分别为线性变换；

其中， $G_x=[\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&mu;}}_x^k},\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&Psi;}}_x^k}]$ 和 $G_y=[\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&mu;}}_y^k},\frac{\&PartialD;E\left(L\right)}{\&PartialD;{\mathrm{\&Psi;}}_y^k}]$ 分别代表图像中关于x和y的独立信息；将共享信息向量与独立信息向量串起来即可构成图像的多视角超向量表示[Z,Gx,Gy]。

6.根据权利要求1所述方法，其特征在于，所述方法还包括：

根据所获取的不同类别的图像的多视角超向量，训练分类器，使得分类器可根据图像的多视角超向量对其类别进行判断；

或者根据图像块的多视角超向量训练检测器，使得检测能够检测图像块内是否存在特定物体。

7.根据权利要求1所述方法，其特征在于，所述方法还包括：

根据所获取的多视角超向量以及所述多视角超向量的相相似度估计函数，检索与其相似的图像。

8.一种图像的表示和处理装置，其特征在于，所述装置包括：

提取单元，用于在待表示图像中提取至少两种类型的局部特征；

建模单元，用于根据待表示图像中所提取的不同种类的局部特征，联合建立混合独立信息分解模型，所述混合独立信息分解模型包括不同类型的局部特征中的共享信息和独立信息；

编码单元，用于根据所述混合独立信息分解模型，对不同类型的局部特征的共享信息和独立信息进行编码，并将局部特征的编码进行概要，获取所述图像的多视角超向量表示。

9.根据权利要求8所述装置，其特征在于，所述混合独立信息分解模型为：

$p(x,y)=\underset{k}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_{k}p(x,y|k)=\underset{k}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_k\&Integral;p\left(x\right|z_k,k)p\left(y\right|z_k,k)p\left(z_k\right){\mathrm{dz}}_k,$

其中k为混合数的序号，ω_k＝P(k)代表第k个混合数的先验概率，z_k代表第k个混合数中x与y的共享变量，条件概率 z代表x和y两种底层特征的共享信息，W_x，W_y分别为线性变换，z_x和z_y分别代表x和y特有的独立信息；

所述建模单元包括：

初始化子单元，用于初始化混合独立信息分解模型的参数，所初始化的混合独立信息分解模型的参数包括协方差矩阵、局部高斯分布的中心、投影矩阵以及每个局部矩阵的权值；

计算子单元，用于根据所初始化的混合独立信息分解模型的参数，计算对应于样本局部特征的隐变量以及后验概率的估计；

更新子单元，用于根据所计算的隐变量和后验概率，更新所述参数，所述参数包括所述协方差矩阵、局部高斯模型的中心、投影矩阵、每个局部矩阵的权值；

判断子单元，用于判断所述参数收敛是否收敛，或者计算所述参数迭代的次数是否达到迭代的最大次数，如果所述参数不收敛或者所述参数迭代的次数没有达到迭代的最大次数，转入计算单元，否则得到所述混合独立信息分解模型的学习后的参数。

10.根据权利要求8所述装置，其特征在于，所述编码单元从图像中抽取不同类型的局部特征，构成多态局部特征样本集，利用训练出的混合独立信息分解模型，计算样本集的共享信息和独立信息向量，进而构成图像表示的多视角超向量，具体包括：

超向量获取子单元，用于根据所述混合独立信息分解模型的参数确定每个样本的隐变量的估计，并通过后验概率进行加权整合，得到每个局部高斯模型隐变量的估计，并将每个局部高斯模型隐变更的估计串联，得到共享信息的超向量；

梯度向量获取子单元，用于获取混合独立信息分解模型分别相对于x和y的参数的梯度向量，代表各类局部特征的独立信息；

串联子单元，用于由所述共享信息的超向量以及所述梯度向量串联起来，得到多视角超向量表示。