CN105740880A - 图像局部特征语义分布结构和样本分布结构融合编码方法 - Google Patents

Abstract

本发明公开了图像局部特征语义分布结构和样本分布结构融合编码方法，首先获取图像的多尺度稠密SIFT局部特征，然后用K?mean聚类获取局部特征的语义中心，用χ²测度度量局部特征语义分布结构；基于图像的局部特征用Hausdorff距离度量图像样本分布结构；基于词包模型编码的图像样本分布结构度量。最终通过矩阵谱优化求解的方法融合结构获得局部低维紧实的局部特征，用K?mean聚类获取局部特征的新的语义中心，对每一幅图像进行特征量化编码，获得分类判别能力强的图像特征描述。本方法不仅考虑局部特征语义中心间分布结构，而且考虑图像样本间分布结构，将以上两种结构统一到一种框架下，从而得到图像紧实的局部特征和分类判别能力强的图像结构信息融合编码。

Description

图像局部特征语义分布结构和样本分布结构融合编码方法

技术领域

本发明属视频监控图像处理技术领域，具体涉及一种图像局部特征语义分布结构和样本分布结构融合编码方法。

背景技术

近年来，基于内容分析的智能监控系统的应用越来越多，要智能分析和识别目标，图像的描述与认知是要解决的重要问题，因为图像局部描述表现出的结构多样性和各个结构描述融合的复杂性，使得考虑单一结构约束难以完整的描述图像分布的本质结构。这种情况当前的方法无法进行图像局部特征语义分布结构和样本分布结构融合编码，进而无法更加准确的表征图像内容信息。

发明内容

本发明的目的是提供一种图像局部特征语义分布结构和样本分布结构融合编码方法，解决了现有编码方法无法准确的表征图像内容信息的问题。

本发明所采用的技术方案是，图像局部特征语义分布结构和样本分布结构融合编码方法，具体按照以下步骤实施：

步骤1：获取图像的多尺度稠密SIFT局部特征；

步骤2：用K-mean聚类获取局部特征的语义中心，用χ²测度度量局部特征语义分布结构；

步骤3：基于图像的局部特征用Hausdorff距离度量图像样本分布结构；

步骤4：基于词包模型编码的图像样本分布结构度量；

步骤5：通过矩阵谱优化求解的方法融合结构获得局部低维紧实的局部特征，用K-mean聚类获取局部特征的新的语义中心，对每一幅图像进行特征量化编码，获得分类判别能力强的图像特征描述。

本发明的特点还在于，

步骤1具体为：

先将图像以s×s像素区域分割成多块，第一个关键点的坐标为(x₁,y₁)，其中x₁＝x_min+3/2×s，y₁＝y_min+3/2×s，(x_min,y_min)为图像提取局部特征的区域的起始坐标，对区域为整个图像的起始坐标为(0，0)；第二个关键点的坐标为(x₂,y₂)，其中x₂＝x₁+step,y₂＝y₁+step，step为步长；第n个关键点的坐标为(x_n,y_n)，其中x_n＝x₁+(n-1)×step，y_n＝y₁+(n-1)×step，(x_max,y_max)为区域最大坐标，x₁......x_n<＝x_max,y₁......y_n<＝y_max；然后以关键点为中心的16×16个像素区域生成局部特征，将16×16个像素区域划分为4×4的16个区域，在每个区域内统计方向梯度直方图，即把360度平均划分8个区，根据关键点的梯度方向统计各个区的梯度幅值加和，形成8维特征，连接并归一化16个区域8维梯度直方图，形成16*8＝128维的局部特征，图像的多个关键点形成图像的多尺度稠密多SIFT局部特征。

s取4或6或8或10。

步长step＝3。

步骤2具体为：

在步骤1得到的多尺度稠密SIFT局部特征中随机取a个特征，然后用K-mean聚类获取b个局部特征的语义中心，表示为Z＝[Z₁,Z₂,...,Z_b]^T,其中Z_i为第i个局部特征的语义中心，1≤i≤b，然后用χ²测度度量局部特征语义分布结构，图像的局部特征的语义分布结构度量为d_Z(Z_i,Z_j)：

$d_Z(Z_i,Z_j)=\frac{1}{2}\frac{{\&lsqb;Z_i-Z_j\&rsqb;}^2}{Z_i+Z_j}---\left(1\right)$

其中，Z_i和Z_j为局部特征的语义中心i和局部特征的语义中心j的SIFT特征表征，1≤i≤b，1≤j≤b。

步骤3具体为：

设图像学习样本数目为m，图像样本集表示为I＝[I₁,I₂,...,I_m]^T，图像样本信息用图像关键点的集合表示为I_i＝{Z_il|1≤l≤l_i}，其中1≤i≤m,I_i为第i图像样本的局部特征的集合，l_i为第i图像样本的局部特征数目；

为了提取当前图像的语义中心简化计算，用K-mean聚类成c个类，第i图像样本的局部特征的集合为I_i＝{Z_l|1≤l≤c}，因为图像样本信息用语义中心集合表示，用Hausdorff距离d_I(I_i,I_j)度量不同图像样本分布结构：

d_I(I_i,I_j)＝max(h(I_i,I_j),h(I_j,I_i)) (2)

其中，I_i和I_j分别为第i图像样本的局部特征的集合和第j图像样本的局部特征的集合；

$h(I_i,I_j)=\underset{Z_{il}\&Element;I_i}{\max }\underset{Z_{jl}\&Element;I_j}{\min }\left|\right|Z_{il}-Z_{jl}\left|\right|,h(I_j,I_i)=\underset{Z_{jl}\&Element;I_j}{\max }\underset{Z_{il}\&Element;I_i}{\min }\left|\right|Z_{jl}-Z_{il}\left|\right|.$

c取10。

步骤4具体为：

设图像学习样本数目为m，图像样本集表示为I＝[I₁,I₂,...,I_m]^T，图像样本信息用图像关键点的集合表示为I_i＝{Z_il|1≤l≤l_i}，其中1≤i≤m,I_i为第i图像样本的局部特征的集合，l_i为第i图像样本的局部特征数目；

在这些局部特征随机取a个特征，然后用K-mean聚类获取b个局部特征的语义中心，可表示为Z＝[Z₁,Z₂,...,Z_b]^T,其中Z_i为第i个局部特征的语义中心，1≤i≤b，可对图像学习样本编码为H＝[H₁,H₂,...,H_m]^T。

$H_i\left(k\right)=\underset{Z_{il}\&Element;I_i}{count}\left(\underset{Z_k\&Element;Z}{min}\right||Z_k-Z_{il}|\left|\right)---\left(3\right)$

其中，H_i(k)为H_i的第k维，1≤k≤b；为计数函数，统计Z_il和b个局部特征的语义中心Z_k距离最短时对应到第k维的特征数目，用χ²测度度量d_H(H_i,H_j)表示不同图像样本分布结构：

$d_H(H_i,H_j)=\frac{1}{2}\frac{{\&lsqb;H_i-H_j\&rsqb;}^2}{H_i+H_j}---\left(4\right).$

步骤5具体为：

在这些局部特征随机取a个特征，然后用K-mean聚类获取b个局部特征的语义中心，可表示为Z＝[Z₁,Z₂,...,Z_b]^T,其中Z_i为第i个局部特征的语义中心，1≤i≤b，

计算各结构测度相似矩阵W_Z＝{W_Z,i,j}和W_H＝{W_H,i,j}：

根据融合图像局部特征语义分布结构和样本分布结构的优化方程得以下优化式：

(ZW_ZZ^T-B)α＝λZZ^Tα (7)

其中， $S=\underset{i}{\overset{m}{\&Sigma;}}\underset{j}{\overset{m}{\&Sigma;}}\&lsqb;d_I(I_i,I_j)\&times;W_{H,i,j}\&rsqb;;$

通过广义特征值求解d个最大特征对应的特征向量，求得映射矩阵A＝[α₁,α₂,...,α_d]，求解出A后，通过式Y_i＝A^TZ_i映射各个特征集，得融合后的局部特征为Y_i，

设图像学习样本数目为m，映射后图像样本集表示为Q＝[Q₁,Q₂,...,Q_m]^T，图像样本信息用图像关键点的集合表示为Q_i＝{Y_il|1≤l≤l_i}，其中1≤i≤m，Q_i为第i图像样本的局部特征的集合，l_i为第i图像样本的局部特征数目，在这些局部特征随机取a个特征，然后用K-mean聚类获取b个局部特征的语义中心表示为Y＝[Y₁,Y₂,...,Y_b]^T，其中Y_i为第i个映射后的局部特征的语义中心，1≤i≤b，对所有图像样本编码为H_Y＝[H_Y1,H_Y2,...,H_YM]^T，

其中，M为图像样本的总数，

$H_{Yi}\left(k\right)=\underset{Y_{il}\&Element;Q_i}{count}\left(\underset{Y_k\&Element;Y}{min}\right||Y_k-Y_{il}|\left|\right)---\left(8\right)$

其中H_Yi(k)为H_Yi的第k维，1≤k≤b；为计数函数，统计Y_il和b个局部特征的语义中心Y_k距离最短时对应到第k维的特征数目。

本发明的有益效果是：本发明图像局部特征语义分布结构和样本分布结构融合编码方法，不仅考虑局部特征语义中心间分布结构，而且考虑图像样本间分布结构，将这两种结构统一到一种框架下获取局部特征的融合编码，从而得到图像紧实的局部特征和分类判别能力强的图像结构信息融合编码。

附图说明

图1是本发明编码方法与现有编码方法的识别准确率比较图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明图像局部特征语义分布结构和样本分布结构融合编码方法，首先获取图像的多尺度稠密SIFT局部特征，然后用K-mean聚类获取局部特征的语义中心，用χ²测度度量局部特征语义分布结构；基于图像的局部特征用Hausdorff距离度量图像样本分布结构；基于词包模型编码的图像样本分布结构度量。最终通过矩阵谱优化求解的方法融合结构获得局部低维紧实的局部特征，用K-mean聚类获取局部特征的新的语义中心，对每一幅图像进行特征量化编码，获得分类判别能力强的图像特征描述。

具体实施步骤为：

步骤1：获取图像的多尺度稠密SIFT局部特征：

先将图像以s×s(s取4或6或8或10以获取不同的尺度)像素区域分割成多块，第一个关键点的坐标为(x₁,y₁)，其中x₁＝x_min+3/2×s，y₁＝y_min+3/2×s，(x_min,y_min)为图像提取局部特征的区域的起始坐标，对区域为整个图像的起始坐标为(0，0)；第二个关键点的坐标为(x₂,y₂)，其中x₂＝x₁+step,y₂＝y₁+step，step为步长，step＝3；第n个关键点的坐标为(x_n,y_n)，其中x_n＝x₁+(n-1)×step，y_n＝y₁+(n-1)×step，(x_max,y_max)为区域最大坐标，x₁......x_n<＝x_max,y₁......y_n<＝y_max即所有坐标需在区域最大坐标的限制下；然后以关键点为中心的16×16个像素区域生成局部特征，将16×16个像素区域划分为4×4的16个区域，在每个区域内统计方向梯度直方图，即把360度平均划分8个区，根据关键点的梯度方向统计各个区的梯度幅值加和，形成8维特征，连接并归一化16个区域8维梯度直方图，形成16*8＝128维的局部特征，图像的多个关键点形成图像的多尺度稠密多SIFT局部特征。

步骤2：局部特征语义分布结构度量：

在图像训练样本中能获得大量SIFT局部特征，在这些局部特征随机取10000个特征，然后用K-mean聚类获取1000个局部特征的语义中心，可表示为Z＝[Z₁,Z₂,...,Z₁₀₀₀]^T,其中Z_i为第i个局部特征的语义中心，1≤i≤1000。SIFT局部特征为分布特征，而且分布特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布特征，所以选用χ²测度。图像的局部特征的语义分布结构度量为d_Z(Z_i,Z_j),Z_i和Z_j为局部特征的语义中心i和局部特征的语义中心j的SIFT特征表征，1≤i≤1000，1≤j≤1000。它由下式计算：

$d_Z(Z_i,Z_j)=\frac{1}{2}\frac{{\&lsqb;Z_i-Z_j\&rsqb;}^2}{Z_i+Z_j}---\left(1\right)$

步骤3：基于局部特征集的图像样本分布结构度量：

设图像学习样本数目为m，图像样本集可表示为I＝[I₁,I₂,...,I_m]^T图像样本信息可以用图像关键点的集合表示为I_i＝{Z_il|1≤l≤l_i},其中1≤i≤m,I_i为第i图像样本的局部特征的集合，l_i为第i图像样本的局部特征数目。因为l_i的数目与图像的大小有关，可能成千上百。为了提取当前图像的语义中心简化计算，所以用K-mean聚类成10个类，所以第i图像样本的局部特征的集合可以为I_i＝{Z_l|1≤l≤10}。因为图像样本信息用语义中心集合表示，可以用Hausdorff距离d_I(I_i,I_j)度量不同图像样本分布结构：

d_I(I_i,I_j)＝max(h(I_i,I_j),h(I_j,I_i)) (2)

其中，I_i和I_j分别为第i图像样本的局部特征的集合和第j图像样本的局部特征的集合；

$h(I_i,I_j)=\underset{Z_{il}\&Element;I_i}{\max }\underset{Z_{jl}\&Element;I_j}{\min }\left|\right|Z_{il}-Z_{jl}\left|\right|,h(I_j,I_i)=\underset{Z_{jl}\&Element;I_j}{\max }\underset{Z_{il}\&Element;I_i}{\min }\left|\right|Z_{jl}-Z_{il}\left|\right|.$

步骤4：基于词包模型编码的图像样本分布结构度量：

设图像学习样本数目为m，图像样本集可表示为I＝[I₁,I₂,...,I_m]^T图像样本信息可以用图像关键点的集合表示为I_i＝{Z_il|1≤l≤l_i},其中1≤i≤m,I_i为第i图像样本的局部特征的集合，l_i为第i图像样本的局部特征数目。在图像训练样本中能获得大量SIFT局部特征，在这些局部特征随机取10000个特征，然后用K-mean聚类获取1000个局部特征的语义中心，可表示为Z＝[Z₁,Z₂,...,Z₁₀₀₀]^T,其中Z_i为第i个局部特征的语义中心，1≤i≤1000。可对图像学习样本编码为H＝[H₁,H₂,...,H_m]^T。

$H_i\left(k\right)=\underset{Z_{il}\&Element;I_i}{count}\left(\underset{Z_k\&Element;Z}{min}\right||Z_k-Z_{il}|\left|\right)---\left(3\right)$

其中，H_i(k)为H_i的第k维，1≤k≤1000；为计数函数，统计Z_il和1000个局部特征的语义中心Z_k距离最短时对应到第k维的特征数目。可以用用χ²测度度量d_H(H_i,H_j)表示不同图像样本分布结构：

$d_H(H_i,H_j)=\frac{1}{2}\frac{{\&lsqb;H_i-H_j\&rsqb;}^2}{H_i+H_j}---\left(4\right)$

步骤5：通过矩阵谱优化求解的方法融合结构获得局部低维紧实的局部特征，用K-mean聚类获取局部特征的新的语义中心，对每一幅图像进行特征量化编码，获得分类判别能力强的图像特征描述。

在图像训练样本中能获得大量SIFT局部特征，在这些局部特征随机取10000个特征，然后用K-mean聚类获取1000个局部特征的语义中心，可表示为Z＝[Z₁,Z₂,...,Z₁₀₀₀]^T,其中Z_i为第i个局部特征的语义中心，1≤i≤1000。

然后计算各结构测度相似矩阵，W_Z＝{W_Z,i,j}和W_H＝{W_H,i,j}(i＝1,2,...,1000j＝1,2,...,1000)：

根据融合图像局部特征语义分布结构和样本分布结构的优化方程得以下优化式：

(ZW_ZZ^T-B)α＝λZZ^Tα (7)

其中， $S=\underset{i}{\overset{m}{\&Sigma;}}\underset{j}{\overset{m}{\&Sigma;}}\&lsqb;d_I(I_i,I_j)\&times;W_{H,i,j}\&rsqb;.$

通过广义特征值求解d个最大特征对应的特征向量，求得映射矩阵A＝[α₁,α₂,...,α_d]。求解出A后，通过式Y_i＝A^TZ_i映射各个特征集，得融合后的局部特征为Y_i。

设图像学习样本数目为m，映射后图像样本集可表示为Q＝[Q₁,Q₂,...,Q_m]^T图像样本信息可以用图像关键点的集合表示为Q_i＝{Y_il|1≤l≤l_i},其中1≤i≤m,Q_i为第i图像样本的局部特征的集合，l_i为第i图像样本的局部特征数目。在这些局部特征随机取10000个特征，然后用K-mean聚类获取1000个局部特征的语义中心，可表示为Y＝[Y₁,Y₂,...,Y₁₀₀₀]^T,其中Y_i为第i个映射后的局部特征的语义中心，1≤i≤1000。可对所有图像样本编码为H_Y＝[H_Y1,H_Y2,...,H_YM]^T，

其中，M为图像样本的总数。

$H_{Yi}\left(k\right)=\underset{Y_{il}\&Element;Q_i}{count}\left(\underset{Y_k\&Element;Y}{min}\right||Y_k-Y_{il}|\left|\right)---\left(8\right)$

其中H_Yi(k)为H_Yi的第k维，1≤k≤1000；为计数函数，统计Y_il和1000个局部特征的语义中心Y_k距离最短时对应到第k维的特征数目。

实施例

在ORL(Olivetti研究实验室，Olivetti Research Laboratory)人脸图像数据库中，对图像最终编码随机取各类80％的数据学习支持向量积和20％的数据测试分类。如图1所示，横轴为图像最终编码的维数(20-100)，纵轴为识别的正确率。图中的方法分别为SIFT(尺度不变特征变换，Scale Invariance Feature Transform)、GS-SIFT(基于SIFT的考虑图像样本分布结构编码，Global Structure-Scale Invariance Feature Transform)、LS-SIFT(基于SIFT的考虑图像局部特征语义分布结构编码，Local Structure-ScaleInvariance Feature Transform)、本发明的编码方法GLS-SIFT(基于SIFT的考虑图像局部特征语义分布结构和图像样本分布结构融合编码，Global and Local Structure-ScaleInvariance Feature Transform)、FV-SIFT(基于SIFT的fisher向量编码，Fisher Vector-Scale Invariance Feature Transform)、SP-SIFT(基于SIFT的空间金字塔编码，SpatialPyramid-Scale Invariance Feature Transform)。由图中可以看出，在多数维度中采用本发明的方法识别率是最高的，本发明方法在各维度中获得了最高的平均识别率，说明了本发明能更好的挖掘数据本质结构，为图像表征提供更好的编码方法。

Claims (9)

1.图像局部特征语义分布结构和样本分布结构融合编码方法，其特征在于，具体按照以下步骤实施：

步骤1：获取图像的多尺度稠密SIFT局部特征；

步骤2：用K-mean聚类获取局部特征的语义中心，用χ²测度度量局部特征语义分布结构；

步骤3：基于图像的局部特征用Hausdorff距离度量图像样本分布结构；

步骤4：基于词包模型编码的图像样本分布结构度量；

步骤5：通过矩阵谱优化求解的方法融合结构获得局部低维紧实的局部特征，用K-mean聚类获取局部特征的新的语义中心，对每一幅图像进行特征量化编码，获得分类判别能力强的图像特征描述。

2.根据权利要求1所述的图像局部特征语义分布结构和样本分布结构融合编码方法，其特征在于，所述步骤1具体为：

先将图像以s×s像素区域分割成多块，第一个关键点的坐标为(x₁,y₁)，其中x₁＝x_min+3/2×s，y₁＝y_min+3/2×s，(x_min,y_min)为图像提取局部特征的区域的起始坐标，对区域为整个图像的起始坐标为(0，0)；第二个关键点的坐标为(x₂,y₂)，其中x₂＝x₁+step,y₂＝y₁+step，step为步长；第n个关键点的坐标为(x_n,y_n)，其中x_n＝x₁+(n-1)×step，y_n＝y₁+(n-1)×step，(x_max,y_max)为区域最大坐标，x₁......x_n＜＝x_max,y₁......y_n＜＝y_max；然后以关键点为中心的16×16个像素区域生成局部特征，将16×16个像素区域划分为4×4的16个区域，在每个区域内统计方向梯度直方图，即把360度平均划分8个区，根据关键点的梯度方向统计各个区的梯度幅值加和，形成8维特征，连接并归一化16个区域8维梯度直方图，形成16*8＝128维的局部特征，图像的多个关键点形成图像的多尺度稠密多SIFT局部特征。

3.根据权利要求2所述的图像局部特征语义分布结构和样本分布结构融合编码方法，其特征在于，所述s取4或6或8或10。

4.根据权利要求2所述的图像局部特征语义分布结构和样本分布结构融合编码方法，其特征在于，所述步长step＝3。

5.根据权利要求2所述的图像局部特征语义分布结构和样本分布结构融合编码方法，其特征在于，所述步骤2具体为：

在所述步骤1得到的多尺度稠密SIFT局部特征中随机取a个特征，然后用K-mean聚类获取b个局部特征的语义中心，表示为Z＝[Z₁,Z₂,...,Z_b]^T,其中Z_i为第i个局部特征的语义中心，1≤i≤b，然后用χ²测度度量局部特征语义分布结构，图像的局部特征的语义分布结构度量为d_Z(Z_i,Z_j)：

$d_Z(Z_i,Z_j)=\frac{1}{2}\frac{{\&lsqb;Z_i-Z_j\&rsqb;}^2}{Z_i+Z_j}---\left(1\right)$

其中，Z_i和Z_j为局部特征的语义中心i和局部特征的语义中心j的SIFT特征表征，1≤i≤b，1≤j≤b。

6.根据权利要求5所述的图像局部特征语义分布结构和样本分布结构融合编码方法，其特征在于，所述步骤3具体为：

设图像学习样本数目为m，图像样本集表示为I＝[I₁,I₂,...,I_m]^T，图像样本信息用图像关键点的集合表示为I_i＝{Z_il|1≤l≤l_i}，其中1≤i≤m,I_i为第i图像样本的局部特征的集合，l_i为第i图像样本的局部特征数目；

为了提取当前图像的语义中心简化计算，用K-mean聚类成c个类，第i图像样本的局部特征的集合为I_i＝{Z_l|1≤l≤c}，因为图像样本信息用语义中心集合表示，用Hausdorff距离d_I(I_i,I_j)度量不同图像样本分布结构：

d_I(I_i,I_j)＝max(h(I_i,I_j),h(I_j,I_i)) (2)

其中，I_i和I_j分别为第i图像样本的局部特征的集合和第j图像样本的局部特征的集合；

$h\left(I_i,I_j\right)=\underset{Z_{il}\&Element;I_i}{\max }\underset{Z_{jl}\&Element;I_j}{\min }\left|\right|Z_{il}-Z_{jl}\left|\right|,h\left(I_j,I_i\right)\underset{Z_{jl}\&Element;I_j}{\max }\underset{Z_{il}\&Element;I_i}{\min }\left|\right|Z_{jl}-Z_{il}\left|\right|.$

7.根据权利要求6所述的图像局部特征语义分布结构和样本分布结构融合编码方法，其特征在于，所述c取10。

8.根据权利要求6所述的图像局部特征语义分布结构和样本分布结构融合编码方法，其特征在于，所述步骤4具体为：

设图像学习样本数目为m，图像样本集表示为I＝[I₁,I₂,...,I_m]^T，图像样本信息用图像关键点的集合表示为I_i＝{Z_il|1≤l≤l_i}，其中1≤i≤m,I_i为第i图像样本的局部特征的集合，l_i为第i图像样本的局部特征数目；

在这些局部特征随机取a个特征，然后用K-mean聚类获取b个局部特征的语义中心，可表示为Z＝[Z₁,Z₂,...,Z_b]^T,其中Z_i为第i个局部特征的语义中心，1≤i≤b，可对图像学习样本编码为H＝[H₁,H₂,...,H_m]^T；

$H_i\left(k\right)=\underset{Z_{il}\&Element;I_i}{count}\left(\underset{Z_k\&Element;Z}{\min }\right||Z_k-Z_{il}|\left|\right)---\left(3\right)$

其中，H_i(k)为H_i的第k维，1≤k≤b；为计数函数，统计Z_il和b个局部特征的语义中心Z_k距离最短时对应到第k维的特征数目，用χ²测度度量d_H(H_i,H_j)表示不同图像样本分布结构：

$d_H(H_i,H_j)=\frac{1}{2}\frac{{\&lsqb;H_i-H_j\&rsqb;}^2}{H_i+H_j}---\left(4\right).$

9.根据权利要求1所述的图像局部特征语义分布结构和样本分布结构融合编码方法，其特征在于，所述步骤5具体为：

在这些局部特征随机取a个特征，然后用K-mean聚类获取b个局部特征的语义中心，可表示为Z＝[Z₁,Z₂,...,Z_b]^T,其中Z_i为第i个局部特征的语义中心，1≤i≤b，

计算各结构测度相似矩阵W_Z＝{W_Z,i,j}和W_H＝{W_H,i,j}：

根据融合图像局部特征语义分布结构和样本分布结构的优化方程得以下优化式：

(ZW_ZZ^T-B)α＝λZZ^Tα (7)

其中， $S=\underset{i}{\overset{m}{\&Sigma;}}\underset{j}{\overset{m}{\&Sigma;}}\&lsqb;d_I\left(I_i,I_j\right)\&times;W_{H,i,j}\&rsqb;;$

通过广义特征值求解d个最大特征对应的特征向量，求得映射矩阵A＝[α₁,α₂,...,α_d]，求解出A后，通过式Y_i＝A^TZ_i映射各个特征集，得融合后的局部特征为Y_i，

设图像学习样本数目为m，映射后图像样本集表示为Q＝[Q₁,Q₂,...,Q_m]^T，图像样本信息用图像关键点的集合表示为Q_i＝{Y_il|1≤l≤l_i}，其中1≤i≤m，Q_i为第i图像样本的局部特征的集合，l_i为第i图像样本的局部特征数目，在这些局部特征随机取a个特征，然后用K-mean聚类获取b个局部特征的语义中心表示为Y＝[Y₁,Y₂,...,Y_b]^T，其中Y_i为第i个映射后的局部特征的语义中心，1≤i≤b，对所有图像样本编码为H_Y＝[H_Y1,H_Y2,...,H_YM]^T，

其中，M为图像样本的总数，

$H_{Yi}\left(k\right)=\underset{Y_{il}\&Element;Q_i}{count}\left(\underset{Y_k\&Element;Y}{\min }\left|\right|Y_k-Y_{il}\left|\right|\right)---\left(8\right)$

其中H_Yi(k)为H_Yi的第k维，1≤k≤b；为计数函数，统计Y_il和b个局部特征的语义中心Y_k距离最短时对应到第k维的特征数目。