CN103646256A - 一种基于图像特征稀疏重构的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于图像特征稀疏重构的图像分类方法，包括如下步骤：采用Forstner算子对图像库中的每类样本图像提取特征像素点；提取每类样本图像的所有n维特征块向量；提取每类样本图像具有较大相关性权值的特征向量构成初始字典；为每类样本图像训练字典，得到每类样本图像的字典；提取测试图像的所有n维图像块向量；将r个n维图像块向量组成图像块矩阵；计算得到测试图像在每类字典上稀疏表示的系数矩阵；采用稀疏表示系数矩阵重构图像块矩阵；根据图像块重构矩阵生成重构图像；比较重构图像与测试图像的误差，根据误差最小原则判定测试图像所属类别，本发明根据特征字典进行图像重构，能够极大程度上还原同类图像。

Description

一种基于图像特征稀疏重构的图像分类方法

技术领域

本发明涉及一种基于稀疏表示的图像分类方法，特别是涉及一种根据特征字典重构图像进而识别图像类别的基于图像特征稀疏重构的图像分类方法。

背景技术

图像分类技术作为一种从机器层面理解图像的计算机技术，一直是图像处理领域中前沿的研究热点，它对于计算机视觉、信息检索、人工智能、模式识别、机器学习和数据挖掘等技术的发展有着重要意义，而且应用领域广泛。例如在医学领域，通过对器官组织图像、染色体特征图像进行识别分类，实现医学辅助分析，能够一定程度上减少医师在临床诊断中由于主观原因造成的误诊。在工业生产领域，采用图像分类处理对产品优劣进行识别和定位，能够智能化地筛选出不良产品，对产品质量严格把关。在互联网信息领域，通过图像内容的识别与分类技术能够为图像标注出相应的语义特征，并且根据语义特征检索出最具相似特性的其它图像，从而实现图像的网络检索。在军事航空航天领域，对于遥感设备检测到的图像进行识别和分类，能够快速高效地获取有用的情报，节省人力资源。这些技术应用无不要求能够高速、高效、高可靠的实现图像分类。

图像分类指对目标图像按照特定依据进行判定和归类，根据分类依据可把图像分类方法归纳为基于图像空间特征的分类方法和基于图像特征空间的分类方法两种。其中，基于图像空间特征的分类方法是利用图像的灰度、颜色、纹理、形状、位置等基本特征，结合SVM支持向量机(Support Vector Machine)等分类器训练图像，进而实现图像分类，或者采用SVD奇异值分解法(SingularValue Decomposition)或PCA主成分分析法(Principal Components Analysis)提取图像的像素级特征矩阵，再通过分类器训练特征矩阵进行分类。这种方法相对来说分类精度高、数据计算量大、复杂性高。基于图像特征空间的分类法是将原图像经过某种变换转换为某个低维特征空间的线性表达，如小波变换(wavelettransform)等，然后根据线性表达后的低维特征实现分类。基于特征空间的分类方法能够通过降低数据维数大大减少计算复杂性，但分类效果和特征提取方法的选取有很大关系。

大部分分类方法都是提取特征或特征表达后采用分类器分类，图像处理相关的分类器除了SVM支持向量机分类器外，还有多神经网络分类器(multipleneural network classifiers)、贝叶斯网络分类器等。采用分类器在一定程度上能够提高结果的准确度，但也大大降低了时效性，这类图像分类方法在具有较高实时性要求的应用中，很难得到推广。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于图像特征稀疏重构的图像分类方法，通过采用稀疏表示方法根据特征字典进行图像重构，能够极大程度上还原同类图像，由此确定图像类别具有较高的准确性，减少了计算数据的冗余。

为达上述及其它目的，本发明提出一种基于图像特征稀疏重构的图像分类方法，包括如下步骤：

步骤一，采用Forstner算子对图像库中的第l类样本图像提取特征像素点，l＝1,…,L，其中，L是样本图像的类别总数；

步骤二，提取每类样本图像的所有n维特征块向量；

步骤三，提取每类样本图像的l_m个特征向量中具有较大相关性权值的特征向量构成初始字典；

步骤四，为每类样本图像训练字典，得到每类样本图像的字典；

步骤五，提取测试图像f的所有n维图像块向量；

步骤六，将r个n维图像块向量组成n×r维矩阵，记为图像块矩阵；

步骤七，分别在每类样本图像字典上对图像块矩阵P进行稀疏表示，得到所有稀疏表示的系数矩阵；

步骤八，分别采用L个稀疏表示系数矩阵重构图像块矩阵P，得到图像块重构矩阵；

步骤九，分别根据L个图像块重构矩阵生成重构图像；

步骤十，比较重构图像与测试图像之间的误差，根据误差最小原则判定测试图像所属类别。

进一步地，步骤一还包括如下步骤：

计算第l类样本图像的每个像素的梯度值；

如果像素梯度超过某个阈值g_th，则以此像素为中心，提取a×a的灰度值矩阵；

计算该灰度值矩阵的圆度值q；

如果圆度超出某个阈值q_th，则再计算其所对应像素点的特征权值ω_c；

依次比较第l类样本图像中每个b×b像素块内的所有特征权值，找出每个像素块内最大特征权值所对应的点，获得第l类样本图像的特征像素点。

进一步地，步骤二还包括如下步骤：

以第l类样本图像的每个特征像素点为中心，提取灰度值矩阵；

将该灰度值矩阵的所有列按照序号排列成列向量，获得n维特征块向量，

其中，假设第l类样本图像的特征点共有l_m个，其特征向量分别记为p_li，p_li∈Rⁿ,i＝1,2,...l_m。

进一步地，于步骤三中，该相关性权值通过如下方式计算：

将l_m个特征向量看作加权图G_l中的l_m个节点，节点i和节点j之间的权值为，

其中，i,j＝1,…,l_m，corr(p_i,p_j)为特征向量p_i与p_j之间的相关性，threshold为阈值。

进一步地，于步骤三中，该初始字典通过如下方式构成：选取和其它m-1个节点之间权值大于0的节点所代表的特征向量，作为初始字典集合的元素。

进一步地，于步骤四中，字典训练以步骤三中获得的初始字典D_l0为初始字典，根据K-SVD算法迭代得到每类样本图像的字典D_l，l＝1,…,L。

进一步地，步骤五还包括如下步骤：

以覆盖的形式提取该测试图像内所有

的灰度值矩阵；

将每个灰度值矩阵的所有列按照序号排成列向量，获得n维图像块向量。

进一步地，于步骤七中，得到系数矩阵S_l的步骤还包括如下步骤：

采用匹配追踪算法求解最优化函数

s.t.||s_li||₀≤w，其中，w为稀疏限制，||·||₀为l₀范数，||·||为l₂范数，得到n维图像块向量p_i在字典D_l上对应的系数向量s_li；

将每类系数向量{s_li},i＝1,...r组成列数为r的矩阵，得到图像块矩阵P在第l类图像字典上的稀疏系数矩阵S_l，l＝1,…,L。

进一步地，于步骤八中，分别计算

l＝1,…,L得到该图像块重构矩阵

进一步地，该重构图像通过求解下式获得：

${\tilde{f}}^l={\mathrm{\φ}}^{+}\left({\tilde{P}}^l\right),$ ${\tilde{f}}^l\left(x\right)=\frac{1}{n}\underset{|x-t|\≤\sqrt{n}/2}{\mathrm{\Σ}}{\tilde{p}}_{x-t}\left(t\right)$

其中，

为该重构图像，为该重构图像

中位置x处的像素，φ⁺为线性映射φ的伪逆函数，x为像素点在测试图像中的位置，t为图像块偏移距离，为重构矩阵

中与以x-t为中心的

灰度值矩阵相对应的列向量逆向转换得到的图像块，

是图像块

中t位置处的像素点值。

与现有技术相比，本发明一种基于图像特征稀疏重构的图像分类方法通过采用特征提取的方式构成初始字典，采用K-SVD算法更新字典，寻找测试图像在特征字典中的最优匹配，从而确定了测试图像所属的类别，本发明能够极大程度上还原同类图像，由此确定图像类别具有较高的准确性，和一些现有分类方法相比大幅减少了计算数据的冗余。

附图说明

图1为本发明一种基于图像特征稀疏重构的图像分类方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于图像特征稀疏重构的图像分类方法的步骤流程图，如图1所示，本发明一种基于图像特征稀疏重构的图像分类方法，包括如下步骤：

步骤101，采用Forstner算子对图像库中的第l类样本图像提取特征像素点，l＝1,…,L，其中，L是样本图像的类别总数。本步骤具体包括如下步骤：计算第l类样本图像的每个像素的梯度值，如果像素梯度超过某个阈值g_th，则以此像素为中心，提取a×a的灰度值矩阵；计算该灰度值矩阵的圆度值q，如果圆度超出某个阈值q_th，则再计算其所对应像素点的特征权值ω_c；依次比较第l类样本图像中每个b×b像素块内的所有特征权值，找出每个像素块内最大特征权值所对应的点，即为第l类样本图像的特征像素点。

步骤102，提取每类样本图像的所有n维特征块向量。具体地，本步骤进一步包括如下步骤：以第l类样本图像的每个特征像素点为中心，提取

灰度值矩阵，将灰度值矩阵的所有列按照序号排列成列向量，即n维特征块向量，假设第l类样本图像的特征点共有l_m个，其特征向量分别记为p_li，p_li∈Rⁿ,i＝1,2,...l_m。

步骤103，提取每类样本图像的l_m个特征向量中具有较大相关性权值的特征向量构成初始字典D_l0，l＝1,…,L。其中，相关性权值通过如下方式计算：

将l_m个特征向量看作加权图G_l中的l_m个节点，节点i和节点j之间的权值为：

其中，i,j＝1,…,l_m，corr(p_i,p_j)为特征向量p_i与p_j之间的相关性，threshold为阈值。如果特征向量p_i与p_j之间的相关性大于或者等于阈值threshold，则节点i和节点j之间的权值为1，反之相关性权值为0。

在本发明较佳实施例中，初始字典D_l0的构成，具体包括：选取和其它m-1个节点之间权值大于0的节点所代表的特征向量，作为初始字典集合的元素，则初始字典集合D_l0为

$D_{l0}=\left\{p_{\mathrm{li}}\right|\underset{j=1,j\≠i}{\overset{l_m}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}>0,i=1,...,l_m\}.$

步骤104，为每类样本图像训练字典，得到L类图像的字典D_l:D_l∈R^n×k，l＝1,…,L，其中，k为字典集合中元素个数。具体地，字典训练方法如下：

以D_l0为初始字典，根据K-SVD算法（K-奇异值分解算法）迭代得到所有l类样本图像的字典D_l，l＝1,…,L。

步骤105，提取测试图像f的所有n维图像块向量，记为p_i,p_i∈Rⁿ,i＝1,…,r，其中，r为测试图像的块向量个数。具体地，本步骤进一步包括如下步骤：以覆盖的形式提取测试图像f内所有的灰度值矩阵；将每个灰度值矩阵的所有列按照序号排成列向量，即n维图像块向量；假如测试图像大小为M×N，则所提取的n维图像块向量个数为

步骤106，将r个n维图像块向量组成n×r维矩阵，记为图像块矩阵P。该图像块矩阵的生成过程，具体可看作一个R^M·N→R^n×(M·N)的线性映射φ(f)＝P。

步骤107，分别在L类图像字典上对图像块矩阵P进行稀疏表示，得到所有稀疏表示的系数矩阵S_l，l＝1,…,L。得到系数矩阵S_l的步骤具体如下：采用匹配追踪算法(Matching Pursuit)求解最优化函数：

$\∀i\∈\{1,...r\},$ $s_{\mathrm{li}}=\arg {\min \left|\right|p_i-D_l{s}_{\mathrm{li}}\left|\right|}_2^2,$ s.t.||s_li||₀≤w，

其中，w为稀疏限制，||·||₀为l₀范数，||·||为l₂范数（即欧几里德范数），得到n维图像块向量p_i在字典D_l上对应的系数向量s_li；将每类{s_li},i＝1,...r组成列数为r的矩阵，即为图像块矩阵P在第l类图像字典上的稀疏系数矩阵S_l，l＝1,…,L。

步骤108，分别采用L个稀疏表示系数矩阵重构图像块矩阵P，得到图像块重构矩阵

l＝1,…,L。在本步骤中，得到图像块重构矩阵

的步骤包括：分别计算

l＝1,…,L。

步骤109，分别根据L个图像块重构矩阵生成图像

l＝1,…,L。图像

中位置x处的像素生成方法通过求解下式获得：

${\tilde{f}}^l\left(x\right)=\frac{1}{n}\underset{|x-t|\≤\sqrt{n}/2}{\mathrm{\Σ}}{\tilde{p}}_{x-t}\left(t\right)$

其中,x为像素点在测试图像中的位置，t为图像块偏移距离，为重构矩阵中与以x-t为中心的

灰度值矩阵相对应的列向量逆向转换得到的图像块，

是图像块中t位置处的像素点值。图像

的生成过程，具体可看作线性映射φ的伪逆函数φ⁺

步骤110，比较L个生成图像

与测试图像f之间的误差，根据误差最小原则判定测试图像f所属类别。根据误差最小原则判定测试图像f所属类别的步骤具体包括：求解最优函数得出误差最小的生成图像所属的类别，即为测试图像f的所属类别。

以下通过一具体实施例对本发明提出的基于图像特征稀疏重构的图像分类方法进行具体说明。

为了对本发明的效果做出评估，本实施例采用Caltech-101图像数据库（加利福尼亚理工学院101类图像数据库）进行测试，选取20幅汽车图像和20幅足球图像作为训练样本，100幅图像作为测试图像，并实施验证了参数取值不同对本发明实施结果的影响，以此得到相对优化的参数。

步骤一，将选取的每个样本图像和测试图像分别转换为100×40像素的灰度值矩阵。采用Forstner算子分别对20幅汽车图像和20幅足球图像提取特征像素点，则样本图像共有两类。计算20幅汽车图像的每个像素的梯度值，如果某像素梯度值超过阈值g_th＝8，则以此像素为中心，提取3×3的灰度值矩阵，计算其圆度值q，如果圆度值超出q_th＝0.3，再计算该像素的特征权值ω_c，比较20幅汽车图像中每个10×10像素块内的所有特征权值，找出每个11×11像素块内最大特征权值所对应的像素点，即为汽车图像的特征像素点。采用同样的方法提取20幅足球图像的特征像素点。

步骤二，分别提取汽车样本图像和足球样本图像的所有n维特征块向量。以汽车图像的每个特征像素点为中心，提取尺寸为11×11的灰度值矩阵，将灰度值矩阵的所有列按照序号排列成列向量，即121维特征块向量，得到汽车样本图像的40个特征向量，分别记为p_1i，p_1i∈R¹²¹,i＝1,2,…,40。以同样的方法得到足球样本图像的32个特征向量，分别记为p_2i，p_2i∈R¹²¹,i＝1,2,…,32。

步骤三，分别提取样本图像具有较大相关性权值的特征向量构成初始字典，汽车图像初始字典为D₁₀，足球图像初始字典为D₂₀。将汽车样本图像的40个特征向量看作加权图G₁的40个节点，计算节点之间的权值，特征向量p₁与p₂之间的相关性为corr(p₁,p₂)＝0.85，满足corr(p₁,p₂)≥0.8，则节点1和节点2之间的权值W₁₂＝1，以此类推，计算所有不同节点之间的权值。判断节点与其它39个节点之间权值之和，如果大于0，则其所对应的特征向量选取为汽车初始字典集合的其中一个元素。例如：汽车样本图像的节点1和节点2所对应的121维特征向量，都属于汽车初始字典D₁₀。以同样的方法得到足球的初始字典D₂₀。

步骤四，分别以D₁₀和D₂₀为初始字典，采用K-SVD算法迭代得到汽车样本图像的字典D₁和足球样本图像的字典D₂。

步骤五，以覆盖的形式提取第一幅测试图像f的所有11×11的灰度值矩阵，将每个灰度值矩阵的所有列按照序号排成列向量，即121维图像块向量，记为p_i,p_i∈R¹²¹，i＝1,…,r。第一幅测试图像的大小为100×40像素，则所提取的121维图像块向量个数为r＝(100-11+1)(40-11+1)＝2700。

步骤六，将2700个121维图像块向量组成121×2700维矩阵，记为图像块矩阵P。所述图像块矩阵的生成过程，具体可看作一个R^100·40→R^{121×(100·40)}的线性映射φ(f)＝P。

步骤七，分别在汽车图像字典D₁和足球图像字典D₂上对测试图像块矩阵P进行稀疏表示，得到汽车图像稀疏表示的系数矩阵S₁和汽车图像稀疏表示的系数矩阵S₂。采用匹配追踪算法(Matching Pursuit)求解最优化函数

s.t.||s_li||₀≤w，其中，3为稀疏限制，||·||₀为l₀范数，||·||为l₂范数，得到121维图像块向量p_i在字典D₁上对应的系数向量s_1i，将每类{s_1i},i＝1,…,2700组成列数为2700的矩阵，即为图像块矩阵P在得到汽车图像稀疏表示系数矩阵S₁。采用同样的方法可得到足球图像稀疏表示的系数矩阵S₂。

步骤八，分别采用汽车和足球稀疏表示系数矩阵重构图像块矩阵P，得到图像块重构矩阵

和

步骤九，将图像块重构矩阵

中覆盖同一位置的像素值叠加平均，得到汽车重构图像

将图像块重构矩阵

中覆盖同一位置的像素值叠加平均，得到足球重构图像

步骤十，汽车重构生成图像

与第一幅测试图像f之间的误差为155，足球重构生成图像

与第一幅测试图像f之间的误差为263,比较得汽车重构生成图像与第一幅测试图像f之间的误差最小，则判定第一幅测试图像f属于汽车类图像。

将其余99个测试图像也分别按照以上实施步骤判定类别，统计实施结果得分类成功率达72%。

本实施例对稀疏字典元素数k、训练样本数M和迭代次数R三个参数的不同取值分别进行了分析与优化选择。分析稀疏表示字典元素数k，k在区间[10,…,50]选择，当迭代次数R＝20时，取k＝40效果最优；分析训练样本数M，M在区间[10,…,50]中选择，当迭代次数R＝20，稀疏表示元素数k＝40，分类效果对训练样本数M并不敏感；分析迭代次数R，迭代次数R在区间[20,...,100]中选择，当字典中的元素k＝40，训练样本数M＝10时，分类效果基本处于同一水平。因此，上述实施例中稀疏字典元素数取k＝40，训练样本数取M＝10，迭代次数取R＝20，以加快训练速度，提高效果。

综上所述，本发明一种基于图像特征稀疏重构的图像分类方法通过采用特征提取的方式构成初始字典，采用K-SVD算法更新字典，寻找测试图像在特征字典中的最优匹配，从而确定了测试图像所属的类别。本发明基于这样一个事实或概念：每个类别的图像都可以用它所属类别的字典稀疏表示，正是这样，不同的图像可以根据重构后的误差不同得以区分来进行分类。本发明的主要优越性在于，采用稀疏表示方法根据特征字典进行图像重构，能够极大程度上还原同类图像，由此确定图像类别具有较高的准确性，和一些现有分类方法相比大幅减少了计算数据的冗余

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于图像特征稀疏重构的图像分类方法，包括如下步骤：

步骤一，采用Forstner算子对图像库中的第l类样本图像提取特征像素点，l＝1,…,L，其中，L是样本图像的类别总数；

步骤二，提取每类样本图像的所有n维特征块向量；

步骤三，提取每类样本图像的l_m个特征向量中具有较大相关性权值的特征向量构成初始字典；

步骤四，为每类样本图像训练字典，得到每类样本图像的字典；

步骤五，提取测试图像f的所有n维图像块向量；

步骤六，将r个n维图像块向量组成n×r维矩阵，记为图像块矩阵；

步骤七，分别在每类样本图像字典上对图像块矩阵P进行稀疏表示，得到所有稀疏表示的系数矩阵；

步骤八，分别采用L个稀疏表示系数矩阵重构图像块矩阵P，得到图像块重构矩阵；

步骤九，分别根据L个图像块重构矩阵生成重构图像；

步骤十，比较重构图像与测试图像之间的误差，根据误差最小原则判定测试图像所属类别。

2.如权利要求1所述的一种基于图像特征稀疏重构的图像分类方法，其特征在于，步骤一还包括如下步骤：

计算第l类样本图像的每个像素的梯度值；

如果像素梯度超过某个阈值g_th，则以此像素为中心，提取a×a的灰度值矩阵；

计算该灰度值矩阵的圆度值q；

如果圆度超出某个阈值q_th，则再计算其所对应像素点的特征权值ω_c；

依次比较第l类样本图像中每个b×b像素块内的所有特征权值，找出每个像素块内最大特征权值所对应的点，获得第l类样本图像的特征像素点。

3.如权利要求2所述的一种基于图像特征稀疏重构的图像分类方法，其特征在于，步骤二还包括如下步骤：

以第l类样本图像的每个特征像素点为中心，提取

灰度值矩阵；

将该灰度值矩阵的所有列按照序号排列成列向量，获得n维特征块向量，

其中，假设第l类样本图像的特征点共有l_m个，其特征向量分别记为p_li，p_li∈Rⁿ,i＝1,2,...l_m。

4.如权利要求3所述的一种基于图像特征稀疏重构的图像分类方法，其特征在于，于步骤三中，该相关性权值通过如下方式计算：

将l_m个特征向量看作加权图G_l中的l_m个节点，节点i和节点j之间的权值为，

其中，i,j＝1,…,l_m，corr(p_i,p_j)为特征向量p_i与p_j之间的相关性，threshold为阈值。

5.如权利要求4所述的一种基于图像特征稀疏重构的图像分类方法，其特征在于，于步骤三中，该初始字典通过如下方式构成：选取和其它m-1个节点之间权值大于0的节点所代表的特征向量，作为初始字典集合的元素。

6.如权利要求5所述的一种基于图像特征稀疏重构的图像分类方法，其特征在于：于步骤四中，字典训练以步骤三中获得的初始字典D_l0为初始字典，根据K-SVD算法迭代得到每类样本图像的字典D_l，l＝1,…,L。

7.如权利要求6所述的一种基于图像特征稀疏重构的图像分类方法，其特征在于，步骤五还包括如下步骤：

以覆盖的形式提取该测试图像内所有

的灰度值矩阵；

将每个灰度值矩阵的所有列按照序号排成列向量，获得n维图像块向量。

8.如权利要求7所述的一种基于图像特征稀疏重构的图像分类方法，其特征在于，于步骤七中，得到系数矩阵S_l的步骤还包括如下步骤：

采用匹配追踪算法求解最优化函数

s.t.||s_li||₀≤w，其中，w为稀疏限制，||·||₀为l₀范数，||·||为l₂范数，得到n维图像块向量p_i在字典D_l上对应的系数向量s_li；

将每类系数向量{s_li},i＝1,...r组成列数为r的矩阵，得到图像块矩阵P在第l类图像字典上的稀疏系数矩阵S_l，l＝1,…,L。

9.如权利要求8所述的一种基于图像特征稀疏重构的图像分类方法，其特征在于：于步骤八中，分别计算

l＝1,…,L得到该图像块重构矩阵

10.如权利要求9所述的一种基于图像特征稀疏重构的图像分类方法，其特征在于，该重构图像通过求解下式获得：

${\tilde{f}}^l={\mathrm{\φ}}^{+}\left({\tilde{P}}^l\right),$ ${\tilde{f}}^l\left(x\right)=\frac{1}{n}\underset{|x-t|\≤\sqrt{n}/2}{\mathrm{\Σ}}{\tilde{p}}_{x-t}\left(t\right)$

其中，

为该重构图像，

为该重构图像

中位置x处的像素，φ⁺为线性映射φ的伪逆函数，x为像素点在测试图像中的位置，t为图像块偏移距离，

为重构矩阵

中与以x-t为中心的灰度值矩阵相对应的列向量逆向转换得到的图像块，

是图像块

中t位置处的像素点值。

Images