CN104200222A - 一种基于因子图模型的图片中对象识别方法 - Google Patents

Abstract

本发明提供一种基于因子图模型的图片中对象识别方法，包括对训练集中每张图片分别进行图像分块，提取各图像块的SIFT特征向量，得到图片的SIFT特征向量集，确定各图像块对应的标签，图像块的标签为正时表示对象存在于该图像块中；训练集中所有图片的SIFT特征向量集组成集合，基于该集合利用聚类算法，计算SIFT特征向量词典；针对训练集中的每张图片，分别构建因子图模型；进行因子图模型参数学习，采用测试集验证学习所得因子图模型参数，验证成功则根据因子图模型参数对任意待识别的图片进行对象识别。本发明可提高复杂图像背景下对象识别的准确度。

Description

一种基于因子图模型的图片中对象识别方法

技术领域

本发明涉及多媒体处理与模式识别技术领域，尤其涉及一种基于因子图模型的图片中对象识别方法。

背景技术

图片中对象识别主要判断对象所处位置和范围，是视觉识别的一类重要问题。视觉识别的困难主要来自两点^[1]：一是过大的搜索空间，即在不同位置和范围上搜索对象，计算复杂度很高；二是由于角度、姿态或光照条件变化，对物体外形进行有效建模比较困难。近年来出现的词袋方法(Bag-of-Words)^[2]显示了基于图像块思路的有效性，将图像局部特征编码为视觉单词的做法得到了广泛认可。该思路在图像块层次上，通过视觉词典来表征物体外形，是一种稀疏表示方法，在一定程度上降低了学习算法在参数空间上的搜索复杂度。同时，该思路还能够有机地结合一些图像特征，如SIFT、HOG和LBP等局部特征，从而提高了物体外形建模效果。

词袋方法的性能依赖于词典和特征编码策略。目前已经出现了将稀疏编码、向量量化编码、核词典编码、显著性编码等运用在视觉识别中的编码技术，并且有将编码和分类技术结合起来以训练面向任务的词典相关研究。但是，与文字识别、人脸识别等研究相比，在复杂图像背景下，研究面向物体识别具体任务进行词典学习的工作才刚刚起步^[3]。为提高复杂图像背景下物体识别的效果，可以采用多种方法。典型的思路就是使用图像局部关联信息，由于图像块之间具有关联性，将这种关联性建模到物体识别中将会有所帮助，开创性的工作为S.Kumar等将条件随机场(CRF)模型^[4]扩展到2维格形结构之后运用到图像分析中^[5][6]。

在基于CRF模型的词典学习中，以每一个图像块作为节点，图像块形成的格状网络作为连边关系^[3][4]。这种建模方法，图像块(CRF模型中对应节点)之间的关联性主要以格状网络表达，这其实是一种只考虑物理距离关联性的方法。这种假设不完全合理，因为在一张图片中，常常会在不同区域同时出现同一类物体，而这些物体可能邻接，也可能会被背景分离。由于格状网络只能表征邻接特征，对于被背景分开的物体之间的关联性，则难以表征。因此，必须更加充分地考虑图像块之间的连边关系，比如不同图像块之间的相似性，并且将此相似性也作为建模中的重要因素考虑进去，即当一个图像块中存在(或不存在)对象时，与之相似的图像块中存在(或不存在)对象的概率应该相应增加。为了实现这种建模，本发明使用因子图模型^[7][8][9]，全面地表征图像块之间的相互影响以及图像块自身特征与对象之间的关系。

文中涉及的参考文献如下：

[1]黄凯奇,任伟强,谭铁牛.图像物体分类与检测算法综述[J].计算机学报,2014,37(6):1225-1240.

[2]胡事民,张方略,汪淼.片网:图像表示的一种新技术[J].中国计算机学会通讯,2014,(10)1:54-59.

[3]Yang J M and Yang M H.Top-Down Visual Saliency via Joint CRF and DictionaryLearning[C].In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,Providence,June,2012,pp.2296-2303.

[4]Lafferty.Conditional Random Fields:Probabilistic Models for Segmenting and LabelingSequence Data[C].In Proceedings of the 18th International Conference on MachineLearning(ICML),2001,pp.282-289.

[5]Kumar S and Hebert M.Discriminative random fields[J].International Journal ofComputer Vision,68(2):179-201.

[6]Quattoni A,Collins M,Darrell T.Conditional Random Fields for Object Recognition[C].In Advances in Neural Information Processing Systems,2005,pp.1097-1104.

[7]Kschischang F R,Frey B J and Loeliger H A.Factor graphs and the sum-product algorithm[J].IEEE Transactions on Information Theory,47(2):498-59,2001.

[8]Wang C,Tang J and Sun J M,et al.Dynamic social influence analysis throughtime-dependent factor graphs[C].In Proceedings of the International Conference onAdvances in Social Networks Analysis and Mining(ASONAM),Kaohsiung:2011.

[9]Tan C,Tang J and Sun J,et al.Social action tracking via noise tolerant time-varying factorgraphs[C].In Proceedings of the 16th ACM SIGKDD International Conference onKnowledge Discovery and Data mining(KDD),Washington:2010.

发明内容

针对上述存在的技术问题，本发明目的是提供一种基于因子图模型的图片中对象识别的方法。使用因子图模型，能够考察图像块之间关联性对参数学习结果的影响，可以更好地利用局部信息，提高复杂图像背景下对象识别的准确度。

为达到上述目的，本发明采用如下的技术方案：

一种基于因子图模型的图片中对象识别方法，包括以下步骤：

步骤1，输入训练集，对训练集中每张图片分别进行图像分块，提取各图像块的SIFT特征向量，得到图片的SIFT特征向量集，确定各图像块对应的标签，图像块的标签为正时表示对象存在于该图像块中；

步骤2，训练集中所有图片的SIFT特征向量集组成集合，基于该集合利用聚类算法，计算SIFT特征向量词典；

步骤3，针对训练集中的每张图片，分别构建因子图模型；

步骤4，进行因子图模型参数学习，包括以下子步骤，

步骤4.1，运行线性支持向量机，得到因子图模型参数的初始值；

步骤4.2，基于训练集中的所有图片，结合梯度下降算法和信念传播算法学习因子图模型参数；

步骤4.3，判断步骤4.2所得因子图模型参数取值是否收敛，若是则得到参数学习结果，进入步骤5，若否，判断当前是否达到预设的迭代次数，未达到则返回迭代步骤4.2，达到则将本次执行步骤4.2所得因子图模型参数作为参数学习结果，进入步骤5；

步骤5，采用测试集验证步骤4学习所得因子图模型参数，验证成功则根据因子图模型参数对任意待识别的图片进行对象识别，验证包括以下子步骤，

步骤5.1，构建测试集中每张图片的因子图模型；

步骤5.2，基于步骤5.1所得因子图模型和步骤4学习所得因子图模型参数，使用信念传播算法，计算测试集中每张图片各图像块对应的标签预测结果；

步骤5.3，确定测试集中图片各图像块的标签，判断步骤5.2得到的标签预测结果与标签之间的查准率和查全率，若在预设的接受范围，验证通过。

而且，步骤1和步骤5.3中，确定各图像块对应的标签方式为，若图像块中标签为正的像素数超过预设阈值，该图像块的标签为正，否则该图像块的标签为负。

而且，步骤3和步骤5.1中，所述的因子图模型的结构包括节点因子和边因子，设训练集或测试集中任一图片为X⁽ⁿ⁾，划分得到m个图像块，图像块对应的标签为对任一图片构建因子图模型的方式如下，

构建节点因子，包括根据SIFT特征向量词典，得到图像块的稀疏表示，建立稀疏表示与标签之间的概率映射函数；

构建边因子，包括计算各图像块之间的SIFT特征匹配度，再结合图像块的特征匹配度和位置邻接关系建立概率映射函数；

确定因子图模型优化的目标函数。

本发明具有以下优点和积极效果：

1)对于图像块建模了长程相关性，使得图形由邻接图像块之间的格状网络转变为真正的网络；

2)将视觉词袋方法与因子图模型结合使用，不仅能够建模视觉单词的词频信息，还能够有效地表征网络结构以及原始图像块的相似性特征。

附图说明

图1是本发明实施例的总体流程图；

图2是本发明实施例的训练集中的图片对应的标签示意图；

图3是本发明实施例中一张图片具体对应的网络结构示意图；

图4是本发明实施例中因子图模型的变量以及节点因子、边因子的可视化示意图；

图5是本发明实施例在Graz02数据集中bike类上识别“自行车”对象的查全率、查准率和查全率-查准率曲线。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明提出的是一种基于因子图模型的图片中对象识别方法，参见图1，实施例包括具体步骤如下：

(1)输入包括有多张图片的训练集，对每张图片进行图像分块，提取各图像块的SIFT特征向量。

实施例中，输入预先给定的包含N张图片的训练集X＝{X⁽ⁿ⁾}|n＝1…N，对每张图片X⁽ⁿ⁾进行图像分块，提取图像块的SIFT特征向量：

本发明适于处理不小于128×128像素的图片，格式一般为bmp和jpg等。将各图片X⁽ⁿ⁾划分成64×64像素的图像块，设划分得到m个图像块，记为邻接图像块重叠32个像素。图片X⁽ⁿ⁾已在像素级别上正确标识出对象标签，若图像块中标签为正的像素数超过预设阈值，表示对象存在于该图像块中，该图像块的标签为正，否则该图像块的标签为负，即对象不存在于该图像块中。具体实施时，本领域技术人员可自行预设阈值，建议取图像块像素总数的3/4。设任一图像块对应的标签为即图片X⁽ⁿ⁾中所有图像块对应的标签集合为参见图2，训练集中某图片包括自行车和其他背景，以自行车为对象，则图2中黑色部分为像素级别上正确标识出对象标签处。

使用SIFT特征向量提取算法，计算所有图像块的SIFT特征向量则图片X⁽ⁿ⁾的SIFT特征向量集为SIFT特征向量是一种常用的图像局部特征描述形式，本发明用来表示图像块的原始特征。

(2)预处理：利用聚类算法，计算SIFT特征向量词典。

实施例中，聚类算法使用的是k-means算法，利用k-means聚类算法计算SIFT特征向量词典：

训练集中所有图片的SIFT特征向量集组成集合S＝{S⁽ⁿ⁾}|n＝1,..,N。使用k-means聚类算法，得到k个特征向量子集，k取值可由本领域技术人员预先指定，实施例中设为512。各特征向量子集的中心点组成SIFT特征向量词典D。k-means聚类算法是已经存在的成熟算法，本发明不予赘述。

(3)针对训练集中的图片，构建因子图模型。

实施例针对训练集X中的每一个图片X⁽ⁿ⁾，分别构建因子图模型，因子图模型包括节点因子和边因子两部分，节点因子刻画图像块与标签之间的关系，边因子刻画图像块之间的影响。具体地，对任一图片构建因子图模型包括以下子步骤：

(3.1)构建节点因子，即根据SIFT特征向量词典，得到图像块的稀疏表示，建立稀疏表示与标签之间的概率映射函数。

实施例根据SIFT特征向量词典D，运用最小二乘重构法，得到图像块的稀疏表示，建立稀疏表示与标签之间的概率映射函数，即节点因子，其中的具体计算过程如下：

(3.1.1)使用最小二乘重构法，即优化得到稀疏表达r_i ⁽ⁿ⁾，其中，D∈D，为SIFT特征向量词典D中的向量；λ为稀疏性控制参数，取0.15，优化算法采用稀疏编码算法，稀疏编码算法是已经存在的成熟算法，本发明不予赘述。

(3.1.2)针对图像块及相应标签定义节点因子为：

$f(y_i^{\left(n\right)},{r_i}^{\left(n\right)})=\frac{1}{Z_1}\exp \underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left(y_i^{\left(n\right)}{w}_1^T{r_i}^{\left(n\right)}\right)$

其中，w₁为参数，是一个向量，为归一化函数。

(3.2)构建边因子，即计算各图像块之间的SIFT特征匹配度，再结合图像块的特征匹配度和位置邻接关系，建立概率映射函数。

具体实施时，计算图像块的特征匹配度(即相似度)，可以在预处理时事先进行，也可以在构建边因子时执行。实施例在构建边因子时，计算X⁽ⁿ⁾中各图像块之间的SIFT特征匹配度。

实施例步骤(3.2)中的具体计算过程如下：

(3.2.1)计算不相邻图像块的SIFT特征匹配度j＝1,..,m，且i≠j。具体实施时，本领域技术人员可自行预设特征匹配度阈值，实施例中设为0.9。若sim值大于0.9，记(i,j)∈E，E表示边集合；若sim值小于等于0.9，记

(3.2.2)对所有邻接图像块也记(i,j)∈E。

(3.2.3)对于(i,j)∈E，构建概率映射函数其中，w₂为参数，为指示函数，若图像块和同时存在对象，指示函数值为1，否则指示函数值为0，为归一化函数。

(3.3)确定因子图模型优化的目标函数。

给定节点因子和边因子，在训练集上学习未知参数w＝(w₁,w₂)，即，使以下对数似然函数取最大值：

$\underset{w=(w_1,w_2)}{\max }\underset{n=1}{\overset{N}{\mathrm{\Π}}}\ln \left[f(y_i^{\left(n\right)},{r_i}^{\left(n\right)})g(y_i^{\left(n\right)},y_j^{\left(n\right)})\right]\stackrel{\·}{=}\underset{w=(w_1,w_2)}{\max }\underset{n=1}{\overset{N}{\mathrm{\Π}}}O\left(w\right)$

其中，O(w)是的简化标识。

(4)进行基于梯度下降算法和信念传播算法的因子图模型参数学习。

实施例中，根据训练集的图片以及标签，采用梯度下降算法和信念传播算法学习未知参数(w₁,w₂)，具体地，包括以下子步骤：

(4.1)运行线性支持向量机，得到参数的初始值。

实施例对训练集中各图片，以所有图像块相应作为输入，运行线性支持向量机，得到w₁的初始值。对于w₂，直接将其初始化为1。

(4.2)结合梯度下降算法和信念传播算法来学习未知参数w₁和w₂。

通过不断迭代的数值计算过程求w₁和w₂的近似解，计算过程包括基于训练集X中的图片执行如下：

(4.2.1)从训练集X中取一张图片X⁽ⁿ⁾，依次将各图像块相应的带入对数似然函数，再建立下式以计算每一个未知参数的梯度：

$\frac{\∂O\left(w\right)}{\∂w_1}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}{y}_i^{\left(n\right)}{r_i}^{\left(n\right)}-E_{P\left({r_i}^{\left(n\right)}\right|y_i^{\left(n\right)})}{y}_i^{\left(n\right)}{r_i}^{\left(n\right)}$

$\frac{\∂O\left(w\right)}{\∂w_2}=\underset{(i,j)\∈E}{\mathrm{\Σ}}I(y_i^{\left(n\right)},y_j^{\left(n\right)})-E_{P(y_i^{\left(n\right)},y_j^{\left(n\right)})}I(y_i^{\left(n\right)},y_j^{\left(n\right)})$

其中，表示对未知参数w₁求梯度，表示对未知参数w₂求梯度，在第一次执行(4.2)时，(4.2.1)中w₁和w₂采用(4.1)所得相应图片的初始值，后续执行(4.2)时，(4.2.1)中w₁和w₂采用上一次执行(4.2)所得相应图片的参数值。表示对求均值，表示对求均值，具体求均值的方法将使用(4.2.2)步骤描述的方法。

(4.2.2)使用信念传播算法，输入为图片X⁽ⁿ⁾的因子图模型、本次迭代中执行步骤(4.2.1)选择的当前图片X⁽ⁿ⁾的输出为边缘分布函数和再计算得到均值和信念传播算法求边缘函数是已经存在的成熟算法，本发明不予赘述。

(4.2.3)使用学习速率η更新参数η取经验值，例如0.0015。表示对未知参数w＝(w₁,w₂)求梯度，即对步骤(4.2.1)中两个求梯度公式的简化记法。

(4.2.4)从训练集X中取另一张图片，重复步骤(4.2.1)～(4.2.3)，直到对于训练集X中的每一张图片均迭代执行完毕，进入(4.3)。

给定了w₁和w₂的初始值之后，每一张图片通过迭代依次输入进去之后，都会优化w₁和w₂，使得w₁和w₂的取值更加合理。

(4.3)判断(4.2)中参数取值是否收敛，若是则得到参数学习结果，进入(5)，若(4.2)中参数取值没有收敛，判断当前是否达到预设的训练迭代次数，若否则返回迭代步骤(4.2)，若是则将本次执行(4.2)中参数取值作为参数学习结果，进入(5)。

具体实施时，本领域技术人员可自行预设训练迭代次数。实施例中预设的训练迭代次数为20次。即如果当前的参数w取值没收敛就进行迭代，直到参数收敛得到学习结果，参数收敛的判断准则为前后两次迭代所得到的参数相差不超过某阈值，具体实施时，本领域技术人员可自行预设该阈值，实施例中设为0.001；如果达到20次还没收敛就将当前的参数w取值直接作为w＝(w₁,w₂)的学习结果。

(5)根据(4)所学习到的因子图模型参数，运用消息推断算法，包括建立测试集中的每张图片的因子图模型，得到测试集的每张图片各图像块对应的预测标签结果，即可估计计算对象的位置和所占图片区域，并且对比测试集的各图片中图像块的标签预测结果和真实标签，可知因子图模型参数是否可接受，若结果可接受，输出学习的参数，实现实际运用。

实施例中消息推断算法使用的是基于团树结构的信念传播算法。

测试集的图像块划分方式与训练集一致，实施例根据所学习的参数(w₁,w₂)，针对测试集具体执行包括以下步骤：

(5.1)使用步骤(3)的方法，构建测试集中每一张图片的因子图模型。

即包括以下步骤：

构建节点因子，即根据SIFT特征向量词典，得到图像块的稀疏表示，建立稀疏表示与标签之间的概率映射函数；

构建边因子，即计算各图像块之间的SIFT特征匹配度，再结合图像块的特征匹配度和位置邻接关系，建立概率映射函数；

确定因子图模型优化的目标函数。

具体实现参见步骤(3)，以测试集中任一图片为X⁽ⁿ⁾即可。

(5.2)使用信念传播算法，计算测试集中每个图片各图像块对应的标签预测结果。

为便于区别表示测试集，设测试集中任一图片中某图像块对应的稀疏表达为r_i、预测标签为真实的标签为y_i。实施例中，输入为测试集中各图片的图像块所对应的稀疏表达r_i、所对应的因子图模型以及(4)所得w＝(w₁,w₂)的学习值，输出为测试集中各图片每一个图像块所对应的预测标签具体方法为再次使用信念传播算法计算边缘分布函数P(y_i＝1|r_i)，若P(y_i＝1|r_i)＞0.7，确定否则此即为预测结果。

(5.3)确定测试集中各图片每一个图像块所对应的真实标签y_i，判断步骤(5.2)得到的与真实标签y_i之间的查准率和查全率。

查准率为正确预测的对象标签数与所预测的全部对象标签数的比例，查全率为正确预测的对象标签数与对象真实标签数的比例。若查准率和查全率的数值都较高，在预设的可接受范围内，则可将此模型运用到实际的对象识别任务中，即根据(4)所得w＝(w₁,w₂)的学习值，对任意待识别的图片执行(5.1)和(5.2)即可得到识别结果，获取对象在图片中的区域。不在可接受范围内，说明训练结果不可用，可以调整训练集重新执行流程。真实标签y_i同样可以基于图片像素级的对象标签得到，即若图像块中标签为正的像素数超过预设阈值，表示对象存在于该图像块中，该图像块的标签为正，否则该图像块的标签为负。

下面将结合一个实际案例来描述本发明实施例的实施过程。

首先，执行步骤(1)和(2)。以某数据集Graz 02中的bike类型为例，其中每一张图片都标注了“自行车”这一对象的相应标签，如图2所示。bike类型中共有215张图片，以编号为奇数的图片作为训练集，编号为偶数的图片作为测试集。将图片分成64×64像素的图像块，邻接图像块重叠32像素，得到23×37的图像块集合。基于SIFT算法提取图像块对应的特征点描述。对训练集中107张图片分块、提取SIFT特征之后，组成一个107×23×37的SIFT特征集合，对该集合运行k-means算法，k取值为512，得到SIFT特征向量词典。

其次，执行步骤(3)。对于训练集中的每一张图片，分别构建节点因子和边因子，构建节点因子要利用SIFT特征向量词典求解稀疏编码，构建边因子要计算图像块之间的SIFT特征匹配度，最终形成的网络结构图如图3所示。因子图模型中的变量以及节点因子、边因子的可视化表示如图4所示，其中，图像块特征向量对应稀疏编码r_i ⁽ⁿ⁾，图中使用菱形表示，该图像块对应的节点因子为其他图像块特征向量、稀疏编码以及因子节点类似(如图中的图像块特征向量对应的稀疏编码对应的节点因子等)；边因子(如)对应于图3中的边。在图4中，节点因子和边因子均由实心方块表示，连线也可以理解为节点因子和边因子所具有的输入。

再次，执行步骤(4)和(5)。根据因子图模型的参数学习方法，得到依据该训练集所学习的参数。得到参数的学习值之后，再用其对测试集中的图片进行对象识别。将对象识别结果与实际标签进行对比，得到查全率(recall)和查准率(precision)以及相应的查全率-查准率曲线(precision-recall graph)，如图5所示，其中查全率-查准率曲线表示对应查准率上预测结果在图像块级别上的查全率。若查全率和查准率在可接受范围内(比如同时大于0.6)，即可以输出该因子图模型以及相应的参数，用于进行其他图片中“自行车”对象的识别。

以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变换或变型，因此所有等同的技术方案，都落入本发明的保护范围。

Claims (3)

1.一种基于因子图模型的图片中对象识别方法，其特征在于，包括以下步骤：

步骤1，输入训练集，对训练集中每张图片分别进行图像分块，提取各图像块的SIFT特征向量，得到图片的SIFT特征向量集，确定各图像块对应的标签，图像块的标签为正时表示对象存在于该图像块中；

步骤2，训练集中所有图片的SIFT特征向量集组成集合，基于该集合利用聚类算法，计算SIFT特征向量词典；

步骤3，针对训练集中的每张图片，分别构建因子图模型；

步骤4，进行因子图模型参数学习，包括以下子步骤，

步骤4.1，运行线性支持向量机，得到因子图模型参数的初始值；

步骤4.2，基于训练集中的所有图片，结合梯度下降算法和信念传播算法学习因子图模型参数；

步骤4.3，判断步骤4.2所得因子图模型参数取值是否收敛，若是则得到参数学习结果，进入步骤5，若否则判断当前是否达到预设的训练集迭代次数，未达到则返回迭代步骤4.2，达到则将本次执行步骤4.2所得因子图模型参数作为参数学习结果，进入步骤5；

步骤5，采用测试集验证步骤4学习所得因子图模型参数，验证成功则根据因子图模型参数对任意待识别的图片进行对象识别，验证包括以下子步骤，

步骤5.1，构建测试集中每张图片的因子图模型；

步骤5.2，基于步骤5.1所得因子图模型和步骤4学习所得因子图模型参数，使用信念传播算法，计算测试集中每张图片各图像块对应的标签预测结果；

步骤5.3，确定测试集中图片各图像块的标签，判断步骤5.2得到的标签预测结果与标签之间的查准率和查全率，若在预设的接受范围，验证通过。

2.根据权利要求1所述的基于因子图模型的图片中对象识别方法，其特征在于：步骤1和步骤5.3中，确定各图像块对应的标签方式为，若图像块中标签为正的像素数超过预设阈值，该图像块的标签为正，否则该图像块的标签为负。

3.根据权利要求1所述的基于因子图模型的图片中对象识别方法，其特征在于：步骤3和步骤5.1中，所述的因子图模型的结构包括节点因子和边因子，设训练集或测试集中任一图片为X⁽ⁿ⁾，划分得到m个图像块，图像块对应的标签为对任一图片构建因子图模型的方式如下，

构建节点因子，包括根据SIFT特征向量词典，得到图像块的稀疏表示，建立稀疏表示与标签之间的概率映射函数；

构建边因子，包括计算各图像块之间的SIFT特征匹配度，再结合图像块的特征匹配度和位置邻接关系建立概率映射函数；

确定因子图模型优化的目标函数。