CN102306298A - 一种基于Wiki的图像分类体系动态演化方法 - Google Patents

Abstract

本发明公开了一种基于Wiki的图像分类体系动态演化方法：(1)通过基于机器学习的分类器检测，基于语义关联矩阵的类别推荐以及人工标注获得初始类别版本L₀；(2)基于维基(Wiki)模式，允许并鼓励大众直接或间接更新系统数据类别信息；(3)根据像所属类别动态演化模型，判定图像所属类别；(4)根据类别自身组织结构动态演化模型，调整类别组织结构；(5)基于统计模型，统计用户操作信息，调整步骤3和步骤4的相关参数。本发明利用维基模式的开放共享性和平等共创性，聚集众多用户独立的决策来提高图像分类的精确性，调整类别组织结构，提高图像检索效果。

Description

一种基于Wiki的图像分类体系动态演化方法

技术领域

本发明涉及一种基于Wiki的图像分类体系动态演化方法。

背景技术

图像分类是Web数据挖掘领域的一个重要研究方向，是一种非常重要的图像信息组织和管理手段。通过对图像进行合理的分类不仅可以将图像按照类别信息建立相应的信息资源库，更好地提供图像检索和管理服务，方便科研人员进行研究和利用，而且可以用来提高搜索引擎的搜索准确性，便于普通用户查找及使用，最大程度上满足用户的需求。

关于图像分类体系的构建一般有两种方式，一种是参照传统的文献分类法或主题词分类法来进行分类。如ImageNet，其是跟据WordNet的词汇树进行分类的，是一种层次结构。此结构很方便用于信息的查询和存储，但由于其体系比较固定，不适应网络的动态发展。另一种分类方式是Folksonomy大众分类法，即个人用户为满足自身检索的需要，对信息或对象自由添加标签(Tag)的结果。如Flickr就是采用这种方法，允许用户上传照片，添加标签，对所浏览的照片进行评论，并进行标注。Folksonomy具有共享性、自由性、动态性等特点。但由于Folksonomy中标引词的模糊性、标注的自由性及非规范性，导致其标签的组织与检索缺乏效率。

Wiki因其遵循“平等、开放、自由、共享”等理念[而广泛应用于知识管理、教学、软件开发、语义网构建[等领域。而其在图像等非结构化数据管理方面的应用还比较少。

发明内容

有鉴于此，本发明采用Wiki方式搜集用户对图像分类体系的反馈，并对用户反馈进行分析整理，实现分类体系的动态演化。其特征在于在图像所属类别的动态演化部分设计了一套机器自动判定模型；在类别自身组织结构的动态演化部分，主要以Wiki方式搜集用户对类别结构的反馈，并且记录反馈信息及对日志进行挖掘，由系统管理员去决定类别关系的调整。其步骤如下：

(1)通过图像分类器和语义关联矩阵自动产生相关的类别建议词汇，  得到图像的初始类别标注，包括主类别和副类别，主类别即图像所属的类别，副类别指图像所属的候选类别，即此图像有可能属于此类别，用来和主类别竞争；其具体过程为，用户在上传图像时，抽取图像的底层SIFT特征，用特征向量X表示，将此特征向量与训练好的图像SIFT特征集Y＝{y1，y2，...yn}计算其相似度，Y中的每一个特征向量对应着一个类别词，将此图像赋予与特征向量X最相似的向量yk的类别词，将此类别词提交给语义关联推荐模块，根据系统中维护的语义关系表，向用户推荐类别词，由用户选择主类别或者副类别，也允许用户添加未推荐的类别词；这些由上传图像的用户确定的图像主类别C_main和副类别

初始类别词，作为图像的初始类别标注，构成一个图像所属类别初始版本L0；

(2)基于维基(wiki)模式，即大规模的开放协作和资源共享模式，允许并鼓励普通用户大众对大规模图像数据管理系统的数据进行类别更新操作，包括所属类别判定，投票，标签添加以及语义描述等方式；

(3)对于步骤2的更新操作，根据本发明提出的图像所属类别的动态演化模型，进行图像所属类别的判定；

(4)对于步骤2的更新操作，根据本发明提出的类别自身组织结构动态演化模型，调整类别组织结构；

(5)基于统计模型对用户的操作进行统计，用来调整步骤3和步骤4的演化模型的相关参数。

根据本发明的又一个方面，所述的步骤(1)包括：

(1.a)图像分类器的训练部分。训练部分过程主要包括采用如下算法提取训练图像的SIFT特征：

(a.1)生成图像尺度空间。假设方差为δ的二位高斯函数为G(x，y)，其中给定二维图像I(x，y)，在不同尺度下的尺度空间表示L(x，y，δ)可由I(x，y)与高斯核G(x，y)卷积得到L(x，y，δ)＝G(x，y)*I(x，y)。其中*表示卷积操作。(x，y)代表图像像素的位置，δ称为尺度空间因子。其值越小则表征该图像被平滑的越少，相应的尺度也就越小。

(a.2)建立图像DOG金字塔。对尺度空间图像序列进行DOG(Differenceof Gaussian)操作，找到具有稳定尺度特征的关键点。定义高斯差分如下：D(x，y，δ)＝L(x，y，kδ)-L(x，y，δ)，其中k为尺度因子比例系数，用来等比例地改变尺度空间的值。

(a.3)获取关键点。在建立的DOG空间金字塔中，将相邻尺度空间内的极值点作为图像的关键点。具体过程是通过将DOG尺度空间的每个像素点与同一层的相邻的8个像素点、上一层的相邻9个像素点和下一层的相邻9个像素点共26个像素点进行比较，若其比相邻的26个像素的DOG值都大或都小，则该点作为关键点。

(a.4)确定关键点主方向。以特征点为中心的邻域窗口内采样，用梯度方向直方图统计邻域像素的梯度方向。梯度直方图的范围为0°～360°，其中每15°位一个方向单位，共计24个方向。梯度方向直方图的峰值代表了该关键点处邻域梯度的主方向，即作为该关键点的主方向。

(a.5)提取关键点特征向量。以关键点方向为坐标轴x轴方向，在二维平面内提取关键点的特征描述。以关键点为中心取16×16的窗口，将该窗口按4×4划分为16个种子点，在每个种子点上，通过其内部16个像素点每个像素点的梯度方向及其长度，以向量形式累加计算种子点8个方向的梯度方向直方图。对一个关键点总共提取了128个数据，形成128维的SIFT特征向量，并将其长度归一化。

通过如上步骤，获得了每幅训练图像的SIFT特征，包括关键点数目及各关键点的位置、方向、尺度和特征向量信息。训练集中的每张图片P可表示为(dot1，dot2...dotn，type)。其中type为图片所属的类别，n为关键点数目，doti表示第i个关键点的SIFT特征，其可表示为(position，rotation，scale，vector)，其中position，rotation，scale和vector分别是关键点的位置、方向、尺度和128维特征向量信息。最终获得的训练图片集中，每个类别包含5张具有代表性的图片。

(1.b)当标注人员上传图像后，通过抽取上传的图片P的SIFT特征，计算其与训练集中图片PTrain的SIFT特征相似度S(P，PTrain)。找出前K张最相似的图片。计算图片P属于某一类别“ type”的可能性pro(P，type)＝∑S(P，P_i)，其中Pi为此K张图片中属于类别“type”的图片。将pro(p，type)值最大的类别“type”作为主类别，其他类别词为副类别。计算S(P，PTrain)的过程如下：

(b.1)对于P的关键点i和Ptrain的关键点j，计算其SIFT特征向量的距离 $d({\mathrm{vector}}_i,{\mathrm{vector}}_j)=\sqrt{{\mathrm{\Σ}}_{k=1}^{128}{({\mathrm{vector}}_{i,k}-{\mathrm{vector}}_{j,k})}^2}.$

(b.2)对于P的关键点i和PTrain的关键点j，判断其是否满足如下四个条件：

(a)d(vector_i，vector_j)＜vector_thres

(b)|position_i-position_i|＜position_thres

(c)|rotation_i-rotation_i|＜rotation_thres

(d)min(scale_i，scale_j)/max(scale_i，scale_j)＜scale_thres

其中vector_thres，position_thres，rotation_thres，scale_thres分别为特征向量距离阈值，关键点位置距离阈值，关键点方向距离阈值以及关键点尺度比例阈值。

(b.3)若满足(b.2)所述条件，则说明关键点i和关键点j匹配。计算i与j之间的相似度 $S_{\mathrm{ij}}=\frac{w_{\mathrm{position}}.w_{\mathrm{rotation}}.w_{\mathrm{scale}}}{d({\mathrm{vector}}_i,{\mathrm{vector}}_j)}.$

其中w_position，w_rotation，w_scale分别为关键点位置、方向、尺度匹配成功的权重。

(b.4)计算 $S(P,\mathrm{PTrain})=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{s}_{\mathrm{ij}}$

其中N、M分别为匹配成功的图片P、图像PTrain的关键点数目。

(1.c)当上传图像经过图像分类器获得图像的相关分类信息后，将这些类别词提交给语义关联推荐模块。根据语义关联矩阵向用户推荐扩散相关的类别词，供用户选择。例如：当图像分类器获得类别“牛”时，可以推荐“草地”、“农场”、“动物”等可能存在的类别标注。

根据本发明的又一个方面，所述的步骤(2)包括如下行为：

(2.a)点击查看行为。用户输入某一类别词“type”，检索到图像P，并进行点击放大查看；

(2.b)简单判定行为。用户浏览图像P时，可以简单判定其主类别“type”是否正确。

(2.c)修改类别行为。用户认为图像P不属于其主类别，并且手动编辑修改其类别为“type”。

(2.d)投票行为。用户可以对图像P所属的各类别(主类别和副类别)投票。

(2.e)添加标签行为。用户可以在图像的关键区域添加标签。

(2.f)添加描述行为。用户可以对图像P添加语义描述。

根据本发明的又一个方面，所述的步骤(3)包括：

(3.a)计算图像P属于类别“type”的信心值C_p，type。图像属于某一类别的信心值，即指此图像属于该类别的可能性，可能性越高，其信心值越大。信心值C_p，type的计算主要包括如下方式；

(a1)初始信心值

计算。用户在上传图像时，至少填写此图像属于的类别(主类别)，可以选择填写1-6个副类别。对于主类别，系统赋予其信心值为C_main，副类别系统赋予其信心值为C_vice。若“type”为主类别，则

若“type”为副类别，则

(a2)  点击查看行为信心值

其中，

表示以类别词“type”查询到图像P，并点击查看的总次数。D_hit表示该行为的权值，

表示以类别词“type”查询到图像P，并点击查看获得的信心值；

(a3)简单判定行为信心值 $C_{p,\mathrm{type}}^{\mathrm{judge}}=(N_{p,\mathrm{type},\mathrm{right}}^{\mathrm{judge}}-N_{p,\mathrm{type},\mathrm{wrong}}^{\mathrm{judge}})\×D_{\mathrm{judge}}.$ 其中，表示用户认为图像P属于主类别“type”的次数，用

表示用户认为P不属于主类别“type”的次数，用D_judge表示该行为的权值，

表示图像P的类别词“type”通过简单判定获得的信心值；

(a4)修改类别行为信心值

其中，

表示用户修改图像P的原类别为“type”的总次数，D_ch表示该行为的权值，

表示通过将图像P修改为类别“type”所获得的信心值；

(a5)投票行为信心值

其中，

表示用户对图像P的类别“type”所投的总票数，D_vote表示该行为的权值，

表示图像P的类别“type”通过投票所获得的信心值；

(a6)添加标签行为信心值

其中，

表示用户对图像P添加的标签中，类别“type”所出现的次数，D_tag表示添加标签行为的权值，

表示图像P的类别“type”通过添加标签所获得的信心值

(a7)添加描述行为信心值

其中系统统计描述中类别词“type”出现的次数

该行为的权值为D_des；

(a8)计算图像P属于类别“type”的信心值C_p，type。

$C_{p,\mathrm{type}}=C_{p,\mathrm{type}}^0+C_{p,\mathrm{type}}^{\mathrm{hit}}+C_{p,\mathrm{type}}^{\mathrm{judge}}+C_{p,\mathrm{type}}^{\mathrm{ch}}+C_{p,\mathrm{type}}^{\mathrm{vote}}+C_{p,\mathrm{type}}^{\mathrm{tag}}+C_{p,\mathrm{type}}^{\mathrm{des}}$

(3.b)进行图像所属类别调整。通过计算图像P的主类别“type_main”的信心值

及其各副类别“type_i”的信心值

若果存在副类别“type”，其信心值C_p，type满足

则“type”即演化为图像P的主类别，之前的主类别“type_main”变为副类别。

根据本发明的又一个方面，所述的步骤(4)包括：

(4.a)增加新类别词。类别树的增加算法流程如下：

上述流程中：对于用户输入的词“Word”，若其不为类别词，则将其放入待定类别词集合Q中，对于待定类别词集合Q中的词“Word”，计算其使用频度f_Word，当f_Word超过频度阀值ThresT，则将“Word”放入类别词集中。

其中f_Word表示待定类别词“Word”的频度。函数ComputeF(Word，flag)主要用来计算“Word”的频度增量。“Flag”表示增量的方式。本系统定义了如下三种增量方式：

(a1)用户上传图像时使用“Word”进行类别标注。令其发生的次数为W₁，其权值为G₁；

(a2)用户通过修改某一图像的类别时引入了类别词“Word”。令其发生次数为W₂，权值为G₂；

(a3)用户使用“Word”进行检索。令其次数为W₃，权值为G₃。

关于新类别词的添加与否，主要依据其频度值的大小。某一待定类别词“Word”的频度值 $f_{\mathrm{word}}={\mathrm{\Σ}}_{i=1}^3{W}_i\×G_i;$

(4.b)调整类别结构。管理员根据用户的反馈信息以及自身的领域知识对类别树进行调整。

根据本发明的又一个方面，所述的步骤(5)包括：

(5.a)根据用户的操作情况，统计用户点击查看行为总次数C_hit，简单判定行为总次数C_judge，修改类别行为总次数C_ch，投票行为总次数C_vote，添加标签行为总次数C_tag，添加描述行为总次数C_des。

(5.b)令 $\stackrel{\→}{d}=(D_{\mathrm{hit}},D_{\mathrm{judge}},D_{\mathrm{ch}},D_{\mathrm{vote}},D_{\mathrm{tag}}{D}_{\mathrm{des}}),$ $\stackrel{\→}{c}=(C_{\mathrm{hit}},C_{\mathrm{judge}},C_{\mathrm{ch}},C_{\mathrm{vote}},C_{\mathrm{tag}}{,C}_{\mathrm{des}}),$ 设计一个函数F，使得实现基于用户行为反馈向量

来调整权重参数向量

直观地，有向量的各分量与向量

的各分量成反比。例如，若用户简单评定的次数越多(C_judge越大)，则该行为的权重D_judge应该越小。一般的想法是，将函数设计为线性模型，即存在一个六维矩阵M_DC，使得本发明的优点是，随着用户不断地使用本数据管理系统并参与修改图像数据的类别，图像所属的类别将更精确，类别自身组织结构将更完善。图像所属的类别最终由大众共同决定，而不是由少数专家确定，图像类别自身组织结构也随着用户的参与进行扩建和调整。图像集有了精确的分类结构，可以方便科研人员作相关的图像处理分类方面的研究。

附图说明

附图1为本发明的方法模块图；

附图2为用户查询处理流程。

具体实施方式

下面参考附图，对本发明的具体实施进行详细的说明。

本发明的核心步骤包括以下三个部分：

1、通过基于机器学习的分类器检测，基于语义关联矩阵的类别推荐以及人工标注获得初始类别版本L0部分。以上传图像方式获得图像的初始类别及其信心值部分。提供用户上传图像的工具。用户在上传图像时，抽取图像的底层SIFT特征，通过图像分类器对图像进行分类。

图像的分类器主要包括训练部分和匹配部分两个部分。在训练部分，通过提取标有类别属性的图像的SIFT特征，构建每个类别的SIFT特征集。在匹配部分采用K-最近邻方法。训练部分过程主要包括采用如下算法提取训练图像的SIFT特征：

(1)生成图像尺度空间。假设方差为δ的二位高斯函数为G(x，y)，其中

给定二维图像I(x，y)，在不同尺度下的尺度空间表示L(x，y，δ)可由I(x，y)与高斯核G(x，y)卷积得到L(x，y，δ)＝G(x，y)*I(x，y)。其中*表示卷积操作。(x，y)代表图像像素的位置，δ称为尺度空间因子。其值越小则表征该图像被平滑的越少，相应的尺度也就越小。

(2)建立图像DOG金字塔。对尺度空间图像序列进行DOG(Difference ofGaussian)操作，找到具有稳定尺度特征的关键点。定义高斯差分如下：D(x，y，δ)＝L(x，y，kδ)-L(x，y，δ)。其中k为尺度因子比例系数，用来等比例地改变尺度空间的值。

(3)获取关键点。在建立的DOG空间金字塔中，将相邻尺度空间内的极值点作为图像的关键点。具体过程是通过将DOG尺度空间的每个像素点与同一层的相邻的8个像素点、上一层的相邻9个像素点和下一层的相邻9个像素点共26个像素点进行比较，若其比相邻的26个像素的DOG值都大或都小，则该点作为关键点。

(4)确定关键点主方向。以特征点为中心的邻域窗口内采样，用梯度方向直方图统计邻域像素的梯度方向。梯度直方图的范围为0°～360°，其中每15°位一个方向单位，共计24个方向。梯度方向直方图的峰值代表了该关键点处邻域梯度的主方向，即作为该关键点的主方向。

(5)提取关键点特征向量。以关键点方向为坐标轴x轴方向，在二维平面内提取关键点的特征描述。以关键点为中心取16×16的窗口，将该窗口按4×4划分为16个种子点，在每个种子点上，通过其内部16个像素点每个像素点的梯度方向及其长度，以向量形式累加计算种子点8个方向的梯度方向直方图。对一个关键点总共提取了128个数据，形成128维的SIFT特征向量，并将其长度归一化。

通过如上步骤，获得了每幅训练图像的SIFT特征，包括关键点数目及各关键点的位置、方向、尺度和特征向量信息。训练集中的每张图片P可表示为(dot1，dot2...dotn，type)。其中type为图片所属的类别，n为关键点数目，doti表示第i个关键点的SIFT特征，其可表示为(position，rotation，scale，vector)，其中position，rotation，scale和vector分别是关键点的位置、方向、尺度和128维特征向量信息。最终获得的训练图片集中，每个类别包含5张具有代表性的图片。

匹配部分采用基于SIFT特征的k-最近邻方法，即通过抽取待分类图片P的SIFT特征，计算其与训练集中图片PTrain的SIFT特征相似度S(P，PTrain)。找出前K张最相似的图片。计算图片P属于某一类别“type”的可能性pro(P，type)＝∑S(P，P_i)，其中Pi为此K张图片中属于类别“ type”的图片。将pro(p，type)值最大的类别“type”作为主类别，其他类别词为副类别。计算S(P，PTrain)的过程如下：

对于P的关键点i和PTrain的关键点j，计算其SIFT特征向量的距离 $d({\mathrm{vector}}_i,{\mathrm{vector}}_j)=\sqrt{{\mathrm{\Σ}}_{k=1}^{128}{({\mathrm{vector}}_{i,k}-{\mathrm{vector}}_{j,k})}^2}.$

对于P的关键点i和PTrain的关键点j，判断其是否满足如下四个条件：

(a)d(vector_i，vector_j)＜vector_thres

(b)|position_i-position_i|＜position_thres

(c)|rotation_i-rotation_i|＜rotation_thres

(d)min(scale_i，scale_j)/max(scale_i，scale_j)＜scale_thres

其中vector_thres，position_thres，rotation_thres，scale_thres分别为特征向量距离阈值，关键点位置距离阈值，关键点方向距离阈值以及关键点尺度比例阈值。

若满足上面所述条件，则说明关键点i和关键点j匹配。计算i与j之间的相似度 $S_{\mathrm{ij}}=\frac{w_{\mathrm{position}}.w_{\mathrm{rotation}}.w_{\mathrm{scale}}}{d({\mathrm{vector}}_i,{\mathrm{vector}}_j)}.$

其中w_position，w_rotation，w_scale为关键点位置、方向、尺度匹配成功的权重；计算 $S(P,\mathrm{PTrain})=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{s}_{\mathrm{ij}}$

其中N、M分别为匹配成功的图片P、图像PTrain的关键点数目。

将此类别词提交给语义关联推荐模块，根据系统中维护的语义关系表，向用户推荐类别词，由用户选择主类别或这副类别，当然，也允许用户添加未推荐的类别词

例如：当通过底层SIFT特征匹配或者用户手动添加类别标注“牛”时，可以推荐“草地”、“农场”、“动物”等可能存在的类别标注。

在获得了图像的主类别和副类别后，可以计算图像属于该类别的信心值。

2、基于Wiki模式的用户操作改变图像类别体系部分。Wiki模式，即大规模的开放协作和资源共享模式，允许并鼓励普通用户大众对大规模图像数据管理系统的数据进行类别标注更新操作，包括直接编辑修改原有标注、间接修改、评价等方式；

通常大规模图像数据管理系统具有查询检索的功能。在检索的过程中，可以直观地认为，用户输入某一关键词“keyword”去检索时，若对列出的图像中，选择查看，则说明此图片很有可能具有“keyword”的语义信息，换句话说，该行为使得此图像属于“keyword”这一类的可能性更大。故该行为可能导致图像所属类别的改变。同样地，像用户对图像所属类别的判定行为、用户直接修改图像的类别行为、用户的投票行为、用户为图像添加标签行为以及用户对图像添加语义行为都有可能改变图像所属的类别。现以用户查询为例，说明在实施过程中怎样处理图像所属类别的改变以及类别组织结构的调整。

用户的查询流程见附图2。其中conQuery(key，p)函数执行如下操作：

(1)如果关键词key不属于图片p的主类别或副类别，则结束；

(2)在配置文件parameter.xml中读取参数查询总次数allQuery以及查询行为的权值degJudge。在图像语义信息文件picture.xml中读取图像p的属于类别key的信心值confidence；

(3)allQuery＝allQuery+1，confidence＝confidence+degJudge；

(4)如果key是图片P的副类别，则读取图片P属于主类别的信息值confMain，计算detaConf＝confidence-confMain；

(5)如果detaConf＞Thres_c，其中Thres_c为使类别改变的信心值距离阈值，则图片P的主类别为key，之前的主类别变为副类别；

(6)将修改的信息存入相应的xml文件中。

HandleType(key)主要处理对用户输入的词是否将其加入到系统维护的待定类别词集中。

用户的其他行为操作也类似于用户查询操作，都需要经过图像所属类别演化模块和类别组织结构动态演化模块的处理，见附图1。

3、调整演化模型中的相关参数以更好地保证演化模型的可用性及效率。

在该部分主要在系统发布后，以实验的形式来进行调整。其主要包括

根据用户的操作情况，统计用户点击查看行为总次数C_hit，简单判定行为总次数C_judge，修改类别行为总次数C_ch，投票行为总次数C_vote，添加标签行为总次数C_tag，添加描述行为总次数C_des。令

设计一个函数F，使得

实现基于用户行为反馈向量

来调整权重参数向量

直观地，有向量

的各分量与向量

的各分量成反比。例如，若用户简单评定的次数越多(C_judge越大)，则该行为的权重D_judge应该越小。一般的想法是，将函数设计为线性模型，即存在一个六维矩阵M_DC，使得

实验的设计步骤如下：

(1)找一批由专家分好类的图像集，将其上传至系统后，由用户使用，积累用户数据。

(2)假设专家分类正确，分析分类效果，主要考虑如下指标：

(a)分类正确率。将图像所属类别的分类结果与专家分类的结果进行对比，计算分类正确的比率；

(b)图像所属类别变化次数。即图像的主类别变化次数；

(c)抖动次数，即图像所属类别由正确变为错误，再由错误变为正确，如此循环次数；

(d)收敛时间，即分类演化结果最终正确的  时间，当然也可能不收敛。

(3)分析模型中定义的相关参数对系统的影响。统计用户行为，调整M_DC中的相关数值，保证其他条件不变，如服务器运行时间，再进行第二步所述的分类效果分析。可以由变化次数，抖动次数和收敛时间来评估参数对系统的影响。

Claims (5)

1.一种基于Wiki的图像分类体系动态演化方法，其特征与步骤如下：

(1)通过图像分类器和语义关联矩阵自动产生相关的类别建议词汇，得到图像的初始类别标注，包括主类别和副类别，主类别即图像所属的类别，副类别指图像所属的候选类别，即此图像有可能属于此类别，用来和主类别竞争；其具体过程为，用户在上传图像时，抽取图像的底层SIFT特征，用特征向量X表示，将此特征向量与训练好的图像SIFT特征集Y＝{y1，y2，...yn}计算其相似度，Y中的每一个特征向量对应着一个类别词，将此图像赋予与特征向量X最相似的向量yk的类别词，将此类别词提交给语义关联推荐模块，根据系统中维护的语义关系表，向用户推荐类别词，由用户选择主类别或者副类别，也允许用户添加未推荐的类别词；这些由上传图像的用户确定的图像主类别C_main和副类别

初始类别词，作为图像的初始类别标注，构成一个图像所属类别初始版本L0；

(2)基于维基wiki模式，即大规模的开放协作和资源共享模式，允许并鼓励普通用户大众对大规模图像数据管理系统的数据进行类别更新操作，包括所属类别判定，投票，标签添加以及语义描述方式；

(3)对于步骤(2)的更新操作，根据图像所属类别的动态演化模型，进行图像所属类别的判定；

(4)对于步骤(2)的更新操作，根据类别自身组织结构动态演化模型，调整类别组织结构；

(5)基于统计模型对用户的操作进行统计，用来调整步骤(3)和步骤(4)的相关参数。

2.根据权利要求1所述的基于Wiki的图像分类体系动态演化方法，其特征在于，所述的步骤(2)包括如下行为：

(2.a)点击查看行为；用户输入某一类别词“type”，检索到图像P，并进行点击放大查看；

(2.b)简单判定行为，用户浏览图像P时，可以简单判定其主类别“type”是否正确；

(2.c)修改类别行为，用户认为图像P不属于其主类别，并且手动编辑修改其类别为“type”；

(2.d)投票行为，用户可以对图像P所属的各类别，即主类别和副类别投票；

(2.e)添加标签行为；用户在图像的关键区域添加标签；

(2.f)添加描述行为；用户对图像P添加语义描述。

3.根据权利要求1所述的基于Wiki的图像分类体系动态演化方法，其特征在于，所述的步骤(3)包括：

(3.a)计算图像P属于类别“ type”的信心值C_p，type，图像属于某一类别的信心值，即指此图像属于该类别的可能性，可能性越高，其信心值越大，信心值C_p，type的计算主要包括如下方式：

(a1)初始信心值计算，用户在上传图像时，至少填写此图像属于的主类别，选择填写1-6个副类别；对于主类别，系统赋予其信心值为C_main，副类别系统赋予其信心值为C_vice；若“ type”为主类别，则

若“type”为副类别，则

(a2)点击查看行为信心值

其中，

表示以类别词“ type”查询到图像P，并点击查看的总次数；D_hit表示该行为的权值，

表示以类别词“type”查询到图像P，并点击查看获得的信心值；

(a3)简单判定行为信心值 $C_{p,\mathrm{type}}^{\mathrm{judge}}=(N_{p,\mathrm{type},\mathrm{right}}^{\mathrm{judge}}-N_{p,\mathrm{type},\mathrm{wrong}}^{\mathrm{judge}})\×D_{\mathrm{judge}},$ 其中，

表示用户认为图像P属于主类别“type”的次数，用

表示用户认为P不属于主类别“ type”的次数，用D_judge表示该行为的权值，

表示图像P的类别词“type”通过简单判定获得的信心值；

(a4)修改类别行为信心值

其中，

表示用户修改图像P的原类别为“ type”的总次数，D_ch表示该行为的权值，表示通过将图像P修改为类别“type”所获得的信心值；

(a5)投票行为信心值

其中，

表示用户对图像P的类别“ type”所投的总票数，d_vote表示该行为的权值，

表示图像P的类别“type”通过投票所获得的信心值；

(a6)添加标签行为信心值

其中，

表示用户对图像P添加的标签中，类别“ type”所出现的次数，D_tag表示添加标签行为的权值，

表示图像P的类别“type”通过添加标签所获得的信心值；

(a7)添加描述行为信心值

其中系统统计描述中类别词“type”出现的次数

该行为的权值为D_des；

(a8)计算图像P属于类别“ type”的信心值C_p，type；

$C_{p,\mathrm{type}}=C_{p,\mathrm{type}}^0+C_{p,\mathrm{type}}^{\mathrm{hit}}+C_{p,\mathrm{type}}^{\mathrm{judge}}+C_{p,\mathrm{type}}^{\mathrm{ch}}+C_{p,\mathrm{type}}^{\mathrm{vote}}+C_{p,\mathrm{type}}^{\mathrm{tag}}+C_{p,\mathrm{type}}^{\mathrm{des}};$

(3.b)进行图像所属类别调整，通过计算图像P的主类别“type_main”的信心值及其各副类别“type_i”的信心值

如果存在副类别“type”，其信心值C_p，type满足

其中Thres_c为使类别改变的信心值距离阈值，则“ type”即演化为图像P的主类别，之前的主类别“type_main”变为副类别。

4.根据权利要求1所述的基于Wiki的图像分类体系动态演化方法，其特征在于，所述的步骤(4)包括：

(4.a)增加新类别词；对于出现的新的类别词汇“newType”，将其放入待定集preserve_set中，当“newType”的使用频度fnewType超过频度阀值ThresT，将“newType”放入类别词集中，由系统管理员将其加入到原组织结构的某一结点中；新类别词“newType”的使用频度fnewType的增加，包括以下三方面：

(a1)用户上传图像时使用“Word”进行类别标注，令其发生的次数为W₁，其权值为G₁；

(a2)用户通过修改某一图像的类别时引入了类别词“Word”，令其发生次数为W₂，权值为G₂；

(a3)用户使用“Word”进行检索，令其次数为W₃，权值为G₃；

关于新类别词的添加与否，主要依据其频度值的大小，某一待定类别词“Word”的频度值 $f_{\mathrm{word}}={\mathrm{\Σ}}_{i=1}^3{W}_i\×G_i;$

(4.b)调整类别结构，管理员根据用户的反馈信息以及自身的领域知识对类别树进行调整。

5.根据权利要求3所述的图像分类体系动态演化方法，其特征在于，所述的步骤(5)包括：

(5.a)根据用户的操作情况，统计用户点击查看行为总次数C_hit，简单判定行为总次数C_judge，修改类别行为总次数C_ch，投票行为总次数C_vote，添加标签行为总次数C_tag，添加描述行为总次数C_des；记录

以及

数据；

(5.b)令 $\stackrel{\→}{d}=(D_{\mathrm{hit}},D_{\mathrm{judge}},D_{\mathrm{ch}},D_{\mathrm{vote}},D_{\mathrm{tag}}{D}_{\mathrm{des}}),$ $\stackrel{\→}{c}=(C_{\mathrm{hit}},C_{\mathrm{judge}},C_{\mathrm{ch}},C_{\mathrm{vote}},C_{\mathrm{tag}}{,C}_{\mathrm{des}}),$ 设计函数F，使得实现基于用户行为反馈向量

来调整权重参数向量

向量

的各分量与向量

的各分量成反比；若用户简单评定的次数越多，即C_judge越大，则该行为的权重D_judge越小；将函数设计为线性模型，即存在一个六维矩阵M_DC，使得

Images