CN103309953B - 一种基于多rbfnn分类器集成的多样化图像标注和检索方法 - Google Patents

Abstract

本发明公开了一种基于多分类器集成的多样化图像标注和检索方法，该方法主要包括四个步骤：（1）构造和学习多个差异性RBFNN集成分类器模型；（2）利用优化后多个差异性RBFNN集成分类器模型来对检索图像库中图片进行多样化标注；（3）根据检索关键词和步骤（2）的标注结果，对检索图像库进行多样化检索：首先查找所有标注检索关键词的图片，并根据概念相似度进行排序，然后，将分属不同子概念的图片按照概念相似度由高到低的顺序置前，得到检索结果；（4）输出检索结果。本发明的方法提高了图像检索精度，同时大大提高了图像检索结果多样性，节约了检索时间，具有较高的鲁棒性和实用性。

Description

一种基于多RBFNN分类器集成的多样化图像标注和检索方法

技术领域

本发明涉及多样化图像标注、检索系统和多分类器集成思想，特别涉及一种基于多RBFNN分类器集成的多样化图像标注和检索方法。

背景技术

图像检索是随着计算机科学技术的迅速发展而产生和发展起来的一门科学技术，在国防、社会安全、遥感、医学、商业信息等领域都存在着非常重要的应用前景。近年来，随着各种电子设备诸如扫描仪、数码相机、数码摄像机等设备的快速发展和普及使用，特别是多媒体技术的提高和Internet的快速发展和普及使用，使得图像数据呈现几何级数的增长，于是出现了大容量的图像及海量的视频数据库。然而图像数据的规模和应用范围都在不断扩张，对现有图像检索技术不断提出新的挑战和需求。如何有效地组织、管理和检索大规模的图像数据成为迫切需要解决的问题，如果能够在检索的过程中自动筛选有用信息，尽量可能避免向用户提交雷同或者近似雷同的检索结果，无疑会提高信息检索和浏览的效率，节约大量的时间。

图像检索技术一般都注重于提高检索的相关性，然而，越来越多专家已经认识到信息检索不仅仅要求结果的“概念”相关性，还应该注重结果的“新颖性”。面对海量图像数据，一个好的图像检索引擎应该既要保证结果的相关性，又要保证结果的多样性。理想情况下，用户所“关注”的检索结果中排名靠前的图像列表应该是对“概念”的全面覆盖，也就是说，能够覆盖检索“概念”的所有“子概念”，这样，当不同应用背景的用户输入相同的检索信息或者输入的检索信息比较模糊时，多样化的检索结果就更能满足他们的潜在需求，图像的多样化检索研究的对象是：如何在图像检索中令新颖的、独特的、非重复冗余的图像在检索结果中排序靠前。多样化图像检索系统的应用领域主要包括：图像电子设备应用、互联网图像搜索、医学图像检索、商业信息检索、遥感信息侦查等等。

目前，多样化图像检索技术还不是特别成熟，检索准确率比较低，如何设计出一个高效准确的多样化检索系统，是亟需解决的问题。传统的基于内容的多样化图像检索，由于受人工标记等客观条件的约束，一般训练数据集所提供的图像都具有“概念”标签，但不具有“子概念”标签，因此，机器学习过程是半监督的，即图像相关性的学习是有监督的，而多样性的学习是无监督的，这是多样化图像检索中需要解决的主要问题。虽然现有的一些方法也能获得一定的多样化检索的效果，但是目前的图像多样化检索技术还存在以下的缺点：

（1）目前图像检索系统中的数据普遍表现为非均衡分布的特征，正类（即与检索“概念”相关的）数据往往要远少于反类（即与检索“概念”不相关的）数据，而且“概念”相关数据中各“子概念”的分布往往也是很不均衡的。这种正反类别分布不均衡的现象将使正类的学习被弱化，从而导致与“概念”相关的样本的识别率降低，检索结果的相关性降低；使非占优“子概念”的学习被弱化，以致检索结果中相应“子概念”样本缺失，从而对检索多样性产生很大影响。

（2）目前的多样化检索技术一般都是独立于相关性预检索的“后序”处理方法，即相关性预检索完成后，再利用某个无监督学习算法对预检索结果进行重新排序，以达到提高多样性的目的，额外“后序”学习耗费将增加用户在线等待的时间。

（3）目前多样化检索中所用的都是单个分类器来进行分类。这种系统对于高维、样本噪声大、大样本集问题等高复杂问题很难获得较好的分类效果。使得最终的检索效果不是特别好。

（4）目前利用单个RBFNN分类器进行图像标注只能获得图像某些“概念”和“子概念”信息，很难获得图像更多的标签信息，同时准确度不是很高。

本发明将针对上述问题提出解决方案，实现图像相关性和多样性标注和检索的并行性，能够快速的处理检索中各种发杂的问题。同时也解决检索中非均衡数据分布问题，通过将差异性RBFNN集成来进行图像多样化标注，获得了图像更多“概念”和“子概念”标签信息。进而使得图像检索精度提高。

发明内容

本发明目的在于针对现有多样化图像检索技术的不足，提出一种基于多RBFNN分类器集成的多样化图像标注和检索方法。该方法将多分类器集成的思想，应用到相关性与多样性并行图像标注和检索中，利用多个不同的RBFNN（径向基函数神经网络）分类器（不同训练样本集或不同特征空间学习得到的）分类，再对各分类器输出进行集成得到最终分类结果。不同RBFNN分类器之间存在差异性，差异性的RBFNN分类器覆盖不同“子概念”，这种差异性可以使多个分类器形成互补，进而提高分类性能，从而给未知图片标注更多的“概念”和“子概念”标签。该方法不仅解决了传统相关性和多样性不能并行学习的问题，而且解决了非均衡数据学习问题、单个RBFNN很难获得更多图像“概念”和“子概念”问题以及单RBFNN很难处理高维复杂数据的问题，使得图像多样化标注和检索的精度和效率得到提高。另外，基于相关性和多样性两个优化目标，采用MOPSO进行多RBFNN分类器集成的多维度优化，实现相关性和多样性的并行学习大大提高了该系统的鲁棒性。

本发明采用的技术方案为：

一种基于多RBFNN分类器集成的多样化图像标注和检索方法，具体按如下步骤执行：

（1）构建和学习多差异性RBFNN集成的分类器模型

根据不同分类器之间存在差异性，这种差异性可以使多个分类器形成互补，进而提高分类性能思想，以及针对目前相关性与多样性并行图像检索这一特殊问题，不同子概念图像在空间上呈聚类簇状分布，结合RBFNN中不同隐中心的感受域能区别覆盖和响应不同的局域子概念这一特性，选择不同的特征子集来训练和构造多个差异性的RBFNN，并使每个RBFNN尽可能覆盖更多的子概念，在此基础上设计出多个差异性RBFNN集成的分类器模型；

首先输入训练图像样本，并对图像进行预处理，并提取图像颜色、纹理、形状等特征，然后基于这些训练样本，采用如下步骤学习多个差异性RBFNN集成的分类器模型：

1）基于多分类器集成的相关性与多样性并行图像检索中的多维度优化，多维度指RBFNN结构、集成参数；

根据Bagging技术可放回随机采样来形成训练集以训练基分类器，或者根据AdaBoost技术依据前一个分类器的识别结果，识别错误的样本将以较大的概率被选择形成下一轮训练集；首先利用聚类技术对正例图像集进行聚类，然后用每个簇中的图像作为各成员分类器的正例训练样本，形成差异性成员分类器的，因为不同子概念在空间上是呈聚类簇状分布的，从而形成多个差异性RBFNN；

在应用RBFNN构造成员分类器时，RBFNN的结构参数会影响其对概念和子概念的覆盖能力，同时集成机的参数也会影响最终的检索结果，这两个方面对检索性能的作用往往不是相互独立的，即最优的检索结果往往是由RBFNN的结构和集成机的参数共同作用产生的，因而采用MOPSO算法同时优化这两个维度的参数；在用MOPSO同时优化RBFNN结构和集成机参数时，粒子需要对这几个要素都进行编码，而对于多维度离散性和连续性的差异可采用混合编码方案；当采用硬集成机时，连续编码只涉及RBFNN宽度参数的编码，而离散编码则涉及到RBFNN隐中心和集成机参数n_i；对候选隐中心的选择可采用二进制编码，其中，长度为候选隐中心的个数，基因值为1表示对应的候选隐中心被选中，否则表示未被选中；集成机参数n_i在一定取值范围内（0≤n_i≤K）也可以映射成二进制编码，即对RBFNN隐中心和集成机参数n_i采用统一的编码方式，可以达到简化优化算法的目的，然后使用二进制离散PSO运算同时处理RBFNN隐中心和集成机参数n_i的离散优化；而当采用软集成机时，离散编码只涉及到RBFNN隐中心，而连续编码则涉及到RBFNN宽度参数和集成机参数w_i的编码，相应地，对这两部分编码分别采取二进制和连续PSO的运算；针对集成器中每个差异性的RBFNN的优化方法具体如下：

①适应度函数的设计

使用代价误差作为适应度函数的自变量，使正类以及正类中非占优子概念内的样本误差代价增大，而其它样本误差代价减小，代价误差可表示为：

$E_{\cos t}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-y_{\mathrm{ij}})}^2---\left(1\right)$

式中β_i是各样本的误差代价，t_ij，y_ij分别表示输入第i个样本时，网络第j个输出接点的期望输出值和实际输出值，N表示样本总数；此外，适应度函数还需体现分类器的泛化性能，即对新样本的分类和检索性能；由于隐接点个数的减少会导致网络对子概念覆盖能力的减弱，所以常用的隐接点个数n_c对RBF网络泛化能力的表达方法在此并不合适；而且，当适应度函数设计为E_cost和n_c的二元函数时，存在着函数形式未知以及E_cost和n_c之间权衡参数难以确定等问题；因此采用较常用的M交叉认证对网络的泛化能力进行表达，为此，定义一种M交叉认证代价误差为

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})}^2---\left(2\right)$

公式中表示排除第m个子集S_m，由剩余M-1个子集学习RBFNN分类器连接权值后输入子集S_m中第i个样本时，网络第j个输出接点的输出值；

综上所述，根据我们的优化目标，可设计适应度函数为

$\mathrm{fitness}=f\left(E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}\right)=-E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}---\left(3\right)$

其中，误差代价可以根据样本分布情况定义，而且，在实验中，正反类、各子概念误差代价之间的差异大小可以调节，则网络结构、检索相关性、检索多样性也随之变化；

②RBF网络连接权值的学习

网络的代价误差是网络连接权值矩阵W的函数，公式（1）可表示为以下形式：

$E_{\cos t}\left(W\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{\φ}}_{\mathrm{ik}}{w}_{\mathrm{kj}})}^2={\left|\right|B^{1/2}(T-\mathrm{\ΦW})\left|\right|}^2---\left(4\right)$

其中t_ij表示输入第i个样本时，网络第j个输出接点的期望输出值， φ_ik表示网络输入第i个样本时第k个隐接点的响应输出，w_kj是网络第k个隐接点到第j个输出接点间的连接权值，T是矩阵(t_ij)， Φ是矩阵(φ_ik)，B是对角阵

$B=\left[\begin{array}{cccc}{\mathrm{\β}}_1& 0& ...& 0\\ 0& {\mathrm{\β}}_2& ...& 0\\ ...& ...& ...& ...\\ 0& ...& 0& {\mathrm{\β}}_N\end{array}\right]---\left(5\right)$

按函数求解极值法，求E_cost(W)对W的偏导数，且令其为0，可得到(Φ^TBΦ)W^T=Φ^TBT，解得

$W^T={\left({\mathrm{\Φ}}^T\mathrm{B\Φ}\right)}^{-1}{\mathrm{\Φ}}^T\mathrm{BT}---\left(6\right)$

③差异性RBFNN隐中心和宽度参数的快速、均衡微调

由于RBFNN模型是有关估计参数隐中心C和宽度参数σ的非线性函数，所以拟采用迭代算法对参数微调；为此，设计一种基于代价误差的梯度下降法来计算C和σ每次迭代的变化量，代价误差能修正由于正反类或正类各子概念样本分布不均衡引起的梯度偏差；

这里，采用公式（2）中的M交叉认证代价误差，以防止过学习，提高网络的泛化能力，M交叉认证代价误差是以C和σ为自变量的函数，可表示为如下形式：

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}(C,\mathrm{\σ})=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})}^2---\left(7\right)$

式中 $y_{\mathrm{ij}}^{(-S_m)}=\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{\φ}}_{\mathrm{ik}}^m{w}_{\mathrm{kj}}^{(-S_m)},{\mathrm{\φ}}_{\mathrm{ik}}^m=\exp (-{\left|\right|P_i^m-C_k\left|\right|}^2/{\mathrm{\σ}}_k^2)$ ， 表示排除第m个子集S_m，由剩余M-1个子集学习得到的连接权值；求对C_k(l)的偏导可得C的迭代修正量为：

$\begin{array}{c}{\mathrm{\ΔC}}_k\left(l\right)=-\mathrm{\ξ}\frac{\∂E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂C_k\left(l\right)}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{\∂y_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂C}_k\left(l\right)}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{P_i^m\left(l\right)-C_k\left(l\right)}{{\mathrm{\σ}}_k^2}\end{array}---\left(8\right)$

求对σ_k的偏导可得σ的迭代修正量为：

$\begin{array}{c}{\mathrm{\Δ\σ}}_k\left(l\right)=-\mathrm{\ξ}\frac{\∂E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂{\mathrm{\σ}}_k}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{\∂y_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂\mathrm{\σ}}_k}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{{\left|\right|P_i^m-C_k\left|\right|}^2}{{\mathrm{\σ}}_k^3}\end{array}---\left(9\right)$

其中C_k(l)表示第k个隐中心的第l维；

2）基于多分类器集成的相关性与多样性并行图像检索中的多目标优化

用硬集成或软集成技术来对每个差异性RBFNN的输出结果进行集成，硬集成机可设计为：

$S=\mathrm{rerank}\left(\underset{i}{\∪}\mathrm{Top}(S_i,n_i)\right)---\left(10\right)$

其中S是最终检索结果，S_i是第i个RBFNN对应输出的检索集合，Top(S_i,n_i)表示S_i中排序前n_i个样本，n_i满足，rerank()是重新按图像相关性排序函数；软集成机可设计为，其中o_i是第i个RBFNN分类器的输出值，w_i是该分类器的权重，O是分类器集成输出值，将依据它得到最终的检索结果；

采用多目标粒子群优化算法(MOPSO)学习硬集成机参数n_i或软集成机参数w_i，从而有效发现Pareto最优解集，进而能够向用户推荐不同的检索结果，并构建反馈相关性与多样性并行图像检索系统；在此过程中，优化目标有两个，即相关性和多样性；图像检索相关性评价指标一般有P_K（Precision at K）和R_K（Recall at K）两种，其中P_K=A_K/K, R_K=A_K/A, K是评价检索图像的个数，A_K是在K个检索结果中与概念相关的样本个数，A是整个样本集中与概念相关的样本个数，P_K反映的是K个检索结果的精确率，而R_K反映的是K个检索结果的总效能，本项目考虑与多样性指标的一致性，可采用R_K指标；检索多样性的评价指标拟设计为（Sub-recall at K），

$R_K^s=\frac{\left|{\∪}_{i=1}^K\mathrm{subtopic}\left(I_i\right)\right|}{n_s}---\left(11\right)$

公式中n_s是子概念总数；I_i为第i幅检索图像；subtopic()指图像隶属的子概念，表示集合的大小；

此外，在多目标优化硬集成机时，参数n_i要满足这个约束，以保证相关性和多样性是在大小为K的检索结果集合上的评价，因此，在优化过程中，个体的适应度评估可考虑增加一个与相关的惩罚项；同样，在多目标优化软集成机时，为满足这个加权归一化约束，也可考虑增加一个与相关的惩罚项；

（2）利用优化后的差异性RBFNN集成分类器模型来对检索图像库中图片进行多样化标注；具体的多样化标注过程如下：

1）输入训练图像样本，并对图像进行预处理，并提取图像颜色、纹理、形状等特征，将特征输入差异性RBFNN集成分类器，根据每个差异性RBFNN输出结果进行集成，根据集成机输出结果对图片进行概念相关性和不相关性进行分类，如相关，则进行该概念的标注，并根据集成分类器的输出结果标出图片与概念的相似度；

2）根据差异性RBFNN集成分类器中每个差异性RBFNN的隐节点的响应输出结果进行集成，根据集成机的最终输出结果对概念相关图片进行子概念标注；主要响应（隐节点输出值最大）为同一隐节点，则属于同一子概念，否则，属于不同子概念；

（3）根据检索关键词和步骤（2）的标注结果，对图像库进行多样化检索：首先查找所有标注检索关键词的图片，并根据概念相似度进行排序；然后，将分属不同子概念的图片按照概念相似度由高到低的顺序置前；

（4）输出检索结果。

与已有技术相比，本发明有益效果体现在：

1、本发明从多个差异性RBFNN分类器集成层面研究实现图像检索中的相关性与多样性的并行学习，与传统的分步学习算法（先学习相关性，再学习多样性）相比较，更具科学性与先进性。同时，由于多样化学习是离线学习的过程，从而减少了图像检索用户在线等待的时间。

2、本发明通过多目标优化的多分类器集成方法，利用差异性的RBFNN分类器覆盖不同“子概念”，集成多个具有差异性的RBFNN分类器，从而覆盖更多的“子概念”。优化集成这些差异性分类器的结果，形成Pareto最优解集，最优解集形成将有助于发现更多图像的“子概念”。大大提高了图像检索结果的多样性。

3、本发明针对相关性和多样性这两个优化目标，采用多目标优化集成技术以形成Pareto最优解集，进而能够向用户推荐不同的结果，与用户形成互动与反馈。4、本发明可以扩展应用到文本、网页、视频等信息多样化检索领域，有着重要的应用价值。也可应用到诸如临床医学检验、网络攻击分类报警、文本分类和产品质量检测等很多涉及非均衡数据分布的模式分类领域。

附图说明

图1为本发明提出的具体的图像检索系统示意图。

图2为本发明提出的由多个差异性RBFNN集成的分类器模型设计方案示意图。

具体实施方式

图1是本发明提出的多样化图像标注和检索总体示意图，在图1中具体的执行方式如下：

（1）构建和学习多差异性RBFNN集成的分类器模型

根据不同分类器之间存在差异性，这种差异性可以使多个分类器形成互补，进而提高分类性能思想，以及针对目前相关性与多样性并行图像检索这一特殊问题，不同“子概念”图像在空间上呈聚类簇状分布，结合RBFNN中不同隐中心的感受域能区别覆盖和响应不同的局域“子概念”这一特性，选择不同的特征子集来训练和构造多个差异性的RBFNN，并使每个RBFNN尽可能覆盖更多的“子概念”，在此基础上设计出多个差异性RBFNN集成的分类器模型。

首先输入训练图像样本，并对图像进行预处理，并提取图像颜色、纹理、形状等特征，然后基于这些训练样本，采用如下步骤学习多个差异性RBFNN集成的分类器模型：

1）基于多分类器集成的相关性与多样性并行图像检索中的多维度（RBFNN结构、集成参数）优化。

根据Bagging技术可放回随机采样来形成训练集以训练基分类器，或者根据AdaBoost技术依据前一个分类器的识别结果，识别错误的样本将以较大的概率被选择形成下一轮训练集。本专利中，首先利用聚类技术对正例（“概念”相关）图像集进行聚类，然后用每个簇中的图像作为各成员分类器的正例训练样本，形成差异性成员分类器的，因为不同“子概念”在空间上是呈聚类簇状分布的。从而形成多个差异性RBFNN。

在应用RBFNN构造成员分类器时，RBFNN的结构参数会影响其对“概念”和“子概念”的覆盖能力，同时集成机的参数也会影响最终的检索结果，这两个方面对检索性能的作用往往不是相互独立的，即最优的检索结果往往是由RBFNN的结构和集成机的参数共同作用产生的。因而，我们采用多目标粒子群优化算法（MOPSO）同时优化这两个维度的参数。在用MOPSO同时优化RBFNN结构和集成机参数时，粒子需要对这几个要素都进行编码，而对于多维度离散性和连续性的差异可采用混合编码方案。当采用硬集成机时，连续编码只涉及RBFNN宽度参数的编码，而离散编码则涉及到RBFNN隐中心和集成机参数n_i；对候选隐中心的选择可采用二进制编码（长度为候选隐中心的个数，基因值为“1”表示对应的候选隐中心被选中，否则表示未被选中），集成机参数n_i在一定取值范围内（0≤n_i≤K）也可以映射成二进制编码（对RBFNN隐中心和集成机参数n_i采用统一的编码方式，可以达到简化优化算法的目的），然后使用二进制离散PSO运算同时处理RBFNN隐中心和集成机参数n_i的离散优化。而当采用软集成机时，离散编码只涉及到RBFNN隐中心，而连续编码则涉及到RBFNN宽度参数和集成机参数w_i的编码，相应地，对这两部分编码分别采取二进制和连续PSO的运算。针对集成器中每个差异性的RBFNN的优化方法具体如下：

①适应度函数的设计

本发明中使用代价学习误差（CE, cost-error）作为适应度函数的自变量，使正类以及正类中“非占优”“子概念”内的样本误差代价增大，而其它样本误差代价减小。CE可表示为：

$E_{\cos t}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-y_{\mathrm{ij}})}^2---\left(1\right)$

式中β_i是各样本的误差代价，t_ij，y_ij分别表示输入第i个样本时，网络第j个输出接点的期望输出值和实际输出值，N表示样本总数。此外，适应度函数还需体现分类器的泛化性能，即对新样本的分类和检索性能。由于隐接点个数的减少会导致网络对“子概念”覆盖能力的减弱，所以常用的隐接点个数n_c对RBF网络泛化能力的表达方法在此并不合适；而且，当适应度函数设计为E_cost和n_c的二元函数时，存在着函数形式未知以及E_cost和n_c之间权衡参数难以确定等问题。因此，本发明采用较常用的“M交叉认证”（M-fold CrossValidation, M-FOLD-CV）对网络的泛化能力进行表达，为此，我们定义一种“M交叉认证”代价误差（M-FOLD-CV -CE）为

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})}^2---\left(2\right)$

公式中表示排除第m个子集S_m，由剩余M-1个子集学习RBFNN分类器连接权值后输入子集S_m中第i个样本时，网络第j个输出接点的输出值。

综上所述，根据我们的优化目标，可设计适应度函数为

$\mathrm{fitness}=f\left(E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}\right)=-E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}---\left(3\right)$

其中，误差代价可以根据样本分布情况定义，而且，在实验中，正反类、各“子概念”误差代价之间的差异大小可以调节，则网络结构、检索相关性、检索多样性也随之变化。

②RBF网络连接权值的学习

网络的代价误差是网络连接权值矩阵W的函数，公式（1）可表示为以下形式：

$E_{\cos t}\left(W\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{\φ}}_{\mathrm{ik}}{w}_{\mathrm{kj}})}^2={\left|\right|B^{1/2}(T-\mathrm{\ΦW})\left|\right|}^2---\left(4\right)$

其中t_ij表示输入第i个样本时，网络第j个输出接点的期望输出值， φ_ik表示网络输入第i个样本时第k个隐接点的响应输出，w_kj是网络第k个隐接点到第j个输出接点间的连接权值，T是矩阵(t_ij)， Φ是矩阵(φ_ik)，B是对角阵

$B=\left[\begin{array}{cccc}{\mathrm{\β}}_1& 0& ...& 0\\ 0& {\mathrm{\β}}_2& ...& 0\\ ...& ...& ...& ...\\ 0& ...& 0& {\mathrm{\β}}_N\end{array}\right]---\left(5\right)$

按函数求解极值法，求E_cost(W)对W的偏导数，且令其为0，可得到(Φ^TBΦ)W^T=Φ^TBT，解得

$W^T={\left({\mathrm{\Φ}}^T\mathrm{B\Φ}\right)}^{-1}{\mathrm{\Φ}}^T\mathrm{BT}---\left(6\right)$

③差异性RBFNN隐中心和宽度参数的快速、均衡微调

由于RBFNN模型是有关估计参数隐中心C和宽度参数σ的非线性函数，所以拟采用迭代算法对参数微调。为此，设计一种基于代价误差的梯度下降法（cGD, cost-errorGradient Decent）来计算C和σ每次迭代的变化量，代价误差（CE）能修正由于正反类或正类各子概念样本分布不均衡引起的梯度偏差。

这里，采用公式（2）中的M-FOLD-CV-CE误差，以防止 “过学习”，提高网络的泛化能力，M-FOLD-CV-CE是以C和σ为自变量的函数，可表示为如下形式：

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}(C,\mathrm{\σ})=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})}^2---\left(7\right)$

式中 $y_{\mathrm{ij}}^{(-S_m)}=\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{\φ}}_{\mathrm{ik}}^m{w}_{\mathrm{kj}}^{(-S_m)},{\mathrm{\φ}}_{\mathrm{ik}}^m=\exp (-{\left|\right|P_i^m-C_k\left|\right|}^2/{\mathrm{\σ}}_k^2)$ ， 表示排除第m个子集S_m，由剩余M-1个子集学习得到的连接权值。求对C_k(l)表示第k个隐中心的第l维）的偏导可得C的迭代修正量为：

$\begin{array}{c}{\mathrm{\ΔC}}_k\left(l\right)=-\mathrm{\ξ}\frac{\∂E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂C_k\left(l\right)}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{\∂y_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂C}_k\left(l\right)}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{P_i^m\left(l\right)-C_k\left(l\right)}{{\mathrm{\σ}}_k^2}\end{array}---\left(8\right)$

求对σ_k的偏导可得σ的迭代修正量为：

$\begin{array}{c}{\mathrm{\Δ\σ}}_k\left(l\right)=-\mathrm{\ξ}\frac{\∂E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂{\mathrm{\σ}}_k}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{\∂y_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂\mathrm{\σ}}_k}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{{\left|\right|P_i^m-C_k\left|\right|}^2}{{\mathrm{\σ}}_k^3}\end{array}---\left(9\right)$

2）基于多分类器集成的相关性与多样性并行图像检索中的多目标优化

用硬集成（Hard ensemble）或软集成（Soft ensemble）技术来对每个差异性RBFNN的输出结果进行集成。硬集成机可设计为：

$S=\mathrm{rerank}\left(\underset{i}{\∪}\mathrm{Top}(S_i,n_i)\right)---\left(10\right)$

其中S是最终检索结果，S_i是第i个RBFNN对应输出的检索集合，Top(S_i,n_i)表示S_i中排序前n_i个样本，n_i满足，rerank()是重新按图像相关性排序函数。软集成机可设计为，其中o_i是第i个RBFNN分类器的输出值，w_i是该分类器的权重，O是分类器集成输出值，将依据它得到最终的检索结果。

采用多目标粒子群优化算法(MOPSO)学习硬集成机参数n_i或软集成机参数w_i，从而有效发现Pareto最优解集，进而能够向用户推荐不同的检索结果，并构建反馈相关性与多样性并行图像检索系统。在此过程中，优化目标有两个，即相关性和多样性。图像检索相关性评价指标一般有P_K（Precision at K）和R_K（Recall at K）两种，其中P_K=A_K/K, R_K=A_K/A, K是评价检索图像的个数，A_K是在K个检索结果中与概念相关的样本个数，A是整个样本集中与“概念”相关的样本个数。P_K反映的是K个检索结果的精确率，而R_K反映的是K个检索结果的总效能，本项目考虑与多样性指标的一致性，可采用R_K指标。检索多样性的评价指标拟设计为（Sub-recall at K），

$R_K^s=\frac{\left|{\∪}_{i=1}^K\mathrm{subtopic}\left(I_i\right)\right|}{n_s}---\left(11\right)$

公式中n_s是子概念总数；I_i为第i幅检索图像；subtopic()指图像隶属的“子概念”，表示集合的大小。

此外，在多目标优化硬集成机时，参数n_i要满足这个约束，以保证相关性和多样性是在大小为K的检索结果集合上的评价，因此，在优化过程中，个体的适应度评估可考虑增加一个与相关的惩罚项。同样，在多目标优化软集成机时，为满足这个加权归一化约束，也可考虑增加一个与相关的惩罚项。

（2）利用优化后的差异性RBFNN集成分类器模型来对检索图像库中图片进行多样化标注。具体的多样化标注过程如下：

1）输入训练图像样本，并对图像进行预处理，并提取图像颜色、纹理、形状等特征，将特征输入差异性RBFNN集成分类器，根据每个差异性RBFNN输出结果进行集成，根据集成机输出结果对图片进行“概念”相关性和不相关性进行分类，如相关，则进行该“概念”的标注，并根据集成分类器的输出结果标出图片与“概念”的相似度。

2）根据差异性RBFNN集成分类器中每个差异性RBFNN的隐节点的响应输出结果进行集成，根据集成机的最终输出结果对“概念”相关图片进行“子概念”标注。“主要”响应（隐节点输出值最大）为同一隐节点，则属于同一“子概念”，否则，属于不同“子概念”。

（3）根据检索关键词和步骤（2）的标注结果，对图像库进行多样化检索：首先查找所有标注检索关键词的图片，并根据“概念”相似度进行排序；然后，将分属不同“子概念”的图片按照“概念”相似度由高到低的顺序置前。

（4）输出检索结果。

图2 为本发明提出的由多个差异性RBFNN集成的分类器模型设计方案示意图；根据Bagging技术可放回随机采样来形成训练集以训练基分类器，或者根据AdaBoost技术依据前一个分类器的识别结果，识别错误的样本将以较大的概率被选择形成下一轮训练集。本专利中，采用聚类技术对正例（“概念”相关）图像集进行聚类，然后用每个簇中的图像作为各成员分类器的正例训练样本，形成差异性成员分类器的，因为不同“子概念”在空间上是呈聚类簇状分布的。从而形成多个差异性RBFNN。通过利用多个不同的RBFNN分类器分类，再对各分类器输出通过集成算法得到最终分类结果。不同RBFNN分类器之间存在差异性，差异性的RBFNN分类器覆盖不同“子概念”，这种差异性可以使多个分类器形成互补，进而提高分类性能，从而给未知图片标注更多的“概念”和“子概念”标签。

Claims (1)

1.一种基于多RBFNN分类器集成的多样化图像标注和检索方法，其特征在于，包括以下步骤：

(1)设计由多个差异性RBFNN集成的分类器模型

根据不同分类器之间存在差异性，这种差异性能使多个分类器形成互补，进而提高分类性能思想，以及针对目前相关性与多样性并行图像检索这一特殊问题，不同子概念图像在空间上呈聚类簇状分布，结合RBFNN中不同隐中心的感受域能区别覆盖和响应不同的局域子概念特性，选择不同的特征子集来训练和构造多个差异性的RBFNN，并使每个RBFNN覆盖更多的子概念，在此基础上设计出多个差异性RBFNN集成的分类器模型；

根据Bagging技术可放回随机采样来形成训练集以训练基分类器，或者根据AdaBoost技术依据前一个分类器的识别结果，识别错误的样本将以较大的概率被选择形成下一轮训练集；首先利用聚类技术对正例图像集进行聚类，然后用每个簇中的图像作为各成员分类器的正例训练样本，形成差异性成员分类器的，因为不同子概念在空间上是呈聚类簇状分布的，从而形成多个差异性RBFNN；

在应用RBFNN构造成员分类器时，RBFNN的结构参数会影响其对概念和子概念的覆盖能力，同时集成机的参数也会影响最终的检索结果，这两个方面对检索性能的作用往往不是相互独立的，即最优的检索结果往往是由RBFNN的结构和集成机的参数共同作用产生的，因而采用MOPSO算法同时优化这两个维度的参数；在用MOPSO同时优化RBFNN结构和集成机参数时，粒子需要对这几个要素都进行编码，而对于多维度离散性和连续性的差异采用混合编码方案；当采用硬集成机时，连续编码只涉及RBFNN宽度参数的编码，而离散编码则涉及到RBFNN隐中心和集成机参数n_i；对候选隐中心的选择采用二进制编码，其中，长度为候选隐中心的个数，基因值为1表示对应的候选隐中心被选中，否则表示未被选中；集成机参数n_i在一定取值范围内(0≤n_i≤K)也能映射成二进制编码，即对RBFNN隐中心和集成机参数n_i采用统一的编码方式，能达到简化优化算法的目的，然后使用二进制离散PSO运算同时处理RBFNN隐中心和集成机参数n_i的离散优化；而当采用软集成机时，离散编码只涉及到RBFNN隐中心，而连续编码则涉及到RBFNN宽度参数和集成机参数w_i的编码，相应地，对这两部分编码分别采取二进制和连续PSO的运算；针对集成器中每个差异性的RBFNN的优化方法具体如下：

①适应度函数的设计

使用代价误差作为适应度函数的自变量，使正类以及正类中非占优子概念内的样本误差代价增大，而其它样本误差代价减小，代价误差表示为：

$E_{\cos t}=\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\Σ}}{(t_{ij}-y_{ij})}^2---\left(1\right)$

式中β_i是各样本的误差代价，t_ij，y_ij分别表示输入第i个样本时，网络第j个输出接点的期望输出值和实际输出值，N表示样本总数；此外，适应度函数还需体现分类器的泛化性能，即对新样本的分类和检索性能；由于隐接点个数的减少会导致网络对子概念覆盖能力的减弱，所以常用的隐接点个数n_c对RBF网络泛化能力的表达方法在此并不合适；而且，当适应度函数设计为E_cost和n_c的二元函数时，存在着函数形式未知以及E_cost和n_c之间权衡参数难以确定等问题；因此采用较常用的交叉验证(Cross Validation)对网络的泛化能力进行表达，为此，定义一种M交叉验证代价误差为

$E_{\cos t}^{M-FOLD-CV}=\underset{m=1}{\overset{M}{\Σ}}\underset{i=1}{\overset{N_m}{\Σ}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\Σ}}{(t_{ij}^m-y_{ij}^{(-S_m)})}^2---\left(2\right)$

公式中表示排除第m个子集S_m，由剩余M-1个子集学习RBFNN分类器连接权值后输入子集S_m中第i个样本时，网络第j个输出接点的输出值；

综上所述，根据我们的优化目标，设计适应度函数为

$fitness=f\left(E_{\cos t}^{M-FOLD-CV}\right)=-E_{\cos t}^{M-FOLD-CV}---\left(3\right)$

其中，误差代价能根据样本分布情况定义，而且，在实验中，正反类、各子概念误差代价之间的差异大小能调节，则网络结构、检索相关性、检索多样性也随之变化；

②RBF网络连接权值的学习

网络的代价误差是网络连接权值矩阵W的函数，公式(1)表示为以下形式：

$E_{\cos t}\left(W\right)=\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\Σ}}{(t_{ij}-\underset{k=1}{\overset{c}{\Σ}}{\mathrm{\φ}}_{ik}{w}_{kj})}^2=\left|\right|B^{1/2}(T-\mathrm{\Φ}W)|{|}^2---\left(4\right)$

其中t_ij表示输入第i个样本时，网络第j个输出接点的期望输出值，φ_ik表示网络输入第i个样本时第k个隐接点的响应输出，w_kj是网络第k个隐接点到第j个输出接点间的连接权值，T是矩阵(t_ij)，Φ是矩阵(φ_ik)，B是对角阵

$B=\left[\begin{array}{cccc}{\mathrm{\β}}_1& 0& ...& 0\\ 0& {\mathrm{\β}}_2& ...& 0\\ ...& ...& ...& ...\\ 0& ...& 0& {\mathrm{\β}}_N\end{array}\right]---\left(5\right)$

按函数求解极值法，求E_cost(W)对W的偏导数，且令其为0，得到(Φ^TBΦ)W^T＝Φ^TBT，解得

W^T＝(Φ^TBΦ)^-1Φ^TBT (6)

③差异性RBFNN隐中心和宽度参数的快速、均衡微调

由于RBFNN模型是有关估计参数隐中心C和宽度参数σ的非线性函数，所以拟采用迭代算法对参数微调；为此，设计一种基于代价误差的梯度下降法来计算C和σ每次迭代的变化量，代价误差能修正由于正反类或正类各子概念样本分布不均衡引起的梯度偏差；

这里，采用公式(2)中的M交叉验证代价误差，以防止过学习，提高网络的泛化能力，M交叉验证代价误差是以C和σ为自变量的函数，表示为如下形式：

$E_{\cos t}^{M-FOLD-CV}(C,\mathrm{\σ})=\underset{m=1}{\overset{M}{\Σ}}\underset{i=1}{\overset{N_m}{\Σ}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\Σ}}{(t_{ij}^m-y_{ij}^{(-S_m)})}^2---\left(7\right)$

式中 表示排除第m个子集S_m，由剩余M-1个子集学习得到的连接权值；求对C_k(l)的偏导得到C的迭代修正量为：

$\begin{array}{c}{\mathrm{\ΔC}}_k\left(l\right)=-\mathrm{\ξ}\frac{\∂E_{\cos t}^{M-FOLD-CV}}{\∂C_k\left(l\right)}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\Σ}}\underset{i=1}{\overset{N_m}{\Σ}}{\mathrm{\β}}_i^m\frac{\∂E_i^m}{\∂y_{ij}^{(-S_m)}}\frac{\∂y_{ij}^{(-S_m)}}{\∂{\mathrm{\φ}}_{ik}^m}\frac{\∂{\mathrm{\φ}}_{ik}^m}{\∂C_k\left(l\right)}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\Σ}}\underset{i=1}{\overset{N_m}{\Σ}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\Σ}}(t_{ij}^m-y_{ij}^{(-S_m)})w_{kj}^{(-S_m)}{\mathrm{\φ}}_{ik}^m\frac{P_i^m\left(l\right)-C_k\left(l\right)}{{\mathrm{\σ}}_k^2}\end{array}---\left(8\right)$

求对σ_k的偏导得到σ的迭代修正量为：

$\begin{array}{c}{\mathrm{\Δ\σ}}_k=-\mathrm{\ξ}\frac{\∂E_{\cos t}^{M-FOLD-CV}}{\∂{\mathrm{\σ}}_k}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\Σ}}\underset{i=1}{\overset{N_m}{\Σ}}{\mathrm{\β}}_i^m\frac{\∂E_i^m}{\∂y_{ij}^{(-S_m)}}\frac{\∂y_{ij}^{(-S_m)}}{\∂{\mathrm{\φ}}_{ik}^m}\frac{\∂{\mathrm{\φ}}_{ik}^m}{\∂{\mathrm{\σ}}_k}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\Σ}}\underset{i=1}{\overset{N_m}{\Σ}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\Σ}}(t_{ij}^m-y_{ij}^{(-S_m)})w_{kj}^{(-S_m)}{\mathrm{\φ}}_{ik}^m\frac{\left|\right|P_i^m-C_k|{|}^2}{{\mathrm{\σ}}_k^3}\end{array}---\left(9\right)$

其中C_k(l)表示第k个隐中心的第l维；

(2)以相关性和多样性两个目标，基于MOPSO的多RBFNN分类器集成的多维度优化，实现相关性和多样性并行学习；

用硬集成或软集成技术来对每个差异性RBFNN的输出结果进行集成，硬集成机设计为：

$S=rerank\left(\underset{i}{\∪}Top\right(S_i,n_i\left)\right)---\left(10\right)$

其中S是最终检索结果，S_i是第i个RBFNN对应输出的检索集合，Top(S_i,n_i)表示S_i中排序前n_i个样本，n_i满足rerank()是重新按图像相关性排序函数；软集成机设计为其中o_i是第i个RBFNN分类器的输出值，w_i是该分类器的权重，O是分类器集成输出值，将依据它得到最终的检索结果；

采用多目标粒子群优化算法(MOPSO)学习硬集成机参数n_i或软集成机参数w_i，从而有效发现Pareto最优解集，进而能够向用户推荐不同的检索结果，并构建反馈相关性与多样性并行图像检索系统；在此过程中，优化目标有两个，即相关性和多样性；图像检索相关性评价指标一般有P_K(Precision at K)和R_K(Recall at K)两种，其中P_K＝A_K/K,R_K＝A_K/A,K是评价检索图像的个数，A_K是在K个检索结果中与概念相关的样本个数，A是整个样本集中与概念相关的样本个数，P_K反映的是K个检索结果的精确率，而R_K反映的是K个检索结果的总效能，本项目考虑与多样性指标的一致性，采用R_K指标；检索多样性的评价指标拟设计为(Sub-recall at K)，

$R_K^s=\frac{\left|{\∪}_{i=1}^{K}subtopic\left(I_i\right)\right|}{n_s}---\left(11\right)$

公式中n_s是子概念总数；I_i为第i幅检索图像；subtopic()指图像隶属的子概念，表示集合的大小；

此外，在多目标优化硬集成机时，参数n_i要满足这个约束，以保证相关性和多样性是在大小为K的检索结果集合上的评价，因此，在优化过程中，个体的适应度评估增加一个与相关的惩罚项；同样，在多目标优化软集成机时，为满足这个加权归一化约束，增加一个与相关的惩罚项；

(3)根据步骤(1)构建的多分类器集成模型，并进行模型优化后，对检索图像库中图片进行多样化标注，同时给图片标注概念和子概念标签；根据标注结果进行多样化图像检索；

模型优化过程中，由于要训练和优化差异性的多个RBFNN分类器以及分类器集成参数，由于对每个差异性的RBFNN的隐中心位置、数目以及宽度参数进行优化都是基于图像多样性和相关性来进行的，而RBFNN的每个隐中心的感受域能区别不同的局域子概念，单个分类器的检索结果只覆盖了少数几个子概念，则集成多个具有差异性的分类器的检索结果一定会形成互补，从而覆盖更多的子概念；将检索图像库预处理后的数据输入到多个差异性RBFNN集成的模型中，就能实现图像更加准确高效的多样化标注；具体的多样化标注过程如下：

1)根据集成分类器中的每个差异性RBFNN输出的结果的集成最终得到的结果对图片进行概念相关性和不相关性进行分类，如相关，则进行该概念的标注；

2)根据集成分类器中每个差异性的RBFNN的隐节点的响应结果的集成对概念相关图片进行子概念标注，主要响应为同一隐节点，则属于同一子概念，否则，属于不同子概念；

3)根据检索关键词和上述标注结果，对图像库进行多样化检索：首先查找所有标注检索关键词的图片，并根据概念相似度进行排序；然后，将分属不同子概念的图片按照概念相似度由高到低的顺序置前；

(4)输出检索结果。