CN102999615A - 基于径向基函数神经网络的多样化图像标注和检索方法 - Google Patents

Abstract

本发明公开了一种基于RBFNN的多样化图像标注和检索方法，包括：（1）构建和学习RBFNN模型，构建出能覆盖图像“子概念”的RBFNN模型；（2）将检索资料库预处理后的数据输入步骤（1）构建的RBFNN模型中，对图像库中图片进行多样化标注，同时给图像库中图片标注“概念”和“子概念”标签；（3）根据检索关键词和步骤（2）的标注结果，对标注后的图像库进行多样化检索：首先查找所有标注检索关键词的图片，并根据“概念”相似度进行排序；然后，将分属不同“子概念”的图片按照“概念”相似度由高到低的顺序置前；（4）输出检索结果。本发明的优点在于：提高了图像检索精度，同时大大提高了图像检索结果多样性，节约了检索时间，具有较高的鲁棒性和实用性。

Description

基于径向基函数神经网络的多样化图像标注和检索方法

技术领域

本发明涉及多样化图像标注和检索系统，特别涉及一种基于RBFNN（径向基函数神经网络）的多样化图像标注和检索方法。

背景技术

图像检索是随着计算机科学技术的迅速发展而产生和发展起来的一门科学技术，在国防、社会安全、遥感、医学、商业信息等领域都存在着非常重要的应用前景。近年来，随着诸如扫描仪、数码相机、数码摄像机等数字化设备的快速发展和普及使用，以及多媒体技术的提高和Internet的迅速普及，使得图像数据呈现几何级数的增长，于是出现了大容量的图像及海量的视频数据库，面对日益庞大的信息海洋,如何有效地组织、管理和检索大规模的图像数据成为迫切需要解决的问题，如果能够在检索的过程中自动筛选有用信息，尽量可能避免向用户提交雷同或者近似雷同的检索结果，无疑会提高信息检索和浏览的效率，节约大量的时间。图像数据的规模和应用范围都在不断扩张，从而对现有图像检索技术不断提出新的挑战和需求。

多样化图像检索，就是指在图像检索中使新颖的、独特的、非重复冗余的图像在检索结果中排序靠前。多样化图像检索系统的应用领域主要包括：图像电子设备应用、互联网图像搜索、医学图像检索、商业信息检索、遥感信息侦查等等。当前的图像检索技术都着重于提高检索结果的“概念”相关性，并不注重结果的“新颖性”，致使检索的结果产生大量的冗余信息，一个好的搜索引擎应该能自动去除这些冗余信息，理想情况下，用户所“关注”的检索结果中排名靠前的图像列表应该是对“概念”的全面覆盖，也就是说，能够尽可能覆盖检索“概念”的所有“子概念”，这样，当不同应用背景的用户输入相同的检索信息或者输入的检索信息比较模糊时，多样化的检索结果就更能满足他们的潜在需求。

目前，多样化图像检索技术还不是特别成熟，检索准确率比较低，如何设计出一个高效准确的多样化检索系统，是亟需解决的问题。基于内容的多样化图像检索中，由于受人工标记等客观条件的约束，一般训练数据集所提供的图像都具有“概念”标签，但不具有“子概念”标签，因此，机器学习过程是半监督的，即图像相关性的学习是有监督的，而多样性的学习是无监督的，这是多样化图像检索中需要解决的主要问题。目前的图像多样化检索技术主要存在以下的缺点：

（1）目前图像检索系统中的数据普遍表现为非均衡分布的特征，正类（即与检索“概念”相关的）数据往往要远少于反类（即与检索“概念”不相关的）数据，而且“概念”相关数据中各“子概念”的分布往往也是很不均衡的。这种正反类别分布不均衡的现象将使正类的学习被弱化，从而导致与“概念”相关的样本的识别率降低，检索结果的相关性降低；使非占优“子概念”的学习被弱化，以致检索结果中相应“子概念”样本缺失，从而对检索多样性产生很大影响。

（2）目前的多样化检索技术一般都是独立于相关性预检索的“后序”处理方法，即相关性预检索完成后，再利用某个无监督学习算法对预检索结果进行重新排序，以达到提高多样性的目的，额外“后序”学习耗费将增加用户在线等待的时间。

本发明将针对上述问题提出解决方案，实现图像相关性和多样性标注和检索的并行性，同时也解决检索中非均衡数据分布问题，进而使得图像检索精度提高。

发明内容

本发明所要解决的技术问题在于针对现有多样化图像检索技术的不足，提出一种基于RBFNN的多样化图像标注和检索方法。该方法将RBFNN网络模型，应用到相关性与多样性并行图像标注和检索中，不同隐中心的感受域能区别覆盖和响应不同的局域“子概念”。该方法不仅解决了传统相关性和多样性不能并行学习的问题，而且解决了非均衡数据学习问题，使得图像多样化标注和检索的精度和效率得到提高。

本发明是采用以下技术手段解决上述技术问题的：一种基于径向基函数神经网络（RBFNN）的多样化图像标注和检索方法，包括以下步骤：

（1）构建和学习RBFNN模型，构建出能够覆盖图像“子概念”的RBFNN模型；

（2）根据步骤（1）构建的RBFNN模型，将检索资料库预处理后的数据输入到RBFNN模型中，对图像库中图片进行多样化标注，同时给图像库中图片标注“概念”和“子概念”标签；

（3）根据检索关键词和步骤（2）的标注结果，对标注后的图像库进行多样化检索：首先查找所有标注检索关键词的图片，并根据“概念”相似度进行排序；然后，将分属不同“子概念”的图片按照“概念”相似度由高到低的顺序置前；

（4）输出检索结果。

进一步的，所述步骤（1）具体包括：首先输入训练图像样本，并对图像进行预处理，并提取特征，然后基于这些训练图像样本，采用如下步骤学习RBFNN模型：

1）基于检索相关性和多样性目标的RBF网络结构优化：

首先对训练图像样本聚类，得到N_c个聚类中心作为RBFNN初始化的候选隐中心，结合粒子群优化PSO算法来对RBF网络结构中的随机选取的隐中心位置、数目以及宽度参数进行并行优化，采用离散和连续混合编码形式，其中离散部分是对隐中心位置和数目的二进制编码，长度为候选隐中心的个数，基因值为“1”表示对应的候选隐中心被选中，否则表示未被选中；而连续部分是对宽度参数的编码。

进一步的，所述基于检索相关性和多样性目标的RBF网络结构优化的具体步骤如下：

①适应度函数的设计

使用代价学习误差CE作为适应度函数的自变量，使正类以及正类中“非占优”“子概念”内的样本误差代价增大，而其它样本误差代价减小，CE表示为：

$E_{\cos t}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-y_{\mathrm{ij}})}^2---\left(1\right)$

式中β_i是各样本的误差代价，t_ij，y_ij分别表示输入第i个样本时，网络第j个输出接点的期望输出值和实际输出值，N表示样本总数，此外，采用 “M交叉认证” M-FOLD-CV对网络的泛化能力进行表达，并定义一种“M交叉认证”代价误差为

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_n)})}^2---\left(2\right)$

公式中

表示排除第m个子集S_m，由剩余M-1个子集学习RBFNN分类器连接权值后输入子集S_m中第i个样本时，网络第j个输出接点的输出值，

综上，根据优化目标，设计适应度函数为

$\mathrm{fitness}=f\left(E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}\right)=-E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}---\left(3\right)$

其中，各样本的误差代价β_i根据样本分布情况定义；

②RBF网络连接权值的学习

网络的代价误差是网络连接权值矩阵W的函数，公式（1）可表示为以下形式：

$E_{\cos t}\left(W\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{\φ}}_{\mathrm{ik}}{w}_{\mathrm{kj}})}^2={\left|\right|B^{1/2}(T-\mathrm{\ΦW})\left|\right|}^2---\left(4\right)$

其中t_ij表示输入第i个样本时，网络第j个输出接点的期望输出值，φ_ik表示网络输入第i个样本时第k个隐接点的响应输出，w_kj是网络第k个隐接点到第j个输出接点间的连接权值，T是矩阵(t_ij)， Φ是矩阵(φ_ik)，B是对角阵

$B=\left[\begin{array}{cccc}{\mathrm{\β}}_1& 0& ...& 0\\ 0& {\mathrm{\β}}_2& ...& 0\\ ...& ...& ...& ...\\ 0& ...& 0& {\mathrm{\β}}_N\end{array}\right]---\left(5\right)$

按函数求解极值法，求E_cost(W)对W的偏导数，且令其为0，可得到(Φ^TBΦ)W^T=Φ^TBT，解得

$W^T={\left({\mathrm{\Φ}}^T\mathrm{B\Φ}\right)}^{-1}{\mathrm{\Φ}}^T\mathrm{BT}---\left(6\right)$

作为优化的方案，学习RBFNN模型的步骤还包括步骤1）之后的步骤2）：RBFNN隐中心C和宽度参数σ的快速、均衡微调，具体包括：

设计一种基于代价误差的梯度下降法来计算C和σ每次迭代的变化量，代价误差CE能修正由于正反类或正类各子概念样本分布不均衡引起的梯度偏差，采用公式（2）中的M-FOLD-CV-CE误差，表示为如下形式：

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}(C,\mathrm{\σ})=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})}^2---\left(7\right)$

式中

， 

表示排除第m个子集S_m，由剩余M-1个子集学习得到的连接权值，求

对C_k(l)的偏导得C的迭代修正量为：

$\begin{array}{c}{\mathrm{\ΔC}}_k\left(l\right)=-\mathrm{\ξ}\frac{{\∂E}_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂C_k\left(l\right)}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{{\∂y}_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂C}_k\left(l\right)}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{P_i^m\left(l\right)-C_k\left(l\right)}{{\mathrm{\σ}}_k^2}\end{array}---\left(8\right)$

求对σ_k的偏导得σ的迭代修正量为：

$\begin{array}{c}{\mathrm{\Δ\σ}}_k=-\mathrm{\ξ}\frac{{\∂E}_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂{\mathrm{\σ}}_k}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{{\∂y}_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂\mathrm{\σ}}_k}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{{\left|\right|P_m^i-C_k\left|\right|}^2}{{\mathrm{\σ}}_k^3}\end{array}---\left(9\right).$

作为优化的方案，学习RBFNN模型的步骤还包括步骤2）之后的步骤3）：误差代价β_i的计算与优化，具体包括：

网络的学习误差E由E_p和E_n两部分组成，其中E_p，E_n分别表示正类样本和反类样本误差，代价误差的设计是基于使正类及正类中“非占优”“子概念”误差代价增大，反之误差代价减小的思想，代价误差函数定义为：

$E_{\cos t}=\underset{k=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_{p,k}{E}_{p,k}+{\mathrm{\α}}_n{E}_n---\left(10\right)$

式中α_p,k，α_n可分别定义为α_p,k=N/N_p,k,α_n=N/N_n或者

，

，N_p,k表示正类样本第k个聚类簇中的样本数，N_n表示反类样本数，p表示正类样本的聚类数，E_p,k表示正类样本第k个聚类簇的误差，

，

分别表示梯度分量，

表示具有最大模的梯度分量，由公式（10）定义各学习样本的代价为：

对误差代价采用如下迭代策略：

${\mathrm{\β}}_i(t+1)={\mathrm{\β}}_i\left(t\right)+\mathrm{\γ}(\stackrel{\‾}{\mathrm{\β}}\left(t\right)-{\mathrm{\β}}_i\left(t\right))---\left(12\right)$

其中

，γ是控制速率。

作为更进一步优化的方案，所述步骤（2）中对图像库中图片进行多样化标注的具体过程如下：

1）输入图像库，并对图像库中图像进行预处理，并提取特征，将特征输入RBFNN，根据RBFNN的输出结果对图片进行“概念”相关性和不相关性进行分类，如相关，则进行该“概念”的标注，并根据输出RBFNN结果标出图片与“概念”的相似度；

2）根据RBFNN的隐节点的响应对“概念”相关图片进行“子概念”标注，“主要”响应即隐节点输出值最大的为同一隐节点，则属于同一“子概念”，否则，属于不同“子概念”。

与已有技术相比，本发明有益效果体现在：

1、本发明从分类器模型层面研究实现图像检索中的相关性与多样性的并行学习，与传统的分步学习算法（先学习相关性，再学习多样性）相比较，更具科学性与先进性。同时，由于多样化学习是离线学习的过程，从而减少了图像检索用户在线等待的时间。

2、本发明通过分析图像检索中各“概念”、“子概念”数据的极度不均衡分布这个基本特征，以及其对检索相关性、多样性的影响的基础上，研究相应的RBF网络结构和参数的混合学习算法；提出一种基于M-FOLD-CV -CE误差的PSO全局优化和梯度算法局部调节相结合的RBF神经网络结构和参数学习算法，实现对正反类和各“子概念”的快速、均衡学习,解决了传统图像检索中“概念”、“子概念”数据的极度不均衡分布问题。从而大大提高了图像检索结果的相关性和多样性。

3、本发明通过提出用RBFNN的不同隐中心来覆盖各“子概念”模型，从RBF神经网络结构本身入手解决多“子概念”并行检索的问题，大大提高了图像检索的速度，提高了图像检索结果的多样性。

4、本发明可以扩展应用到文本、网页、视频等信息多样化检索领域，有着重要的应用价值。而且，基于RBF网络的非均衡模式分类的研究成果，也可应用到诸如临床医学检验、网络攻击分类报警、文本分类和产品质量检测等很多涉及非均衡数据分布的模式分类领域。

附图说明

图 1为本发明提出的多样化图像标注和检索总体示意图。

图 2为本发明提出的RBFNN隐中心（“*”表示）感受域覆盖“子概念”示意图。

图 3为本发明提出的能够覆盖图像“子概念”的RBFNN新模型。

具体实施方式

图1是本发明提出的多样化图像标注和检索总体示意图，参照图1，本发明中基于RBFNN(径向基函数神经网络)的多样化图像标注和检索方法具体包括如下步骤：

（1）构建和学习RBFNN模型。

针对相关性与多样性并行图像检索这一特殊问题，不同“子概念”图像在空间上呈聚类簇状分布，结合RBFNN中不同的隐节点能够区别和覆盖不同的局部分布区域的思想，将RBFNN应用到相关性与多样性并行图像检索中，从而，不同隐中心的感受域能区别覆盖和响应不同的局域“子概念”，具有很好的“子概念”解释性。进而构建出能够覆盖图像“子概念”的RBFNN模型。

首先输入训练图像样本，并对图像进行预处理，并提取图像颜色、纹理、形状等特征，然后基于这些训练样本，采用如下步骤学习RBFNN模型：

1）基于检索相关性和多样性目标的RBF网络结构优化

首先对训练图像样本聚类，得到N_c个聚类中心作为RBFNN初始化的候选隐中心。结合粒子群优化（PSO）算法来对RBF网络结构中的随机选取的隐中心位置、数目以及宽度参数进行并行优化。采用离散和连续混合编码形式，其中离散部分是对隐中心位置和数目的二进制编码，长度为候选隐中心的个数，基因值为“1”表示对应的候选隐中心被选中，否则表示未被选中；而连续部分是对宽度参数的编码。具体如下：

①适应度函数的设计

检索相关性由RBFNN的分类性能决定，而在一般情况下，训练样本的学习误差越小可能对应分类器更好的分类性能，而为了保证学习的均衡性，提高检索相关性和多样性，本发明中使用代价学习误差（CE, cost-error）作为适应度函数的自变量，使正类以及正类中“非占优”“子概念”内的样本误差代价增大，而其它样本误差代价减小。CE可表示为：

$E_{\cos t}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-y_{\mathrm{ij}})}^2---\left(1\right)$

式中β_i是各样本的误差代价，t_ij，y_ij分别表示输入第i个样本时，网络第j个输出接点的期望输出值和实际输出值，N表示样本总数。此外，适应度函数还需体现分类器的泛化性能，即对新样本的分类和检索性能。由于隐接点个数的减少会导致网络对“子概念”覆盖能力的减弱，所以常用的隐接点个数n_c对RBF网络泛化能力的表达方法在此并不合适；而且，当适应度函数设计为E_cost和n_c的二元函数时，存在着函数形式未知以及E_cost和n_c之间权衡参数难以确定等问题。因此，本发明采用较常用的“M交叉认证”（M-fold Cross Validation, M-FOLD-CV）对网络的泛化能力进行表达，为此，我们定义一种“M交叉认证”代价误差（M-FOLD-CV -CE）为

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_n)})}^2---\left(2\right)$

公式中

表示排除第m个子集S_m，由剩余M-1个子集学习RBFNN分类器连接权值后输入子集S_m中第i个样本时，网络第j个输出接点的输出值。

综上所述，根据我们的优化目标，可设计适应度函数为

$\mathrm{fitness}=f\left(E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}\right)=-E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}---\left(3\right)$

其中，误差代价可以根据样本分布情况定义，而且，在实验中，正反类、各“子概念”误差代价之间的差异大小可以调节，则网络结构、检索相关性、检索多样性也随之变化，据此可以分析三者之间的关系，以利针对不同用户检索需求，设计不同结构的分类器。

②RBF网络连接权值的学习

网络的代价误差是网络连接权值矩阵W的函数，公式（1）可表示为以下形式：

$E_{\cos t}\left(W\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{\φ}}_{\mathrm{ik}}{w}_{\mathrm{kj}})}^2={\left|\right|B^{1/2}(T-\mathrm{\ΦW})\left|\right|}^2---\left(4\right)$

其中t_ij表示输入第i个样本时，网络第j个输出接点的期望输出值，φ_ik表示网络输入第i个样本时第k个隐接点的响应输出，w_kj是网络第k个隐接点到第j个输出接点间的连接权值，T是矩阵(t_ij)，Φ是矩阵(φ_ik)，B是对角阵

$B=\left[\begin{array}{cccc}{\mathrm{\β}}_1& 0& ...& 0\\ 0& {\mathrm{\β}}_2& ...& 0\\ ...& ...& ...& ...\\ 0& ...& 0& {\mathrm{\β}}_N\end{array}\right]---\left(5\right)$

按函数求解极值法，求E_cost(W)对W的偏导数，且令其为0，可得到(Φ^TBΦ)W^T=Φ^TBT，解得

$W^T={\left({\mathrm{\Φ}}^T\mathrm{B\Φ}\right)}^{-1}{\mathrm{\Φ}}^T\mathrm{BT}---\left(6\right)$

2）RBFNN隐中心和宽度参数的快速、均衡微调

由于RBFNN模型是有关估计参数隐中心C和宽度参数σ的非线性函数，所以拟采用迭代算法对参数微调。为此，设计一种基于代价误差的梯度下降法（cGD, cost-error Gradient Decent）来计算C和σ每次迭代的变化量，代价误差（CE）能修正由于正反类或正类各子概念样本分布不均衡引起的梯度偏差。

这里，采用公式（2）中的M-FOLD-CV-CE误差，以防止 “过学习”，提高网络的泛化能力，M-FOLD-CV-CE是以C和σ为自变量的函数，可表示为如下形式：

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}(C,\mathrm{\σ})=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})}^2---\left(7\right)$

式中

， 

表示排除第m个子集S_m，由剩余M-1个子集学习得到的连接权值。求

对C_k(l)（C_k(l)表示第k个隐中心的第l维）的偏导可得C的迭代修正量为：

$\begin{array}{c}{\mathrm{\ΔC}}_k\left(l\right)=-\mathrm{\ξ}\frac{{\∂E}_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂C_k\left(l\right)}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{{\∂y}_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂C}_k\left(l\right)}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{P_i^m\left(l\right)-C_k\left(l\right)}{{\mathrm{\σ}}_k^2}\end{array}---\left(8\right)$

求对σ_k的偏导可得σ的迭代修正量为：

$\begin{array}{c}{\mathrm{\Δ\σ}}_k=-\mathrm{\ξ}\frac{{\∂E}_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂{\mathrm{\σ}}_k}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{{\∂y}_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂\mathrm{\σ}}_k}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{{\left|\right|P_m^i-C_k\left|\right|}^2}{{\mathrm{\σ}}_k^3}\end{array}---\left(9\right).$

3）误差代价β_i的计算与优化

网络的学习误差E由E_p和E_n两部分组成，其中E_p，E_n分别表示正类样本和反类样本误差，由于样本分布的不均衡性，导致正类不能得到有效学习，从而TP（True Positive, 实际为正类，预测为正类的样本数）降低；同样，某些样本“稀少”的“子概念”的学习被弱化，也会导致检索结果中这些“子概念”的缺失，从而检索的多样性降低。代价误差的设计是基于使正类及正类中“非占优”“子概念”误差代价增大，反之误差代价减小的思想，因此，代价误差函数可定义为：

$E_{\cos t}=\underset{k=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_{p,k}{E}_{p,k}+{\mathrm{\α}}_n{E}_n---\left(10\right)$

式中α_p,k，α_n可分别定义为α_p,k=N/N_p,k,α_n=N/N_n或者

，

，N_p,k表示正类样本第k个聚类簇中的样本数，N_n表示反类样本数，p表示正类样本的聚类数，E_p,k表示正类样本第k个聚类簇的误差，

，分别表示梯度分量，

表示具有最大模的梯度分量。由公式（10）可定义各学习样本的代价为：

由于由代价误差学习得到的网络的输出，不能准确表示样本类别的后验概率估计。因此，对误差代价可逐步采用如下迭代策略：

${\mathrm{\β}}_i(t+1)={\mathrm{\β}}_i\left(t\right)+\mathrm{\γ}(\stackrel{\‾}{\mathrm{\β}}\left(t\right)-{\mathrm{\β}}_i\left(t\right))---\left(12\right)$

其中

，γ是控制速率。根据迭代策略，各样本点对应的β_i在迭代后期能够收敛到

，因此，此策略能解决网络输出后验概率估计的问题，而且，此代价误差的优化策略也能调整AUC指标中的FP（False Positive, 实际为反类，预测为正类的样本数）增大的问题。

（2）利用优化后的RBFNN模型来对图像库中图片进行多样化标注。具体的多样化标注过程如下：

1）输入图像库，并对图像库中图像进行预处理，并提取图像颜色、纹理、形状等特征，将特征输入RBFNN，根据RBFNN的输出结果对图片进行“概念”相关性和不相关性进行分类，如相关，则进行该“概念”的标注，并根据输出RBFNN结果标出图片与“概念”的相似度。

2）根据RBFNN的隐节点的响应对“概念”相关图片进行“子概念”标注。“主要”响应（隐节点输出值最大）为同一隐节点，则属于同一“子概念”，否则，属于不同“子概念”。

（3）根据检索关键词和步骤（2）的标注结果，对标注后的图像库进行多样化检索：首先查找所有标注检索关键词的图片，并根据“概念”相似度进行排序；然后，将分属不同“子概念”的图片按照“概念”相似度由高到低的顺序置前。

（4）输出检索结果。

图2为本发明提出的RBFNN隐中心（“*”表示）感受域覆盖“子概念”示意图；该图说明了针对相关性与多样性并行图像检索这一特殊问题，检索中的结果由“概念”相关数据和“概念”不相关数据组成，“概念”相关数据中的“子概念”的分布往往也是很不均衡，不同组成“子概念”图像在空间上呈聚类簇状分布，结合RBFNN中不同的隐节点能够区别和覆盖不同的局部分布区域的思想，将RBFNN应用到相关性与多样性并行图像检索中，从而，不同隐中心的感受域能区别覆盖和响应不同的局域“子概念”，具有很好的“子概念”解释性。

图3为本发明提出能够覆盖图像“子概念”的RBFNN新模型，该图说明了新型RBFNN模型的组成要素，并且描述了数据的流向。RBFNN新模型主要有由输入层，隐层为图像“子概念”，和输出层三层组成。该图根据不同隐中心的感受域能区别覆盖和响应不同的局域“子概念”思想设计出来的。输入层是接受图像样本进行预处理后的数据。隐层为图像“子概念”的隐节点响应对“概念”相关图片进行“子概念”标注。输出层接受根据网络上的权值将隐节点标注后的结果组合输出。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (6)

1.一种基于径向基函数神经网络的多样化图像标注和检索方法，其特征在于：包括以下步骤：

（1）构建和学习RBFNN模型，构建出能够覆盖图像“子概念”的RBFNN模型；

（2）根据步骤（1）构建的RBFNN模型，将检索资料库预处理后的数据输入到RBFNN模型中，对图像库中图片进行多样化标注，同时给图像库中图片标注“概念”和“子概念”标签；

（3）根据检索关键词和步骤（2）的标注结果，对标注后的图像库进行多样化检索：首先查找所有标注检索关键词的图片，并根据“概念”相似度进行排序；然后，将分属不同“子概念”的图片按照“概念”相似度由高到低的顺序置前；

（4）输出检索结果。

2.如权利要求1所述的基于径向基函数神经网络的多样化图像标注和检索方法，其特征在于：所述步骤（1）具体包括：首先输入训练图像样本，并对图像进行预处理，并提取特征，然后基于这些训练图像样本，采用如下步骤学习RBFNN模型：

1）基于检索相关性和多样性目标的RBF网络结构优化：

首先对训练图像样本聚类，得到N_c个聚类中心作为RBFNN初始化的候选隐中心，结合粒子群优化PSO算法来对RBF网络结构中的随机选取的隐中心位置、数目以及宽度参数进行并行优化，采用离散和连续混合编码形式，其中离散部分是对隐中心位置和数目的二进制编码，长度为候选隐中心的个数，基因值为“1”表示对应的候选隐中心被选中，否则表示未被选中；而连续部分是对宽度参数的编码。

3.如权利要求2所述的基于径向基函数神经网络的多样化图像标注和检索方法，其特征在于：所述基于检索相关性和多样性目标的RBF网络结构优化的具体步骤如下：

①适应度函数的设计

使用代价学习误差CE作为适应度函数的自变量，使正类以及正类中“非占优”“子概念”内的样本误差代价增大，而其它样本误差代价减小，CE表示为：

$E_{\cos t}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-y_{\mathrm{ij}})}^2---\left(1\right)$

式中β_i是各样本的误差代价，t_ij，y_ij分别表示输入第i个样本时，网络第j个输出接点的期望输出值和实际输出值，N表示样本总数，此外，采用 “M交叉认证” M-FOLD-CV对网络的泛化能力进行表达，并定义一种“M交叉认证”代价误差为

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_n)})}^2---\left(2\right)$

公式中

表示排除第m个子集S_m，由剩余M-1个子集学习RBFNN分类器连接权值后输入子集S_m中第i个样本时，网络第j个输出接点的输出值，

综上，根据优化目标，设计适应度函数为

$\mathrm{fitness}=f\left(E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}\right)=-E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}---\left(3\right)$

其中，各样本的误差代价β_i根据样本分布情况定义；

②RBF网络连接权值的学习

网络的代价误差是网络连接权值矩阵W的函数，公式（1）可表示为以下形式：

$E_{\cos t}\left(W\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}-\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{\φ}}_{\mathrm{ik}}{w}_{\mathrm{kj}})}^2={\left|\right|B^{1/2}(T-\mathrm{\ΦW})\left|\right|}^2---\left(4\right)$

其中t_ij表示输入第i个样本时，网络第j个输出接点的期望输出值，φ_ik表示网络输入第i个样本时第k个隐接点的响应输出，w_kj是网络第k个隐接点到第j个输出接点间的连接权值，T是矩阵(t_ij)， Φ是矩阵(φ_ik)，B是对角阵

$B=\left[\begin{array}{cccc}{\mathrm{\β}}_1& 0& ...& 0\\ 0& {\mathrm{\β}}_2& ...& 0\\ ...& ...& ...& ...\\ 0& ...& 0& {\mathrm{\β}}_N\end{array}\right]---\left(5\right)$

按函数求解极值法，求E_cost(W)对W的偏导数，且令其为0，可得到(Φ^TBΦ)W^T=Φ^TBT，解得

$W^T={\left({\mathrm{\Φ}}^T\mathrm{B\Φ}\right)}^{-1}{\mathrm{\Φ}}^T\mathrm{BT}---\left(6\right)$

4.如权利要求3所述的基于径向基函数神经网络的多样化图像标注和检索方法，其特征在于：学习RBFNN模型的步骤还包括步骤1）之后的步骤2）：RBFNN隐中心C和宽度参数σ的快速、均衡微调，具体包括：

设计一种基于代价误差的梯度下降法来计算C和σ每次迭代的变化量，代价误差CE能修正由于正反类或正类各子概念样本分布不均衡引起的梯度偏差，采用公式（2）中的M-FOLD-CV-CE误差，表示为如下形式：

$E_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}(C,\mathrm{\σ})=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})}^2---\left(7\right)$

式中

， 

表示排除第m个子集S_m，由剩余M-1个子集学习得到的连接权值，求

对C_k(l)的偏导得C的迭代修正量为：

$\begin{array}{c}{\mathrm{\ΔC}}_k\left(l\right)=-\mathrm{\ξ}\frac{{\∂E}_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂C_k\left(l\right)}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{{\∂y}_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂C}_k\left(l\right)}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{P_i^m\left(l\right)-C_k\left(l\right)}{{\mathrm{\σ}}_k^2}\end{array}---\left(8\right)$

求对σ_k的偏导得σ的迭代修正量为：

$\begin{array}{c}{\mathrm{\Δ\σ}}_k=-\mathrm{\ξ}\frac{{\∂E}_{\cos t}^{M-\mathrm{FOLD}-\mathrm{CV}}}{\∂{\mathrm{\σ}}_k}=-\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\frac{{\∂E}_i^m}{{\∂y}_{\mathrm{ij}}^{(-S_m)}}\frac{\∂y_{\mathrm{ij}}^{(-S_m)}}{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}\frac{{\∂\mathrm{\φ}}_{\mathrm{ik}}^m}{{\∂\mathrm{\σ}}_k}\\ =2\mathrm{\ξ}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_m}{\mathrm{\Σ}}}{\mathrm{\β}}_i^m\underset{j=1}{\overset{s}{\mathrm{\Σ}}}(t_{\mathrm{ij}}^m-y_{\mathrm{ij}}^{(-S_m)})w_{\mathrm{kj}}^{(-S_m)}{\mathrm{\φ}}_{\mathrm{ik}}^m\frac{{\left|\right|P_m^i-C_k\left|\right|}^2}{{\mathrm{\σ}}_k^3}\end{array}---\left(9\right)$

5.如权利要求4所述的基于径向基函数神经网络的多样化图像标注和检索方法，其特征在于：学习RBFNN模型的步骤还包括步骤2）之后的步骤3）：误差代价β_i的计算与优化，具体包括：

网络的学习误差E由E_p和E_n两部分组成，其中E_p，E_n分别表示正类样本和反类样本误差，代价误差的设计是基于使正类及正类中“非占优”“子概念”误差代价增大，反之误差代价减小的思想，代价误差函数定义为：

$E_{\cos t}=\underset{k=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_{p,k}{E}_{p,k}+{\mathrm{\α}}_n{E}_n---\left(10\right)$

式中α_p,k，α_n可分别定义为α_p,k=N/N_p,k,α_n=N/N_n或者，

，N_p,k表示正类样本第k个聚类簇中的样本数，N_n表示反类样本数，p表示正类样本的聚类数，E_p,k表示正类样本第k个聚类簇的误差，

，分别表示梯度分量，

表示具有最大模的梯度分量，由公式（10）定义各学习样本的代价为：

对误差代价采用如下迭代策略：

${\mathrm{\β}}_i(t+1)={\mathrm{\β}}_i\left(t\right)+\mathrm{\γ}(\stackrel{\‾}{\mathrm{\β}}\left(t\right)-{\mathrm{\β}}_i\left(t\right))---\left(12\right)$

其中，γ是控制速率。

6.如权利要求1至5任一项所述的基于径向基函数神经网络的多样化图像标注和检索方法，其特征在于：所述步骤（2）中对图像库中图片进行多样化标注的具体过程如下：

1）输入图像库，并对图像库中图像进行预处理，并提取特征，将特征输入RBFNN，根据RBFNN的输出结果对图片进行“概念”相关性和不相关性进行分类，如相关，则进行该“概念”的标注，并根据输出RBFNN结果标出图片与“概念”的相似度；

2）根据RBFNN的隐节点的响应对“概念”相关图片进行“子概念”标注，“主要”响应即隐节点输出值最大的为同一隐节点，则属于同一“子概念”，否则，属于不同“子概念”。

Images