CN102508909B - 一种基于多智能算法及图像融合技术的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于多智能算法及图像融合技术的图像检索方法，该方法以强化学习、遗传算法和聚类算法为基础，构建一个主动学习的智能学习框架，在相关反馈过程中利用图像融合技术和遗传算法，修正查询向量和相似度匹配模型，提高了查询精度和查询效率。本发明的优点是查询精度和查询效率较高，对于平移、旋转和尺度变换具有较强的鲁棒性，同时在一定次数的查询学习之后，可以实现智能检索，更进一步提高查询精度和查询效率。

Description

一种基于多智能算法及图像融合技术的图像检索方法

技术领域

本发明涉及一种基于内容的图像检索方法，尤其涉及一种基于智能算法的主动学习图像检索方法。 

背景技术

近十多年来，随着数字技术的迅速发展和普及，多媒体数据(图像和视频等)已经成为文本数据之外最重要的数据组织形式。如何对大量多媒体数据进行有效的组织、管理，并从中检索出用户需要的信息已成为当前最重要的研究课题。图像数据是最基本、最常用的多媒体形式，同时对图像检索的研究也是对其它多媒体形式进行研究的基础，因此该方面的研究已成为目前信息检索方面的热点。 

传统的图像检索方式是利用人工对图像进行文字标注，然后利用基于关键字的检索技术对图像进行检索。然而人工标注最大缺点就是耗时，工作量大，同时对图像的标注很大程度上取决于标注人的主观判断，不利于客观描述。基于内容的图像检索(Content-Based-Image-Retrieval，CBIR)技术通过对图像从底层到高层的自动处理和分析来描述其内容，并根据内容进行检索。 

基于内容的图像检索系统给出的初始检索结果往往不能很好地满足用户的信息需求，这主要归因于如下几点：首先，由于当前图像理解技术的局限，建立从图像的低层特征到高层语义的映射还很困难；其次，由于用户界面的限制以及对图像库的不熟悉，用户很难给出能准确反映其信息需求的查询；另外，由于人类视觉感知的主观性，对于同一幅图像不同的人或同一个人在不同的时间可能有不同的认知，因此借助于离线(off-line)的学习不能适应这些不同的要求。为了克服上述困难，20世纪90年代中期，在文本检索领域提出的相关反馈(Relevance Feedback，RF)技术被引入到基于内容的图像检索领域。相关反馈技术通过把人的参与引入到信息检索过程中，从而把检索模式从一次进行(one-shot-search)变成交互式的多次进行，并成为提高检索性能的有效方法。在相关反馈的交互过程中，只要求用户根据他的 信息需求对系统当前的检索结果给出是否相关(relevant)或者相关程度如何地判断，然后系统根据用户的反馈进行学习来给出更好的检索结果。然而，如何在最少的人为干预下，得到尽量好的检索效果是当前重点关注的问题。 

为了全面的描述一幅图像，往往从多个角度进行描述，比如颜色、纹理、形状等特征。在图像检索的过程，通常要综合考虑其中两种或者多种特征，以获得较好的检索效果。那么，如何有效地组织这些特征，使得到的特征向量能够更加符合用户的需要，以得到比较好的检索结果是图像检索领域需要解决的主要问题之一。特别在相关反馈过程中，根据用户不同的需求，应该对特征组合进行修改，使得检索模型更加符合用户的需求，在较少的反馈操作后得到用户满意的结果。 

目前存在的基于内容的图像检索技术基本都是基于无信息保留，然而，对于固定的用户来说，可以通过分析以往的查询操作及查询领域，对查询信息进行适当保留，构建一个主动学习的智能框架，以达到智能检索的目的。 

发明内容

本发明的发明目的是提供一种基于多智能算法和图像融合技术的图像检索方法，以反馈技术为基础，通过聚类、遗传算法和强化学习来构建一个主动学习的智能框架。 

为达到上述发明目的，本发明采用的技术方案是：一种基于多智能算法及图像融合技术的图像检索方法，提供一用于检索的图像数据库和一聚类信息库，所述聚类信息库用于动态存放具有相似特征的一类图像的特征信息；检索方法包括以下步骤： 

(1)输入查询图像，并提取特征，获得原始查询向量Q＝(D，F，R)，其中D表示一幅原始图像；F＝{f_i}表示一组特征集合，其中f_i表示第i个特征；R＝{r_ij}表示特征f_i的j个具体表示形式； 

(2)在聚类信息库中查找查询图像的特征信息，如果不存在转入步骤(3)，如果存在转入步骤(4)； 

(3)根据遗传算法，获取特征组合参数，并利用强化学习算法，做信息采集存储，转入步骤(5)； 

(4)利用强化学习机制得到的信息，获取最优搜索组合，转入步骤(5)； 

(5)在图像数据库中进行检索，返回检索结果，如果用户对结果满意，则检索结束；如果用户对结果不满意则转入步骤(6)； 

(6)用户选择检索结果中符合用户需要的图像，结合用户的选择，利用图像融合技术，修正查询向量，转入步骤(3)。 

上文中，所述步骤(3)中，利用的是遗传算法的框架，与选择哪种具体遗传算法无关。主要利用基于查询表的强化学习框架，利用查询表去记录每类图像的特征权重组合，因此，其中的信息采集存储就是指对图像的类别及权重进行存储。聚类信息库描述的是每幅图像所属的类别，在利用强化学习所得到的查询表中包含了类别及类别所对应的权重组合，步骤(4)中的“最优搜索组合”就是指根据当前图像的所属的类别，取得该类别所对应的权重组合。 

上述技术方案中，所述特征集合由图像的颜色特征、纹理特征和形状特征构成，所述颜色特征由颜色矩表示，所述纹理特征由灰度共生矩阵表示，所述形状特征由图像矩阵信息熵表示。 

当采用图像的上述三种特征构成特征集合时，i＝3，i表示特征的数量；j＝3，j为每个特征下具体用来表示特征的子特征的维数。如用颜色矩表示颜色特征，这里颜色矩由一阶矩、二阶矩和三阶矩表示，因此这里的j也是等于3。 

上述技术方案中，步骤(5)中，检索的方法是，利用相似度模型计算，得出图像之间的距离，按照检索出的图像与当前被检索图像的距离从小到大排序，检索结果是排序靠前的图像。即，检索出与当前检索图形距离较小的图像。 

进一步的技术方案，步骤(5)中，检索结束时，利用ε-greedy算法选择是否需要进行归并，如需要，则将图像信息归并或更新到聚类信息库，聚类操作利用基于遗传算法的K-Means算法实现。 

步骤(6)中，所述修正查询向量的方法是，利用基于Haar小波变换的图像融合算法修正查询向量。 

为降低整个操作的负荷，又能保证聚类信息库数据的及时更新，可以设定更新频率，对图像数据库进行聚类操作，对聚类信息库进行更新。该操作 可以由框架自动调用，但通常不能与检索操作并行执行。 

由于上述技术方案运用，本发明与现有技术相比具有下列优点： 

本发明所提出的一种基于多智能算法及图像融合技术的图像检索方法主要涉及遗传算法、聚类算法、强化学习、相关反馈技术以及图像融合技术，由此具有下列优点： 

1.遗传算法主要用于调整特征权重，构建一个更加符合用户需求的相似度函数，与现有的一些人工调整权重的图像检索方法相比，利用遗传算法得到的权重组合更加符合用户的实际需求，人工调整必然具有一定的主观性和随意性，在特征权重的基础之上，构建更加准确的相似度函数； 

2.聚类算法用于在检索过程中动态构建一个聚类信息库，动态将具有相似特征的图像聚合成一类，然后提取一类图像的特征信息，结合强化学习算法，在后续的检索过程中，极大提高了检索的效率和精度； 

3.图像融合技术主要用于在检索过程中，结合用户的反馈信息，利用融合技术，优化查询向量，使得查询向量更加符合用户的检索需要，结合遗传算法，从查询向量和相似度函数两个角度进行调整，提高检索的精度和效率。 

4.强化学习算法主要针对检索过程，结合相关反馈技术，构建一个基于强化学习的学习框架，在检索过程中，利用强化学习技术，保留检索过程中的相关检索信息，在后续检索中，结合图像融合技术、遗传算法和聚类算法，优化检索模型，提高检索精度和效率，同时该方法对于旋转、平移和尺度变化具有较强的鲁棒性。 

附图说明

图1是本发明实施例的系统工作流程图。 

具体实施方式

下面结合附图及实施例对本发明作进一步描述： 

实施例：参见图1所示，一种基于多智能算法及图像融合技术的图像检索方法，包括以下步骤： 

步骤(1)：用户给出原始查询向量)Q＝(D，F，R)，其中D表示一幅原始图像，比如一幅jpeg格式的图像；F＝{f_i}表示一组特征集合，f_i表示第i个 特征；R＝{r_ij}表示特征f_i的具体表示形式，测试图像向量Q′＝(D，F，R)及一个测试集T，指定图像库I和其对应的特征库F； 

步骤(2)：根据系统提供的聚类信息库以及图像的特征组合，判断该图像是否属于聚类信息库中的某一类，同时在强化学习的先验知识中查询是否有记录。如果属于某一类，并存在记录，则转入步骤(4)；否则，转入步骤(3)。 

步骤(3)：根据测试集T及测试图像Q’，利用遗传算法，得出一组最佳的权值——w1，w2，w3，分别对应图像三个特征——颜色，纹理和形状，转入步骤(5)。 

步骤(4)：利用强化学习所得到的先验知识，获得一组最佳权重——w1，w2，w3，转入步骤(5)； 

步骤(5)：利用图像相似度模型，计算出图像特征库中每幅图像Ii与查询向量Q的距离D(Q，I_i)，根据距离进行排序，给出结果集0。图像相似度模型如下所示： 

$D(Q,I)=\underset{f_i\∈F}{\mathrm{\Σ}}{w}_{f_i}{d}_{f_i}(Q,I)$

$d_{f_i}(Q,I)=\sqrt{\underset{r_{\mathrm{ij}}}{\mathrm{\Σ}}{d}_{r_{\mathrm{ij}}}(Q,I)}$

其中Q是查询向量(查询图像)；I是被查询图像；F＝{f_i}是图像特征集合； 是特征f_i的权值； 是两幅图像在特征f_i上的距离； 是在特征f_i的第j个分量上的距离； 

步骤(6)：利用强化学习方法，更新一组强化学习记录，记录是以信息对的形式保存——<X，W>，其中X对应一组图像类别，W对应一组权重组合； 

步骤(7)：如果用户对查询结果满意，则检索结束，同时将图像信息有选择地归并或者更新到聚类信息库，转入步骤(9)；如果用户不满意检索结果，则转入步骤(8)； 

步骤(8)：结合用户的选择的图像，记做0’，利用图像融合技术，修正查询向量Q，同时由0’及在图像数据库中随机抽取的图像更新测试集T， 将测试图像Q’更新为当前的查询向量Q，转入步骤(3)； 

步骤(9)：以一定的概率决定是否对图像数据库进行聚类，以更新聚类信息库，或者用户可以强制系统进行聚类操作。 

Claims (6)

1.一种基于多智能算法及图像融合技术的图像检索方法，其特征在于，提供一用于检索的图像数据库和一聚类信息库，所述聚类信息库用于动态存放具有相似特征的一类图像的类别信息；检索方法包括以下步骤：

(1) 输入查询图像，并提取特征，获得原始查询向量Q=(D,F,R)，其中D表示一幅原始图像；F={f_i}表示一组特征集合，其中f_i表示第i个特征；                                               表示特征f_i的j个具体表示形式；

(2) 在聚类信息库中查找查询图像的类别信息，如果不存在转入步骤(3)，如果存在转入步骤(4)；

(3) 根据遗传算法，获取特征组合参数，并利用强化学习算法，做信息采集存储，所述信息采集存储是指对图像的类别及权重进行存储，转入步骤(5)；

(4) 利用强化学习机制得到的信息，根据当前图像的所属的类别，取得该类别所对应的权重组合，转入步骤(5)；

(5) 在图像数据库中进行检索，返回检索结果，如果用户对结果满意，则检索结束，检索结束时，利用算法选择是否需要进行归并，如需要，则将图像信息归并或更新到聚类信息库，聚类操作利用基于遗传算法的K-Means算法实现；如果用户对结果不满意则转入步骤(6)；

(6) 用户选择检索结果中符合用户需要的图像，结合用户的选择的图像，记做O’，利用图像融合技术，修正查询向量Q，同时由O’及在图像数据库中随机抽取的图像更新测试集T，将测试图像Q’更新为当前的查询向量Q，转入步骤(3)。

2.根据权利要求1所述的基于多智能算法及图像融合技术的图像检索方法，其特征在于：所述特征集合由图像的颜色特征、纹理特征和形状特征构成，所述颜色特征由颜色矩表示，所述纹理特征由灰度共生矩阵表示，所述形状特征由图像矩阵信息熵表示。

3.根据权利要求2所述的基于多智能算法及图像融合技术的图像检索方法，其特征在于：i=3，i表示特征的数量；j=3，j为每个特征下具体用来表示特征的子特征的维数。

4. 根据权利要求1所述的基于多智能算法及图像融合技术的图像检索方法，其特征在于：步骤(5)中，检索的方法是，利用相似度模型计算，得出图像之间的距离，按照检索出的图像与当前被检索图像的距离从小到大排序，检索结果是排序靠前的图像。

5. 根据权利要求1所述的基于多智能算法及图像融合技术的图像检索方法，其特征在于：步骤(6)中，所述修正查询向量的方法是，利用基于Haar小波变换的图像融合算法修正查询向量。

6. 根据权利要求1所述的基于多智能算法及图像融合技术的图像检索方法，其特征在于：设定更新频率，对图像数据库进行聚类操作，对聚类信息库进行更新。