CN109213886B - 基于图像分割和模糊模式识别的图像检索方法及系统 - Google Patents

Abstract

本发明公开了基于图像分割和模糊模式识别的图像检索方法及系统，包括：图像分割：将查询图像分割为若干个图像区域，将每个被检索图像也分割为若干个图像区域；特征提取：提取查询图像的每个图像区域的综合特征向量；提取每个被检索图像的每个图像区域的综合特征向量；求取查询图像的k个近邻图像；求取每个被检索图像的k个近邻图像；对查询图像的k个近邻图像与每个被检索图像的对应的k个近邻图像，计算k个近邻图像的相似度，将k个近邻图像的相似度进行加权求和，得到查询图像与每幅被检索图像的最终相似度，对最终的相似度按照从大到小的顺序进行排序，按照从大到小的排序顺序将检索的图像输出。

Description

基于图像分割和模糊模式识别的图像检索方法及系统

技术领域

本发明涉及基于图像分割和模糊模式识别的图像检索方法及系统。

背景技术

随着计算机网络、多媒体技术和通信技术的迅速发展，数字图像数据日益增加，如何从海量的图像数据中快速、准确的查询到人们感兴趣的图像，一直是图像检索领域的一个研究热点。通常情况下，可将图像检索方法分为两种：基于标注的图像检索(annotation-based image retrieval，ABIR)方法和基于内容的图像检索(content-based imageretrieval，CBIR)方法。

ABIR方法就是使用与图像内容相关的关键词来对图像进行文本标注，尽管较好的标注能够大大提高图像检索的准确率，但是这种方法存在着极大的缺陷：人工标注耗时、主观性太强，而且图像内容很难用几个关键词来精确的进行描述，ABIR方法无法适用于大数据检索。CBIR方法就是利用图像内容的底层特征来对图像内容进行描述，图像内容的底层特征主要包括：颜色特征、纹理特征和形状特征。CBIR方法避免了由于人工标注所带来的一些缺陷，但是图像内容底层特征与高层语义之间的“语义鸿沟”一直都是CBIR系统检索过程中迫切需要解决的关键问题。CBIR系统检索性能的好坏主要取决于两个关键的技术：图像特征提取和图像特征匹配。图像特征提取是CBIR系统的首要工作，为了更好地描述一幅图像的内容，往往需要寻找恰当的特征提取方法来提取图像的多种底层特征，并将多种底层特征以某种方式综合到一起，形成对应于图像的综合特征向量。在图像特征提取过程中，应采取恰当的降维技术，以保证在不丢失图像主要信息的前提下来提高CBIR系统的检索速度。图像特征匹配是CBIR系统的另一个关键环节，而图像特征匹配主要依赖于图像所对应的特征向量之间的相似度匹配方法，因此寻找恰当的相似度匹配方法也是图像检索领域的一个研究热点。

发明内容

为了解决现有技术的不足，本发明提供了基于图像分割和模糊模式识别的图像检索方法及系统，其具有图像检索精度高的优点；

作为本发明的第一方面，提供了基于图像分割和模糊模式识别的图像检索方法；

基于图像分割和模糊模式识别的图像检索方法，包括：

图像分割：将查询图像分割为若干个图像区域，将每个被检索图像也分割为若干个图像区域；

特征提取：提取查询图像的每个图像区域的综合特征向量；提取每个被检索图像的每个图像区域的综合特征向量；

获取k个近邻图像：基于查询图像的每个图像区域的综合特征向量与每个被检索图像对应图像区域的综合特征向量，求取查询图像的k个近邻图像；

基于每个被检索图像每个图像区域的综合特征向量与其他被检索图像对应图像区域的综合特征向量，求取每个被检索图像的k个近邻图像；

特征匹配：对查询图像的k个近邻图像与每个被检索图像的对应的k个近邻图像，计算k个近邻图像的相似度，将k个近邻图像的相似度进行加权求和，得到查询图像与每幅被检索图像的最终相似度，对最终的相似度按照从大到小的顺序进行排序，按照从大到小的排序顺序将检索的图像输出。

进一步的，图像分割的具体步骤为：找到每幅图像所对应的左上角顶点和右下角顶点之间的对角线；在对角线上选择若干个点，对角线上的若干个点将对角线划分为若干个等间距线段；以对角线上的每个点为基准，分别往图像的上边线和左边线作垂线；所有的垂线将图像划分为若干个区域。

进一步的，第一个图像区域，是指从第一个点到图像的上边线和左边线的两条垂线与图像的上边线和左边线所围成的区域；

最后一个图像区域，是指整幅图像；

中间的每个图像区域，均是指中间每个点到图像的上边线和左边线的两条垂线与图像的上边线和左边线所围成的区域。

进一步的，所述提取查询图像的每个图像区域的综合特征向量的具体步骤为：

对查询图像的每个图像区域分别提取颜色特征向量和纹理特征向量，对提取的颜色特征向量和纹理特征向量分别进行模糊化处理，得到模糊颜色特征向量和模糊纹理特征向量；将提取的模糊颜色特征向量和模糊纹理特征向量进行融合，得到查询图像的每个图像区域的综合特征向量。

进一步的，所述提取每个被检索图像的每个图像区域的综合特征向量的具体步骤为：

对每个被检索图像的每个图像区域分别提取颜色特征向量和纹理特征向量，对提取颜色特征向量和纹理特征向量分别进行模糊化处理，得到模糊颜色特征向量和模糊纹理特征向量；将提取的模糊颜色特征向量和模糊纹理特征向量进行融合，得到每个被检索图像的每个图像区域的综合特征向量。

进一步的，模糊颜色特征向量提取过程为：

采用颜色直方图，将每个图像区域转换为RGB模式，然后将RGB模式的图像区域映射到HSV空间，其中，H划分为16级，S划分为4级，V划分为4级，从而得到256种不同的颜色值；分别统计每个图像区域中每种颜色值的像素点的个数，得到每个图像区域的256维的颜色特征向量。

计算颜色特征向量中所有特征元素的平均值和最大值，基于平均值和最大值对颜色特征向量中所有的特征元素进行归一化处理，从而得到每个图像区域对应的模糊颜色特征向量。

进一步的，模糊纹理特征向量提取过程为：

采用灰度共生矩阵，统计每个图像区域对应的特征元素值，所述特征元素值，包括：能量、相关性、梯度平均、梯度均方差、梯度熵、灰度平均、灰度均方差、灰度熵、混合熵、逆差矩、惯性、大梯度优势、小梯度优势、梯度分布的不均匀性和灰度分布的不均匀性；每个图像区域对应的特征元素值组成了每个图像区域对应的纹理特征向量；

计算纹理特征向量所有特征元素值的平均值和最大值，基于平均值和最大值对纹理特征向量中所有的特征元素进行归一化处理，从而得到每个图像区域对应的模糊纹理特征向量。

进一步的，将提取的模糊颜色特征向量和模糊纹理特征向量进行融合，得到每个被检索图像的每个图像区域的综合特征向量的具体步骤为：

给每个图像区域对应的256维模糊颜色特征向量和15维模糊纹理特征向量赋予不同的权值，将两种特征进行加权融合，得到每个图像区域的271维综合特征向量，其中，所有权值求和为1。

进一步的，基于查询图像的每个图像区域的综合特征向量与每个被检索图像对应图像区域的综合特征向量，求取查询图像的k个近邻图像的具体步骤为：

计算查询图像的每个图像区域的综合特征向量与每个被检索图像对应图像区域的综合特征向量的相似度，对获得的每个图像区域的相似度进行加权求和，得到查询图像与每个被检索图像的相似度，将查询图像与每个被检索图像的相似度按照从大到小的顺序进行排序，取排序靠前的k个图像，作为查询图像的k个近邻图像。

进一步的，基于每个被检索图像每个图像区域的综合特征向量与其他被检索图像对应图像区域的综合特征向量，求取每个被检索图像的k个近邻图像的具体步骤为：

计算每个被检索图像每个图像区域的综合特征向量与其他被检索图像对应图像区域的综合特征向量的相似度，对获得的每个图像区域的相似度进行加权求和，得到每个被检索图像与其他被检索图像的相似度，将每个被检索图像与其他被检索图像的相似度按照从大到小的顺序进行排序，取排序靠前的k个图像，作为每个被检索图像的k个近邻图像。

进一步的，接收用户的反馈结果，如果用户反馈对结果满意，则停止检索过程，否则，返回图像分割步骤，重新进行图像检索。

作为本发明的第二方面，提供了基于图像分割和模糊模式识别的图像检索系统；

基于图像分割和模糊模式识别的图像检索系统，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。

作为本发明的第三方面，提供了一种计算机可读存储介质；

一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。

与现有技术相比，本发明的有益效果是：

第一，通过对图像进行分割，依次将查询图像和每幅被检索图像所对应的相同位置处的各个图像区域进行相似度匹配，并综合考虑各个图像区域之间的相似度来衡量查询图像和每幅被检索图像之间的相似度，能进一步增强图像之间的对比度。

第二，在图像特征提取过程中，综合考虑了图像的颜色特征和纹理特征，使得图像特征的代表性更优于单独考虑颜色特征或纹理特征时的代表性。

第三，在提取图像的颜色特征和纹理特征过程中，引入了模糊数学算法，能进一步提高颜色特征和纹理特征对图像的代表性。

第四，利用查询图像的k个近邻图像与每幅被检索图像的k个近邻图像之间的相似度来综合衡量查询图像与每幅被检索图像之间的相似度，能进一步提高图像检索系统的性能。

第五，将近邻数k通过函数设置为动态参数，能进一步提高图像检索系统对不同查询图像的适应能力。

第六，通过用户满意度进行信息反馈，能进一步提高图像检索系统的性能。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为查询图像分割及特征提取流程图；

图2为第i幅被检索图像分割及特征提取流程图；

图3为获取查询图像的k个近邻图像流程图；

图4为获取第i幅被检索图像的k个近邻图像流程图；

图5为将查询图像与所有被检索图像进行相似度匹配流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

为了进一步提高图像特征向量的代表性，往往在图像检索过程中引入恰当的图像分割方法将图像进行分割，仅提取用户感兴趣的的图像区域所对应的特征向量，使得图像之间的对比度更强。

模糊模式识别就是在图像检索过程中引入模糊数学算法，以使图像检索系统更广泛、更深入地来模拟人脑的思维过程，从而对图像进行更加有效的分类与识别。

(1)图像分割。输入查询图像和所有被检索图像，然后将每幅图像按照下列方法进行图像分割。

找到每幅图像所对应的从左上顶点到右下顶点之间的对角线；进一步的，将对角线平均分割为m份，并沿着对角线从左上顶点到右下顶点依次标出m+1个点的顺序为：0，1，2……，m；进一步的，从对角线上的点1分别向图像的最上边线和最左边线作垂直线，这两条垂直线和图像的最上边线、最左边线所包围的区域即为图像的第1个分割区域；进一步的，从对角线上的点2分别向图像的最上边线和最左边线作垂直线，这两条垂直线和图像的最上边线、最左边线所包围的区域即为图像的第2个分割区域；进一步的，依次往下类推；最后，将整幅图像看成是m个区域。

(2)图像特征提取。分别提取查询图像和所有被检索图像所对应的m个图像区域的颜色特征向量和纹理特征向量。

颜色特征提取过程：采用颜色直方图方法，首先将每幅图像所对应的m个图像区域都转换为RGB模式；进一步的，将各个图像区域映射到HSV空间，其中，H划分为16级，S划分为4级，V划分为4级，从而可得到256种不同的颜色值；进一步的，分别统计各个图像区域中应于这256种不同颜色值的像素点的个数，从而得到对应于各个图像区域的256维的颜色特征向量。为了进一步提高颜色特征向量的代表性，统计颜色特征向量中所有特征元素的平均值和最大值，并利用这两种值对颜色特征向量中所有的特征元素进行模糊化，将所有特征元素转换为介于0到1之间的数值，从而得到每幅图像m个分割图像区域所对应的256维的模糊颜色特征向量。

纹理特征提取过程：采用灰度共生矩阵的方法，统计每幅图像各个图像区域所对应的灰度共生矩阵的15种特性值，包括：能量、相关性、梯度平均、梯度均方差、梯度熵、灰度平均、灰度均方差、灰度熵、混合熵、逆差矩、惯性、大梯度优势、小梯度优势、梯度分布的不均匀性和灰度分布的不均匀性，利用这15种特性值组成每幅图像各个图像区域所对应的15维的纹理特征向量。为了进一步提高纹理特征向量的代表性，统计纹理特征向量中所有特征元素值的平均值和最大值，并利用这两种值对纹理特征向量中所有的特征元素进行模糊化，将所有特征元素转换为介于0到1之间的数值，从而得到每幅图像各个图像区域所对应的15维的模糊纹理特征向量。

最后，分别给每个图像区域所对应的256维的颜色模糊特征向量和15维的模糊纹理特征向量赋予不同的权值，并将这两种特征向量组合为对应于每个图像区域的271维的综合模糊特征向量，要求这两种特征向量的权值之和为1。

图像特征提取过程见附图1和附图2.

(3)分别获取查询图像与所有被检索图像的k个近邻图像。

寻找恰当的相似度匹配方法，分别计算查询图像和每幅被检索图像所对应的相同位置处图像区域之间的相似度；进一步的，综合考虑m个不同图像区域之间的相似度来衡量查询图像与每幅被检索图像之间的相似度；进一步的，按照相似度从大到小的顺序将检索到的图像反馈给用户；进一步的，取前k个图像，即为查询图像的k个近邻图像。详细过程见附图3。

采用与上面相同的相似度匹配方法，分别计算每幅被检索图像和所有被检索图像所对应的相同位置处图像区域之间的相似度；进一步的，综合考虑m个不同图像区域之间的相似度来衡量每幅被检索图像与所有被检索图像之间的相似度；进一步的，按照相似度从大到小的顺序将检索到的图像反馈给用户；进一步的，取前k个图像，即为每幅被检索图像的k个近邻图像。详细过程见附图4。

其中，将近邻数k利用恰当的函数设置为动态参数，以提高图像检索系统对不同查询图像的适应能力。

(4)将查询图像与所有被检索图像进行图像特征匹配。采用与第(3)步中相同的相似度匹配方法，依次计算查询图像的k个近邻图像和每幅被检索图像的k个近邻图像之间的相似度；进一步的，赋予k个相似度值不同的权值并累加到一起来衡量查询图像与每幅被检索图像之间的相似度，并按照相似度从大到小的顺序将检索到的图像反馈给用户，要求k个相似度值的权值之和为1。详细过程见附图5。

(5)根据用户满意度进行信息反馈，若用户对最终的反馈结果满意，则停止检索过程，反之，返回到第(1)步重新进行检索，直到用户满意为止。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.基于图像分割和模糊模式识别的图像检索方法，其特征是，包括：

图像分割：将查询图像分割为若干个图像区域，将每个被检索图像也分割为若干个图像区域；

特征提取：提取查询图像的每个图像区域的综合特征向量；提取每个被检索图像的每个图像区域的综合特征向量；

获取k个近邻图像：基于查询图像的每个图像区域的综合特征向量与每个被检索图像对应图像区域的综合特征向量，求取查询图像的k个近邻图像；

基于每个被检索图像每个图像区域的综合特征向量与其他被检索图像对应图像区域的综合特征向量，求取每个被检索图像的k个近邻图像；

特征匹配：对查询图像的k个近邻图像与每个被检索图像的对应的k个近邻图像，计算k个近邻图像的相似度，将k个近邻图像的相似度进行加权求和，得到查询图像与每幅被检索图像的最终相似度，对最终的相似度按照从大到小的顺序进行排序，按照从大到小的排序顺序将检索的图像输出；

基于查询图像的每个图像区域的综合特征向量与每个被检索图像对应图像区域的综合特征向量，求取查询图像的k个近邻图像的具体步骤为：

计算查询图像的每个图像区域的综合特征向量与每个被检索图像对应图像区域的综合特征向量的相似度，对获得的每个图像区域的相似度进行加权求和，得到查询图像与每个被检索图像的相似度，将查询图像与每个被检索图像的相似度按照从大到小的顺序进行排序，取排序靠前的k个图像，作为查询图像的k个近邻图像；

基于每个被检索图像每个图像区域的综合特征向量与其他被检索图像对应图像区域的综合特征向量，求取每个被检索图像的k个近邻图像的具体步骤为：

计算每个被检索图像每个图像区域的综合特征向量与其他被检索图像对应图像区域的综合特征向量的相似度，对获得的每个图像区域的相似度进行加权求和，得到每个被检索图像与其他被检索图像的相似度，将每个被检索图像与其他被检索图像的相似度按照从大到小的顺序进行排序，取排序靠前的k个图像，作为每个被检索图像的k个近邻图像。

2.如权利要求1所述的基于图像分割和模糊模式识别的图像检索方法，其特征是，

图像分割的具体步骤为：找到每幅图像所对应的左上角顶点和右下角顶点之间的对角线；在对角线上选择若干个点，对角线上的若干个点将对角线划分为若干个等间距线段；以对角线上的每个点为基准，分别往图像的上边线和左边线作垂线；所有的垂线将图像划分为若干个区域。

3.如权利要求1所述的基于图像分割和模糊模式识别的图像检索方法，其特征是，

所述提取查询图像的每个图像区域的综合特征向量的具体步骤为：

对查询图像的每个图像区域分别提取颜色特征向量和纹理特征向量，对提取的颜色特征向量和纹理特征向量分别进行模糊化处理，得到模糊颜色特征向量和模糊纹理特征向量；将提取的模糊颜色特征向量和模糊纹理特征向量进行融合，得到查询图像的每个图像区域的综合特征向量；或者，

所述提取每个被检索图像的每个图像区域的综合特征向量的具体步骤为：

对每个被检索图像的每个图像区域分别提取颜色特征向量和纹理特征向量，对提取颜色特征向量和纹理特征向量分别进行模糊化处理，得到模糊颜色特征向量和模糊纹理特征向量；将提取的模糊颜色特征向量和模糊纹理特征向量进行融合，得到每个被检索图像的每个图像区域的综合特征向量。

4.如权利要求3所述的基于图像分割和模糊模式识别的图像检索方法，其特征是，

模糊颜色特征向量提取过程为：

采用颜色直方图，将每个图像区域转换为RGB模式，然后将RGB模式的图像区域映射到HSV空间，其中，H划分为16级，S划分为4级，V划分为4级，从而得到256种不同的颜色值；分别统计每个图像区域中每种颜色值的像素点的个数，得到每个图像区域的256维的颜色特征向量；

计算颜色特征向量中所有特征元素的平均值和最大值，基于平均值和最大值对颜色特征向量中所有的特征元素进行归一化处理，从而得到每个图像区域对应的模糊颜色特征向量。

5.如权利要求3所述的基于图像分割和模糊模式识别的图像检索方法，其特征是，

模糊纹理特征向量提取过程为：

采用灰度共生矩阵，统计每个图像区域对应的特征元素值，所述特征元素值，包括：能量、相关性、梯度平均、梯度均方差、梯度熵、灰度平均、灰度均方差、灰度熵、混合熵、逆差矩、惯性、大梯度优势、小梯度优势、梯度分布的不均匀性和灰度分布的不均匀性；每个图像区域对应的特征元素值组成了每个图像区域对应的纹理特征向量；

计算纹理特征向量所有特征元素值的平均值和最大值，基于平均值和最大值对纹理特征向量中所有的特征元素进行归一化处理，从而得到每个图像区域对应的模糊纹理特征向量。

6.如权利要求3所述的基于图像分割和模糊模式识别的图像检索方法，其特征是，

将提取的模糊颜色特征向量和模糊纹理特征向量进行融合，得到每个被检索图像的每个图像区域的综合特征向量的具体步骤为：

给每个图像区域对应的256维模糊颜色特征向量和15维模糊纹理特征向量赋予不同的权值，将两种特征进行加权融合，得到每个图像区域的271维综合特征向量，其中，所有权值求和为一。

7.基于图像分割和模糊模式识别的图像检索系统，其特征是，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-6任一项方法所述的步骤。

8.一种计算机可读存储介质，其特征是，其上存储有计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-6任一项方法所述的步骤。

Images