CN107730506A

CN107730506A - 图像分割方法及图像检索方法

Info

Publication number: CN107730506A
Application number: CN201710602633.3A
Authority: CN
Inventors: 钟宝江; 张峰
Original assignee: Suzhou University
Current assignee: Suzhou University
Priority date: 2017-07-21
Filing date: 2017-07-21
Publication date: 2018-02-23

Abstract

本发明涉及一种图像分割方法，包括：将图像处理为图像显著图；用SC算法从图像显著图中提取显著性目标区域；判断用SC算法从图像显著图中提取显著性目标区域的次数是否小于等于预设值；若是，将图像显著图中显著性目标区域的显著性值置为0，继续返回到SC算法从图像显著图中提取显著性目标区域。利用迭代调取用SC算法，依次获取不同的显著性目标区域，从而实现分割多个显著性目标。还涉及一种图像检索方法。

Description

图像分割方法及图像检索方法

技术领域

本发明涉及图像技术领域，特别是涉及图像分割方法及图像检索方法。

背景技术

SC算法(具体参见Cheng M M,Zhang G X,MitraN.J.,et al.Global contrastbased salient region detection[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2015,37(3):409-416)是一种基于显著性的图像分割算法，该算法根据显著图将置信度非常高的非显著性区域中的像素作为背景像素，将置信度非常高的显著性区域中的像素作为前景像素，然后迭代地调用GrabCut算法(具体参见Rother C,Kolmogorov V,Blake A.“GrabCut”:interactive foreground extraction usingiterated graph cuts[J].ACM Transactions on Graphics,2004,23(3):309-314.)来精准分割显著性目标区域。然而，这种算法存在一个明显的缺点：SC算法倾向于处理包含单个显著性目标的图像，如果对包含多个显著性目标的图像进行处理时，SC算法仅能分割出其中一个显著性目标。由于采用显著性检测算法，例如HS算法(具体参见Yan Q,Xu L,Shi J,et al.Hierarchical saliency detection[C].IEEE Conference on Computer Visionand Pattern Recognition,2013:1155-1162.)在提取一幅图像的显著图时，图像中不同区域的显著性分配是不一样的，而SC算法在根据图像显著性信息分割目标时，通常会将显著性较高的目标区域作为SC算法的前景像素，显著性稍低的目标区域往往会被归类到背景像素，因而导致只有显著性最高的目标被分割出来。

在当前图像搜索引擎中，比如百度图像检索引擎，通常提取图像的整体特征来检索图像。从技术角度来讲，这种做法是合理的，而从应用角度来说则可能无法满足人们的多种实际需求。对于一幅图像，不同的人可能关注图像不同的区域，即他们的兴趣目标可能不一样。例如，图1展示了一幅常见的图像，可知，对于这幅图像，有些人感兴趣的目标为穿蓝色衣服的小男孩，他们可能想检索类似小男孩的图像；有些人感兴趣的目标为小男孩身旁的小黄狗，他们可能想要识别这是一只什么种类的狗；甚至有些人的兴趣目标为背景部分(此时需要广义地理解兴趣目标)，他们可能想要检索类似背景作为电脑屏保。我们将这幅图像上传至百度图像搜索引擎进行检索识别。百度图像搜索引擎返回的前16幅图像结果如图2所示。(可以理解，这些结果只是用来示例，不排除百度图像搜索引擎由于某些原因，比如算法改进，对搜索结果进行改变)可以看出，这些返回的图像中，一部分图像与小男孩有关，另一部分与狗相关，甚至还有些与查询图像完全无关的图像。显然，这样的检索结果并不符合用户的检索需求。换句话说，百度图像搜索引擎并不能够准确地理解用户的兴趣目标，而且针对这类查询图像，搜索引擎一般也不可能会知道用户的兴趣目标是什么。因此，搜索引擎只好将与查询图像相关的图像全都返回给用户，从而导致用户的体验效果较差。

在百度图像搜索引擎中，如果用户对检索结果不满意，可以使用搜索引擎提供的手动框选图的功能。该功能可以让用户手动框选出图像中需要识别的区域，然后搜索引擎仅根据框选的区域进行识别与检索，从而在一定程度上满足了用户各种实际需求。然而，在使用手动框选图的功能时，用户需要花费较多的时间框选他们想要检索的区域，而且有些区域(如背景区域)也很难通过手动框选出。显然，对于用户来说，这样的操作不够方便。

发明内容

基于此，有必要针对SC算法不能分割多个显著性目标的问题，提供一种可以分割多个显著性目标图像分割方法。

同时，针对现有的图像检索方法不能解决用户多种不同的图像检索任务，提供一种可以解决用户多种不同检索任务且操作方便的图像检索方法。

一种图像分割方法，包括：将图像处理为图像显著图；用SC算法从图像显著图中提取显著性目标区域；判断用SC算法从图像显著图中提取显著性目标区域的次数是否小于等于预设值；若是，将图像显著图中显著性目标区域的显著性值置为0，继续返回到SC算法从图像显著图中提取显著性目标区域。

上述图像分割方法，利用迭代调取用SC算法，依次获取不同的显著性目标区域，从而实现分割多个显著性目标。

在其中一个实施例中，所述预设值为2次。

在其中一个实施例中，在将图像显著图中显著性目标区域的显著性值置为0之前，将显著性目标区域膨胀操作。

在其中一个实施例中，利用HS算法将图像处理为图像显著图。

一种图像检索方法，包括：利用上述的图像分割方法获取用户上传的图像的显著性目标区域；获取图像的非显著性目标区域；提供给用户检索路径的选择，即检索上传的图像、检索上传的图像中的显著性目标出现在不同场景的图像和检索与上传的图像中的非显著性目标区域类似的图像；根据用户对检索路径的选择，返回检索结果。

上述图像检索方法，依据图像中不同兴趣目标给用户提供多种检索情形的选择，引导用户进行有效的图像检索，操作方便，性能好。

在其中一个实施例中，在提供给用户检索路径的选择时，提供与检索路径相匹配的样例图像。

附图说明

图1为背景技术中向百度图像搜索引擎上传的图像。

图2为背景技术中百度图像搜索引擎上传图像后返回的结果的示意图。

图3为一实施例中提供的图像分割方法的流程图。

图4为一实施例中提供的图像分割方法的流程图。

图5为利用本申请提供的图像分割方法获取图像多显著性目标的过程的示意图。

图6为一实施例中提供的图像检索方法的流程图。

图7为一实施例中提供的测试图像检索方法效果时采用的图像数据库的示意图。

图8为一实施例中提供的测试图像检索方法效果时得到的效果比较图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图3为一实施例中提供的图像分割方法的流程图。本实施例中，图像分割方法包括：

S110、将图像处理为图像显著图。

具体地，本实施例中采用HS算法(具体参见Yan Q,Xu L,Shi J,etal.Hierarchical saliency detection[C].IEEE Conference on Computer Vision andPattern Recognition,2013:1155-1162.)把图像处理图像显著图。可以理解，把图像处理为图像显著图处理的算法，不限于HS算法。

S120、用SC算法从图像显著图中提取显著性目标区域。

具体地，SC算法(具体参见Cheng M M,Zhang G X,MitraN.J.,et al.Globalcontrast based salient region detection[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2015,37(3):409-416)是一种基于显著性的图像分割算法，该算法根据图像显著图将置信度非常高的非显著性区域中的像素作为背景像素，将置信度非常高的显著性区域中的像素作为前景像素，然后迭代地调用GrabCut算法(具体参见Rother C,Kolmogorov V,Blake A.“GrabCut”:interactive foreground extractionusing iterated graph cuts[J].ACM Transactions on Graphics,2004,23(3):309-314.)来精准分割显著性目标区域。

S130、判断用SC算法从图像显著图中提取显著性目标区域的次数是否小于等于预设值；若是，执行S140。

具体地，预设值可以设为两次。也就是，当利用SC算法从图像显著图中提取出两次次显著性目标区域后，就结束利用SC算法从图像显著图中提取显著性目标区域。

S140、将图像显著图中显著性目标区域的显著性值置为0，执行S120。

也就是说，通过将已分割出的显著性目标区域的显著性值置为0，此时，该区域已不再是显著性区域。然后，继续执行S120。也就是说，在去除显著性目标区域的图像显著图中继续用SC算法从图像显著图中提取显著性目标区域。

可以理解，该方法是对SC算法的一种改进，具体改进如下：在得到图像第一个显著性目标后，我们根据第一个显著性目标的二值分割图，将图像显著图中第一个目标区域的显著性值置为0，此时该区域不再是显著性区域。若根据新的图像显著图再次调用SC算法将会得到下一个显著性目标。可以看出，该过程是以一种迭代的方式调用SC算法，依次获取图像中多个不同的显著性目标，每迭代一次，可以得到一个新的显著性目标。

图4为一实施例中提供的图像分割方法的流程图。本实施例中，图像分割方法包括：

S210、将图像处理为图像显著图。

具体地，本实施例中采用HS算法把图像处理图像显著图。可以理解，把图像处理为图像显著图处理的算法，不限于HS算法。

S220、用SC算法从图像显著图中提取显著性目标区域。

具体地，SC算法是一种基于显著性的图像分割算法，该算法根据图像显著图将置信度非常高的非显著性区域中的像素作为背景像素，将置信度非常高的显著性区域中的像素作为前景像素，然后迭代地调用GrabCut算法来精准分割显著性目标区域。

S230、判断用SC算法从图像显著图中提取显著性目标区域的次数是否小于等于预设值；若是，执行S240。

S240、将显著性目标区域膨胀操作。

具体地，可以预设一个阈值，对显著性目标区域膨胀操作。对分割结果进行膨胀操作，是为了下一步能够使被分离出来的显著性目标区域完全被置为非显著性区域，方便更好地提取下一个显著性目标。

S250、将图像显著图中显著性目标区域的显著性值置为0，执行S220。

也就是说，通过将已分割出的显著性目标区域的显著性值置为0，此时，该区域已不再是显著性区域。然后，继续执行S220。也就是说，在去除显著性目标区域的图像显著图中继续用SC算法从图像显著图中提取显著性目标区域。

下面将结合一个具体的例子，对本申请技术方案进行描述。

图5为利用本申请提供的图像分割方法获取图像多显著性目标的过程的示意图。为了便于说明，此处迭代次数设为2次，即仅分割出图像中两个较为显著的显著性目标。通常情况下，我们都会认为图5(a)是一幅包含两个显著性目标的图像，即穿蓝色衣服的小男孩与土黄色的小狗。在用HS算法计算这幅图像的显著性时，我们可以得到如图5(b)所示的显著图。可以看出，小男孩区域的显著性值明显高于小黄狗区域的显著性值，甚至小黄狗区域的显著性已经接近于背景。然而，从人的视觉注意来看，图像中的小男孩和小黄狗都应当看作是用户的显著性目标区域。图5(c)为一次迭代的结果，即调用一次SC算法产生的第一个显著性目标的分割图。然后，对第一个显著性目标分割图做膨胀操作，得到如图5(d)所示的结果。对分割结果进行膨胀操作，是为了下一步能够使被分离出来的显著性目标区域完全被置为非显著性区域，方便更好地提取下一个显著性目标。接着将已分割出的显著性目标区域的显著性值置为0，此时，该区域已不再是显著性区域。经过归一化操作后，小黄狗区域的显著性逐渐突显出来(如图5(e)所示)。如果再调用一次SC算法，小黄狗区域将会被看作显著性目标区域的种子，从而能够把小黄狗区域也分割出来。(如图5(f)所示)

图6为一实施例中提供的图像检索方法的流程图。本实施例中，所述图像检索方法，包括：

S310、利用上述的图像分割方法获取用户上传的图像的显著性目标区域。

S320、获取图像的非显著性目标区域。

通常，用户通过网页界面上的上传图片按钮，上传需要查询的图像。接收到用户上传的图像后，采用上述的图像分割方法获取显著性目标区域。可以理解，利用上述的图像分割方法获取显著性目标区域后，图像剩余的就是背景区域(也就是非显著性目标区域)。

S330、提供给用户检索路径的选择，即检索上传的图像、检索上传的图像中的显著性目标出现在不同场景的图像和检索与上传的图像中的非显著性目标区域类似的图像。

通常，会展示给用户三个选择的按钮给用户检索路径的选择。可以理解，当利用上述的图像分割方法获取显著性目标区域不止一个时，检索显著性目标出现在不同场景的图像的选择会继续细分为多个相应显著性目标出现在不同场景的图像的选择。比如，当利用上述的图像分割方法获取到两个显著性目标区域时，检索显著性目标出现在不同场景的图像会继续细分为检索第一显著性目标出现在不同场景的图像的选择和检索第二显著性目标出现在不同场景的图像的选择。

在另外的实施例中，在提供给用户检索路径的选择时，提供与检索路径相匹配的样例图像。这样的话，可以更方便引导用户去面对不同路径的选择。

下面具体介绍，如何在提供给用户检索路径的选择时，提供与检索路径相匹配的样例图像。

在使用上述的图像分割方法获取显著性目标后，为了对兴趣目标进行描述。我们分析和测试了若干不同的图像特征，最终确定使用GoogLeNet CNN特征(具体参见SzegedyC,Liu W,Jia Y,et al.Going deeper with convolutions[C].IEEE Conference onComputer Vision and Pattern Recognition,2015:1-9.)与ResNet CNN特征(具体参见HeK,Zhang X,Ren S,et al.Deep residual learning for image recognition[C].IEEEConference on Computer Vision and Pattern Recognition,2016:770-778.)相结合的方式来描述显著性目标，这是由于目标物体种类繁多，同一种类目标物体之间的差异较大。对于背景为兴趣目标的情况下，由于背景种类远远没有目标物体种类多，并且相似场景往往在颜色特征和纹理特征上比较相似，因此，采用基于统计特性的HSV颜色特征(具体参见Zheng L,Wang S,Liu Z,et al.Packing and padding coupled multi-index foraccurate image retrieval[C].IEEE Computer Society Conference on ComputerVision and Pattern Recognition,2014:1947-1954.)和LBP纹理特征(具体参见Ojala T,M,Harwood D.Performance evaluation of textures measures withclassification based on Kullback discrimination of distributions[C].International Conference on Pattern Recognition,1994:582-585.)相结合的方式来描述背景区域。以下给出这几种特征的提取细节以及特征相似性度量的计算公式。

(1)HSV颜色直方图的提取由于HSV颜色空间更加符合人眼感知特性(具体参见Paschos G.Perceptually uniform color spaces for color texture analysis:anempirical evaluation[J].IEEE Transactions on Image Processing,2001,10(6):932-937.)。因此本实施例中采用HSV颜色直方图来描述图像背景区域的颜色特征。首先，将图像从RGB颜色空间转换到HSV颜色空间，并将HSV颜色空间量化成20×10×5＝1000种颜色；然后，根据显著性目标分割结果统计显著性目标区域之外(即背景区域)的各种颜色的数量；最后，使用归一化的1000维HSV颜色直方图描述背景区域的颜色特征。

(2)LBP纹理特征的提取鉴于LBP纹理特征具有旋转不变和灰度不变等稳定特性，以及是一种基于统计特性的特征，因此本实施例中采用LBP纹理直方图来描述图像的背景区域。首先，根据LBP算子定义计算出图像中每个像素的LBP值，用这个值来反映周围局部区域的纹理信息。然后，根据显著性目标分割结果统计显著性目标区域之外(即背景区域)的各种LBP值的数目。最后，使用归一化的256维LBP纹理直方图来描述图像背景区域。

(3)CNN语义特征的提取CNN特征是一种利用深度神经网络在大规模图像数据集上学习获得的特征。从网络结构上看，CNN特征是由底层特征(边缘信息，灰度信息)通过非线性组合得到的高层特征，由低到高的特征表示越来越抽象。利用CNN特征对图像描述在很大程度上已具有一种语义特性。鉴于CNN特征的强大表示能力，本实施例中采用主流的两种CNN特征相结合的方式来描述图像的显著性目标。首先，根据显著性目标分割结果将显著性目标框选出来。然后，利用已训练好的GoogLeNet模型和ResNet模型分别提取框选后显著性目标的CNN特征向量。最后，以归一化的CNN特征向量来描述显著性目标。

兴趣目标特征提取后，需要计算兴趣目标之间的相似度。设查询图像的兴趣目标为Q，数据库图像的兴趣目标为I。

记S_h(Q,I)为兴趣目标之间的HSV颜色直方图相似度，采用绝对值距离度量，计算公式如下：

其中，N为颜色直方图区间数。

记S_l(Q,I)为兴趣目标之间的LBP纹理直方图相似度，同样采用绝对值距离度量，计算如下：

其中，N为纹理直方图区间数。

记S_c(Q,I)为兴趣目标之间的CNN特征相似度，采用余弦距离度量，计算公式如(5-3)所示：

本实施例中在实际执行相似度计算时，会计算用户选择的兴趣目标与数据库中兴趣目标的相似度，进而能够为用户提供多样化的检索情形。

对于用户选择检索上传的图像即原图的情形，只要提取查询图像的整体图像特征，并在整体图像的特征库中进行相似性匹配即可。可见，此种情形的检索方式与目前大多数图像搜索引擎类似。在给此种情形的检索方式配于样例图像时，只需直接将原图作为样例图像展示给用户选择即可。

对于用户选择检索上传的图像中的显著性目标出现在不同场景的情形，此种情形检索出来的图像需要在显著性目标部分与查询图像类似，然而，图像背景区域可以类似也可以完全不同，即可实现检索显著性目标出现在不同场景下的图像。为了更加形象更加迅速地让用户了解此种情形的检索功能，在数据库中找到一张与查询图像显著性目标类似而背景不一样的图像，并将该图像作为样例图像展示给用户，进而供用户选择检索。

记Q_o,Q_b,I_o,I_b分别为查询图像的显著性目标与背景，数据库图像的显著性目标与背景，代入(1-1)，则S_h(Q_b,I_b)为两幅图像背景区域的HSV颜色特征相似度；代入(1-2)，则S_l(Q_b,I_b)为两幅图像背景区域的LBP纹理特征相似度；代入(1-3)，则S_{c_g}(Q_o,I_o)和S_{c_r}(Q_o,I_o)分别表示两幅图像显著性目标的GoogLeNet CNN特征相似度和ResNet CNN特征相似度。为了方便运算，可以通过取倒数的形式使得这些相似性变量值越大，代表的相似度也越高。(本文后续出现的相似度，都按照这样方式理解)

此类检索的样例图像需要在显著性目标上尽量与查询图像类似而背景又尽量不一样，此时，若要找此类检索的样例图像，只需在图像数据库中找到使得S_{c_g}(Q_o,I_o)/S_h(Q_b,I_b)的值达到最大的图像。

对于选择检索与上传的图像中的非显著性目标区域类似的图像的情形。选择此种情形进行检索，返回的图像需要在背景区域与查询图像相似，然而，图像中的显著性目标可以无需相似，即可实现检索类似场景下出现不同兴趣目标的图像或者仅仅为类似场景的图像。和前面两个选择类似，可以为此情形的检索指定一幅样例图像。

此情形检索的样例图像需要在背景上尽可能与查询图像类似而显著性目标又尽可能不一样，此时，若要找此情形检索的代表图像，只需在图像数据库中找到使得S_{c_g}(Q_o,I_o)/S_h(Q_b,I_b)达到最小值的图像。

S340、根据用户对检索路径的选择，返回检索结果。

对于用户选择检索上传的图像即原图的情形，此种情形的检索只需按通常的检索方式即可，首先提取整体图像的GoogLeNet CNN和ResNet CNN特征，然后以这两种CNN特征的融合形式去检索相似图像。记S_{c_g}(Q,I)，S_{c_r}(Q,I)分别为两幅图像整体GoogLeNet CNN特征度量距离与ResNet CNN特征度量距离。查询图像与数据库图像相似度定义为：

S(Q,I)＝S_{c_g}(Q,I)^α·S_{c_r}(Q,I)^β (2-1)

其中，相似度得分权重α，β满足α+β＝1。基于大量仿真实验结果，为了使效果最优，此处α和β取值为α＝0.5，β＝0.5。最后根据图像相似度S(Q,I)排序将从大到小的顺序返回检索结果给用户。返回给用户的形式可以利用图表形式，也可以利用其它形式。

对于用户选择检索上传的图像中的显著性目标出现在不同场景的情形，此情形下，根据用户选择的显著性目标，首先将显著性目标框选出来，然后提取显著性目标的GoogLeNet CNN特征和ResNet CNN特征，然后以这两种CNN特征的融合形式完成显著性目标的检索。查询图像显著性目标与数据库图像显著性目标的相似度定义为：

S(Q_o,I_o)＝S_{c_g}(Q_o,I_o)^α·S_{c_r}(Q_o,I_o)^β (2-2)

其中，S_{c_g}(Q_o,I_o)为查询图像显著性目标与数据库图像显著性目标的GoogLeNetCNN特征的相似度。S_{c_r}(Q_o,I_o)为查询图像显著性目标与数据库图像显著性目标的ResNetCNN特征相似度。同样，基于大量仿真实验结果，为了使效果最优，α,β满足α+β＝1且α和β默认值都取为0.5。最终根据图像显著性目标相似度S(Q_o,I_o)从大到小的顺序返回检索结果给用户。返回给用户的形式可以利用图表形式，也可以利用其它形式。

对于选择检索与上传的图像中的非显著性目标区域类似的图像的情形。在这种情形下，算法会根据显著性目标分割图提取查询图像背景区域的HSV颜色特征以及LBP纹理特征。查询图像背景区域与数据库图像背景区域的相似度定义如下：

S(Q_b,I_b)＝S_h(Q_b,I_b)^α·S_l(Q_b,I_b)^β， (2-3)

其中，S_h(Q_b,I_b)为查询图像背景区域与数据库图像背景区域的HSV颜色直方图相似度。S_l(Q_b,I_b)为查询图像背景区域与数据库图像背景区域的LBP纹理特征相似度。同样，α,β为特征相似度的权重参数，为了使效果最优，此处α,β取默认值为0.8和0.2。最后，按照图像背景相似度S(Q_b,I_b)从大到小的顺序从大到小的顺序返回检索结果给用户。返回给用户的形式可以利用图表形式，也可以利用其它形式。

最后，为了测试本申请实施例中图像检索方法的效果，我们将SIVAL(具体参见http://www.cse.wustl.edu/～sg/multi-inst-data/)图像数据库分别与Corel-10k图像数据库(具体参见Liu G H,Li Z Y,Zhang L,et al.Image retrieval based on micro-structure descriptor[J].Pattern Recognition,2011,44(9):2123-2133.)和Caltech-256图像数据库(具体参见[75]Griffin G,Holub A,Perona P.Caltech-256objectcategory dataset[J].2007.)合并，组成两种更大的图像数据库，分别称为Sival-Corel10k数据库和Sival-Caltech256数据库。

SIVAL数据库共由1500幅图像组成，分为25类，每类60幅图像，同类图像均含有一个相同的目标，但其背景具有高度多样性。SIVAL数据库可以用来测试算法在旋转不变性、仿射不变性、光照不变性及其他条件下的稳定性，因此可以测试算法检索相同目标图像的性能(如图7(a)所示)。Corel-10k数据库包含100类共10000幅图像，每类包含100幅图像。相同类别的图像具有相同的语义信息，包括花，鸟、海岸、建筑物等类别(如图7b)所示)。Caltech-256数据库由256类30607幅图像组成，包括家具、动物、车辆等类别，每一类图像数目至少80幅，最多的数目超过了800幅(如图7(c)所示)。Corel-10k数据库和Caltech-256数据库可以用来测试算法的语义检索性能。此时，Sival-Corel10k数据库共包含11500幅图像，该数据库中每一幅图像都作为测试图像。Sival-Caltech256数据库共包含32107幅图像，其中，SIVAL数据库的所有图像和Caltech-256中随机5000幅图像组成测试集。

评估指标采用PR曲线和mAP指标来测评我们实施例中图像检索方法的效果的性能。

下面是对PR曲线和mAP指标的解释：

评估图像检索性能主要有两个指标：精度(Precision)和召回率(Recall)。精度是指系统返回的检索结果中同类图像的数目占返回的图像数目的百分比。召回率是指系统返回的检索结果中同类图像的数目占整个图像数据库中同类图像数目的百分比。F-度量(F-Measure)为这两个指标的调和平均数，是对精度和召回率综合性能的评估。精度P、召回率R以及F-度量具体计算方法如下：

P＝I_N/N，

R＝I_N/M，

其中I_N为检索返回的同类图像数目，N为检索返回的图像数目，M为数据库中所包含的同类图像数目(包括检索返回的和没有检索出来的同类图像)。参数β权衡精度和召回率之间的重要性。

若用X轴表示精度，Y轴表示召回率，可得到精度-召回率(Precision-Recall，PR)曲线。平均精度(Mean Average Precision，mAP)一般用来度量PR曲线变化的差异，计算如下：

其中p(k)和r(k)分别对应精度和召回率，Q为查询样本的数目。平均精度即为PR曲线与X轴Y轴所围成的面积。

本申请实施例中图像检索方法可以根据用户的实际需求选择相应的检索情形，因此，在测试算法的性能上，当SIVAL图像作为测试图像时，此时背景占据图像较大区域，算法仅利用显著性目标的特征进行检索；当Corel-10k图像或者Caltech-256图像作为测试图像时，此时显著性目标占据图像较大区域，算法依据整体图像的特征进行检索。

为了公平地测评实施例中图像检索方法的检索性能，我们选择了HE(具体参见Jegou H,Douze M,Schmid C.Hamming Embedding and Weak Geometric Consistency forLarge Scale Image Search[C].European Conference on Computer Vision,2008:304-317.)，CDH(具体参见Liu G H,Yang JY.Content-based image retrieval using colordifference histogram[J].Pattern Recognition,2013,46(1):188-198.)，MSD(具体参见Liu G H,Li Z Y,Zhang L,et al.Image retrieval based on micro-structuredescriptor[J].Pattern Recognition,2011,44(9):2123-2133.)，NC(具体参见BabenkoA,Slesarev A,Chigorin A,et al.Neural codes for image retrieval[J].EuropeanConference on Computer Vision,2014:584-599.)等图像检索算法作为参照。我们也提取了图像的GoogLeNet CNN特征来检索图像，并且把这种检索算法作为基于CNN检索算法中的基准算法。为了评测就结果更准确，在NC算法提取CNN特征步骤，本实验使用效果更好的GoogLeNet模型替代原始的CNN模型提取图像特征。

图8(a)和图8(b)给出了实施例中图像检索方法与其他现存检索算法在Sival-Corel10k数据库和Sival-Caltech256数据库上检索性能的实验结果。表1展示了各种检索算法在这两个图像数据库上具体的测试结果。从图8和表1可以看出，实施例中图像检索方法的效果明显高于其他检索算法。分析这些算法可知，其他检索算法都是依据整体图像特征来进行检索，而实施例中图像检索方法能够依据用户选择不同的检索情形执行不同的检索算法。

表1

数据库\法	HE^[52]	CDH^[54]	MSD^[55]	NC^[74]	基准算法	本实施例中的方法
							SivalCorel10k，·mAP	0.11	0.143	0.17	0.496	0.476	0.58
SivalCaltech256，·mAP	0.022	0.041	0.046	0.402	0.397	0.491

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种图像分割方法，包括：

将图像处理为图像显著图；

用SC算法从图像显著图中提取显著性目标区域；

判断用SC算法从图像显著图中提取显著性目标区域的次数是否小于等于预设值；

若是，将图像显著图中显著性目标区域的显著性值置为0，继续返回到用SC算法从图像显著图中提取显著性目标区域。

2.根据权利要求1所述的图像分割方法，其特征在于，所述预设值为2次。

3.根据权利要求1所述的图像分割方法，其特征在于，在将图像显著图中显著性目标区域的显著性值置为0之前，将显著性目标区域膨胀操作。

4.根据权利要求1所述的图像分割方法，其特征在于，利用HS算法将图像处理为图像显著图。

5.一种图像检索方法，包括：

利用权利要求1至4任一项所述的图像分割方法获取用户上传的图像的显著性目标区域；

获取图像的非显著性目标区域；

提供给用户检索路径的选择，即检索上传的图像、检索上传的图像中的显著性目标出现在不同场景的图像和检索与上传的图像中的非显著性目标区域类似的图像；

根据用户对检索路径的选择，返回检索结果。

6.根据权利要求5所述的图像分割方法，其特征在于，在提供给用户检索路径的选择时，提供与检索路径相匹配的样例图像。