CN107103084A - 一种质量保证的渐进式并行图像检索方法 - Google Patents

Abstract

一种质量保证的渐进式并行图像检索方法，涉及图像检索。提供能在保证检索性能的前提下，检索结果更准确，更符合用户意图，质量更高，以便用于进一步数字内容创作的一种质量保证的渐进式并行图像检索方法。数据准备；标签过滤；对象清晰度过滤；对象可分离度过滤；场景元素分割；轮廓匹配。针对现有图像检索方法存在的检索不准确，无法符合用户预期，且针对海量图像数据库检索性能低的问题，提出了一种质量保证的渐进式并行图像检索方法，并且可以保证检索结果的图像质量。算法明确、结果鲁棒、检索结果准确且性能较高。在产业化后可以极大的图像检索的效率和质量，同时检索结果质量高，可用于进一步的数字内容创作，促进数字内容创作市场发展。

Description

一种质量保证的渐进式并行图像检索方法

技术领域

本发明涉及图像检索，尤其是涉及到一种质量保证的渐进式并行图像检索方法。

背景技术

图像设备(如数码相机、手机)的普及，使得人们可以轻松地获取高分辨率的图像。数据驱动的图像分析和编辑方法变得越来越受欢迎，然而图像数据的爆炸性增长也带来了许多挑战，其中之一就是如何帮助用户在海量的图像数据库中检索出期望的图像。传统的通过文本标签来查询是常用的一种方式，然而这种方式不仅需要为每一张图像打上标签，而且不太准确，不能很好地表达用户真实的想法。因此人们倾向于通过各种线索来基于内容查询，比如样例图、粗略模糊的图像颜色块，简单的轮廓草图。

基于内容的图像检索是一个很有价值同时又非常具有挑战的研究(如Yong R,Huang T S,Chang S F.Image Retrieval:Current Techniques,Promising Directions,and Open Issues[J].Journal of Visual Communication&Image Representation,1999,10(1):39-62.)早期学者们用样例图像作为查询的线索(如Hirata K,Kato T.Query byVisual Example,Content based Image Retrieval[C],Advances in DatabaseTechnology-Edbt'92,International Conference on Extending Database Technology,Vienna,Austria,March 23-27,1992,Proceedings.1992:56-71.)。但是用户往往无法提供一个合适的足够表达他们要表达的意思的图像，因为这本身就是用户搜索的目的。因此更自然的是让用户通过绘制他想要搜索的结果的轮廓，这也就是基于轮廓草图的图像检索(如Bimbo AD,Pala P.Image retrieval by elastic matching of user sketches[J].Pattern Analysis&Machine Intelligence IEEE Transactions on,1997,19(2):121-132.)。虽然基于草图的方法让用户不必关心精确度、方向、尺寸、纹理和颜色等，其他一些学者提出了多条件的包括基于内容和文本不同程度混合的方法(如Ster T,Pfeiffer M,Bauckhage C.Combining speech and haptics for intuitive and efficientnavigation through image databases[C],International Conference on MultimodalInterfaces.ACM,2003:180-187)。Kaster等人描述了一个多模式系统，包括用手势和语音来查询和交互反馈。

虽然多线索结合的方法已经引起许多学者的注意，这种方法可以有效地提高准确率，但是这仍然带来另一个问题，那就是需要消耗额外的时间来匹配每一种线索。除此之外，针对于海量的图像数据库，性能也是不容忽视的另一个问题。一些学者选择将关键的步骤进行并行处理，比如用GPU，但是图像数据库一般是分布式存储在多台机器上，这种集中式的机制将导致巨大的数据传输，从而可能使得网络崩溃或者是很高的传输时间代价。MapReduce框架的出现，提供了另一种方式的并行化处理。MapReduce是一种最初由谷歌提出来的并行计算框架(Dean J,Ghemawat S.MapReduce:Simplified Data Processing onLarge Clusters.[J].Communications of the Acm,2008,51(1):107-113.)，用来通过一个普通机器集群来处理海量的数据。受高级函数式编程语言的启发，MapReduce提供了一个抽象的方法，然后让程序员自己去实现“mapper”(特定的记录的计算)和“reducer”(特定的结果的聚合)。这个框架将透明地在集群上执行其它的步骤，包括调度、故障处理等。这种方式被成功地应用到许多应用中，比如各种各样的计算机视觉任务(如Moise D,ShestakovD,Gudmundsson G,et al.Indexing and searching 100M images with map-reduce[C],ACM Conference on International Conference on Multimedia Retrieval.ACM,2013:17-24.)，场景渲染(如Stuart J A,Chen C K,Ma K L,et al.Multi-GPU volumerendering using MapReduce[C],The,ACM International Symposium.2010:841-848.)以及医学领域(如Markonis D,Schaer R,Eggel I,et al.Using MapReduce for Large-Scale Medical Image Analysis[C],IEEE Second International Conference onHealthcare Informatics,Imaging and Systems Biology.2012:1-1)等。

目前市场上存在的图像检索方法存在着各种各样的问题，实用性较低，并且无法保证检索结果的图像质量。主要的有三个原因：1、文本或单一的图像特征无法准确地描述一个图像，不能够很好地反映用户的真实想法。2、多线索的检索中每种图像特征线索的查询都是比较耗时的过程，多线索融合会导致查询性能低，因此变得不实用。3、没有对检索结果进行图像质量的保证，使得无法很好地应用于进一步的图像分析和编辑任务。

发明内容

本发明的目的在于解决现有图像检索中存在的两个难点问题，提供能在保证检索性能的前提下，检索结果更准确，更符合用户意图，质量更高，以便用于进一步数字内容创作的一种质量保证的渐进式并行图像检索方法。

本发明包括以下步骤：

1)数据准备；

2)标签过滤；

3)对象清晰度过滤；

4)对象可分离度过滤；

5)场景元素分割；

6)轮廓匹配。

在步骤1)中，所述数据准备的具体方法可为：对每张图像通过众包等方式打上5个标签，将图像数据和标签数据存储在Hadoop分布式文件系统上，所述Hadoop分布式文件系统简称为HDFS。

在步骤2)中，所述标签过滤的具体方法可为：通过Map操作将查询文本分发给每个集群机器，让它们在本地的文件系统中进行标签匹配，通过Reduce操作收集所有匹配的候选图像，返回图像文件名，再通过Map操作将用户输入的查询轮廓和候选图像文件名分发给每个集群机器。

在步骤3)中，所述对象清晰度过滤的具体方法可为：计算每张候选图像的显著性值，并保留每张候选图片中前S个面积最大的显著性对象；对每个显著性对象从三分点、对角线准则和视觉平衡三个美学标准来评价，过滤掉不符合美学标准的对象。

在步骤4)中，所述对象可分离度过滤的具体方法可为：通过每个显著性对象边缘的梯度信息判断其边界是否明显，通过显著性对象周围区域聚类的分块数量衡量其背景的复杂性，过滤掉边界清晰度低或背景复杂的对象。

在步骤5)中，所述场景元素分割的具体方法可为：对于每个剩余的图像，通过grab-cut算法将场景元素分割出来，并且对高显著性区域进行形态学扩张。

在步骤6)中，所述轮廓匹配的具体方法可为：衡量用户绘制的轮廓和场景元素轮廓之间的一致性，首先将用户绘制的轮廓通过形态学闭包运算转换成封闭的区域，然后用形状上下文法来衡量两个轮廓的一致性。

由于针对海量图像素材库并且步骤2)～6)都是计算量较大的任务，因此将整个流程都通过MMapReduce框架实现并行化，以提高检索性能。

本发明针对现有图像检索方法存在的检索不准确，无法符合用户预期，且针对海量图像数据库检索性能低的问题，提出了一种质量保证的渐进式并行图像检索方法，并且可以保证检索结果的图像质量。本发明算法明确、结果鲁棒、检索结果准确且性能较高。该方法在产业化后可以极大的图像检索的效率和质量，同时检索结果质量高，可用于进一步的数字内容创作，促进数字内容创作市场发展。

附图说明

图1为本发明实施例整体流程图。

图2为本发明实施例显著性对象清晰度过滤流程图。

图3为本发明实施例显著性对象可分离度过滤流程图。

具体实施方式

一种质量保证的渐进式并行图像检索方法：首先从在线分享网站或者众包获取图像以及一组描述图像特征的标签，构建图像素材数据库，然后根据用户输入的查询文本与图像标签进行匹配，进行文本过滤。对标签匹配的候选图像进行显著性过滤，计算图像显著性值，进一步地获得图像的显著性区域并保留每张候选图片中前S个显著性对象。然后对每个显著性对象从三分点，对角线准则，视觉平衡三个美学标准来评价，过滤掉不符合美学标准阈值的部分；接着计算每个显著性对象的边界可分离度并过滤掉可分离度低的对象，对剩余的对象扩张周围区域并计算此区域的分块数量数量越大表示复杂度越高，然后过滤掉复杂度过高的图像(分块数量大于b)。对于每个剩余的图像，将场景元素分割出来，并且对高显著性区域进行形态学扩张。最后衡量用户绘制的轮廓和场景元素轮廓之间的一致性。然后将最符合用户意图的结果返回。具体流程参见图1～3。由于针对海量图像素材库并且检索的线索大都是基于图像内容，计算量大耗时多，所以将整个流程都通过mapreduce框架实现并行计算，以提高检索性能。

本发明实施的关键有两点：质量保证的渐进式图像检索流程的设计、基于MapReduce的算法并行化。下面具体介绍关键的实现细节：

1、质量保证的渐进式图像检索流程设计

通过文本标签来查询是最简单，效率最高的方式。但是这种方式需要为每一张图像打上标签，并且不能准确地对一个图像的特征如颜色、轮廓等进行描述，因此基于内容查询是比较合适的方式，比如样例图、粗略模糊的图像颜色块，简单的轮廓草图。样例图存在一个问题就是用户往往很难找到合适的包含预期特征的图像。粗略模糊的预期图像颜色被人们作为一个替代的方法，然而这种方法缺少形状描述能力，因此很难搜索出满足用户预期形状的图像。基于草图的方法提供了一种更为简单和快速的检索用户预期形状的特定图像的方式，然而基于草图的检索的成功很大程度上依赖于用于查询的轮廓草图的质量。因此仅仅使用上述的某种方法，人们总是会在某些情况下很难准确地表达他们的意愿。因此多线索结合是一种比较有效的方式。本发明利用文本查询、图像显著性、图像复杂度、轮廓形状等特征作为查询的线索，并依此设计了一种渐进式的查询策略。

注意到在许多应用中尤其是数字内容创作，检索得到的结果不仅要求准确而且要有较高的质量。检索得到的元素应该足够的清晰，因此它通常是一幅图像的显著性区域。而且背景也要较为清楚这样前景才能够更好地被分离出来。基于这些观察，采用一种渐进式策略：从最快的文本匹配开始，以最耗时的轮廓匹配结束。首先通过用户输入的查询文本和图像标签比较从数据库中找出候选图像。然后这些候选图像通过一系列的质量过滤，排除那些不适合用于进一步创作的。最后，使用grab-cut算法分割出场景元素，然后用形状上下文方法在用户草图和候选场景元素轮廓之间执行轮廓匹配，并返回给用户最匹配的前n个结果。这种策略的优势主要有两方面：(1)提前迅速地排除许多不适合的候选图片，从而大大地提高了系统的性能和可扩展性；(2)可以得到高质量的检索结果，以便用于进一步的数字内容创作。

在许多应用中，尤其是在数字内容创作领域，检索的结果不仅要求准确而且要高质量。也就是检索到的元素要足够清晰，因此它通常是图像中显著的部分；背景应足够干净以便前景元素可以很容易分离出，等等。将这些要求分成了两类标准：对象清晰度和对象可分离度。

对象清晰度

注意到，在原始图像中显著的对象通常有更高的可能性是明确的。因此，使用一种常见的显著性检测方法来计算图像的显著性，然后收集那些由显著性值大于一个给定的阈值S_t的连续像素组成的显著性对象O_k。对于每个高显著性区域，根据以下公式来给定一个显著性得分，以此来反应它在图像中的显著性程度：

其中N_k是这个显著性对象O_k所包含的像素个数，S_i是像素p_i的显著性值。根据显著性得分来排序图像的高显著性区域，，然后选取前K个区域(在的实现中k＝3)用于进一步的处理。注意到，在由专业人士拍摄的图像中，通常这些显著性对象会符合一定的美学组合规则。虽然一般用户可能不遵循这些规则，但他们也往往把这些显著的对象放在一些显眼的地方(比如中心位置)。在的算法中，考虑了三种常见的组合规则。

(1)三分法则

三分法则认为图像被两条等分的空间水平线和两条这样的垂直线分成了9个相等的部分。显著性对象偏向于被放置在由这些线条组成的交叉点(能量点)或者图像的中心位置。定义这条准则的美学得分为显著性对象的中心位置到四个能量点和图像中心的最小归一化距离：

(2)对角线法则

除了三分线，图像对角线(能量线)也有美学意义。重要的元素偏向于沿着这些对角线放置，并且两个显著性对象的连线也应该沿着其中一条对角线。为了计算显著性对象O_m的相关能量，首先找出这个对象与图像中其它显著性对象O_n的连线l_mn。然后对角线能量E_dia被定义为这些连线到两条对角线L₁和L₂的最小距离:

其中d_a(l_mn,L_i)＝1-|(l_mn·L_i)|是l_mn和L_i之间的角距离，由它们之间夹角的余弦值来定义。d_e(l_mn,L_i)是l_mn和L_i之间的欧式距离，由它们的中点之间的距离来定义。

(3)视觉平衡

显著性对象均匀分布在中心周围以达到视觉平衡。使用所有显著性对象的重心到图像中心的归一化距离作为视觉平衡值：

其中c_m＝∑_iN_ic_i表示所有显著性对象O_i的面积加权中心，N_i是这个显著性对象O_i所包含的像素个数，c_i则是这个显著性对象的中心位置。

对于每一个显著性对象，计算由三种组合规则对应的得分，并将这三个得分的最小值作为这个显著性对象的美学得分E_aes:

E_aes＝min(E_3rd,E_dia,E_bal)

通过以上公式计算的美学得分，得分越高，说明越不符合美学标准。考虑到图像来源的多样性，通过设置一个更大的阈值来对审美标准采取相对宽松的约束。当一个显著性对象的美学得分E_aes＞0.9将被过滤掉。

对象可分离度

通常需要将前景对象与背景分开以便于进一步的编辑。具有清晰的边界的对象更容易被分离出来，并且被复杂的背景所环绕的对象更难被分割出来。首先计算感兴趣的显著性对象O_k的包围矩形，然后这个包围矩形被进一步扩大1.5倍。从这个矩形的四个角开始，往里泛洪收集一个所有像素的显著性值都小于阈值α·S_t(在的实现中α＝1.1)的连续区域，即“周围背景区域”B。

评估对象的边界清晰度的基本思想是首先识别所有潜在的边界像素p∈B，这些像素都对应一个置信值C_p。对象边界置信值被定义为这些置信值的归一化和：

其中N_b＝|B|，即边界像素个数。E_co_n＜0.3的对象则被过滤掉。通过非极大值抑制算子，图像I中的局部最大值标记为潜在的边界像素。具体的，图像I通过一个二维的二阶偏微分高斯卷积核卷积，当像素满足以下条件则被标记为边界像素：

其中*表示卷积，

是一个二维的高斯函数，

是被检测到边缘的方向法线。而边界像素p对应的置信值定义为：

C_p＝|▽(G*I)|

同时还注意到清晰的背景通常由大的均匀区域组成。因此，使用一个标准的分割算法来分割图像，并根据区域数N_seg来判别对象包围背景的复杂度。区域数大于10的对象将被过滤掉。

2、基于MapReduce的算法并行化

多线索结合的检索方法可以有效地提高准确率，但是这需要消耗额外的时间来匹配每一种线索，导致可用性与用户体验度降低。一些学者选择将关键的步骤进行并行处理比如用GPU，但是图像数据库一般是分布式存储在多台机器上，这种集中式的机制将导致巨大的数据传输，从而可能使得网络崩溃或者是很高的传输时间代价。

基于这些问题，提出了一种基于mapreduce框架下的层级的多线索检索方法——一种质量保证的渐进式并行图像检索方法，来达到高性能的检索。首先通过文本标签、显著性特征、美学得分、对象边界可分离度和背景噪声来筛选图像，最后执行耗时的轮廓匹配以找到所需的结果。所有的这些步骤都通过mapreduce框架来计算。

整个处理流程分成两阶段：阶段#1获取图像标签与查询文本相匹配的候选图像；阶段#2处理剩余的任务包括显著性过滤、美学得分计算、显著性对象可分离度和背景复杂度过滤、显著性场景元素分割和轮廓匹配。每个阶段都包含一个map和reduce模块。

每个图像都对应一个标签文件用来存储描述这个文件用的一系列标签。将图像数据和标签文件同时存储在HDFS上。

阶段#1:这是一个只有map的作业，每个节点被分配一个任务来判断是否有某个图像的标签与查询文本相匹配，如果有匹配的则返回标签对应的图像文件名。具体见算法1所述。

算法1：获取图像标签与查询文本匹配的候选图像

阶段#2:在这个阶段，首先计算输入图像的显著性值并检测显著性区域，然后过滤出那些满足质量标准的显著性区域，然后分割出显著性区域从而获得边界轮廓；最后计算显著性区域与用户绘制的轮廓的匹配一致性得分，并将最匹配的结果返回给用户。具体的见算法2所述。

算法2:从候选图像中判别出满足质量标准和匹配用户轮廓的前n个结果

Claims (8)

1.一种质量保证的渐进式并行图像检索方法，其特征在于包括以下步骤：

1)数据准备；

2)标签过滤；

3)对象清晰度过滤；

4)对象可分离度过滤；

5)场景元素分割；

6)轮廓匹配。

2.如权利要求1所述一种质量保证的渐进式并行图像检索方法，其特征在于在步骤1)中，所述数据准备的具体方法为：对每张图像通过众包方式打上5个标签，将图像数据和标签数据存储在Hadoop分布式文件系统上。

3.如权利要求2所述一种质量保证的渐进式并行图像检索方法，其特征在于所述Hadoop分布式文件系统简称为HDFS。

4.如权利要求1所述一种质量保证的渐进式并行图像检索方法，其特征在于在步骤2)中，所述标签过滤的具体方法为：通过Map操作将查询文本分发给每个集群机器，让它们在本地的文件系统中进行标签匹配，通过Reduce操作收集所有匹配的候选图像，返回图像文件名，再通过Map操作将用户输入的查询轮廓和候选图像文件名分发给每个集群机器。

5.如权利要求1所述一种质量保证的渐进式并行图像检索方法，其特征在于在步骤3)中，所述对象清晰度过滤的具体方法为：计算每张候选图像的显著性值，并保留每张候选图片中前S个面积最大的显著性对象；对每个显著性对象从三分点、对角线准则和视觉平衡三个美学标准来评价，过滤掉不符合美学标准的对象。

6.如权利要求1所述一种质量保证的渐进式并行图像检索方法，其特征在于在步骤4)中，所述对象可分离度过滤的具体方法为：通过每个显著性对象边缘的梯度信息判断其边界是否明显，通过显著性对象周围区域聚类的分块数量衡量其背景的复杂性，过滤掉边界清晰度低或背景复杂的对象。

7.如权利要求1所述一种质量保证的渐进式并行图像检索方法，其特征在于在步骤5)中，所述场景元素分割的具体方法为：对于每个剩余的图像，通过grab-cut算法将场景元素分割出来，并且对高显著性区域进行形态学扩张。

8.如权利要求1所述一种质量保证的渐进式并行图像检索方法，其特征在于在步骤6)中，所述轮廓匹配的具体方法为：衡量用户绘制的轮廓和场景元素轮廓之间的一致性，首先将用户绘制的轮廓通过形态学闭包运算转换成封闭的区域，然后用形状上下文法来衡量两个轮廓的一致性。