CN105556568A

CN105556568A - 使用背景先验的测地线显著性

Info

Publication number: CN105556568A
Application number: CN201380078576.3A
Authority: CN
Inventors: Y·魏; F·文; J·孙
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2013-07-31
Filing date: 2013-07-31
Publication date: 2016-05-04
Also published as: US20160163058A1; EP3028256A4; EP3028256A1; US9697612B2; WO2015013908A1

Abstract

本文公开的是用于使用背景先验计算图像的测地线显著性的技术和系统。输入图像可以被分割成多个小片，并且可以生成与所述图像相关联的图，所述图包括结点和边。所述图的结点包括对应于所述图像的多个小片的结点加上添加到所述图的附加的虚拟背景结点。所述图还包括将结点连接到彼此的边，包括相邻小片之间的内部边以及所述图像的边界处的那些小片和所述虚拟背景结点之间的边界边。使用这种图，所述图像的每个小片的称为“测地线”显著性的显著性值被确定为从相应小片到所述虚拟背景结点的最短路径的长度。

Description

使用背景先验的测地线显著性

背景技术

人类视觉系统能够快速并准确地识别其视野中的重要区域。为了在计算机视觉中复制这种能力，已经开发出各种显著性(saliency)检测方法以在输入图像中发现具有最高视觉兴趣或重要性的像素或区域。这种“重要的”像素/区域往往携带一些语义含义，例如作为从图像背景中独立出来的图像的前景中的物体(例如，人、动物、结构等)的一部分。物体级别的显著性检测可用于各种计算机视觉任务，例如图像汇总和重新定位目标、图像缩略图的生成、图像修剪、用于图像编辑的物体分割、物体匹配和检索、物体检测和识别，仅举几例。

虽然计算输入图像的显著性的基本概念看上去是逻辑的和直接的，但是由于术语“显著性”的内在主观性，在计算机视觉领域中的显著性检测实际上相当困难。也即，对于什么使得图像的像素/区域或多或少显著的问题，其答案可以是高度主观的、没有准确定义的和应用相关的，使得显著性检测的任务相当具有挑战性。

目前用于在图像中检测显著性的技术已经试图通过使用各种“自底向上”的计算模型来解决这个问题，主要依赖于与图像的像素/区域之间的对比度有关的图像的假设(或先验(prior))。也即，目前的显著性检测算法依赖于以下假设：在图像的前景和背景中的物体之间的表现(appearance)对比度会相对较高。因此，在特定的上下文(例如，在像素/小片的局部邻域、全局地，等等)中显著的图像像素/小片(patch)将呈现高对比度。这种公知的假设在本文中有时被称为“对比度先验”。

然而，单独使用对比度先验在图像中检测显著性对于准确检测显著性来说是不够的，因为在单独使用对比度先验的各种实现中，所得到的显著性映射趋向于截然不同且不一致。在某些情况下，物体的内部衰减(attenuated)或不均匀地突出显示。在计算机视觉领域中仍然缺乏对“什么是显著性”的通用定义，并且简单地单独使用对比度先验不太可能生成准确的图像显著性映射。图1示出了在三个输入图像100和它们对应的地面真值显著物体遮片102上作比较的四个示例物体级别的显著性检测技术。如在图1中可以看出，即使对于在图1中的列100的顶部处显示的简单的输入图像(例如番茄的图像)，技术104-110产生的结果显著性映射彼此之间变化显著。在图1中显示的技术结果表明，单独使用对比度先验不足以得到输入图像的合适的显著性映射。

发明内容

本文所描述的是用于使用背景先验计算图像的测地线(geodesic)显著性的技术和系统。相对于聚焦在物体上，本文所公开的实施例聚焦在背景上，这是通过：与对比度先验同时地，利用关于在自然图像中通常背景应当看起来如何的假设(或先验)。这些背景先验自然地提供更多关于图像的显著性区域的线索。

在一些实施例中，公开了用于创建输入图像的显著性映射的系统、计算机可读介质和流程，其中该流程包括将输入图像分割成多个小片，并且生成与图像相关联的由结点和边组成的图。在一些实施例中，小片对应于由多个像素组成的图像的区域，但是该流程可以使用单个像素分割或者单个图像像素的小片来实现。图的结点包括对应于所述图像的多个小片的结点加上添加到所述图的该组结点的附加虚拟背景结点。图还包括将结点连接到彼此的边，包括相邻小片之间的内部边和在图像的边界处的那些小片与虚拟背景结点之间的边界边。使用该图，图像的每个小片的显著性值被确定为从相应的小片到虚拟背景结点的最短路径的长度(即，测地线距离)。因此，本文所公开的显著性测量有时也被称为“测地线显著性”。

提供本“发明内容”是为了以简化的形式介绍将在以下“具体实施方式”中进一步描述的一些概念。本“发明内容”并不旨在标识出所要求保护的主题的关键特征或必要特征；也不旨在用于限制所要求保护的主题的范围。

附图说明

参考附图来描述具体实施方式。在附图中，附图标记的最左边的数字标识其中附图标记首次出现的附图。在不同附图中相同的附图标记表明相似或相同的项。

图1示出了在三个不同的输入图像之间进行比较的四个示例物体级别显著性检测技术。

图2是显示(多个)输入图像和(多个)输出显著性映射的示例测地线显著性计算系统的高层示意图。

图3示出了已被分割成多个小片的示例输入图像，以及从三个示例小片中的每个到图像边界的最短路径的视觉表示。

图4示出了已被分割成多个小片、附加了虚拟背景结点的示例输入图像，其中可以确定每个小片和该虚拟背景结点之间的测地线距离。

图5示出了在所述图像边界处的每个小片的边界权重的示例确定。

图6示出了具有相对纹理化背景的输入图像，以及未使用权重裁剪的测地线显著性映射，以及另一个使用了示例权重裁剪技术的测地线显著性映射。

图7示出了根据另一个实施例的已被分割的示例输入图像，其中所述输入图像被划分成具有不规则形状的小片，称为“超像素”，其与在输入图像中的物体的轮廓基本对齐。

图8是计算图像的测地线显著性的说明性流程的流程图。

图9是权重裁剪内部边权重的说明性流程的流程图。

图10示出了实现本文所公开的测地线显著性计算的示例计算系统环境。

具体实施方式

本公开的实施例针对用于图像中的显著性检测的技术和系统以及其他一些事物，并且更具体地针对使用部分基于背景先验的测地线显著性测量来确定输入图像的物体级别显著性。本文所公开的实施例特别应用于受益于物体检测的计算机视觉应用，虽然本文所描述的应用仅作为示例被提供，而不是作为限制。正如本领域的技术人员将理解的，本文所公开的技术和系统适用于应用于各种不同类型的计算机视觉和图像处理系统中。此外，虽然主要使用自然照片或数字图像讨论输入图像，但应当理解的是，所述输入图像可以包括各种类型的图像，例如视频图像/帧或其他类型的图像，例如医学图像、红外图像、x射线图像或任何其他合适类型的图像。

本文所描述的技术和系统可以以多种方式来实现。下面参考以下附图提供了示例实现。

示例架构

图2是包括了测地线显著性计算系统202的示例环境200的高层示意图。图2显示了由测地线显著性计算系统202接收的一个或多个输入图像204和从系统202输出的一个或多个输出显著性映射206。可以使用任何合适类型的处理器实现测地线显著性计算系统202，例如作为本领域公知的适合于实现本发明的具有软件的计算机。可以被实现为测地线显著性计算系统202的示例计算系统将参考图10在下面进行更详细地描述。

测地线显著性计算系统202可以被配置为接收图像204、计算那些图像204的显著性、并且为那些图像204输出反映所计算的显著性的显著性映射206。可以通过任何合适的方式提供输入图像204，例如任何合适类型的图像捕获设备，例如照相机、医学成像设备、视频摄像机等，其可以是所述测地线显著性计算系统202的一部分，或者独立于所述测地线显著性计算系统202。在一些情况下，可以经由通信链路、磁盘驱动器、通用串行总线(USB)连接、或输入先前获得的图像204或实时获得的图像204的其他合适的输入方式接收输入图像204。

输出的显著性映射206通常与输入图像204的尺寸相同，并且它们通过显示每个图像元素处的强度值来呈现输入图像204的每个图像元素(例如，像素或像素组)的显著性(即，重要性或视觉兴趣)的视觉表示。也即，在显著性映射206中的每个点由表明图像204中的对应图像元素的显著性的数字(例如，从0到1的实数)来表示。例如，值为1的显著性值(例如，物体元素)表明该图像元素具有显著兴趣，并且它可以在视觉上被表示为具有最大强度的白色图像元素，而值为0的显著性值(例如，背景元素)表明该图像元素不具有兴趣，并且它可以在视觉上表示为具有最小强度的黑色图像元素。在0和1之间的显著性值呈梯度(在最大和最小强度之间的显著性值的谱上)，其可以表明图像元素具有一定的重要性。理想的显著性映射反映了尽可能接近的地面真值遮片(groundtruthmask)(例如，在图1的102列中所显示的地面真值遮片)。被配置为呈现显著性映射206的输出可以是任何合适的类型，例如图形用户界面(GUI)、文件或任何其他合适的输出。

在典型的场景中，由测地线显著性计算系统202所接收的输入图像204是自然图像，其包括在图像204的视野中的可以具有高视觉兴趣的一个或多个物体。参考图3，显示了示例输入图像300，其为在平面上静止的番茄的照片。这个示例输入图像300包括在图像300的中心处构成区域的物体(番茄)，图像300的其余部分是该图像300的背景。在这个示例中，背景是较大而平滑连接的区域，并且它无论如何不应当被认为是前景。换言之，背景应当总是具有为零的显著性值，表明它不是视觉兴趣的事实。

对于显著性检测，本文所公开的实施例的方法不会问显著性物体是什么，而是问相反的问题；即，图像的哪个部分不显著(即，背景是什么)？为了回答这个问题，所公开的实施例利用关于自然图像中的一般背景的两个先验(或常识)：(1)边界先验，以及(2)连通性先验。

边界先验来自于摄影构图的基本规律：大多数摄影师都不会沿着视图框修剪显著物体。换言之，图像边界最常基本上是背景；因此命名为“边界”先验。例如，图3的输入图像300包括完全包含在图像300中的物体(即，番茄)，使得其不会在边界处被修剪，因此，图像的边界是背景的一部分并且对图像300来说背景先验是有效的。不要将本文所公开的背景先验与公知的“中心先验”这种不同的先验混淆，所述“中心先验”规定图像中心更加重要。与此相反，即使当物体相对于图像偏离中心时，本文所公开的边界先验也仍然可以被满足，只要它们不在图像的边界处被修剪。换言之，显著物体可以位于图像边界附近，但根据边界先验，它们通常不会在边界处被修剪。当然边界先验也有例外情况(例如，在图像的底部边界处被修剪的人)，这将在下面进一步详细讨论，但是边界先验可用于大多数自然图像。

连通性先验来自于现实世界背景图像的表现特征，并且基于背景区域通常较大、连续、以及均匀这一概念。换言之，背景中的大多数图像区域可以容易地彼此连接。另外，连通性是以分段的方式。例如，背景中的天空和草地区域其本身是均匀的，但是在天空和草地区域之间的区域间连接是更困难的。此外，以人类感知的角度来解释背景呈现的均匀性。例如，草地中的区域看上去在视觉上都类似于人类，尽管它们的像素方面的强度可能会完全不同。连通性先验不应当与物体分割中常用的连通性先验混淆，其中以物体的空间连续性作为基础，假设了所述物体分割中常用的连通性先验。相反，本文所公开的连通性先验基于背景而不是物体的常识。在一些情况下，自然图像的背景区域失焦，由于失焦的背景自然地趋向于更加模糊和均匀，这甚至更大程度地支持了连通性先验。

记住这两个背景先验，并且考虑到在显著性检测方法中使用的已知的对比度先验，可以观察到大多数背景区域可以容易地连接到图像边界。这不能适用于物体区域，物体区域往往更加难以连接到图像边界。相应地，至少在某些情况下，图像区域的显著性可以被定义为到图像边界的最短路径的长度。

图3示出了可以在图像300中的三个小片304(1)、304(2)和304(3)(或区域)中的每个与图像边界之间确定的最短路径302(1)、302(2)和302(3)的视觉表示。可以根据各种技术通过对图像300进行分割来定义/创建小片304。图3显示了图像300被划分成266个小片304，但是小片304的数量有些任意，其有下面将更详细地讨论的理想小片尺寸。在一些实施例中，小片304对应于由多个图像像素组成的图像的区域，但是本文所公开的实施例并不限于具有多像素的小片304的实施方式，如图3中所显示的，并且可以另外地或可选地，使用包括单个图像像素的小片304来实现。

定义小片304后，可以生成图G并且将图G关联到图像300，其中图G由结点(或顶点)V和边E组成。图G的结点V包括对应于图300的多个小片304的结点。图G还包括将结点V中相邻的结点连接到彼此的边E。使用这个图G，图300的每个小片304的显著性值可以被确定为从相应小片304到图像边界的最短路径的长度，例如图3中显示的路径302(1)-(3)。

然而，图3示出的技术假设所有的边界小片(即，在图像边界处的小片304)都是背景，这并不总是切合实际，鉴于显著物体可以部分地在图像的边界上被修剪这一事实。在图4中示出输入图像400中示出了这种情况的一个说明性的示例。在图像400中，显著物体是在图像400的底部边界处被修剪的人。在这种场景中，边界小片是背景这一严格假设并不成立。它遵循从示例小片404(1)、404(2)和404(3)到图4中的图像边界的最短路径402(1)，402(2)和402(3)可能并不总是表明那些小片404的真实显著性值。例如，从小片404(2)(这恰好是物体小片)到图像边界的最短路径402(2)将具有相对较小长度(由于小片404(2)相对容易地连接到图像400的底部处的图像边界这一事实)。这将反过来导致小片404(2)的低显著性值，以表明它可能是图像400的背景，事实并非如此。

因此，本文所公开的实施例的显著性测量可以通过向图G的结点V添加虚拟背景结点(或顶点)406变得更加健壮。虚拟背景结点406可以连接到所有对应于图400的边界处的小片404的那些结点。图4显示了虚拟边界结点406仅连接到一些边界小片以减少图4的说明的凌乱性，但是应当理解的是，虚拟背景结点406可以连接到所有的边界小片。使用这种改进的图G，如在图4中视觉描绘的，图像400的每个小片404的显著性值可以被确定为从对应于相应小片404的结点到虚拟背景结点406的最短路径的长度。这种针对每个小片404的显著性的测量称为“测地线显著性”，因为它是对应于相应小片404的每个结点V与虚拟背景结点406之间的测地线距离。在这个场景中，如将参考图5在下面进行详细描述的，每个边界小片的显著性也被计算。图4显示了图像400中的小片404(1)-(3)的三个示例最短路径402(1)-(3)。通过使用由图4示出的测地线显著性测量，物体内部的所有小片404(在此情况下，人)将具有到虚拟背景结点406的类似最短路径以及因此类似的显著性。图像400的背景中的那些小片404彼此间也将具有到虚拟背景结点406的类似最短路径。

被生成用于表示图4的图像400的图G可以是无向(undirected)加权图G＝{V，E}。结点V对应于所有的图像小片{P_i}加上附加的虚拟背景结点B，使得V＝{P_i}∪{B}。边E的无向性使得每条边E不考虑任何方向感，并且由每条边E连接的两个结点V被视为可互换的，没有任何顺序的暗示。有两种类型的边E：(1)连接所有相邻小片404的内部边，以及(2)将那些位于图像边界处的小片404连接到虚拟背景结点406的边界边，使得E＝{(P_i,P_j)|P_i与P_j相邻}∪{(P_i,B)|P_i位于图像边界}。

当两个结点都关联至公共边时，它们是相邻的。边E还与权重(有时称为“标签”或“成本”，并且有时缩写为“wt.”)相关联，权重可以是实数。在一些实施例中，边E的权重可以被限制为有理数或整数。在又进一步的实施例中，边权重可以被限制为正权重。不论其形式，边权重作为在图G中即任意两个结点之间的距离的量度。也即，确定测地线距离(即最短路径)包括确定与给定小片404对应的结点V与虚拟边界结点406之间的路径，以使得其构成边E的权重的总和被最小化。

因此，可以根据等式(1)将小片P的测地线显著性计算为在图G上沿着从P到虚拟背景结点B的最短路径的累积边权重：

s a l i e n c y (P) = \min_{P_{1,} P_{2,}, ..., P_{n,}, B} Σ_{i = 1}^{n - 1} d i s \tan c e (P_{i}, P_{i + 1}) + b o u n d a r y w t . (P_{n}, B) - - - (1)

此处P_i与P_i+1相邻，并且P_n由边界边连接到B(虚拟背景结点406)。等式(1)可以被概括为“单对最短路径问题”，其中，给定无向图G的边权重，从等式(1)中的小片P到虚拟边界结点B的最短路径是路径(P₁，P₂，…，P_n，B)，对所有可能的n，将沿着从P到B的路径的关联相邻结点的边的边权重之和最小化，其中P₁＝P。边权重的最小总和是小片P与虚拟边界结点B之间的测地线距离，并且所述测地线距离被认为是这个最短路径的长度。

应当理解的是，各种算法可以被用于解决单对最短路径问题，并且等式(1)仅是找到从与给定小片404对应的结点到虚拟背景结点406的最短路径的长度的一个示例算法。一些示例的替代算法包括但不限于：在P.J.Toivanen的“Newgeodesicdistancetransformsforgray-scaleimages”中描述的近似最短路径算法(PatternRecognitionLetters17(1996)437-450)、Dijkstra算法、和以及A^*搜索算法。这样的算法对本领域的普通技术人员来说是公知的，为简明起见本文不进一步解释这样的算法。

在一些实施例中，内部边权重(即，关联与图像400的两个相邻小片404对应的相邻结点的边的权重)可以被计算为图像400的相邻小片404之间的表现距离。这个距离量度应当与人类从视觉角度上感知的两个小片的相似程度相一致；相邻小片越是相似，关联至相邻小片结点的边的内部边权重越小。另一方面，相邻小片越不相似，它们之间的边的内部边权重越大。例如，背景小片可以顺利/容易地连接到虚拟背景结点406而无需太多成本。与此相反，前景小片更难连接到虚拟背景结点406，因为前景和背景之间的视觉相异性通常是非常高的。因此，来自于图像400中的物体内部的任何路径可能要经过非常“高成本”的边，这将使从物体内部的小片到虚拟边界结点406的最短路径更昂贵。在一些实施例中，小片表现距离被当作两个小片(例如，在LAB色空间中)的平均色彩之间的差异(归一化到[0,1])或颜色直方图距离。然而，可以不改变系统的基本特性而利用任何合适的小片表现距离量度。

图5示出了在图像400的边界处的每个小片的边界边权重的示例确定。图像400的边界小片500在图5中突出显示。在一般情况下，对于给定的边界小片500的边界权重表征所给定的边界小片500有多大可能是图像400的前景(或边界小片500有多大可能不是背景)。边界权重计算解释了边界先验的例外(因为当边界先验严格有效时，所有的边界权重应当是零)以使得显著物体被检测到，即使它们接触到图像边界。因此，边界小片500越有可能是前景，边界权重越高，且将边界小片500连接到虚拟背景结点406将会越难。当显著物体被图像边界修剪时，物体上的边界小片500比在背景中的边界小片500更加显著。因此，边界边权重计算可以被视为一维的显著性检测问题。也即，仅给定图像边界小片500，每个边界小片500的显著性可以被计算为将边界小片500连接到虚拟背景结点406的边界边的权重。图5显示的仅仅是边界小片500的显著性映射502，其可以被用作边界边的边界权重。边界权重可以基于可以降为一维版本的任何合适的显著性的计算，例如在CVPR(2010)中S.Goferman、L.manor、A.Tal的“Context-awaresaliencydetection”中的算法。此外，计算相邻的边界小片500之间的表现距离可以是平均色差。

即使对于均匀的背景，简单的表现距离(例如颜色直方图距离)尽管通常小，但为非零值。这会导致“小权重累积问题”，其中具有小权重的许多内部边可以沿着从图像400中心处的小片到虚拟背景结点406的相对长的路径进行累积。这可能会在背景的中心中导致不希望的高显著性值。图6示出了具有大部分是由咖啡豆组成的相对复杂背景的示例输入图像600。该背景虽然已经纹理化，但裸眼看上去在视觉上是均匀的。图6还显示了测地线显著性映射602，其示出了小权重累积问题，其中由矩形604限定的区域显示了靠近图像600的中心的背景小片的计算出的高显著性值。这是由于沿着从这些中心小片到虚拟背景结点406的最短路径的小内部边权重的累积。

为了解决在测地线显著性映射602中示出的小权重累积问题，可以利用“权重裁剪技术”，其中如果内部边权重小于阈值，该内部边权重被裁剪或以其他方式被设置为零。本文所公开的权重裁剪技术包括确定图像的每个相邻小片之间的内部边权重，例如图6的图像600。在一些实施例中，内部边权重是相邻小片之间的表现距离，其中所述表现距离被当作两个相邻小片的平均色彩之间的差值(归一化到[0,1])。然后，对每个小片，选择到其所有邻近者最小的表现距离，并且可以设置“微不足道”的距离阈值作为图像600的所有小片的所有这样的最小距离的中间值。在一些实施例中，可以指定平均值(或均值)作为阈值。为了确定哪个内部边权重需要被裁剪为零，将每个内部边的边权重(或距离)与微不足道距离阈值作比较，并且如果内部边权重中的任一者小于该阈值，则它们被认为是微不足道的并且被裁剪为零。这样的权重裁剪技术的结果在示例测地线显著性映射606中显示。在测地线显著性映射606中，在内部边权重低于该微不足道距离阈值而被裁减为零之处，由矩形604限定的区域显示背景被正确地表示为具有低显著性值，表明该区域是背景并且不是图像600的显著性特征的一部分。

图7示出了根据另一实施例的输入图像700的示例分割，其中输入图像700可以被划分成具有不规则形状的小片。本文中这种不规则形状的小片被称为“超像素”。在图7中显示的超像素的特性是超像素小片与输入图像700中的物体的轮廓基本上对齐。图像700的这两个剪下部分702和704示出了超像素小片如何与物体(在图7的情况下，物体包括教堂尖顶的部分)的边界对齐。对于不同的实际需要，图7中显示的使用超像素的实施例可以作为为了更高精度(代替速度)的折衷来使用。也即，在图4中显示的基本上统一尺寸的矩形小片404对要求高速的应用来说可以是合适的，例如交互图像重新定位目标、针对批量图像浏览的图像缩略图生成/修剪、以及基于边框的物体提取，仅举几个示例应用。另一方面，对于要求更高精度的应用，例如物体分割，在图7中显示的超像素分割可以是合适的。本文所公开的利用超像素的测地线显著性测量更加精确，因为超像素比规则形状的小片更好地与物体和背景边界对齐，而且因此具有超像素的相邻小片之间的表现距离更加精确。然而，使用超像素慢于使用规则形状的小片(即，在几秒钟的数量级上)，所以在图7的使用超像素实施例中是有折衷的。

使用诸如图4的小片404的规则形状的小片(例如，矩形、正方形、三角形等)测量测地线显著性，在本文中有时被称为“测地线显著性(GS)网格算法”。在一些实施例中，小片404可以为在图像尺寸的1/80和1/20之间的范围内。优选地，小片尺寸可以是图像尺寸的大约1/40。对400×400像素的图像，在规则的图像网格上的10×10像素的小片尺寸是优选的。可以使用任何上述算法来计算对所有的小片404的最短路径，例如在P.J.Toivanen的“Newgeodesicdistancetransformsforgray-scaleimages”中描述的近似最短路径算法(PatternRecognitionLetters17(1996)437-450)。虽然使用这样的算法的该解决方案将是近似的，但是其与来自于矩形、统一小片404的图像网格的简单图上的精确解决方案非常接近。由于图结点的数目和顺序存储器存取(因此对高速缓存是友好的)中的其线性复杂度，这是极其快速的并且在交互图像分割中也适合使用。对中等尺寸的图像(例如，400×400)来说，利用规则形状小片404的GS网格算法大约运行在2毫秒中。

使用图7的上述超像素测量测地线显著性在本文中有时也被称为“GS超像素算法”。在一些实施例中，例如在ECCV(2010)O.Veksler，YBoykov，P.Mehrani的“Superpixelsandsupervoxelsinanenergyoptimizationframework”中描述的算法，超像素分割算法可以被利用以产生大约10×10像素的超像素。然而，应当理解的是，可以不改变系统的基本特性而使用任何合适的算法以将图像(例如图7的图像700)分割成任何合适尺寸的不规则形状的像素。此外，可以使用用于测地线显著性测量的任何合适的算法(例如Dijkstra算法)与图7的超像素来确定每个超像素小片和虚拟边界结点406之间的最短路径。

示例流程

图8和9描述了在逻辑流程图中示出为方框的集合的说明性流程，其表示可用硬件、软件或它们的组合来实现的一系列操作。在软件的上下文中，方框表示计算机可执行指令，当由一个或多个处理器执行所述指令时，执行所列举的操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。描述的操作的顺序并不旨在被解释为限制，并且任何数量的描述的方框可以以任何顺序和/或并行地组合以实现所述流程。

图8是计算图像的测地线显著性的说明性流程800的流程图。出于讨论的目的，参考图4的输入图像400(在图8的右侧显示)来描述如在图2的测地线显著性计算系统202中实现的流程800。

在802处，测地线显著性计算系统202接收输入图像，例如图4的输入图像400。在804处，该输入图像被分割成多个小片，例如图4的规则形状的小片404，并且可以生成图G来表示图400，图G为与在804处通过分割创建的多个小片对应的多个结点V，以及连接相邻结点V的边E。在其他实施例中，小片可以是不规则形状的，例如在图7中显示的超像素小片。在一些实施例中，小片是图像尺寸的大约1/40(对于400×400尺寸的图像是10×10像素的小片)。

在806处，虚拟背景结点B(诸如虚拟背景结点406)可以被添加到图G，其中所述虚拟背景结点B经由边界边连接到对应于图像边界处的小片(诸如图5的边界小片500)的结点V。在一些实施例中，对边界小片500来说，可以基于合适的显著性测量来计算边界边的边界权重。

在808处，可以由测地线显著性计算系统202将每个小片的显著性计算为到虚拟背景结点B的最短路径的长度。任何合适的算法可用于最短路径的确定，并且等式(1)的算法是示范性的。

图9是用于裁剪低于微不足道距离阈值的内部边的权重的说明性流程900的流程图。可以结合图8的流程800来执行该说明性流程900，以增强流程800并赋予靠近图像中心的背景区域以更精确的显著性测量。出于讨论的目的，参考在图6中显示的权重裁剪技术以及图2的测地线显著性计算系统202来描述流程900。

在902处，测地线显著性计算系统202可以确定在分割图像的每个小片和它邻近的小片之间的表现距离。例如，在图8的步骤804之后生成的分割的图像可以创建定义的小片，并且每个相应小片与所述相应小片邻近的那些小片之间的表现距离可以在902处被确定。

在904处，测地线显著性计算系统202可以在在902处为每个小片确定的表现距离中选择最小表现距离。也即，对给定的小片，在904处选择在给定小片和其邻近者中的每个中的最小表现距离。

在906处，收集所有在904处被选择的最小表现距离以确定来自于所有小片的最小表现距离的中间值。然后设置这个中间值为微不足道距离阈值。在908处，将在902处确定的表现距离与在906处确定的阈值进行比较，并且任何低于阈值的表现距离被裁剪或以其他方式被设置为零。

示例计算设备

图10示出了可以被用作图2的测地线显著性计算系统202的实现的代表性的系统1000。然而应当理解的是，技术和机制可以在其他系统、计算设备、以及环境中实现。系统1000可以包括根据本文所公开的实施例的可用于促进测地线显著性计算的计算设备1002。

在至少一个配置中，计算设备1002包括一个或多个处理器1004和计算机可读介质1006。计算设备1002还可以包括一个或多个输入设备1008和一个或多个输出设备1010。输入设备1008可以是照相机、键盘、鼠标、笔、语音输入设备、触摸输入设备等，并且输出设备1010可以是通信地耦合到(多个)处理器1004和计算机可读介质1006的显示器、扬声器、打印机等。输出设备1010可以被配置成便于输出或以其他方式呈现图2的(多个)显著性映射206，并且输入设备1008可以被配置成便于输入图2的(多个)输入图像204。计算设备1002还可以包括(多个)通信连接1012，其允许计算设备1002与其他计算设备1014例如经由网络或点对点连接进行通信。特别地，经由外部机制记录的输入图像204可以被从其他计算设备1014输入到(多个)通信连接1012。

计算设备1002可以具有附加的特征和/或功能性。例如，计算设备1002还可以包括附加数据存储设备(可移动和/或不可移动)，例如磁盘、光盘、或磁带。这种附加的存储设备可以包括可移动存储设备1016和/或不可移动存储设备1018。计算机可读介质1006可以包括至少两种类型的计算机可读介质1006，称为计算机存储介质和通信介质。计算机存储介质可以包括以任何方法或技术实现的用于存储信息的易失性的和非易失性的、可移动的、以及不可移动的介质，例如计算机可读指令、数据结构、程序模块、或其他数据。计算机可读介质1006、可移动存储设备1016和不可移动存储设备1018都是计算机存储介质的示例。计算机存储介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、压缩光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光学存储设备、磁带盒、磁带、磁盘存储设备或其他磁存储设备、或可用于存储所期望信息且可以由计算设备1002访问的任何其他非传输介质。任何这样的计算机存储介质都可以是计算设备1002的一部分。另外，计算机可读介质1006可以包括计算机可执行指令，当由(多个)处理器1004执行所述指令时，执行本文描述的各种功能和/或操作。

与此相反，通信介质可以体现计算机可读指令、数据结构、程序模块、或调制数据信号中的其他数据例如载波、或其他传输机制。如本文所定义的，计算机存储介质不包括通信介质。

计算设备1002的计算机可读介质1006可以存储操作系统1020、测地线显著性计算引擎1022与它的各种模块和部件，并且可以包括程序数据1024。测地线显著性计算引擎1022可以包括如本文所描述的将输入图像分割成多个小片的图像分割模块1026、如本文所描述的用于生成带有小片结点V和虚拟边界结点B以及其间的边E的图G的图生成器1028、如本文所描述的用于将低于阈值的内部边权重裁剪为零的权重裁剪模块1030、以及用于计算所述多个小片中的每个的显著性值(为到虚拟背景结点B的最短路径)的显著性计算模块1032。

本文所描述的环境和单独的元件当然可以包括许多其他的逻辑、编程、和物理部件，其中那些在附图中显示的仅是与本文所讨论的相关的示例。

本文中所描述的各种技术被假定在给定的示例中，其被实现在计算机可执行指令或软件(例如程序模块)的一般上下文中，所述程序模块存储在计算机可读存储设备中并且由所述一个或多个计算机的(多个)处理器或由如在附图中示出的那些的其他设备来执行。通常，程序模块包括例程、程序、对象、部件、数据结构等，并且定义用于执行特定任务或实现特定抽象数据类型的操作逻辑。

其他结构可以用于实现所描述的功能，并且旨在落在本公开的范围之内。此外，虽然出于讨论的目的在上面定义了具体的职责分布，各种功能和职责可能根据情况以不同的方式分布和划分。

类似地，可以以不同方式以及使用不同手段存储和分布软件，并且如上所述的特定软件存储和执行配置可以以许多不同的方式改变。因此，实现上面所描述技术的软件可以被分布在各种类型的计算机可读介质上，并不限于所具体描述的存储器形式。

结论

最后，虽然已经以针对结构特征和/或方法动作特定的语言描述了各种实施例，但是应当理解的是，在所附的表示中定义的主题不必限于所描述的具体特征或动作。相反，这些具体特征和动作被公开作为实现所要求保护主题的示例形式。

Claims

1.一种方法，包括：

由一个或多个处理器(1004)将具有图像像素的阵列的图像(204)分割成多个小片(404)，每个小片包括所述图像像素中的一个或多个图像像素；

生成所述图像(204)的图，所述图包括一组结点和将所述结点连接到彼此的一组边，所述一组结点包括对应于所述多个小片(404)的多个小片结点和虚拟背景结点(406)；

计算从每个小片(404)到所述虚拟背景结点(406)的最短路径(402)的长度；

指定相应的长度作为每个小片(404)的显著性值以用来创建所述图像(204)的显著性映射(206)。

2.如权利要求1所述的方法，其中所述一组边包括相邻小片结点之间的内部边以及所述图像(206)的边界处的小片结点和所述虚拟背景结点(406)之间的边界边。

3.如权利要求2所述的方法，其中所述内部边与内部边权重相关联，并且所述边界边与边界边权重相关联。

4.如权利要求3所述的方法，其中所述的计算从每个小片(404)到所述虚拟背景结点(406)的最短路径(402)的长度包括：沿着到所述虚拟背景结点(406)的所述最短路径(402)，对所述内部边权重中的一个或多个内部边权重和所述边界边权重中的一个边界边权重进行加和。

5.如权利要求3所述的方法，其中所述内部边权重每个均是对相邻小片(404)之间的表现距离的量度，并且所述边界边权重每个均是对以下的量度：在所述图像(204)的所述边界处的小片不在所述图像(204)的背景中的可能性。

6.如权利要求5所述的方法，还包括：

针对所述多个小片(404)中的每个：

确定所述小片(404)和与所述小片(404)邻近的每个小片(404)之间的表现距离；以及

在所确定的表现距离之中选择最小表现距离；以及

根据针对所述多个小片(404)选择的所述最小表现距离，指定所述最小表现距离的中间值作为阈值；以及

针对与低于所述阈值的表现距离相关联的内部边权重中的任何内部边权重，将所述内部边权重设置为零。

7.如权利要求1所述的方法，其中所述多个小片(404)具有基本规则的形状和基本统一的尺寸。

8.如权利要求1所述的方法，其中所述多个小片(404)基本上是矩形。

9.如权利要求1所述的方法，其中所述多个小片(404)在形状上基本上是不规则的，并且所述多个小片(404)中的至少一些小片具有与所述图像(206)中的物体的轮廓基本对齐的边缘。

10.一种系统，包括：

一个或多个处理器(1004)；

一个或多个存储器(1006)，包括：

图像分割模块(1026)，其在所述一个或多个存储器(1006)中保持，并且能够由所述一个或多个处理器(1004)执行以将图像(204)分割成多个小片(404)；

图生成器(1028)，其在所述一个或多个存储器(1006)中保持，并且能够由所述一个或多个处理器(1004)执行以生成所述图像(204)的图，所述图包括一组结点，所述一组结点包括对应于所述多个小片(404)的多个小片结点和虚拟背景结点(406)；

显著性计算模块(1032)，其在所述一个或多个存储器(1006)中保持，并且能够由所述一个或多个处理器(1004)执行以针对所述多个小片(404)中的每个小片将显著性值计算为从所述小片(404)到所述虚拟背景结点(406)的最短路径(402)的长度。

11.如权利要求10所述的系统，还包括输出设备(1010)，其输出针对所述多个小片(404)中的每个小片的所述显著性值，作为所述图像(204)的显著性映射(206)。

12.如权利要求10所述的系统，其中所述图还包括一组边，所述一组边包括相邻小片结点之间的内部边以及所述图像(206)的边界处的小片结点和所述虚拟背景结点(406)之间的边界边，并且其中所述内部边与内部边权重相关联并且所述边界边与边界边权重相关联。

13.如权利要求12所述的系统，还包括权重裁剪模块(1030)，其在所述一个或多个存储器(1006)中保持，并且能够由所述一个或多个处理器(1004)执行以将所述内部边权重与阈值进行比较，并且，针对低于所述阈值的所述内部边权重中的任何内部边权重，将所述内部边权重设置为零。

14.如权利要求13所述的系统，其中所述阈值被确定为：所述多个小片(404)中的每个小片和邻近小片(404)之间的多个最小表现距离的中间值。

15.如权利要求12所述的系统，其中所述内部边权重每个均是对相邻小片(404)之间的表现距离的量度，并且所述边界边权重每个均是对以下的量度：在所述图像(204)的所述边界处的小片不在所述图像(204)的背景中的可能性。

16.一个或多个存储有计算机可执行指令的计算机可读介质(1006)，当执行所述计算机可执行指令时，使一个或多个处理器(1004)执行动作，所述动作包括：

将图像(204)分割成多个小片(404)；

生成所述图像(204)的图，所述图包括一组结点，所述一组结点包括对应于所述多个小片(404)的多个小片结点和虚拟背景结点(406)；以及

针对所述多个小片(404)中的每个小片，将显著性值计算为从所述小片(404)到所述虚拟背景结点(406)的最短路径(402)的长度。

17.如权利要求16所述的一个或多个计算机可读介质(1006)，其中所述图还包括一组边，所述一组边包括相邻小片结点之间的内部边以及所述图像(206)的边界处的小片结点和所述虚拟背景结点(406)之间的边界边，并且其中所述内部边与内部边权重相关联并且所述边界边与边界边权重相关联。

18.如权利要求17所述的一个或多个计算机可读介质(1006)，所述动作还包括：通过沿着到所述虚拟背景结点(406)的所述最短路径(402)对所述内部边权重中的一个或多个内部边权重和所述边界边权重中的一个边界边权重进行加和，确定所述最短路径(402)的所述长度。

19.如权利要求17所述的一个或多个计算机可读介质(1006)，所述动作还包括：

将所述内部边权重与阈值进行比较，以及

针对低于所述阈值的所述内部边权重中的任何内部边权重，将所述内部边权重设置为零。

20.如权利要求16所述的一个或多个计算机可读介质(1006)，其中所述多个小片(404)在形状上基本上是不规则的，并且所述多个小片(404)中的至少一些小片具有与所述图像(206)中物体的轮廓基本对齐的边缘。