CN102099829B - 测地图像和视频处理 - Google Patents

Abstract

本发明提出了一种测地图像和视频处理方法。在一实施例中，方法使用一测地距离变换来构造一图像滤波器。滤波器能用于多种图像编辑操作，例如分割、去噪声、纹理平滑、以及图像缝合和卡通化。在一个实施例中，通过使用算法并行性在至少两个处理核上同时实现处理步骤，可以使方法有效。该效率使得能够以“实时”的速率处理高分辨率的图像和视频，而无须专门的硬件。

Description

测地图像和视频处理

背景

有各种已知的图像和视频处理技术，例如分割允许图像中的对象在用户输入后和/或自动地被分开。例如，这允许图像中的前景对象被标识并且与背景分开，有可能使它能相对于可替代的背景而放置。其他技术使用类似的原理来执行去噪声、全景缝合、或者来添加诸如卡通、平滑等效应。许多图像处理技术使用了计算上昂贵的能量最小化技术。这些技术假设图像或视频的某些特征(例如，对象的相邻像素应当类似)。

以下描述的各实施例不限于解决已知图像和视频处理技术的缺点中的任一个或全部的实现。

发明内容

下面提供本发明的简要概述以便向读者提供基本的理解。本概述不是本发明的详尽概观，并且既不标识本发明的关键/重要元素，也不描绘本发明的范围。其唯一目的是以简化形式提供在此公开一些概念作为稍后提供的更详细描述的序言。

提出了一种测地图像和视频处理方法。在一实施例中，方法使用一测地距离变换来构造一图像滤波器。滤波器能用于多种图像编辑操作，例如分割、去噪声、纹理平滑、图像缝合以及卡通化。在一个实施例中，通过使用算法的并行性在至少两个处理核上同时实现处理步骤，可以使方法有效。该效率使得能够以“实时”的速率处理高分辨率的图像和视频，而无须专门的硬件。

许多附带特征将随着参考下面的详细描述并结合附图进行理解而得到更好的认识。

附图说明

根据附图阅读以下详细描述，将更好地理解本发明，在附图中：

图1是图像；

图2示出了图1的图像具有用户施加的画笔笔画；

图3示出从图1的图像产生的输入蒙版；

图4示出使用测地算法产生的蒙版；

图5示出用于产生图4的蒙版的方法的流程图；

图6示出用于处理视频连续镜头的方法的流程图；

图7示出使用用户交互来改进图像分割的方法的流程图；以及

图8示出可在其中实现图像处理的实施例的示例性的基于计算的设备。

附图中使用相同的附图标记来指代相同的部分。

详细描述

下面结合附图提供的详细描述旨在作为对本发明的示例的描述，而非表示用于构造或利用本发明的示例的唯一形式。本说明书阐述各示例的功能以及用于构造和操作各示例的步骤序列。然而，相同或等效的功能与序列可由不同的示例来实现。

虽然在本文中将本发明的示例描述并示出为在家用计算机设备中实现，但是所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将理解，本示例适于在各种不同类型的计算系统中应用。

执行图像的自动分割的程序是已知的。一些这样的方法使用马尔可夫随机场(MRF)，它把图像分成多个像素。简言之，这些技术如下工作：

被分割的图像上方的一个理论点被指定为源(通常用字母s指定)，场下方的点被指定为宿(通常用字母t指定)。理论上“T条链接(T-links)”把每个像素连接至源和宿。每个像素还通过“M条链接”连接到其相邻像素的每一个。对于黑白8位图像而言，每个像素可以用0到255(即，有256个亮度级)内的亮度来标识。像“图形剪切(graph-cut)”或“最小剪切(min-cut)”这样的过程试图根据以下表达式找到最小能量：

$E=\underset{i}{\mathrm{\Σ}}{U}_i+\underset{\mathrm{ij}}{\mathrm{\Σ}}{V}_{\mathrm{ij}}.$

其中U表示能量的像素方面的一元系(如本领域技术人员熟知，一元系在数学上用似然性来定义)，V表示像素i和相邻像素j之间的成对项。

在双层分割任务中，源和宿的每一个都或者与背景相关联或者与前景相关联。这可以在实践上例如用户用他或她的计算设备的鼠标来向图像应用“画笔笔画”以做出标记来实现。以在白色背景上包含黑色圆圈的图像为例，黑色圆圈用一画笔笔画被指定为前景，白色则用第二画笔笔画指定为背景。如果源被链接到前景，黑色像素就会有低的U，白色像素就会有高的U。如果相邻的像素彼此间非常不相似，那么V就很大，如果相邻像素间没有变化，则V为零。图形剪切(graph-cut)选择了图像的一个区域并且计算能量E。这可以表示为“如果该区域全部是前景，则与其相关联的能量为X”。当正确地标识了前景时，能量X为其最小值。

这样的方法通过测试每一个可能的分割来找到全局最小值。可以容易地理解，分割的数量对于高分辨率的图像而言显著地增加，如果考虑到视频，则需要强有力的处理器来跟上帧的变化，因为每个帧必须被单独检查而这又超出了标准计算设备的能力。因此，基于图形剪切的技术并不能很好地按比例增加，这限制了将它们应用于高分辨率图像以及视频。

此外，以上所述的技术假定对象中的相邻像素具有相似的外观(例如，亮度级或色彩统计量)。实际上，一些对象可能有非常可变的外观。例如，考虑日光照射的树的图像。树叶会让光线通过而树枝遮挡光线，但是树叶和树枝都是同一个对象的组成部分。同样，当处理具有狭小元素的复杂对象时，这些元素可能会被不正确地标识为“噪声”，特别是在它们被背景对象的像素所包围(或几乎包围)时，因此这些元素可能会被不正确地分配给背景对象。此外，由于图形剪切算法的自身结构，该算法不适用于容易的并行化。

以下所述的处理方法通过使用距离变换，考虑了所有可能的分割的一个受限制的、“切合实际的”子集。

现在参照图1到4所示的图像以及图5的流程图来描述图像中的距离变换。图1示出飞机102进入并在飞机跑道上降落的图像100。除了飞机跑道之外，还有棵树104；背景中可以看见太阳106和云108。

该例中第一级(框502)的图像处理是获取用户输入来指定前景和背景。如图2所示，这通过用户把“画笔笔画”202、204置于图像100上来实现。在其他例子中，如对本领域技术人员熟悉的，前景、背景或其他对象可以通过其他方式的用户交互或使用自动技术来指定。

一旦指定了前景和背景，则产生蒙版300(框504)，蒙版300包括与前景对象的形状近似对应的蒙版对象302，如图3所示。同样，有各种已知的产生蒙版的技术，可以采用任何一种。

蒙版对象302外的每个像素被评估以确定它是属于前景对象还是属于背景(框506)。在一些已知的方法，这可以线性地实现，即，像素是前景对象一部分的机会随着它距蒙版对象302边缘的距离线性地下降。在现在公开的方法中，不仅基于像素的空间距离而且基于图像梯度赋予每个像素一个权重，这因此引入了边缘评估，因为图像梯度(即，像素质量的变化，例如亮度、色彩等)在对象边缘处会较高。在以下公式中，因子γ对图像梯度对空间距离的贡献加权。术语“测地距离”一般用于指示任何加权的距离。

给定图像I，定义蒙版对象302Ω的蒙版

其中

则每个像素x距Ω的无符号测地距离被定义为：

$D(x:M,\▿I)=\underset{x^{\′}\∈\mathrm{\Ω}}{\min }d(x,x^{\′}),$ 其中

$d(a,b)=\underset{\mathrm{\Γa},b}{\min }{\∫}_0^1\sqrt{{\left|\stackrel{\·}{\mathrm{\Γ}}\left(s\right)\right|}^2+{\mathrm{\γ}}^2{(\▿I.\stackrel{\·}{\mathrm{\Γ}}\left(s\right)/|\stackrel{\·}{\mathrm{\Γ}}\left(s\right)\left|\right)}^2}\mathrm{ds}$

其中

是点a和b之间的路径，由标量s参数化；

有两种主要类型的距离变换算法：以多程地在图像上顺序应用的内核操作为基础的Borgefors-Toivanen算法；以及以其速度是测地权重的函数的前部迭代传播为基础的快速行进(Fast Marching)算法。这两种类型的算法的复杂度都与像素数量线性相关，并且都产生了良好近似，可以使用任一种(或者在一些例子中可以使用替代的算法)。然而，在该例中，使用Borgefors-Toivanen算法，因为访问图像存储器中的连续区域，这可能导致增加的执行速度。

现在描述可采用的滤波算子，它构造于测地距离变换之上。

如本领域技术人员熟知的，在图像上执行的两种基本的形态学的操作是侵蚀和膨胀。这可以用作用于二进制图像的二进制结构元素来解释，如下所述：对于膨胀来说，像素被分配了所有其相邻像素的最大值。因此，在二进制图像中，如果任一相邻像素被设为值1，则当前像素被设为1。对于侵蚀来说，像素被分配了所有其相邻像素的最小值。在二进制图像中，如果任一相邻像素被设为值0，则当前像素被设为0。该过程对于图像的作用与其名称相对应-膨胀会把蒙版对象302的边缘模糊到周围的空间内，而侵蚀会使周围的空间进入蒙版对象302空间。

在现在描述的方法中，这些运算被重新定义为实值图像距离的函数。如本领域技术人员所熟知，措辞“实值”意味着距离函数由实数而非整数组成。上述距离D的定义得出以下距对象边界的有符号的测地距离：

D_s(x；M，▽I)＝D(x；M，▽I)-D(x；1-M，▽I)

可以对蒙版300执行的膨胀和侵蚀运算被定义为：

M_d，e(x)＝[D_s(x；M，▽I)＞θ]

其中M是蒙版300，下标d、e分别表示膨胀和侵蚀这两个运算，θ是盘形结构元素(在该例子中是盘形结构元素)的直径，它设置了要被考虑为“相邻”像素的像素数量。一般的盘直径约为10像素。当θ＞0时得到膨胀，当θ＜0时得到侵蚀。

如果自变量为真，则指示函数[.]返回1，反之则返回0。

当γ＝0(没有来自图像梯度的贡献)时，两遍就足够了；在其他例子中，即使当γ＞0时，两遍也够了。然而，在其他例子中，如果γ＞0，则可能需要更多遍。

假设蒙版300M(x)∈[0，1]，则在第一遍中，从左上角至右下角扫描蒙版300，中间函数C如下迭代地构造：

$C(x,y)=\min \begin{array}{}\end{array}\left\{\begin{array}{c}C(x-1,y-1)+\sqrt{p_2^2+\mathrm{\γ}{\▿I}_{\mathrm{NW}}{(x,y,)}^2}\\ C(x,y-1)+\sqrt{p_1^2+\mathrm{\γ}\▿I_N{(x,y)}^2}\\ C(x+1,y-1)+\sqrt{p_2^2+\mathrm{\γ}\▿I_{\mathrm{NE}}{(x,y)}^2}\\ C(x-1,y)+\sqrt{p_1^2+\mathrm{\γ}\▿I_W{(x,y)}^2}\\ \mathrm{vM}(x,y)\end{array}\right.$

其中使用了图像梯度的西北、北、东北和西分量。p₁和p₂本地距离通常被设为p₁＝1和

或者它们的固定点近似值。在第二遍中，算法从右下角至左上角，并且对C(x)应用相应的核以获得最终的D(x)距离。较大的核能够对实际距离产生更好的近似。

如本领域技术人员所熟知，膨胀和侵蚀可以组合地使用以实现其他图像处理操作。两种这样的操作是图像“开口”和图像“闭合”。图像开口是先侵蚀再膨胀，对这两个操作使用相同的结构元素(盘直径θ)；图像闭合是用相同的结构元素先膨胀再侵蚀。开口从图像中移除小对象(噪声)而同时保持图像中对象的形状和尺寸，而闭合则从背景中移除噪声。

闭合和开口滤波器分别被定义为：

M_c(x)＝[D(x；1-M_d，▽I)＞θ_e]以及

M_o(x)＝[D(x；M_e，▽I)＞θ_d]

。由于这些滤波器现在是用实值距离定义的，因此它们能有效地实现并且能用于引入对比度敏感性。滤波器是幂等的(如本领域技术人员所熟知，如果f(f(x))＝f(x)，那么一元算子f是幂等的)。

在实现这里所述的方法时，请求用于结构元素的用户输入(框507)。在该例中，用户为θ指定单个数字，它可约为0到50像素，然后对蒙版300执行滤波操作(框508)，允许如图4所示地产生最终蒙版400，最终蒙版400包括与强对象边界准确对准的对象402(框510)。

已知的关闭和打开滤波器操作是不对称的，因为最终结果取决于这两个分操作被应用于蒙版300的次序。在一些例子中，用户仅仅希望通过适当地设置θ(例如图像对象的噪声斑点或细小区域)来定义要被移除或标识的区域的尺寸，并且无须考虑滤波器内操作的次序而应用滤波器。这可以通过定义以下基于距离的对称滤波器来解决：

$M_s(x;M,I)=[D_s^s(x;M,\▿I)>0]$

其中对称的、有符号的距离

被定义为：

$D_s^s(x;M,\▿I)=D(x;M^{\′},\▿I)-D(x;M^{\′\′},\▿I)+{\mathrm{\θ}}_d-{\mathrm{\θ}}_e,$

其中θ_e＞0，θ_d＞0，M′＝[D_s(x；M，▽I)＞-θ_e]且M″＝[D_s(x；M，▽I)＜θ_d]。项θ_d-θ_e实施了幂等属性。用实值距离来形成滤波器允许用两个变量θ_d，θ_e来执行闭合和开口的对称混合，这两个变量是以像素度量的，并且因为它们和前景和背景噪声斑点的最大尺寸以及/或者图像内详细元素的尺寸相对应，因此它们对于用户来说相对直观的。

以上定义的对称滤波器通过增加对称性和对比度敏感性推广了以前已知的滤波器。通过设置γ＝0(即没有来自图像梯度的贡献)，然后设θ_d＝0或θ_e＝0，可以分别再现常规的闭合或开口操作。

分割可以用受限制的能量最小化技术来实现。由于仅考虑了少量的“切合实际的”分割而不是探测所有可能的分割，因此技术是“受限制的”。为这些分割的每一个计算能量，并且选择具有最小能量的分割作为最终分割。

分割通过使以下类型的能量最小化来实现：

E(z；α)＝U(z，α)+λV(z，α)

其中z表示图像数据，α是每像素的标记(即，每个像素被标记为前景或背景，且α具有相应的值Fg/Bg)。下标n是像素的索引，Fg/Bg分别表示前景/背景。λ对成对可能性相对于一元系的贡献进行加权。一般而言，λ可介于0和5之间，并且可由用户选择或者预先确定。这与上述的图形剪切能量是可比的。

一元可能性U被定义为像素方面的似然性之和，形式为U(z，α)＝-∑_nlog p(z_n|α_n)；取决于数据的成对项是V(z，α)＝-∑_m，n∈N[α_n≠α_m]exp(-|z_n-z_m|/η)。V的评估是通过考虑它的所有8个直接邻居而实现的，称为“8邻居团”N。

通过把对α^*的解答的搜索限制为所有可能分割的受限制的2D流形，使能量的最小化有效。θ可以被定义为θ＝(θ_d，θ_e)∈S，S是参数的2D流形。这提供了搜索空间。

S取决于图像分辨率，并且取决于一元信号中噪声取景的空间广度。对于具有标准屏幕尺寸640乘480像素的视频图像阵列图像而言，S的适当值可以是S＝{5，6，…，15}x{5，6，…，15}。

如上所述，给定值θ，对称滤波器具有从二进制图像中的前景和背景中移除尺寸小于盘直径θ的隔离区域的属性。因此，滤波器适合作用于实值一元函数：对于自变量θ的不同值而言，会得到不同等级的空间平滑性，因此可以计算不同的能量值。所寻求的分割为

α^*＝α(θ^*)，其中

在二进制分割问题中，给定实值的对数似然率(即，像素已经被正确地指定为前景像素的背景的似然性)：

L(x)＝log p(z_n(x)|α_n(x)＝Fg)-log p(z_n(x)|α_n(x)＝Bg)。

蒙版M(x)∈[0，1]被重新定义为对数几率(log-odds)映射M(x)＝σ(L(x))，其中σ(.)是S形变换σ(L)＝1/(1+exp(-L/μ))。无符号的距离又被重新定义为：

$D(x;M,\▿I)=\underset{X^{\′}}{\min }(d(x,x^{\′})+\mathrm{vM}\left(x^{\′}\right))$

其中x’是图像中的哑像素。

v(被有差别地训练)建立了一元信任和空间距离之间的映射。对于不同的θ值实现不同的分割。滤波器的设计确保了分割提议α(θ)是空间紧凑的，并且适合于一元系。边缘对齐是通过算法的测地特性来实现的。

现在寻求和最低能量E_GeoS＝E(z，α(θ^*))相对应的值θ^*。对于每个θ值，分割操作需要4个无符号的距离变换。因此，对N_d×N_e个θ值的穷尽搜索会需要4N_dN_e个距离计算，其中N_d和N_e是要执行的膨胀/侵蚀的次数。然而，通过预先计算距离，这被减小到仅仅2+N_d+N_e次运算。实际上，由于距离D并不取决于θ，因此它对于每个图像仅需计算一次(2个无符号的距离)。如果S＝{5，6…，15}×{5，6…，15}，则N_e和N_d为10。

以上距离变换彼此间是独立的(即，一个变换的结果并不被另一个变换所需)，因此可以在适当的硬件上并行地计算。因此，在有N_c个处理器(即，处理核)的机器中，运行穷尽搜索所需的总时间T为

其中t是每个无符号的距离变换所需的单位时间。也可以采用经济的梯度下降优化策略。

在图1到4所示的交互分割示例中，一元系是通过以下获得的：i)在被量化为25段的RGB空间上从用户提供的笔画来计算直方图，以及ii)在所有图像像素上评估Fg和Bg似然性。分割是通过交互地选择θ＝(θ_d，θ_e)的一值并且把滤波器应用于蒙版300来实现的。参数(θ_d，θ_e)指定了要从前景和背景被移除的隔离区域的尺寸、以及图像中的细节程度(例如图中起落架上的支架厚度)，因此实现分割的平滑性和紧凑性。

分割可以几乎不需用户交互而很快地实现(在该例中，只要两个笔画以及θ值的输入就足够了)。

滤波过程中执行的四个距离变换形成两对变换，其中每一对变换独立于另一对变换，因此一对变换并不使用另一对变换的结果。因此，每一对中的变换都可以在双核处理器上并行地计算。于是，运行分割迭代所需的时间T为T＝2t，其中t是每个无符号的距离变换所需的单位时间。色彩模型可以被迭代地更新(一般两次迭代就够了)以便以很少的交互来实现很高的分割准确度。

由于期望的输出是表示空间平滑外观的图像而同时考虑了对象边界处的急剧变化，因此去噪声、平滑和卡通化全部彼此相关。因此，除了上述分割以外，它们提供了使用上述滤波器的示例用途。

通过在每一亮度级别上运行常规的二进制词法然后把256个二进制图像重新组合成最终的经滤波的输出，可以在8位图像上实现对有噪的输入图像进行去噪声的操作。常规的闭合或开口滤波操作可以用测地滤波器来替换，该滤波器如下增加了边缘敏感性。

在一例中，θ_e＝0，因此产生蒙版只需要一个测地距离变换：

M_膨胀(x；M，I)＝[D(x；M，▽I)＜θ_d]。

输入图像I被分成k个二进制蒙版{M^l|l＝0…k-1}，其中每个蒙版为 $M\left(x\right)=[I\left(x\right)\∉[l/k,(l+1)/k].$

蒙版仅仅指示像素在给定的亮度范围中是存在(0)还是不存在(1)。然后对每个蒙版应用测地膨胀滤波器，获得一组新的蒙版{N^l}。按照几个等级上的平均值获得最终图像I′

$I^{\&prime;}\left(x\right)=<(l+0.5)/k*(1-N^l\left(x\right)){>}_{l=0...k-1\mathrm{and}{N}^l\left(x\right)=0^{\&prime;}}$

其中<.>表示均值运算符。在彩色图像中，每个通道被独立地处理。在其他例子中，可以使用测地距离信号的替代变换，也可以应用其他像素混合协议。

纹理平滑是使用和去噪声相同的算法来实现，但是其θ_d值一般较大，例如为50像素，这样允许对每个像素由更大的影响区域因而获得较长范围的“扩散”效应。值得注意的是，滤波算法的复杂度与像素数量线性相关，并且独立于滤波器的空间广度。

由于不同的图像级彼此间独立地被处理，因此能够容易地实现该算法以便运行在多个处理核上。

为了对图像应用卡通效果，使用测地滤波器来执行边缘保留的平滑。使用按照被平滑图像的对比度增强的梯度大小计算的蒙版来覆盖墨水笔画。在被平滑的图像上而非在原始图像上计算梯度映射确保了长的、看上去好看的笔画。该技术也可以应用于视频；它避免了硬性约束并且保留了平滑可变的梯度，因此可以减少时间上的闪烁。

该方法可用于对视频进行分割和/或平滑，如果给定足够的处理能力，可以以交互的速率来处理视频，使“实况”视频的处理成为可能(即，处理流化的视频，使得在接收视频和显示经处理的视频之间不存在明显或显著的延迟)。现在参照图6的流程图描述用于分割视频的方法。

为第一个以及随后的帧定义了测地能量，其中按照背景的每像素高斯函数以及从前景的前一帧中学习而得的单个高斯函数来建模每个帧的输入蒙版。在一些例子中，可以在每个帧内实现穷尽的能量最小化，但是在当前的例子中，对于在序列的前若干帧，在10x10栅格大小的θ上运行穷尽的能量最小化。

计数器被设为1，且该过程被初始化(框602)。为第一个帧确定输入蒙版(框604)，并且使用上面提出的算法来找到该帧的测地最小能量(框606)。执行分段(步骤608)，可使用时间适应来补偿摄像机增益中的自动变化(框610)。如本领域技术人员所熟知的，自动增益控制(AGC)是所有摄像机制造商所实现的标准算法。AGC能够基于正在被录制的环境中照明的变化(例如开窗、关门、开灯等)来把摄影画面自动地变亮/变暗。由于该算法是已知的，因此能补偿该效应。

计数器增1(框612)，对于前10个帧重复该过程。在后续的帧(即如果确定计数器大于10(框614))中，确定输入蒙版(框615)，但是并非穷尽地找到测地能量。相反，使用两个梯度下降步骤来确定良好的近似最小值(框616)。如本领域技术人员熟知的，梯度下降是一优化算法，它通过采用和当前点处的函数梯度(或近似梯度)的负数成比例的步骤来找到该函数的局部最小值。然后执行帧的分割(步骤618)，并且使用时间适应来补偿AGC。在一些例子中，可以对前景区域施加全局软约束(见下文)。

测地距离可以在n维空间中定义，其中n＞2。因此，算法不限于2D图像数据，并且能容易地扩展至n维数据，诸如成批视频或医学图像(通常3D甚至4D)。与逐帧分割相反，视频立方体(709×540×120体素)可以被同时分割从而减少时间上的不稳定性。

这允许对例如延时视频所定义的时空容积进行分割。仅仅两个帧内的一对用户输入的画笔笔画就足以在所有帧内定义良好的一元系。

上述方法可用于产生在空间上和时间上均平滑的3D分割。测地滤波器也可以应用于医学图像。所选的MRI切片内的用户画笔笔画使这里所述的方法能够直接在3D图像容积中将骨头和血管与软组织正确地分开。通过重复的分割步骤能够突出个体器官。

这里提出的算法的其他应用包括有效的图像和视频色彩化处理、注意边缘的刷涂、对比度敏感的色调映射和视频草图。

在一些例子中，全局能量约束可用于纠正或改进滤波。例如，如果前景对象构成图像的70％，那么可以把附加的能量项G定义为例如G＝|Area_fg/Area-0.7|，以促使前景区域覆盖图像区域的大约70％。G可以捕获图像区域的其他全局属性，并且可以用来例如促使对区域、全局外观、形状或上下文的约束。

或者或另外，可以实施对全局外观统计量或形状的软约束，并且/或者可以探测更大的团能量。

通过对不同类别的像素进行计数，而把测地分割和最小剪切分割彼此间进行比较并且与手动标记的地面实测数据进行比较，可以评估对图像的分割结果的准确性。对于不同标记的像素数量低于图像区域的1％并且所有分割都接近于地面实测数据，发现最小剪切和测地结果在视觉上和数量上是接近的。

对比度敏感性使得细小凸起能被正确地分割(尽管能量中不存在通量)。对比度敏感性对于差的一元系来说特别重要。使用有限的补片来计算立体似然性使得它们相对于前景边界来说不对齐。在测地处理中使用λ＞0促使分割边界正确地咬合到对象的轮廓。

测地滤波器能够移除“孔”，而几乎对尖的附件(pointed appendices)没有影响。因此，这里所述的方法和最小剪切方法相比，受所谓“收缩偏移”问题的影响较小。特别是，测地处理更加趋于保留尖的分割附件。该效应也可以这样解释：那些移除小的尖的附件的分割并未包含在测地算法所搜索的受限制的子空间内。当分割不同图像或视频帧时，使用固定的λ值来保证相对于λ的测地处理提高的稳健性。例如，一般可用固定λ＝3的算法成功地分割图像。

现在参照图7的流程图来描述，通过计算“后验概率”并且用该度量来确定是否需要进一步的用户输入，可能评估某一分割的准确性。如本领域技术人员所熟知的，后验概率是在已经考虑了证据(例如像素方面的一元似然性)之后分配的条件概率。

完整的条件随机场(CRF)的后验被定义为p(α)＝1/Z_p exp(-E(α)/σ_p)(其中Z是标准化函数，下标p指的是p分布，α是分割，σ是参数)。然而，重要性采样能够用Monte Carlo均值

来得到p(α)的近似。提议分布p(α)可以有效地被计算为

(且

)(框702)。

可以从S上的一致先验生成具有N个采样Θ_i的近似后验(其中，Θ_i是在搜索空间S中采样的上述一对θ值)(框704)。由于S是小的、经量化的2D空间，因此实际上Θ_i可通过探测整个S而生成。参数σ_q、σ_p已经在算法开发期间从手动标记的三重映射中有差别地训练，并因此是在终端用户所采用的算法(例如作为图像编辑软件包的一部分)中的标准值。使用所估计的CRF后验

来计算分割均值和相关的方差Λ_α。

在该例中，使用量Λ_α来检测不稳定的分割。如果Λ_α大于一个阈值量(框708)，例如0.1，则分割被拒绝(框709)，并且要求用户引入更多的画笔笔画(框710)。在该例中，向用户呈现显示出不确定性的图像区域的扩大视图，用户能够指明该区域的哪些部分属于哪一个分割(背景或前景、它们是否是噪声等等)。然后，重新计算分割以提供改进的结果(框712)。该过程可以迭代地执行，直到方差处在预定限制内，该情况下分割被接受(框714)，并且可以执行进一步的图像处理。在一些例子中，在图像的各区域上实现评估，而在其他例子中，在图像整体上实现评估。

从S采样的提议还可以经由二次伪布尔优化(QPBO)被融合在一起。

对于标准的视频图形阵列(VGA)图像(640×480像素)而言，对于单个距离变换t＝0.9ms，于是对于彩色图像来说整个测地平滑算法会需要

其中N_l是图像等级数量，N_c是处理器数量。以下表格将时间T示出为N_l的函数，N_c＝4。在图示例子中，N_l＝2(前景和背景)，而在其他例子中，N_l可以更大。例如，给定N_l＝5，树104、太阳106和云108可以全部被视为分开的前景图像。

通过改变经量化的色彩等级的数量能获得不同的平滑结果。把等级数减少到1/4通常仍旧能产生具有计算上有效的增益的合理结果。

通过迭代地设置θ和γ并且令算法选择分开两个图像的最佳路径，可以把重叠的图像缝合在一起。对数似然性比映射被设为L∈{-inf，O，inf}，在重叠区域中L＝0。测地滤波器促使分开的路径处于重叠区域中并且跟随着强图像边缘。在2个核上仅用约10ms就能实现高质量的缝合结果，在4个核上则仅用约4ms。

从以上注意到，与图形剪切相对比，测地能量及其最小化算法之间的相互影响被消除。这意味着对模型类别的选择不再受易处理性的考虑因素的支配，并且意味着这里公开的测地最小化方法是一般化的并能应用于所有类型的能量模型。作为对比，图形剪切仅能应用于所有可能的能量模型的一个小子集。使用这里所述方法和算法的运行时间可以与用于实现图形剪切(或最小剪切)的相应运行时间相比。由于能量最小化函数中的5项中的4项都独立于当前的扫描行，因此数据层面的并行化成为可能。

在根据图像尺寸的函数来分割图像时所获得的运行时间曲线显示出图形剪切/最小剪切的“超线性”行为(大约是二次的)，而那些上述方法的运行时间曲线则几乎是线性的。在对1600×1200图像进行分割的试验性实现中，这里所述的方法(N_c＝4，N_d＝N_e＝10)比最小剪切快12倍。

如参照图6所述，由于连续帧的能量在时间上高度相关，因此通过梯度下降能够实现在线视频分割。对2×2栅格(提供典型值)使用两步梯度下降使得速度快了21倍。这里所述的方法提供了优于最小剪切的有效增益，最小剪切随着分辨率的加大而越来越非线性。例如，对于25兆像素的图像而言，这里所述的方法(N_c＝4，N_d＝N_e＝10)能产生33倍加速，并且如果方法还采用了梯度下降，则能相对于最小剪切产生60倍加速。

这里所述的方法在存储器分配方面也是有效的。最小剪切实现方案对存储器要求很高，并且不能用于执行高分辨率的图像，例如当图像尺寸大于2兆像素时。尽管最小剪切方案的运行时间取决于一元系的质量(越不确定，最小化就越慢)，然而这里所述的方法会有固定的运行代价，使其行为更能预测。如本领域技术人员熟知的，最小剪切使用搜索树来找到最佳方案，这要求大量使用存储器，而大量使用存储器在这里所述的测地技术中得以避免。当把最小剪切与上面定义的测地算法相比较时，测地算法产生了大约30倍加速的因子，而同时避免了存储器连接问题。

图8说明了示例性的基于计算的设备1000的各个组件，设备1000可以用其中能实现本发明各实施例的任何形式的计算和/或电子设备来实现。

基于计算的设备1000包括一个或多个输入1004，它们具有能接收输入的任何适当类型，所述输入例如来自数码相机或数码摄像机(包括web摄像头)的输入。设备1000还包括用于和通信网络节点这样的其他实体通信的通信接口1008。

基于计算的设备1000还包括一个或多个处理器1001、1009、1010、1011(图8的设备1000具有4个处理器，但其他例子可以有不同数量的处理器)，所述处理器可以是用于处理计算机可执行指令来控制设备的操作以便实现分开地或并行地处理图像和/或视频序列所需功能的微处理器、控制器或任何其他适当类型的处理器。可以在基于计算的设备处提供包括操作系统1002的平台软件或任何其他合适的平台软件以使得应用软件1005能够在设备1000上执行。

计算机可执行指令可使用诸如存储器1003这样的任何计算机可读介质来提供。存储器具有任何合适的类型，诸如随机信息存储器(RAM)、诸如磁或光存储设备等任何类型的盘存储设备、硬盘驱动器、或CD、DVD或其他盘驱动器。也可使用闪存、EPROM或EEPROM。

还可以提供输出1007，比如到与基于计算的设备1000集成或通信的显示系统的音频和/或视频输出，如视频图形阵列(VGA)。显示系统可以提供图形用户接口或任何适当类型的其它用户接口，尽管这并非必需的。

此处使用的术语‘计算机’表示具有处理能力以使其能够执行指令的任何设备。本领域技术人员将认识到这些处理能力被结合到许多不同设备中，并且因此术语‘计算机’包括PC、服务器、移动电话、个人数字助理和许多其他设备。

在此描述的各方法可由有形存储介质上的机器可读形式的软件执行。如上所述，软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。

这确认了软件可以是有价值的、可单独交易的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。

本领域技术人员将认识到用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可存储描述为软件的该过程的示例。本地或终端计算机可访问远程计算机并下载该软件的一部分或全部以运行该程序。或者，本地计算机可按需下载软件的片断，或可以在本地终端处执行一些软件指令而在远程计算机(或计算机网络)处执行一些软件指令。本领域技术人员将认识到，通过使用本领域技术人员已知的常规技术，软件指令的全部或部分可由诸如DSP、可编程逻辑阵列等专用电路来执行。

如本领域技术人员将清楚的，此处给出的任何范围或者设备值都可以被扩展或者改变而不失去所寻求的效果。

可以理解，上述各好处和优点可涉及一个实施例或者可涉及若干实施例。各实施例不限于解决所述问题中的任一个或全部的实施例或具有所述好处和优点中的任一个或全部的实施例。还可以理解，对‘一个’项目的引用指的是这些项目中的一个或多个。

本文中描述的各方法步骤可以在适当时按任何合适的次序或同时执行。另外，可从任一种方法中删除各个框，而不背离此处所述的主题的精神和范围。上述示例中的任一个的各方面可以与所述其他示例中的任一个的各方面组合以形成其他示例而不失去所寻求的效果。

术语‘包括’此处用来指包括所标识的方法框或元素，但这些框或元素不构成排他列表，并且方法或装置可包含附加框或元素。

可以理解，上面对一较佳实施例的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对本发明的各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单个实施例描述了本发明的各实施例，但是，在不偏离本发明的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (27)

1.一种用于处理图像（100）的方法，包括：

（i）接收（502）标识所述图像（100）内的至少两个对象的用户输入；

（ii）生成（504）至少一个输入蒙版（300）；

（iii）向所述蒙版应用（508）测地滤波器，其中所述测地滤波器包括：开口滤波操作，其包括使用第一结构元素先侵蚀操作再膨胀操作；以及闭合滤波操作，其包括用第二结构元素先膨胀操作再侵蚀操作，其中所述测地滤波器是执行所述闭合和开口滤波操作的对称混合的对称滤波器；

（iv）生成（510）输出蒙版（400）。

2.如权利要求1所述的方法，其特征在于，所述测地滤波器是对称的。

3.如权利要求1或权利要求2所述的方法，其特征在于，所述侵蚀结构元素和所述膨胀结构元素是从所述输入图像（100）的同一个受限制的子区域中被选取的。

4.如权利要求1所述的方法，其特征在于还包括，请求用户输入以指定所述结构元素（507）。

5.如权利要求1所述的方法，其特征在于还包括，执行图像（100）的分割（618）。

6.如权利要求5所述的方法，其特征在于包括，如果不满足预定的标准（709）则拒绝图像的分割（500）。

7.如权利要求1所述的方法，其特征在于还包括，对所述图像（100）执行以下操作的至少一个：分割、去噪声、纹理平滑、卡通化和缝合。

8.如权利要求1所述的方法，其特征在于，应用（508）测地滤波器的步骤还包括应用全局能量约束。

9.如权利要求1所述的方法，其特征在于，所述图像是n维图像，n大于等于2。

10.如权利要求1所述的方法，其特征在于，所述图像是视频的帧，所述方法还包括对所述视频的至少一个其它帧执行步骤（i）到（iv）。

11.一种包括至少两个处理器（1101，1009，1010，1011）的计算设备（1000），所述设备（1000）还包括：用于接收图像数据（100）并且允许用户输入的输入（1004）、用于存储图像数据的存储器（1003）、以及用于显示图像数据的输出（1007），其中所述计算设备（1000）用于接收标识图像（100）内的至少两个对象的用户输入并且对所述图像（100）执行包括测地距离变换在内的滤波，所述测地距离变换对于所述至少两个处理器（1101，1009，1010，1011）中的至少两个同时执行，并且其中由所述计算设备（1000）执行的滤波包括对蒙板应用测地滤波器，所述测地滤波器包括：开口滤波操作，其包括使用第一结构元素先侵蚀操作再膨胀操作；以及闭合滤波操作，其包括用第二结构元素先膨胀操作再侵蚀操作，其中所述测地滤波器是执行所述闭合和开口滤波操作的对称混合的对称滤波器。

12.如权利要求11所述的计算设备（1000），其特征在于，所述图像被分成多个图像层，并且在相关联的处理器（1101，1009，1010，1011）上对每个图像层实现变换。

13.如权利要求11或权利要求12所述的计算设备（1000），其特征在于，使用连续的存储器访问技术来实现滤波操作。

14.一种用于处理图像的方法，包括：

（i）向与输入图像（100）相关联的输入图像蒙版（300）应用（508）具有图像对比度敏感性的测地滤波器，其中所述测地滤波器包括：开口滤波操作，其包括使用第一结构元素先侵蚀操作再膨胀操作；以及闭合滤波操作，其包括用第二结构元素先膨胀操作再侵蚀操作，其中所述测地滤波器是执行所述闭合和开口滤波操作的对称混合的对称滤波器；

（ii）生成（510）输出蒙版（400）；

（iii）使用（618）输出蒙版来执行以下的至少一个：图像分割、去噪声、卡通化、纹理平滑、缝合。

15.如权利要求14所述的方法，其特征在于，应用滤波器（508）包括：应用具有侵蚀结构元素的侵蚀操作以及具有膨胀结构元素的膨胀操作。

16.如权利要求15所述的方法，其特征在于，所述侵蚀结构元素和所述膨胀结构元素是从所述输入图像（100）的同一个受限制的子区域中被选取的。

17.如权利要求15或16所述的方法，其特征在于还包括：请求用户输入以指定结构元素（507）。

18.如权利要求14所述的方法，其特征在于，所述应用滤波器的步骤（508）包括应用具有图像梯度因子的滤波器。

19.如权利要求14所述的方法，其特征在于还包括：确定与输出的质量有关的标准，并且如果不满足预定标准（709）则拒绝输出（500）。

20.如权利要求14所述的方法，其特征在于，所述应用滤波器的步骤（508）包括应用具有全局能量约束的滤波器。

21.一种用于处理图像的系统，包括：

用于向与输入图像（100）相关联的输入图像蒙版（300）应用（508）具有图像对比度敏感性的测地滤波器的装置，其中所述测地滤波器包括：开口滤波操作，其包括使用第一结构元素先侵蚀操作再膨胀操作；以及闭合滤波操作，其包括用第二结构元素先膨胀操作再侵蚀操作，其中所述测地滤波器是执行所述闭合和开口滤波操作的对称混合的对称滤波器；

用于生成（510）输出蒙版（400）的装置；

用于使用（618）输出蒙版来执行以下的至少一个的装置：图像分割、去噪声、卡通化、纹理平滑、缝合。

22.如权利要求21所述的系统，其特征在于，用于应用滤波器（508）的装置包括：用于应用具有侵蚀结构元素的侵蚀操作以及具有膨胀结构元素的膨胀操作的装置。

23.如权利要求22所述的系统，其特征在于，所述侵蚀结构元素和所述膨胀结构元素是从所述输入图像（100）的同一个受限制的子区域中被选取的。

24.如权利要求22或23所述的系统，其特征在于还包括：用于请求用户输入以指定结构元素（507）的装置。

25.如权利要求21所述的系统，其特征在于，所述应用滤波器的步骤（508）包括应用具有图像梯度因子的滤波器。

26.如权利要求21所述的系统，其特征在于还包括：用于确定与输出的质量有关的标准，并且如果不满足预定标准（709）则拒绝输出（500）的装置。

27.如权利要求21所述的系统，其特征在于，所述应用滤波器的步骤（508）包括应用具有全局能量约束的滤波器。

Images