CN105321171B - 针对实况相机馈送的图像分割 - Google Patents

Abstract

公开用于分割实况相机馈送的图像帧的技术。偏移方案可以用来初始地对图像内的可能包含分割的对象的像素进行定位。用于能量优化函数的优化算法，诸如图切割算法，可以与非定位邻域图结构以及初始位置偏移一同被用于对图像帧中的代表对象的像素进行定位。随后，遮片算法可以用来定义包围对象边界的至少部分的像素遮罩。可以在图像帧随着实况相机馈送而改变时连续地更新和改进偏移和像素遮罩。

Description

针对实况相机馈送的图像分割

技术领域

本公开内容涉及数据处理领域，并且更具体地，涉及用于分割实况相机馈送(livecamera feed)的图像帧的技术。

背景技术

在图像编辑应用中，各种分割技术可以被用来相对于其它对象或者背景勾画图像中的一个或者多个对象。这些技术中的一些技术需要先前拍摄的图像，对象是从该图像中手动地选择的。

发明内容

本公开的实施例提供了一种用于分割实况相机馈送的图像帧的方法、系统和计算机程序产品。

根据本公开的一个方面，提供了一种计算机实施的数字图像处理方法，该方法包括：接收代表当前图像帧的像素数据；计算偏移项，该偏移项代表当前图像帧中的每个像素朝着前景偏移区域和背景偏移区域之一的加权；由处理器使用能量优化函数来基于像素数据和偏移项将当前图像帧分割成前景段和背景段；以及生成像素遮罩，该像素遮罩与前景段和背景段中的至少一个段中的像素相对应。

根据本公开的另一方面，提供了一种系统，该系统包括：存储装置；以及操作地耦合到该存储装置的处理器，该处理器被配置为执行该存储装置中存储的指令，该指令在被执行时使得该处理器执行过程。该过程包括：接收代表当前图像帧的像素数据；计算偏移项，该偏移项代表当前图像帧中的每个像素朝着前景偏移区域和背景偏移区域之一的加权；使用能量优化函数来基于像素数据和偏移项将当前图像帧分割成前景段和背景段；以及生成像素遮罩，该像素遮罩与前景段和背景段中的至少一个段中的像素相对应。

根据本公开的又一方面，提供了一种具有在其上编码的指令的非瞬态计算机程序产品，该指令在由一个或者多个处理器执行时使得过程被执行。该过程包括：接收代表当前图像帧的像素数据；计算偏移项，该偏移项代表当前图像帧中的每个像素朝着前景偏移区域和背景偏移区域之一的加权；使用能量优化函数来基于像素数据和偏移项将当前图像帧分割成前景段和背景段；以及生成像素遮罩，该像素遮罩与前景段和背景段中的至少一个段中的像素相对应。

附图说明

附图不旨在于按比例来绘制。在附图中，在各图中图示的每个完全相同或者几乎完全相同的部件由相似标号代表。

图1图示了根据本发明的实施例的用于分割实况相机馈送的图像帧的示例计算设备。

图2A-2E描绘了根据本发明的各种实施例的示例图像帧。

图3是代表根据本发明的实施例的用于分割实况相机馈送的图像帧的示例方法的流程图。

图4是代表可以根据本发明的实施例来使用的示例计算系统的框图。

具体实施方式

图像分割指代其中图像被划分成两个或者更多分段的一类操作，通常用于定位对象和边界。更具体而言，图像分割包括向图像中的每个像素指派一个或者多个标签。例如，一个分段可以包括代表图像的前景中的对象的像素，而另一分段可以包括代表背景的像素。在一些现有图像分割技术中，用户通过指定图像中的必须是对象的部分的某些像素和必须是背景的部分的某些像素来针对分割施加某些硬约束。这些硬约束提供关于用户打算如何分割图像的线索。通过自动地计算在所有潜在分段之中的满足用户指定的硬约束的全局最优来将剩余像素标注为属于对象或者背景，由此将图像分割成至少两个区域(例如，一个分段包括对象而一个分段包括背景)。然而，这样的现有技术需要用于施加硬约束的用户干预，该硬约束被用于执行分割。

为此并且根据本发明的实施例，公开了用于分割实况相机馈送的图像帧的技术。尽管用于这样的分割的许多应用根据本公开内容将是明显的，但是一个示例应用是在编辑工具(例如软件应用，诸如Adobe

)中创建用于对象的遮罩的情境中。例如，根据一个实施例，为了选择对象，用户可以简单地将智能相机指向该对象，并且选择由在该智能电话上可执行的图像分割模块自动地做出。在一些实施例中，所选择的对象可以使用适当颜色来染色或者被纹理化或者被勾勒其轮廓或者以别的方式来强调。随着相机被移动，向用户示出相机馈送，并且针对每个新的相机定位自动地选择和重新选择对象。与目标对象交互的这种方法与典型的选择技术的不同之处在于，这些选择技术需要首先拍摄相片以及然后由用户手动地选择对象。根据本发明的实施例，在拍摄相片之前选择对象。因此，如果未正确地选择对象，则用户可以移动相机和/或对象以便得到更好的选择。当选择正确或者以别的方式被批准时，用户可以拍摄相片，并且可以保存与该选择关联的对应遮罩。例如，可以经由在与相机操作地耦合的计算设备上执行的可执行模块(例如，软件或者固件)来实施交互。在一个具体示例实施例中，偏移方案被用来初始地将图像内的可能包含被分割的目标对象的像素局部化。然后，初始位置偏移可以与优化算法结合用于选择图像帧中的代表对象的像素，从而分割图像。随后，遮片(matting)算法可以被用来定义包围对象边界或者在对象边界内的像素遮罩。随着图像帧随着实况相机馈送而改变，可以连续地更新和完善偏移和像素遮罩。许多配置和变化根据本公开内容将是明显的。

如在本公开内容中所用，术语“分割”和“图像分割”包括将数字图像逻辑地划分成多个像素分段或者集合的过程。每个分段可以包括任何数目的像素(例如，一个或者多个)，并且可以存在由分割过程产生的任何数目的分段。图像的分割不一定修改图像；然而，分段可以以任何数目的格式来显示以向人类观察者提供那些分段的可视化(例如，通过对每个分段勾勒其轮廓或者突出显示每个分段，或者从视觉上模糊某些分段)。进一步地，分段可以用于其它目的，诸如在图像编辑应用内的对象选择。其它示例根据本公开内容将是明显的。

可以创建目标函数以代表包括分割的图像处理问题。可以使用算法，诸如图切割优化算法或者信任传播算法来求解目标函数。图切割(graph cut)是一种用于使用最小割(min-cut)或者最大流(max-flow)算法来将图一分为二的方法。在图切割图像对象选择方法的一个实现方式中，为了交互地选择对象，用户在图像之上拖动鼠标以绘制前景笔划或者背景笔划。笔划本身可以在屏幕上被示出或者可以不在屏幕上被示出。如果用户绘制前景笔划，则意味着在前景笔划之下的所有像素必须是前景的部分。在背景笔划之下的所有像素必须是背景的部分。用户指示笔划是否为前景或者背景，并且可以通过点击按钮、保持鼠标上的键、使用不同鼠标按钮用于前景和背景、或者另一适当输入来这样做。对于笔划未覆盖的所有像素，图切割算法向前景或者背景指派那些像素。在这样做时，图切割试图保证前景的边界位于图像中的边缘上。

图切割算法通过最小化以下目标函数来求解选择：

X是像素标签x_i的集合，其中x_i＝0指示像素i是背景的部分而x_i＝1指示像素i是对象的部分。N(X)是与在图像中邻近的像素对应的所有标签对的集合。标量λ折衷函数R和B的相对重要性。

函数R是区域项，该区域项给定用于具有标签x_i的给定的像素i的成本。R经常由用户笔划决定。在一些公式表示中，由R设置的成本仅适用于在用户笔划之下的像素。在这样的情况下，如果用户在像素i之上绘制前景笔划，则对于x_i＝1为R(x_i)＝0而对于x_i＝0为R(x_i)＝∞。如果用户在像素i之上绘制背景笔划，则对于x_i＝0为R(x_i)＝0而对于x_i＝1为R(x_i)＝∞。对于用户笔划未覆盖的所有像素，R(x_i)＝0。在图割分割的其它实现方式中，将使用利用在前景笔划之下的所有像素计算的前景颜色模型和来自在背景笔划之下的所有像素的背景颜色模型来定义项R。

B是鼓励选择边界跟随图像边缘的函数。它经常是图像中的梯度的函数。例如，B可以被定义为：

其中C_i是像素i的颜色。可以使用最小割或者最大流算法来确切地最小化能量函数。

根据本发明的一个实施例，可以定义目标函数用于在交互选择方法中使用以考虑到可以被直接地偏向于前景或背景的非局部、基于特征的邻域。R项可以被定义为应用一般性偏移而不是基于用户笔划的约束。

可以在所有像素标签的集合X和代表特征聚类的标签的集合Y之上优化目标函数。例如，每个红-绿-蓝(RGB)颜色可以包括聚类i，该聚类i具有Y中的标签y_i。在正则RGB空间中，每个颜色通道通常具有256个值，并且因此存在总计256³个聚类。然而，根据本发明的一个实施例，可以使用经量化的RGB颜色空间。因此，相比之下，在经量化的RGB颜色空间中，颜色被分组使得每个颜色通道仅有例如64个颜色(或者16个颜色、128个颜色或者任何其它数目的颜色)。因此，经量化的RGB颜色空间具有比正则RGB空间更少的总聚类。其它特征(例如，L*a*b颜色空间、尺度不变特征变换或者SIFT)或者聚类算法可以被使用。

每个特征聚类i(具有Y中的标签y_i)可以与具有特定特征的所有像素关联。使用RGB颜色，每个特征聚类i代表一种颜色，而具有该颜色的每个像素j在目标函数中被链接到聚类，其中N(X,Y)定义哪些像素与哪些特征相关联。成本被指派给具有与像素关联的特征不同的标签的任何像素。每个特征聚类也具有与朝着前景或者背景直接地偏移该聚类的区域项R相似的区域项R_f。附加地，边界项B_f将相邻特征链接在一起(例如，如果两个像素在色空间中恰好相互邻近，这意味着它们很相似，则鼓励这些像素两者具有相同的标签)。每个λ是对对应项的加权。如在本公开内容中所描述的，基于前景偏移来定义R。在一些实施例中，如在图切割方法中那样定义项B。B_f和B_fp二者被设置为预定的恒定值。在一些实施例中，不一定使用R_f(例如，对于所有y_i为R_f(y_i)＝0)。

以上描述的目标函数当包括时间信息时也可以被使用。针对其中来自先前帧的结果被对齐到当前帧(例如，使用弯曲(wraping)、点跟踪(point tracking)或者其它适当技术)的情况，可以修改R项以包括先前结果。例如，R项可以替换通常使用的偏移图(biasmap)，或者它可以被添加到偏移图，从而在偏移中反映两者。针对其中来自先前帧的特征(例如，当先前帧中颜色被偏向于前景时，该颜色可以在当前帧中被偏向于前景)被使用在当前帧中的情况，可以在R_f项中捕获这一效果。例如，用于给定特征的R_f的值可以使用在先前帧中的具有给定特征的像素的具有前景比背景的百分比来设置。

在一个实施例中，可以使用图切割来最小化以上描述的目标函数。然而，将会理解，在一些实施例中，诸如信任传播的不同算法可以被用来最小化相同目标函数。

在一个具体实施例中，输入是相机馈送的当前图像帧，图像可以从该相机馈送被连续地更新。帧包括一个或者多个对象。首先，偏移被创建用于初始地确定一个或者多个对象位于帧中的何处、一个或者多个对象不位于何处或者二者。一个这样的偏移是中心偏移。例如，约为图像的大小的一半的矩形可以被放置于图像的中心。矩形内的图像帧的区域可以朝着前景被加权，这意味着矩形是朝着对象位于何处的偏移或者对象位于何处的初始猜测。相似地，图像的边界(例如，在矩形以外的区域)内用作朝着背景的偏移或者对象不位于何处的猜测。在前向偏移区域与图像的边界之间可以存在没有偏移的中间区域；也就是说，中间区域中的一些像素可以未朝着前景或者背景被偏移。中心偏移倾向于选择在帧的中心的对象。然而，将会理解，可以使用不同偏移。例如，偏移无需是矩形，但是代之以可以是在图像帧中居中并且朝着边缘下降的高斯曲线。另一示例偏移是脸部或者身体偏移，其中对象是人。脸部检测器可以被用来发现图像中的脸部。脸部和在脸部以下的区域(例如，身体)朝着位于前景中被偏移，而在脸部以上和侧部的区域朝着位于背景中被偏移。其它类型的偏移根据本公开内容将是明显的。

接着，偏移被馈送到用于目标函数的优化算法中，诸如具有非局部邻域图结构的图切割算法或者信任传播算法。将会理解，其它优化算法可以被用来求解目标函数。在图切割中，帧中的每个像素由图中的节点代表。数据项被用来将每个像素朝着前景或者背景加权。偏移被用来形成数据项。非局部、基于颜色的邻域项被用于向邻近像素指派相同标签(例如，前景或者背景)该类型的邻域意味着前景偏移区域中的像素可以影响图像中的将作为前景的相同颜色的所有像素(例如，包括非邻接像素，诸如其中若干不同对象出现在帧的前景中)，而在背景偏移区域中的像素可以影响图像中的将作为背景的相同颜色的所有像素。取代颜色或者除了颜色之外的特征可以被使用。这与一些现有算法形成对照，在这些算法中仅紧接地包围给定像素的像素被视为邻居。图切割可以被优化以产生图像的初始二元分割，其中一段包括对象(前景)。在一些实施例中，可以对图像的低分辨率版本执行图切割以提高性能；然而根据本公开内容将会理解，可以对包括全分辨率或者高分辨率的其它分辨率执行图切割。

接着，使用遮片(matting)算法在全分辨率下改进图切割的低分辨率结果(例如，初始图像分割)。遮片算法可以创建对对象的边缘更准确地进行建模的软像素遮罩并且可以捕获毛发和软毛中的细节。软像素遮罩是其中像素被指派了多于一个加权标签的软像素遮罩。例如，取代于所有像素被标注为纯前景或者背景，像素可以用某个百分比、诸如70％前景和30％背景来标注。接着，在显示器上交互地示出遮罩，因此用户可以看见分割。例如，遮罩可以使用对目标对象或者对象集合着色或者染色、纹理化或者加轮廓来被描绘。

在另一实施例中，可以跟踪相机的移动，使得使用先前帧而获得的遮罩可以被用来通知当前帧中的遮罩。移动信息可以被包括在图切割的数据项中以提高选择的时间相干性。例如，如果用户将相机从各种角度和定位朝向对象，则可以使用帧序列来随时间改进遮罩以更精确地分割图像。在一个特定实施例中，来自以往帧的信息可以被用来影响当前帧中的分割。这样的时间信息可以被用于若干目的。例如，一个目的可以包括保证分割的时间相干性；例如，为了保证包含对象的段不从对象到前景并返回地、快速地交替(例如，通过平均从实况相机馈送的若干图像帧的分割产生的若干像素遮罩)。时间信息也可以被用来通过将段的一部分锁定在位置上使得用户可以移动相机并且完成选择来改进分割。根据一些实施例，存在用于收集时间信息的若干技术。一种这样的技术包括计算从先前帧到当前帧的扭曲或者仿射变换。然后，可以向当前帧传送来自先前帧的遮罩。该技术特别地用于在用户相当静止地持有相机时提高分割的时间相干性。另一种这样的技术包括用于从一个区域向另一区域传送时间信息的点跟踪或者区域跟踪算法。例如，点跟踪算法寻找图像中的易于准确地跟踪的点。这些点可以充当到下一帧的输入以指示某些像素应当是前景的部分或者背景的部分。用于收集时间信息的又一种技术包括存储前景或者背景的特征分布。例如，算法可以使用颜色作为特征并且查看对象的颜色，然后使用颜色来影响后来帧中的像素，这些像素具有将成为对象的一部分的那些颜色。

一些相机系统，诸如移动电话(所谓智能电话)上的相机系统或者数字相机，具有帮助它们检测运动的传感器(陀螺仪、加速度计、罗盘)。在这些情况下，设备的检测到的运动可以被用来计算先前帧和当前帧的初始对准。这可以单独被用来传送时间信息，或者它可以被用作用于另一算法的起始点。在一些情况下，用户可能希望指示是否应当使用时间信息。例如，用户可能想要锁定当前选择中的所有像素，并且然后少量移动相机以得到其余的像素。这可以通过按下按钮来完成。如果相机具有运动传感器，则用于这样做的另一种方式是检测用户是否持续了指定的时间量没有移动相机，并且如果是则锁定选择中的任何像素。可以显示视觉提示以向用户示出当前选择正在被锁定。在这样的情况下，预定义的运动，如迅速移动或者摇动手势可以被用来解锁选择。

诸如在本公开内容中提供的、用于收集时间信息的技术中的一种或者多种技术可以被用来生成像素图，该像素图示出可能成为对象或者成为背景的像素。这可以通过替换偏移来实施，或者可以被包括作为附加的偏移。另一备选方案是在为当前帧计算选择之后，从时间信息生成的对象遮罩可以被混合到当前遮罩中。

示例系统

图1图示根据实施例的用于分割实况相机馈送的图像帧的示例计算设备100。设备100包括相机110、处理器120和显示器130。一般而言，设备100可以包括任何类型的计算设备，诸如个人计算机(PC)、膝上型计算机、平板或者智能电话。如以下将进一步具体讨论的，处理器可以包括编程为或者以其他方式配置为处理图像数据的图像分割模块112。将会理解，相机110、处理器120和显示器130可以被集成到单个设备中或者若干设备中(例如，相机110可以是连接到计算设备100的单独的通用串行总线(USB)相机，或者显示器130可以是连接到计算设备100的单独的计算机监视器)。

举例而言，相机110可以被配置为获得多个图像帧并且向处理器120发送每个图像帧。例如，图像帧可以包括比对背景而设置的一个或者多个对象。处理器120又可以向显示器130发送图像帧中的一个或者多个图像帧，使得用户可以查看图像，例如，作为实况相机馈送。因此，随着用户相对于对象而移动相机110，可以更新显示器130上的实况相机馈送以反映相机110的可变透视和视野。如以下将进一步具体描述的，除了实况相机馈送之外还可以在显示器130上示出由处理器120生成的附加信息。例如，可以在实况相机馈送上叠加遮罩以指示视野中的对象的边界。例如，这样的遮罩或者对象选择可以在编辑应用中有用。

示例用例

图2A描绘根据本发明的实施例的示例图像帧200。图像帧200可以例如由图1的相机110获取，并且代表例如来自实况相机馈送的帧序列的一个帧。图像帧200包括背景偏移区域202和在图像帧的前景中的至少一个对象204。为了清楚，对象204和背景202被示出为具有基本上均匀的颜色；然而，将根据本公开内容理解到，对象204和背景202中的任一个或者二者可以具有变化的颜色(例如，由于阴影、纹理或者其它特性)。一旦获取，例如，图像帧200可以由图像分割模块112处理、由显示器130显示或者二者。

图2B描绘图2A的示例图像帧，示出根据本发明的实施例的偏移206的示例表示。如以上所指出的，由偏移206代表的区域可以是图像帧200内的对象204的位置的初始猜测，而在图像帧200的边界周围的区域可以是对象204不位于何处的初始猜测。偏移206可以被用作图切割优化算法中的数据项，用于标识图像帧200中的前景对象(诸如对象204)的边界。在图2B中，偏移206由以帧200的中心为中心的矩形区域代表。矩形可以是图像帧200内的任何大小或者位置。如以上所指出的，偏移206不一定需要由矩形区域代表。例如，偏移可以由任何多边形或者高斯曲线代表。然而，当对象204大体地位于图像帧200的中心或者附近时，矩形偏移可以足以用于在图切割算法中使用。

如以下将进一步具体描述，在前景偏移区域内的一个或者多个像素(例如，在偏移206以内的像素)以及在前景偏移区域以外的一个或者多个像素可以被用作用于求解目标函数的、用于使用适当图像分割算法(诸如图切割优化算法或者信任传播算法)来分割来自前景202的对象204的约束。例如，在图切割优化算法中，图像帧200中的每个像素可以由图中的节点代表。与对象204中的像素对应的节点可以被加权到前景，而与背景202中的像素对应的节点被加权到背景。对于图的所有可能的二元分割，根据最小成本函数的分割可以被用来确定哪些节点、以及因此哪些像素是前景段的成员而哪些节点是背景段的成员。在一些实施例中，由处理器120用来执行图切割优化算法的存储器数量可以通过对图像帧200的低分辨率版本执行图切割来减少。

一旦根据分割确定了对象204的边界，遮片算法可以被用来对对象202的边缘更准确地进行建模，特别是其中这样的边缘具有不规则或者复杂形状。遮片算法的结果是可以在对象204或者前景202之上叠加为可视地指示对象204的边界的遮罩。图2C描绘图2A的具有叠加在对象204之上的遮罩214的图像帧200。图2D备选地描绘图2A的具有叠加在背景202之上的遮罩222的图像帧200。可以经由图1的显示器130显示图像帧200和叠加的遮罩214或者222。

在一些实施例中，图像帧200随着实况相机馈送进展随时间而更新。例如，如果用户移动相机110，则图像帧200随着相机110的定位改变而改变。在这样的情况下，诸如如图2E中所示，对象204和遮罩214、222的边界被更新为与对象204的在更新的图像帧200内相对于背景202的改变的定位相对应。例如，在图2E中，图2C中的对象204和对应遮罩214的先前位置被描绘为假想虚线(可以不向用户实际地显示)，并且遮罩的更新的位置被指示在216处。在一些实施例中，先前图像帧(例如，在更新之前出现的图像帧)中的遮罩可以被用来通知用于更新遮罩214、222的遮片算法。例如，遮罩可以被包括在用于以上讨论的图切割优化算法的数据项中，以随着对象204在连续的图像帧内改变位置而提高图像分割的时间相干性(例如，遮罩214、222的位置与更新的图像帧中的对象204的位置上的改变同时地改变)。

示例方法

图3是根据实施例的用于分割实况相机馈送的图像帧的示例方法300的流程图。例如，示例方法300可以由图1的图像分割模块112实施。方法300通过接收302当前图像帧(例如，图2A的图像帧200)来开始。例如，当前图像帧可以由相机(例如，图1的相机110)获取。当前图像帧包括前景偏移区域(例如，与图像帧中的对象对应)和背景偏移区域。在一些实施例中，可以存在多于一个前景偏移区域(例如，图像的右侧可以被偏移到第一对象，图像的左侧可以被偏移到第二对象，而图像的边界可以被偏移到背景)。方法300通过计算304偏移项来继续。例如，偏移项可以代表以当前图像帧的中心为中心的矩形区域或者当前图像帧的任何其它区域。方法300通过使用基于偏移项的图切割优化算法来将当前图像帧分割306成前景段和背景段来继续。分割将当前图像帧中的每个像素指定为前景像素或者背景像素。前景像素可以、但是不一定是邻近或者邻接像素。因此，前景段和背景段可以各自包括若干不连续像素组(段)。

在一些实施例中，分割可以基于非局部、基于颜色的邻域，在该邻域中，前景偏移区域中的具有第一颜色的像素可以影响图像中的将在前景段中的、具有相同第一颜色或者相似颜色的一些或者所有像素，而背景偏移区域中的具有第二颜色的像素可以影响图像中的将在背景段中的、具有相同第二颜色或者相似颜色的一些或者所有像素。

方法300通过生成308与前景段、背景段或者两个段的组合对应的像素遮罩来继续。如以上关于图2C和2D所讨论的，像素遮罩可以对应于当前图像帧的前景或者当前图像帧的背景。方法300通过显示310图像帧和像素遮罩(例如，经由图1的显示器130)来继续。例如，像素遮罩可以被分别叠加在当前图像帧的前景或者背景之上。

在一些实施例中，该方法通过接收312诸如在实况相机馈送中发现的图像帧序列中的不同图像帧来继续。在一些实施例中，该方法通过跟踪314相机的运动来继续。例如，如果相机的透视随时间而改变，则前景中的对象的位置可以相对于图像帧而改变。该方法通过更新前景段和背景段的分割以反映不同图像帧中的前景和背景的位置上的改变来继续。该方法通过基于更新的分割而更新318像素遮罩来继续。然后，如以上所描述的，可以显示310更新的像素遮罩。

在一些实施例中，标记可以被放置在显示器上以帮助用户选择期望的对象。例如，可以显示十字准线或者点，并且在该标记下的像素可以被用作选择的一部分，从而向用户提供可视引导。在一些情况下，标记可以被用来改进选择。例如，对于在标记下的任何点，高加权的链接可以被添加到图切割优化算法中的图以将那些像素向前景加权。这可以影响邻近像素也被加权到前景。另一类型的标记包括期望的对象位于其中的框或者椭圆。在这一情况下，在框/椭圆以外的任何像素可以被加权到背景。

示例计算设备

图4是代表可以用来执行如在本公开内容中不同地描述的技术中的任何技术的示例计算设备1000的框图。例如，计算设备100、相机110、处理器120、显示器130、图像分割模块或者这些部件的任何组合可以被实施在计算设备1000中。计算设备1000可以是任何计算机系统，诸如工作站、桌面型计算机、服务器、膝上型计算机、手持计算机、平板计算机(例如，iPad^TM平板计算机)、移动计算或者通信设备(例如，iPhone^TM移动通信设备、Android^TM移动通信设备等)或者能够通信并且具有用于执行在本公开内容中描述的操作的充分处理器能力和存储器容量的其它形式的计算或者电信设备。可以提供包括多个这样的计算设备的分布式计算系统。

计算设备1000包括具有在其上编码的用于实施如在本公开内容中不同地描述的技术的一个或者多个计算机可执行指令或者软件的一个或者多个存储设备1010和/或非瞬态计算机可读介质1020。存储设备1010可以包括用于存储数据以及实施如在本公开内容中教导的各种实施例的计算机可读指令和/或软件的计算机系统存储器或者随机存取存储器，诸如耐用盘存储(可以包括任何适当的光或者磁的耐用存储设备，例如RAM、ROM、闪存、Flash、USB驱动或者其它基于半导体的存储介质)、硬驱动、CD-ROM或者其它计算机可读介质。存储设备1010也可以包括其它类型的存储器或者其组合。可以在计算设备1000上提供或者从计算设备1000分离地或者远离地提供存储设备1010。非瞬态计算机可读介质1020可以包括但不限于一种或者多种类型的硬件存储器、非瞬态有形介质(例如，一个或者多个磁存储盘、一个或者多个光盘、一个或者多个USB快闪驱动)等。包括在计算设备1000中的非瞬态计算机可读介质1020可以存储用于实施各种实施例的计算机可读和计算机可执行指令或者软件。可以在计算设备1000上提供或者从计算设备1000分离地或者远离地提供计算机可读介质1020。

计算设备1000也包括用于执行在存储设备1010和/或非瞬态计算机可读介质1020中存储的计算机可读和计算机可执行指令或者软件以及用于控制系统硬件的其它程序的至少一个处理器1030。可以在计算设备1000中运用虚拟化，使得可以动态地共享计算设备1000中的基础设施和资源。例如，可以提供虚拟机以处理在多个处理器上运行的过程，使得过程表现为使用仅一个计算资源而不是多个计算资源。多个虚拟机也可以与一个处理器一同被使用。

用户可以通过输出设备1040、诸如屏幕或者监视器(例如，图1的显示器130)与计算设备1000交互，该输出设备可以显示根据一些实施例提供的一个或者多个用户界面。输出设备1040也可以显示与一些实施例关联的其它方面、单元和/或信息或者数据。计算设备1000可以包括用于从用户接收输入的其它I/O设备1050，例如，键盘、操纵杆、游戏控制器、定点设备(例如鼠标、用户的与显示设备直接地进行接口的手指等)或者任何适当用户接口。计算设备1000可以包括其它适当常规I/O外设，诸如相机1052。计算设备1000可以包括和/或被操作地耦合到用于执行如在本公开内容中不同地描述的功能中的一个或者多个功能的各种适当设备。

计算设备1000可以运行任何操作系统，诸如

操作系统的版本、Unix和Linux操作系统的不同发布、用于Macintosh计算机的

的任何版本、任何嵌入式操作系统、任何实时操作系统、任何开源操作系统、任何专用操作系统、用于移动计算设备的任何操作系统或者能够在计算设备1000上运行并且执行在本公开内容中描述的操作的任何其它操作系统中的任何操作系统。在一个实施例中，可以在一个或者多个云机器实例上运行操作系统。

在其它实施例中，可以利用硬件、诸如门级逻辑(例如，FPGA)或者专用半导体(例如，ASIC)来实施功能部件/模块。可以利用微控制器来实施更多其它实施例，该微控制器具有用于接收和输出数据的多个输入/输出端口以及用于执行在本公开内容中描述的功能的多个嵌入式例程。在更一般意义上，如将是明显的，可以使用硬件、软件和固件的任何适当组合。

如根据本公开内容将会理解的，图1中所示系统的各种模块和部件，诸如图像分割模块112，可以被实施在软件中，诸如在任何计算机可读介质或者计算机程序产品(例如硬驱动、服务器、盘或者其它适当非瞬态存取或者存储器集合)上编码的指令集(例如，C、C++、面向对象C、JavaScript、Java、BASIC等)，该软件在由一个或者多个处理器执行时使得在本公开内容中提供的各种方法被执行。将会理解，在一些实施例中，如在本公开内容中描述的由用户计算系统执行的各种功能可以由不同配置和布置中的相似处理器和/或数据库来执行，并且所描绘的实施例不旨在于限制。该示例实施例的各种部件，包括计算设备100，例如，可以被集成到一个或者多个桌面型或者膝上型计算机、工作站、平板、智能电话、游戏控制台、机顶盒或者其它这样的计算设备中。计算系统的其它典型部件和模块，诸如处理器(例如，中央处理单元和协处理器、图形处理器等)、输入设备(例如，键盘、鼠标、触摸板、触摸屏等)以及操作系统未被示出但是将将是显而易见的。

示例应用

本发明的实施例可以被应用于一个或者多个应用。在一个示例应用中，可以从图像中提取对象，使得对象可以被描绘成艺术线条。在另一示例应用中，可以在平板或者其它移动设备上向用户显示实况前景/背景编辑。例如，这样的应用可以允许用户在拍摄画面之前在相机预览屏幕中看见前景/背景效果(例如图2C和2D的遮罩214或者222)(例如，实时或者接近实时)。这样的效果的示例包括1)将前景染红；2)将前景示为白色而将背景示为黑色；3)在不同网纹背景上示出前景；4)增加前景的饱和度而减少背景的饱和度；以及5)用颜色示出前景而将背景示为线条图。注意，用户可以到处移动平板或者移动设备并且在实况图像预览中看见效果。如根据本公开内容将会理解，可以使用其它效果。

另一示例应用可以被用于实况图像组成。如果用户想要创建自画像或者所谓“自拍照”图像而无须将他们的背部转向景物，则用户可以利用移动设备的后置相机拍摄景物的相片，然后应用自动地切换到前置相机、选择人并且将他们实况组成到背景中(例如，使用脸部/人偏移)。如果设备允许前置相机和后置相机相机两者同时为活跃的，则来自后置相机的景物也可以是实况的。

许多实施例根据本公开内容将是明显的，并且在本公开内容中描述的特征可以被组合到任何数目的配置中。一个示例实施例提供一种系统，该系统包括存储装置和一个或者多个处理器，该存储装置具有至少一个存储器，每个处理器被操作地耦合到存储装置。一个或者多个处理器被配置为执行如下过程，该过程包括接收代表当前图像帧的当前帧像素数据；计算偏移项，该偏移项代表当前图像帧中的每个像素朝着前景偏移区域和背景偏移区域之一的加权；使用能量优化函数(例如，具有图切割优化技术或者信任传播算法)来基于像素数据和偏移项将当前图像帧分割成前景段和背景段；以及生成与前景段和背景段中的至少一个段中的像素对应的像素遮罩。在一些情况下，该系统包括被操作地耦合到处理器并且被配置为提供图形用户界面的显示器，其中该过程包括经由图形用户界面显示当前图像帧和像素遮罩，使得像素遮罩被叠加在图像帧中的相应像素之上。在一些情况下，分割进一步基于前景偏移区域中的第一像素的第一特征(例如，颜色)和背景偏移区域中的第二像素的第二特征(例如，另一颜色)，并且其中当前图像帧中的具有第一特征的第三像素被分割到前景段中而当前图像帧中的具有第二特征的第四像素被分割到背景段中。在一些情况下，前景偏移区域包括当前图像帧的中心、在当前图像帧中检测到的人的脸部或者在当前图像帧中检测到的人的身体。在一些情况下，当前图像帧是实况相机馈送中的多个图像帧之一，其中该过程包括接收代表不同图像帧的附加像素帧数据以及使用图切割优化技术以基于附加像素数据更新当前图像帧的分割。在一些这样的情况下，该过程包括基于更新的分割来更新像素遮罩。在一些这样的情况下，该过程包括基于在接收连续地更新的图像帧之一之前生成的至少一个像素遮罩来更新像素遮罩。在一些这样的情况下，更新包括生成与不同图像帧中的前景段和背景段中的至少一个段对应的新像素遮罩，以及对新像素遮罩与至少一个先前像素遮罩求平均值从而产生更新的像素遮罩。在一些情况下，该过程包括经由图形用户界面顺序地显示更新的像素遮罩中的每个更新的像素遮罩。另一实施例提供一种具有在其上编码的指令的非瞬态计算机可读介质或者计算机程序产品，这些指令在由一个或者多个处理器执行时使得处理器执行在本公开内容中定义的功能中的一个或者多个功能，诸如在本段中不同地描述的方法。在一些情况下，可以按照任何顺序以及在任何时间由一个或者多个不同处理器执行在本段中不同地描述的功能中的一些或者所有功能。

仅通过示例的方式呈现了各种实施例的前述描述和附图。这些示例不旨在于穷举或者限制本发明为所公开的精确形式。替换、修改和变化根据本公开内容将是明显的并且旨在于在如权利要求中所阐述的本发明的范围内。

Claims (17)

1.一种计算机实施的数字图像处理方法，所述方法包括：

接收代表当前图像帧的像素数据，所述像素数据包括所述当前图像帧内的像素位置和所述当前图像帧中的每个像素的颜色通道信息；

基于相对于前景偏移区域和背景偏移区域中的每一个的所述像素位置来计算偏移项，所述偏移项代表所述当前图像帧中的每个像素朝着所述前景偏移区域和所述背景偏移区域之一的加权；

自动为所述当前图像帧中的每个像素指派像素标签，每个像素标签代表前景像素和背景像素之一；

基于所述颜色通道信息，自动将特征聚类与所述当前图像帧中具有特定颜色的每个像素相关联，所述特征聚类代表所述当前图像帧中具有所述特定颜色的所有像素的非局部、基于颜色的邻域；

由处理器使用能量优化函数来基于所述像素数据、所述特征聚类和所述偏移项将所述当前图像帧分割成前景段和背景段，使得所述当前图像帧中具有所述特定颜色的所有所述像素在所述前景段和所述背景段之一中，其中所述当前图像帧通过优化目标函数被分割，所述目标函数包括所述当前图像帧中的所有所述像素标签以及所述当前图像帧中的所有所述特征聚类；

生成像素遮罩，所述像素遮罩与所述前景段和所述背景段中的至少一个段中的像素相对应；以及

经由图形用户界面显示所述当前图像帧和所述像素遮罩，使得所述像素遮罩被叠加在所述图像帧中的相应像素之上。

2.根据权利要求1所述的方法，其中所述分割进一步基于所述前景偏移区域中的第一像素的第一特征和所述背景偏移区域中的第二像素的第二特征，并且其中所述当前图像帧中的具有所述第一特征的第三像素朝着所述前景段被加权以及所述当前图像帧中的具有所述第二特征的第四像素朝着所述背景段被加权。

3.根据权利要求1所述的方法，其中所述前景偏移区域包括以下中的至少一个：所述当前图像帧的中心、在所述当前图像帧中检测到的人的脸部以及在所述当前图像帧中检测到的人的身体。

4.根据权利要求1所述的方法，其中所述当前图像帧是实况相机馈送中的多个图像帧之一，并且其中所述方法进一步包括：

接收代表不同图像帧的附加像素帧数据；以及

使用所述能量优化函数以基于所述附加像素数据来更新所述当前图像帧的所述分割。

5.根据权利要求4所述的方法，进一步包括基于在接收连续地更新的图像帧之一之前生成的至少一个像素遮罩来更新所述像素遮罩。

6.根据权利要求5所述的方法，其中所述更新包括：

生成新的像素遮罩，所述新的像素遮罩与所述不同图像帧中的所述前景段和所述背景段中的至少一个段相对应；以及

对所述新的像素遮罩与至少一个先前的所述像素遮罩求平均值，从而产生更新的像素遮罩。

7.根据权利要求1所述的方法，其中所述分割使用图切割优化算法和信任传播算法之一被执行。

8.根据权利要求5所述的方法，进一步包括经由所述图形用户界面顺序地显示所述更新的像素遮罩中的每个更新的像素遮罩。

9.一种用于数字图像处理的系统，包括：

存储装置；

操作地耦合到所述存储装置的处理器，所述处理器被配置为执行所述存储装置中存储的指令，所述指令在被执行时使得所述处理器执行过程，所述过程包括：

接收代表当前图像帧的像素数据，所述像素数据包括所述当前图像帧内的像素位置和所述当前图像帧中的每个像素的颜色通道信息；

基于相对于前景偏移区域和背景偏移区域中的每一个的所述像素位置来计算偏移项，所述偏移项代表所述当前图像帧中的每个像素朝着所述前景偏移区域和所述背景偏移区域之一的加权；

自动为所述当前图像帧中的每个像素指派像素标签，每个像素标签代表前景像素和背景像素之一；

基于所述颜色通道信息，自动将特征聚类与所述当前图像帧中具有特定颜色的每个像素相关联，所述特征聚类代表所述当前图像帧中具有所述特定颜色的所有像素的非局部、基于颜色的邻域；

使用能量优化函数来基于所述像素数据、所述特征聚类和所述偏移项将所述当前图像帧分割成前景段和背景段，使得所述当前图像帧中具有所述特定颜色的所有所述像素在所述前景段和所述背景段之一中，其中所述当前图像帧通过优化目标函数被分割，所述目标函数包括所述当前图像帧中的所有所述像素标签以及所述当前图像帧中的所有所述特征聚类；

生成像素遮罩，所述像素遮罩与所述前景段和所述背景段中的至少一个段中的像素相对应；以及

经由图形用户界面显示所述当前图像帧和所述像素遮罩，使得所述像素遮罩被叠加在所述图像帧中的相应像素之上。

10.根据权利要求9所述的系统，其中所述分割进一步基于所述前景偏移区域中的第一像素的第一特征和所述背景偏移区域中的第二像素的第二特征，并且其中所述当前图像帧中的具有所述第一特征的第三像素朝着所述前景段被加权以及所述当前图像帧中的具有所述第二特征的第四像素朝着所述背景段被加权。

11.根据权利要求9所述的系统，其中所述前景偏移区域包括以下中的至少一个：所述当前图像帧的中心、在所述当前图像帧中检测到的人的脸部以及在所述当前图像帧中检测到的人的身体。

12.根据权利要求9所述的系统，其中所述当前图像帧是实况相机馈送中的多个图像帧之一，并且其中所述过程进一步包括：

接收代表不同图像帧的附加像素帧数据；以及

使用所述能量优化函数以基于所述附加像素数据来更新所述当前图像帧的所述分割。

13.根据权利要求12所述的系统，其中所述过程进一步包括基于在接收连续地更新的图像帧之一之前生成的至少一个像素遮罩来更新所述像素遮罩。

14.根据权利要求13所述的系统，其中所述更新包括：

生成新的像素遮罩，所述新的像素遮罩与所述不同图像帧中的所述前景段和所述背景段中的至少一个段相对应；以及

对所述新的像素遮罩与至少一个先前的所述像素遮罩求平均值，从而产生更新的像素遮罩。

15.根据权利要求9所述的系统，其中所述分割使用图切割优化算法和信任传播算法之一被执行。

16.根据权利要求13所述的系统，其中所述过程进一步包括经由所述图形用户界面顺序地显示所述更新的像素遮罩中的每个更新的像素遮罩。

17.一种具有在其上编码的指令的非瞬态计算机程序产品，所述指令在由一个或者多个处理器执行时使得过程被执行，所述过程包括：

接收代表当前图像帧的像素数据，所述像素数据包括所述当前图像帧内的像素位置和所述当前图像帧中的每个像素的颜色通道信息；

基于相对于前景偏移区域和背景偏移区域中的每一个的所述像素位置来计算偏移项，所述偏移项代表所述当前图像帧中的每个像素朝着所述前景偏移区域和所述背景偏移区域之一的加权；

自动为所述当前图像帧中的每个像素指派像素标签，每个像素标签代表前景像素和背景像素之一；

基于所述颜色通道信息，自动将特征聚类与所述当前图像帧中具有特定颜色的每个像素相关联，所述特征聚类代表所述当前图像帧中具有所述特定颜色的所有像素的非局部、基于颜色的邻域；

使用能量优化函数来基于所述像素数据、所述特征聚类和所述偏移项将所述当前图像帧分割成前景段和背景段，使得所述当前图像帧中具有所述特定颜色的所有所述像素在所述前景段和所述背景段之一中，其中所述当前图像帧通过优化目标函数被分割，所述目标函数包括所述当前图像帧中的所有所述像素标签以及所述当前图像帧中的所有所述特征聚类；

生成像素遮罩，所述像素遮罩与所述前景段和所述背景段中的至少一个段中的像素相对应；以及

经由图形用户界面显示所述当前图像帧和所述像素遮罩，使得所述像素遮罩被叠加在所述图像帧中的相应像素之上。

Images