CN101529495B - 图像遮罩生成 - Google Patents

Abstract

公开了一种方法、系统和设备，其中包括计算机程序产品，其特征在于将光栅图像中的第一批像素标识为前景像素，以及将所述光栅图像中不同的第二批像素标识为背景像素。所述前景像素以及背景像素均具有各自的颜色值。使用所述前景像素的颜色值以及所述背景像素的颜色值来求解不透明度颜色模型。使用所述不透明度颜色模型来确定所述光栅图像中像素的不透明度值。

Description

图像遮罩生成

技术领域

本公开涉及图形图像处理，以及更具体地，涉及选择图像的多个部分。

背景技术

通常，对于图像中的每个像素，图像遮罩表示每个像素是否被选择。有时，可以将图像遮罩称为图像蒙板(image matte)、选择遮罩或者α通道。二进制遮罩是一种图像遮罩，可以将其用于指示每个像素的两个互斥状态中的一个状态：“被选择”或者“未被选择”、“前景”或者“背景”等。有时将不透明度遮罩称为分级不透明度遮罩，这种图像遮罩表示每个像素处于两种互斥状态之一的程度。不透明度遮罩可用以表示例如某些像素完全是前景或者完全是背景，而其他像素在很大程度上是前景而在很少程度上是背景。不透明度遮罩将给定像素标识为前景的程度可以称为关于不透明度遮罩的像素不透明度。

通常，使用不透明度遮罩来选择描绘具有软边缘(例如，该边缘与所描绘的其他对象或者背景相融合)的对象的图像的区域。通常，此类对象包括：毛发、毛皮、羽毛、火、烟等。可以通过对二进制遮罩的边缘进行人工羽化或者软化(例如，模糊)，从二进制遮罩生成不透明度遮罩。然而，得到的不透明度遮罩通常表现出相干的软化边缘，而该边缘不能反映在图像中描绘的特征(例如，边缘)。

可以通过选择颜色范围来为图像生成不透明度遮罩。可以使用颜色范围来确定：不透明度遮罩是将图像中的像素标识为前景还是背景。例如，包括蓝色阴影的颜色范围可用于生成不透明度遮罩，其中该不透明度遮罩基于像素中蓝色的量而对每个像素标识不透明度值。例如，完全蓝色的像素是前景，完全红色或者绿色的像素标识为背景。然而，如在图1中所描绘的图像100的不透明度遮罩中明显看到的那样，这一技术通常产生没有完全包括期望区域(例如，整个中央人物，不含人物的复制副本140)的不透明度遮罩。在图像100中，以与像素的不透明度值表示其为背景像素的程度成比例的方式，用白色色调来高亮显示像素。在图2中示出了没有遮罩处理的原始图像。注意，在图像100中，尽管某些区域130具有正确标识前景区域的不透明度值，然而不期望的是，其他区域(诸如，人物的眼睛)110被标识为背景。用户通常通过烦琐的试错法过程来选择颜色范围，该试错法过程依赖于检查单独颜色通道(例如，红、绿和蓝)或者颜色通道的组合，使用其专家式判断来选择颜色范围并且估计所得到的不透明度遮罩。

发明内容

通常，在一方面中，实施方式特征在于：将光栅图像中的第一批像素标识为前景像素，以及将所述光栅图像中不同的第二批像素标识为背景像素。所述前景像素以及背景像素中的每个均具有各自的颜色值。使用所述前景像素的颜色值以及所述背景像素的颜色值来求解不透明度颜色模型。使用所述不透明度颜色模型来确定所述光栅图像中像素的不透明度值。此方面的其他实施方式包括相应的系统、装置和计算机程序产品。

这些以及其他实施方式可选地包括以下一个或者多个特征。所述不透明度颜色模型可以是非线性的。所述像素的颜色值可以包括基于在围绕所述像素的局部领域中的像素的颜色值的非局部信息。可以基于所述光栅图像中每个像素的不透明度值，来生成针对所述光栅图像的不透明度遮罩。求解所述不透明度颜色模型可以包括：标识一个函数，所述函数将给定像素的颜色值作为自变量，并且所述函数的值是所述给定像素的不透明度值，其中所述函数是多个项的和，所述每个项是相应的未确定的系数与相应的单项式的乘积，所述单项式具有与所述给定像素的颜色值的每个分量相对应的一个或者多个变量；以及通过确定所述函数中每个系数的值，来导出不透明度颜色模型，所述导出基于所述前景像素和背景像素的颜色值。使用所述不透明度颜色模型确定所述光栅图像中像素的不透明度值可以包括：使用所述像素的颜色值来估计不透明度颜色模型。

求解不透明度颜色模型可以包括：使用偏置以便偏向于前景像素的颜色值或者背景像素的颜色值。可以接收确定所述偏置的用户输入。可以接收指定不透明度颜色模型的复杂度的用户输入。可以使用所述不透明度颜色模型的复杂度来确定在不透明度颜色模型中使用的颜色组合的数目。基于所述不透明度颜色模型，可以将所述光栅图像中的像素相干地分类为前景或者背景。

标识所述光栅图像中的所述第一批像素可以包括：接收用户输入，所述用户输入将来自所述图像的多个像素标识为所述第一批像素。标识所述光栅图像中的所述不同的第二批像素可以包括以下一个或者多个步骤：1)接收用户输入，所述用户输入将来自所述图像的多个像素标识为所述第二批像素；2)选择沿着所述图像的边界的多个像素作为所述第二批像素；3)通过随机采样来选择多个像素作为所述第二批像素；以及4)选择如下像素作为所述第二批像素，该像素的颜色值与所述第一批像素中的像素的颜色值最不相似。

通常，在另一方面，实施方式的特征在于：接收用户输入，所述用户输入将光栅图像中的第一批像素标识为前景像素或者背景像素中的一种。所述光栅图像中的每个像素均具有各自的颜色值。将所述光栅图像中不同的第二批像素标识为前景像素或者背景像素中的另一种。使用所述前景像素的颜色值以及所述背景像素的颜色值来求解不透明度颜色模型。通过使用所述不透明度颜色模型来确定所述光栅图像中每个像素各自的不透明度值，来生成针对所述光栅图像的不透明度遮罩。此方面的其他实施方式包括相应的系统、装置以及计算机程序产品。

这些以及其他实施方式可选地包括以下一个或者多个特征。所述不透明度颜色模型是非线性的。求解所述不透明度颜色模型可以包括：标识一个函数，所述函数将给定像素的颜色值作为自变量，并且所述函数的值是所述给定像素的不透明度值，其中所述函数是多个项的和，所述每个项是相应的未确定的系数与相应的单项式的乘积，所述单项式具有与所述给定像素的颜色值的每个分量相对应的一个或者多个变量；以及通过确定所述函数中每个系数的值，来导出不透明度颜色模型，所述导出基于所述前景像素和背景像素的颜色值。使用所述不透明度颜色模型确定所述光栅图像中像素的不透明度值可以包括：使用所述像素的颜色值来估计不透明度颜色模型。在显示器上更新光栅图像的呈现，以便在正在标识所述第一批像素时描绘所述不透明度遮罩。接收标识所述第一批像素的用户输入可以包括：接收在所述图像上绘制的笔画。在所述图像上绘制的所述笔画覆盖的每个像素处于所述第一批像素之中。标识所述光栅图像中所述不同的第二批像素包括以下一个或者多个步骤：1)接收用户输入，所述用户输入将来自所述图像的多个像素标识为所述第二批像素；2)选择沿着所述图像的边界的多个像素作为所述第二批像素；3)通过随机采样来选择多个像素作为所述第二批像素；以及4)选择如下像素作为所述第二批像素，该像素的颜色值与所述第一批像素中的像素的颜色值最不相似。

可以执行在此说明书中描述的主题的特定实施方式，以便实现以下的一个或者多个优点。响应于由用户标识的像素，可以快速并且精确地确定不透明度遮罩。由于可以通过单一地标识背景像素或者前景像素之一来生成不透明度遮罩，用户不必既标识前景像素又标识背景像素。对于通常由用户使用传统颜色范围选择技术而实践的人工试错法过程来说，从不透明度颜色模型生成不透明度遮罩基本上实现了自动化。通过向用户提供进一步控制(尤其是在准确性和性能之间)，可以由用户来操纵不透明度颜色模型的复杂度(例如，项数)。非线性的不透明度颜色模型可以生成高质量的不透明度遮罩，即使对于包含三种或者更多主要颜色的图像来说也是如此。使用非线性的不透明度颜色模型是足够高效的，使得当接收到输入时，可以响应于用户输入来进行所确定图像遮罩的可视渲染，由此使得不透明度遮罩的确定成为交互过程。

在下文的附图以及说明书中阐明了本发明的一个或者多个实施方式的细节。从说明书、附图以及权利要求书中，本发明的其他特征、方面和优点将变得清楚明了。

附图说明

本专利或者申请文件包括以彩色方式制作的至少一副画面。在请求和支付必要费用的情况下，可提供具有彩色画面的本专利或者专利申请公开的副本。

图1示出了具有基于现有技术的颜色范围选择技术的不透明度遮罩的图像。

图2示出了具有前景和背景笔画的图像。

图3示出了不透明度颜色模型的函数通式。

图4示出了绘出前景和背景像素的两种颜色分量的示图。

图5示出了图2的图像，其中该图像的一部分被高亮显示。

图6示出了针对图5中图像的不透明度遮罩的渲染(render)。

图7A是用于确定图像中像素的不透明值的流程图。

图7B是当接收用户输入时用于确定图像中像素的不透明值的流程图。

图8示出了用于确定图像不透明度遮罩的系统。

在不同附图中，相似的参考标号表示相似的元件。

具体实施方式

图2示出了具有前景210和背景220笔画的图像200，从该图像中可以生成不透明度遮罩。图像可以表示为像素光栅(例如，像素的二维阵列)，其中每个像素对描述特定位置处的图像的值(例如，颜色、强度、或者两者)进行编码。彩色图像通常以彩色模型编码，诸如RGB彩色模型(红、绿、蓝)或者CMYK彩色模型(青、品红、黄、黑)。可以对黑白图像或者灰度图像进行编码，以便每个像素值表示灰度的强度。其他颜色或者灰度编码也是可行的(例如，CIELAB、CIE XYZ、CIE LUV、YCC、YIQ、HSB或者HSL)。像素值对应于将图像进行编码的颜色模型的相应的颜色分量。例如，在RGB编码图像中，通过对应于RGB的三个颜色分量(红、绿、蓝)中每个分量的至少三个值来编码每个像素的值。

通常，以具有诸如以下格式之类的图像格式的文件来描述和存储图像及其组成像素：联合图像专家组(JPEG)格式、便携网络图形(PNG)格式、图形交互格式(GIF)格式、位图(BMP)格式、标签图像文件格式(TIFF)格式，等等。

示出了添加在图像200上的单独笔画210和220，并且表示用户希望去除中央人物(例如，由笔画210覆盖的人物)的复制副本。已经被笔画覆盖的像素被标识为处于由不透明度遮罩表示的两种状态之一(例如，前景或者背景)中的像素。例如，笔画210标识前景像素而笔画220标识背景像素。

通常，例如由用户操纵输入设备，可以将图像中任意数量的像素标识为背景或者前景。例如，用户可以使用计算机鼠标、触敏屏幕、轨迹垫、压敏板或者其他输入设备，在图像200上绘制笔画210。可选地，可以由系统自动地(例如，基于由运动检测、边缘检测或者机器视觉系统执行的识别)将像素或者标识为前景、或者标识为背景。例如，通过选择不透明度状态(例如，切换前景/背景按钮)或者通过调整输入方式(例如，使用鼠标左键或者鼠标右键)，用户可以指示他们正在提供的输入是标识前景像素还是标识背景像素。

响应于标识图像中的像素，可以向用户提供可视反馈，该可视反馈以可视化方式强调了所标识的像素。例如，将由前景笔画210覆盖的像素进行高亮显示(例如，将其以明亮颜色着色)。可以以另一颜色来将已经标识为背景(例如，笔画220)的像素进行高亮显示。在其他实现中，可以利用半透明的色调描绘已标识像素，使所述已标识像素进行高亮显示或者模糊。可选地，可以呈现(例如，作为半透明轮廓或者作为动画显示的虚线)围绕已标识像素的邻近区域的边界。

在其他实现中，代替仅强调已标识像素的是，可以呈现响应于标识像素而生成的不透明度遮罩的可视描绘。

可以将图像的不透明度遮罩可视化为单色图像，其中每个像素的强度反映每个像素的不透明度(例如，参见图6)。在其他实现中，可以通过调整不透明度遮罩所应用于的图像的渲染来将不透明度遮罩进行可视化。例如，可以通过以全色方式渲染图像的前景区域(如由不透明度遮罩所标识)，来将不透明度遮罩可视化，而以非彩色方式(例如，如图1和图5中所示的灰、黑或者白)渲染图像的背景区域。在其他实现中，在渲染之前，可以由图像滤镜来过滤如由不透明度遮罩所标识的主要是前景或者背景的图像区域(例如，背景像素被模糊或者从彩色向灰度转换)。不透明度遮罩的其他描绘方式(例如，单独描绘不透明度遮罩，或者围绕标识为主要是前景或者背景的图像区绘制动画形式的虚线)也是可行的。以不同方式渲染图像的前景像素和背景像素允许用户区分其输入对于不透明度遮罩的影响。

如在许多图像中常见的那样，在图像200中，存在主要包括特定颜色(例如，橙色和棕色)的区域230以及包括其他颜色(例如，具有蓝色色调的橙色和棕色)的区域240。在图像中还可以存在其他区(例如，毛发、毛皮、火、或者半透明或模糊对象之间的过渡区)，在这些区中像素具有在两个区域中共有的颜色(例如，诸如由背景笔画220所标识的各像素区域)。

结合不透明度的颜色模式使用已标识像素(例如，由笔画210和220覆盖)，以便确定图像的不透明度遮罩。参考图3在下文中示出了颜色模式及其出处的描述。对于图像中每个像素，不透明度遮罩描述了该像素处于两种互斥状态(例如，前景或者背景)之一的程度。在某些实现中，可以由通常范围处于0和1之间的数字值来度量像素的不透明度，其中0和1分别表示背景和前景。其他数字标度也是可行的，例如，不透明度值的范围可以介于0和255之间。

不透明度的颜色模型基于具有以下通式的不透明度颜色模型函数，其中c表示特定像素的值，而i、j和k的范围为该像素值的量(例如，颜色分量的数量，对于RGB图像是三，而对于CMYK图像是四)：

$\mathrm{opacity}\left(c\right)=w_0+\underset{i}{\mathrm{\Σ}}{w}_{1i}{c}_i+\underset{\mathrm{ij}}{\mathrm{\Σ}}{w}_{2\mathrm{ij}}{c}_i{c}_j+\underset{\mathrm{ijk}}{\mathrm{\Σ}}{w}_{3\mathrm{ijk}}{c}_i{c}_j{c}_k+\·\·\·---\left(1\right)$

每个总和针对各分量或者分量组合(例如，ij是颜色分量i和j的组合)求和。例如，适用于RGB颜色模型的函数通式可以表达为：

opacity(r，g，b)＝w₀+w₁r+w₂g+w₃b+w₄r²+w₅rg+w₆rb+w₇g²+w₈gb+w₉b²+…

尽管只给出了函数的前十项，但是不透明度的颜色模型函数可以具有更多高阶项。通常，不透明度颜色模型函数是各项的总和，其中每个项是系数(例如，w₀、w₁和w₂)与颜色分量的独特组合(例如，r²、gb²或者g³)的乘积。当添加项时，等式的次数增加。只要函数的次数超过颜色分量的数量(例如，当项中的颜色分量提高至2的幂或者更高时)，则函数是非线性的。

图3示出了颜色通道对于RGB模型的不透明度颜色模型的通式的贡献。函数310如上文所示。图像中像素的每个颜色分量可以标识为颜色通道320；颜色通道有时还可以称为颜色面(color plane)。在不透明度颜色模型函数中的每个低阶项捕获单独颜色通道320对于不透明度遮罩中像素的不透明度的贡献。函数中的高阶项捕获颜色通道组合330的贡献。例如“rg”组合颜色通道是红色通道和绿色通道的组合。通过在不透明度颜色模型函数中包括其他高阶项，可以任意复杂的组合来组合颜色通道。

对多个颜色通道进行组合类似于专家用户通常用以生成不透明度遮罩的实践。例如，诸如Photoshop(来自加利福尼亚州圣何塞的Adobe Systems公司)之类的工具允许用户查看图像的单独颜色通道。为了生成图像遮罩，用户通常检查每个通道以便主观地评价何种颜色范围将产生适当的不透明度遮罩。为了改进其遮罩，用户还可以以变化的组合来组合一个或者多个颜色通道，以便寻找适合的颜色范围。

不透明度颜色模型函数中项的数量可以是预定的、自动确定的、可由用户定制的，或者在实现中有所变化。在某些实现中，可以基于用户输入来确定不透明度颜色模型函数中项的数量。由于提高了不透明度颜色模型的复杂度(例如，项的数量)，所以也提高了每个较高阶项中颜色分量组合的复杂度。每个额外的颜色分量组合意味着，不透明度颜色模型更容易产生最佳的颜色区分，并且继而针对图像中的像素产生更为准确的不透明度值。

为了求解不透明度颜色模型，基于标识为前景和背景的像素，来导出不透明度颜色模型函数的系数的值。选择模型的系数值以便产生理想区分，该区分可以将前景像素和背景像素进行分离。

图4示出了二维图400，其绘出了通过对RG颜色空间中的图像的前景像素和背景像素进行刷涂而标识的像素的两个颜色分量，即红色420和绿色410。图400示出了不透明度颜色模型的系数值如何影响前景像素和背景像素的区分方式。

图400描绘了两个分开的区域，一个区域对应于前景像素430的红/绿值，而另一区域对应于背景像素440的红/绿值。出于示出目的，将使用针对RG颜色空间的最简化的不透明度颜色模型函数：

opacity＝w₀+w₁r+w₂g

为函数系数指定值，这确定了将RG颜色空间划分为两个子空间的线的位置和斜率(例如，线460或者线470)。例如，在图400中，线470表示一个潜在的划分。然而，得出的前景分区(例如，该分区主要包括前景像素)包括多个背景像素443。作为比较，线460表示更为理想的划分，其中大多数前景像素430和背景像素440是分开的。

通常，前景和背景区域并不能如图400所建议的那样容易地用直线划分。然而通常，不透明度颜色模型是非线性函数，该函数描述了n维空间中的弯曲的n维超表面，其中n是图像中颜色分量的数量。随着不透明度颜色模型复杂度的增加，函数的表达也更复杂，并且更可能的是，对于每个系数存在一组值，其将前景像素与背景像素进行了理想划分。

有可能不存在将所有前景像素与所有背景像素分开的划分。如果这种划分是不可能的，则理想划分是可以将划分误差最小化的划分。可以通过将背景分区中的前景像素以及前景分区中的背景像素进行比较，来度量特定划分的划分误差。划分误差越低，则在其相应划分的错误侧存在的像素越少。

尤其是，如果前景像素的不透明度等于不透明度值1(例如，不透明度＝1)，并且背景像素的不透明度等于不透明度值0(例如，不透明度＝0)，则在某些实现中，通过以下函数来给出划分误差，其中大写字母表示矢量：

$\mathrm{error}=1/2\underset{i_{+}}{\mathrm{\Σ}}{(1-W\·X_i)}^2+\underset{i_{-}}{\mathrm{\Σ}}{(W\·X_i)}^2---\left(1\right)$

在上述函数中，第一总和覆盖每个前景像素i₊，而第二总和覆盖每个背景像素i_-。变量W表示在不透明度颜色模型函数中每项的系数的矢量，而X表示在不透明度颜色模型函数中每项中的像素值组合的矢量。例如，对于RGB图像和具有十项的不透明度颜色模型函数：

W＝{w₀，w₁，w₂，w₃，w₄，w₅，w₆，w₇，w₈，w₉}以及

X＝{l，r，g，b，r²，rg，rb，b²，bg，g²}

在其他实现中，矢量X可以包括非局部颜色导出信息，其中矢量中的像素值或者其分量(例如，r、g或者b)是在局部像素邻域(neighborhood)上的像素的像素值的函数。对于给定像素，其局部领域例如可以是最靠近的4个、8个、12个或者24个像素。例如，上述示例中的r、g和b颜色分量还可以包括颜色分量水平(x)和竖直(y)梯度(例如，rx、ry、gx、gy、bx和by)。作为替代或补充，每个分量还可以包括如下信息，诸如：整体梯度量值、领域平均、中值、双向滤镜值或者纹理度量。可以将所有这些潜在分量与颜色分量组合，以便扩充不透明度的非线性模型。以此方式，像素处的不透明度值可以合并有诸如局部纹理和边缘信息之类的较高级的信息。

当误差最小化时，对等式(1)求微分并且对W进行求解，产生以下解：

$W=M^{-1}\·\underset{i_{+}}{\mathrm{\Σ}}{X}_i$

其中M^-1是矩阵M的逆，并且其中M中的每个i、j元素定义为：

$M_{[i,j]}=\underset{i_{+}}{\mathrm{\Σ}}{X}_i{X}_j+\underset{i_{-}}{\mathrm{\Σ}}{X}_i{X}_j$

通过将矢量W中给出的系数代入不透明度颜色模型函数(1)中，来导出不透明度颜色模型。可以通过简单地使用与像素相关联的值估计不透明度颜色模型，来确定图像中每个像素的不透明度值。

在某些实现中，在确定不透明度颜色模型的系数值时，可以使用偏置参数来为背景像素或者前景像素给出更大的权重(例如，更为偏向于一个或者另一个)。在这样的实现中，可以将偏置β组合到矩阵M之中，得出：

$M_{[i,j]}=\underset{i_{+}}{\mathrm{\Σ}}{X}_i{X}_j+\mathrm{\β}\underset{i_{-}}{\mathrm{\Σ}}{X}_i{X}_j$

在上述等式中，当偏置较大时，则偏向于背景像素。相反，当偏置较小时，偏向于前景像素。考虑这样的像素，其不透明度值指示出其既不是完全前景也不是完全背景。当偏置较小时(而不是偏置较大时)，该像素具有的不透明度值指示其更多是作为前景而不是背景。理想的是，偏置参数可以基于用户输入，提供用户控制以便确定背景和前景像素标识的相对权重。

在某些实现中，在不透明度颜色模型估计期间，可以约束不透明度的颜色模型，以便确保由用户标识为前景和背景的像素是如此标识的。受约束的不透明度颜色模型(即，opacity’)给出如下：

opacity′(i)＝min(max(opacity(i)，I₊(i))，1-I(i))

在上述函数中，i是图像中的第i个像素，而I₊是前景像素的矢量，其中如果在图像中的第i个像素被标识为前景像素，则每个元素i是1；否则为0。在背景像素的矢量I_-中，如果图像中的第i个像素被标识为背景像素，则每个第i个元素是1；否则为0。受约束的不透明度颜色模型有效地将标识为前景的像素的不透明度值设置为1，而将标识为背景像素的像素的不透明度值设置为0，而与由(不受约束的)不透明度颜色模型所确定的其不透明度值无关。

尽管用户可以标识前景像素和背景像素两者，但不必严格地要求用户必须标识出前景像素和背景像素两者。在某些实现中，标识前景像素或者背景像素中的一个就足够了。在此类实现中，如果标识了一个状态(例如，前景)的像素，则可以自动标识另一状态(例如，背景)的像素。代替接收明确标识(例如，由用户或者其他标识装置或者处理来标识，诸如可以作为边缘检测系统的结果而执行)的是，可以使用自动标识的像素。在下文关于自动像素选择的描述中，假定仅标识了前景像素。注意，作为代替，如果初始已经标识了背景像素，则在下文中描述的关于自动标识的技术还适用于自动选择前景像素。

在某些实现中，自动标识背景像素可以包括选择距离已标识前景像素最远的像素。例如，假定在图像左上部区域中选择前景像素，则可以自动地从图像右下部区域中的边界区域自动标识背景像素。在某些实现中，可以离边界区域的预定距离内自动标识多个像素。

在某些其他实现中，可以从图像中随机采样像素，并且将每个采样像素与前景像素进行比较。可以将采样中的如下像素自动标识为背景像素，其中该像素的颜色值与前景像素的颜色值最不相似。颜色空间中的两个像素各自颜色之间的距离可用以确定一个像素的颜色与另一像素的颜色是如何相似或如何不同。

图5示出了图像200的渲染500，其中将该图像的一部分高亮显示(例如，背景是白色510)，向用户提供在给定当前的前景像素和背景像素的标识的情况下图像中像素的不透明度值的反馈。注意，相对于图像100来说，更有效地去除了图像500中的中央人物的复制副本。全色的图像区域520向用户指出：该区域中像素的不透明度值更接近于1而不是0(例如，更多地作为前景而不是作为背景)。在其他实现中，基于像素的特定不透明值，可以通过将像素进行高亮显示(例如，以半透明着色方式高亮显示)来绘出像素的不透明度值。还可以使用其他方式绘出不透明度遮罩(例如，围绕具有超过预定阈值或者用户提供的阈值的不透明度值的像素区，绘制动画形式的虚线)。

在某些实现中，在用户标识前景像素或背景像素之一时，提供关于所得到的不透明度遮罩的信息的图像渲染可以被连续地更新。例如，可以响应于从用户接收的用户输入的每个实例(例如，鼠标绘出笔画的每次运动)，来调整图像中的高亮显示区域。通常，一旦接收到输入，就立刻确定不透明度颜色模型函数的系数，并且估计图像的不透明度遮罩。指示当前不透明度遮罩的图像渲染向用户提供实况的可视反馈，这允许用户来感知输入正在如何影响不透明度遮罩。实况可视反馈允许用户有效并且迅速地导出期望的不透明度遮罩。

图6示出了从用户输入确定的、用于图5中图像的不透明度遮罩的渲染600。在渲染600中，其不透明度值接近零或为零的图像区610(例如，背景)被渲染为黑色。其不透明度值接近一或为一的图像区620(例如，前景)被渲染为白色。诸如在区域630中的像素之类的具有在零和一之间的不透明度值的像素(例如，处于前景和背景之间某处))被渲染为与其各自的不透明度值呈比例的灰色。

图7A是使用不透明度颜色模型来确定图像中像素的不透明度值的方法700的流程图。方法700包括从图像中标识或者是前景或者是背景的像素(步骤710)。通常，基于接收的用户输入来标识此类像素。例如，用户可以使用鼠标在图像之上绘出前景笔画，并且由前景笔画所覆盖的像素被标识为前景像素。

可选地，可以通过在图像之上绘出的矢量路径来标识像素。可以沿着路径画出预定的或者用户指定的半径的涂刷以便标识像素。像素的属性依赖于图像内部的像素颜色或者像素位置。可以使用阈值或者范围以及一个或者多个像素属性来标识图像中的像素。例如，可以基于其亮度、离图像中心的远近或者颜色饱和度来标识像素。可以将具有低于下限阈值的属性值的像素标识为前景(或者背景)，并且可以将具有高于上限阈值的属性值的像素标识为背景(或者前景)。

在另一实现中，可以根据初始图像遮罩来标识像素。初始图像遮罩可以是由用户来标识的、预定的(例如，基于模板)或者自动确定的。如果初始遮罩是二进制遮罩，则可以利用高斯或者其他模糊函数来将二进制遮罩进行模糊处理，以便生成初始不透明度遮罩。可以将其不透明度低于下限阈值的像素标识为背景(或者前景)，而将其不透明度高于上限阈值的像素标识为前景(或者背景)。

响应于标识前景像素，方法700包括标识背景像素(步骤720)。在某些实现中，背景像素可以通过用户输入来标识，其方式与标识前景像素的方式相同(例如，通过在图像之上进行刷涂)。可选地，可以基于图像中的前景像素的位置或者像素的颜色值来自动标识背景像素。步骤720被描述为响应于标识前景像素而标识背景像素。然而，可替代地，如果在步骤710中标识了背景像素，则以相同方式在步骤720中标识前景像素。

方法700包括标识具有固定项数的不透明度颜色模型函数(步骤730)。函数中的项数可以是预定的，或者可以从用户接收，或者可以自动确定。在一个实现中，用户可以在标识前景像素和背景像素之前、期间或者之后对这种参数进行指定和操纵。例如，可以根据默认值来初始预定不透明度颜色模型函数中的项数。响应于接收到对前景像素以及背景像素的标识，由方法700确定初始不透明度遮罩(参见下文中的步骤)。用户可以提供用户输入来影响(例如，增加或者减少)不透明度颜色模型函数中的项数。作为响应，从新的不透明度颜色模型函数来确定新的不透明度遮罩。

通过使用已标识的不透明度颜色模型函数，方法700包括：根据之前已经标识的前景像素和背景像素来确定函数的系数(步骤740)。可以通过将以下函数最小化来导出上述函数的系数，所述函数度量利用不透明度颜色模型将图像颜色空间中的前景像素与背景像素相区分时的误差。

方法700可以包括：使用不透明度颜色模型来估计图像中的每个像素，以便确定针对每个已估计像素的不透明度值(步骤750)。图像中所有像素的不透明度值构成不透明度遮罩。不透明度遮罩例如可以用于限制后续图像操纵操作的影响。例如，依赖于像素的不透明度值，可以将像素进行过滤，诸如颜色着色、颜色调整、模糊等等。在另一示例中，使用不透明度遮罩来选择图像内部的像素(例如，前景像素或者其不透明度值大于特定阈值的像素)。

在某些实现中，还可将估计颜色模型的结果用作对其他图像处理技术的输入。例如，可以与相干分类(coherent classification)相结合来使用像素的不透明度值，如在2006年9月6日提交的美国专利申请No.___________中所述的那样，该专利申请名称为LIVECOHERENT IMAGE SELECTION，发明人为Gregg Wilensky、ScottCohen以及Jen-Chan Chien。在此类实现中，作为对使用常数值来确定将像素分类为前景或者背景的区域代价的替代，该区域代价可以是像素的不透明度的函数。可以对用于对图像中的像素进行相干分类的代价函数进行修改，以便使得与将像素i分类为前景或者背景相关联的区域代价可以分别由以下函数来描述：

${\mathrm{\ϵ}}_i^{+}=\log (1/\mathrm{opacity}\left(i\right))$ 和 ${\mathrm{\ϵ}}_i^{-}=\log (1/(1-\mathrm{opacity}\left(i\right)))$

有利的是，与相干分类相结合来使用不透明度颜色模型可以产生扩充的选择，其中可以从相对较少的已标识像素(例如，对图像进行刷涂的用户输入)中选择图像的大量部分。通常，可以足够快速地确定图像中像素的不透明度值，从而可以重复并且连续使用相结合的技术以便在接收到用户输入时生成并渲染选择。

图7B是当接收到用户输入时用于确定图像中像素的不透明度值的方法705的流程图。方法705包括从用户接收标识来自图像的像素的输入，其中该输入将像素标识为前景或者背景中的任何一个(步骤715)。相应于用户输入，可以将像素自动地标识为前景或者背景(步骤725)(例如，如果用户输入标识了前景像素，则自动标识背景像素)。如果用户已经标识了前景像素以及背景像素两者(例如，通过先前接收到的用户输入)，则不必自动标识图像中的任何像素。

根据已标识的前景像素和背景像素来标识不透明度颜色模型函数，并确定该函数的系数，并且使用该函数来确定图像中像素的不透明度值(步骤730-750)，其方式与参考图7A所述的方式相同。

可以更新图像的呈现，以便描绘图像中像素的当前不透明度值(步骤760)。例如，可以将背景中的像素进行模糊(例如，以灰度渲染、或者以与其不透明度值成比例的有色色调来渲染)。更新呈现允许用户来鉴别获得的不透明度遮罩并且相应地调整其输入。

在某些实现中，当接收到用户输入时，确定像素不透明度值并且更新图像的渲染。如果从用户接收到标识像素的其他输入(步骤770)，则接收并处理进一步的输入(返回步骤715)。当已经获得期望的不透明度遮罩时，通常，可以将不透明度遮罩用于后续图像处理操作(例如，选择或者变换)，这些后续图像处理操作通常与不透明度遮罩值相称(例如，仅使前景像素经历全部操作)。

图8示出了使用非线性不透明度颜色模型来确定图像不透明度遮罩的系统800。系统800通常包括模块(例如，模块840至890)以及资源(例如，资源810以及820)。通常，模块是不同的功能性单元，其可以向其他模块提供信息，或者从其他模块接收信息。模块可以辅助与输入或者输出设备(例如，显示模块890或者输入模块880)进行通信。模块可以对资源进行操作。资源是可以由模块操作的信息集合。

系统800包括图像810，该图像包括其不透明度值能够被确定的像素。图像810中的每个像素的不透明度值构成不透明度遮罩820。不透明度遮罩820可以是与图像810分离的单独资源，然而，在某些实现中，不透明度遮罩可以表示在图像资源810中。

系统800包括输入模块880，用于从用户接收像素标识(例如，前景像素和背景像素)。输入模块880可以从一个或者多个输入设备(例如，键盘或者鼠标)885来接收输入。输入模块880还可以确定像素标识的特定状态(例如，前景或者背景)。例如，该标识可以基于设备的状态，诸如键盘按键的状态(是在使用鼠标左键还是右键)或者向写字板设备提供输入的笔的类型。在其他实现中，输入模块880可以基于在从照相机880接收的图像中的边缘或者运动检测，来确定像素标识。

像素标识器840可以从输入模块880接收已标识像素。像素标识器840可以自动标识图像中的如下像素，该像素具有与从输入模块880接收的像素相反的标识。可以将标识了图像中的前景像素和背景像素两者的信息提供至不透明度颜色模型导出模块860。

不透明度颜色模型函数生成器850标识具有特定项数的特定不透明度颜色模型函数。在一个实现中，模块850可以接收来自输入处理器的用户输入，以便确定函数中的项数。将特定不透明度颜色模型函数提供至不透明度颜色模型导出模块860。

不透明度颜色模型导出模块860使用像素标识以及不透明度颜色模型函数，来导出图像的不透明度颜色模型。导出不透明度颜色模型要求确定不透明度颜色模型函数的系数，该系数与前景像素以及背景像素标识匹配。将不透明度颜色模型提供至不透明度颜色模型估计器模块870。

不透明度颜色模型估计器模块870访问图像810，并且使用由模块860导出的不透明度颜色模型来估计图像810中的每个像素。对像素的不透明度颜色模型进行估计生成该像素的不透明度值。像素的不透明度值可以存储在不透明度遮罩820中。

显示模块890可以使用来自不透明度遮罩820的信息以及关于图像810的信息，从而生成不透明度遮罩和图像的可视渲染(例如，从而使得具有背景不透明度值的像素被高亮显示或者模糊)。在某些实现中，来自像素标识器840的信息还可用以渲染由用户标识的像素(例如，在图像之上绘制笔画)。显示模块890可以连接至一个或者多个显示设备895。

系统800描述了用于从非线性不透明度颜色模型生成不透明度遮罩的一种潜在实现。通常，可以将模块和资源进行组合或者划分，并且在由一个或者多个网络连接的一个或者多个计算设备上的硬件或者软件的某种组合中实现。

本说明书中描述的主题和功能性操作的实施方式可以在数字电子电路中实现，或者在计算机软件、固件或硬件中实现(包括本说明书中公开的结构及其等同结构)，或者在它们的一个或多个的组合中实现。本说明书中描述的主题的实施方式可以实现为一个或多个计算机程序产品，也即，在计算机可读介质上编码的、用于由数据处理装置执行或用于控制数据处理装置的操作的一个或多个计算机程序指令模块。计算机可读介质可以是机器可读的存储设备、机器可读的存储衬底、存储器设备、实现计算机可读的传播信号的物质的组合、或者它们中的一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机，或者多个处理器或计算机。除了硬件之外，该装置可以包括为所考虑的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中一个或多个的组合的代码。传播信号是人工产生的信号，例如，机器产生的电信号、光信号或者电磁信号，生成该信号以对信息进行编码，以便传输到适当的接收器装置。

计算机程序(也称为为程序、软件、软件应用、脚本或代码)可以由任意形式的编程语言编写，包括编译语言或解释语言，并且该计算机程序可以任意形式部署，包括部署为单独的程序或模块、组件、子例程，或者适于在计算环境中使用的其他单元。计算机程序无需对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中，可以存储在专门用于所考虑的程序的单个文件中，或者存储在多个协同文件(例如，存储一个或多个模块、子程序，或代码部分的文件)中。可以将计算机程序部署为在一个计算机上执行，或者将其部署为在位于一个地点的多个计算机上执行或跨过多个地点分布且通过通信网络互连的多个计算机上执行。

本说明书中描述的处理和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，用于通过对输入数据进行操作以及产生输出来执行功能。该处理和逻辑流程还可以由例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)之类的专用逻辑电路执行，并且也可以将装置实现为所述专用逻辑电路。

适于计算机程序执行的处理器例如包括通用和专用处理器两者、以及任意类型的数字计算机的任意一个或多个处理器。通常，处理器将从只读存储器或随机访问存储器或这两者处接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个海量存储设备，或被操作性地耦合为从所述用于存储数据的一个或多个海量存储设备接收数据、向其传送数据、或者进行这两者，该海量存储设备例如磁盘、磁光盘、或光盘。然而，计算机不必非得具有这样的设备。而且，计算机可以嵌入在其他设备中，例如移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器，等等。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如包括：半导体存储器设备，如EPROM、EEPROM和闪存设备；磁盘，如内部硬盘或可移动硬盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或是包括在专用逻辑电路中。

为了提供与用户的交互，本说明书中描述的主题的实施方式可以在具有用于向用户显示信息的显示设备以及用户可以通过其向计算机提供输入的键盘和指示设备的计算机上实现，其中显示设备例如CRT(阴极射线管)或者LCD(液晶显示器)显示器，指示设备例如鼠标或者轨迹球。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感观反馈，例如视觉反馈、声觉反馈、或者触觉反馈；并且可以接收来自用户的任意形式的输入，包括声音、语音或触觉输入。

本说明书中描述的主题的实施方式可以实现在包括后端组件的计算系统中，例如数据服务器；或实现在包括中间件组件的计算系统中，例如应用服务器；或实现在包括前端组件的计算系统中，例如具有图形用户界面或者Web浏览器的客户端计算机，用户通过该图形用户界面或Web浏览器可以与本说明书中描述的主题的实现进行交互；或实现在一个或多个这样的后端、中间件、或前端组件的任意组合中。系统组件可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)(例如，互联网)。

计算系统可以包括客户端和服务器。客户端和服务器一般相互远离，并且通常通过通信网络进行交互。客户端和服务器的关系是借助于在各自计算机上运行的、彼此具有客户端-服务器关系的计算机程序得到的。

尽管本说明书包含多种特定细节，但是不应将其理解为是对本发明或者所要求保护内容的范围的限制，而应当理解为是对本发明具体实施方式的特定特征的描述。本说明书中描述的在各个实施方式的上下文中的某些特征也可以在单个实施方式中组合实现。相反，在单个实施方式上下文中描述的各种特征也可以分别实现在多个实施方式中或者任意适当的子组合中。而且，尽管上文可能将特征描述为在特定的组合中操作，甚至初始也是这样要求保护的，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以针对子组合或子组合的变形。

类似地，尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定次序或是顺序的次序来执行这些操作，或是要求执行全部所示的操作，以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。而且，在上述实施方式中多个系统组件的分离不应被理解为在所有实施方式中都需要这种分离，而应当将其理解为所描述的程序组件和系统通常可以在单个软件产品中集成在一起，或是被打包到多个软件产品中。

已经在说明书中描述了主题的特定实施方式。其他实施方式也落入所附权利要求书的范围内。例如，可以以不同的次序执行权利要求书中所述的动作，并且仍然实现期望的结果。

Claims (21)

1.一种计算机实现的方法，包括：

将光栅图像中的第一批像素标识为前景像素，以及将所述光栅图像中不同的第二批像素标识为背景像素，所述前景像素中的每个均具有各自的颜色值并且所述背景像素中的每个均具有各自的颜色值；

使用所述前景像素的颜色值以及所述背景像素的颜色值来求解不透明度颜色模型，所述求解不透明颜色模型包括确定所述不透明度颜色模型的系数，其中所述不透明度颜色模型是来自多个项的和的函数，每个项是相应的所述系数之一与相应的单项式的乘积，所述单项式具有与给定前景像素或背景像素的颜色值的每个分量相对应的一个或者多个变量；其中确定所述系数使得所述前景像素和所述背景像素的划分中的误差最小化；并且其中基于在背景分区中的所述前景像素和在前景分区中的所述背景像素来测量所述误差；以及

使用所述不透明度颜色模型来确定所述光栅图像中像素的不透明度值。

2.根据权利要求1所述的方法，其中：

所述不透明度颜色模型是非线性的。

3.根据权利要求1所述的方法，其中：

所述光栅图像中的所述前景像素或背景像素的所述颜色值包括基于在围绕所述前景像素或背景像素的局部邻域中的前景像素或背景像素的颜色值的非局部信息。

4.根据权利要求1所述的方法，进一步包括：

基于所述光栅图像中每个像素的不透明度值，来生成针对所述光栅图像的不透明度遮罩。

5.根据权利要求1所述的方法，其中使用所述不透明度颜色模型确定所述光栅图像中像素的不透明度值进一步包括：

使用所述不透明度颜色模型估计所述光栅图像中的每个像素。

6.根据权利要求1所述的方法，其中求解不透明度颜色模型进一步包括：

使用偏置以便偏向于前景像素的颜色值或者背景像素的颜色值。

7.根据权利要求6所述的方法，进一步包括：

接收确定所述偏置的用户输入。

8.根据权利要求1所述的方法，进一步包括：

接收指定不透明度颜色模型的复杂度的用户输入。

9.根据权利要求8所述的方法，其中：

所述不透明度颜色模型的复杂度确定在不透明度颜色模型中使用的多个颜色组合。

10.根据权利要求1所述的方法，进一步包括：

基于所述不透明度颜色模型，将所述光栅图像中的像素相干地分类为前景或者背景。

11.根据权利要求1所述的方法，其中标识所述光栅图像中的所述第一批像素包括：

接收用户输入，所述用户输入将来自所述图像的多个像素标识为所述第一批像素。

12.根据权利要求1所述的方法，其中标识所述光栅图像中的所述不同的第二批像素包括以下一个或者多个步骤：

接收用户输入，所述用户输入将来自所述图像的多个像素标识为所述第二批像素；

选择沿着所述图像的边界的像素作为所述第二批像素；

通过随机采样来选择多个像素作为所述第二批像素；以及

选择如下像素作为所述第二批像素，该像素的颜色值与所述第一批像素中的像素的颜色值最不相似。

13.一种计算机实现的方法，包括：

接收用户输入，所述用户输入将光栅图像中的第一批像素标识为前景像素或者背景像素中的一种，所述光栅图像中的每个像素均具有各自的颜色值；

将所述光栅图像中不同的第二批像素标识为前景像素或者背景像素中的另一种；

使用所述前景像素的颜色值以及所述背景像素的颜色值来求解不透明度颜色模型，所述求解不透明颜色模型包括确定所述不透明度颜色模型的系数，其中所述不透明度颜色模型是来自多个项的和的函数，每个项是相应的所述系数之一与相应的单项式的乘积，所述单项式具有与给定前景像素或背景像素的颜色值的每个分量相对应的一个或者多个变量；其中确定所述系数使得所述前景像素和所述背景像素的划分中的误差最小化；并且其中基于在背景分区中的所述前景像素和在前景分区中的所述背景像素来测量所述误差；以及

通过使用所述不透明度颜色模型来确定所述光栅图像中每个像素各自的不透明度值，来生成针对所述光栅图像的不透明度遮罩。

14.根据权利要求13所述的方法，其中：

所述不透明度颜色模型是非线性的。

15.根据权利要求13所述的方法，其中使用所述不透明度颜色模型确定所述光栅图像中像素的不透明度值包括：

使用所述不透明度颜色模型估计所述光栅图像中的每个像素。

16.根据权利要求13所述的方法，进一步包括：

在显示器上更新光栅图像的呈现，以便在正在标识所述第一批像素时描绘所述不透明度遮罩。

17.根据权利要求13所述的方法，其中接收标识所述第一批像素的用户输入进一步包括：

接收在所述图像上绘制的笔画。

18.根据权利要求17所述的方法，其中在所述图像上绘制的所述笔画覆盖的每个像素处于所述第一批像素之中。

19.根据权利要求13所述的方法，其中标识所述光栅图像中所述不同的第二批像素包括以下一个或者多个步骤：

接收用户输入，所述用户输入将来自所述图像的多个像素标识为所述第二批像素；

选择沿着所述图像的边界的多个像素作为所述第二批像素；

通过随机采样来选择多个像素作为所述第二批像素；以及

选择如下像素作为所述第二批像素，该像素的颜色值与所述第一批像素中的像素的颜色值最不相似。

20.一种系统，包括：

标识装置，用于将在光栅图像中的第一批像素标识为前景像素，以及将所述光栅图像中不同的第二批像素标识为背景像素，所述前景像素中的每个均具有各自的颜色值并且所述背景像素中的每个均具有各自的颜色值；

求解装置，用于使用所述前景像素的颜色值以及所述背景像素的颜色值来求解不透明度颜色模型，所述求解不透明颜色模型包括确定所述不透明度颜色模型的系数，其中所述不透明度颜色模型是来自多个项的和的函数，每个项是相应的所述系数之一与相应的单项式的乘积，所述单项式具有与给定前景像素或背景像素的颜色值的每个分量相对应的一个或者多个变量；其中确定所述系数使得所述前景像素和所述背景像素的划分中的误差最小化；并且其中基于在背景分区中的所述前景像素和在前景分区中的所述背景像素来测量所述误差；以及

确定装置，用于使用所述不透明度颜色模型来确定所述光栅图像中像素的不透明度值。

21.一种系统，包括：

接收装置，接收用户输入，所述用户输入将光栅图像中的第一批像素标识为前景像素或者背景像素中的一种，所述光栅图像中的每个像素均具有各自的颜色值；

标识装置，用于将所述光栅图像中不同的第二批像素标识为前景像素或者背景像素中的另一种；

求解装置，用于使用所述前景像素的颜色值以及所述背景像素的颜色值来求解不透明度颜色模型，所述求解不透明颜色模型包括确定所述不透明度颜色模型的系数，其中所述不透明度颜色模型是来自多个项的和的函数，每个项是相应的所述系数之一与相应的单项式的乘积，所述单项式具有与给定前景像素或背景像素的颜色值的每个分量相对应的一个或者多个变量；其中确定所述系数使得所述前景像素和所述背景像素的划分中的误差最小化；并且其中基于在背景分区中的所述前景像素和在前景分区中的所述背景像素来测量所述误差；以及

生成装置，用于通过使用所述不透明度颜色模型来确定所述光栅图像中每个像素各自的不透明度值，来生成针对所述光栅图像的不透明度遮罩。

Images