CN105874506A

CN105874506A - 具有细节保留的图像模糊

Info

Publication number: CN105874506A
Application number: CN201480060488.5A
Authority: CN
Inventors: 瑞恩·皮特里; 托尔·卡朋特
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2013-10-04
Filing date: 2014-10-03
Publication date: 2016-08-17
Anticipated expiration: 2034-10-03
Also published as: CA2926235C; KR20160044044A; WO2015051335A1; CN105874506B; EP3053132A1; AU2014331622B2; US9105088B1; KR101685888B1; AU2014331622A1; CA2926235A1

Abstract

实施方式涉及在保留图像中的细节的同时使图像模糊。在某些实施例中，一种方法包括接收输入图像并通过对该输入图像中的多个像素的像素强度求平均而从该输入图像创建模糊图像。该方法从该输入图像创建透明度遮罩，其中，该透明度遮罩基于在该输入图像中检测到的边缘来指示用于该输入图像的像素位置的透明度值。基于透明度遮罩的透明度值而合成输入图像的像素强度和模糊图像的像素强度，以创建在所检测的边缘外面的区域中具有比该输入图像更大的模糊的输出图像。

Description

具有细节保留的图像模糊

相关申请的交叉引用

本申请要求2013年10月4日提交的美国专利申请号14/046,919的优先权，其被整体地通过引用结合到本文中。

背景技术

数字照相机的流行和方便以及因特网通信的普遍使用已经使得数字图像变得无处不在。例如，用户产生的数字照片被张贴到各种因特网站点，诸如网页、社交联网服务等。因特网通信的用户可以参与实时视频聊天或远程会议，其中用户的视觉图像被捕捉并发送到参与聊天的各种客户端设备。通过使用较高分辨率的照相机，可以传送用户及其它对象的更详细图像。然而，许多图像可以包括照相机噪声、皮肤瑕疵和/或缺陷或图像对象的其它非期望特征，许多用户希望将其从他们自己或其它用户观看的图像中去除。

发明内容

本申请的实施方式涉及在保留图像中的细节的同时使图像模糊。在某些实施例中，一种方法包括接收输入图像并通过对该输入图像中的多个像素的像素强度求平均而从该输入图像创建模糊图像。该方法从该输入图像创建透明度遮罩，其中，该透明度遮罩基于在该输入图像中检测到的边缘来指示用于该输入图像的像素位置的透明度值。基于透明度遮罩的透明度值而合成输入图像的像素强度和模糊图像的像素强度，以创建在所检测的边缘外面的区域中具有比该输入图像更大的模糊的输出图像。

描述了本方法的各种实施方式和示例。例如，创建模糊图像可以包括使用箱式滤波器和高斯滤波器中的至少一个。创建透明度遮罩可以包括检测输入图像中的边缘并且形成指示该边缘的具有处于多个不同值的像素的边缘图，使该边缘图模糊，并将该模糊边缘图中的值映射到透明度值。创建透明度遮罩可以包括将模糊边缘图反色。使边缘图模糊可以包括对该边缘图的像素使用箱式滤波器和高斯滤波器中的至少一个。将模糊边缘图中的值映射到透明度值可以包括使用将透明度值钳位到预定范围的钳位映射。

本方法可以包括将模糊图像的像素强度与在输入图像的等价像素位置处相对应的透明度遮罩的透明度值相组合，以创建具有用于模糊合成图像的像素的对应像素强度和透明度值的模糊合成图像，并且其中，合成像素强度包括合成输入图像和模糊合成图像。合成可以是每个像素阿尔法合成。检测输入图像中的边缘可以包括对该输入图像执行微分操作。在某些示例中，输入图像可以包括一个或多个面部，并且所述透明度值指示在对应于面部的皮肤的区域的像素中示出较高百分比的模糊图像，并且在对应于包括一个或多个面部的眼睛和嘴的面部标志特征的像素中示出较高百分比的输入图像。

在某些实施方式中，一种方法包括接收输入并通过对该输入图像中的多个像素的色值求平均而从输入图像创建模糊图像。该方法检测输入图像中的边缘并形成指示边缘的具有处于多个不同色值的像素的边缘图。通过对边缘图中的像素的色值求平均来使该边缘图模糊，并且将模糊边缘图中的像素值映射到透明度值而形成透明度遮罩。将模糊图像的色值与在输入图像的等价像素位置处相对应的透明度遮罩的透明度值相组合，以创建具有用于模糊合成图像的像素的对应色值和透明度值的模糊合成图像。该方法包括基于透明度遮罩的透明度值来合成输入图像和模糊合成图像的色值，以创建在所检测的边缘外面的该输入图像区域中具有比该输入图像更大的模糊的输出图像。

在上述方法的各种实施方式中，创建模糊图像可以包括使用箱式滤波器和高斯滤波器中的至少一个。将模糊边缘图中的像素值映射到透明度值可以包括使模糊边缘图反色。将模糊边缘图中的值映射到透明度值可以包括使用将透明度值钳位到预定范围的钳位映射。合成可以是每个像素阿尔法合成。

在某些实施方式中，一种系统可以包括存储设备和访问该存储设备且可操作用于执行操作的至少一个处理器。该操作包括接收输入图像并通过对该输入图像中的多个像素的像素强度求平均而从该输入图像创建模糊图像。该操作包括从该输入图像创建透明度遮罩，其中，该透明度遮罩基于在该输入图像中检测到的边缘来指示用于该输入图像的像素位置的透明度值。该操作包括基于透明度遮罩的透明度值而合成该输入图像的像素强度和模糊图像的像素强度，以创建在所检测的边缘外面的区域中具有比输入图像更大的模糊的输出图像。

本系统的各种实施方式可以包括操作，该操作包括创建透明度遮罩，诸如检测输入图像中的边缘并形成指示该边缘的具有处于多个不同值的像素的边缘图，使该边缘图模糊，并将模糊边缘图中的值映射到透明度值。创建模糊图像可以包括使用箱式滤波器和高斯滤波器中的至少一个。创建透明度遮罩可以包括将模糊边缘图反色。在某些示例中，输入图像可以包括一个或多个面部，并且所述透明度值指示在对应于面部的皮肤的区域的像素中示出较高百分比的模糊图像，并且在对应于包括一个或多个面部的眼睛和嘴的面部标志特征相的像素中示出较高百分比的输入图像。

附图说明

图1是可用于本文所述的一个或多个实施方式的示例网络环境的框图；

图2是根据某些实施方式的图示出用于在保留图像中的细节的同时使该图像模糊的示例方法的流程图；

图3是根据某些实施方式的图示出用于在保留图像中的细节的同时使该图像模糊的另一示例方法的流程图；

图4A—4E是使用本文所述的方法处理的示例图像的示意图；

图5是图示出使用图4A—4E的图像的图3的方法的示例实施方式的框图；以及

图6是可被用于本文所述的一个或多个实施方式的示例设备的框图。

具体实施方式

本文所述的一个或多个实施方式涉及在保留图像中的细节的同时使图像模糊。在某些实施方式中，一种系统可以从输入图像创建透明度遮罩，其可以用来将输入图像与从输入图像导出的模糊图像合成。该透明度遮罩可以指示将使用输入图像的像素值显示的输入图像的较高细节区域，并且可以指示将使用模糊图像的像素显示的其它区域。这些及其它所述特征可以允许所显示的图像模糊以在不引起期望细节的损失的情况下计算上高效地去除非期望的图像特征。

在示例实施方式中，该系统可以接收输入图像并通过对该输入图像中的多个像素的像素强度求平均而从该输入图像创建模糊图像。该系统还可以从输入图像创建透明度遮罩，其中，该透明度遮罩基于在输入图像中检测到的边缘来指示用于输入图像的像素位置的透明度值。在某些示例实施方式中，可以通过形成指示所检测边缘的具有处于多个不同值的像素的边缘图、使边缘图模糊以及将模糊边缘图中的值映射到透明度值来创建透明度遮罩。该系统基于透明度遮罩的透明度值而合成输入图像的像素强度和模糊图像的像素强度，以创建在所检测的边缘外面的区域中具有比输入图像更大的模糊的输出图像。

此类特征可以允许在不损失细节的情况下进行图像中的模糊。例如，该系统可以使图像中的面部的皮肤区域模糊以减少面部的视觉瑕疵，而不使期望被保持的较高细节特征模糊，所述较高细节特征诸如包括眼睛、鼻子和嘴的面部标志特征的边缘。在模糊图像的创建和显示中可以使用快速且非常高效的模糊技术，其可以允许相比于保留细节的先前模糊技术而实现显著的计算成本节省。本文中的特征可以在多种应用中有用，包括例如用于视频聊天及其它实时性能的图像处理和显示。

图1图示出可在本文所述的某些实施方式中使用的示例网络环境100的框图。在某些实施方式中，网络环境100包括一个或多个服务器系统，诸如图1的示例中的服务器系统102。服务器系统102可以例如与网络130通信。服务器系统102可以包括服务器设备104和数据库106或其它存储设备。网络环境100还可以包括一个或多个客户端设备，诸如客户端设备120、122、124以及126，其可以经由网络130和/或服务器系统102相互通信。网络130可以是任何类型的通信网络，包括因特网、局域网(LAN)、无线网络、交换机或集线器连接等中的一个或多个。

为了便于图示，图1示出了用于服务器系统102、服务器设备104以及数据库106的一个方框，并且示出了用于客户端设备120、122、124以及126的四个方框。服务器方框102、104以及106可表示多个系统、服务器设备以及网络数据库，并且可以用与所示不同的配置提供方框。例如，服务器系统102可以表示可以经由网络130与其它服务器系统通信的多个服务器系统。在另一示例中，数据库106和/或其它存储设备可以在与服务器设备104分开的服务器系统块中提供并可以经由网络130与服务器设备104及其它服务器系统通信。并且可存在任何数目的客户端设备。每个客户端设备可以是任何类型的电子设备，诸如计算机系统、便携式设备、蜂窝电话、智能电话、平板计算机、电视、TV机顶盒或娱乐设备、显示屏、个人数字助理(PDA)、媒体播放器、游戏设备等。在其它实施方式中，网络环境100可不具有所示出的所有部件和/或可具有其它元件，包括除本文所述那些之外或作为其替代的其它类型的元件。

在各种实施方式中，最终用户U1、U2、U3以及U4可以使用相应客户端设备120、122、124以及126与服务器系统102和/或相互通信。在某些示例中，用户U1—U4可经由在服务器系统102上实现的社交网络服务彼此相交互，其中，相应客户端设备120、122、124以及126向诸如系统102之类的一个或多个服务器系统传送通信和数据，并且服务器系统102向客户端设备提供适当数据，使得每个客户端设备可以接收经由服务器系统102上传到社交网络服务的内容。在某些示例中，社交网络服务可以包括允许用户执行多种通信、形成链路和关联、上传和张贴共享内容和/或执行其它社交相关功能的任何系统。例如，社交网络服务可以允许用户向特定或多个其它用户发送消息、以与社交网络系统内的其它用户的关联的形式形成社交链路、在用户列表、朋友列表或其它用户群组将其它用户聚组、张贴或发送包括文本、图像、视频序列、音频序列或记录的内容或其它类型的内容以供社交网络服务的用户的指定集合访问、向社交网络服务的其它用户发送多媒体信息及其它信息、参与与服务的其它用户的实时视频、音频和/或文本聊天或远程会议等。如本文所使用的术语“社交联网服务”可以包括促进用户交互的软件和/或硬件系统，并且可以包括在网络系统上实现的服务。

用户界面可以使得能够在客户端设备120、122、124以及126上实现图像及其它内容以及通信、隐私设置、通知及其它数据的显示。此类界面可以使用客户端设备上的软件来显示，诸如与服务器系统通信的应用软件或客户端软件。可以在客户端设备的诸如显示屏的输出设备上显示界面。

本文所述的特征的其它实施方式可以使用任何类型的系统和服务。例如，任何类型的电子设备可以利用本文所述的特征。某些实施方式可以在从计算机网络断开连接或间接性地连接到计算机网络的客户端或服务器系统上提供这些特征。在某些示例中，具有显示屏的客户端设备可以显示图像并提供用户可观看的如本文所述的特征和结果。

图2是图示出用于在保留图像中的细节的同时使该图像模糊的方法200的一个示例的流程图。在某些实施方式中，可以例如在如图1中所示的服务器系统102上实现方法200。在其它实施方式中，可以在诸如一个或多个客户端设备之类的系统上和/或在服务器系统和客户端系统两者上实现方法200中的某些或所有。在所述示例中，实现系统包括一个或多个处理器或处理电路以及一个或多个存储设备，诸如数据库106或其它储存器。在某些实施方式中，一个或多个服务器和/或客户端的不同部件可以执行方法200的不同方框或其它部分。可以用程序指令或代码来实现方法200，该程序指令或代码可以用诸如微处理器或其它处理电路的一个或多个处理器来实现，并且可以被存储在计算机程序产品上，包括计算机可读介质，诸如磁性、光学、电磁或半导体存储介质，包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存、刚性磁盘、光盘、固态存储器驱动等。还可以将程序指令包含在电子信号中并作为电子信号提供，例如以从服务器(例如，分布式系统和/或云计算系统)递送的软件即服务(SaaS)的形式。替换地，可以用硬件(逻辑门等)或者用硬件和软件的组合来实现这些方法。可以将方法200作为在系统上运行的应用的一部分或部件或者作为结合其它应用和操作系统运行的应用或软件执行。

在某些实施方式中，可以由系统自动地发起方法200。在某些实施方式中，可以针对在视频流中提供的多个图像(例如，帧)而实现方法200。例如，可以使用方法200来使例如在单向传输中被传送到客户端设备以便被用户观看的视频流的帧模糊。在另一示例中，该方法可以用来处理在多向实时视频聊天会话中的视频流中传送的所捕捉的视频帧，在所述多向实时视频聊天会话中此类视频流正被发送到多个参与客户端设备。在其它示例中，可周期性地执行方法200，或者基于特定事件执行方法200，所述特定事件诸如一个或多个原始图像被新上传到系统或者可被系统访问或者在系统的一个或多个用户的自定义偏好中指定的条件。在一个非限制性示例中，照相机、蜂窝电话或其它便携式客户端设备可以捕捉一个或多个图像，并且可以执行方法200。另外或替换地，客户端设备可以将所捕捉的图像通过网络发送到服务器，并且该服务器可以使用方法200来处理该图像。某些实施方式可以基于用户输入而发起方法200。用户可能例如已从诸如社交联网界面、应用界面或其它界面之类的界面中选择方法200的发起。

在方法200的方框202中，该方法获得用于处理的图像。该图像可以是例如由多个像素构成的数字图像，并且可以被存储在系统的一个或多个存储设备上或者另外可被系统访问，诸如已连接的存储设备，例如本地存储设备或通过网络连接的存储设备。在各种实施方式中，可以通过本方法自动地选择图像，例如作为数据的视频流中的下一图像帧，或者作为来自相册或多个图像的其它集合的图像，所述其它集合诸如在社交联网系统的用户的账户中提供的相册。在某些实施方式中，该系统可以基于评估可访问图像的一个或多个特性来确定要获得哪个图像，所述一个或多个特性诸如图像的色彩分布、图像的时间戳及其它元数据和/或图像中描绘的已识别且辨识到的内容，诸如人、面部或物体。替换地，用户可以提供或指定要处理的一个或多个图像。

在方框204中，该方法通过对输入图像的像素强度求平均而从输入图像来创建模糊图像。例如，在许多类型的模糊操作中，检查围绕给定像素的像素窗口，并对其强度求平均以找到用于给定像素的结果。此求平均操作可以消除细节，诸如在输入图像中描绘的人的面部上可见的皮肤缺陷。在本文中，术语“像素强度”可以指代表示一个或多个视觉像素特性的像素的值。例如，在彩色图像中，像素强度可以是红色、绿色和蓝色(RGB)值，其共同地指示关联像素的色彩和亮度。在灰阶图像中，像素强度可以是亮度或灰阶值等。

在方框206中，本方法基于在输入图像中检测到的边缘来创建透明度遮罩，其指示用于输入图像的像素位置的透明度值。可以使用如下所述的多种边缘检测方法中的任何一种来确定透明度遮罩。该透明度值每个指示输入图像的对应像素位置的透明度。例如，可以在用于此类透明度值的已知特定范围内指定透明度值，诸如用于在阿尔法合成(混合)技术中使用的透明值的0与1之间的值。

在方框208中，本方法基于透明度遮罩的透明度值而合成输入图像的强度值和模糊图像的强度值以创建输出图像。透明度遮罩中的透明度值可以基于在创建透明度遮罩时执行的边缘检测而改变，并且因此，该合成可以强调具有所检测的边缘的输入图像的较高细节区域中的输入的强度值。该合成还可以强调没有边缘的输入图像的区域中的模糊图像的强度值，因此使那些区域平滑。这允许以高效的方式产生输出图像，其中具有边缘的图像的较高细节区域可以依然如其出现在输入图像中一样，而没有边缘且包括非期望特征的区域可以用高效的模糊操作而被平滑。

图3是根据某些实施方式的图示出用于在保留图像中的细节的同时使该图像模糊的另一示例方法300的流程图。可以用诸如上文针对方法200所述的服务器和/或客户端设备之类的系统来实现方法300。

在方框302中，本方法获得同样地如上文相对于图2的方框202所述的用于处理的图像。在方框304中，该方法通过对输入图像的像素强度求平均而从输入图像创建模糊图像。这可以同样地如上文针对图2的方框204所述地执行。像素强度在某些实施方式中可以是用于彩色输入图像的色值，诸如RGB值，或者在其它实施方式(例如，灰阶图像)中可以是亮度或其它像素值。在某些实施方式中，可以将线性滤波器用于模糊操作，诸如其中滤波器核在所有其核位置处具有相同权值的箱式滤波器。此类滤波器执行起来是非常高效且快速的，这适合于例如实时视频传输应用。在某些实施方式中，可以使用高斯滤波器，其中，核权值以近似高斯方式从核的中心开始下降。一般地，在某些实施方式中期望快速的模糊操作以避免其它计算上昂贵的过程，诸如双边滤波器。某些实施方式可以创建对应于输入图像的整个图像区域的模糊图像。其它实施方式可以创建对应于输入图像的图像区域的一部分的模糊图像。某些实施方式可以仅使输入图像的特定部分模糊，诸如已使用面部辨识、对象辨识或其它检测技术检测到的图像的特定区域。

在某些实施方式中，诸如其中一般地在输入图像中正在处理人的脸的视频聊天或其它图像中，不使用输入图像的模糊(例如，用线性滤波器)来减少图像中的噪声。这是因为图像特征的模糊和因此的去除在其中图像对象的准确度很重要的许多应用中并不是期望的，其中期望减少噪声。然而，模糊操作作为用于将例如针对面部或其它图像对象准确地描绘的图像的对象的特定非期望特征平滑或去除的方式可能是高度期望的。例如，可以通过使用本文所述的模糊操作来去除或减少诸如面部的皱纹、伤痕、皮肤毛孔或其它感知缺陷之类的准确描绘的图像特征。

在方框306中，该方法检测输入图像中的可能边缘，并形成用于输入图像的边缘图。可以使用多种技术中的任何一种来检测该边缘。例如，可以对输入图像使用微分算子，诸如苏贝尔算子(Sobel operator)。可以替换地使用其它边缘检测技术，诸如Canny边缘检测等。创建的边缘图包括边缘的指示，其是输入图像内的像素强度方面的不连续性。在图像的较大区域上延伸的边缘可定义图像中的特征，并且此类边缘可以保持所有其细节而不进行根据本文中的特征应用的平滑或模糊，如下所述。例如，可以检测定义人的面部标志特征的边缘，所述面部标志特征包括眼睛、眉毛、鼻孔以及嘴，并且期望这些特征的边缘保持在输入图像中提供的锐度。其它检测到的边缘可以定义各区域的边界，诸如头、面部、物体、地平线或其它区域，其在本文所述的方法中将保持细节。不具有将形成边缘的强度的不连续性的输入图像的其它区域将不被包括在边缘图中，并且因此能够被平滑或者另外模糊，诸如人的脸颊或皮肤的其它区域。

在方框306中创建的边缘图可以具有指示边缘的存在和那些边缘的锐度的像素强度。例如，在某些实施方式中，可以将每个点处的梯度的二维图用于例如苏贝尔算子技术。可以处理并观看边缘图，如同其是图像一样，其中边缘区域像素具有一个强度值且其它像素具有不同的值。例如，白色像素可以指示边缘且黑色像素可以指示没有边缘。其它实施方式可以提供可以取超过两个值的边缘像素值，例如指示边缘程度的连续范围的值。边缘图可以在输入图像的整个区域上延伸。在其它实施方式中，边缘图可以覆盖输入图像的一部分。某些实施方式可以仅在输入图像的特定部分中检测边缘，所述特定部分诸如已经使用面部辨识、对象辨识或其它检测或辨识技术检测到的图像的特定区域

在方框308中，本方法使在方框306中创建的边缘图模糊。在某些实施方式中，该模糊可以在预定区域上对像素强度求平均，并且可以类似于方框304的模糊技术，例如使用与方框304相同或不同的技术。可以使用多种模糊技术中的任何一个来执行方框306，诸如箱式滤波器、高斯滤波器等。例如，如果边缘图包括仅黑色和白色的两个不同像素值，则可以将那些值转换成具有更多值的标度，例如黑色与白色极端之间的灰度值。边缘遮罩的模糊有效地加宽了被视为边缘和高细节的输入图像中的区域。这允许原始输入图像的更大区域(围绕着所检测到的边缘)的像素强度存在于输出图像中，并且增加边缘图模糊的量相应地增加输入图像中的多少在由于合成操作而得到的模糊图像中显露出来(参见方框314)。在某些实施方式中，方框304中的输入图像的模糊可产生渗色伪像，其中，附近的不同色彩被一起求平均，产生可能看起来不自然或不合适的色彩。方框308中的边缘图的模糊可以通过有效地加宽被视为高细节的区域以覆盖其中渗色可能明显的图像部分来减少针对输出图像的此效应，使得输入图像像素强度在输出图像的这些区域中更加可见。在某些实施方式中，可以使整个边缘图模糊，而在其它实施方式中，可以基于特定准则或已基于多种技术中的任何一种检测或辨识的区域来使边缘图的多个部分模糊。

在方框310中，本方法将边缘图的像素值映射到透明度值范围以创建透明度遮罩。在某些实施方式中，透明度值范围是其中该范围内的值指示用于相关联的像素的特定透明度的特定范围。在一个示例中，阿尔法合成(阿尔法混合)技术使用范围从0至1的透明度值，其中极端或分数值指示前景图像的透明度的百分比，并且其中，0指示完全透明的像素强度且1指示完全不透明的像素强度。在此类示例中，可以将边缘图值映射到阿尔法合成范围内的透明度值。

例如，用诸如苏贝尔算子之类的边缘检测技术产生的方框308的模糊边缘图可具有用于低细节区域的低像素值(例如黑色)和用于具有边缘的高细节的较高像素值(例如，白色)。在某些实施方式中，可以将模糊边缘图反色(invert)，使得低像素值与高细节边缘区域相关联且高像素值与低细节区域相关联，对应于阿尔法合成值的低值(透明)和高值(不透明)。

此外，边缘图值可经受映射，诸如将边缘像素值设置成期望范围内的透明度值的钳位(clamped)线性映射，该透明度值处于针对像素提供期望对应透明度的该范围内的量值。所使用的线性映射中的实际值可以取决于实施方式，可以通过实验来确定。例如，在一个示例中，钳位线性映射可以如下，其中，E是用于像素的(模糊)边缘图强度值，并且T是用于该像素的对应输出透明度遮罩透明度值：

T＝1，针对E<0.04

T＝-3.65E+1.146，针对0.04≤E≤0.314

T＝0，针对E>0.314

因此，透明度值T被钳位在0与1之间，并且在该范围内以一定的因数和增值与边缘图值成比例。此类映射公式在不同的实施方式中可以基于所使用的特定边缘图值和透明度值而改变。

在其它实施方式中，可以省略边缘图的反色。例如，可以使方框314中的合成的顺序相反，使得输入图像是在方框304的模糊图像上合成的前景图像，在这种情况下不需要边缘图的反色。

在方框312中，本方法通过将在方框304中创建的模糊图像的强度值与在方框310中确定的透明度遮罩的对应透明度值组合来创建模糊合成图像。例如，如果在方法300中使用阿尔法合成，则方框312可以通过将每个像素强度值(诸如RGB值)与来自透明度遮罩的对应透明度值组合来设定模糊图像的每个像素的阿尔法通道。这创建具有模糊图像的像素强度和透明度遮罩的透明度值的模糊合成图像。

在方框314中，该方法执行模糊合成图像与输入图像的阿尔法合成操作(例如，每个像素的阿尔法混合)，以创建输出图像。例如，使用模糊合成图像中的每个像素的透明度值来确定在输出图像中的该对应像素位置处在视觉上显示的模糊合成图像和输入图像的像素强度值的量。例如，可以使用模糊合成图像作为在输入图像上合成的前景图像，其中，每个透明度值可以指示在混合中将由对应模糊图像强度值贡献的该输出图像像素的强度值的百分比。在一个示例中，可以将下面的合成关系用于输出图像的每个像素位置：

O_red＝(B′_red x B′_alpha)+(A_red x (1-B′_alpha))

其中，O是输出图像，A是输入图像，并且B'是模糊合成图像。在本示例中示出了图像的红色通道，并且例如图像的绿色和蓝色通道可以使用相同的关系。

因此，模糊合成图像的较高透明度区域促使在那些区域中看到输入图像像素，该区域是输入图像的高量值边缘和较高细节区域。模糊合成图像的较低透明度区域促使模糊合成图像的像素在那些区域中比在对应输入图像像素中更加可见，该区域是用户通常希望使其模糊的较低细节区域(例如，低边缘量值)。

在其它实施方式中，可以将输入图像视为在方框304的模糊图像上合成的前景图像。例如，在方框312中，可以将透明度值与输入图像的像素值而不是与模糊图像的像素值组合，以形成输入合成图像。方框314中的合成操作然后可以使用输入合成图像的透明度值(例如，使用输入图像作为前景图像)来代替模糊合成图像的透明度值。在某些实施方式中，由于使用输入图像作为前景图像，可以改变其它特定操作，诸如省略如上所述的边缘图的反色。

可以通过调谐本方法的一个或多个操作来调整上述结果。例如，可以改变方框304的模糊滤波器、方框306的边缘检测或微分算子和/或在方框310中使用的映射或变换来提供不同的结果。

可以用多种特定方式中的任何一种来实现上述方法200和300。例如，在某些实施方式中，本方法可以将图像处理流水线的这些方框或操作中的每一个(或一个或多个)的完整图像或映射图结果写入并存储到单独的图像或映射图存储缓冲器。在其它实施方式中，可以基于单独逐个像素来执行方框或操作中的某些或全部。例如，可以用方法的方框中的一个或多个来处理输入图像的第一像素并将其存储在缓冲器中，然后可以同样地处理输入图像的第二像素，并且针对输入图像的所有像素以此类推。

在适当的情况下，可以按照与所示的不同的顺序和/或至少部分地同时地执行方法200和300的各种方框和操作。例如，某些实施方式可以与诸如方框306、308和/或310之类的其它方框至少部分地同时地执行方框304。在某些实施方式中，操作可以在方法中多次、按照不同的顺序和/或在不同的时间发生。在某些实施方式中，可以例如在如图1中所示的服务器系统102上实现方法200和/或300。在某些实施方式中，作为执行一个或多个方框的服务器系统的替代或除此之外，一个或多个客户端设备可以执行那些方框。

图4A—4E是根据上述实施方式的一个或多个特征处理以提供保留细节的模糊输出图像的图像的示例的示意图。在图4A中，示出了输入图像400。在某些实施方式或应用中，诸如视频聊天或电话会议应用中，图像400可以由一个客户端设备处的照相机捕捉，被调整大小和/或另外处理(如果适当的话)，并在没有用如本文所述的方法200或300显示的情况下处理。此处理可以在捕捉设备上、不同或接收客户端设备上和/或在服务器设备上发生。可以将从处理得到的模糊输出图像发送到参与视频聊天的一个或多个客户端设备和/或在该处显示。在其它实施方式中，可以从另一源(例如，存储器或其它储存器等)接收输入图像400并由客户端或服务器设备进行处理。在某些实施方式中，可以在例如图1的客户端设备120、122、124和/或126的显示设备上或者在某些实施方式中在服务器系统102上显示输入图像400。在本示例中，输入图像400描绘了人的脸并将根据本文所述的特征来处理。

在图4B中，示出了模糊图像402，其是从图4A中所示的输入图像400导出的。模糊图像402对应于已被模糊以消除其细节的整个输入图像400，如上所述。在某些示例中，可以使用模糊来消除人的脸中的不期望特征，诸如人的脸中的皱纹、皮肤毛孔、伤痕或其它察觉的缺陷，或者消除其它图像对象中的不期望特征。

在图4C中，示出了边缘图404，其是从图4A中所示的输入图像400导出的。例如，如上所述，可以使用边缘检测技术，诸如使用微分算子的技术，来找到输入图像400中的边缘。在本示例中，此类边缘对应于输入图像中描绘的人的脸和躯干的轮廓。另外，在所描绘的脸的眼睛、眉毛、鼻子轮廓以及嘴轮廓中和周围检测到边缘。这些是通常不期望被模糊的面部标志特征，因为此类模糊可能例如降低人和面部表情的可识别性和同一性。此外，已检测到用于在背景中的板上写入的边缘，其可能期望维持细节。在示例性边缘图404中，边缘图404覆盖整个输入图像400，其中，检测到的边缘被示为白色(高像素强度值)，并且非边缘区域被示为黑色(低像素强度值)。

在图4D中，示出了透明度遮罩406，其是从图4C的边缘图404导出的。透明度遮罩像素值被映射到在本方法中将稍后在合成技术中使用的一定范围的透明度值。在本示例中，通过使边缘图404模糊、将模糊边缘图反色并将模糊和反色的边缘图的值映射到透明度值范围来创建透明度遮罩406。在图4D中所示的示例透明度遮罩406中，像素强度值并不是实际的透明度值(例如，在0至1的透明度值范围内)，并且被示为等价值(例如，在0—225的等价范围内)，使得可以出于说明性目的将遮罩示为图像。在本示例实施方式中，针对其中较低透明度值指示较大透明度的某些实施方式，将(模糊)边缘区示为具有较低像素强度(透明度)值的较暗区，并将非边缘区域示为具有较高像素强度(透明度)值的较浅或白色区。

透明度遮罩406中所示的强度值被映射到透明度遮罩的实际透明度值。然后可以将图4B的模糊图像402与透明度遮罩406的透明度值组合以创建模糊合成图像，如上文参考图3所述。例如，透明度遮罩406的每个位置(x，y)处的透明度值(例如，透明度遮罩的该位置处的R、G或B值，其中，RGB值彼此相等)被拷贝到对应位置(x，y)处的模糊图像402的阿尔法通道值。模糊合成图像具有与模糊图像404相同的视觉外观，因为在模糊合成图像的显示中未使用添加的透明度值(例如，阿尔法合成通道值)。

在图4E中，示出了输出图像408，其是从上述模糊合成图像和图4A的输入图像400导出的。模糊合成图像被与输入图像合成，其中，使用模糊合成图像的透明度值来确定来自这些图像中的每一个的像素值中的多少将出现在输出图像中。在模糊合成图像中具有低透明度值的高量值边缘区域为模糊像素提供更大量的透明度，使得在这些高细节区域中可以大部分地或完全地看到输入图像像素值。具有高透明度值的非或低量值边缘区域为那些像素提供较少量的透明度(更大的不透明度)，使得在那些区域中可以看到模糊像素值。因此，具有诸如脸上的眼镜、诸如脸、嘴、眼睛、耳朵、发丝等图像面部特征的边界之类的边缘以及诸如背景中的笔迹之类的其它图像特征的区域是以原始图像的细节显示的，而其它平坦、单色以及皮肤区域被显示为更多的模糊图像像素强度。在一个非限制性示例中，用户可以查看在由客户端设备或服务器设备提供的图形界面中由显示设备显示的输出图像408。

图5是图示出使用图4A—4E中所示的图像的图3的方法的示例实施方式的框图。使用输入图像400来提供模糊图像402和边缘图404。从边缘图404提供透明度遮罩406。在操作502中使用透明度遮罩404来设定模糊图像402的阿尔法通道，得到模糊合成图像504，其包括模糊图像402的像素强度和遮罩406的透明度值。在操作506中对模糊合成图像504和输入图像400进行阿尔法合成以提供输出图像408。

图6是可用来实现本文所述的某些实施方式的示例设备600的框图。在一个示例中，设备600可用来实现图1的服务器设备104，并执行本文所述的适当方法实施方式。服务器设备600可以是任何适当的计算机系统、服务器或其它电子或硬件设备。例如，服务器设备600可以是主机计算机、台式计算机、工作站、便携式计算机或电子设备(便携式设备、蜂窝电话、智能电话、平板计算机、电视、TV机顶盒、个人数字助理(PDA)、媒体播放器、游戏设备等)。在某些实施方式中，服务器设备600包括处理器602、存储器604以及输入/输出(I/O)接口606。

处理器602可以是用以执行程序代码并控制设备600的基本操作的一个或多个处理器或处理电路。“处理器”包括处理数据、信号或其它信息的任何适当硬件和/或软件系统、机构或部件。处理器可包括具有通用中央处理单元(CPU)、多个处理单元、用于实现功能的专用电路或其它系统的系统。处理不需要局限于特定地理位置，或者具有时间限制。例如，处理器可“实时地”、“离线”、在“批量模式”下等执行其功能。可在不同的时间且在不同的位置由不同(或相同)的处理系统来执行处理的各部分。计算机可以是与存储器通信的任何处理器。

通常在设备600中提供存储器604以便供处理器602访问，并且存储器604可以是任何适当的处理器可都存储介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦只读存储器(EEPROM)、闪存等，其适合于存储指令以便由处理器执行，并与处理器602分开定位和/或与之集成。存储器604可以存储由处理器602在服务器设备600上操作的软件，包括操作系统608和一个或多个应用引擎610，诸如图形编辑引擎、web托管引擎、社交联网引擎等。在某些实施方式中，应用引擎610可以包括使得处理器602能够执行本文所述功能的指令，所述功能例如图2和/或3的某些或所有方法。可以将存储器604中的任何软件替换地存储在任何其它适当存储位置或计算机可读介质上。另外，存储器604(和/或其它已连接的存储设备)可以存储图像、样本块、色彩仓、数据结构以及在本文所述的特征中使用的其它数据。可以将存储器604和任何其它类型的储存器(磁盘、光盘、磁带或其它有形介质)视为“存储设备”。

I/O接口606可以提供用以使得能够将服务器设备600与其它系统和设备对接的功能。例如，网络通信设备、诸如存储器和/或数据库106之类的存储设备以及输入/输出设备可以经由接口606通信。在某些实施方式中，I/O接口可以连接到诸如输入设备(键盘、定点设备、触摸屏、扩音器、照相机、扫描仪等)和输出设备(显示设备、扬声器设备、打印机、马达等)之类的接口设备。

为了便于图示，图6示出了用于处理器602、存储器604、I/O接口606以及软件块608和610中的每一个的一个方框。这些方框可表示一个或多个处理器或处理电路、操作系统、存储器、I/O接口、应用和/或软件模块。在其它实施方式中，服务器设备600可不具有所示的所有部件和/或可具有其它元件，包括作为本文所示的元件的替代或除此之外的其它类型的元件。虽然系统102被描述为执行如在本文中的某些实施方式中描述的步骤，但系统102或类似系统的任何适当部件或部件组合或者与此类系统相关联的任何适当的一个或多个处理器可执行所述步骤。

客户端设备还可以实现本文所述的特征和/或与其一起使用，所述客户端设备诸如图1中所示的客户端设备120—126。示例客户端设备可以包括与设备600类似的某些部件，诸如处理器602、存储器604以及I/O接口606。可以在存储器中提供适合于客户端设备的操作系统、软件和应用并被处理器使用，诸如客户端群组通信应用软件。可以将用于客户端设备的I/O接口连接到网络通信设备以及到输入和输出设备，诸如用于捕捉声音的扩音器、用于捕捉图像或视频的照相机、用于输出声音的音频扬声器设备、用于输出图像或视频的显示设备或者其它输出设备。可以使用例如显示设备来显示如本文所述的设置、通知以及许可，其中，此类设备可以包括任何适当的显示设备，诸如LCD、LED或等离子体显示屏、CRT、电视、监视器、触摸屏、3D显示屏或其它视觉显示设备。某些实施方式可以提供音频输出设备，诸如在广告中说出演讲词/描述设置、通知以及许可的语音输出或合成。

虽然已相对于其特定实施方式描述了本描述，但这些特定实施方式仅仅是说明性而非限制性的。可将本示例中所示的概念应用于其它示例和实施方式。

在这里所讨论的系统可收集关于用户的个人信息或者可利用个人信息的情况下，可为用户提供控制程序或特征是否收集用户信息(例如，描绘用户的图像、关于用户的社交网络的信息、用户特性(年龄、性别、职业等)、社交动作或活动、用户的偏好或用户的当前位置)的机会。另外，某些数据在其被存储或使用之前可以被以一个或多个方式处理，使得个人可识别信息被去除。例如，可处理用户的身份，使得对于用户而言不能确定个人可识别信息，或者可将在该处获得位置信息的用户地理位置广义化(诸如到城市、ZIP代码或州层级)，使得不能确定用户的特定位置。因此，用户可控制如何收集关于用户的信息并被服务器使用。

请注意，可将本公开中所述的功能块、特征、方法、设备以及系统集成或划分成如本领域的技术人员将已知的系统、设备以及功能块的不同组合。可使用任何适当的编程语言和编程技术来实现特定实施方式的例程。可采用不同的编程技术，诸如面向过程或对象的。例程可在单个处理设备或多个处理器上执行。虽然可按照特定顺序提出步骤、操作或计算，但在不同的特定实施方式中可改变该顺序。在某些实施方式中，可同时地执行在本说明书中被示为连续的多个步骤或方框。

Claims

1.一种方法，包括：

接收输入图像；

通过对所述输入图像中的多个像素的像素强度求平均，来从所述输入图像创建模糊图像；

从所述输入图像创建透明度遮罩，其中，所述透明度遮罩基于在所述输入图像中检测到的边缘来指示用于所述输入图像的像素位置的透明度值；以及

基于所述透明度遮罩的所述透明度值来合成所述输入图像的所述像素强度和所述模糊图像的像素强度，以创建输出图像，所述输出图像在所检测的边缘外面的区域中具有比所述输入图像更大的模糊。

2.根据权利要求1所述的方法，其中，创建所述模糊图像包括：使用箱式滤波器和高斯滤波器中的至少一个。

3.根据权利要求1所述的方法，其中，创建透明度遮罩包括：

检测所述输入图像中的所述边缘并且形成指示所述边缘的边缘图，所述边缘图具有处于多个不同值的像素；

使所述边缘图模糊；以及

将所模糊的边缘图中的值映射到所述透明度值。

4.根据权利要求3所述的方法，其中，创建所述透明度遮罩包括：将所模糊的边缘图反色。

5.根据权利要求3所述的方法，其中，使所述边缘图模糊包括：对所述边缘图的所述像素使用箱式滤波器和高斯滤波器中的至少一个。

6.根据权利要求3所述的方法，其中，将所模糊的边缘图中的值映射到所述透明度值包括：使用钳位映射，所述钳位映射将所述透明度值钳位到预定范围。

7.根据权利要求1所述的方法，还包括：将所述模糊图像的所述像素强度与在所述输入图像的等价像素位置处相对应的所述透明度遮罩的所述透明度值相组合，以创建模糊合成图像，所述模糊合成图像具有用于所述模糊合成图像的所述像素的对应像素强度和透明度值，以及

其中，合成所述输入图像的所述像素强度和所述模糊图像的所述像素强度包括：合成所述输入图像和所述模糊合成图像。

8.根据权利要求3所述的方法，其中，检测所述输入图像中的所述边缘包括：对所述输入图像执行微分操作。

9.根据权利要求1所述的方法，其中，所述合成是每个像素阿尔法合成。

10.根据权利要求1所述的方法，其中，所述输入图像包括一个或多个面部，并且其中，所述透明度值指示较高百分比的所述模糊图像被示出在与所述一个或多个面部的皮肤区域相对应的像素中，并且较高百分比的所述输入图像被示出在与包括所述一个或多个面部的眼睛和嘴的面部标志特征相对应的像素中。

11.一种方法，包括：

接收输入图像；

通过对所述输入图像中的多个像素的色值求平均，来从输入图像创建模糊图像；

检测所述输入图像中的边缘并且形成指示所述边缘的边缘图，所述边缘图具有处于多个不同色值的像素；

通过对所述边缘图中的所述像素的所述色值求平均，来使所述边缘图模糊；

将所模糊的边缘图中的所述像素值映射到透明度值，以形成透明度遮罩；

将所述模糊图像的所述色值与在所述输入图像的等价像素位置处相对应的所述透明度遮罩的所述透明度值相组合，以创建模糊合成图像，所述模糊合成图像具有用于所述模糊合成图像的所述像素的对应色值和透明度值；以及

基于所述模糊合成图像的所述透明度值来合成所述输入图像和所述模糊合成图像，以创建输出图像，所述输出图像在所检测的边缘外面的所述输入图像的区域中具有比所述输入图像更大的模糊。

12.根据权利要求11所述的方法，其中，创建所述模糊图像包括：使用箱式滤波器和高斯滤波器中的至少一个。

13.根据权利要求11所述的方法，其中，将所模糊的边缘图中的所述像素值映射到透明度值包括：使所模糊的边缘图反色。

14.根据权利要求11所述的方法，其中，将所模糊的边缘图中的值映射到所述透明度值包括：使用钳位映射，所述钳位映射将所述透明度值钳位到预定范围。

15.根据权利要求11所述的方法，其中，所述合成是每个像素阿尔法合成。

16.一种系统，包括：

存储设备；以及

至少一个处理器，所述至少一个处理器访问所述存储设备并且可操作用于执行操作，所述操作包括：

接收输入图像；

17.根据权利要求16所述的系统，其中，创建所述模糊图像包括：使用箱式滤波器和高斯滤波器中的至少一个。

18.根据权利要求16所述的系统，其中，创建所述透明度遮罩包括：

使所述边缘图模糊；以及

将所模糊的边缘图中的值映射到所述透明度值。

19.根据权利要求18所述的系统，其中，创建所述透明度遮罩包括：将所模糊的边缘图反色。

20.根据权利要求16所述的系统，其中，所述输入图像包括一个或多个面部，并且其中，所述透明度值指示较高百分比的所述模糊图像被示出在与所述一个或多个面部的皮肤区域相对应的像素中，并且较高百分比的所述输入图像被示出在与包括所述一个或多个面部的眼睛和嘴的面部标志特征相对应的像素中。