CN104731446A - 基于提示的斑点修复技术 - Google Patents

Abstract

本发明的各实施例涉及基于提示的斑点修复技术。描述了基于提示的斑点修复技术。在一个或者多个实现方式中，描述了如下技术，在这些技术中，用户可以提供输入作为用来自动地确定图像中的将处理的特征的提示以用于应用选择的图像编辑操作。用户可以使用触摸输入或者另一输入技术来选择在被暴露用于编辑的图像中的特征。然后基于提示来处理图像以标识与用户选择的特征的斑点图案匹配的附加特征。呈现包括选择的特征和附加特征的特征集的可视表示，并且提供用于在个别基础上指明(例如，取消选择或者选择)特征的选项以精化特征集。然后向特征集中的指明的特征应用图像编辑操作。

Description

基于提示的斑点修复技术

技术领域

本发明的各实施例涉及图像处理，并且更特别地涉及基于提示的斑点修复技术。

背景技术

客户相片编辑至少部分由于移动电话、平板计算机以及包括相机并且强大到足以支持图像编辑软件的其它便携设备的广泛可用而兴起。可以应用多种不同编辑操作以处理图像。一个示例是斑点修复操作，在该斑点修复操作中，可以从图像有选择地去除不想要的特征、比如脸部瑕疵和透镜非自然成分。被设计为执行斑点修复的传统工具是复杂的并且可能未良好适合用于移动平台和不熟练客户。另外，被设计为全局地去除缺陷的现有斑点修复工具经常选择性过高并且因此可能将希望的特征作为噪声错误地检测和去除。由于图像编辑软件的复杂性，用户可能简单地选择不使用软件或者可能在他们执行编辑操作而未能实现可接受的结果时受挫。

发明内容

描述了基于提示的斑点修复技术。在一个或者多个实现方式中，描述了如下技术，在这些技术中，用户可以提供输入作为用来自动地确定图像中的将处理的特征的提示以用于应用选择的图像编辑操作。用户可以使用触摸输入或者另一输入技术来选择被暴露用于编辑的图像中的特征。然后基于提示来处理图像以标识与用户选择的特征的斑点图案匹配的附加特征。呈现包括选择的特征和附加特征的特征集的可视表示，并且提供用于在个别基础上指明(例如，取消选择或者选择)特征的选项以精化特征集。然后向特征集中的指明的特征应用图像编辑操作。

这一发明内容以简化形式介绍以下在具体实施方式中被进一步描述的概念选集。这样，这一发明内容未旨在于标识要求保护的主题内容的实质特征、也未旨在于在确定要求保护的主题内容的范围时用作辅助。

附图说明

参照附图描述具体实施方式。在各图中，标号的最左数字标识该标号在其中首次出现的图。在描述和各图中在不同实例中使用相同标号可以指示相似或者相同项目。在各图中表示的实体可以指示一个或者多个实体并且因此可以在讨论中可互换地指代实体的单数或者复数形式。

图1是一个示例实现方式中的环境的图示，该环境可操作用于运用这里描述的技术。

图2描绘了一个示例实现方式中的系统，在该示例实现方式中描绘图像处理模块的用于执行图像编辑操作的操作。

图3描绘了根据一个或者多个实现方式的预览窗格的细节。

图4描绘了具有用于编辑的图像的示例界面，该图像可以是图像编辑操作的对象。

图5描绘了根据一个或者多个实现方式的示例交互场景的表示。

图6描绘了可以响应于图5的示例交互而产生的已处理图像的表示。

图7描绘了根据一个或者多个实现方式的示例交互场景的另一表示。

图8描绘了根据一个或者多个实现方式的对个别特征的指明。

图9描绘了可以响应于关于图5至图9描述的示例交互而产生的已处理图像的表示。

图10是描绘了一个示例实现方式中的过程的流程图，在该过程中执行基于提示的图像编辑操作。

图11是描绘了一个示例实现方式中的过程的流程图，在该过程中使用从在先用户交互得到的斑点图案以形成图像编辑操作。

图12图示了包括示例设备的各种部件的示例系统，该设备可以被实施为如参照图1至图11被描述或者利用的任何类型的计算设备以实施这里描述的技术的实施例。

具体实施方式

概述

用户可以利用相片编辑软件以用多种方式增强数字相片。在一个示例中，相片编辑软件可以提供用于修缮斑点(比如脸部瑕疵、污斑点和其它不想要的缺陷)的工具。被设计为执行斑点修复的传统工具是复杂的并且可能未良好适合用于移动平台和不熟练客户。另外，被设计为全局地去除缺陷的现有斑点修复工具经常对目标图像中的噪声选择性过高并且因此可能将希望的特征作为噪声错误地检测和去除。由于图像编辑软件的复杂性，用户可能简单地选择不使用软件或者可能在他们执行编辑操作而未能实现可接受的结果时受挫。

这里描述了基于提示的斑点修复技术。在一个或者多个实现方式中，与图像编辑平台(比如Adobe Photoshop ^TM、Adobe PhotoshopElements ^TM或者另一相片编辑应用)结合被配置为使用对图像中的特征的选择作为用于斑点去除的提示的基于提示的斑点修复工具。特别地，用户可以加载数字图像以用于经由相片编辑应用来编辑并且提供输入作为关于用户想要编辑的特征或者特征类型的提示。例如，用户可以与图像直接交互以使用基于触摸的输入、鼠标或者其它输入技术来选择脸部瑕疵、比如丘疹或者雀斑。然后运用由用户提供的提示以自动地确定相似特征并且向选择的特征应用图像编辑操作。一般而言，选择的特征是图像中的不想要的特征(比如图像缺陷、瑕疵)或者不想要的细节。在操作中，基于提示来处理图像以自动地标识与用户选择的特征的对特征的噪声特性进行定义的斑点图案匹配的附加特征。例如，噪声检测算法可以使用用于用户选择的特征的斑点图案以发现图像的具有相似噪声特性的部分。由于该检测是基于用户提示，所以该检测与尝试识别在整个图像内被发现的作为噪声而被指明的任何特性的传统自动工具比较可以更准确和更少可能将希望的特征作为噪声错误地去除。

一旦选择了特征，就呈现包括选择的特征和附加特征的特征集的可视表示，并且可以提供用于在个别基础上指明(例如，取消选择或者选择)特征的选项以精化特征集。例如，可以运用与特征邻近放置的可选择指示符或者示出每个个别特征的特写视图的预览窗格以提供基于提示得到的特征集的表示。此外，可以与该表示结合如下功能，该功能使又一用户输入能够来回切换在特征集中包括个别特征。因而，响应于提供提示，用户能够在应用图像编辑操作之前预览“潜在”特征集并且显式地指明用户想要为特征集保持或者丢弃的特征。然后向如由用户指明的那样在特征集中保持的特征应用图像编辑操作。

在以下讨论中，先描述可以运用这里描述的技术的示例环境。然后描述可以在示例环境以及其它环境中被执行的示例细节和过程。因而，示例细节和过程不限于示例环境，并且示例环境不限于这里描述的示例细节和过程。

示例环境

图1是一个示例实现方式中的环境100的图示，该环境可操作用于运用这里描述的技术。所示环境100包括可以用多种方式配置的计算设备102和图像处理设备104，此外，计算设备102可以通过网络108通信地耦合到一个或者多个服务提供者106。一般而言，服务提供者106被配置为使各种资源(例如，内容、服务、web应用等)通过网络108(比如因特网)可用于向客户端提供“基于云”的计算环境和基于web的功能。

可以将计算设备102配置为台式计算机、膝上型计算机、移动设备(例如，假设手持配置，比如平板计算机或者移动电话)等。因此，计算设备102可以范围从具有大量存储器和处理器资源的全资源设备(例如，个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如，移动设备)。此外，虽然示出了单个计算设备102，但是计算设备102可以表示用于执行操作的多个不同设备。以下关于图12讨论附加细节和示例，这些附加细节和示例关于适合用于实施这里描述的教导的方面的计算设备、系统和部件的各种配置。

也可以用多种方式配置再图1中表示的图像捕获设备104。这样的配置的所示示例包括视频相机、扫描仪、复印机、相机、移动设备(例如，智能电话)等。虽然从计算设备10分离地图示了图像捕获设备104，但是图像捕获设备104可以被配置为计算设备102的部分，例如，用于平板计算机配置、膝上型计算机、移动电话或者如下计算设备的其它实现方式，该计算设备具有内置图像捕获设备102。图像捕获设备104被图示为包括被配置为形成图像111的图像传感器106。一般而言，图像捕获设备102可以经由图像传感器106捕获和提供可以用各种方式在计算设备上存储和由计算设备进一步处理的图像111。自然地，也可以用其它方式(比如通过从网站下载图像、从某个形式的计算机可读介质访问图像等)来获得图像。

图像111可以由图像处理模块112获得。同前，虽然图像处理设备112被图示为被实施于分离的设备上，但是应当容易清楚，也设想其它实现方式，在这些实现方式中，图像传感器106和图像处理模块102被实施在相同设备上。另外，虽然被图示为在由在台式配置中的计算设备102提供，但是也设想多种其它配置，比如远程地通过网络108作为由服务提供者提供的服务、web应用或者其它网络可访问功能。

无论何处实施，图像处理模块112都表示可操作用于以各种方式管理图像111的功能。由图像处理模块112提供的用于管理图像的功能可以包括但不限于用于组织、访问、浏览和查看图像以及对选择的图像执行各种种类的图像处理操作的功能。举例而言而非限制，图像处理模块112可以包括或者以别的方式使用斑点修复模块114。斑点修复模块114表示用于执行与斑点修复有关的一个或者多个图像编辑操作的功能。这可以包括各种基于提示的斑点修复技术，这些技术至少部分基于来自用户的关于将处理的特征/缺陷的“提示”。一般而言，斑点修复模块114被配置为支持将图像中的特征选择作为用户选择的提示并且执行处理以基于选择的特征的特性自动标识在图像中包含的附加相似特征。然后，可以应用图像编辑操作以修改或者校正选择的特征以及自动地标识的相似特征。另外，斑点修复模块114可以收集和维持可以用来通知后续图像编辑操作的用户交互历史。

斑点修复模块114可以包括或者使用可检测的斑点图案116的库以用于图像处理操作。斑点图案116表示数据文件或者记录，这些数据文件或者记录包括用于不同类型的缺陷的噪声特性的细节。特别地，斑点图案116被配置为定义可以使用适当噪声检测算法而被识别的用于不同类型的特征的噪声特性。举例而言而非限制，噪声特性可以包括与特征关联的参数，聊举数例比如强度、尺寸、形状、颜色和图案化特性。斑点图案116可以包括预定义的图案以及响应于用户提示而按需生成的或者从收集的用户交互历史得到的一些图案。另外，斑点图案116可以表示各种不同类型的不想要的特征，这些特征包括图像缺陷(例如，条纹、斑点、污秽、透镜非自然成分)、瑕疵(丘疹、痤疮、毛发、切口、雀斑、胎记等)或者不想要的图像细节(模糊对象，比如在景物拍摄中的树木/树枝或者人们)；背景对象，包括人们、动物、物体；令人分心的项目，比如在标志或者衣物、绷带、玩具、食物和饮料上的字母书写或者图像等)。

如在图1中进一步所示，服务提供者106可以被配置为使各种资源118通过网络114可用于客户端。在一些场景中，用户可以注册用于访问来自提供者的对应资源的账户。提供者可以在批准对账户和对应资源118的访问之前认证用户的证书(例如，用户名和口令)。可以使其它资源118自由地可用(例如，无基于认证或者账户的访问)。资源118可以包括通常由一个或者多个提供者使得通过网络可用的服务和内容的任何适当组合。服务的一些示例包括但不限于相片编辑服务、web开发和管理服务、协作服务、社交联网服务、消息接发服务、广告服务等。内容可以包括文字、视频、广告、音频、多媒体流、动画、图像、web文档、网页、应用、设备应用等的各种组合。

例如，图1中的服务提供者106被描绘为包括图像处理服务120。图像处理服务120表示可以使得通过网络108对客户端远程地可访问的用于实施这里描述的技术的方面的网络可访问功能。例如，可以备选地经由图像处理服务120或者与图像处理服务120组合实施这里关于图像处理模块112和斑点修复模块114描述的用于管理和处理图像的功能。因此，图像处理服务120可以被配置为提供可操作用于基于提示的斑点修复的基于云的访问以及以上和以下描述的其它操作。

基于提示的斑点修复细节

图2描绘了一个示例实现方式中的系统200，在该系统中结合一个或者多个图像处理操作表示图1的图像处理模块112和斑点修复模块114的操作。结合图像编辑操作使用图像111的处理的不同例示性阶段来示出系统200。可以直接从一个或者多个图像传感器106、从在某个形式的计算机可读介质上的存储装置、通过从网站下载等获得图像111。

如在图2中所示，图像111可以如由阶段204表示的那样在与图像处理模块112关联的用户界面202内被暴露以用于编辑。用户界面202可以提供可操作用于对图像111执行各种图像编辑操作的功能。在一个实现方式中，用户界面202可以被配置为除了经由鼠标、键盘或者其它输入设备输入之外或者取代该输入还支持触摸交互。可以使用一个或者多个不同类型的用户界面手段(聊举数例比如可选择图标、菜单项目、列表、关键字组合、工具栏、交互对话或者弹出元素)来提供用于各种图像编辑操作的功能。因此，用户可以使用经由用户界面202可访问的功能来交互以查看、编辑、导航、选择和以别的方式操纵图像或者图像库。

在这里描述的基于提示的斑点修复技术的情境中，用户界面202可以被配置为支持对图像中的特征的自动或者半自动修复。在一种方式中，修复可以基于用户将特定特征选择为用来检测相似特征的用于噪声检测的提示而出现。例如，图2中的阶段206表示用户对图像内的特征的选择208，该特征在这一示例中是图像中的女士的脸部上的丘疹。这里，选择208通过触摸交互来出现，但是可以如这里讨论的那样备选地运用其它类型的输入。可以使用任何适当指示符在界面中可视地表示对特征的选择208。在描绘的示例中，虚线选择圆出现在选择的特征周围以可视地表示该选择。也设想用于指明特征的其它指示符，比如加框区域、与特征邻近放置的标志、复选标记等。

基于选择208，图像处理模块112和斑点修复模块114可以操作用于确定与选择的特征关联的噪声特性。这里，可以随需生成斑点图案116或者可以从库或者其它适当存储位置访问与选择的特征匹配的预先存在的斑点图案。一旦查明了与选择的特征关联的斑点图案116，就运用斑点图案116以发现图像中的与斑点图案116匹配并且因此也与用户选择的特征匹配的附加特征。这可以通过应用噪声检测算法来出现，该噪声检测算法被配置为使用与选择的特征关联的由斑点图案116指示的噪声特性以发现具有可比较噪声特性的特征。

如在阶段210所示，可以响应于选择208和用于发现附加特征的处理来在用户界面202中可视地表示具有用户选择的特征和与用户选择的特征匹配的附加特征的特征集212。这里，使用虚线选择圆来表示特征集212的每个特征，但是也可以如以上指出的那样运用其它指示符。

此外，用户界面202可以被配置为提供可选择的功能，该功能用于从特征集212指明用于在应用斑点修复操作(或者其它选择的图像编辑操作时)包括的一个或者多个特征。用户因此可以选择特征作为提示、被呈现基于提示而得到的特征集212的可视表示并且在向特征集应用图像编辑操作之前在个别基础上从特征集取消选择和选择特征。在基于触摸的设备/界面的情况下，对特征的取消选择和选择可以使用触摸交互来出现。在一种方式中，用来表示特征集的指示符可以被配置为支持对个别特征的取消选择/选择的可选择元素。这里，用户可以与在图像内的特征直接交互以指明用于特定编辑操作的特征。

附加地或者备选地，可以暴露预览窗格以表示特征集和支持对个别特征的取消选择/选择。在图2中表示示例预览窗格214。这里，预览窗格包括用于特征集212中的每个特征的图像元素。在一个实现方式中，图像元素可以呈现每个特征相对于源图像的相对更大、放大的预览视图(例如，特写视图)。图像元素也可以个别地可选择以引起对用于特定编辑操作的个别特征的取消选择/选择。

如在阶段216所示，向特征集的选择的特征应用特定编辑操作。在描绘的示例中，未取消选择任何特征并且因而向整个特征集212应用编辑操作。在斑点修复操作的情况下，可以向特征应用适当噪声去除算法以去除或者取消强调特征的出现。这可以涉及到使用图像的包围特征的部分的像素和纹理混合以替换特征的“不想要”的像素并且实施校正。因而，已经在阶段216出现的图像中去除了在原有图像中出现的各种丘疹。

关于图3示出了具体示例，该示例举例说明了查看窗格214的用于从特征集指明特定特征的操作。特别地，图3总体上在300描绘了查看窗格214的表示，在该查看窗格中做出选择302以取消选择如关于图2讨论的那样得到的特征集212的特征之一。这里，取消选择通过触摸或者以别的方式与预览窗格中的用于特定特征的图像元素交互来出现。取消选择动作可以引起在用于下层特征的被选择状态与取消选择状态之间切换。可以用各种方式(聊举数例比如通过如所示跨越图像元素放置“X”、使图像元素变灰、从窗格去除元素或者切换指示符(比如复选标记图标))来可视地表示取消选择。此外，也可以如在304所示切换取消选择的特征的可视表示，其中已经去除了用于取消选择的特征的指示符(例如，虚线选择圆)。现在，在做出选择306以应用编辑操作时，未校正取消选择的特征，并且特征如在308所示保留在图像中。

关于在图4至图9中所示的一些用户界面和场景示例描述关于用于基于提示的斑点修复的技术的附加细节。虽然这里在斑点修复操作的情境中描述了这里讨论的技术的方面，但是应当认识到，技术不限于斑点修复操作并且可以总体上适用于不同图像编辑操作，这些图像编辑操作可以应用于相似特征的汇集。因此，可以在多种情境中应用这里描述的对特征的基于提示的选择和使用从用户交互学习的斑点图案以通知后续操作，斑点修复操作仅为这些情境的一个示例。

图4总体上在400描绘了用户界面402的一个示例实现方式。可以如先前提到的那样经由图像处理模块112暴露示例用户界面。用户界面402可以包括其中呈现图像406的图像显示区域404。用户可以使用由图像处理模块112提供的功能以各种方式查看和操纵呈现的图像406。各种功能可以经由工具菜单408可访问，该工具菜单在这一示例中为具有与各种工具和图像编辑操作对应的可选择图标的工具栏。也设想了工具菜单408的其它配置，比如菜单栏、弹出工具框或者有助于从由图像处理模块112提供的各种功能之中选择的其它适当配置。如在图4中表示的那样，工具菜单408可以至少实施可操作用于如这里讨论的那样引起对选择的特征的斑点修复的斑点修复工具410。

图像406也表示图像编辑功能可以在各种场景中应用于的各种不同特征(例如，图像缺陷、瑕疵或者细节)。图4中的示例特征包括丘疹412、皮肤斑点414和雀斑416。在这一情况下，示例特征涉及脸部瑕疵或者方面，但是可以在先前讨论的其它场景示例中涉及到其它类型的特征。

如关于以下示例场景讨论的那样，用户界面402可以用各种方式被配置为有助于包括基于提示的斑点修复的图像编辑操作。更一般而言，用户界面402支持用户选择选择的特征，这可以引起自动检测相似附加特征以产生具有选择的特征和附加特征的特征集。斑点修复操作或者其它指明的操作然后可以应用于特征集或者特征集中的至少一些指明的特征。可以依次选择和校正不同类型的特征。另外，这里描述的基于提示的方式使得用户能够显式地指示不想要的特征并且保留想要的特征。再之，图像处理模块112可以被配置为基于用户交互来学习新斑点图案116并且使用学习的图案以做出用于后续编辑场景的更准确预测。

例如，图5和图6示出了交互场景，在该交互场景中，使用斑点修复工具410来去除图4的示例图像406中的选择的类型的特征。例如，图5总体上在500描绘交互，在该交互中，用户选择在“A”的斑点修复工具410并且做出在“B”对在图像406内的特征502的选择。特别地，选择图4的皮肤斑点414之一。现在，图像处理模块112操作用于检测和可视地表示包括选择的皮肤斑点和相似斑点的特征集504。附加地或者备选地，可以用先前讨论的方式暴露预览窗格506以示出图像元素508，这些图像元素提供特征集中的个别项目的预览和特写视图。对相似斑点的检测可以通过使用与选择的斑点对应的斑点并且处理图像406以发现图像中的与斑点图案匹配的区域来出现。这可以通过使用斑点图案以通知噪声检测算法来实现。如果呈现了预览窗格506，则用户可以交互以在“C”做出对特征的特定项目的指明。然后，用于在“D”应用选择的图像编辑操作的选择引起向指明的特征应用图像编辑操作。在这一示例中，应用与斑点修复工具410对应的斑点修复操作以去除特征集504的皮肤斑点414。因而，图6总体上在600描绘了基于关于图5描述的交互而产生的已处理图像602的表示。这里，已处理图像602不包括皮肤斑点414。

图7至图9示出了另一交互场景，在该交互场景中，使用斑点修复工具410来去除示例图像中的另一类型的特征。在这一示例中，可以在如刚才描述的那样去除皮肤斑点414之后对已处理图像602执行交互。因而，可以使用描述的技术来接连有选择的去除/处理不同类型的特征。例如，图7总体上在700描绘如下交互，在该交互中，用户再次在“E”选择斑点修复工具410并且在“F”做出对在图像406内的特征702的选择。特别地，选择图4的丘疹412之一。作为响应，图像处理模块112再次检测和可视地表示特征集704，该特征集包括选择的丘疹和可以基于与丘疹关联的斑点图案116而被检测到的相似特征。然而，这里，特征集704被图示为包括在图4中所示的丘疹412和雀斑416二者。描绘的场景旨在于表示如下情形，在该情形中，在特征集中包括用户可能想要在图像中保持(或者从处理中排除)的一些特征。然而，如提到的那样，可以提供用于指明特征集的被应用选择的图像编辑操作的个别特征的功能。这可以通过经由用户界面以各种方式支持对特征的取消选择/选择来出现，先前讨论这些方式的示例。

图8总体上在800描绘如下交互，在该交互中，从特征集指明用于应用图像编辑操作的特征。例如，可以如在图8中所示在用户界面402中可视地表示图7的特征集704，该特征集包括选择的特征702和通过与选择的特征702关联的斑点图案匹配而被标识的附加特征。这里，用于特征集704的表示的指示符可以被配置为可选择元素，这些元素支持在个别基础上对特征集中的项目的选择/取消选择。除了提供用于支持指明特征的可选择指示符之外或者取代提供这些可选择指示符，还可以运用预览窗格，比如在图5中所示的示例预览窗格506。在一种方式中，可以通过对控件或者其它用户界面手段的操作来有选择地显示预览窗格，该用户界面手段的示例是在图8中表示的预览按钮802。因此，可以单独或者与可选择指示符组合使用预览窗格以允许用户有选择的指明用于斑点修复操作或者其它编辑操作的特征。也设想了用于有助于从特征集指明特征的其它技术。

在图8的示例中，在“G”示出了用于取消选择特征804的交互。这可以涉及到对用于特征804的对应指示符的触摸输入。特别地，可以取消选择在图7的示例中结合用户选择的丘疹为特征集自动地选择的在图像中的雀斑以保留雀斑并且从处理中排除雀斑。可以对于特征集的、用户想要从处理排除的每个特征重复在“G”表示的取消选择。这里，用户可能想要保留雀斑并且因此可以交互以取消选择所有雀斑以精化特征集。因而，可以响应于用于从特征集指明特定项目以用于包括在集合中或者从特征集去除的用户交互来形成精化的特征集806。可以相应地修改用户界面中的特征集的可视表示以反映用户的显式指明。因此，用于取消选择的雀斑的指示符被描绘为在“G”表示的取消选择之后在图8中被去除。一旦用户对特征集满意，用户就可以交互以向特征集中的项目应用图像编辑操作。例如，用于在“H”应用选择的图像编辑操作的选择引起向指明的特征应用图像编辑操作。在这一示例中，应用与斑点修复工具410对应的斑点修复操作以去除在特征集806中维持的丘疹412。

图9总体上在900描绘了在基于提示的编辑操作之后的已处理图像902的表示。已处理图像902反映关于图5至图8描述的用于基于用户提示对图像的特征执行图像处理的交互。这里，已处理图像902不包括在图4的图像406中所示的丘疹412或者皮肤斑点414。然而，用户从特征集取消选择的用于从处理中排除并且在图像中保持的雀斑416在已处理图像902中保留。

示例过程

以下讨论描述可以利用先前描述的系统和设备而被实施的技术。可以在硬件、固件或者软件或者其组合中实施过程中的每个过程的方面。过程被示出为块的集合，这些块指定一个或者多个设备执行的操作而未必限于示出的用于由相应块执行操作的顺序。在以下讨论的部分中，可以参照图1-图9的示例。

图10描绘了一个示例实现方式中的过程100，在该过程中基于用户提示来执行图像编辑操作。在用户界面中暴露图像以用于编辑(块1002)。例如，可以调用图像处理模块112以如这里讨论的那样查看和处理图像。图像处理模块112可以支持经由斑点修复模块114的斑点修复操作以及用于管理图像和对图像执行图像编辑操作的其它功能。可以经由由图像处理模块112提供的或者以别的方式与图像处理模块112关联的用户界面暴露选择的图像以用于编辑。

检测经由用户界面结合图像编辑操作对图像中的用户选择的特征的选择(块1004)。该选择可以用包括基于触摸的选择或者使用输入设备(例如，鼠标、键盘等)的选择的各种方式来出现。可选择以用于处理的特征可以包括图像中的各种不想要的特征，比如图像缺陷、瑕疵或者不想要的细节。

响应于该选择，处理图像以标识在图像中包含的与用户选择的特征对应的附加特征(块1006)，并且输出可视表示以指示用于图像编辑操作的特征集，该特征集包括用户选择的特征和标识的附加特征(块1008)。对附加特征的标识可以通过生成与用户选择的特征关联的斑点图案并且发现图像的与斑点图案匹配的部分来出现。例如，斑点图案可以被用作向噪声检测算法的输入以发现在图像内的具有匹配斑点图案的部分。噪声检测算法可以被配置为比较如由斑点图案定义的用户选择的特征的噪声特性与图像的部分的噪声特性。基于该分析，可以将图像的与噪声特性匹配的部分识别为附加特征。因而，附加特征可以表示基于对图像执行的噪声分析而被检测到的特征，这些特征具有与用户选择的特征相似的特性。

此外，可以在用户界面内以各种方式可视地表示在特征集中包括的特征。例如，可以在图像内与在特征集中包括的特征中的每个特征邻近渲染可视指示。可视指示被配置为指示选择的用于当前操作的特征，比如在图2-图9的示例中出现的虚线圆。附加地或者备选地，可以运用预览窗格以可视地表示特征集，该预览窗格包括用于在特征集中包括的特征中的每个特征的预览图像。可以提供指示符、预览窗格或者其它可视表示以标识特征集中的每个特征，该特征集包括用户选择的特征和标识的附加特征。

此外，经由用户界面提供如下功能，该功能可被选择用于从包括用户选择的特征和标识的附加特征的特征集之中指明一个或者多个特征(块1010)。例如，在图像内与特征中的每个特征邻近渲染的可视指示可以可被选择用于在个别基础上切换对特征集中的特征的选择和取消选择。这可以经由与图像中的每个特征关联的可选择指示符的直接交互来出现。如果运用了预览窗格，则可以将页面中的预览图像为可选择元素，这些可选择元素可被选择用于在个别基础上切换对在特征集中包括的特征的取消选择和选择。因此，用户能够在应用图像编辑操作之前通过做出对用于在特征集中包括的或者从特征集去除的特征的显式指明来精化特征集。

向指明的特征应用图像编辑操作(块1012)，并且更新在用户界面中暴露的图像以反映向指明的特征应用图像编辑操作(块1014)。在斑点修复操作的情况下，可以应用噪声去除算法以去除或者削弱特征在特征集中的出现。这可以通过用来自周围区域的“良好”纹理的像素替换不想要的特征的像素来出现。此外，像素混合可以出现以平滑掉变化并且使校正的区域显得自然。可以重新渲染用户界面中的图像以反映向指明的特征应用图像编辑操作。在斑点修复操作的情况下，选择的用于修复的图像缺陷、瑕疵或者不想要的细节可以表现为在斑点修复操作之后从图像被基本上去除。

除了支持基于提示的斑点修复之外，图像处理模块112还可以被配置为执行部分基于从用户提示收集的信息的自动斑点修复或者其它编辑操作。例如，可以在用户与图像交互以执行基于提示的斑点修复和其它基于提示的操作时记录用于由用户选择的特征的斑点图案。可以在与图像处理模块112关联的斑点图案库中维持记录的斑点图案。该库可以包含由图像处理模块112支持的预定义的图案(例如，由图像处理模块的开发者产生的默认库)和从与图像处理模块的在先用户交互学习的其它图案。可以在每用户基础上为每个个别用户学习所学习的斑点图案。然后，学习的图案以及在默认库中包括的图案可以通知经由图像处理模块112执行的自动化编辑操作以精化对用于自动化编辑操作的特征的自动检测和处理。

为了进一步举例说明，考虑图11，该图是描绘了一个示例实现方式中的过程1100的流程图，在该过程中，从在先用户交互得到的斑点图案被用来通知图像编辑操作。特别地，在用户执行基于提示的操作时，可以生成和在库中存储用于选择的项目的斑点图案。换而言之，可以基于与图像处理模块的用于操纵图像的用户行为和交互来学习定制斑点图案。然后，可以运用斑点图案以精化对用于后续编辑操作的特征的自动检测技术和识别。

特别地，获得指示与图像处理模块可检测的不同类型的不想要的特征对应的斑点图案的数据，这些斑点图案包括从与图像处理模块的在先用户交互学习的至少一些斑点图案(块1102)。可以通过从与图像处理模块关联的库引用斑点图案来获得指示斑点图案的数据。库可以被配置为包含从在先用户交互学习的斑点图案和预定义或者默认的斑点图案二者。因此，可以与系统可以默认支持的预定义的图案集合组合使用学习的图案。

识别在被处理的图像中的与斑点图案匹配的一个或者多个不想要的特征(块1104)，并且对图像自动地执行由图像处理模块提供的斑点修复操作以去除不想要的特征而未依赖于对特征的显式用户选择(块1106)。这里，可以响应于用户调用自动斑点修复工具来自动地检测不想要的特征。取代依赖于对特征的提示或者显式用户选择，在这一场景中的检测基于可检测斑点图案库。然而，可检测斑点图案库包含可以基于比如在用户先前已经执行基于提示的斑点修复时的以往用户交互而得到的至少一些学习的图案。随着时间，自动斑点修复工具可以变得越来越善于识别和建议特定用户可能希望编辑的特征类型。因此，随着用户与图像处理系统越来越多地交互，由图像处理系统提供的自动技术可以变得更被精化和定制用于用户的个别使用和行为。

示例系统和设备

图12总体上在1200图示示例系统，该系统包括表示可以实施这里描述的各种技术的一个或者多个计算系统和设备的示例计算设备1202。通过包括图像处理模块112来举例说明这一点，该图像处理模块可以被配置为处理图像数据，比如由图像捕获设备104捕获的图像数据。计算设备1202可以例如是服务提供者的服务器、与客户端关联的设备(例如，客户端设备)、片上系统或者任何其它适当计算设备或者计算系统。

示例计算设备1202如所示包括相互通信地耦合的处理系统1204、一个或者多个计算机可读介质1206和一个或者多个I/O接口1208。虽然未示出，但是计算设备1202还可以包括相互耦合各种部件的系统总线或者其它数据和命令传送系统。系统总线可以包括不同总线结构，比如存储器总线或者存储器控制器、外围总线、通用串行总线或者利用多种总线架构中的任何总线架构的处理器或者本地总线中的任何总线结构或者组合。也设想了多种其它示例，比如控制和数据线。

处理系统1204表示用于使用硬件来执行一个或者多个操作的功能。因而，处理系统1204被图示为包括可以被配置为处理器、功能块等的硬件单元1210。这可以包括在硬件(比如专用集成电路或者使用一个或者多个半导体而形成的其它逻辑器件)中实施。硬件单元1210不受形成它们的材料或者其中运用的处理机制所限制。例如，处理器可以由半导体和晶体管(例如，电子集成电路(IC))组成。在这样的情境中，处理器可执行指令可以是电子可执行指令。

计算机可读存储介质1206被图示为包括存储器/存储装置1212。存储器/存储装置1212表示与一个或者多个计算机可读介质关联的存储器/存储容量。存储器/存储部件1212可以包括易失性介质(比如随机存取存储器(RAM))或者非易失性介质(比如只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储部件1212可以包括固定介质(例如，RAM、ROM、固定硬驱动等)以及可拆卸介质(例如，闪存、可拆卸硬驱动、光盘等)。可以用如以下进一步描述的多种其它方式配置计算机可读介质1206。

输入/输出接口1208表示用于允许用户向计算设备1202录入命令和信息并且也允许向用户呈现信息的功能以及使用各种输入/输出设备的其它部件或者设备。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置为检测物理触摸的电容或者其它传感器)、相机(例如，该相机可以运用可见光或者不可见光波长(比如红外线频率)以将移动识别为未涉及到触摸的手势)等。输出设备的示例包括显示设备(例如，监视器或者投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此，可以用如以下进一步描述的多种方式配置计算设备1202以支持用户交互。

这里可以在软件、硬件单元或者程序模块的一般情境中描述各种技术。一般而言，这样的模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、单元、部件、数据结构等。如这里所用，术语“模块”、“功能”和“部件”一般地表示软件、固件、硬件或者其组合。这里描述的技术的特征独立于平台，这意味着可以在具有多种处理器的多种商用计算平台上实施技术。

可以在某个形式的计算机可读介质上存储或者跨越该形式的计算机可读介质传输描述的模块和技术的一个实现方式。计算机可读介质可以包括计算设备1202可以访问的多种介质。举例而言而无限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。

“计算机可读存储介质”是指与仅信号传输、载波或者信号本身对照而言实现信息存储的介质和设备。因此，计算机可读存储介质并不包括信号承载介质或者信号本身。计算机可读存储介质包括硬件，比如在适合用于存储信息(比如计算机可读指令、数据结构、程序模块、逻辑元件/电路或者其它数据)的方法或者技术中实施的易失性和非易失性、可拆卸和非可拆卸介质以及存储设备。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或者其它存储器技术、CD-ROM、数字万用盘(DVD)或者其它光存储、硬盘、磁盒、磁带、磁盘存储装置或者其它磁存储设备或者适合用来存储希望的信息并且可以由计算机访问的其它存储设备、有形介质或者制造品。

“计算机可读信号介质”是指被配置为比如经由网络向计算设备1202的硬件传输指令的信号承载介质。信号介质通常可以在调制的数据信号、比如载波、数据信号或者其它传送机制中体现计算机可读指令、数据结构、程序模块或者其它数据。信号介质也包括任何信息递送介质。术语“调制的数据信号”意味着如下信号，该信号让它的特性中的一个或者多个特性以对信号中的信息进行编码这样的方式被设置或者改变。举例而言而非限制，通信介质包括有线介质(比如有线网络或者直接有线连接)和无线介质(比如声学、RF、红外线和其它无线介质)。

如先前描述的那样，硬件单元1210和计算机可读介质1206表示以硬件形式实施的模块、可编程逻辑器件或者固定器件逻辑，可以在一些实施例中实施该硬件形式以实施这里描述的技术的至少一些方面，比如执行一个或者多个指令。硬件可以包括集成电路或者片上系统的部件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)和在硅或者其它硬件中的其它实现方式。在本文中，硬件可以作为处理设备操作，该处理设备执行由指令定义的程序任务或者由硬件体现的逻辑以及用来存储用于执行的指令的硬件，例如，先前描述的计算机可读存储介质。

可以运用前述各项的组合以实施这里描述的各种技术。因而，可以将软件、硬件或者可执行模块实施为在某个形式的计算机可读存储介质上(包括由一个或者多个硬件单元1210)体现的一个或者多个指令或者逻辑。计算设备1202可以被配置为实施与软件和/或硬件模块对应的特定指令和/或功能。因而，可以至少部分在硬件中(例如，通过使用计算机可读存储介质和/或处理系统1204的硬件单元1210)来实现作为软件可由计算设备1202执行的模块的实现方式。指令和功能可以可由一个或者多个制造品(例如，一个或者多个计算设备1202和处理系统1204)可执行/可操作以实施这里描述的技术、模块和示例。

这里描述的技术可以由计算设备1202的各种配置支持而不限于这里描述的技术的具体示例。也可以全部或者部分通过使用分布式系统(比如如以下描述的那样经由平台1216通过“云”1214)实施这一功能。

云1214包括和/或表示用于资源1218的平台1216。平台1216抽象化云1214的硬件(例如，服务器)和软件资源的下层功能。资源1218可以包括可以在从计算设备1202远离的服务器上执行计算机处理之时利用的应用或者数据。资源1218也可以包括通过因特网或者通过预订者网络(比如蜂窝或者Wi-Fi网络)提供的服务。

平台1216可以抽象化用于连接计算设备1202与其它计算设备的资源和功能。平台1216也可以服务于抽象化对资源的缩放以提供与对于经由平台1216实施的资源1218的所遇需求对应的规模级别。因而，在一个互连设备实现方式中，可以遍及系统1200分布这里描述的功能的实现方式。例如，可以部分在计算设备1202上以及经由将云1214的功能抽象化的平台1216实施功能。

结论

虽然已经用结构特征和方法动作特有的言语描述了本发明，但是将理解，在所附权利要求中定义的本发明未必限于描述的具体特征或者动作。实际上，具体特征和动作被公开为实施要求保护的本发明的示例形式。

Claims (20)

1.一种由计算设备实施的方法，包括：

检测经由用户界面结合图像编辑操作对在所述用户界面中被暴露用于编辑的图像中的用户选择的特征的选择；

处理所述图像以标识在所述图像中包含的与所述用户选择的特征对应的附加特征；

经由所述用户界面提供功能，所述功能可被选择用于从包括所述用户选择的特征和标识的所述附加特征的特征集之中指明用于所述图像编辑操作的一个或者多个特征；以及

向指明的特征应用所述图像编辑操作。

2.根据权利要求1所述的方法，其中所述用户选择的特征包括不想要的特征，并且所述附加特征包括基于对所述图像执行的噪声分析而检测到的相似特征。

3.根据权利要求1所述的方法，其中处理所述图像以标识附加特征包括生成与所述用户选择的特征关联的斑点图案并且发现所述图像的与所述斑点图案匹配的部分。

4.根据权利要求3所述的方法，其中发现所述图像的与所述斑点图案匹配的部分包括比较由所述斑点图案定义的所述用户选择的特征的噪声特性与所述图像的部分的噪声特性并且将所述图像的与所述噪声特性匹配的部分识别为所述附加特征。

5.根据权利要求1所述的方法，其中所述图像编辑操作被配置为在被应用时从所述图像基本上去除所述指明的特征的斑点修复操作。

6.根据权利要求1所述的方法，其中用于指明一个或者多个特征的所述功能支持在应用所述图像编辑操作之前在个别基础上的用户取消选择和选择所述用户选择的特征和标识的所述附加特征。

7.根据权利要求1所述的方法，还包括输出用于指示用于所述图像编辑操作的所述特征集的可视表示，所述可视表示包括用于所述用户选择的特征和标识的所述附加特征的表示。

8.根据权利要求7所述的方法，其中所述可视表示包括在所述图像内与在所述特征集中包括的所述特征中的每个特征邻近被渲染的可视指示。

9.根据权利要求8所述的方法，其中所述可视表示可被选择用于在个别基础上取消选择和选择在所述特征集中包括的特征。

10.根据权利要求7所述的方法，其中所述可视表示包括预览窗格，所述预览窗格包括用于在所述特征集中包括的所述特征中的每个特征的预览图像。

11.根据权利要求10所述的方法，其中所述预览图像可被选择用于在个别基础上切换对在所述特征集中包括的特征的取消选择和选择。

12.根据权利要求1所述的方法，还包括：

学习与所述用户选择的特征关联的斑点图案；以及

存储所述斑点图案以用于后续用来自动地识别图像中的具有匹配斑点图案的特征。

13.一种系统，包括：

一个或者多个硬件单元；

至少部分地经由所述硬件单元实施的用于执行图像处理操作的图像处理模块，所述图像处理操作包括：

在对应用户界面内暴露图像以用于经由所述图像处理模块编辑；

经由所述用户界面提供功能，所述功能可被选择用于从特征集之中指明用于图像编辑操作的一个或者多个特征，所述特征集包括：

用户选择的特征；以及

通过比较用于所述用户选择的特征的斑点图案与所述图像的部分以检测与所述斑点图案匹配的部分而被标识为附加特征的所述附加特征；以及

向所述特征集的指明的特征应用所述图像编辑操作。

14.根据权利要求13所述的系统，其中经由所述用户界面提供的可被选择用于指明一个或者多个特征的所述功能包括具有预览图像的预览窗格，所述预览图像可被选择用于个别地取消选择和选择所述特征集中的用于所述图像编辑操作的特征。

15.根据权利要求13所述的系统，其中所述图像编辑操作包括用于去除所述特征集的指明的所述特征的斑点修复操作。

16.根据权利要求13所述的系统，其中所述图像处理操作还包括：

接收用于选择所述图像中的所述用户选择的特征的输入；

处理所述图像以确定用于所述用户选择的特征的所述斑点图案并且基于对所述斑点图案与所述图像的部分的比较来标识所述附加特征；以及

在所述用户界面中可视地表示所述特征集，所述特征集包括所述用户选择的特征和被标识为用于所述图像编辑操作的潜在特征的所述附加特征。

17.根据权利要求13所述的系统，其中所述图像处理操作还包括更新在所述用户界面中暴露的所述图像以反映向所述指明的特征应用所述图像编辑操作。

18.一个或者多个存储指令的计算机可读存储介质，所述指令响应于由计算设备执行而被配置为使所述计算设备执行用于自动斑点修复的操作，所述操作包括：

获得指示与图像处理模块可检测的不同类型的不想要的特征对应的斑点图案的数据，所述斑点图案包括从与所述图像处理模块的在先用户交互中学习的至少一些斑点图案；

识别在被处理的图像中的与所述斑点图案匹配的一个或者多个不想要的特征；以及

对所述图像执行由所述图像处理提供的自动斑点修复操作以去除识别的所述不想要的特征而不依赖于对图像缺陷的显式用户选择。

19.根据权利要求18所述的一个或者多个计算机可读存储介质，其中获得指示斑点图案的所述数据包括从与所述图像处理模块关联的库引用所述斑点图案，所述库被配置为包含从在先用户交互学习的所述斑点图案和预定义的斑点图案二者。

20.根据权利要求18所述的一个或者多个计算机可读存储介质，其中所述指令还被配置为使所述计算设备执行用于基于提示的斑点修复的操作，所述操作包括：

检测对在被暴露用于编辑的特定图像中包含的用户选择的特征的选择，所述选择用作提示以检测在所述特定图像中包含的与所述用户选择的特征匹配的附加特征并且生成用于斑点修复操作的潜在特征的特征集，所述特征集包括所述用户选择的特征和检测到的所述附加特征；

通过在个别基础上取消选择和选择所述特征集中的候选特征来获得对用于所述斑点修复操作的特征的指明；以及

根据所述指明来应用所述斑点修复操作以去除所述特征集中的从所述特定图像指明的特征。