CN105580050A - 提供图像中的控制点 - Google Patents

提供图像中的控制点 Download PDF

Info

Publication number
CN105580050A
CN105580050A CN201480052594.9A CN201480052594A CN105580050A CN 105580050 A CN105580050 A CN 105580050A CN 201480052594 A CN201480052594 A CN 201480052594A CN 105580050 A CN105580050 A CN 105580050A
Authority
CN
China
Prior art keywords
reference mark
image
manipulated
user
select
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480052594.9A
Other languages
English (en)
Inventor
加文·詹姆斯
贾斯汀·刘易斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN105580050A publication Critical patent/CN105580050A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Abstract

实施方式通常涉及提供图像中的控制点。在一些实施方式中,一种方法包括确定图像中的一个或多个控制点。该方法还包括确定与每个控制点相对应的一个或多个图像操纵变换。该方法还包括向用户提供一个或多个控制点以及一个或多个对应的图像操纵变换。

Description

提供图像中的控制点
背景技术
数码相机的普及和便利以及互联网通信的广泛使用已经使得诸如相片的用户产生的图像变得无所不在。用于各种客户电子设备和个人计算机的图像编辑系统使得用户能够操纵图像。这样的图像编辑系统通常要求用户理解复杂和难做的命令以操纵图像。这种水平的了解提供了超出普通用户掌握的高级编辑特征。
发明内容
实施方式通常涉及提供图像中的控制点。在一些实施方式中,一种方法包括确定图像中的一个或多个控制点。该方法还包括确定与每个控制点相对应的一个或多个图像操纵变换。该方法还包括向用户提供所述一个或多个控制点以及一个或多个对应的图像操纵变换。
进一步关于该方法,在一些实施方式中,所述确定所述一个或多个控制点包括:选择图像中的一个或多个区域;以及将一个或多个控制点与每个所选的区域相关联。在一些实施方式中,所述确定所述一个或多个控制点包括:选择图像中的一个或多个区域;确定每个区域的区域类型;以及基于区域类型将一个或多个控制点与至少一个区域相关联。在一些实施方式中,所述确定图像中的所述控制点中的一个或多个基于图像识别。在一些实施方式中,一个或多个图像操纵变换包括一个或多个过滤器。在一些实施方式中,一个或多个图像操纵变换包括一个或多个二维变换。在一些实施方式中,一个或多个图像操纵变换包括一个或多个三维变换。在一些实施方式中,该方法进一步包括使得用户能够选择用于图像的所述控制点中的一个或多个。在一些实施方式中,该方法进一步包括使得用户能够选择用于图像的所述控制点中的一个或多个;以及使得用户能够选择用于每个控制点的一个或多个图像操纵变换。
在一些实施方式中,一种方法包括确定图像中的一个或多个控制点。在一些实施方式中,所述确定所述一个或多个控制点包括:选择图像中的一个或多个区域;以及将一个或多个控制点与每个所选的区域相关联。该方法进一步包括确定与每个控制点相对应的一个或多个图像操纵变换,其中一个或多个图像操纵变换包括一个或多个过滤器。该方法进一步包括向用户提供一个或多个控制点以及一个或多个对应的图像操纵变换。该方法进一步包括使得用户能够选择用于图像的控制点中的一个或多个,以及选择用于每个控制点的一个或多个图像操纵变换。
进一步关于该方法,在一些实施方式中,所述确定图像中的一个或多个控制点基于图像识别。在一些实施方式中,一个或多个图像操纵变换包括一个或多个二维变换。在一些实施方式中,一个或多个图像操纵变换包括一个或多个三维变换。
在一些实施方式中,一种系统包括一个或多个处理器,以及在一个或多个有形介质中编码的用于由一个或多个处理器执行的逻辑。当被执行时,所述逻辑可操作于执行以下操作,包括:确定图像中的一个或多个控制点;确定与每个控制点相对应的一个或多个图像操纵变换;以及向用户提供一个或多个控制点以及一个或多个对应的图像操纵变换。
进一步关于该系统,在一些实施方式中,为了确定一个或多个控制点,当被执行时,所述逻辑进一步可操作成执行以下操作,包括:选择图像中的一个或多个区域;以及将一个或多个控制点与每个所选的区域相关联。在一些实施方式中,为了确定一个或多个控制点,当被执行时,所述逻辑进一步可操作成执行以下操作,包括:选择图像中的一个或多个区域;确定每个区域的区域类型;以及基于区域类型将一个或多个控制点与至少一个区域相关联。在一些实施方式中,所述逻辑当被执行时进一步可操作成执行操作,包括:基于图像识别确定图像中的控制点中的一个或多个。在一些实施方式中,一个或多个图像操纵变换包括一个或多个过滤器。在一些实施方式中,一个或多个图像操纵变换包括一个或多个二维变换。在一些实施方式中,一个或多个图像操纵变换包括一个或多个三维变换。
附图说明
图1图示了可用于实施本文所述的实施方式的示例网络环境的框图。
图2图示了根据一些实施方式用于使得用户能够修改图像的示例简化流程图。
图3图示了根据一些实施方式的示例简化用户接口。
图4图示了可用于实施本文所述的实施方式的示例服务器设备的框图。
具体实施方式
描述了用于提供数字图像中的控制点的实施方式。在各种实施方式中,系统确定图像中的一个或多个控制点。在各种实施方式中,控制点使得用户能够快速并直观地对图像做出选择性的调整或增强。控制点使得用户能够在图像编辑接口中对图像做出这样的修改,而无需创建复杂的选择、掩膜、图层等。
在一些实施方式中,为了确定一个或多个控制点,系统选择图像中的一个或多个区域,以及将一个或多个控制点与每个所选的区域相关联。在一些实施方式中,为了确定一个或多个控制点,系统选择图像中的一个或多个区域;确定每个区域的区域类型;以及基于区域类型将一个或多个控制点与每个所选的区域相关联。在一些实施方式中,系统基于图像识别确定图像中的控制点中的一个或多个。
系统然后确定与每个控制点相对应的一个或多个图像操纵变换。在一些实施方式中,一个或多个图像操纵变换包括一个或多个过滤器。在一些实施方式中,一个或多个图像操纵变换包括一个或多个n维变换(例如,二维变换、三维变换等)。在一些实施方式中,系统确定每个区域的区域类型,以及然后基于区域类型确定与每个控制点相对应的一个或多个图像操纵变换。
系统然后向用户提供一个或多个控制点以及一个或多个对应的图像操纵变换。系统然后使得用户能够选择用于图像的控制点中的一个或多个,以及选择用于每个控制点的一个或多个图像操纵变换。
图1图示了可用于实施本文所述的实施方式的示例网络环境100的框图。在一些实施方式中,网络环境100包括系统102,系统102包括服务器设备104和社交网络数据库106。在各种实施方式中,术语系统102和短语“社交网络系统”可以交替地使用。网络环境100还包括可以经由系统102彼此通信的客户端设备110、120、130和140。网络环境100还包括网络150。
为了易于说明,图1示出了系统102、服务器设备104和社交网络数据库106中的每一个的一个框,以及示出了四个客户端设备110、120、130和140的四个框。框102、104和106可以代表多个系统、服务器设备和社交网络数据库。而且,可以存在任何数量的终端设备。在其他实施方式中,网络环境100可以不具有所有示出的组件,和/或可以具有其他元素,所述其他元素包括代替本文所示出的那些元素,或除本文所示出的那些元素之外的其他类型的元素。
在各种实施方式中,用户U1、U2、U3和U4可以使用各自的客户端设备110、120、130和140来彼此通信。例如,用户U1、U2、U3和U4可以彼此交互,以及与系统102交互,其中各自的客户端设备110、120、130和140向系统102传送诸如照片的媒体项。
在本文所述的各种实施方式中,系统102的处理器使得本文所述的元素(例如,控制点、图像操纵变换等)被显示在一个或多个显示屏上的用户接口中。
在各种实施方式中,系统102可以利用识别算法以便于确定控制点和图像操纵变换。以下更详细地描述了识别算法的示例实施方式。
尽管本文以社交网络为背景描述了一些实施方式,但是这些实施方式可以应用于非社交网络的背景中。例如,实施方式可以在本地应用于个人用户。例如,系统102可以在单机计算机、平板计算机、智能电话等上执行本文所述的实施方式。
图2图示了根据一些实施方式用于使得用户能够修改图像的示例简化流程图。参考图1和2这两者,在框202中发起了一个方法,其中系统102确定图像中的一个或多个控制点。在各种实施方式中,系统102可以在用户向系统102上传图像后或者在用户向一个或多个相册中添加图像后,获得该图像。在一些实施方式中,系统102可以使得用户的相机设备(例如,智能电话)在该相机设备拍摄照片时自动地向系统102上传图像。
如上所指出的,控制点使得用户能够快速并直观地对图像做出选择性的调整或增强。如以下更详细地描述的,控制点使得用户能够在专门的图像编辑软件中对图像的具体部分做出这样的修改,而无需创建复杂的选择、掩膜、图层等。
在各种实施方式中,系统102可以基于图像识别确定图像中的控制点中的一个或多个。例如,在一些实施方式中,为了确定一个或多个控制点,系统102可以选择图像中的一个或多个区域。在各种实施方式中,系统102辨认出包括背景区域的关键区域(例如,人脸、地标、以及其他可识别的对象、猫等)。这样的区域可以包括一个或多个对象。在一些实施方式中,系统102可以因为区域在图像的焦点中或者被安置于图像的突出部分中(例如,在图像的中心)而确定该区域为关键区域。
系统102可以利用识别算法来辨认并隔离图像中的特别/关键区域。例如,如上所指出的,系统102可以识别图像中的人脸、地标等。以下更详细地描述了识别算法的示例实施方式。
在各种实施方式中,系统102确定了每个区域的区域类型。如以下更详细地描述的,在各种实施方式中,区域类型基于区域内的内容。在一些实施方式中,系统102可以基于图像识别确定每个区域的区域类型。例如,系统102可以确定给定的对象是人脸。系统102可以识别对象或特征,诸如作为人脸区域的眼睛、鼻子、嘴等。系统102可以识别人脸及其特征作为图像中的前景区域。系统102可以识别一些对象作为地标区域。系统102可以识别地标和其他对象作为图像中的背景区域。系统102可以识别人物和动物作为人物和动物区域。系统102可以识别树木、植物和其他对象作为风景区域。系统102可以识别天空或水体作为天空或水区域。特别的区域类型和区域类型数量将依据于特别的实施方式。在一些实施方式中,系统102可以生成用于所选的区域元素的掩膜,以及然后将所有的掩膜添加至列表。
在各种实施方式中,系统102将一个或多个控制点与每个所选的区域相关联。在各种实施方式中,系统102将每个控制点与区域类型相关联。例如,系统102可以将控制点与人脸区域相关联。系统102可以将控制点与所有前景区域相关联。系统102可以将控制点与所有背景区域相关联。系统102可以做出这样的与任何本文所述的区域和其他的(例如背光主体、反射面等)的关联。特定的关联和关联数量将依据于特定的实施方式。系统102自动地将控制点与所选的区域相关联,以便于省却用户需要手动做出这样的关联。
在框204中,系统102确定与每个控制点相对应的一个或多个图像操纵变换。在一些实施方式中,一个或多个图像操纵变换可以包括一个或多个预定义和/或定制化的过滤器。例如,这样的过滤器可以包括模糊、锐化、软化图像的过滤器。过滤器还可以修改亮度、对比度等。过滤器还可以执行亮度均衡、灰度校正、色彩深度修改等。
在各种实施方式中,为了确定与每个控制点相对应的图像操纵变换,系统102可以选择由系统102先前生成的预制的变换和/或变换。如上所述,系统102确定图像中的特定区域以及确定每个区域(例如人脸、地标等)的区域类型。在各种实施方式中,系统102基于区域类型选择与每个区域相关和/或合适于每个区域的图像操纵变换(例如,过滤器的类型)。例如,涉及周围模糊、景深效果等的图像操纵变换可能合适于背景区域,但可能不合适于诸如前景中包括人物的区域的其他区域。在一些实施方式中,图像操纵变换可以提供增强天空区域中的云朵的戏剧过滤器。在一些实施方式中,图像操纵变换可以为地标增强对比度、色彩校正等。在一些实施方式中,图像操纵变换可以平滑皮肤、去除皱纹、去除瑕疵等。
在示例场景中,系统102可以辨认人脸区域并生成用于人脸区域的控制点。系统102然后可以选择最佳适合于人脸区域的一个或多个图像操纵变换。例如,系统102可以选择皮肤平滑过滤器、皱纹去除过滤器、瑕疵去除过滤器等,并且将这样的过滤器与该特定控制点相关联。系统102可能不为控制点选择景深效果过滤器,因为该特定类型的过滤器可能不合适于人脸区域。基于区域类型自动选择用于每个控制点的特定图像操纵变换省却了用户需要为每个区域弄清楚哪些图像操纵变换是合适的。
在一些实施方式中,图像操纵变换可以提取其他图像的细节,并将那些细节应用于目标图像,以便增强图像。例如,可以存在人脸的多个图像,其中在一些图像中眼睛是睁开的,但在其他图像中却不是,或者其中在一些图像中这个人是微笑的,但在其他图像中却不是。图像操纵变换可以为给定图像通过从一些图像中提取所希望的细节(例如,睁开的眼睛、微笑的嘴等)并将那些细节应用到目标图像中来确保一个人正在微笑并睁开眼睛。
在各种实施方式中,系统102可以生成用于给定区域的多个控制点。例如,系统102可以生成用于人脸区域的多个控制点,其中控制点重叠,但每个控制点对应于不同的子区域。例如,控制点可以与整个人脸相关联,控制点可以与人脸的眼睛相关联,以及控制点可以与牙齿相关联。在各种实施方式中,系统102可以选择性地应用图像操纵变换(例如,对于人脸但不对于眼睛和牙齿)。例如,一个控制点可以用皮肤平滑、去除皱纹和瑕疵等来编辑/更新人脸,但不在眼睛和牙齿上运行算法过滤器。另一控制点可以仅应用于眼睛(例如,红眼校正)。另一控制点可以应用于牙齿上(例如,牙齿增白)。在一些实施方式中,如果用户选择人脸,则系统102可以应用与整个人脸区域(例如,人脸、眼睛、牙齿等)相关联的所有控制点。在各种实施方式中,系统102可以基于区域的类型确定默认的变换设置(例如,过滤器设置)。
在各种实施方式中,图像操纵变换不限于常规的色彩和对比度调整。在一些实施方式中,一个或多个图像操纵变换可以包括一个或多个二维变换。例如,给定的图像操纵变换可以包括缩放和/或扭曲图像的过滤器。例如,图像操纵变换可以包括使得人眼看起来极大的“虫眼”过滤器。系统102可以使用人脸识别算法来将控制点放置在人脸上,以仅选择眼睛,其中可使用户使用虫眼过滤器以供选择。在一些实施方式中,作为编辑流的示例,可以在用户选择过滤器的任何时间放置这样的过滤器。如此,不需要提前保存虫眼控制点,其能够在激活虫眼过滤器时被生成。类似地,在一些实施方式中,当选择牙齿增白过滤器时,可以算法上地放置该过滤器。
在一些实施方式中,可以手动地或通过机器学习来选择图像操纵变换。同样地,用于控制点的初始设置(即使已经被手动放置的那些)能够潜在地基于每用户被给定为默认值或者通过机器学习来调整。
在一些实施方式中,一个或多个图像操纵变换可以包括一个或多个三维变换。例如,在一些实施方式中,系统102可以构建出自一部分图像的三维(3D)模型。例如,系统102可以构建图像中的望远镜的3D模型,其中软件应用将图像的像素映射到3D模型上。图像操纵变换可以操纵该望远镜如何出现在图像中(例如,面向不同的方向、旋转、缩放等)。
在一些实施方式中,图像操纵变换可以重新安置图像中的对象。例如,在一些实施方式中,图像操纵变换可以将分散的前景对象移动至背景中、按比例缩小元素、或完全地去除元素。这样的分散对象可以是正走过风景画面的人,其中用户可能不想要这个人出现在图像中。
在框206中,系统102向用户提供一个或多个控制点以及一个或多个对应的图像操纵变换。在各种实施方式中,系统102可以自动地显示具有控制点的图像,或者可以使得用户能够切换控制点的开和关。换言之,图像可以对用户仅以已经存在的控制点来出现。
在各种实施方式中,系统102可以向用户提供用户接口,其中系统102使得一个或多个控制点以及一个或多个控件现实在用户接口中,其中控件用于将对应的图像操纵变换应用于给定图像。控制点和控件(例如,过滤器控件)以及对应的选择按钮的特定图形表示可以不同,并且将取决于特别的实施方式。例如,在一些实施方式中,系统102可以在用户接口中以作为应用了每个控制点的一个或多个区域的视觉指示来提供控制点的列表。系统102还可以提供在用户接口中以视觉指示提供对应的控件的列表(例如,用于图像操纵变换),该视觉指示的控制点与每个控件相关联。
在各种实施方式中,系统102可以辨别图像中的特定位置,安置图像中的每个控制点,并且使得控制点的表示被安置在邻近于图像的相关联的区域处或其上。在一些实施方式中,系统102可以通过在区域的像素上进行掩膜(例如,挡住、使之变灰等)指示来指示特定的区域。在一些实施方式中,系统102可以在掩膜的中心安置给定的控制点。在各种实施方式中,控制点可以是整个的掩膜或偏移(offset),使得易于分别地选择控制点。系统102还可以在区域的像素周围显示虚线。特定类型的指示将取决于特定的实施方式。
在各种实施方式中,系统102可以以各种方式来显示控制点和图像操纵变换。例如,系统102可以在用户接口中同时地显示控制点和对应的图像操纵变换。在一些实施方式中,系统102可以使得用户能够首先选择控制点。在用户选择控制点之后,系统102然后可以显示合适的过滤器列表和用于过滤器的设置控制。
在框208中,系统102使得用户能够选择用于图像的控制点中的一个或多个,以及选择用于每个控制点的一个或多个图像操纵变换。在一些实施方式中,系统102可以向用户显示具有作为交互式元素的控制点的照片。系统102可以使得选择按钮显示在用户接口中,其中用户能够选择与控制点和图像操纵变换相对应的这样的按钮。在各种实施方式中,给定的选择按钮可以切换控制点的开和关。类似地,给定的选择按钮可以切换图像操纵变换的开和关。在一些实施方式中,系统102使得用户能够使用控件来调整过滤器设置(例如,实时地)、应用过滤器,以及然后保存图像。结果,用户能够快速地将具体的编辑(例如,应用具体的图像操纵变换)应用到图像中的具体区域。
在一些实施方式中,系统102可以选择给定的控制点并将给定的控制点与非邻近(例如,非接触)的区域相关联。例如,系统102可以将特定的区域定义为包括图像的前景中的所有人物,其中一些人物可以与其他人物分开(例如,未接触或重叠)。系统102可以将控件与前景中的所有人物相关联。如此,系统102可以确定用于可以包括前景中的所有人物的该区域的一个或多个图像操纵变换。系统102然后可以向该区域提供那些控制点以及对应的图像操纵变换。
图3图示了根据一些实施方式的示例简化用户接口300。如所示,用户接口300示出了前景中的人302,以及背景中的沙漠风景304、金字塔306和云朵308的图像。
如本文各种实施方式所述,系统102自动地生成控制点并在接近于或者重叠于相关联的区域处安置控制点。例如,如所示,控制点312被安置在人302的人脸区域之上,控制点314被安置在沙漠风景304之上,控制点316被安置在金字塔306之上,以及控制点318被安置在云朵308之上。
如本文所述,在一些实施方式中,系统102可以在没有对应的控件(表示图像操纵变换)的情况下,最初使得控制点被显示。当用户选择了给定的控制点时,系统102然后显示对应的控件。例如,如所示,在用户选择了控制点312之后,线指示符320指示了与控制点312相对应的控件集合322。
在该示例实施方式中,控件322中的每一个对应于图像操纵变换。如所示,这样的图像操纵变换可以包括皮肤柔化过滤器、对比度调整过滤器、牙齿增白过滤器和红眼去除过滤器。特定的控件将依据特定的实施方式而不同。
本文所述的实施方式提供了各种益处。例如,实施方式使得用户能够在不具有许多操纵图像的经验或技能的情况下,修改或增强图像。本文所述的实施方式还通过简化用户经验增加了用户修改或增强图像中的整体参与。
虽然可以以具体的顺序来呈现步骤、操作或计算,但是在特定的实施方式中可以改变所述顺序。依据特定的实施方式,可以存在步骤的其他排序。在一些特定的实施方式中,可以同时执行在本说明书中按次序示出的多个步骤。而且,一些实施方式可以不具有所有示出的步骤,和/或可以具有代替本文所示出的那些步骤,或除本文所示出的那些步骤之外的其他步骤。
尽管系统102被描述为执行本文实施方式所述的步骤,但是系统102的任何适合的组件或其组件的组合、或与系统102相关联的任何适合的一个或多个处理器可以执行所述的步骤。
在各种实施方式中,系统102可以利用多种识别算法来识别图像中的人脸、地标、对象等。这样的识别算法可以集成于系统102。系统102还可以访问由在系统102的外部并且系统102访问的软件所提供的识别算法。
在各种实施方式中,系统102使得社交网络系统的用户能够指明和/或准许使用个人信息,社交网络系统可以包括在识别图像中所辨认的人物中使用图像中他们的人脸或使用他们的身份信息的系统102。例如,系统102可以向用户提供针对指明和/或准许使用个人信息的多个选择。例如,关于指明和/或准许的选择可以与个人图像、所有图像、个人相册、所有相册等相关联。可以以多种方式来执行所述选择。例如,系统102可以使得按钮或勾选框接近于各种选择被显示。在一些实施方式中。系统102使得社交网络系统的用户能够指明和/或准许使用通常用于人脸识别的他们的图像。以下更详细地描述了用于识别人脸和其他对象的示例实施方式。
在此处所讨论的系统收集关于用户的个人信息,或可能利用个人信息的情况下,可以向用户提供机会,以控制程序或特征是否收集用户信息(例如,关于用户的社交网络、社交动作或活动、职业、用户偏好、或用户当前位置的信息),或控制是否和/或如何从可以与用户更为相关的内容服务器中接收内容。此外,在存储或使用特定数据之前,可以以一种或多种方式来处理该特定的数据,以使得个人可识别信息被去除。例如,用户的身份可以被处理,以使得没有个人可识别信息能够被确定为该用户,或者用户的地理位置可以被概括为从何处获得位置信息(诸如,城市、邮编、或者州级),以使得不能够确定用户的特定位置。因此,用户可以对如何收集关于用户的信息以及内容服务器如何使用信息具有控制。
在各种实施方式中,系统102获得社交网络系统的用户的参考图像,其中每个参考图像包括与已知用户相关联的人脸的图像。在具有诸如用户的名字和其他简档信息的用户身份信息的该系统102中,用户是已知的。在一些实施方式中,例如,参考图像可以是用户已经上传的轮廓图像。在一些实施方式中,参考图像可以基于一组参考图像的合成。
在一些实施方式中,为了识别图像中的人脸,系统102可以比较人脸(例如,人脸的图像),并且将该人脸匹配至社交网络系统的用户的参考图像。注意,术语“人脸”和短语“人脸的图像”可以交替地使用。为了易于说明,以本文所述的一些示例实施方式来描述一个人脸的识别。这些实施方式还可以应用于将识别的多个人脸中的每个人脸。
在一些实施方式中,系统102可以搜索参考图像,以便辨认与图像中的人脸相类似的任何一个或多个参考图像。在一些实施方式中,对于给定的参考图像,系统102可以从图像中的人脸图像提取用于分析的特征,并且然后将那些特征与一个或多个参考图像的那些进行比较。例如,系统102可以分析诸如眼睛、鼻子、颧骨、嘴、下巴等的人脸特征的相对位置、大小和/或形状。在一些实施方式中,系统102可以使用从分析中聚集的数据来将图像中的人脸匹配至具有匹配或类似的特征的一个或多个参考图像。在一些实施方式中,系统102可以标准化多个参考图像,以及将来自那些图像的人脸数据压缩成具有信息(例如,人脸特征数据)的合成表示,并且然后将图像中的人脸与用于人脸识别的合成表示进行比较。
在一些场景中,图像中的人脸可以类似于与同一用户相关联的多个参考图像。如此,将存在与图像中的人脸相关联的这个人是与参考图像相关联的同一人的高概率。
在一些场景中,图像中的人脸可以类似于与不同用户相关联的多个参考图像。如此,将存在图像中的这个人匹配于任何给定的与参考图像相关联的人的适度高但减小的概率。为了处理这种情况,系统102可以使用各种类型的人脸识别算法来缩小可能性,理想地缩小至一个最佳候选。
例如,在一些实施方式中,为了便于人脸识别,系统102可以使用基于特征判别的几何学人脸识别算法。系统102还可以使用基于统计法的光度测量算法,该统计法将人脸特征萃取至用于比较的值。当将图像中的人脸与一个或多个参考进行比较时,还可以使用几何学和光度测量方法的组合。
可以使用其他人脸识别算法。例如,系统102可以使用采用一个或多个下列方法的人脸识别算法:主成分分析、线性判别分析、弹性束图匹配、隐马尔科夫模型、以及动态链接匹配。将理解,系统102可以使用其他已知或以后发展的人脸识别算法、技术和/或系统。
在一些实施方式中,系统102可以生成指示图像中的人脸匹配给定参考图像的可能性(或概率)的输出。在一些实施方式中,输出可以表示为诸如百分比的度量(或数值),该百分比与图像中的人脸匹配给定参考图像的可信度相关联。例如,值1.0可以表示100%匹配的可信度。例如,当比较的图像完全一样或近乎完全一样时,这可能发生。所述值可能更低,例如,当存在50%匹配的机会时,值为0.5。其他类型的输出是可能的。例如,在一些实施方式中,输出可以是用于匹配的可信度得分。
为了易于说明,已经以人脸识别算法为背景描述了上述的一些示例实施方式。其他类似的识别算法和/或可视化搜索系统可以用于识别诸如地标、标识、实体、事件等的对象,以便实施本文所述的实施方式。
图4图示了可用于实施本文所述的实施方式的示例服务器设备400的框图。例如,服务器设备400可用于实施图1的服务器设备104,以及执行本文所述的方法实施方式。在一些实施方式中,服务器400包括处理器402、操作系统404、存储器406、以及输入/输出(I/O)接口408。服务器设备400还包括可以存储在存储器406中或任何其他适合的存储位置或计算机可读介质上的社交网络引擎410和媒体应用412。媒体应用412提供了使得处理器402能够执行本文所述的功能以及其他功能的指令。
为了易于说明,图4示出了处理器402、操作系统404、存储器406、输入/输出(I/O)接口408、社交网络引擎410、和媒体应用412中的每一个的一个框。这些框402、404、406、408、410和412可以表示多个处理器、操作系统、存储器、I/O接口、社交网络引擎、和媒体应用。在一些实施方式中。服务器设备400可以不具有所有示出的组件,和/或可以具有其他元素,所述其他元素包括代替本文所示出的那些元素,或除本文所示出的那些元素之外的其他类型的元素。
虽然由此已经描述了关于特定实施例的描述,但是这些特别实施例仅仅是说明性的,而非限制性的。示例中所示的概念可以被应用于其他示例和实施方式。例如,本文以社交网络系统为背景描述了一些实施方式。然而,本文所述的实施方式可以应用在除社交网络以外的背景中。例如,实施方式可以在本地应用于个人用户。
注意,如本技术领域的技术人员所应了解的,本公开所述的功能框、方法、设备和系统可以被集成于或分离于系统、设备和功能块的不同组合中。
任何适合的编程语言和编程技术可用于实施特定实施例的程序。可以采用不同的编程技术,诸如面向过程或面向对象。例程可以在单个处理设备或多个处理器上执行。虽然可以以具体的顺序来呈现步骤、操作或计算,但是在不同的特定实施例中可以改变所述顺序。在一些特定的实施方式中,可以同时执行在本说明书中按次序示出的多个步骤。
“处理器”包括处理数据、信号、或其他信息的任何适合的硬件和/或软件系统、机制、或组件。处理器可以包括具有通用中央处理单元、多处理单元、用于实现功能性的专用电路、或其他系统的系统。处理无需限于地理位置,或具有时间限制。例如,处理器可以以“实时”、“离线”、“成批处理模式”等方式来执行其功能。可以在不同的时间以及不同的位置由不同(或相同)的处理系统来执行部分处理。计算机可以是与存储器通信的任何处理器。存储器可以是任何适合的数据存储、存储器和/或非瞬时计算机可读存储介质,包括电子存储设备,诸如随机存取存储器(RAM)、只读存储器(ROM)、磁性存储设备(硬盘驱动器等)、闪存、光学存储设备(CD、DVD等)、磁性或光学盘、或适合于存储用于处理器执行的指令的其他有形介质。软件指令还能够被包含在电子信号中,以及作为电子信号被提供,例如作为从服务器(例如,分布式系统和/或云计算系统)递送的服务(SaaS)以软件的形式被提供。

Claims (20)

1.一种方法,包括:
确定图像中的一个或多个控制点,其中,确定所述一个或多个控制点包括:
选择所述图像中的一个或多个区域;以及
将一个或多个控制点与每个所选的区域相关联;
确定与每个控制点相对应的一个或多个图像操纵变换,其中,所述一个或多个图像操纵变换包括一个或多个过滤器;
向用户提供所述一个或多个控制点以及所述一个或多个对应的图像操纵变换;以及
使得所述用户能够选择所述图像的所述控制点中的一个或多个以及选择每个控制点的一个或多个图像操纵变换。
2.根据权利要求1所述的方法,其中,确定所述图像中的所述控制点中的一个或多个是基于图像识别。
3.根据权利要求1所述的方法,其中,所述一个或多个图像操纵变换包括一个或多个二维变换。
4.根据权利要求1所述的方法,其中,所述一个或多个图像操纵变换包括一个或多个三维变换。
5.一种方法,包括:
确定图像中的一个或多个控制点;
确定与每个控制点相对应的一个或多个图像操纵变换;以及
向用户提供所述一个或多个控制点以及一个或多个对应的图像操纵变换。
6.根据权利要求5所述的方法,其中,确定所述一个或多个控制点包括:
选择所述图像中的一个或多个区域;以及
将一个或多个控制点与每个所选的区域相关联。
7.根据权利要求5所述的方法,其中,确定所述一个或多个控制点包括:
选择所述图像中的一个或多个区域;
确定每个区域的区域类型;以及
基于所述区域类型,将一个或多个控制点与至少一个区域相关联。
8.根据权利要求5所述的方法,其中,确定所述图像中的所述控制点中的一个或多个是基于图像识别。
9.根据权利要求5所述的方法,其中,所述一个或多个图像操纵变换包括一个或多个过滤器。
10.根据权利要求5所述的方法,其中,所述一个或多个图像操纵变换包括一个或多个二维变换。
11.根据权利要求5所述的方法,其中,所述一个或多个图像操纵变换包括一个或多个三维变换。
12.根据权利要求5所述的方法,进一步包括:使得所述用户能够选择所述图像的所述控制点中的一个或多个。
13.根据权利要求5所述的方法,进一步包括:
使得所述用户能够选择所述图像的所述控制点中的一个或多个;以及
使得所述用户能够选择每个控制点的一个或多个图像操纵变换。
14.一种系统,包括:
一个或多个处理器;以及
逻辑,所述逻辑被编码在一个或多个有形介质中,用于由所述一个或多个处理器执行,并且当所述逻辑被执行时,可操作用于执行包括以下的操作:
确定图像中的一个或多个控制点;
确定与每个控制点相对应的一个或多个图像操纵变换;以及
向用户提供所述一个或多个控制点以及一个或多个对应的图像操纵变换。
15.根据权利要求14所述的系统,其中,为了确定所述一个或多个控制点,当所述逻辑被执行时,所述逻辑进一步可操作用于执行包括以下的操作:
选择所述图像中的一个或多个区域;以及
将一个或多个控制点与每个所选的区域相关联。
16.根据权利要求14所述的系统,其中,为了确定所述一个或多个控制点,所述逻辑当被执行时进一步可操作用于执行包括以下的操作:
选择所述图像中的一个或多个区域;
确定每个区域的区域类型;以及
基于所述区域类型,将一个或多个控制点与至少一个区域相关联。
17.根据权利要求14所述的系统,其中,所述逻辑当被执行时进一步可操作用于执行包括以下的操作:基于图像识别,确定所述图像中的所述控制点中的所述一个或多个。
18.根据权利要求14所述的系统,其中,所述一个或多个图像操纵变换包括一个或多个过滤器。
19.根据权利要求14所述的系统,其中,所述一个或多个图像操纵变换包括一个或多个二维变换。
20.根据权利要求14所述的系统,其中,所述一个或多个图像操纵变换包括一个或多个三维变换。
CN201480052594.9A 2013-09-24 2014-09-23 提供图像中的控制点 Pending CN105580050A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/035,764 2013-09-24
US14/035,764 US20150089446A1 (en) 2013-09-24 2013-09-24 Providing control points in images
PCT/US2014/056877 WO2015047975A1 (en) 2013-09-24 2014-09-23 Providing control points in images

Publications (1)

Publication Number Publication Date
CN105580050A true CN105580050A (zh) 2016-05-11

Family

ID=51842757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480052594.9A Pending CN105580050A (zh) 2013-09-24 2014-09-23 提供图像中的控制点

Country Status (4)

Country Link
US (1) US20150089446A1 (zh)
EP (1) EP3050024A1 (zh)
CN (1) CN105580050A (zh)
WO (1) WO2015047975A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106524909A (zh) * 2016-10-20 2017-03-22 北京旷视科技有限公司 三维图像采集方法及装置
CN109034115A (zh) * 2018-08-22 2018-12-18 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
CN109815821A (zh) * 2018-12-27 2019-05-28 北京旷视科技有限公司 一种人像牙齿修饰方法、装置、系统及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650262B2 (en) 2016-11-09 2020-05-12 Clicpic, Inc. Electronic system for comparing positions of interest on media items
US11151753B2 (en) * 2018-09-28 2021-10-19 Align Technology, Inc. Generic framework for blurring of colors for teeth in generated images using height map
US11321882B1 (en) * 2020-12-30 2022-05-03 L'oreal Digital makeup palette

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223622A1 (en) * 2002-05-31 2003-12-04 Eastman Kodak Company Method and system for enhancing portrait images
EP1453002A2 (en) * 2003-02-28 2004-09-01 Eastman Kodak Company Enhancing portrait images that are processed in a batch mode

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6070167A (en) * 1997-09-29 2000-05-30 Sharp Laboratories Of America, Inc. Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation
AUPR541801A0 (en) * 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
US20080131004A1 (en) * 2003-07-14 2008-06-05 Farmer Michael E System or method for segmenting images
US7254270B2 (en) * 2002-07-09 2007-08-07 Hewlett-Packard Development Company, L.P. System and method for bounding and classifying regions within a graphical image
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
EP1413972B1 (de) * 2002-10-24 2008-10-22 L-1 Identity Solutions AG Prüfung von Bildaufnahmen von Personen
US7295700B2 (en) * 2003-10-24 2007-11-13 Adobe Systems Incorporated Object extraction based on color and visual texture
US20060053374A1 (en) * 2004-09-07 2006-03-09 Adobe Systems Incorporated Localization of activity with respect to digital data
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
US20070182762A1 (en) * 2006-02-03 2007-08-09 Xiaqing Wu Real-time interactive rubber sheeting using dynamic delaunay triangulation
EP1826723B1 (en) * 2006-02-28 2015-03-25 Microsoft Corporation Object-level image editing
US9058590B2 (en) * 2006-04-10 2015-06-16 Microsoft Technology Licensing, Llc Content upload safety tool
US7864365B2 (en) * 2006-06-15 2011-01-04 Sharp Laboratories Of America, Inc. Methods and systems for segmenting a digital image into regions
US7865017B2 (en) * 2007-06-08 2011-01-04 Seiko Epson Corporation Selection of regions within an image
JP5053731B2 (ja) * 2007-07-03 2012-10-17 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
US8259208B2 (en) * 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
KR101467293B1 (ko) * 2008-04-22 2014-12-02 삼성전자주식회사 촬영될 영상에 관련된 메뉴를 표시하는 ui 제공방법 및이를 적용한 촬영장치
US8768070B2 (en) * 2008-06-27 2014-07-01 Nokia Corporation Method, apparatus and computer program product for providing image modification
US8218831B2 (en) * 2008-06-30 2012-07-10 Cisco Technology, Inc. Combined face detection and background registration
US8913831B2 (en) * 2008-07-31 2014-12-16 Hewlett-Packard Development Company, L.P. Perceptual segmentation of images
US8682072B2 (en) * 2008-12-30 2014-03-25 Yahoo! Inc. Image segmentation
WO2010138121A1 (en) * 2009-05-28 2010-12-02 Hewlett-Packard Development Company, L.P. Image processing
US9639983B2 (en) * 2009-07-22 2017-05-02 Behr Process Corporation Color selection, coordination and purchase system
US8306333B2 (en) * 2009-12-17 2012-11-06 National Tsing Hua University Method and system for automatic figure segmentation
US9053553B2 (en) * 2010-02-26 2015-06-09 Adobe Systems Incorporated Methods and apparatus for manipulating images and objects within images
US8655069B2 (en) * 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US8694899B2 (en) * 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
US8687888B2 (en) * 2010-11-18 2014-04-01 Casio Computer Co., Ltd. Region specification method, region specification apparatus, recording medium, server, and system
US8887289B1 (en) * 2011-03-08 2014-11-11 Symantec Corporation Systems and methods for monitoring information shared via communication services
WO2012145368A1 (en) * 2011-04-18 2012-10-26 Ahn Min S Computer implemented system and method for connecting patients with practitioners
US8565520B2 (en) * 2011-06-10 2013-10-22 Microsoft Corporation Determining foreground regions and background regions in an image
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US9083918B2 (en) * 2011-08-26 2015-07-14 Adobe Systems Incorporated Palette-based image editing
AU2011218654A1 (en) * 2011-08-30 2013-03-21 Canon Kabushiki Kaisha Shape parameterisation for editable document generation
US20150113664A1 (en) * 2011-12-27 2015-04-23 Nokia Corporation Preventing Unintentionally Violating Privacy When Sharing and/or Publishing Content
US20130259374A1 (en) * 2012-03-29 2013-10-03 Lulu He Image segmentation
JP6040655B2 (ja) * 2012-09-13 2016-12-07 オムロン株式会社 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
US9314692B2 (en) * 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
JP2014096757A (ja) * 2012-11-12 2014-05-22 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
US20140153832A1 (en) * 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images
US9600869B2 (en) * 2013-03-14 2017-03-21 Cyberlink Corp. Image editing method and system
US9443307B2 (en) * 2013-09-13 2016-09-13 Intel Corporation Processing of images of a subject individual

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223622A1 (en) * 2002-05-31 2003-12-04 Eastman Kodak Company Method and system for enhancing portrait images
EP1372109A2 (en) * 2002-05-31 2003-12-17 Eastman Kodak Company Method and system for enhancing portrait images
EP1453002A2 (en) * 2003-02-28 2004-09-01 Eastman Kodak Company Enhancing portrait images that are processed in a batch mode

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106524909A (zh) * 2016-10-20 2017-03-22 北京旷视科技有限公司 三维图像采集方法及装置
CN106524909B (zh) * 2016-10-20 2020-10-16 北京旷视科技有限公司 三维图像采集方法及装置
CN109034115A (zh) * 2018-08-22 2018-12-18 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
CN109034115B (zh) * 2018-08-22 2021-10-22 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
CN109815821A (zh) * 2018-12-27 2019-05-28 北京旷视科技有限公司 一种人像牙齿修饰方法、装置、系统及存储介质

Also Published As

Publication number Publication date
EP3050024A1 (en) 2016-08-03
WO2015047975A1 (en) 2015-04-02
US20150089446A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
EP3338217B1 (en) Feature detection and masking in images based on color distributions
CN110889855B (zh) 基于端到端卷积神经网络的证件照抠图方法及系统
CN105323456B (zh) 用于拍摄装置的图像预览方法、图像拍摄装置
US11636639B2 (en) Mobile application for object recognition, style transfer and image synthesis, and related systems, methods, and apparatuses
CN105580050A (zh) 提供图像中的控制点
CN110163810B (zh) 一种图像处理方法、装置以及终端
US20140198234A1 (en) Image processing apparatus, program, image processing method, and imaging apparatus
US9619732B2 (en) Generating compositions
CN106203286B (zh) 一种增强现实的内容获取方法、装置及移动终端
WO2021147418A1 (zh) 一种图像去雾方法、装置、设备及计算机存储介质
US20220230323A1 (en) Automatically Segmenting and Adjusting Images
CN103945104A (zh) 信息处理方法及电子设备
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111814564A (zh) 基于多光谱图像的活体检测方法、装置、设备和存储介质
KR102160128B1 (ko) 인공지능 기반 스마트 앨범 생성 방법 및 장치
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
JP5914046B2 (ja) 画像処理装置および画像処理方法
US20160140748A1 (en) Automated animation for presentation of images
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
CN113591562A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN116798041A (zh) 图像识别方法、装置和电子设备
CN114445427A (zh) 图像处理方法、装置、电子设备及存储介质
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN109040612B (zh) 目标对象的图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160511

WD01 Invention patent application deemed withdrawn after publication