CN105229673A - 一种装置和相关联的方法 - Google Patents

Abstract

一种装置，该装置包括至少一个处理器，和至少一个包括计算机程序代码的存储器，该至少一个存储器和该计算机程序代码被配置为利用该至少一个处理器而使得该装置至少执行以下操作：基于所检测到的用户对与脸部相关联的脸部特征的位置指示，提供相对应的计算机所生成的脸部特征的位置的锚定，使得相对应的计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像上的相对应位置周围。

Description

一种装置和相关联的方法

技术领域

本公开涉及使用电子设备的图像处理、相关联的方法、计算机程序以及装置。某些所公开的实施例可以涉及便携式电子设备，例如在使用中可以手持的所谓手持便携式电子设备(虽然它们在使用中可以被置于支架之中)。这样的手持便携式电子设备包括所谓的个人数字助理(PDA)、移动电话、智能电话和其它智能设备以及平板PC。

根据一个或多个所公开实施例的便携式电子设备/装置可以提供一种或多种音频/文本/视频通信功能(例如，电话通信、视频通信和/或文本传输(短消息服务(SMS)/多媒体消息服务(MMS)/电子邮件)功能)、交互式/非交互式查看功能(例如，web浏览、导航、电视/节目查看功能)、音乐录制/播放功能(例如，MP3或其它格式和/或(FM/AM)无线电广播录制/播放)、数据的下载/发送功能、图像捕捉功能(例如，使用(例如，内建式)数码相机)以及游戏功能。

背景技术

电子设备可以允许用户编辑计算机图像。例如，用户能够通过改变颜色、添加或去除图像的特征，或者对图像应用艺术效果而对基于计算机的图像进行编辑。这样的设备可以允许用户与计算机图像进行交互而以不同方式对其进行编辑。

对事先公开的文献的列举或讨论或者本说明书中的任何背景技术都不应当必然被视为承认该文献或背景技术构成现有技术的一部分或者是本领域的公知常识。本公开的一个或多个实施例可以解决或者可以不解决背景技术中的一个或多个问题。

发明内容

在第一实例实施例中，提供了一种装置，包括至少一个处理器和至少一个包括计算机程序代码的存储器，该至少一个存储器和该计算机程序代码被配置为利用该至少一个处理器而使得该装置至少执行以下操作：基于所检测到的用户对与脸部相关联的脸部特征的位置指示，提供相对应的计算机所生成的脸部特征的位置的锚定(anchoring)，而使得相对应的计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像上的相对应位置周围。

例如，用户可以在设备的显示器上查看计算机所生成的其脸部的图像。用户例如能够通过指向诸如她的前额之类的脸部特征而定位它在其自己的脸上的位置。基于所检测到的她的前额的位置指示，该装置被配置为提供相对应的计算机所生成的前额特征在该计算机所生成的图像中的位置的锚定。因此，在该计算机所生成的图像中针对前额的脸部标记定位能够被锚定在该计算机所生成的该用户的脸部图像上对应于用户所指向的前额位置的位置周围。这可以有利地允许经由用户与他或她自己的脸的简单且直观的交互而在计算机所生成的图像中进行更为准确的脸部特征检测。

脸部标记定位可以被认为是使用计算机/处理器/算法/软件代码来识别/检测特定脸部特征位于计算机所生成的脸部图像中的何处的过程。这样的算法对于本领域技术人员而言是已知的，并且例如包括使用主动外观模型(AAM)或主动形状模型(ASM)。

相对应的计算机所生成的脸部特征的位置的锚定可以被认为是将计算机所生成的脸部特征的位置固定在图像中的特定点，而使得脸部标记定位能够使用锚点位置作为检测该脸部特征位于图像中的何处的基础。例如，该锚定/固定点是基于用户的位置指示，诸如用户利用手指或笔指向她脸上的特征。

该装置可以被配置为针对被锚定在该计算机所生成的脸部图像的相对应位置周围的相对应脸部特征执行脸部标记定位。在其它实施例中，不同装置可以执行该脸部标记定位。

该装置可以被配置为通过调节如已经使用脸部标记定位被识别为锚定在该计算机所生成的脸部图像上的相对应位置周围的相对应脸部特征的位置而提供锚定。因此，例如，该装置可以被配置为基于用户在她自己脸上的特征指示而调节已经针对该图像所生成(或者仅是已经被识别而不是被生成)的脸部标记。

该装置可以被配置为通过关联首次被脸部标记定位所使用的相对应脸部特征的位置而使得相对应脸部特征的脸部标记定位被锚定在该计算机所生成的脸部图像上的相对应位置周围来提供锚定。因此，该装置可以被配置为最初基于用户对她脸上的特征的指示而在该图像上定位所生成/识别的脸部标记。

例如，能够基于主动外观模型(AAM)或主动形状模型(ASM)而实施一种脸部标记定位方法。

针对相对应脸部特征的脸部标记定位可以包括在计算机所生成的脸部图像上定位多个脸部标记点以提供该特征的定位。例如，鼻子在图像上的脸部标记定位可以包括在该图像的鼻子区域之上和周围定位13个脸部标记点。该脸部标记定位可以包括将该多个脸部标记点在特征在该计算机所生成的脸部图像上的定位中用于该特征。

该装置可以被配置为通过调节位于该计算机所生成的脸部图像上的多个脸部标记点中的一个或多个的位置而锚定相对应脸部特征的位置。

该多个脸部标记点可以对应于以下相对应脸部特征中的一个或多个：左眼、右眼、左侧眉毛、右侧眉毛、左侧脸颊、右侧脸颊、脸部轮廓、左耳、右耳、嘴唇、鼻子、前额、脸颊和下巴。

在一些示例中，可以仅调节与该相对应的脸部特征相关联的点的位置，诸如基于用户对她的嘴唇在她的脸上的位置的指示而调节在图像中勾勒出用户嘴唇的脸部标记点。在其它示例中，可以对与相对应的脸部特征相关联的点以及与一个或多个其它脸部特征相关联的一个或多个其它点的位置进行调节。例如，可以基于用户在她的脸上指示她的嘴唇而在图像中对勾勒出用户嘴唇和脸颊轮廓的脸部标记点进行调节。

该装置可以被配置为检测用户对与脸部相关联的脸部特征的位置指示。例如，该装置可以包括前向相机，该前向相机被配置为检测用户对与脸部相关联的脸部特征的位置指示。在其它示例中，该装置可以并不自行检测用户的位置指示，而是可以从执行该检测的装置/设备接收适当信令。

所检测到的用户对与脸部相关联的脸部特征的位置指示可以包括对用户在脸上指向以下之一的检测：左眼、右眼、左侧脸颊、右侧脸颊、左耳、右耳、嘴唇、鼻子、前额或下巴。

用户所指示的位置可以基于用户在用户位置指示之前或之后对预定义脸部特征的选择。该预定义脸部特征可以是以下之一：左眼、右眼、左侧眉毛、右侧眉毛、左侧脸颊、右侧脸颊、左耳、右耳、嘴唇、鼻子、前额或下巴。

例如，用户能够在指示她的嘴唇之前或之后在屏幕上选择“嘴唇”图标而使得针对该脸部特征的脸部标记定位是基于对用户脸部的相对应“嘴唇”脸部特征的定位。在一些示例中，“嘴唇”图标可以与唇膏颜色相关联以便向计算机所生成图像中的嘴唇应用唇膏的视觉效果。

与脸部相关联的脸部特征可以与真实脸部或者脸部的真实图像相关联。例如，用户可以指向她的脸部或者可以指向她的脸部的照片。

该装置可以被配置为向相对应的脸部特征应用视觉效果。

该装置可以被配置为向通过该脸部标记定位而被定位在脸部上的一个或多个脸部标记点所指示的区域应用视觉效果。

所应用的视觉效果可以是以下之一：唇膏应用、眼影应用、眼线笔应用、睫毛颜色应用、眉毛颜色应用、脸颊颜色应用、眼睛着色、红眼消除、皮肤纹理平滑、皮肤闪光去除和皮肤瑕疵去除。

该装置可以是便携式电子设备、移动电话、智能电话、平板计算机、平面计算机、膝上计算机、个人数字助理、图形输入板、基于笔的计算机、数码相机、手表、虚拟镜子、玩具、非便携式电子设备、台式计算机、监视器/显示器、家用电器、电冰箱、电饭煲、制冷/制热系统或者服务器。

根据另外的示例实施例，提供了一种包括计算机程序代码的计算机程序，该计算机程序代码被配置为至少执行以下操作：基于所检测到的用户对与脸部相关联的脸部特征的位置指示，提供相对应的计算机所生成的脸部特征的位置的锚定，而使得相对应的计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像上的相对应位置周围。

根据另外的示例实施例，提供了一种方法，该方法包括：基于所检测到的用户对与脸部相关联的脸部特征的位置指示，提供相对应的计算机所生成的脸部特征的位置的锚定，而使得相对应的计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像上的相对应位置周围。

根据另外的示例实施例，提供了一种装置，包括：基于所检测到的用户对与脸部相关联的脸部特征的位置指示，用于提供相对应的计算机所生成的脸部特征的位置的锚定，而使得相对应的计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像上的相对应位置周围的部件。

本公开包括一个或多个分离的或者处于各种组合形式的相对应的方面、实施例或特征，而无论是否特别地以该组合形式或分离地被指出(包括请求保护)。用于执行一个或多个所讨论功能的相对应的部件和相对应的功能单元(例如，脸部特征位置指示检测器、计算机所生成的脸部特征锚定器、脸部标记定位器以及相对应位置确定器)也处于本公开之内。

计算机程序能够被存储在存储媒体(例如，CD、DVD、记忆棒或其它非瞬态介质)上。计算机程序可以被配置为作为应用而在设备或装置上运行。一种应用可以由设备或装置经由操作系统来运行。计算机程序可以形成计算机程序产品的一部分。用于实施所公开的一种或多种方法的相对应计算机程序产品同样处于本公开之内并且被一个或多个所描述的实施例所涵盖。

以上发明内容意在仅是示例性且非限制性的。

附图说明

现在参考附图仅通过示例而给出描述，其中：

图1图示了根据本公开的一个实施例的包括多个电子组件的示例装置实施例，上述电子组件包括存储器和处理器；

图2图示了根据本公开的另一个实施例的包括多个电子组件的示例装置实施例，上述电子组件包括存储器、处理器和通信单元；

图3图示了根据本公开另一个实施例的包括多个电子组件的示例装置实施例，上述电子组件包括存储器和处理器；

图4a-4b图示了根据本公开实施例的便携式电子设备所检测到的脸部特征的用户指示；

图5a-5b图示了根据本公开实施例的计算机所生成的用户脸部图像上的多个脸部标记点；

图6a-6d图示了根据本公开实施例的对计算机所生成的用户脸部图像上的脸部特征的位置进行调节；

图7a-7f图示了根据本公开实施例的对位于计算机所生成的用户脸部图像上的多个脸部标记点的位置进行调节并且应用视觉效果；

图8a-8b均图示了与远程计算元件进行通信的装置；

图9图示了根据本公开的示例方法的流程图；和

图10示意性图示了提供程序的计算机可读介质。

具体实施方式

电子设备可以允许用户对计算机图像进行编辑。这样的设备可以允许用户与计算机图像进行交互从而以不同方式对其进行编辑。例如，用户可能希望编辑他/她的脸部的计算机图像以改善他/她的外貌。例如，用户可能希望对图像应用以作用于嘴唇的唇膏的效果，前额上更为光滑或光泽较低的皮肤的效果，或者应用于脸颊的腮红/颜色的效果。

用户可能期望能够准确地改变他/她的脸部照片的外观。例如，如果唇膏效果被应用于用户脸上并非嘴唇上的区域，或者如果平滑效果被应用于包括用户前额和头发的区域而不是仅应用于前额，则经编辑的用户脸部的图像可能看上去不太自然或者不太具有吸引力。

用户可能期望能够使用直观且简单的用户界面对他/她的脸部的图像进行编辑。例如，使用照片编辑应用可能是复杂且不直观的，并且除非用户熟悉该应用否则可能难以实现所期望的效果。如果用户希望例如从智能电话或平板计算机“随时随地”编辑照片，则用户可能并不希望或者无法使用(标准)照片编辑包来编辑照片。

用户可能希望能够使用令用户感到自然的手势和动作来编辑图像。例如，用户可能希望通过擦掉皱纹来编辑她的脸部的图像。用户可能发现与她的脸部进行接触/交互比起与显示在监视器/显示器屏幕上的计算机所生成的她的脸部的图像进行交互更为自然。

这里所讨论的实施例可以被认为允许用户准确且容易/直观地对他/她的脸部的照片进行编辑。例如，用户可以将他/她自己的照片显示在电子设备的显示器上。用户例如能够指向他/她的脸颊区域并且图像中相对应的脸颊区域将利用平滑功能进行编辑以去除图像中相对应区域内的瑕疵(诸如粉刺、血管破裂或皱纹)。用户可能能够向他/她的脸部的图像应用若干种不同的“美化”效果。这样的处理也能够应用于视频图像或实时捕捉的静态/视频图像。

有利的是，用户能够指示他/她的脸部上的脸部特征的位置。该装置能够提供相对应的计算机所生成的脸部特征的位置的锚定，而使得相对应的计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的图像上的相对应位置周围。因此，该计算机所生成的图像可以包含脸部标记信息，例如，其将特定区域指定为与诸如眼睛、嘴唇、脸颊和鼻子等的不同脸部特征相关联。通过用户在他/她的脸部上指示特定特征的位置，图像中的相对应特征的位置得以被锚定在图像中的相对应位置。脸部特征识别的准确性因此可以有所改进，这进而可以允许照片/图像编辑中的更大准确性，并且基于诸如指向脸部(这可以包括或者可以不包括触摸脸上的该特征)之类的简单且直观的用户指示而提供了应用于照片/图像的更为准确且真实的脸部美化效果。

图中所描绘的其它实施例已经被提供以与之前所描述实施例的类似特征相对应的附图标记。例如，附图标记100也可以对应于附图标记200、300等。这些带编号的特征可以出现在各图中，但是可能并非直接在这些特定实施例的描述内被加以引用。仍然将这些提供在图中以帮助对另外的实施例加以理解，尤其是关于之前所描述的类似实施例的特征。

图1示出了装置100，其包括存储器107、处理器108、输入I和输出O。在该实施例中，仅示出了一个处理器和一个存储器，但是将要意识到的是，其它实施例可以采用多于一个的处理器和/或多于一个的存储器(例如，相同或不同的处理器/存储器类型)。

在该实施例中，装置100是用于具有触敏显示器的便携式电子设备的专用集成电路(ASIC)。在其它实施例中，装置100可以是用于这样的设备的模块或者可以是该设备本身，其中处理器108是该设备的通用CPU，而存储器107是该设备所包括的通用存储器。在其它实施例中，该显示器可以不是触敏的。

输入I允许装置100从另外的组件接收信令，上述组件诸如便携式电子设备的组件(如触敏显示器或旋敏(hover-sensitive)显示器)等。输出O允许从装置100内向诸如显示屏、扬声器或振动模块之类的另外的组件向前提供信令。在该实施例中，输入I和输出O是允许装置100连接至另外的组件的连接总线的一部分。

处理器108是专用于依据以计算机程序代码的形式存储在存储器107上的指令而执行/处理经由输入I所接收到的信息的通用处理器。由于处理器108这样的操作所生成的输出信令经由输出O而被向前提供至另外的组件。

存储器107(并非必然是单个存储器单元)是存储计算机程序代码的计算机可读介质(该实例中为固态存储器，但是可以是其它类型的存储器，诸如硬盘、ROM、RAM、闪存等)。该计算机程序代码存储能够由处理器108在该程序代码在处理器108上运行时所执行的指令。存储器107和处理器108之间的内部连接在一个或多个示例中能够被理解为提供了处理器108和存储器107之间的有源耦合从而允许处理器108访问存储在存储器107上的计算机程序代码。

在该示例中，输入I、输出O、处理器108和存储器107全部在内部互相电连接，从而允许相应组件I、O、107、108之间的电气通信。在该示例中，组件全部接近于彼此进行定位从而在一起形成为ASIC，换句话说，从而在一起集成为能够被安装到电子设备中的单个芯片/电路。在其它示例中，一个或多个或者全部的组件可以彼此分开定位。

图2描绘了另外的示例实施例的装置200，诸如移动电话。在其它示例实施例中，装置200可以包括用于移动电话(或者PDA或音频/视频播放器)的模块，并且可以仅包括适当配置的存储器207和处理器208。

图2的示例实施例包括显示设备204，例如液晶显示器(LCD)、电子墨水或触摸屏用户界面。图2的装置200被配置为使得其可以接收、包括和/或以其它方式访问数据。例如，该示例实施例200包括通信单元203，诸如接收器、传送器和/或收发器，其与天线202进行通信以便连接至无线网络和/或与用于接纳针对网络的物理连接的端口(未示出)进行通信，而使得可以经由一种或多种类型的网络接收数据。该示例实施例包括存储器207，其在数据可能经由天线202或端口被接收之后或者在用户界面205被生成之后对其进行存储。处理器208可以从用户界面205、从存储器207或者从通信单元203接收数据。将要意识到的是，在某些示例实施例中，显示设备204可以整合有用户界面205。无论数据的来源如何，这些数据都可以经由显示设备204和/或随装置提供的任意其它输出设备而被输出给装置200的用户。处理器208还可以将要后续使用的数据存储在存储器207中。存储器207可以存储可以被用来指示/使能处理器208执行功能(例如，读、写、删除、编辑或处理数据)的计算机程序代码和/或应用。

图3描绘了包括图1的装置100的电子设备300的另外的示例实施例。装置100可以被提供为用于装置300的模块，或者甚至被提供为用于设备300的处理器/存储器或者用于这样的设备300的一个模块的处理器/存储器。设备300包括处理器308和存储介质307，它们通过数据总线380进行连接(例如，电连接和/或无线连接)。该数据总线380能够在处理器308和存储介质307之间提供有源耦合从而允许处理器308访问计算机程序代码。将要意识到的是，该设备/装置的组件(例如，存储器、处理器)可以经由云计算架构进行链接。例如，该存储设备可以是由处理器经由互联网进行访问的远程服务器。

图3中的装置100连接(例如，电连接和/或无线连接)至输入/输出接口370，接口370从装置100接收输出并且将其经由数据总线380传送至设备300。接口370能够经由数据总线380连接至显示器304(触敏的或者其它方式的显示器)，该显示器304将来自装置100的信息提供给用户。显示器304可以是设备300的一部分或者可以是分离的。设备300还包括被配置用于通过向其它设备组件提供信令以及从其它设备组件接收信令以控制它们的操作而对装置100以及设备300进行总体控制的处理器308。

存储介质307被配置为存储计算机代码，该计算机代码被配置为执行、控制或使能装置100的操作。存储介质307可以被配置为存储针对其它设备组件的设置。处理器308可以访问存储介质307以得到组件设置以便对其它设备组件的操作进行管理。存储介质307可以是诸如易失性随机访问存储器的临时存储介质。存储介质307也可以是诸如硬盘、闪存、远程服务器(诸如云存储)或非易失性随机访问存储器之类的持久性存储介质。存储介质307可以由相同或不同存储器类型的不同组合所组成。

图4a-4c图示了包括显示屏的装置/设备400的示例实施例。用户450握持装置/设备400并且正在查看显示屏幕上计算机所生成的她的脸部的图像410。在这种情况下，该图像是实时图像。

用户450通过利用她的手指402在她的脸406上指向她的嘴唇404而指示它们的位置。该与脸部406相关联的脸部特征404的该用户位置指示402得以被检测。在该示例中，装置/设备400被配置为检测与脸部406相关联的脸部特征404的用户位置指示402(但是在其它实施例中，这可以在装置/设备400的远程完成)。基于该检测，装置/设备450被配置为提供相对应的计算机所生成的脸部特征408的位置414的锚定。用户对其嘴唇404的位置的指示402被检测并且该装置使用该检测在装置/设备400上计算机所生成的图像412中锚定由计算机所生成的嘴唇脸部特征408的位置414。

计算机所生成的图像412中的嘴唇位置414的锚定被执行，而使得相对应脸部特征(嘴唇)408的脸部标记定位能够被锚定在计算机所生成的脸部图像412上的相对应位置414的周围。相对应脸部特征408的位置414是由脸部标记定位(以及脸部标记的任意调节)基于用户位置指示402所确定的位置。

装置/设备400因此被提供有用户脸部特征404的用户输入402，其在计算机所生成的图像412中具有相对应的位置414。脸部特征408的脸部标记定位能够被锚定在计算机所生成的图像412中对应于用户脸部406上的位置402的位置414的周围。

在该示例中，装置/设备400被配置为针对锚定在计算机所生成的脸部410的图像412上的相对应位置414周围的相对应脸部特征408执行脸部标记定位。在其它示例中，脸部标记定位可以由另一个装置/设备来执行并且向装置/设备400提供脸部标记位置。

由于用户450能够向装置/设备400提供特征位置404的指示402，作为对脸部标记定位应用/软件的关于脸部特征位置处于用户450所指示的位置402的检查，所以装置/设备400允许更为准确的脸部标记定位。

在该示例中，装置/设备400被配置为在脸部特征404的任意用户指示402之前执行脸部标记定位，这允许对图像412中的脸部特征的位置进行调节。因此，装置/设备400被配置为通过调节如使用脸部标记定位所已经识别的相对应脸部特征408的位置使其锚定在计算机所生成的脸部410的图像412上的相对应位置414的周围而提供该锚定。

在其它示例中，该装置/设备可以被配置为通过关联脸部标记定位首次使用的相对应脸部特征408的位置来提供锚定，而使得相对应脸部特征408的脸部标记定位被锚定在计算机所生成的脸部410的图像412上的相对应位置414的周围。也就是说，在检测到脸部特征404的用户位置指示402之前可以不进行脸部标记定位。

在以上示例中，用户指示了她的嘴唇。在其它示例中，例如，所检测到的与脸部相关联的脸部特征的用户位置指示可以包括对用户在脸上指向以下之一的检测：左眼、右眼、左侧脸颊、右侧脸颊、左耳、右耳、鼻子、前额或下巴。

脸部特征404的用户指示402可以被装置/设备400在如以上所讨论的提供相对应的计算机所生成的脸部特征的锚定时使用。用户的指示402还可以被该装置/设备用于与计算机所生成的脸部图像进行交互并且编辑该图像。例如，用户可能能够向图像应用视觉效果，诸如应用化妆效果，应用诸如平滑之类的皮肤效果，应用去光/增亮效果，或者改变皮肤色调/色度，和/或应用诸如亮度或色彩平衡之类的其它效果。因此，该装置可以被配置为向相对应的脸部特征应用视觉效果。该装置可以被配置为对由脸部标记定位而位于脸上的一个或多个脸部标记点所指示的区域应用视觉效果。

例如，用户可能希望在设备上所显示的她的脸部图像中对她的脸颊应用腮红效果。该用户能够触碰她的脸颊，并且计算机所生成的图像中的相对应位置被指示给该装置/设备。对应于用户脸颊的脸部标记定位点得以被定位，或者该位置基于用户指示进行调节，而使得当腮红效果应用于图像中时，其是处于与用户在她的脸上所指示的地方相对应的位置。因此，该装置可以允许用户以直观的方式对他/她的脸部图像应用诸如视觉化妆的视觉效果。

另外，在图4a-4b的示例中，用户是指向她真实的脸部。在其它示例中，用户能够指向她脸部的照片，例如通过指向拿在相机前方的打印照片图像而使得用户在该照片上作出的指示能够被检测并且提供给该装置进行脸部特征位置锚定。

图5a-5b图示了计算机所生成的用户脸部图像500的脸部标记识别的示例实施例。如这里所讨论的装置/设备基于所检测到的与脸部相关联的脸部特征的用户位置指示而提供了相对应的计算机所生成的脸部特征的位置的锚定，而使得针对相对应脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像500上的相对应位置周围。该装置/设备可以被配置为执行脸部标记定位，或者可以被配置为对脸部标记定位处理中所确定的一个或多个脸部标记点进行调节。

该示例中的脸部标记定位包括对计算机所生成的脸部图像500上的多个脸部标记点502进行定位以提供特征的定位。在图5a和图5b中，使用脸部标记定位所创建的脸部标记模型具有88个特征点：两条眉毛504的16个点，两个眼睛506的16个点，鼻子508的13个点，嘴510的22个点，以及脸部轮廓512的21个点。可以使用其它数量的脸部标记点。

如这里所讨论的装置/设备可以被配置为通过调节位于计算机所生成的脸部图像500上的多个脸部标记点502中的一个或多个的位置而提供对应于用户所指示的脸部特征的脸部特征位置的锚定。例如，用户可以触碰她的右侧眉毛。该装置例如可以检测到该用户指示，检查对应于右侧眉毛504的脸部标记点502的位置处于与用户在她的脸上所指示的位置相对应的位置，并且如果不是，则调节右侧眉毛的一个或多个脸部标记点502的位置以对应于用户所指示的位置。

图5a和图5b中的多个脸部标记点对应于用户的左眼、右眼、左侧眉毛、右侧眉毛、脸部轮廓、嘴唇和鼻子。在其它示例中，脸部标记点例如可以对应于用户的左侧脸颊、右侧脸颊、左耳、右耳、前额、脸颊和/或下巴。

该装置/设备例如可以被配置为使用主动形状模型来执行脸部标记定位。在一个示例中，该装置被配置为通过首先使用脸部检测算法来检测图像中的脸而确定用户脸部的图像500上的多个脸部标记点502的位置。随后，使用眼睛检测算法在图像500中定位两个眼睛506。两个眼睛506在图像500中所定位的位置随后被用作基准以基于ASM收敛方案使用多点(例如，88个点)脸部标记模型来确定该图像中的一个或多个其它脸部特征504、508、510、512的位置。

通常，使用脸部/眼睛识别算法所确定的眼睛位置506被认为是准确的，这就是为何它们被用作定位其它脸部特征504、508、510、512的基准。由于眼睛位置506被认为是准确的，所以诸如鼻子508和嘴510的其它特征504、508、510、512的定位例如可能在该收敛期间被不正确地进行。如果眼睛位置506并未被正确定位，则脸部500上的所有特征都可能不会被正确定位，或者在一些示例中可能根本不被定位。

这里所讨论的装置可以通过提供相对应的计算机所生成的脸部特征504、506、508、510、512的位置的锚定来提供一种有所改进的脸部特征定位的方法，使得相对应的计算机所生成的脸部特征504、506、508、510、512能够基于所检测到的与脸部相关联的脸部特征的用户位置指示而被锚定在计算机所生成的脸部图像500上的相对应位置周围。

例如，如果用户指向她的脸部上的眼睛，但是在计算机所生成的脸部图像500上并没有定位相对应的眼睛，则该装置可以检测到用户正指向她脸部上的眼睛位置，并且创建/调节位于计算机所生成的脸部图像500上的相对应位置处的相对应眼睛标记506。其它脸部特征504、508、510、512随后可以基于用户所指示的/经校正的眼睛位置而使用收敛方案进行定位。

对于例如嘴巴510的其它脸部特征而言，如果脸部标记定位将嘴510错误地定位在下巴上，则当用户利用她的手指在她脸上指向她的嘴时，计算机所生成的图像500上的嘴部特征标记510将被调节而使得嘴部标记510的位置移动至与用户在她脸上所指向的位置相对应的位置。嘴部特征标记510随后可以被再次收敛而使得与嘴510相关联的每个脸部标记点都被调节以在计算机图像500中标记/描绘出嘴510的轮廓(也就是说，在收敛期间，脸部标记点被定位/调节为位于具有最大局部梯度的位置)。

脸部标记点可以基于所使用的经训练的脸部模型而互相连接，上述脸部模型例如考虑到了脸部形状和特征边缘。因此，对于用户而言，仅在一点指向她的嘴就足够了，并且与嘴相关联的脸部标记点可以基于脸部识别模型进行定位/调节以在图像中遵循用户嘴部的轮廓。例如，用户可能无需在她的嘴上移动其手指以指示相对应的嘴部区域。如果要对图像应用视觉效果，则对于用户而言，例如能够简单地指向眼睛并且眼线笔效果可以被应用于图像中的上和/或下眼线会是有利的。用户不必利用其手指沿着她的眼线描绘出稳定的路径，因为该装置可以被配置为将眼线笔效果应用于脸部/眼线标记定位处理标识的眼线所定义的区域。

图6a-6d图示了计算机所生成的用户的脸部图像600的脸部标记识别的示例实施例。如这里所讨论的装置/设备如关于图5a-5b所描述的提供了相对应的计算机所生成的脸部特征的位置的锚定。

图6a-6b示出了计算机所生成的用户脸部的图像600，其中指示了用户的眼睛602、嘴604和脸部轮廓606的脸部标记位置。用户的嘴608和脸部轮廓610的脸部标记定位是不正确的。嘴部标记604过低并且在图像中偏向用户嘴部608位置的左侧。脸部轮廓标记610过低并且与图像中的用户的脸部轮廓606相比过大。

在图6a-6b所示的脸部标记定位之后，用户在她的脸部上指向其嘴唇，并且对用户的嘴唇位置的该指示被检测到。如这里所讨论的装置/设备被配置为使用对用户的嘴唇位置的该检测将嘴唇脸部标记614的位置锚定至用户所指示的位置。用户对其嘴唇位置的指示被检测并且该指示向装置提供了反馈以将图像中的嘴唇特征标记的位置自动校正为与用户所指示相对应的位置。因此，在图6c-6d中，经调节的嘴唇脸部标记614的位置被示为在计算机所生成的照片600中准确位于用户的嘴唇608上。

当用户在她的脸部上指示嘴唇时，脸部标记定位所定义的嘴唇特征点/区域604、614将被调节以锚定在嘴唇区域608中相对应的所指示点的周围。该示例中的嘴唇特征点/区域604基于用户的嘴唇在她的脸上的指示位置而被自动调节，以将特征点/区域614重新定位在嘴唇在该图像中的位置中。在该示例中，用户下巴610的脸部特征标记点/线606被同时调节以更为准确地遵循计算机所生成图像上的用户的下巴610的线条。在该示例中，下巴的脸部特征标记点/线606、612的调节在经训练的基于ASM或AAM的脸部标记模型的约束下关联于嘴唇脸部特征点/区域604、614的调节而执行。

由于嘴唇的脸部标记614已经移动，所以在嘴唇脸部标记614的重新定位之后同样可能需要调节的脸部标记的位置也已经被检查。脸部标记的重新检查可以由脸部标记算法/引擎来执行，后者例如可以随该装置而包括或者可以独立于该装置并与之进行通信。因此，脸部形状标记612也已经被调节以更为紧密地遵循用户脸部610的形状。

因此，用户对其嘴唇位置的指示被检测，并且该装置已经使用该检测将计算机图像600中的嘴唇脸部特征614的位置锚定至用户所指示的嘴唇位置608。在该示例中，脸部形状特征标记612也被调节。在其它示例中，可以并不调节与用户所指示的脸部特征位置相关联的脸部特征以外的其它脸部特征。在其它示例中，例如，可以对其它脸部特征以及与用户所指示的脸部特征位置相关联的特征进行调节，诸如与用户的下巴、脸颊和耳朵相关联的特征位置。

图7a-7f图示了显示用户脸部的照片702的装置/设备700的示例。用户希望对该照片应用视觉效果以呈现具有眼影的外观。基于用户指示他/她的脸部上的脸部特征，该装置在计算机图像中提供相对应的计算机所生成的脸部特征的锚定以对应于用户所指示的位置。用户的位置指示也可以被检测为视觉效果应用输入，以在对应于用户所指示的脸部特征的锚定区域中将美化效果应用于该图像。

在图7a中，用户的照片702被显示在装置/设备700上。在图7b中，用户被呈现以化妆调色板704，用户可以在其中选择化妆选项。所显示的示例选项是用于唇膏应用706、眼妆应用708以及皮肤平滑710。在该示例中，用户选择了“眼睛”选项708。在该示例中，用户对眼睛的选择不仅允许特定眼妆效果得以被选择，而且还向装置700指示用户在用户的脸部上所进行的下一个用户指示将会指向眼睛。该用户指示因此用作针对装置的将要提供有关用户眼睛位置的位置信息的提示，从而对应于图像702中的用户眼睛的脸部标记的位置可以被锚定在与用户所指示的眼睛位置相对应的位置周围。在之前所描述的图4a-4b、图5a-5b和图6a-6b的实施例中，在用户对脸部特征的位置指示之前或之后，也可以使用这样的选择菜单/调色板(应用或并未应用依据当前示例实施例的视觉效果)。

将要意识到的是，虚拟化妆调色板可以允许针对特定脸部特征的不同选项。例如，如果用户选择了“眼睛”选项708，则用户随后例如就能够例如从应用眼影、眼线笔、睫毛膏、虹膜颜色、眼白增白、红眼消除和眼下增亮中进行选择。用户能够针对某些选项(例如，眼影和睫毛膏应用)选择颜色。

在图7c中，已经执行了脸部标记定位并且所确定的用户右眼712的位置被指示在设备700上。将要意识到的是，该视图并非必然在设备700上向用户显示。另外，诸如用户的左眼、鼻子、嘴和脸部轮廓之类的其它脸部特征也可以使用脸部特征定位进行确定。为了清楚，这些并未在图中示出。另外，眼睛脸部标记在图7c-7e中被示为一系列的9个脸部标记点，但是在其它示例中，例如，该标记可以是连续轮廓或者是一系列更多或更少的脸部标记点。

脸部标记定位已经不正确地在用户照片上过高地定位了眼睛标记712，从而其位于用户的眉毛和眼睛之间而不是在眼睛上。此时，用户可能并不(且无需)知道脸部标记定位已经确定用户的眼睛要位于该照片上的何处。

在图7d中，用户在她的脸部上提供了她的眼睛716的用户指示714，她希望该照片针对她的眼睛对应地增强有眼影效果。该用户指示714被检测，并且基于该检测，装置/设备700在计算机所生成的图像702中提供了相对应脸部特征的位置的锚定，而使得相对应的眼睛脸部特征的脸部标记定位能够被锚定在用户脸部的计算机图像702上的相对应位置的周围。当然，眼睛标记712可以不向用户进行显示。

图7e示出了用户眼睛的脸部标记定位已经被执行，并且用户右眼718经调节的所确定位置在设备700上进行指示。同样，如关于图7c的，该视图并非必然在设备700上向用户进行显示。

在其它实施例中，在用户已经在她脸部上作出对脸部特征的用户指示之前可以不执行脸部标记定位。在这样的示例中，图7c中所示的阶段将不会被执行，而是脸部标记特征被重新定位，该标记最初将基于用户在她的脸部716上对特定特征进行的用户指示714而定位。

图7f示出了用户所选择的视觉效果已经被应用于图像702并且照片702已经被编辑从而给出用户涂上了所选择的眼影720的外貌。所应用的视觉效果的准确性与并未基于用户在她的脸部上的眼睛位置716的指示714而进行脸部特征定位的重新调节的情况相比会更高。另外，用户可以被提供以“虚拟镜子”的用户体验。用户可以使用装置/设备700作为虚拟镜子以便应用虚拟化妆和脸部增强效果，并且用户可以使用真实的化妆应用手势来增强计算机所生成的图像。

其它示例可以包括，用户能够从视觉调色板704中选择“粉刺去除”工具，并且选择从前额区域进行去除。当用户触碰/指示她的前额时，该用户指示就被提供至该装置而使得粉刺去除的视觉效果在与用户在她前额上所指的地方相对应的位置得以应用。该装置将前额区域锚定在用户所指示的位置周围并且从照片上的相对应区域去除粉刺。例如，该用户指示能够提供用户上脸部的轮廓的更为准确的确定，而使得粉刺去除效果被应用于用户的皮肤而不是用户的发际线上。

关于检测用户在他/她的脸部上的指示，该用户例如可以使用手指指向脸部特征。在其它示例中，用户可以使用输入棒或输入笔指向脸部特征。手指/输入棒的定位可以使用手部追踪/输入棒追踪算法来执行。该算法能够确定手指/输入笔的末端/尖端的位置并且确定用户脸部上被手指/输入棒末端所指向的相对应位置。手指/输入笔可以接触或者可以不接触用户的脸部。在某些示例中，用户可以使用多于一个的手指来指示脸部特征。例如，如果用户希望在脸颊上提供皮肤平滑效果，则用户可以使用三个捏在一起的手指来摩擦他/她的脸颊。用户指尖在用户脸部的脸颊区域中的位置可以被追踪并且计算机所生成的图像中的相对应的脸颊脸部标记可以被锚定在与所追踪的用户手指路径相关的点的周围。例如，该脸颊脸部标记可以被锚定在位于所检测到的用户手指路径内的点的周围。

图8a示出与远程服务器进行通信的装置800的示例。图8b示出与用于云计算的“云端”进行通信的装置800的示例。在图8a和图8b中，装置800(可以是装置100、200或300)也可与另外的装置802进行通信。装置802例如可以是触摸屏显示器或相机。在其它示例中，装置800和另外的装置802二者可以被包括在诸如便携式通信设备或PDA之类的设备内。通信例如可以经由通信单元。

计算机所生成的用户图像可以是预先捕捉的用户图像，例如在用户提供对脸部特征的用户指示之前拍摄的照片。计算机所生成的用户图像可以是例如使用装置/设备的前向相机在自拍下捕捉的照片。在某些示例中，计算机所生成的用户图像可以是实时视频捕捉。

图8a将远程计算元件示出为远程服务器804，装置800可以与其进行有线或无线通信(例如，经由互联网、蓝牙、NFC、USB连接或者本领域技术人员所知的任意其它适当连接)。在图8b中，装置800与远程云端810(其例如可以是互联网，或者是被配置为用于云计算的远程计算机的系统)进行通信。例如，提供/捕捉计算机所生成的脸部图像和/或该图像的编辑版本的装置可以是远程服务器804或云端810。脸部标记定位算法可以在服务器804或云端810处远程运行，并且该定位的结果可以被提供至该装置(例如，服务器/云端馈送用户位置指示和/或表示锚定的信令的结果，例如特征的标识以及特征的位置)。在其它示例中，第二装置也可以与远程服务器804或云端810直接通信。

图9a图示了根据本公开的示例实施例的方法900。该方法包括基于所检测到的用户对与脸部相关联的脸部特征的位置指示，提供相对应的计算机所生成的脸部特征的位置的锚定，而使得相对应的计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像上的相对应位置周围。

图10示意性图示了根据一个实施例的提供程序的计算机/处理器可读介质1000。在该示例中，该计算机/处理器可读介质是诸如数字多功能盘(DVD)或压缩盘(CD)的碟片。在其它实施例中，计算机/处理器可读介质可以是已经以使得执行这里所描述的功能的方式进行编程的任意介质。该计算机程序代码可以被分布在相同类型的多个存储器或者诸如ROM、RAM、闪存、硬盘、固态等的不同类型的多个存储器之间。

任意所提到的装置/设备/服务器和/或特定所提到的装置/设备/服务器的其它特征可以由装置来提供，该装置得以被部署而使得它们变得被配置为仅在被使能例如被启动等的时候才执行所期望的操作。在这样的情况下，它们并非必然使得适当软件在非使能状态(例如，关机状态)下被加载到活动存储器中，而是仅在使能状态(例如，开机状态)下加载适当软件。该装置可以包括硬件电路和/或固件。该装置可以包括被加载到存储器上的软件。这样的软件/计算机程序可以被记录在相同的存储器/处理器/功能单元上和/或记录在一个或多个存储器/处理器/功能单元上。

在一些实施例中，特别提到的装置/设备/服务器可以利用适当软件进行编程以执行所期望的操作，并且其中能够使得该适当软件供下载“密钥”的用户例如用来解锁/使能软件及其相关联的功能。与这样的实施例相关联的优势可以包括在设备需要进一步功能时针对下载数据的要求有所降低，并且这在设备被认为具有足够容量来存储这样的针对用户可能并未使能的功能的预编程软件的示例中会是有用的。

任意所提到的装置/电路/元件/处理器除了所提到的功能之外可以具有其它功能，并且这些功能可以由同一装置/电路/元件/处理器来执行。一个或多个所公开的方面可以包含记录在适当载体(例如，存储器、信号)上的相关联计算机程序的电子分布和计算机程序(其可以是源/被编码传输)。

这里所描述的任意“计算机”都可以包括一个或多个单独处理器/处理元件的集合，其可以位于同一电路板上或者电路板的同一区域/位置上或者甚至位于同一设备上。在一些实施例中，任意的一个或多个所提到的处理器可以分布在多个设备上。相同或不同处理器/处理元件可以执行这里所描述的一种或多种功能。

术语“信令”可以是指作为一系列所传送和/或接收的电/光信号进行传送的一个或多个信号。该系列信号可以包括一个、两个、三个、四个或者甚至更多的个体信号分量或不同信号以构成所述信令。这些个体信号中的一些或全部可以同时、顺序地和/或使得它们在时间上互相重叠地通过无线或有线通信来发送/接收。

参考任意所提到的计算机和/或处理器及存储器(例如，包括ROM、CD-ROM等)的任意讨论，这些可以包括计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或已经以执行本发明功能的方式进行编程的其它硬件组件。

借助于本领域技术人员的公知常识，申请人因此以这里所描述的每种个体特征以及两个或更多这样的特征的任意组合能够作为整体基于本说明书执行的范围而单独公开了这样的特征或组合，而无论这样的特征或特征组合是否解决了这里所公开的任何问题，并且不对权利要求的范围进行限制。申请人指出，所公开的方面/实施例可以包括任意这样的个体特征或特征组合。考虑到以上描述，对于本领域技术人员将会显而易见的是，可以在本公开的范围内进行各种修改。

虽然基本的新颖特征已经被示出并描述以及指出为被应用于其不同的实施例，但是将要理解的是，本领域技术人员可以对所描述的设备和方法在形式和细节方面进行各种省略和替换以及变化而并不背离本发明的精神。例如，所明确打算的是，基本上以相同方式执行基本上相同功能而实现相同结果的那些元件和/或方法步骤的所有组合都处于本发明的范围之内。此外，应当认识到的是，结合任意所公开形式或实施例而示出和/或描述的结构和/或元件和/或方法步骤可以被结合在任意其它所公开或描述或暗示的形式或实施例中而作为一般的设计选择。此外，在权利要求中，装置加功能的条款意在覆盖这里所描述为执行所述功能的结构，并且不仅是结构等同形式而且还有等同结构。因此，虽然钉子和螺丝可能由于钉子采用圆柱体表面以将木质部分固定在一起而螺丝则采用螺旋表面而并非是结构等同形式，但是在紧固木质部分的情况下，钉子和螺丝可以是等同结构。

Claims (17)

1.一种装置，包括：

至少一个处理器；和

至少一个包括计算机程序代码的存储器，

所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器而使得所述装置至少执行以下操作：

基于所检测到的用户对与脸部相关联的脸部特征的位置指示，提供相对应的计算机所生成的脸部特征的位置的锚定，使得相对应的所述计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像上的相对应位置周围。

2.根据权利要求1所述的装置，其中所述装置被配置为执行被锚定在所述计算机所生成的脸部图像上的所述相对应位置周围的、针对相对应脸部特征的脸部标记定位。

3.根据权利要求1所述的装置，其中所述装置被配置为通过以下操作来提供所述锚定：调节已经使用脸部标记定位被标识的相对应脸部特征的位置，以将所述位置锚定在所述计算机所生成的脸部图像上的所述相对应位置周围。

4.根据权利要求1所述的装置，其中所述装置被配置为通过以下操作来提供所述锚定：针对通过脸部标记定位的首次使用而关联相对应脸部特征的所述位置，使得所述相对应脸部特征的脸部标记定位被锚定在所述计算机所生成的脸部图像上的相对应位置周围。

5.根据权利要求1所述的装置，其中针对相对应脸部特征的所述脸部标记定位包括在所述计算机所生成的脸部图像上定位多个脸部标记点以提供所述特征的定位。

6.根据权利要求1所述的装置，其中所述装置被配置为通过调节位于所述计算机所生成的脸部图像上的多个脸部标记点中的一个或多个脸部标记点的位置而提供相对应脸部特征的所述位置的锚定。

7.根据权利要求6所述的装置，其中所述多个脸部标记点对应于以下相对应脸部特征中的一个或多个：左眼、右眼、左侧眉毛、右侧眉毛、左侧脸颊、右侧脸颊、脸部轮廓、左耳、右耳、嘴唇、鼻子、前额、脸颊和下巴。

8.根据权利要求1所述的装置，其中所述装置被配置为检测用户对与脸部相关联的脸部特征的位置指示。

9.根据权利要求1所述的装置，其中所检测到的用户对与脸部相关联的脸部特征的位置指示包括对用户在所述脸部上指向以下之一的检测：左眼、右眼、左侧脸颊、右侧脸颊、左耳、右耳、嘴唇、鼻子、前额或下巴。

10.根据权利要求1所述的装置，其中用户所指示的位置基于在所述用户的位置指示之前或之后对预定义脸部特征的用户选择。

11.根据权利要求10所述的装置，其中所述预定义脸部特征是以下之一：左眼、右眼、左侧眉毛、右侧眉毛、左侧脸颊、右侧脸颊、左耳、右耳、嘴唇、鼻子、前额或下巴。

12.根据权利要求1所述的装置，其中与脸部相关联的所述脸部特征与真实脸部或者脸部的真实图像相关联。

13.根据权利要求1所述的装置，其中所述装置被配置为向相对应的脸部特征应用视觉效果。

14.根据权利要求1所述的装置，其中所述装置被配置为向通过所述脸部标记定位而被定位在所述脸部上的一个或多个脸部标记点所指示的区域应用视觉效果。

15.根据权利要求1所述的装置，其中所应用的视觉效果是以下之一：唇膏应用、眼影应用、眼线笔应用、睫毛颜色应用、眉毛颜色应用、脸颊颜色应用、眼睛着色、红眼消除、皮肤纹理平滑、皮肤闪光去除和皮肤瑕疵去除。

16.一种包括存储于其上的计算机程序代码的计算机可读介质，所述计算机可读介质和计算机程序代码被配置为在至少一个处理器上运行时至少执行以下操作：

基于所检测到的用户对与脸部相关联的脸部特征的位置指示，提供相对应的计算机所生成的脸部特征的位置的锚定，使得相对应的所述计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像上的相对应位置周围。

17.一种方法，包括：

基于所检测到的用户对与脸部相关联的脸部特征的位置指示，提供相对应的计算机所生成的脸部特征的位置的锚定，使得相对应的所述计算机所生成的脸部特征的脸部标记定位能够被锚定在计算机所生成的脸部图像上的相对应位置周围。