CN105975935B - 一种人脸图像处理方法和装置 - Google Patents

一种人脸图像处理方法和装置 Download PDF

Info

Publication number
CN105975935B
CN105975935B CN201610293280.9A CN201610293280A CN105975935B CN 105975935 B CN105975935 B CN 105975935B CN 201610293280 A CN201610293280 A CN 201610293280A CN 105975935 B CN105975935 B CN 105975935B
Authority
CN
China
Prior art keywords
user
face
facial
facial image
point position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610293280.9A
Other languages
English (en)
Other versions
CN105975935A (zh
Inventor
郑兆廷
邱璇
吴运声
傅斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610293280.9A priority Critical patent/CN105975935B/zh
Publication of CN105975935A publication Critical patent/CN105975935A/zh
Priority to EP17792472.7A priority patent/EP3454250B1/en
Priority to KR1020187012907A priority patent/KR102045695B1/ko
Priority to JP2018526870A priority patent/JP6636154B2/ja
Priority to PCT/CN2017/082776 priority patent/WO2017190646A1/zh
Priority to US15/952,546 priority patent/US10783354B2/en
Application granted granted Critical
Publication of CN105975935B publication Critical patent/CN105975935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本发明实施例公开了一种人脸图像处理方法，所述方法包括：识别用户的人脸图像中的多个人脸特征点位置；根据所述多个人脸特征点位置之间的相对距离，确定用户的脸部动作；根据所述用户的脸部动作，对所述用户的人脸图像进行图像处理。本发明实施例还公开了一种人脸图像处理装置。采用本发明，可以从人脸图像中识别用户的脸部动作，从而对人脸图像进行相应处理。

Description

一种人脸图像处理方法和装置
技术领域
本发明涉及图像处理领域，尤其涉及一种人脸图像处理方法和装置。
背景技术
脸部识别技术是新兴的一个图像处理方向，可以通过读输入的脸部图像或视频流进行识别，通常使用在摄像或身份验证的应用场景。现有的脸部识别技术仅能够做到对脸部的五官特征进行识别定位，但是对于用户的脸部动作则无法做到有效的识别，例如张嘴、亲嘴、挑眉动作、摇头等，从而对于用户的上述表情动作无法做到对应的反馈或相应的处理。
发明内容
有鉴于此，本发明实施例提供一种人脸图像处理方法和装置，可以从人脸图像中识别用户的脸部动作，从而对人脸图像进行相应处理。
为了解决上述技术问题，本发明实施例提供了一种人脸图像处理方法，所述方法包括：
识别用户的人脸图像中的多个人脸特征点位置；
根据所述多个人脸特征点位置之间的相对距离，确定用户的脸部动作；
根据所述用户的脸部动作，对所述用户的人脸图像进行图像处理。
相应地，本发明实施例还提供了一种人脸图像处理装置，所述装置包括：
人脸特征识别模块，用于识别用户的人脸图像中的多个人脸特征点位置；
脸部动作解析模块，用于根据所述多个人脸特征点位置之间的相对距离，确定用户的脸部动作；
图像处理模块，用于根据所述用户的脸部动作，对所述用户的人脸图像进行图像处理。
本发明实施例通过计算人脸图像中识别得到的多个人脸特征点位置之间的相对距离，判断人脸图像中用户的脸部动作，进而根据用户的脸部动作读该人脸图像进行图像处理，可以实现根据用户不同的脸部动作或表情对人脸图像进行动态处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种人脸图像处理方法的流程示意图；
图2是本发明实施例中在用户的人脸图像中识别得到的多个人脸特征点位置的示意图；
图3是本发明另一实施例中的人脸图像处理方法的流程示意图；
图4是本发明另一实施例中的人脸图像处理方法的流程示意图；
图5是本发明另一实施例中的人脸图像处理方法的流程示意图；
图6是本发明另一实施例中的人脸图像处理方法的流程示意图；
图7是本发明另一实施例中的人脸图像处理方法的流程示意图；
图8是本发明实施例中根据用户的张嘴动作进行贴图处理的效果示意图；
图9是本发明实施例中根据用户的眨眼动作进行贴图处理的效果示意图；
图10是本发明实施例中根据用户的眨眼动作和亲嘴动作进行贴图处理的效果示意图；
图11是本发明实施例中的一种人脸图像处理装置的结构示意图；
图12是本发明实施例中的脸部动作解析模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中的人脸图像处理方法和装置，可以实现在如个人电脑、平板电脑、笔记本电脑、智能手机、电子阅读器、数码相机、数码摄像机或智能穿戴设备等电子设备中，可选的上述实现本发明人脸图像处理的电子设备可以设置有摄像模块用于即时获取用户的人脸图像，也可以通过数据传输从网络或其他设备获取用户的人脸图像。下文的人脸图像处理方法实施流程，以本发明实施例中的人脸图像处理装置作为实施主体。
图1是本发明实施例中的一种人脸图像处理方法的流程示意图，如图1所示，本实施例的人脸图像处理方法可以包括以下流程：
S101，识别用户的人脸图像中的多个人脸特征点位置。
在可选实施例中，人脸图像处理装置可以通过摄像模块拍摄获取得到用户的人脸图像，进而实时的对拍摄获取得到的人脸图像进行人脸特征的识别。在另一可选实施例中，人脸图像处理装置还可以获取到多帧连续拍摄到的人脸图像，进而分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置。所述多帧连续拍摄到的，可以为指定时长内连续拍摄到的多帧人脸图像，所述指定时长例如为1秒或0.5秒。
所述人脸特征点位置包括眼睛特征点位置、鼻子特征点位置、嘴唇特征点位置、眉部特征点位置以及脸部边缘特征点位置中的任一种或多种。
示例性的，可以得到如图2所示的人脸特征点识别结果，为了下文方便说明，采用数字标记识别得到的各个人脸特征点位置，例如图2中所示的1～20表示脸部边缘特征点位置，21～28以及29～36分别表示用户的左眉部特征点位置和右眉部特征点位置，37～44以及88表示用户的左眼特征点位置，其中88为左眼瞳孔位置，45～51以及89表示用户的右眼特征点位置，其中89为右眼瞳孔位置，53～65表示用户的鼻子特征点位置、66～87表示用户的嘴唇特征点位置。需要指出的是，以上仅为示例，在可选实施例中可以在以上人脸特征点中仅识别部分或更多的特征点，或采用其他方式标记各个特征点位置，均属于本发明实施例的范畴。
S102，根据所述多个人脸特征点位置之间的相对距离，确定用户的脸部动作。
具体实现中，可以预先定义用户的多个脸部动作，例如可以包括：眼部动作(例如眨眼、斜眼等)、嘴部动作(例如亲嘴、张嘴、吐舌等)、眉部动作(例如挑眉、皱眉等)、头部动作(例如低头、抬头、点头、摇头、晃头等)中的任一种或多种。进一步的，可以定义各个脸部动作对应的多个人脸特征点位置的相对距离，最简单的示例如：定义张嘴动作为用户的上嘴唇下边缘中心位置与上嘴唇的上边缘中心位置之间的距离超过10个像素(或转换为其他距离单位)，那么根据当前用户的人脸图像中识别得到的上嘴唇下边缘中心位置85与上嘴唇的上边缘中心位置80，若85到80之间的相对距离超过10个像素，则确定用户当前的脸部动作为张嘴。
可选的，可以通过得到多组人脸特征点位置之间的相对距离，通过比较这多组相对距离之间的关系，确定用户的脸部动作。
例如可以定义张嘴动作为用户的嘴唇张开间距与嘴唇厚度的比值不小于第一预设阈值，那么就可以根据当前用户的人脸图像中识别得到的多个嘴唇特征点位置之间的相对距离，获取用户的嘴唇张开间距和嘴唇厚度，若所述嘴唇张开间距与所述嘴唇厚度的比值不小于第一预设阈值，则确定用户当前的脸部动作为张嘴动作。所述第一预设阈值可以例如为2/3。示例性的，如图2所示，可以采用用户的上嘴唇的下边缘中心位置85与下嘴唇的上边缘中心位置80之间的相对距离作为所述嘴唇张开间距；可以采用用户的下嘴唇的上边缘中心位置80与下边缘中心位置69之间的相对距离作为所述嘴唇厚度。在其他可选实施例中也可以采用其他识别到的特征点位置之间的相对距离表示嘴唇厚度和嘴唇张开间距，例如75和85之间的相对距离，或70和81之间的相对距离均可以用来表示嘴唇厚度，或采用81-84之间的相对距离表示嘴唇张开间距。
又例如可以定义亲嘴动作为用户的嘴型厚度和嘴型宽度之间的比值不小于第二预设阈值，所述第二预设阈值小于1，例如为1/2。那么人脸图像处理装置可以根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴型厚度和嘴型宽度，若当前所述嘴型厚度和嘴型宽度之间的比值不小于第二预设阈值，则确定用户的脸部动作为亲嘴动作。示例性的，如图2所示，可以采用用户的上嘴唇的上边缘中心位置75与下嘴唇的下边缘中心位置69之间的相对距离作为所述嘴型厚度；可以采用用户的左嘴角位置66与右嘴角位置72之间的相对距离作为所述嘴型宽度。在其他可选实施例中也可以采用其他识别到的特征点位置之间的相对距离表示嘴型厚度和嘴型宽度，例如74和80之间的相对距离，或76和68之间的相对距离均可以用来表示嘴型厚度，或采用67-71之间的相对距离表示嘴唇张开间距。
在可选实施例中，人脸图像处理装置还可以根据S101获取到的所述多帧连续拍摄到的人脸图像中的多个人脸特征点位置之间的相对距离的变化，确定用户的脸部动作。
例如可以定义挑眉动作为多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的眉部与眼睛的间距的变化量超过第三预设阈值。人脸图像处理装置可以根据用户的眉部特征点位置和眼部特征点位置之间的相对距离，获取用户的眉部与眼睛的间距，若在所述多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的眉部与眼睛的间距的变化量超过第三预设阈值，则确定用户的脸部动作为挑眉动作。示例性的，如图2中所示，可以采用23和39之间的相对距离表示用户的眉部与眼睛的间距，若在所述多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的所述第一眉眼间距与所述第二眉眼间距的比值的差值超过第三预设阈值(这里的第三预设阈值例如可以为10个像素)，则确定用户的脸部动作为挑眉动作。在另一示例中，可以通过获取用户的眉末位置21与同侧眼睛的下边缘中心位置39之间的第一眉眼间距，以及获取用户的眉末位置21与同侧外眼角位置37之间的第二眉眼间距，进而若在所述多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的所述第一眉眼间距与所述第二眉眼间距的比值的差值超过所述第三预设阈值(这里的第三预设阈值例如可以为0.3或0.2)，则确定用户的脸部动作为挑眉动作。
又例如可以定义眨眼动作为多帧连续拍摄到的人脸图像中，依次出现睁眼-闭眼-睁眼的人脸图像，即在两帧用户睁眼的人脸图像之间存在一帧用户闭眼的人脸图像，进而人脸图像处理装置可以根据用户的多个眼睛特征点位置之间的相对距离，获取用户的眼睛张开间距，进而根据用户的眼睛张开间距确定某一帧人脸图像中用户为睁眼或闭眼。示例性的，如图2中所示，可以采用43与39之间的相对距离作为眼睛张开间距，若一帧人脸图像中的眼睛43与39之间的相对距离大于一预设间距，例如5个像素，则确认用户为睁眼，反之若眼睛张开间距未达到所述预设间距，则确认用户为闭眼。在另一示例中，人脸图像处理装置可以采用用户的眼睛的上边缘中心位置43和下边缘中心位置39之间的相对距离作为眼睛张开间距，另外获取用户的眼睛的下边缘中心位置39与外眼角位置37之间的相对距离作为眼宽，若某帧人脸图像中所述眼睛张开间距大于所述眼宽的一半，则确定该帧人脸图像中用户睁眼，否则确定该帧人脸图像中用户为闭眼。
又例如可以定义摇头动作为多帧连续拍摄到的人脸图像中同时存在一帧左侧脸的人脸图像和一帧右侧脸的人脸图像，进而人脸图像处理装置可以根据用户的鼻子特征点位置和脸部边缘特征点位置获取用户的左脸宽度和右脸宽度，进而根据用户的左脸宽度和右脸宽度确定某一帧人脸图像为用户的左侧脸或右侧脸。示例性的，可以采用用户的鼻尖位置53与脸左侧外边缘中心位置(可以选取2-5中任一个)之间的相对距离作为左脸宽度，采用用户的鼻尖位置53与脸右侧外边缘中心位置(可以选取15-18中任一个)之间的相对距离作为右脸宽度，若某帧人脸图像中所述左脸宽度与所述右脸宽度的比值小于第四预设阈值，则确定该帧人脸图像为用户的右侧脸，其中所述第四预设阈值小于1，例如为0.7；反之，若某帧人脸图像中所述右脸宽度与所述左脸宽度的比值小于所述第四预设阈值，则确定该帧人脸图像为用户的左侧脸。
需要指出的是，以上仅为示例，本领域技术人员由以上示例可以不经创造性劳动获得更多的实例，例如识别得到用户的点头动作、皱眉动作、鬼脸动作，伸舌头动作等，本发明无法进行穷举。
S103，根据所述用户的脸部动作，对所述用户的人脸图像进行图像处理。
具体实现中，人脸图像处理装置可以预设与各种定义的脸部动作对应的图像处理方式，在对人脸图像识别得到用户的脸部动作后，对人脸图像进行相应的图像处理。具体的，对人脸图像进行图像处理的方式可以包括：
1)使用预设的与所述用户的脸部动作对应的贴图对于所述人脸图像进行贴图处理。
人脸图像处理装置可以预设多个分别与不同的用户的脸部动作的贴图，在识别得到人脸图像中的用户的脸部动作后，使用对应的贴图对该人脸图像进行贴图处理。示例性的可以如图8至图10所示，为根据识别出不同的用户的脸部动作进行对应的贴图的效果。需要说明的是此处仅为示例，本领域技术人员可以根据本实施例中的示例不经创造性劳动即可得到更多的贴图示例，本发明不进行穷举。
图8可以为在确定人脸图像中用户在张嘴时，在人脸图像中进行“兔牙”的贴图，较优的可以将“兔牙”贴图叠加显示在用户的上嘴唇下边缘中心点位置，当然也可以将“兔牙”贴图叠加在人脸图像中的任意位置，还可以根据用户对“兔牙”贴图的移动指令改变“兔牙”贴图在人脸图像中的叠加显示位置。
图9可以为在确定人脸图像中用户在眨眼时，在人脸图像中进行“公主泪眼”的贴图，较优的可以将“公主泪眼”的泪眼部分贴图叠加显示在人脸图像中用户的眼睛位置，当然也可以将“公主泪眼”贴图叠加在人脸图像中的任意位置，还可以根据用户对“公主泪眼”贴图的移动指令改变“公主泪眼”贴图在人脸图像中的叠加显示位置。
图10可以为在确定人脸图像中用户在做出眨眼动作的同时还做出了亲嘴动作，那么相应的可以在人脸图像中进行“公主泪眼”贴图的同时还进行“递苹果”贴图。
2)确定与所述用户的脸部动作对应的脸部对象，针对所述与所述用户的脸部动作对应的脸部对象进行对应的特效变形处理。
例如若识别得到人脸图像中用户的眼部动作，则可以对人脸图像中用户的眼部区域进行特效变形处理；若识别得到人脸图像中用户的嘴部动作，则可以对人脸图像中用户的嘴部区域进行特效变形处理；若识别得到人脸图像中用户的眉部动作，则可以对人脸图像中用户的眉部区域进行特效变形处理；若识别得到人脸图像中用户的头部动作，则可以对人脸图像中用户的头部区域进行特效变形处理。所述特效变形处理可以包括放大处理、拉长处理或模糊处理等。
本发明实施例通过计算人脸图像中识别得到的多个人脸特征点位置之间的相对距离，判断人脸图像中用户的脸部动作，进而根据用户的脸部动作读该人脸图像进行图像处理，可以实现根据用户不同的脸部动作或表情对人脸图像进行动态处理。
图3是本发明另一实施例中的人脸图像处理方法的流程示意图，如图所示本实施例中的人脸图像处理方法流程包括：
S301，识别用户的人脸图像中的多个人脸特征点位置，包括多个嘴唇特征点位置。
在可选实施例中，人脸图像处理装置可以通过摄像模块拍摄获取得到用户的人脸图像，进而实时的对拍摄获取得到的人脸图像进行人脸特征的识别。示例性的，如图2中所示的66～87表示用户的嘴唇特征点位置，本实施例中可以识别得到66～87中的部分或全部的嘴唇特征点位置。
S302，根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴唇张开间距和嘴唇厚度。
示例性的，如图2所示，可以采用用户的上嘴唇的下边缘中心位置85与下嘴唇的上边缘中心位置80之间的相对距离作为所述嘴唇张开间距；可以采用用户的下嘴唇的上边缘中心位置80与下边缘中心位置69之间的相对距离作为所述嘴唇厚度。在其他可选实施例中也可以采用其他识别到的特征点位置之间的相对距离表示嘴唇厚度和嘴唇张开间距，例如75和85之间的相对距离，或70和81之间的相对距离均可以用来表示嘴唇厚度，或采用81-84之间的相对距离表示嘴唇张开间距。
S303，若所述嘴唇张开间距与所述嘴唇厚度的比值不小于第一预设阈值，则确定用户的脸部动作为张嘴动作。
所述第一预设阈值可以例如为2/3。
S304，根据所述用户的张嘴动作，对所述用户的人脸图像进行图像处理。
具体的，对人脸图像进行图像处理的方式可以包括：
使用预设的与所述用户的脸部动作对应的贴图对于所述人脸图像进行贴图处理。或通过确定与所述用户的脸部动作对应的脸部对象，本实施例为嘴部区域，针对所述嘴部区域进行对应的特效变形处理。
图4是本发明另一实施例中的人脸图像处理方法的流程示意图，如图所示本实施例中的人脸图像处理方法流程包括：
S401，识别用户的人脸图像中的多个人脸特征点位置，包括多个嘴唇特征点。
在可选实施例中，人脸图像处理装置可以通过摄像模块拍摄获取得到用户的人脸图像，进而实时的对拍摄获取得到的人脸图像进行人脸特征的识别。示例性的，如图2中所示的66～87表示用户的嘴唇特征点位置，本实施例中可以识别得到66～87中的部分或全部的嘴唇特征点位置。
S402，根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴型厚度和嘴型宽度。
示例性的，如图2所示，可以采用用户的上嘴唇的上边缘中心位置75与下嘴唇的下边缘中心位置69之间的相对距离作为所述嘴型厚度；可以采用用户的左嘴角位置66与右嘴角位置72之间的相对距离作为所述嘴型宽度。在其他可选实施例中也可以采用其他识别到的特征点位置之间的相对距离表示嘴型厚度和嘴型宽度，例如74和80之间的相对距离，或76和68之间的相对距离均可以用来表示嘴型厚度，或采用67-71之间的相对距离表示嘴唇张开间距。
S403，若所述嘴型厚度和嘴型宽度之间的比值不小于第二预设阈值，则确定用户的脸部动作为亲嘴动作。
所述第二预设阈值小于1，例如为1/2。
S404，根据所述用户的亲嘴动作，对所述用户的人脸图像进行图像处理。
具体的，对人脸图像进行图像处理的方式可以包括：
使用预设的与所述用户的脸部动作对应的贴图对于所述人脸图像进行贴图处理。或通过确定与所述用户的脸部动作对应的脸部对象，本实施例为嘴部区域，针对所述嘴部区域进行对应的特效变形处理。
图5是本发明另一实施例中的人脸图像处理方法的流程示意图，如图所示本实施例中的人脸图像处理方法流程包括：
S501，分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置，包括用户的眉部特征点位置和眼部特征点位置。
在本实施例中，人脸图像处理装置可以获取到多帧连续拍摄到的人脸图像，进而分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置。所述多帧连续拍摄到的，可以为指定时长内连续拍摄到的多帧人脸图像，所述指定时长例如为1秒或0.5秒。
示例性的，如图2中所示的21～28以及29～36分别表示用户的左眉部特征点位置和右眉部特征点位置，37～44以及88表示用户的左眼特征点位置，其中88为左眼瞳孔位置，45～51以及89表示用户的右眼特征点位置，其中89为右眼瞳孔位置，本实施例中可以识别得到21～28和37～44以及88中的部分或全部的特征点位置，或可以得到29～36和45～51以及89中的部分或全部的特征点位置。
S502，根据用户的眉部特征点位置和眼部特征点位置之间的相对距离，获取用户的眉部与眼睛的间距。
在本实施例的第一示例中，如图2中所示，可以采用23和39之间的相对距离表示用户的眉部与眼睛的间距。
在第二示例中，可以获取用户的眉末位置21与同侧眼睛的下边缘中心位置39之间的第一眉眼间距，以及获取用户的眉末位置21与同侧外眼角位置37之间的第二眉眼间距。
S503，若在所述多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的眉部与眼睛的间距的变化量超过第三预设阈值，则确定用户的脸部动作为挑眉动作。
在本实施例的第一示例中，若在所述多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的所述第一眉眼间距与所述第二眉眼间距的比值的差值超过第三预设阈值(这里的第三预设阈值例如可以为10个像素)，则确定用户的脸部动作为挑眉动作。
在本发明实施例的第二示例中，若在所述多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的所述第一眉眼间距与所述第二眉眼间距的比值的差值超过所述第三预设阈值(这里的第三预设阈值例如可以为0.3或0.2)，则确定用户的脸部动作为挑眉动作。
S504，根据所述用户的挑眉动作，对所述用户的人脸图像进行图像处理。
具体的，对人脸图像进行图像处理的方式可以包括：
使用预设的与所述用户的脸部动作对应的贴图对于所述人脸图像进行贴图处理。或通过确定与所述用户的脸部动作对应的脸部对象，本实施例为眉部区域或眼部区域，针对所述眉部区域或眼部区域进行对应的特效变形处理。
图6是本发明另一实施例中的人脸图像处理方法的流程示意图，如图所示本实施例中的人脸图像处理方法流程包括：
S601，分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置，包括用户的多个眼睛特征点位置。
在本实施例中，人脸图像处理装置可以获取到多帧连续拍摄到的人脸图像，进而分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置。所述多帧连续拍摄到的，可以为指定时长内连续拍摄到的多帧人脸图像，所述指定时长例如为1秒或0.5秒。
示例性的，如图2中所示的37～44以及88表示用户的左眼特征点位置，其中88为左眼瞳孔位置，45～51以及89表示用户的右眼特征点位置，其中89为右眼瞳孔位置，本实施例中可以识别得到37～44以及88中的部分或全部的特征点位置，或45～51以及89中的部分或全部的特征点位置。
S602，根据用户的多个眼睛特征点位置之间的相对距离，获取用户的眼睛张开间距，进而根据用户的眼睛张开间距确定某一帧人脸图像中用户为睁眼或闭眼。
示例性的，如图2中所示，可以采用43与39之间的相对距离作为眼睛张开间距，若一帧人脸图像中的眼睛43与39之间的相对距离大于一预设间距，例如5个像素，则确认用户为睁眼，反之若眼睛张开间距未达到所述预设间距，则确认用户为闭眼。在另一示例中，人脸图像处理装置可以采用用户的眼睛的上边缘中心位置43和下边缘中心位置39之间的相对距离作为眼睛张开间距，另外获取用户的眼睛的下边缘中心位置39与外眼角位置37之间的相对距离作为眼宽，若某帧人脸图像中所述眼睛张开间距大于所述眼宽的一半，则确定该帧人脸图像中用户睁眼，否则确定该帧人脸图像中用户为闭眼。
S603，若在所述多帧连续拍摄到的人脸图像中，两帧用户睁眼的人脸图像中间存在一帧用户闭眼的人脸图像，则确定用户的脸部动作为眨眼动作。
即定义眨眼动作为多帧连续拍摄到的人脸图像中，依次出现睁眼-闭眼-睁眼的人脸图像。在其他可选实施例中，还可以定义出现2次或更多次的睁眼-闭眼的变换才定义为眨眼动作，这样可以避免对用户每次眨眼都作出反应。
S604，根据所述用户的眨眼动作，对所述用户的人脸图像进行图像处理。
具体的，对人脸图像进行图像处理的方式可以包括：
使用预设的与所述用户的脸部动作对应的贴图对于所述人脸图像进行贴图处理。或通过确定与所述用户的脸部动作对应的脸部对象，本实施例为眼部区域，针对所述眼部区域进行对应的特效变形处理。
图7是本发明另一实施例中的人脸图像处理方法的流程示意图，如图所示本实施例中的人脸图像处理方法流程包括：
S701，分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置，包括用户的鼻子特征点位置和脸部边缘特征点位置。
在本实施例中，人脸图像处理装置可以获取到多帧连续拍摄到的人脸图像，进而分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置。所述多帧连续拍摄到的，可以为指定时长内连续拍摄到的多帧人脸图像，所述指定时长例如为1秒或0.5秒。
示例性的，如图2中所示的1～20表示脸部边缘特征点位置，53～65表示用户的鼻子特征点位置，本实施例中的人脸图像处理装置可以识别得到1～20以及53～65中的部分或全部的特征点位置。
S702，分别根据用户的鼻子特征点位置与两侧脸部边缘特征点位置的相对距离，获取用户的左脸宽度和右脸宽度，进而根据用户的左脸宽度和右脸宽度确定某一帧人脸图像为用户的左侧脸或右侧脸。
示例性的，可以采用用户的鼻尖位置53与脸左侧外边缘中心位置(可以选取2-5中任一个)之间的相对距离作为左脸宽度，采用用户的鼻尖位置53与脸右侧外边缘中心位置(可以选取15-18中任一个)之间的相对距离作为右脸宽度，若某帧人脸图像中所述左脸宽度与所述右脸宽度的比值小于第四预设阈值，则确定该帧人脸图像为用户的右侧脸，其中所述第四预设阈值小于1，例如为0.7；反之，若某帧人脸图像中所述右脸宽度与所述左脸宽度的比值小于所述第四预设阈值，则确定该帧人脸图像为用户的左侧脸。在其他可选实施例中，还可以采用58与3之间的相对距离作为左脸宽度，62与17之间的相对距离作为右脸宽度，等等。
S703，若在所述多帧连续拍摄到的人脸图像中同时存在一帧左侧脸的人脸图像和一帧有侧脸的人脸图像，则确定用户的脸部动作为摇头动作。
S704，根据所述用户的摇头动作，对所述用户的人脸图像进行图像处理。
具体的，对人脸图像进行图像处理的方式可以包括：
使用预设的与所述用户的脸部动作对应的贴图对于所述人脸图像进行贴图处理。或通过确定与所述用户的脸部动作对应的脸部对象，本实施例为头部区域(整体)，针对所述头部区域进行对应的特效变形处理。
图11是本发明实施例中的一种人脸图像处理装置的结构示意图，如图所示本发明实施例中的人脸图像处理装置可以包括：
人脸特征识别模块1110，用于识别用户的人脸图像中的多个人脸特征点位置。
在可选实施例中，人脸特征识别模块1110可以通过摄像模块拍摄获取得到用户的人脸图像，进而实时的对拍摄获取得到的人脸图像进行人脸特征的识别。在另一可选实施例中，人脸特征识别模块1110还可以获取到多帧连续拍摄到的人脸图像，进而分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置。所述多帧连续拍摄到的，可以为指定时长内连续拍摄到的多帧人脸图像，所述指定时长例如为1秒或0.5秒。
所述人脸特征点位置包括眼睛特征点位置、鼻子特征点位置、嘴唇特征点位置、眉部特征点位置以及脸部边缘特征点位置中的任一种或多种。
示例性的，可以得到如图2所示的人脸特征点识别结果，为了下文方便说明，采用数字标记识别得到的各个人脸特征点位置，例如图2中所示的1～20表示脸部边缘特征点位置，21～28以及29～36分别表示用户的左眉部特征点位置和右眉部特征点位置，37～44以及88表示用户的左眼特征点位置，其中88为左眼瞳孔位置，45～51以及89表示用户的右眼特征点位置，其中89为右眼瞳孔位置，53～65表示用户的鼻子特征点位置、66～87表示用户的嘴唇特征点位置。需要指出的是，以上仅为示例，在可选实施例中可以在以上人脸特征点中仅识别部分或更多的特征点，或采用其他方式标记各个特征点位置，均属于本发明实施例的范畴。
脸部动作解析模块1130，用于根据所述多个人脸特征点位置之间的相对距离，确定用户的脸部动作。
具体实现中，可以预先定义用户的多个脸部动作，例如可以包括：眼部动作(例如眨眼、斜眼等)、嘴部动作(例如亲嘴、张嘴、吐舌等)、眉部动作(例如挑眉、皱眉等)、头部动作(例如低头、抬头、点头、摇头、晃头等)中的任一种或多种。进一步的，可以定义各个脸部动作对应的多个人脸特征点位置的相对距离，最简单的示例如：定义张嘴动作为用户的上嘴唇下边缘中心位置与上嘴唇的上边缘中心位置之间的距离超过10个像素(或转换为其他距离单位)，那么脸部动作解析模块1130根据当前用户的人脸图像中识别得到的上嘴唇下边缘中心位置85与上嘴唇的上边缘中心位置80，若85到80之间的相对距离超过10个像素，则确定用户当前的脸部动作为张嘴。
在可选实施例中，脸部动作解析模块1130如图12所示进一步可以包括：
特征数据获取单元1131，用于得到多组人脸特征点位置之间的相对距离；
动作解析单元1133，用于通过比较这多组相对距离之间的关系，确定用户的脸部动作。
例如可以定义张嘴动作为用户的嘴唇张开间距与嘴唇厚度的比值不小于第一预设阈值，那么特征数据获取单元1131就可以根据当前用户的人脸图像中识别得到的多个嘴唇特征点位置之间的相对距离，获取用户的嘴唇张开间距和嘴唇厚度，动作解析单元1133判断所述嘴唇张开间距与所述嘴唇厚度的比值是否不小于第一预设阈值，若是则确定用户当前的脸部动作为张嘴动作。所述第一预设阈值可以例如为2/3。
又例如可以定义亲嘴动作为用户的嘴型厚度和嘴型宽度之间的比值不小于第二预设阈值，所述第二预设阈值小于1，例如为1/2。那么特征数据获取单元1131可以根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴型厚度和嘴型宽度，动作解析单元1133判断当前所述嘴型厚度和嘴型宽度之间的比值是否不小于第二预设阈值，若是则确定用户的脸部动作为亲嘴动作。所述第二预设阈值小于1，例如为1/2。
在另一可选实施例中，动作解析单元1133还可以根据特征数据获取单元1131获取到的所述多帧连续拍摄到的人脸图像中的多个人脸特征点位置之间的相对距离的变化，确定用户的脸部动作。
例如可以定义挑眉动作为多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的眉部与眼睛的间距的变化量超过第三预设阈值。特征数据获取单元1131可以根据用户的眉部特征点位置和眼部特征点位置之间的相对距离，获取用户的眉部与眼睛的间距，若在所述多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的眉部与眼睛的间距的变化量超过第三预设阈值，则动作解析单元1133确定用户的脸部动作为挑眉动作。
又例如可以定义眨眼动作为多帧连续拍摄到的人脸图像中，依次出现睁眼-闭眼-睁眼的人脸图像，即在两帧用户睁眼的人脸图像之间存在一帧用户闭眼的人脸图像。特征数据获取单元1131可以根据用户的多个眼睛特征点位置之间的相对距离，获取用户的眼睛张开间距，进而动作解析单元1133根据用户的眼睛张开间距确定某一帧人脸图像中用户为睁眼或闭眼，若在所述多帧连续拍摄到的人脸图像中，在两帧用户睁眼的人脸图像之间存在一帧用户闭眼的人脸图像，则动作解析单元1133确定用户的脸部动作为眨眼动作。在其他可选实施例中，还可以定义出现2次或更多次的睁眼-闭眼的变换才定义为眨眼动作，这样可以避免对用户每次眨眼都作出反应。
又例如可以定义摇头动作为多帧连续拍摄到的人脸图像中同时存在一帧左侧脸的人脸图像和一帧右侧脸的人脸图像。特征数据获取单元1131可以根据用户的鼻子特征点位置和脸部边缘特征点位置获取用户的左脸宽度和右脸宽度，进而动作解析单元1133根据用户的左脸宽度和右脸宽度确定某一帧人脸图像为用户的左侧脸或右侧脸，若在所述多帧连续拍摄到的人脸图像中，同时存在一帧左侧脸的人脸图像和一帧右侧脸的人脸图像，则动作解析单元1133确定用户的脸部动作为摇头动作。
需要指出的是，以上仅为示例，本领域技术人员由以上示例可以不经创造性劳动获得更多的实例，例如识别得到用户的点头动作、皱眉动作、鬼脸动作，伸舌头动作等，本发明无法进行穷举。
图像处理模块1105，用于根据所述用户的脸部动作，对所述用户的人脸图像进行图像处理。
具体实现中，人脸图像处理装置可以预设与各种定义的脸部动作对应的图像处理方式，在对人脸图像识别得到用户的脸部动作后，图像处理模块1105对人脸图像进行相应的图像处理。具体的，图像处理模块1105对人脸图像进行图像处理的方式可以包括：
1)使用预设的与所述用户的脸部动作对应的贴图对于所述人脸图像进行贴图处理。
人脸图像处理装置可以预设多个分别与不同的用户的脸部动作的贴图，在识别得到人脸图像中的用户的脸部动作后，使用对应的贴图对该人脸图像进行贴图处理。示例性的可以如图8至图10所示，为根据识别出不同的用户的脸部动作进行对应的贴图的效果。图8可以为在确定人脸图像中用户在张嘴时，在人脸图像中进行“兔牙”的贴图。图9可以为在确定人脸图像中用户在眨眼时，在人脸图像中进行“公主泪眼”的贴图。图10可以为在确定人脸图像中用户在做出眨眼动作的同时还做出了亲嘴动作，那么相应的可以在人脸图像中进行“公主泪眼”贴图的同时还进行“递苹果”贴图。
需要说明的是此处仅为示例，本领域技术人员可以根据本实施例中的示例不经创造性劳动即可得到更多的贴图示例，本发明不进行穷举。
2)确定与所述用户的脸部动作对应的脸部对象，针对所述与所述用户的脸部动作对应的脸部对象进行对应的特效变形处理。
例如若识别得到人脸图像中用户的眼部动作，则可以对人脸图像中用户的眼部区域进行特效变形处理；若识别得到人脸图像中用户的嘴部动作，则可以对人脸图像中用户的嘴部区域进行特效变形处理；若识别得到人脸图像中用户的眉部动作，则可以对人脸图像中用户的眉部区域进行特效变形处理；若识别得到人脸图像中用户的头部动作，则可以对人脸图像中用户的头部区域进行特效变形处理。所述特效变形处理可以包括放大处理、拉长处理或模糊处理等。
本发明实施例通过计算人脸图像中识别得到的多个人脸特征点位置之间的相对距离，判断人脸图像中用户的脸部动作，进而根据用户的脸部动作读该人脸图像进行图像处理，可以实现根据用户不同的脸部动作或表情对人脸图像进行动态处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (20)

1.一种人脸图像处理方法，其特征在于，所述方法包括：
分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置，所述多个人脸特征点位置包括用户的眉部特征点位置和眼部特征点位置，所述眉部特征点位置包括用户的眉末位置，所述眼部特征点位置包括与所述眉末位置同一侧的外眼角位置和眼睛的下边缘中心位置；
根据所述多帧连续拍摄到的人脸图像中的多个人脸特征点位置之间的相对距离的变化，确定用户的脸部动作；
根据所述用户的脸部动作，对所述用户的人脸图像进行图像处理；
其中所述根据所述多帧连续拍摄到的人脸图像中的多个人脸特征点位置之间的相对距离的变化，确定用户的脸部动作包括：
获取用户的眉末位置与同侧眼睛的下边缘中心位置之间的第一眉眼间距；
获取用户的眉末位置与同侧外眼角位置之间的第二眉眼间距；
若在所述多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的所述第一眉眼间距与所述第二眉眼间距的比值的差值超过第三预设阈值，则确定用户的脸部动作为挑眉动作。
2.如权利要求1所述的人脸图像处理方法，其特征在于，所述人脸特征点位置还包括多个嘴唇特征点位置；
所述方法还包括：
根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴唇张开间距和嘴唇厚度；
若所述嘴唇张开间距与所述嘴唇厚度的比值不小于第一预设阈值，则确定用户的脸部动作为张嘴动作。
3.如权利要求2所述的人脸图像处理方法，其特征在于，所述多个嘴唇特征点位置包括用户的上嘴唇的下边缘中心位置和下嘴唇的上、下边缘中心位置；
所述根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴唇张开间距和嘴唇厚度包括：
获取用户的上嘴唇的下边缘中心位置与下嘴唇的上边缘中心位置之间的相对距离作为所述嘴唇张开间距；
获取用户的下嘴唇的上边缘中心位置与下边缘中心位置之间的相对距离作为所述嘴唇厚度。
4.如权利要求1所述的人脸图像处理方法，其特征在于，所述人脸特征点位置还包括多个嘴唇特征点位置；
所述方法还包括：
根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴型厚度和嘴型宽度；
若所述嘴型厚度和嘴型宽度之间的比值不小于第二预设阈值，则确定用户的脸部动作为亲嘴动作，所述第二预设阈值小于1。
5.如权利要求4所述的人脸图像处理方法，其特征在于，所述多个嘴唇特征点位置包括用户的左嘴角位置、右嘴角位置、上嘴唇的上边缘中心位置以及下嘴唇的下边缘中心位置；
所述根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴型厚度和嘴型宽度包括：
获取用户的上嘴唇的上边缘中心位置与下嘴唇的下边缘中心位置之间的相对距离作为所述嘴型厚度；
获取用户的左嘴角位置与右嘴角位置之间的相对距离作为所述嘴型宽度。
6.如权利要求1所述的人脸图像处理方法，其特征在于，所述多个人脸特征点位置还包括用户的多个眼睛特征点位置；
所述根据所述多帧连续拍摄到的人脸图像中的多个人脸特征点位置之间的相对距离的变化，确定用户的脸部动作包括：
根据用户的多个眼睛特征点位置之间的相对距离，获取用户的眼睛张开间距，进而根据用户的眼睛张开间距确定某一帧人脸图像中用户为睁眼或闭眼；
若在所述多帧连续拍摄到的人脸图像中，两帧用户睁眼的人脸图像中间存在一帧用户闭眼的人脸图像，则确定用户的脸部动作为眨眼动作。
7.如权利要求6所述的人脸图像处理方法，其特征在于，所述多个眼睛特征点位置包括用户任意同一侧的眼睛的上、下边缘中心位置以及外眼角位置；
所述根据用户的多个眼睛特征点位置之间的相对距离，获取用户的眼睛张开间距，进而根据用户的眼睛张开间距确定某一帧人脸图像中用户为睁眼或闭眼包括：
获取用户的眼睛的上、下边缘中心位置之间的相对距离作为眼睛张开间距；
获取用户的眼睛的下边缘中心位置与外眼角位置之间的相对距离作为眼宽；
若某帧人脸图像中所述眼睛张开间距大于所述眼宽的一半，则确定该帧人脸图像中用户睁眼，否则确定该帧人脸图像中用户为闭眼。
8.如权利要求1所述的人脸图像处理方法，其特征在于，所述多个人脸特征点位置包括用户的鼻子特征点位置和脸部边缘特征点位置；
所述根据所述多帧连续拍摄到的人脸图像中的多个人脸特征点位置之间的相对距离的变化，确定用户的脸部动作包括：
分别根据用户的鼻子特征点位置与两侧脸部边缘特征点位置的相对距离，获取用户的左脸宽度和右脸宽度，进而根据用户的左脸宽度和右脸宽度确定某一帧人脸图像为用户的左侧脸或右侧脸；
若在所述多帧连续拍摄到的人脸图像中同时存在一帧左侧脸的人脸图像和一帧右侧脸的人脸图像，则确定用户的脸部动作为摇头动作。
9.如权利要求8所述的人脸图像处理方法，其特征在于，所述鼻子特征点位置包括用户的鼻尖位置，所述脸部边缘特征点位置包括脸左侧外边缘中心位置和脸右侧外边缘中心位置；
所述分别根据用户的鼻子特征点位置与两侧脸部边缘特征点位置的相对距离，获取用户的左脸宽度和右脸宽度，进而根据用户的左脸宽度和右脸宽度确定某一帧人脸图像为用户的左侧脸或右侧脸包括：
获取用户的鼻尖位置与脸左侧外边缘中心位置之间的相对距离作为左脸宽度；
获取用户的鼻尖位置与脸右侧外边缘中心位置之间的相对距离作为右脸宽度；
若某帧人脸图像中所述左脸宽度与所述右脸宽度的比值小于第四预设阈值，则确定该帧人脸图像为用户的右侧脸，其中所述第四预设阈值小于1；
若某帧人脸图像中所述右脸宽度与所述左脸宽度的比值小于所述第四预设阈值，则确定该帧人脸图像为用户的左侧脸。
10.如权利要求1所述的人脸图像处理方法，其特征在于，所述多帧连续拍摄到的人脸图像为在指定时长内连续拍摄到的多帧人脸图像。
11.如权利要求1-10中任一项所述的人脸图像处理方法，其特征在于，所述根据所述用户的脸部动作，对所述用户的人脸图像进行图像处理包括：
使用预设的与所述用户的脸部动作对应的贴图对于所述人脸图像进行贴图处理。
12.如权利要求1-10中任一项所述的人脸图像处理方法，其特征在于，所述根据所述用户的脸部动作，对所述用户的人脸图像进行图像处理包括：
确定与所述用户的脸部动作对应的脸部对象，针对所述与所述用户的脸部动作对应的脸部对象进行对应的特效变形处理。
13.一种人脸图像处理装置，其特征在于，所述装置包括：
人脸特征识别模块，用于分别对多帧连续拍摄到的人脸图像进行识别得到每张人脸图像中的多个人脸特征点位置，所述多个人脸特征点位置包括用户的眉部特征点位置和眼部特征点位置，所述眉部特征点位置包括用户的眉末位置，所述眼部特征点位置包括与所述眉末位置同一侧的外眼角位置和眼睛的下边缘中心位置；
脸部动作解析模块，用于根据所述多帧连续拍摄到的人脸图像中的多个人脸特征点位置之间的相对距离的变化，确定用户的脸部动作；
图像处理模块，用于根据所述用户的脸部动作，对所述用户的人脸图像进行图像处理；
其中所述脸部动作解析模块包括：
特征数据获取单元，用于获取用户的眉末位置与同侧眼睛的下边缘中心位置之间的第一眉眼间距，并获取用户的眉末位置与同侧外眼角位置之间的第二眉眼间距；
动作解析单元，用于当在所述多帧连续拍摄到的人脸图像中，存在两帧的人脸图像中的所述第一眉眼间距与所述第二眉眼间距的比值的差值超过第三预设阈值时，确定用户的脸部动作为挑眉动作。
14.如权利要求13所述的人脸图像处理装置，其特征在于，所述人脸特征点位置包括多个嘴唇特征点位置；
所述脸部动作解析模块包括：
特征数据获取单元，用于根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴唇张开间距和嘴唇厚度；
动作解析单元，用于当所述嘴唇张开间距与所述嘴唇厚度的比值不小于第一预设阈值时，确定用户的脸部动作为张嘴动作。
15.如权利要求13所述的人脸图像处理装置，其特征在于，所述人脸特征点位置包括多个嘴唇特征点位置；
所述脸部动作解析模块包括：
特征数据获取单元，用于根据所述多个嘴唇特征点位置之间的相对距离，获取用户的嘴型厚度和嘴型宽度；
动作解析单元，用于当所述嘴型厚度与所述嘴型宽度之间的比值不小于第二预设阈值时，确定用户的脸部动作为亲嘴动作，所述第二预设阈值小于1。
16.如权利要求13所述的人脸图像处理装置，其特征在于，所述多个人脸特征点位置还包括用户的多个眼睛特征点位置；
所述脸部动作解析模块包括：
特征数据获取单元，用于根据用户的多个眼睛特征点位置之间的相对距离，获取用户的眼睛张开间距；
动作解析单元，用于根据用户的眼睛张开间距确定某一帧人脸图像中用户为睁眼或闭眼，当在所述多帧连续拍摄到的人脸图像中，两帧用户睁眼的人脸图像中间存在一帧用户闭眼的人脸图像时，确定用户的脸部动作为眨眼动作。
17.如权利要求13所述的人脸图像处理装置，其特征在于，所述多个人脸特征点位置还包括用户的鼻子特征点位置和脸部边缘特征点位置；
所述脸部动作解析模块包括：
特征数据获取单元，用于分别根据用户的鼻子特征点位置与两侧脸部边缘特征点位置的相对距离，获取用户的左脸宽度和右脸宽度；
动作解析单元，用于根据用户的左脸宽度和右脸宽度确定某一帧人脸图像为用户的左侧脸或右侧脸，当在所述多帧连续拍摄到的人脸图像中同时存在一帧左侧脸的人脸图像和一帧右侧脸的人脸图像时，确定用户的脸部动作为摇头动作。
18.如权利要求13所述的人脸图像处理装置，其特征在于，所述多帧连续拍摄到的人脸图像为在指定时长内连续拍摄到的多帧人脸图像。
19.如权利要求13-18中任一项所述的人脸图像处理装置，其特征在于，所述图像处理模块用于：
使用预设的与所述用户的脸部动作对应的贴图对于所述人脸图像进行贴图处理。
20.如权利要求13-18中任一项所述的人脸图像处理装置，其特征在于，所述图像处理模块用于：
确定与所述用户的脸部动作对应的脸部对象，针对所述与所述用户的脸部动作对应的脸部对象进行对应的特效变形处理。
CN201610293280.9A 2016-05-04 2016-05-04 一种人脸图像处理方法和装置 Active CN105975935B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610293280.9A CN105975935B (zh) 2016-05-04 2016-05-04 一种人脸图像处理方法和装置
EP17792472.7A EP3454250B1 (en) 2016-05-04 2017-05-02 Facial image processing method and apparatus and storage medium
KR1020187012907A KR102045695B1 (ko) 2016-05-04 2017-05-02 안면 이미지 처리 방법 및 장치, 및 저장 매체
JP2018526870A JP6636154B2 (ja) 2016-05-04 2017-05-02 顔画像処理方法および装置、ならびに記憶媒体
PCT/CN2017/082776 WO2017190646A1 (zh) 2016-05-04 2017-05-02 一种人脸图像处理方法和装置、存储介质
US15/952,546 US10783354B2 (en) 2016-05-04 2018-04-13 Facial image processing method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610293280.9A CN105975935B (zh) 2016-05-04 2016-05-04 一种人脸图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN105975935A CN105975935A (zh) 2016-09-28
CN105975935B true CN105975935B (zh) 2019-06-25

Family

ID=56992590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610293280.9A Active CN105975935B (zh) 2016-05-04 2016-05-04 一种人脸图像处理方法和装置

Country Status (6)

Country Link
US (1) US10783354B2 (zh)
EP (1) EP3454250B1 (zh)
JP (1) JP6636154B2 (zh)
KR (1) KR102045695B1 (zh)
CN (1) CN105975935B (zh)
WO (1) WO2017190646A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN108108651B (zh) * 2016-11-25 2022-02-11 广东亿迅科技有限公司 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN107045744A (zh) * 2017-04-14 2017-08-15 特斯联（北京）科技有限公司 一种智能别墅门禁认证方法及系统
CN107679449B (zh) * 2017-08-17 2018-08-03 平安科技（深圳）有限公司 嘴唇动作捕捉方法、装置及存储介质
CN107633205B (zh) * 2017-08-17 2019-01-18 平安科技（深圳）有限公司 嘴唇动作分析方法、装置及存储介质
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置
CN108008815B (zh) * 2017-11-30 2021-05-25 永目堂股份有限公司 基于眼睛状态识别技术的人机交互方法
CN107909055A (zh) * 2017-11-30 2018-04-13 西安科锐盛创新科技有限公司 眼睛状态检测方法
CN108205822B (zh) * 2017-12-13 2020-09-08 中兴通讯股份有限公司 贴图方法及装置
CN108259496B (zh) 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN108280883B (zh) * 2018-02-07 2021-05-04 北京市商汤科技开发有限公司 变形特效程序文件包的生成及变形特效生成方法与装置
CN108388434B (zh) * 2018-02-08 2021-03-02 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN108446658A (zh) * 2018-03-28 2018-08-24 百度在线网络技术（北京）有限公司 用于识别人脸图像的方法和装置
CN108259768B (zh) * 2018-03-30 2020-08-04 Oppo广东移动通信有限公司 图像的选取方法、装置、存储介质及电子设备
WO2019205016A1 (en) * 2018-04-25 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for nod action recognition based on facial feature points
WO2019205009A1 (en) 2018-04-25 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying a body motion
CN113658298A (zh) * 2018-05-02 2021-11-16 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置
CN108986227B (zh) * 2018-06-28 2022-11-29 北京市商汤科技开发有限公司 粒子特效程序文件包的生成及粒子特效生成方法与装置
CN109035373B (zh) * 2018-06-28 2022-02-01 北京市商汤科技开发有限公司 三维特效程序文件包的生成及三维特效生成方法与装置
CN109034117B (zh) * 2018-08-22 2020-11-17 北京慕华信息科技有限公司 一种视频提取方法及装置
CN108921143A (zh) * 2018-08-22 2018-11-30 北京慕华信息科技有限公司 一种面部仪态的评估方法及装置
CN110956061B (zh) * 2018-09-27 2024-04-16 北京市商汤科技开发有限公司 动作识别方法及装置、驾驶员状态分析方法及装置
CN111091028A (zh) * 2018-10-23 2020-05-01 北京嘀嘀无限科技发展有限公司 摇头动作识别方法、装置及存储介质
CN109395387B (zh) * 2018-12-07 2022-05-20 腾讯科技（深圳）有限公司 三维模型的显示方法、装置、存储介质及电子装置
CN109547696B (zh) * 2018-12-12 2021-07-30 维沃移动通信（杭州）有限公司 一种拍摄方法及终端设备
CN109803165A (zh) * 2019-02-01 2019-05-24 北京达佳互联信息技术有限公司 视频处理的方法、装置、终端及存储介质
CN109885231B (zh) * 2019-02-27 2021-07-02 北京市商汤科技开发有限公司 显示方法及装置、电子设备及存储介质
CN111725185A (zh) * 2019-03-04 2020-09-29 苏州多感科技有限公司 图像传感器及其制备方法、图像识别方法、电子设备
CN109934766B (zh) * 2019-03-06 2021-11-30 北京市商汤科技开发有限公司 一种图像处理方法及装置
CN110069996A (zh) * 2019-03-22 2019-07-30 北京字节跳动网络技术有限公司 头部动作识别方法、装置和电子设备
CN109977868A (zh) * 2019-03-26 2019-07-05 深圳市商汤科技有限公司 图像渲染方法及装置、电子设备和存储介质
CN109859299B (zh) * 2019-03-27 2020-12-22 腾讯科技（深圳）有限公司 人像图片处理方法、装置、计算机可读存储介质和计算机设备
CN110188712B (zh) * 2019-06-03 2021-10-12 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
JP7353556B2 (ja) * 2019-12-26 2023-10-02 サンスター株式会社 咀嚼支援システム
CN111242090B (zh) * 2020-01-22 2023-06-23 腾讯科技（深圳）有限公司 基于人工智能的人脸识别方法、装置、设备及介质
TWI736116B (zh) * 2020-01-22 2021-08-11 中國醫藥大學 臉部特徵長度量測方法及其裝置
CN111340688B (zh) * 2020-02-24 2023-08-11 网易（杭州）网络有限公司 一种闭眼图像的生成方法和装置
KR102539135B1 (ko) * 2020-06-10 2023-06-01 재단법인대구경북과학기술원 안면 마스크 제어 모듈 및 광 조사 시스템
CN111832512A (zh) * 2020-07-21 2020-10-27 虎博网络技术(上海)有限公司 表情检测方法和装置
KR102293108B1 (ko) 2020-11-23 2021-08-25 주식회사 알리아스 화장자의 영상 이미지 추출 및 얼굴 투영 시스템
CN112926539A (zh) * 2021-04-07 2021-06-08 北京字跳网络技术有限公司 图像处理方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609475A (zh) * 2008-06-16 2009-12-23 佳能株式会社 个人认证设备和个人认证方法
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002031772A2 (en) * 2000-10-13 2002-04-18 Erdem Tanju A Method for tracking motion of a face
EP3358501B1 (en) * 2003-07-18 2020-01-01 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
TWI365416B (en) * 2007-02-16 2012-06-01 Ind Tech Res Inst Method of emotion recognition and learning new identification information
US8965762B2 (en) * 2007-02-16 2015-02-24 Industrial Technology Research Institute Bimodal emotion recognition method and system utilizing a support vector machine
JP5219184B2 (ja) * 2007-04-24 2013-06-26 任天堂株式会社 トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法
JP4999570B2 (ja) * 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
US8170298B2 (en) * 2008-05-16 2012-05-01 Arcsoft, Inc. Method for detecting facial expression and repairing smile face of portrait photo
JP2010086178A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 画像合成装置およびその制御方法
JP5106355B2 (ja) * 2008-11-13 2012-12-26 キヤノン株式会社 表情判定装置、その制御方法、撮像装置及びプログラム
JP4788786B2 (ja) * 2009-02-09 2011-10-05 株式会社デンソー 眠気検出装置，プログラムおよび眠気検出方法
KR100954835B1 (ko) * 2009-08-04 2010-04-30 주식회사 크라스아이디 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
JP2011192008A (ja) * 2010-03-15 2011-09-29 Zeta Bridge Corp 画像処理システムおよび画像処理方法
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
CN102831382A (zh) * 2011-06-15 2012-12-19 北京三星通信技术研究有限公司 人脸跟踪设备和方法
JP5894426B2 (ja) * 2011-12-13 2016-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
JP6148064B2 (ja) * 2013-04-30 2017-06-14 セコム株式会社 顔認証システム
KR101571241B1 (ko) * 2014-04-23 2015-11-23 한국 한의학 연구원 안면 표현형 결정 장치 및 방법
EP3154029A4 (en) * 2014-06-06 2018-02-28 Sony Interactive Entertainment Inc. Image processing device, image processing method, and image processng program
WO2016101131A1 (en) * 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
CN105205457A (zh) * 2015-09-10 2015-12-30 上海卓易科技股份有限公司 一种基于人脸识别的信息获取系统及方法
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609475A (zh) * 2008-06-16 2009-12-23 佳能株式会社 个人认证设备和个人认证方法
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method

Also Published As

Publication number Publication date
KR20180066160A (ko) 2018-06-18
JP6636154B2 (ja) 2020-01-29
EP3454250B1 (en) 2024-01-03
JP2019504386A (ja) 2019-02-14
EP3454250A4 (en) 2020-02-26
KR102045695B1 (ko) 2019-11-15
CN105975935A (zh) 2016-09-28
US20180232561A1 (en) 2018-08-16
EP3454250A1 (en) 2019-03-13
US10783354B2 (en) 2020-09-22
WO2017190646A1 (zh) 2017-11-09

Similar Documents

Publication Publication Date Title
CN105975935B (zh) 一种人脸图像处理方法和装置
CN105072327B (zh) 一种防闭眼的人像拍摄处理的方法和装置
US8044989B2 (en) Mute function for video applications
EP2634727B1 (en) Method and portable terminal for correcting gaze direction of user in image
CN105825486B (zh) 美颜处理的方法及装置
US8957943B2 (en) Gaze direction adjustment for video calls and meetings
CN108712603B (zh) 一种图像处理方法及移动终端
WO2014205239A1 (en) Systems and methods for enhancement of facial expressions
KR20190020779A (ko) 인게이지먼트값 처리 시스템 및 인게이지먼트값 처리 장치
CN106235931A (zh) 控制洁面仪工作的方法及装置
KR102045575B1 (ko) 스마트 미러 디스플레이 장치
CN107437052A (zh) 基于微表情识别的相亲满意度计算方法和系统
CN105763829A (zh) 一种图像处理方法及电子设备
CN111382648A (zh) 人脸动态表情的检测方法、装置、设备及存储介质
CN115599219B (zh) 一种显示屏的护眼控制方法、系统、设备及存储介质
CN110276308A (zh) 图像处理方法及装置
CN107835359A (zh) 一种移动终端的拍照触发方法、移动终端及存储设备
CN108986019A (zh) 肤色调整方法及装置、电子设备、机器可读存储介质
CN104219444A (zh) 视频拍摄的处理方法及装置
CN109615593A (zh) 图像处理方法及装置、电子设备和存储介质
CN105100368B (zh) 信息处理方法及装置
CN111507149B (zh) 基于表情识别的交互方法、装置和设备
CN108898058A (zh) 心理活动的识别方法、智能领带及存储介质
CN103491297A (zh) 拍照方法及设备
CN111833257A (zh) 视频动态换脸方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231226

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right