CN109325988B - 一种面部表情合成方法、装置及电子设备 - Google Patents

一种面部表情合成方法、装置及电子设备 Download PDF

Info

Publication number
CN109325988B
CN109325988B CN201710640537.8A CN201710640537A CN109325988B CN 109325988 B CN109325988 B CN 109325988B CN 201710640537 A CN201710640537 A CN 201710640537A CN 109325988 B CN109325988 B CN 109325988B
Authority
CN
China
Prior art keywords
image
target
region
processed
skin color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710640537.8A
Other languages
English (en)
Other versions
CN109325988A (zh
Inventor
郑永森
朱晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710640537.8A priority Critical patent/CN109325988B/zh
Priority to PCT/CN2018/097180 priority patent/WO2019024751A1/zh
Priority to KR1020207005131A priority patent/KR102304674B1/ko
Priority to JP2020503323A priority patent/JP6956252B2/ja
Publication of CN109325988A publication Critical patent/CN109325988A/zh
Priority to US16/774,988 priority patent/US11030439B2/en
Application granted granted Critical
Publication of CN109325988B publication Critical patent/CN109325988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请实施例提供一种面部表情合成方法、装置及电子设备，利用人脸识别技术对待处理面部图像进行处理，得到对应的肤色信息，从而从表情素材图像库中，筛选与该肤色信息匹配的目标表情素材图像，再提取该目标表情素材图像中目标合成区域对应的区域图像，这样，通过泊松融合方式将该区域图像合成到待处理面部图像时，实现了无缝融合，保证最终所得目标面部图像的整体肤色协调、自然，且保留了区域图像中表情细节，提高了面部器官定位精准度，从而使得到的合成图像更加生动形象。

Description

一种面部表情合成方法、装置及电子设备
技术领域
本申请涉及数据处理技术领域，具体涉及一种面部表情合成方法、装置及电子设备。
背景技术
面部表情是指通过眼部肌肉、颜面肌肉和口部肌肉的变化，来表现各种情绪状态，如高兴、惊奇、伤心、害怕、害羞、生气等等。面部表情作为一种微妙的形体语言，是人们传递情感信息的重要手段，通过对人脸图像进行表情分析，可有效洞悉用户的内心世界，从而使得面对面的交流更加生动。
近年来，面部表情的合成在人物动画、人机交互以及电视会议等应用中备受关注，人们可以根据个人兴趣或实际需要，将面部的某一种状态替换成多种状态进行多样化呈现，从而提高大众娱乐性和趣味性。
现有技术中，常用采用基于颜色直方图、肤色融合算法以及直接黏贴等方式，实现面部表情的替换，如将用户A生气的嘴巴替换成用户B微笑的嘴巴、将用户C的微笑的单眼皮眼睛替换成用户D生气的双眼皮眼睛等。然而，面部表情的变化不仅包括整体面部特征的运动变形(如嘴巴和眼睛的睁开或闭合)，而且包括局部外观的细微变化。现有的面部表情合成方法达到的合成效果差强人意，往往会存在肤色融合不均、面部器官定位不准、边缘棱角突兀等问题，导致面部表情的合成效率较低。
发明内容
有鉴于此，本申请实施例提供一种面部表情合成方法、装置及电子设备，解决了现有的面部表情合成方法得到的合成图像中，存在的肤色融合不均、面部器官定位不准，边缘棱角突兀等技术问题。
为解决上述技术问题，本申请实施例提供如下技术方案：
本申请实施例提供了一种面部表情合成方法，所述方法包括：
获得目标对象的待处理面部图像，并利用人脸识别技术对所述待处理面部图像进行处理，得到所述待处理面部图像的肤色信息；
筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像；
提取所述目标表情素材图像中目标合成区域对应的区域图像；
对所述区域图像和所述待处理面部图像进行泊松融合处理，得到所述目标对象的目标面部图像。
本申请实施例还提供了一种面部表情合成装置，所述装置包括：
图像获得模块，用于获得目标对象的待处理面部图像；
图像处理模块，用于利用人脸识别技术对所述待处理面部图像进行处理，得到所述待处理面部图像的肤色信息；
图像筛选模块，用于筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像；
图像提取模块，用于提取所述目标表情素材图像中目标合成区域对应的区域图像；
图像融合模块，用于对所述区域图像和所述待处理面部图像进行泊松融合处理，得到所述目标对象的目标面部图像。
本申请实施例还提供了一种电子设备，所述电子设备包括：
通信接口；
存储器，用于存储实现如上所述的面部表情合成方法的多个指令；
处理器，用于加载并执行所述多个指令，包括：
获得目标对象的待处理面部图像，并利用人脸识别技术对所述待处理面部图像进行处理，得到所述待处理面部图像的肤色信息；
筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像；
提取所述目标表情素材图像中目标合成区域对应的区域图像；
对所述区域图像和所述待处理面部图像进行泊松融合处理，得到所述目标对象的目标面部图像。
基于上述技术方案，本申请实施例在选择目标表情素材来与待处理面部图像进行合成时，考虑到了待处理面部图像与表情素材图像的肤色差异性，使得所选取的目标表情素材图像与待处理面部的肤色非常相近甚至相同，从而保证了将提取的区域图像合成到待处理面部图像时，两者之间能够无缝融合，使得最终得到的合成图像整体肤色协调、自然，且保留了区域图像中表情细节，提高了面部器官定位精准度，从而使得到的合成图像更加生动形象。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种电子设备的硬件结构图；
图2为本申请实施例提供的一种面部表情合成方法的流程示意图；
图3为本申请实施例提供的一种面部图像中提取的面部特征点的示意图；
图4a为本申请实施例提供的一种目标对象的待处理面部图像示意图；
图4b为本申请实施例提供的一种目标表情素材图像的示意图；
图4c为本申请实施例提供的针对图4b的目标表情素材图像得到的目标合成区域；
图4d为本申请实施例提供的图4b的目标表情素材图像中，与图4c所示的目标合成区域对应的区域图像；
图4e和图4f分别是本申请实施例提供的目标面部图像的示意图；
图5为本申请实施例提供的图像合成示意图；
图6为本申请实施例提供的一种面部表情合成方法的信令图；
图7为本申请实施例提供的一种待处理面部表情选择界面；
图8为本申请实施例提供的另一种面部表情合成方法的流程示意图；
图9a和图9d分别为本申请实施例提供的目标对象的待处理面部图像；
图9b为针对图9a的待处理面部图像筛选出的目标表情素材图像；
图9c为将图9b所示的区域图像合成到图9a的待处理面部图像中得到的合成图像；
图9e为针对图9d的待处理面部图像筛选出的目标表情素材图像；
图9f为将图9e所示的区域图像合成到图9d的待处理面部图像中得到的合成图像；
图10为本申请实施例提供的一种面部表情合成装置的结构框图；
图11为本申请实施例提供的另一种面部表情合成装置的结构框图；
图12为本申请实施例提供的又一种面部表情合成装置的结构框图；
图13为本申请实施例提供的又一种面部表情合成装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例提供的面部表情合成方法可以应用于具有数据处理能力的电子设备，该电子设备可能是网络侧设置的服务器，也可能是用户侧设置的PC(个人计算机)等终端设备；该计算设备可以通过装载功能与本申请实施例提供的面部表情合成方法相应的程序，实施本申请实施例提供的面部表情合成方法，该程序可以存储于计算设备的存储器中，并由处理器调用实现程序功能；
可选的，图1示出了本申请实施例提供的电子设备的硬件结构框图，参照图1，该电子设备可以包括：通信接口11，存储器12，处理器13和通信总线14等，其中：
在本申请实施例中，通信接口11，存储器12，处理器13、通信总线14的数量均可以为至少一个，且通信接口11，存储器12，处理器13可以通过通信总线14完成相互间的通信。
可选的，通信接口11可以为通信模块的接口，如GSM模块的接口，用于实现与其他设备的数据交互，如接收表情素材库反馈的所需的目标表情素材图像等等。
处理器13可以是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例提供的面部表情合成方法的一个或多个集成电路。
存储器12可以包含高速RAM存储器，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
在本申请中，存储器12可以存储用于实现本申请实施例提供的面部表情合成方法的多个指令构成的程序，由处理器13调用并加载存储器13所存储的程序，从而实现本本申请实施例提供的面部表情合成方法，具体实现过程可以参照下文相应实施例的描述。
需要说明的是，图1所示电子设备的硬件结构仅是可选的，根据使用需要，计算设备还可以设置显示屏、信息输入装置(键盘、鼠标等)、图形处理器、图像采集器等，本申请在此不再一一详述。
下面站在电子设备的角度，对本申请实施例提供的面部表情合成方法进行介绍，下文描述的方法步骤可以由电子设备执行相应的程序实施。
图2为本申请实施例提供的面部表情合成方法的流程图，该方法可应用于电子设备，参照图2，该方法可以包括：
步骤S201，获得目标对象的待处理面部图像；
本申请中，面部图像可以是二维图像，具体可以是终端设备通过摄像头采集到的包含目标对象的图像，或者是从本地图像库中调取的包含目标对象的图像，或者是其他设备发送的图像，本申请对目标对象的面部图像的获取方式不作限定。
可选的，若实现本实施例提供的面部表情合成方法的电子设备是终端设备，在实际应用中，终端设备可以直接通过摄像头进行图像采集，并利用人脸检测算法对采集到的图像进行处理，判断该图像中是否存在目标对象的面部图像，若不存在，继续对下一帧图像进行人脸检测，直至获得目标对象的面部图像；若存在，可以提取目标对象的面部区域部分，得到待处理的面部图像。
当然，终端设备还可以直接将本地图像库中存储的多个面部图像显示出来，由用户根据需要从中选择一个作为目标对象的待处理面部图像。此外，终端设备还可以通过其他方式获得目标对象的待处理面部图像，如通过网络从网页中下载等等，本申请在此不再一一列举。
作为本申请另一实施例，若实现本实施例提供的面部表情合成方法的电子设备是服务器，此时，用户利用终端设备确定目标对象的待处理面部图像后，可以直接上传至该服务器进行后续处理。
步骤S202，利用人脸识别技术对待处理面部图像进行处理，得到待处理面部图像的肤色信息；
可选的，在本申请中，在获得目标对象的待处理面部图像之后，本申请可以利用面部特征点定位算法，对该待处理面部图像进行处理，自动定位出的多个面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及面部各部件轮廓点等等，如图3所示黑点。可见，第一面部特征点可以是待处理面部图像的多个面部关键特征点。
其中，面部特征点定位算法还可以包括ASM(Active Shape Model，主动形状模型)算法、AAM(Active Appearance Model，主动外观模型)算法等等，主要是利用人脸纹理特征和各个特征点之间的位置约束结合实现，本申请对识别面部特征点的实现方法不作详述。
可选的，根据需要可以将确定的面部关键特征点进行标记，以便确定上述各部件所在区域的形状，本申请对面部关键特征点的标记方法不作限定。
在确定需要检测肤色信息的目标合成区域和/或整个面部区域后，可以利用对应区域内的面部特征点，形成对应的多边形图形，其中，该多边形图像的端点可以为对应区域中的第一面部特征点，边通常不包含对应区域中的第一面部特征点，如图3中嘴巴边界的关键特征点连接形成的多边形图形，但并不局限于此。
之后，本申请可以采用肤色检测算法对形成的各多边形图形中的图像进行检测，得到对应的肤色信息，作为后续筛选目标表情素材图像的条件。
需要说明的是，在本申请中，根据筛选条件的不同，需要检测肤色信息的区域(即多边形图形的所围成的区域)不同，如对待处理面部图像的整个面部区域进行肤色检测、和/或对如嘴巴区域等目标合成区域进行肤色检测、对待处理面部图像中的其他区域进行肤色检测等等。
其中，对于不同的肤色信息的检测区域，要求表情素材图像库中各表情素材图像的分类存储方式不同，具体实现过程可以参照下文相应实施例的描述，本实施例在此不再详述。
步骤S203，筛选表情素材图像库中与该肤色信息匹配的目标表情素材图像；
在实际应用中，由于不同用户的肤色会有一定差异，如果使用同一表情素材，往往无法满足用户的肤色要求，将导致待处理面部图像与表情素材图像融合时，两者肤色相差较大，使得得到的合成图像非常不自然。基于此，本申请在筛选用于目标对象的待处理面部表情合成的素材时，考虑了两者的肤色差异情况。
可选的，在表情素材图像库中，其包含的多个表情素材图像可以按照其对应的肤色信息进行分类存储；而且，由于同一表情素材图像的光照条件不同的情况下，所检测到的肤色信息通常会有所差异，所以，本实施例对于同一表情素材图像，还可以进一步结合光照条件，实现肤色信息的分类存储，本申请对其具体存储方式不作限定，如表格对应关系表、映射函数等方式，本申请在此不作详述。
其中，在对多个表情素材图像按照肤色信息进行分类时，可以根据各表情素材图像的整个面部肤色信息、目标合成区域的肤色信息和/或其他区域的肤色信息等多个肤色信息实现分类，从而提高表情素材图像的分类精确度。基于此，当从中筛选目标表情素材图像时，可以按照多个肤色信息实现筛选，大大提高了筛选所得图像与待处理面部图像的肤色匹配度，保证了最终所得目标面部图像自然。
可选的，本申请可以采用人脸识别算法，获得各表情素材图像的面部图像区域、各部件区域以及对应的肤色信息，具体实现方法不作详述。
步骤S204，提取所目标表情素材图像中目标合成区域对应的区域图像；
可选的，与上述待处理面部图像的目标合成区域的获取方式类似，本申请也可以通过识别目标表情素材图像的面部特征点，从而利用得到的多个面部特征点，形成多边形图形，从而获取目标合成区域对应的区域图像。
例如，假设目标对象的面部图像如图4a所示，所获取的目标表情素材图像如图4b所示，假设当需要对目标对象的待处理面部图像中的嘴巴区域进行替换，即将目标表情素材图像中的嘴巴区域合成到待处理面部图像中，可以利用目标表情素材图像的嘴巴区域的关键特征点连接，形成如图4c所示的多边形图形，从而获得该多边形图形对应的如图4d所示的区域图像。
需要说明的是，对于提取目标表情素材图像中的目标合成区域的区域图像的方式，并不局限于上文描述的方式。
步骤S205，对区域图像和待处理面部图像进行泊松融合处理，得到目标对象的目标面部图像。
在实际应用中，常用的图像滤波去噪算法通过可以分为两大类，一类是对图像进行全局处理，一类是使用局部算子，其中，全局处理的主要思想是先对图像进行数学变换，然后再在变换域中进行滤波，最后进行逆变换得到去噪后的图像，使用局部算子的方法的主要思想是对含噪图像的某一像素进行处理，仅对该像素使用局部算子，适用于无法或不便估计噪声模型的情况，通常包括传统的领域平均法、中值滤波算法以及模板平滑算法等，然而，这些方法在有效滤除图像中噪声的同时，会使图像的边缘及细节变得较为模糊，在一定程度上影响了图像的处理效果，不符合保持尽量多的细节信息，使得合成后的图像更加真实、自然的初衷。
针对此，本申请将考虑光照等因素在表明细节图像中的空间位置信息，使用泊松算法对获取的区域图像进行滤波处理，再对滤波后的图像使用泊松融合方法，将其合成到待处理面部图像上，得到目标面部图像。其中，关于泊松算法对区域图像以及待处理面部图像的处理过程可以参照下文实施例的描述，本实施例在此不再详述。但需要说明的是，关于利用泊松算法，实现区域图像与待处理面部图像的融合处理方法，并不局限于本申请下文实施例描述的方法，本申请在此仅以此为例进行说明。
综上所述，本申请在选择目标表情素材时，考虑到了待处理面部图像与表情素材图像的肤色差异性，使得所选取的目标表情素材图像与待处理面部的肤色非常相近甚至相同，从而保证了将提取的区域图像合成到待处理面部图像时，两者之间能够无缝融合，得到的合成图像整体肤色自然、流畅。
而且，在图像融合过程中，本申请是才泊松融合方式对获取的区域图像进行滤波处理，使得处理后的表情细节更加的鲁棒，减少了合成结果中嘴巴区域的重影，有效的保持了目标对象的面部的光照和肤色信息。
可选的，为了更加清楚说明上述图像融合处理过程，本申请将结合图5所示的示意图进行描述，其中，图5中的ImageA为输入的目标对象的待处理面部图像，ImageB为获得的目标表情素材的区域图像。
在图像融合过程中，期望ImageB能够根据ImageA进行颜色变换，同时能够以某种方式保留自身图像的特征细节，比如边缘、角落、过渡等。在实际应用中，泊松算法通常是允许调整ImageB的绝对信息(如颜色)，但在其黏贴到ImageA上之后，将会尽可能保留ImageB的相对信息(如图像梯度)。为了实现该技术效果，可以会通过如下公式(1)来实现目标面部图像的边界约束，但并不局限于此。
Figure BDA0001365817110000091
公式(1)中，A表示上述输入的目标对象的待处理面部图像ImageA，B表示目标表情素材的区域图像ImageB，H表示合成后的目标面部图像，
Figure BDA0001365817110000097
(x，y)表示H的所有像素，
Figure BDA0001365817110000093
表示区域图像ImageB的边界。
在本申请中，经过图像融合处理后得到的目标面部图像H的边界上的像素，通常是与该边界上的A中的像素完全相同，从而使B能够匹配其边界外侧的像素，将A在B边界处的像素向内混合。
其中，为了保证合成后目标面部图像的合成质量，使得合成得到的目标面部图像的合成区域不突兀，通常要求H内部的像素的梯度等于B内部像素的梯度，对此，本申请可以定义图像的梯度斑点▽B(x,y)是该像素B(x,y)与其所有邻居像素(如B(x-1,y)、B(x+1,y)、B(x,y-1)、B(x,y+1)等四个与像素B(x,y)相邻的像素点)之间的差异的总和，即下面公式(2)，通过这种方式计算像素的梯度，但并不局限于这一种像素梯度计算方法。
Figure BDA0001365817110000094
公式(2)中，B(x,y)表示图像B中的像素，
Figure BDA0001365817110000095
表示图像像素的梯度符号。
可选的，在计算像素的梯度过程中，若存在某像素的邻居像素是图像的边界像素，可以采用公式(3)所示的方式计算B内像素的方式，所得结果通常是固定值。若存在邻居像素恰好位于选择的像素边界之外，可以将该邻居像素排除。
Figure BDA0001365817110000096
其中，(x，y)是2D网络上感兴趣的像素位置，N是H中的像素在包括边界(图像向外扩展的像素个数小于或等于4)的选择区域内，实际具有的有效相邻像素的数量，Ω是除去边界的B和H的选择区域，局部“Ω”是选择区域的边界，并且(dx,dy)属于{(-1,0),(1,0),(0,-1),(0,1)}的子集。可选的，关于上述公式(3)可以分解如下：
公式(3)等式左边通过对H(x,y)与其所有N个邻居像素之间的差进行求和，来计算未知点H(x,y)的空间梯度；等式左边第一个求和表示H(x,y)与选择区域Ω上的其他像素点(x',y')的差，(x',y')为H(x,y)中邻居像素的位置，第二个求和表示H(x,y)与边界像素点的差异。等式右边仅仅是(x,y)处的图像B的梯度，希望与H(x,y)处的新图像H的梯度匹配。
需要说明的是，对于彩色图像，可以分别对R、G、B三个通道的像素进行方程组的求解，每个通道的具体求解过程可以参照上文描述的计算过程，本申请在此不再一一详述。
如图6所示，为本申请实施例提供的另一种面部表情合成方法的信令图，本实施例从电子设备的各组成硬件角度进行描述，但并不局限于本实施例描述的这种实现方式，参照图6，该方法可以包括：
步骤S601，图像采集器对目标对象进行图像采集，得到待处理面部图像；
在本申请中，可以结合人脸识别技术对采集到的图像进行识别，确定当前采集到的图像包含目标对象的面部信息，将该图像作为待处理面部图像，或者提取该图像中的面部图像作为待处理面部图像，本申请对此不作限定。
步骤S602，图像采集器将待处理面部图像发送至处理器；
需要说明的是，对于处理器获得待处理面部图像的方式，不局限于本实施例描述的这种图像采集器采集并发送给处理器的方式，如上述图2对应的实施例相应部分的描述，还可以获取本地存储的有关目标对象的多个图像，如图7所示，再由用户根据自己需要，从中选择一个图像，作为待处理面部图像等等，本申请在此不再一一详述。
步骤S603，处理器识别待处理面部图像的第一面部特征点；
参照图3，本申请可以利用面部特征点定位算法，对该待处理面部图像进行处理，自动定位出的多个面部关键特征点即第一面部特征点。同时，还可以根据需要可以将确定的面部关键特征点进行标记，以便确定上述各部件所在区域的形状，本申请对面部关键特征点的标记方法不作限定。
步骤S604，处理器利用第一面部特征点的标记信息，确定待处理面部图像中目标合成区域的第一区域图像；
由于待处理面部图像的第一面部特征点位于眉毛、眼睛、鼻子、嘴以及脸的轮廓线上，这样，根据得到的多个面部关键特征点的标记信息，就能够得到目标对象的各部件(如眼睛、鼻子、嘴巴、眉毛以及面部等)的形状，如嘴巴区域、眼睛区域、鼻子区域等等，本实施例仅以嘴巴区域的替换为例进行说明，对于其他区域的替换方式与此类型，本申请在此不再一一详述。
可见，目标合成区域可以是待处理面部图像中的嘴巴区域，第一区域图像即为该待处理面部图像中的嘴巴区域图像。如上述3所示，可以通过将嘴巴关键特征点连接起来，确定嘴巴区域及其图像，但并不局限于此。
也就是说，通过获取待处理面部图像中目标合成区域的第一面部特征点相应的多边形图形，该多边形图形的端点为目标合成区域的第一面部特征点，其边通常并不包含该第一面部特征点。之后，提取该多边形图形对应的图像，作为待处理面部图像需要替换的第一区域。
步骤S605，处理器对第一区域图像以及待处理面部图像中的其他区域图像进行肤色检测，确定第一区域图像的第一肤色信息以及其他区域图像的第二肤色信息；
在本申请中，可以采用如OpenCV皮肤检测算法、基于不同颜色空间区域划分的皮肤算法等，实现对待处理面部图像中第一区域图像以及其他区域图像(尤其是与目标合成区域相邻的区域图像)的肤色检测，关于图像肤色检测的实现过程本申请在此不作详述，且本申请对得到的第一肤色信息以及第二肤色信息包含的具体内容也不作限定，如相应部分的像素值等。
可见，上述第一肤色信息是指目标对象的待处理面部图像中需要替换的区域图像的肤色信息，即嘴巴区域的肤色信息；而第二肤色信息可以是目标对象的嘴巴之外的其他区域的图像的肤色信息。
作为本申请另一实施例，本申请还可以利用上述方式，仅对对待处理面部图像中的目标合成区域进行肤色检测，得到相应的第一肤色信息。
步骤S606，处理器读取表情素材图像库，筛选与第一肤色信息和所述第二肤色信息匹配的目标表情素材图像；
在本实施例中，在对表情素材图像库进行图像筛选时，同时考虑了目标合成区域的肤色信息以及其他区域的肤色信息，提高了所得目标表情素材图像的精确度，进而保证了最终所得合成图像整体肤色自然、流畅。
作为本申请另一实施例，在实际应用中，当目标对象面部的其他部分图像(即除目标合成区域之外区域的图像)不需要改变，可以对面部其他部分的肤色差异情况不作考虑，直接考虑第一目标区域的肤色匹配度，也就是说，直接筛选与第一肤色信息匹配的目标表情素材图像。
需要说明的是，基于上述不同筛选方式的描述，本申请对于表情素材图像库中的各表情素材图像的分类存储方式可能有所差别，若需要利用第一肤色信息和第二肤色信息进行目标表情素材图像的筛选，可以根据目标合成区域的肤色信息以及其他区域的肤色信息等至少两方面标准进行分类存储。若需要利用第一肤色信息进行目标表情素材图像的筛选，可以根据各表情素材图像中目标合成区域(即与上述目标对象的面部表情合成的区域)的肤色信息进行分类存储，本申请对各表情素材图像的分类存储方式不作限定。
可选的，在本申请中，可以采用表格方式实现各表情素材图像的面部图像区域、各部件区域以及对应的肤色信息的存储，这样，在确定对该表格的筛选条件(如上述第一肤色信息和第二肤色信息，或者仅第二肤色信息或第一肤色信息等)后，可以将其与该表格中对应项的肤色信息进行对比，如将第一肤色信息与各表情素材图像中与第一目标区域对应区域图像的肤色信息进行对比，将第二肤色信息与各表情素材图像的面部图像的肤色信息进行对比，从而筛选出与该第一肤色信息和第二肤色信息匹配的目标表情素材图像。
作为本申请另一实施例，在筛选表情素材图像之前，本申请也可预先设定表情素材图像的肤色信息与第一肤色信息的匹配值(如相似值)的第一范围，以及表情素材图像的肤色信息与第二肤色信息的匹配值的第二范围。这样，在筛选时，可以检测各表情素材图像的肤色信息中是否存在与第一肤色信息和第二肤色信息都相同的表情素材图像；若存在，可以直接将其作为目标素材图像；若不存在，可以筛选与第二肤色信息的匹配度在第二范围内的表情素材图像中，与第一肤色信息最匹配的肤色信息对应的表情素材图像作为目标表情素材图像；或者筛选与第一肤色信息的匹配度在第一范围内的表情素材图像中，与第二肤色信息最匹配的肤色信息对应的表情素材图像作为目标表情素材图像，具体可以根据用户设定确定，本申请对此不作限定。
可选的，当检测到各表情素材图像的肤色信息中不存在与第一肤色信息和第二肤色信息都相同的表情素材图像，还可以筛选出与第一肤色信息的匹配度在第一范围内的表情素材图像，以及与第二肤色信息的匹配度在第二范围内的多个表情素材图像，并将这多个表情素材图像显示出来，由用户根据个人兴趣选择一个作为目标表情素材图像等。
当然，若仅需要筛选与第一肤色信息或第二肤色信息相匹配的目标表情素材图像，以筛选与第一肤色信息匹配的目标表情素材图像为例进行说明，可以先检测各表情素材图像的肤色信息中是否存在与第一肤色信息相同的表情素材图像；若存在，可以直接将其作为目标素材图像；若不存在，可以筛选与该第一肤色信息最匹配的肤色信息对应的表情素材图像作为目标表情素材图像。
可选的，本申请的表情素材图像库可以位于电子设备本地，也可以位于网络侧，由电子设备根据将第一肤色信息以及第二肤色信息发送至网络侧进行筛选，再将筛选得到的目标表情素材图像反馈至电子设备，具体过程与本实施例类似，本申请不再举例说明。
步骤S607，处理器识别目标表情素材图像的第二面部特征点，并利用第二面部特征点，确定目标表情素材图像中目标合成区域的第二区域图像；
其中，关于识别目标表情素材图像的第二面部特征点，以及确定第二区域图像的实现方法，可以参照上述识别待处理面部图像的第一面部特征点，并确定第一区域图像的实现方法的描述，本实施例在此不再赘述。
在实际应用中，待确定目标表情素材图像的第二面部特征点(即目标表情素材的关键特征点，如图3所示黑点)后，可以根据预设要求，选定用于与待处理面部图像进行合成的第二区域图像。其中，预设要求是基于待处理面部图像需要替换的第一区域图像确定，具体可以包括表征目标合成区域的信息，如目标合成区域的空间坐标等，本申请对该预设要求包含的内容不作限定。
参照上图4a、图4b、图4c以及图4d，目标合成区域是图4a中的嘴巴区域，所以，本实施例在筛选得到图4b所示的目标表情素材图像后，可以利用关键特征点所形成的多边形图形，得到如图4d所示的嘴巴区域的图像，即第二区域图像。也就是说，获取目标表情素材图像中目标合成区域的第二面部特征点形成的多边形图形，提取该多边形图形所对应的第二区域图像，即为目标表情素材图像中，用来与待处理面部表情合成的区域图像。
可选的，为了保证所获取的第二区域图像与待处理面部图像需要替换区域吻合，也就是说，所得到如图4d所示的嘴巴区域图像融合到如图4a所示的待处理面部图像中，该嘴巴尺寸与面部尺寸关系协调，可以利用预先通过多个样本用户的面部图像，得到的面部图像三维模型实现，具体的，可以先在面部图像三维模型上确定目标区域，再分别将目标对象的待处理面部图像以及目标表情素材图像映射到该三维模型中，从而获得第一区域图像以及第二区域图像，从而保证了第一区域图像与第二区域图像能够对齐吻合。
其中，本申请也可以通过对第二区域图像进行缩放处理，从而使处理后的第二区域图像能够与待处理面部图像的整体协调，避免出现如图4e所示的第二区域图像过小等不协调的情况，导致得到的合成图像整体不自然。
作为本申请另一个实施例，本申请也可以在筛选得到目标表情素材图像之后，且提取第二区域图像之前，对目标表情素材图像整体进行缩放处理，从而使处理后的目标表情素材图像与待处理面部图像对齐，保证提取的第二区域图像合成到待处理面部图像中协调等等。
需要说明的是，关于第一区域图像以及第二区域图像的获取方法，并不局限于上文描述的实现方式，还可以利用坐标定位等方式确定，本申请在此不再一一详述。
步骤S608，处理器通过泊松融合方式，将第二区域图像合成到待处理面部图像中，得到目标对象的目标面部图像；
可选的，结合上述实施例对泊松融合方式的解释，步骤S608具体可以包括：利用第二区域图像中的像素以及对应的邻居像素，计算第二区域图像的像素梯度；利用泊松算法将第二区域图像合成到所述待处理面部图像，并计算得到的合成图像的像素梯度；确定合成图像的像素梯度等于第二区域图像的像素梯度，将该合成图像作为目标对象的目标面部图像；反之，确定合成图像的像素梯度不等于第二区域图像的像素梯度，调整第二区域图像中的像素，直至合成图像的像素梯度等于第二区域图像的像素梯度，从而保证所得目标面部图像协调。
步骤S609，处理器将得到的目标面部图像发送至显示器；
可选的，处理器还可以将得到的目标面部图像发送至存储器进行存储，或者发送至网络侧，以实现合成图像的共享，本申请对此实现方法不作限定。
步骤S610，显示器显示该目标面部图像。
在本实施例，可以根据显示器显示的合成图像，如图4f所示，判断其是否为用户所需要的图像，若不是，还可以按照上述方式重新进行图像合成，以便得到用户希望的合成图像。
综上，本实施例中，结合待处理面部图像中需要替换的区域的肤色信息，以及其他区域的肤色信息，实现对目标表情素材图像的筛选，大大提高了目标表情素材图像中目标合成区域的区域图像与待处理面部图像的吻合度，保证所得合成图像整体肤色协调、自然，且保证了面部器官定位，保留了区域图像中表情细节，从而使得到的合成图像更加生动形象，提高了面部表情图像的合成效率。
基于上述对本申请提供的面部表情合成方案的描述，在实际应用中，如在社交平台中，为了增加乐趣，可以采用上述图像合成方法，会自己选定的两个面部图像进行表情互换，或利用选定的一个面部图像的某一区域图像替换另一面部图像中对应区域图像，从而获得面部换表情的结果，如将愤怒对象换成高兴对象等。
具体的，结合图8所示的面部表情合成方法的流程示意图，当用户希望对A对象(如图9a或图9d)的嘴巴表情进行替换时，可以按照上述方式，结合A对象及其嘴巴区域的肤色信息，选择实现图像合成的B对象的图像。例如，针对图9a所示的待处理面部图像，筛选出如图9b所示的目标表情素材图像；针对图9d所示的待处理面部图像，筛选出如图9e所示的目标表情素材图像。之后，经过区域图像的提取与预处理，可以结合泊松融合算法，将B对象的嘴巴区域融合到A对象的图像中，从而使A对象具有B对象的嘴巴表情。如图9c所示的合成图像，将图9a中闭嘴笑的嘴巴替换成图9b所示的开口笑的嘴巴；图9f所示的合成图像中，将图9d中呲牙笑的嘴巴替换成图9e所示的吐舌头的嘴巴等等。
由此可见，本申请可以采用上述方式得到目标对象各种各样的表情，增加了用户使用面部表情的乐趣。
需要说明的是，本申请上述目标合成区域并不局限于嘴巴区域，还可以是眼睛区域、鼻子区域等等，具体实现方法类似，本申请在此不再一一详述。
如图10所示，为本申请实施例提供了一种面部表情合成装置的结构框图，该装置应用于电子设备中，该电子设备可以是终端设备或服务器等，也就是说，本申请提供的该装置可以应用终端侧或网络侧，具体组成结构相同，本申请对此不再分别描述。在本实施例中，该装置可以包括：
图像获得模块101，用于获得目标对象的待处理面部图像；
可选的，在本申请中，图像获得模块101可以通过图像采集器获得待处理面部图像，也可以通过通信接口获得其他设备传输的待处理面部图像，本申请对此不作限定。
图像处理模块102，用于利用人脸识别技术对所述待处理面部图像进行处理，得到所述待处理面部图像的肤色信息；
可选的，参照图11，该图像处理模块102可以包括：
第一面部特征点识别单元1021，用于识别所述待处理面部图像的第一面部特征点；
第一区域图像确定单元1022，用于利用所述第一面部特征点，确定所述待处理面部图像中目标合成区域的第一区域图像；
第一肤色检测单元1023，用于对所述第一区域图像进行肤色检测，得到第一肤色信息。
其中，关于面部特征点的提取以及图像的肤色检测方法，可以参照上述实施例相应部分的描述，本实施例在此不再赘述。
另外，如图11所示，该图像处理模块102还可以包括：
第二肤色检测单元1024，用于对所述待处理面部图像的其他区域图像进行肤色检测，得到第二肤色信息。
其中，对于图像处理模块102不同的组成结构，用于筛选目标表情素材图像的筛选依据可以不同。
图像筛选模块103，用于筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像；
本申请中，若图像处理模块102仅获得了第一肤色信息或第二肤色信息，该图像筛选模块103具体可以用于筛选与第一肤色信息或第二肤色信息相匹配的目标表情素材图像；若图像处理模块102获得了第一肤色信息和第二肤色信息，该图像筛选模块103具体可以用于筛选与第一肤色信息和第二肤色信息相匹配的目标表情素材图像。
其中，对于不同的筛选方式，表情素材图像库中存储各表情素材图像的方式可以不同，具体内容可以参照上述方法实施例相应部分的描述。
图像提取模块104，用于提取所述目标表情素材图像中目标合成区域对应的区域图像；
可选的，如图12所示，图像提取模块104可以包括：
第二面部特征点识别单元1041，用于识别所述目标表情素材图像的第二面部特征点；
第二区域图像确定单元1042，用于利用所述第二面部特征点，确定所述目标表情素材图像中目标合成区域对应的第二区域图像。
图像融合模块105，用于对所述区域图像和所述待处理面部图像进行泊松融合处理，得到所述目标对象的目标面部图像。
可选的，如图13所示，该图像融合模块105可以包括：
像素梯度计算单元1051，用于利用所述区域图像中的像素以及对应的邻居像素，计算所述区域图像的像素梯度；
图像合成单元1052，用于利用泊松算法将所述区域图像合成到所述待处理面部图像，并计算得到的合成图像的像素梯度；
目标面部图像确定单元1053，用于确定所述合成图像的像素梯度等于所述区域图像的像素梯度，将所述合成图像作为所述目标对象的目标面部图像；
区域图像调整单元1054，用于确定所述合成图像的像素梯度不等于所述区域图像的像素梯度，调整所述区域图像中的像素，直至所述合成图像的像素梯度等于所述区域图像的像素梯度。
作为本申请另一实施例，在上述各实施例的基础上，该装置还可以包括：
图像调整模块，用于根据所述待处理面部图像，对所述目标表情素材图像进行缩放处理，以使处理后的目标表情素材图像与所述待处理面部图像对齐。
需要说明的是，对于在图像融合处理之前，对区域图像的调整方法并不局限于图像调整模块的方式，具体可以参照上述方法实施例相应部分的描述，本实施例在此不再赘述。
综上所述，本申请中，当需要更改目标对象的待处理面部图像的某区域的表情图像时，可以根据该区域的肤色信息以及其他区域的肤色信息，来选择肤色相匹配的目标表情素材图像，从而保证从该目标表情素材图像得到的目标合成区域的区域图像合成到待处理面部图像后，所得合成图像的整体肤色协调，且保留了区域图像中的表情细节，从而使合成图像更加生动形象。并且，由于本申请基于面部特征点定位目标合成区域，保证了所需替换的器官定位准确，提高了面部表情图像的合成效率。
上面主要是从面部表情合成装置的功能模块进行的描述，下面将从由硬件组成结构的角度，来介绍电子设备的硬件结构。
参照上图1所示的电子设备的硬件结构图，该电子设备可以包括：通信接口11、存储器12以及处理器13，其中：
通信接口11可以用来实现与其他设备通信，或读取本地存储器12中存储的表情素材图像等等。
存储器12，用于存储实现如上所述的面部表情合成方法的多个指令；
处理器13，用于加载并执行存储器12存储的多个指令，包括：
获得目标对象的待处理面部图像，并利用人脸识别技术对所述待处理面部图像进行处理，得到所述待处理面部图像的肤色信息；
筛选表情素材图像库中与所述肤色信息匹配的目标表情素材图像；
提取所述目标表情素材图像中目标合成区域对应的区域图像；
对所述区域图像和所述待处理面部图像进行泊松融合处理，得到所述目标对象的目标面部图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置和电子设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的核心思想或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种面部表情合成方法，其特征在于，所述方法包括：
获得目标对象的待处理面部图像；
识别所述待处理面部图像的第一面部特征点；
利用所述第一面部特征点，确定所述待处理面部图像中目标合成区域的第一区域图像；
对所述第一区域图像和其他区域图像进行肤色检测，得到第一肤色信息和第二肤色信息，所述其他区域图像为与所述目标合成区域相邻的区域图像；
筛选表情素材图像库中与所述第一肤色信息和所述第二肤色信息匹配的目标表情素材图像；
提取所述目标表情素材图像中目标合成区域对应的区域图像；
利用所述区域图像中的像素以及对应的邻居像素，计算所述区域图像的像素梯度；
利用泊松算法将所述区域图像合成到所述待处理面部图像，并计算得到的合成图像的像素梯度；
确定所述合成图像的像素梯度等于所述区域图像的像素梯度，将所述合成图像作为所述目标对象的目标面部图像；
确定所述合成图像的像素梯度不等于所述区域图像的像素梯度，调整所述区域图像中的像素，直至所述合成图像的像素梯度等于所述区域图像的像素梯度。
2.根据权利要求1所述的方法，其特征在于，所述提取所述目标表情素材图像中目标合成区域对应的区域图像，包括：
识别所述目标表情素材图像的第二面部特征点；
利用所述第二面部特征点，确定所述目标表情素材图像中目标合成区域对应的第二区域图像。
3.根据权利要求2所述的方法，其特征在于，在所述提取所述目标表情素材图像中目标合成区域对应的区域图像之前，所述方法还包括：
根据所述待处理面部图像，对所述目标表情素材图像进行缩放处理，以使处理后的目标表情素材图像与所述待处理面部图像对齐。
4.根据权利要求1所述的方法，其特征在于，所述提取所述目标表情素材图像中目标合成区域对应的区域图像，包括：
获取所述目标表情素材图像中目标合成区域的面部特征点相应的多边形图形，所述多边形图形的端点为所述目标合成区域的面部特征点；
提取所述多边形图形对应的图像，作为用于与待处理面部表情合成的区域图像。
5.一种面部表情合成装置，其特征在于，所述装置包括：
图像获得模块，用于获得目标对象的待处理面部图像；
图像处理模块，用于识别所述待处理面部图像的第一面部特征点；利用所述第一面部特征点，确定所述待处理面部图像中目标合成区域的第一区域图像；对所述第一区域图像和其他区域图像进行肤色检测，得到第一肤色信息和第二肤色信息，所述其他区域图像为与所述目标合成区域相邻的区域图像；
图像筛选模块，用于筛选表情素材图像库中与所述第一肤色信息和所述第二肤色信息匹配的目标表情素材图像；
图像提取模块，用于提取所述目标表情素材图像中目标合成区域对应的区域图像；
图像融合模块，用于利用所述区域图像中的像素以及对应的邻居像素，计算所述区域图像的像素梯度；利用泊松算法将所述区域图像合成到所述待处理面部图像，并计算得到的合成图像的像素梯度；确定所述合成图像的像素梯度等于所述区域图像的像素梯度，将所述合成图像作为所述目标对象的目标面部图像；确定所述合成图像的像素梯度不等于所述区域图像的像素梯度，调整所述区域图像中的像素，直至所述合成图像的像素梯度等于所述区域图像的像素梯度。
6.根据权利要求5所述的装置，其特征在于，所述图像提取模块包括：
第二面部特征点识别单元，用于识别所述目标表情素材图像的第二面部特征点；
第二区域图像确定单元，用于利用所述第二面部特征点，确定所述目标表情素材图像中目标合成区域对应的第二区域图像。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
图像调整模块，用于根据所述待处理面部图像，对所述目标表情素材图像进行缩放处理，以使处理后的目标表情素材图像与所述待处理面部图像对齐。
8.一种电子设备，其特征在于，所述电子设备包括：
通信接口；
存储器，用于存储实现如权利要求1-4任意一项所述的面部表情合成方法的多个指令；
处理器，用于加载并执行所述多个指令，包括：
获得目标对象的待处理面部图像；
识别所述待处理面部图像的第一面部特征点；
利用所述第一面部特征点，确定所述待处理面部图像中目标合成区域的第一区域图像；
对所述第一区域图像和其他区域图像进行肤色检测，得到第一肤色信息和第二肤色信息，所述其他区域图像为与所述目标合成区域相邻的区域图像；
筛选表情素材图像库中与所述第一肤色信息和所述第二肤色信息匹配的目标表情素材图像；
提取所述目标表情素材图像中目标合成区域对应的区域图像；
利用所述区域图像中的像素以及对应的邻居像素，计算所述区域图像的像素梯度；
利用泊松算法将所述区域图像合成到所述待处理面部图像，并计算得到的合成图像的像素梯度；
确定所述合成图像的像素梯度等于所述区域图像的像素梯度，将所述合成图像作为所述目标对象的目标面部图像；
确定所述合成图像的像素梯度不等于所述区域图像的像素梯度，调整所述区域图像中的像素，直至所述合成图像的像素梯度等于所述区域图像的像素梯度。
CN201710640537.8A 2017-07-31 2017-07-31 一种面部表情合成方法、装置及电子设备 Active CN109325988B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710640537.8A CN109325988B (zh) 2017-07-31 2017-07-31 一种面部表情合成方法、装置及电子设备
PCT/CN2018/097180 WO2019024751A1 (zh) 2017-07-31 2018-07-26 一种面部表情合成方法、装置、电子设备及存储介质
KR1020207005131A KR102304674B1 (ko) 2017-07-31 2018-07-26 얼굴 표정 합성 방법과 장치, 전자 기기, 및 저장 매체
JP2020503323A JP6956252B2 (ja) 2017-07-31 2018-07-26 顔表情合成方法、装置、電子機器及びコンピュータプログラム
US16/774,988 US11030439B2 (en) 2017-07-31 2020-01-28 Facial expression synthesis method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710640537.8A CN109325988B (zh) 2017-07-31 2017-07-31 一种面部表情合成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN109325988A CN109325988A (zh) 2019-02-12
CN109325988B true CN109325988B (zh) 2022-11-11

Family

ID=65233347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710640537.8A Active CN109325988B (zh) 2017-07-31 2017-07-31 一种面部表情合成方法、装置及电子设备

Country Status (5)

Country Link
US (1) US11030439B2 (zh)
JP (1) JP6956252B2 (zh)
KR (1) KR102304674B1 (zh)
CN (1) CN109325988B (zh)
WO (1) WO2019024751A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276837B (zh) * 2019-05-24 2023-07-21 联想（上海）信息技术有限公司 一种信息处理方法、电子设备
CN110264544B (zh) * 2019-05-30 2023-08-25 腾讯科技（深圳）有限公司 图片处理方法和装置、存储介质及电子装置
CN110322416B (zh) * 2019-07-09 2022-11-18 腾讯科技（深圳）有限公司 图像数据处理方法、装置以及计算机可读存储介质
CN112785533B (zh) * 2019-11-07 2023-06-16 RealMe重庆移动通信有限公司 图像融合方法、图像融合装置、电子设备与存储介质
CN111104878A (zh) * 2019-12-06 2020-05-05 江西开心玉米网络科技有限公司 一种图像处理方法、装置、服务器及存储介质
CN117115078A (zh) * 2019-12-25 2023-11-24 上海肇观电子科技有限公司 图像处理方法、电路、视障辅助设备、电子设备及介质
CN111402115B (zh) * 2020-03-10 2024-02-20 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111507896B (zh) * 2020-04-27 2023-09-05 抖音视界有限公司 图像液化处理方法、装置、设备和存储介质
CN111598051B (zh) * 2020-06-16 2023-11-14 腾讯科技（深圳）有限公司 一种脸部验证方法、装置、设备及可读存储介质
CN111815653B (zh) * 2020-07-08 2024-01-30 深圳市梦网视讯有限公司 一种人脸与身体肤色区域的分割方法、系统和设备
CN111860380A (zh) * 2020-07-27 2020-10-30 平安科技（深圳）有限公司 人脸图像生成方法、装置、服务器及存储介质
KR102384983B1 (ko) * 2020-09-28 2022-04-29 김상철 연예인의 얼굴 이미지와 사용자의 얼굴 이미지 간의 이미지 합성이 가능한 전자 단말 장치 및 그 동작 방법
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN112270369A (zh) * 2020-11-05 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备
CN112766215A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 人脸融合方法、装置、电子设备及存储介质
CN112766234B (zh) * 2021-02-23 2023-05-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
USD969216S1 (en) * 2021-08-25 2022-11-08 Rebecca Hadley Educational poster
KR102639187B1 (ko) 2021-10-28 2024-02-22 씨제이올리브네트웍스 주식회사 얼굴 합성 서비스를 제공하는 방법 및 이를 위한 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100982197B1 (ko) 2004-06-21 2010-09-14 구글 인코포레이티드 얼굴 인식 방법, 얼굴 인식 장치 및 컴퓨터 판독 가능한 기록 매체
JP2007122561A (ja) * 2005-10-31 2007-05-17 Kddi Corp 携帯端末装置および似顔絵データ提供システム
US8620038B2 (en) 2006-05-05 2013-12-31 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
CN101324961B (zh) * 2008-07-25 2011-07-13 上海久游网络科技有限公司 计算机虚拟世界中人脸部三维贴图方法
CN101770649B (zh) * 2008-12-30 2012-05-02 中国科学院自动化研究所 一种人脸图像自动合成方法
KR20120005587A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
JP5880182B2 (ja) * 2012-03-19 2016-03-08 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
KR20150113751A (ko) 2014-03-31 2015-10-08 (주)트라이큐빅스 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN105184249B (zh) * 2015-08-28 2017-07-18 百度在线网络技术（北京）有限公司 用于人脸图像处理的方法和装置
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置
CN106056650A (zh) * 2016-05-12 2016-10-26 西安电子科技大学 基于快速表情信息提取和泊松融合的人脸表情合成方法
CN106303233B (zh) * 2016-08-08 2019-03-15 西安电子科技大学 一种基于表情融合的视频隐私保护方法
CN106682632B (zh) * 2016-12-30 2020-07-28 百度在线网络技术（北京）有限公司 用于处理人脸图像的方法和装置

Also Published As

Publication number Publication date
US11030439B2 (en) 2021-06-08
JP2020529068A (ja) 2020-10-01
JP6956252B2 (ja) 2021-11-02
KR20200027030A (ko) 2020-03-11
US20200167550A1 (en) 2020-05-28
KR102304674B1 (ko) 2021-09-23
CN109325988A (zh) 2019-02-12
WO2019024751A1 (zh) 2019-02-07

Similar Documents

Publication Publication Date Title
CN109325988B (zh) 一种面部表情合成方法、装置及电子设备
JP6636154B2 (ja) 顔画像処理方法および装置、ならびに記憶媒体
CN108229369B (zh) 图像拍摄方法、装置、存储介质及电子设备
JP4449723B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8983152B2 (en) Image masks for face-related selection and processing in images
Fang et al. Bottom-up saliency detection model based on human visual sensitivity and amplitude spectrum
JP6368919B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
KR100896643B1 (ko) Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치
TW201027456A (en) Image processing device, method, and program
JP2014522536A (ja) プレイヤーの外観を反映するアバターの生成
KR20160030037A (ko) 닮은얼굴그림 생성 장치, 닮은얼굴그림 생성 방법
CN111862116A (zh) 动漫人像的生成方法及装置、存储介质、计算机设备
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN111652792B (zh) 图像的局部处理、直播方法、装置、设备和存储介质
JP2009521065A (ja) カリカチュア生成システムとその方法およびその記録媒体
CN114155584A (zh) 一种基于Dlib人脸识别接口的人脸数据分析显示系统
JP2022147713A (ja) 画像生成装置、学習装置、及び、画像生成方法
CN106485206A (zh) 基于化妆的视频图片结合的教学方法及装置
Xu Content Understanding for Imaging Systems: Page Classification, Fading Detection, Emotion Recognition, and Saliency Based Image Quality Assessment and Cropping
Wu et al. Saliency detection-based mixture of reality and non-photorealistic rendering effects for artistic visualization
Karthik et al. A Real-Time Multimodal Deep Learning for Image-to-Cartoon Conversion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant