CN108257162B - 合成脸部表情图像的方法和装置 - Google Patents

Abstract

本发明公开了合成脸部表情图像的方法和装置。该方法包括：获取至少两个参考脸部表情图像的表情特征；对至少两个参考脸部表情图像的表情特征插值，得到新的表情特征；根据新的表情特征调整目标脸部表情图像，形成新的脸部表情图像。本技术方案对不同表情特征插值得到新表情特征，而不是直接放大或缩小已有表情特征，根据新表情特征得到新脸部表情图像，本技术方案合成的脸部表情图像效果比较自然，该脸部表情图像更接近真实表情图像。

Description

合成脸部表情图像的方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及合成脸部表情图像的方法和装置。

背景技术

人脸表情识别广泛应用于娱乐、安全、人机交互和社交网络分析等领域。为进行人脸表情识别，需训练出表情识别模型，这需要大量的表情图像作为训练数据。然而，采集表情图像成本高，受限多。为解决这一问题，提出用合成方法产生大量表情图像，用以训练表情识别模型。

现有表情图像合成方法主要分为两类。第一类方法，直接操作表情图像，通过移动表情图像的像素位置、或改变像素灰度值，对表情图像进行修改，得到新的表情图像；这类方法得到的新的表情图像往往与拍摄的真实表情图像差异很大。第二类方法，将表情图像中的表情特征单独分析出来，通过修改分析出来的表情特征得到新的表情特征，再将新的表情特征融合到原表情图像中，得到新的表情图像。这类方法得到的新的表情图像更加接近拍摄的真实表情图像。

为了更好地训练表情识别模型，要求合成的表情图像尽可能接近真实表情图像，在训练表情识别模型时选用上述第二类方法。现有技术中，先分析人脸表情图像的表情特征a，设定一个调整正数k，计算kα，得到一个新的表情特征，再根据新的表情特征调整该人脸表情图像，形成新的人脸表情图像。当k＞1时，kα是一个比α程度更强的表情，比如，大笑表情比微笑表情更强；反之，当0＜k＜1时，kα是一个比α程度更弱的表情。如图1所示，为现有技术合成的表情图像，取k＝0.5，从左侧图像的大笑表情缩小得到右侧图像的微笑表情。这种采用调整正数k修改已有表情特征α的方法比较粗糙。由于表情变化具有非线性，直接放大或缩小已有表情特征得到新表情特征，根据该新表情特征得到的新表情图像看起来有些怪异，其与真实表情图像差异较大，现有技术合成的脸部表情图像效果不够自然。

在分析表情时，可以预设表情空间，表情空间并不仅仅包含一种表情类别，而是包含了所有的脸部表情状态；比如，表情空间包含了类别C1、C2、C3等。上述现有技术中，若分析出的表情特征α属于类别C1，当k远大于1或很接近0时，kα就容易超出类别C1的范围；而当kα超出C1的范围时，其对应的脸部表情图像效果就会变得更不自然。

发明内容

本发明提供合成脸部表情图像的方法和装置，其合成的脸部表情图像效果比较自然。

本发明采用以下技术方案：

第一方面，本发明提供合成脸部表情图像的方法，包括：

获取至少两个参考脸部表情图像的表情特征；

对该至少两个参考脸部表情图像的表情特征插值，得到新的表情特征；

根据新的表情特征调整目标脸部表情图像，形成新的脸部表情图像。

第二方面，本发明提供合成脸部表情图像的装置，包括：

表情特征获取单元，用于获取至少两个参考脸部表情图像的表情特征；

表情特征插值单元，用于对该至少两个参考脸部表情图像的表情特征插值，得到新的表情特征；

表情图像合成单元，用于根据新的表情特征调整目标脸部表情图像，形成新的脸部表情图像。

本技术方案中，对至少两个参考脸部表情图像的表情特征插值，得到新的表情特征，根据新的表情特征调整目标脸部表情图像，形成新的脸部表情图像；对不同表情特征插值得到新表情特征，而不是直接放大或缩小已有表情特征，根据新表情特征得到新脸部表情图像，本技术方案合成的脸部表情图像效果比较自然，该脸部表情图像更接近真实表情图像。使用本技术方案合成的脸部表情图像可以训练出较好的表情识别模型，使用该表情识别模型能够提高脸部表情识别的准确率。

附图说明

为了更清楚地说明本发明中的技术方案，下面将对本发明描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明的内容和这些附图获得其他的附图和实施例。

图1是现有技术合成的脸部表情图像。

图2是本发明的合成脸部表情图像方法的第一实施例的方法流程图。

图3是本发明的合成脸部表情图像方法的第二实施例的方法流程图。

图4是本发明分析的脸部关键点示意图。

图5是本发明合成表情在本质空间中的示意图。

图6是本发明合成的第一表情图像。

图7是本发明合成的第二表情图像。

图8是本发明的合成脸部表情图像装置的结构方框图。

图9是本发明的表情特征插值单元的结构方框图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合图1-图9对本发明的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图2，其是本发明的合成脸部表情图像方法的第一实施例的方法流程图。

S101.获取至少两个参考脸部表情图像的表情特征。

本发明的合成方法，可应用于训练表情识别模型，还可应用于图片处理软件、视频处理软件等领域；可合成人的脸部表情图像，还可合成动物的脸部表情图像，比如，合成猩猩脸部表情图像。

本实施例中，该至少两个参考脸部表情图像的表情特征可以属于同一类别表情特征。若希望合成有特色的脸部表情图像，该至少两个参考脸部表情图像的表情特征可以属于两个以上类别表情特征。

S102.对该至少两个参考脸部表情图像的表情特征插值，得到新的表情特征。

其中一个实施方式，基于随机选取的方式，获得插值参数；根据插值参数，对该至少两个参考脸部表情图像的表情特征插值，得到新的表情特征。通过随机选取方式获得插值参数，可使每次合成时，获得插值参数不同，即使参考脸部表情图像相同，仍能得到不同的新的表情特征，合成不同脸部表情图像。可以理解的是，插值参数也可以为用户预设数值。

其中一个实施方式，通过以下公式对该至少两个参考脸部表情图像的表情特征插值，得到新的表情特征；

α_n+1＝c₁α₁+c₂α₂+…+c_iα_i+…+c_nα_n；

其中，α_n+1为新的表情特征，c_i为插值参数，1≤i≤n，0＜c_i＜1，c₁+c₂+…+c_i+…+c_n＝1，α_i为参考表情图像i的表情特征，n为参考表情图像的数量，n≥2。

其中一个实施方式，把该至少两个参考脸部表情图像中的一个参考脸部表情图像作为目标脸部表情图像；该方式得到新的表情特征与目标脸部表情图像有密切的关联，合成的脸部表情图像效果真实而自然。可以理解的是，该至少两个参考脸部表情图像也可以与目标脸部表情图像无关，比如，目标脸部表情图像没有笑容，可对两个大笑表情的参考脸部表情图像的表情特征差值，产生大笑表情的新表情特征，根据新的表情特征调整目标脸部表情图像，从而使目标脸部表情图像具有笑容。

本实施例的插值举例：

插值实施方式1，获取一个目标脸部表情图像的表情特征和一个参考脸部表情图像的表情特征；即，获取两个参考脸部表情图像的表情特征，把其中一个参考脸部表情图像作为目标脸部表情图像；通过以下公式对目标脸部表情图像的表情特征和参考脸部表情图像的表情特征插值，得到新的表情特征；

α₃＝cα₁+(1-c)α₂；

其中，c为插值参数，0＜c＜1；α₃为新的表情特征，α₁为目标脸部表情图像的表情特征，α₂为参考脸部表情图像的表情特征。c可以取0.1、0.26、0.5、0.72、0.88、0.98等数值。

在合成脸部表情图像时，即使目标脸部表情图像和参考脸部表情图像相同，只要设置不同的插值参数，就可以得到不同的新的表情特征，合成不同的新的脸部表情图像。本发明可实现合成大量的脸部表情图像。

插值实施方式2，获取一个目标脸部表情图像的表情特征、第一参考脸部表情图像的表情特征和第二参考脸部表情图像的表情特征；即，获取三个参考脸部表情图像的表情特征，把其中一个参考脸部表情图像作为目标脸部表情图像，另外两个参考脸部表情图像分别为第一参考脸部表情图像、第二参考脸部表情图像；通过以下公式对目标脸部表情图像的表情特征、第一参考脸部表情图像的表情特征和第二参考脸部表情图像的表情特征插值，得到新的表情特征；

α₃＝c₁α₁+c₂α₂+c₃α₃；

其中，c₁、c₂、c₃为插值参数，c₁+c₂+c₃＝1，0＜c₁＜1，0＜c₂＜1，0＜c₃＜1；α₃为新的表情特征，α₁为目标脸部表情图像的表情特征，α₂为第一参考脸部表情图像的表情特征，α₃为第二参考脸部表情图像的表情特征。

需要说明的是，本实施例的插值参数和参考脸部表情图像的表情特征的数量均可根据实际情况修改。

本领域普通技术人员结合本发明的内容和公知常识、已公开技术，无需创造性劳动就容易想到更多种的插值公式，根据插值公式产生更多实施方式；只要这些实施方式实现由不同表情特征插值得到新表情特征，均属本发明的保护范围。

S103.根据新的表情特征调整目标脸部表情图像，形成新的脸部表情图像。

综上，本技术方案获取至少两个参考脸部表情图像的表情特征，得到新的表情特征，对至少两个参考脸部表情图像的表情特征插值，而不是直接放大或缩小已有表情特征，根据新表情特征得到新脸部表情图像。本技术方案的新表情特征通过插值方法融合两个以上表情特征的特性，而现有技术只是修改一个已有表情特征。本技术方案合成的脸部表情图像效果比较自然，该脸部表情图像更接近真实表情图像。

请参考图3，其是本发明的合成脸部表情图像方法的第二实施例的方法流程图。

S201.分析目标脸部表情图像的脸部关键点坐标。

本实施例中，脸部关键点坐标具体为68个脸部关键点坐标。请参考图4，其是本实施例分析的脸部关键点示意图，图中脸部的菱形为关键点，可通过自动检测或者人工方法标定出这些关键点。68个脸部关键点坐标包含了脸部的身份信息和表情信息。

需要说明的是，在实施本发明时，根据不同算法，可以选取不同位置、不同数量的脸部关键点坐标。

S202.把目标脸部表情图像的脸部关键点坐标在预设表情空间进行拟合，得到表情拟合结果α₁，把α₁作为目标脸部表情图像的表情特征。

其中，把目标脸部表情图像的脸部关键点坐标在预设表情空间进行拟合，得到表情拟合结果α₁，包括：

s11，获取预置角度θ；

s12，计算f(θ)＝I_sB_s+α_eB_e；B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x1；θ)·b_si·cos＜R(x1；θ)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，a_ei＝R(x1；θ)·b_ei·cos＜R(x1；θ)，b_ei＞；

s13，计算||x1-f(θ)||，令||x1-f(θ)||＝p1；

s14，计算θ＝θ-d*f′(θ)；

s15，计算f(θ)＝I_sB_s+α_eB_e；B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x1；θ)·b_si·cos＜R(x1；θ)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，a_ei＝R(x1；θ)·b_ei·cos＜R(x1；θ)，b_ei＞；

s16，计算||x1-f(θ)||；

s17，判断||x1-f(θ)||-p1≤g是否成立，若是，α₁＝{a₁₁，a₁₂，...，a_1i，...，a_1n}＝α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，把θ作为重构新坐标角度值，否则，令||x1-f(θ)||＝p1，返回步骤s14；

其中，θ为脸部的姿态参数；f(θ)为将拟合系数还原为脸部关键点坐标的列向量的函数，f′(θ)为导数；x1为目标脸部表情图像的脸部关键点坐标的列向量；B_s为预先训练好的脸部身份主成分分析模型，I_s为在脸部身份主成分分析模型上的拟合系数，b_si为脸部身份主成分分析模型的第i维度元素，n为模型维度数量，a_si为两个向量的内积，R(x1；θ)为将x1按照θ旋转后得到的新坐标，cos＜R(x1；θ)，b_si＞为R(x1；θ)和b_si之间夹角的余弦值；B_e为预先训练好的脸部表情主成分分析模型，α_e为在脸部表情主成分分析模型上的拟合系数，b_ei为脸部表情主成分分析模型的第i维度元素，n为模型维度数量，a_ei为两个向量的内积，R(x1；θ)为将x1按照θ旋转后得到的新坐标，cos＜R(x1；θ)，b_ei＞为R(x1；θ)和b_ei之间夹角的余弦值；||x1-f(θ)||为x1与f(θ)的列向量对应元素相减的范数，d为预置调整值；g为预置数值；p1为θ对应的范数。

本实施例中，每个脸部关键点坐标是一个3维的列向量，x1是一个3乘68行的列向量。预置数值g为一个接近0的数值，比如，可以根据实际应用，设置为0.01、0.001或0.0001。

步骤S202通过拟合获得表情特征，其只是根据目标脸部表情图像的脸部关键点坐标获得目标脸部表情图像的表情特征的其中一种实施方式；除该实施方式外，还可通过其他非拟合的实施方式实现根据脸部关键点坐标获得表情特征。

本实施例通过脸部关键点坐标获得脸部表情图像的表情特征；本发明还可使用其他方式获取脸部表情图像的表情特征，比如，通过扫描图像方式或其他现有技术，得到表情特征。

以上步骤S201、S202为获取目标脸部表情图像的表情特征的过程。以下步骤S203、S204为获取参考脸部表情图像的表情特征的过程。这两个过程没有先后顺序关系。

S203.分析参考脸部表情图像的脸部关键点坐标。

S204.把参考脸部表情图像的脸部关键点坐标在预设表情空间进行拟合，得到表情拟合结果α₂，把α₂作为参考脸部表情图像的表情特征。

其中，把参考脸部表情图像的脸部关键点坐标在预设表情空间进行拟合，得到表情拟合结果α₂，包括：

s21，获取预置值θ；

s22，计算f(θ)＝I_sB_s+α_eB_e；B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x2；θ)·b_si·cos＜R(x2；θ)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，a_ei＝R(x2；θ)·b_ei·cos＜R(x2；θ)，b_ei＞；

s23，计算min||x2-f(θ)||，令||x2-f(θ)||＝p2；

s24，计算θ＝θ-d*f′(θ)；

s25，计算f(θ)＝I_sB_s+α_eB_e；B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x2；θ)·b_si·cos＜R(x2；θ)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，a_ei＝R(x2；θ)·b_ei·cos＜R(x2；θ)，b_ei＞；

s26，计算||x2-f(θ)||；

s27，判断||x2-f(θ)||-p2≤g是否成立，若是，α₂＝{a₂₁，a₂₂，…，a_2i，…，a_2n}＝α_e＝{a_e1，a_e2，…，a_ei，…，a_en}，否则，令||x2-f(θ)||＝p2，返回步骤s24；

其中，θ为脸部的姿态参数；f(θ)为将拟合系数还原为脸部关键点坐标的列向量的函数，f′(θ)为导数；x2为参考脸部表情图像的脸部关键点坐标的列向量；B_s为预先训练好的脸部身份主成分分析模型，I_s为在脸部身份主成分分析模型上的拟合系数，b_si为脸部身份主成分分析模型的第i维度元素，n为模型维度数量，a_si为两个向量的内积，R(x2；θ)为将x2按照θ旋转后得到的新坐标，cos＜R(x2；θ)，b_si＞为R(x2；θ)和b_si之间夹角的余弦值；B_e为预先训练好的脸部表情主成分分析模型，α_e为在脸部表情主成分分析模型上的拟合系数，b_ei为脸部表情主成分分析模型的第i维度元素，n为模型维度数量，a_ei为两个向量的内积，R(x2；θ)为将x2按照θ旋转后得到的新坐标，cos＜R(x2；θ)，b_ei＞为R(x2；θ)和b_ei之间夹角的余弦值；||x2-f(θ)||为x2与f(θ)的列向量对应元素相减的范数，d为预置调整值；g为预置数值；p2为θ对应的范数。

步骤S204通过拟合获得表情特征，其只是根据参考脸部表情图像的脸部关键点坐标获得参考脸部表情图像的表情特征的其中一种实施方式；除该实施方式外，还可通过其他实施方式实现根据脸部关键点坐标获得表情特征。

S205.通过以下公式对目标脸部表情图像的表情特征和参考脸部表情图像的表情特征插值，得到新的表情特征α₃：

α₃＝cα₁+(1-c)α₂；

其中，c为插值参数，0＜c＜1；α₃为新的表情特征，α₁为目标脸部表情图像的表情特征，α₂为参考脸部表情图像的表情特征。

本实施例中，预设表情空间S包括7类表情，分别为高兴、悲伤、愤怒、厌倦、恐惧、惊讶、无表情的中性脸。把某一类表情所占的空间作为该类表情的本质空间，α₁和α₂属于同一类别表情，α₁和α₂在同一本质空间，连接这两个点的线段上的每个点位于最小的包含了本质空间的凸空间内。如图5所示，在以{b1，b2，b3}为坐标轴的表情空间内，表情{α₁，α₂}的本质空间由一条黑色曲线表达。E2通过扩大α₁生成，E2已经远离了表情所处的本质空间。E1是本发明方法得到的一个新表情。相比于现有技术直接放大或缩小α₁得到的结果E2，E1位于最小的包含了本质空间的凸空间内，与本质空间距离更小，合成的脸部表情图像效果也就比较自然。

S206.根据新的表情特征α₃重构新的脸部关键点坐标。

新的脸部关键点坐标f(θ′)＝I_sB_s+α₃B_e，B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x1′；θ′)·b_si·cos＜R(x1′；θ′)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α₃＝{a₃₁，a₃₂，…，a_3i，…，a_3n}，a_3i＝R(x1′；θ′)·b_ei·cos＜R(x1′；θ′)，b_ei＞；其中，θ′为重构新坐标角度值。

S207.根据新的脸部关键点坐标与目标脸部表情图像的脸部关键点坐标的差异，调整目标脸部表情图像的像素位置，形成新的脸部表情图像。

将目标脸部表情图像的脸部关键点坐标对应的像素位置，移动到新的脸部关键点坐标，从而形成新脸部表情图像。像素移动属于现有技术，在此不做赘述。

如图6所示，其是本发明合成的第一表情图像，插值参数c为0.04。如图7所示，其是本发明合成的第二表情图像，插值参数c为0.11。将图6、图7，与图1比较，可以看出，相对于现有技术，本发明合成的脸部表情图像效果比较自然，该脸部表情图像更接近真实表情图像。

上述步骤s11-s17和步骤s21-s27为本实施例提供的拟合方法；该方法得到的表情拟合结果，能够较好地反映脸部表情图像表情特征，从而使得最终合成的脸部表情图像更接近真实表情图像。除该拟合方法外，本发明还可使用其他拟合方法。

本实施例获取一个目标脸部表情图像和一个参考脸部表情图像；即，获取两个参考脸部表情图像的表情特征，把其中一个参考脸部表情图像作为目标脸部表情图像。步骤S201、S202、S203、S204，为第一实施例的步骤S101的其中一个实施方式；即，步骤S101.获取至少两个参考脸部表情图像的表情特征,包括：步骤S201、S202、S203、S204。

步骤S205为步骤S102的其中一个实施方式；即，S102.对该至少两个参考脸部表情图像的表情特征插值，得到新的表情特征，包括，步骤S205。

步骤S206、S207为步骤S103的其中一个实施方式；即，S103.根据新的表情特征调整目标脸部表情图像，形成新的脸部表情图像，包括，步骤S206、S207。

综上，本技术方案通过拟合得到目标脸部表情图像的表情特征和参考脸部表情图像的表情特征，对目标脸部表情图像的表情特征和参考脸部表情图像的表情特征插值，得到新的表情特征，对不同表情特征插值得到新表情特征，而不是直接放大或缩小已有表情特征，根据新表情特征得到新脸部表情图像，本技术方案合成的脸部表情图像效果比较自然，该脸部表情图像更接近真实表情图像。使用本技术方案合成的脸部表情图像可以训练出较好的表情识别模型，使用该表情识别模型能够提高脸部表情识别的准确率。

在已公开的CK+人脸表情数据库上进行算法性能测试，采用本技术方案的方法生成新的脸部表情图像，把该脸部表情图像作为训练数据训练出表情识别模型，使用该表情识别模型进行表情识别，相比现有技术，识别的错误率下降了25％。

以下为本发明实施例的装置实施例，本发明的方法实施例、装置实施例属于同一构思，彼此紧密关联，在装置实施例中未详尽描述的细节内容，可以参考上述方法实施例。

请参考图8，其是本发明的合成脸部表情图像装置的结构方框图。

该合成脸部表情图像的装置，包括：

表情特征获取单元310，用于获取至少两个参考脸部表情图像的表情特征；

表情特征插值单元320，用于对至少两个参考脸部表情图像的表情特征插值，得到新的表情特征；

表情图像合成单元330，用于根据新的表情特征调整目标脸部表情图像，形成新的脸部表情图像。

其中，目标图像获取单元340，用于把至少两个参考脸部表情图像中的一个参考脸部表情图像作为目标脸部表情图像。

其中，如图9所示，表情特征插值单元320，包括：

参数获得单元321，用于获得插值参数；

插值单元322，用于根据插值参数，对至少两个参考脸部表情图像的表情特征插值，得到新的表情特征。

其中，参数获得单元321，具体用于基于随机选取的方式，获得插值参数；

表情图像合成单元330，具体用于通过以下公式对至少两个参考脸部表情图像的表情特征插值，得到新的表情特征；

α_n+1＝c₁α₁+c₂α₂+…+c_iα_i+…+c_nα_n；

其中，α_n+1为新的表情特征，c_i为插值参数，1≤i≤n，0＜c_i＜1，c₁+c₂+…+c_i+…+c_n＝1，α_i为参考表情图像i的表情特征，n为参考表情图像的数量，n≥2；

其中，至少两个参考脸部表情图像的表情特征属于同一类别表情特征。

以下为合成脸部表情图像的装置的其中一个实施方式。

目标图像获取单元321，具体用于分析目标脸部表情图像的脸部关键点坐标，把目标脸部表情图像的脸部关键点坐标在预设表情空间进行拟合，得到表情拟合结果α₁，把α₁作为目标脸部表情图像的表情特征；分析参考脸部表情图像的脸部关键点坐标，把参考脸部表情图像的脸部关键点坐标在预设表情空间进行拟合，得到表情拟合结果α₂，把α₂作为参考脸部表情图像的表情特征；

其中，把目标脸部表情图像的脸部关键点坐标进行拟合，得到表情拟合结果α₁，包括：

s11，获取预置角度θ；

s12，计算f(θ)＝I_sB_s+α_eB_e；B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x1；θ)·b_si·cos＜R(x1；θ)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，a_ei＝R(x1；θ)·b_ei·cos＜R(x1；θ)，b_ei＞；

s13，计算||x1-f(θ)||，令||x1-f(θ)||＝p1；

s14，计算θ＝θ-d*f′(θ)；

s15，计算f(θ)＝I_sB_s+α_eB_e；B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x1；θ)·b_si·cos＜R(x1；θ)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，a_ei＝R(x1；θ)·b_ei·cos＜R(x1；θ)，b_ei＞；

s16，计算||x1-f(θ)||；

s17，判断||x1-f(θ)||-p1≤g是否成立，若是，α₁＝{a₁₁，a₁₂，...，a_1i，...，a_1n}＝α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，把θ作为重构新坐标角度值，否则，令||x1-f(θ)||＝p1，返回步骤s14；

其中，θ为脸部的姿态参数；f(θ)为将拟合系数还原为脸部关键点坐标的列向量的函数，f′(θ)为导数；x1为目标脸部表情图像的脸部关键点坐标的列向量；B_s为预先训练好的脸部身份主成分分析模型，I_s为在脸部身份主成分分析模型上的拟合系数，b_si为脸部身份主成分分析模型的第i维度元素，n为模型维度数量，a_si为两个向量的内积，R(x1；θ)为将x1按照θ旋转后得到的新坐标，cos＜R(x1；θ)，b_si＞为R(x1；θ)和b_si之间夹角的余弦值；B_e为预先训练好的脸部表情主成分分析模型，α_e为在脸部表情主成分分析模型上的拟合系数，b_ei为脸部表情主成分分析模型的第i维度元素，n为模型维度数量，a_ei为两个向量的内积，R(x1；θ)为将x1按照θ旋转后得到的新坐标，cos＜R(x1；θ)，b_ei＞为R(x1；θ)和b_ei之间夹角的余弦值；||x1-f(θ)||为x1与f(θ)的列向量对应元素相减的范数，d为预置调整值；g为预置数值；p1为θ对应的范数；

其中，把参考脸部表情图像的脸部关键点坐标进行拟合，得到表情拟合结果α₂，包括：

s21，获取预置值θ；

s22，计算f(θ)＝I_sB_s+α_eB_e；B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x2；θ)·b_si·cos＜R(x2；θ)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，a_ei＝R(x2；θ)·b_ei·cos＜R(x2；θ)，b_ei＞；

s23，计算min||x2-f(θ)||，令||x2-f(θ)||＝p2；

s24，计算θ＝θ-d*f′(θ)；

s25，计算f(θ)＝I_sB_s+α_eB_e；B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x2；θ)·b_si·cos＜R(x2；θ)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α_e＝{a_e1，a_e2，...，a_ei，...，a_en}，a_ei＝R(x2；θ)·b_ei·cos＜R(x2；θ)，b_ei＞；

s26，计算||x2-f(θ)||；

s27，判断||x2-f(θ)||-p2≤g是否成立，若是，α₂＝{a₂₁，a₂₂，…，a_2i，…，a_2n}＝α_e＝{a_e1，a_e2，…，a_ei，…，a_en}，否则，令||x2-f(θ)＝p2，返回步骤s24；

其中，θ为脸部的姿态参数；f(θ)为将拟合系数还原为脸部关键点坐标的列向量的函数，f′(θ)为导数；x2为参考脸部表情图像的脸部关键点坐标的列向量；B_s为预先训练好的脸部身份主成分分析模型，I_s为在脸部身份主成分分析模型上的拟合系数，b_si为脸部身份主成分分析模型的第i维度元素，n为模型维度数量，a_si为两个向量的内积，R(x2；θ)为将x2按照θ旋转后得到的新坐标，cos＜R(x2；θ)，b_si＞为R(x2；θ)和b_si之间夹角的余弦值；B_e为预先训练好的脸部表情主成分分析模型，α_e为在脸部表情主成分分析模型上的拟合系数，b_ei为脸部表情主成分分析模型的第i维度元素，n为模型维度数量，a_ei为两个向量的内积，R(x2；θ)为将x2按照θ旋转后得到的新坐标，cos＜R(x2；θ)，b_ei＞为R(x2；θ)和b_ei之间夹角的余弦值；||x2-f(θ)||为x2与f(θ)的列向量对应元素相减的范数，d为预置调整值；g为预置数值；p2为θ对应的范数。

表情特征插值单元320，具体用于通过以下公式对目标脸部表情图像的表情特征和参考脸部表情图像的表情特征插值，得到新的表情特征α₃：

α₃＝cα₁+(1-c)α₂；

其中，c为插值参数，0＜c＜1；α₃为新的表情特征，α₁为目标脸部表情图像的表情特征，α₂为参考脸部表情图像的表情特征。

表情图像合成单元330，具体用于根据新的表情特征α₃重构新的脸部关键点坐标；

新的脸部关键点坐标f(θ′)＝I_sB_s+α₃B_e，B_s＝{b_s1，b_s2，...，b_si，...，b_sn}，I_s＝{a_s1，a_s2，...，a_si，...，a_sn}，a_si＝R(x1′；θ′)·b_si·cos＜R(x1′；θ′)，b_si＞；B_e＝{b_e1，b_e2，...，b_ei，...，b_en}，α₃＝{a₃₁，a₃₂，…，a_3i，…，a_3n}，a_3i＝R(x1′；θ′)·b_ei·cos＜R(x1′；θ′)，b_ei＞；其中，θ′为重构新坐标角度值；

根据新的脸部关键点坐标与目标脸部表情图像的脸部关键点坐标的差异，调整目标脸部表情图像的像素位置，形成新的脸部表情图像。

综上，本技术方案对不同表情特征插值得到新表情特征，而不是直接放大或缩小已有表情特征，根据新表情特征得到新脸部表情图像，本技术方案合成的脸部表情图像效果比较自然，该脸部表情图像更接近真实表情图像。

本领域普通技术人员可以理解实现上述本发明的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括存储器、磁盘或光盘等。

以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种由电子设备执行的方法，其特征在于，包括：

分析至少两个参考脸部表情图像的脸部关键点坐标；

通过拟合脸部关键点坐标得到至少两个参考脸部表情图像的表情特征；

对所述至少两个参考脸部表情图像的表情特征插值，得到新的表情特征；

根据所述新的表情特征，重构新的脸部关键点坐标；

根据新的脸部关键点坐标与目标脸部表情图像的脸部关键点坐标的差异，调整目标脸部表情图像的像素位置，形成新的脸部表情图像。

2.根据权利要求1所述的方法，其特征在于，还包括：

把所述至少两个参考脸部表情图像中的一个参考脸部表情图像作为目标脸部表情图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述至少两个参考脸部表情图像的表情特征插值，得到新的表情特征，包括：

获得插值参数；

根据所述插值参数，对所述至少两个参考脸部表情图像的表情特征插值，得到新的表情特征。

4.根据权利要求3所述的方法，其特征在于，所述获得插值参数，包括：

基于随机选取的方式，获得插值参数。

5.根据权利要求3或4所述的方法，其特征在于，通过以下公式对所述至少两个参考脸部表情图像的表情特征插值，得到新的表情特征；

α_n+1＝c₁α₁+c₂α₂+…+c_iα_i+…+c_nα_n；

其中，α_n+1为新的表情特征，c_i为插值参数，1≤i≤n，0<c_i<1，c₁+c₂+…+c_i+…+c_n＝1，α_i为参考表情图像i的表情特征，n为参考表情图像的数量，n≥2。

6.根据权利要求1所述的方法，其特征在于：

所述至少两个参考脸部表情图像的表情特征属于同一类别表情特征。

7.根据权利要求2所述的方法，其特征在于，对所述至少两个参考脸部表情图像的表情特征插值，得到新的表情特征，包括：

获取目标脸部表情图像的表情特征；

根据目标脸部表情图像的表情特征和至少两个参考脸部表情图像各自的表情特征生成新的表情特征。

8.根据权利要求1所述的方法，其特征在于，还包括：

获取脸部表情图像；

使用表情识别模型识别所捕捉的脸部表情图像中的脸部表情，其中，表情识别模型是使用新的脸部表情图像与至少两个参考脸部表情图像训练得到的。

9.一种电子设备，其特征在于，包括：处理器和存储器，存储器存储程序，处理器执行所述程序实现权利要求1-8任一所述的方法。