CN108257162B - 合成脸部表情图像的方法和装置 - Google Patents

合成脸部表情图像的方法和装置 Download PDF

Info

Publication number
CN108257162B
CN108257162B CN201611248661.1A CN201611248661A CN108257162B CN 108257162 B CN108257162 B CN 108257162B CN 201611248661 A CN201611248661 A CN 201611248661A CN 108257162 B CN108257162 B CN 108257162B
Authority
CN
China
Prior art keywords
expression
facial
facial expression
image
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611248661.1A
Other languages
English (en)
Other versions
CN108257162A (zh
Inventor
钱德恒
郭天楚
金暎星
张辉
徐静涛
兪炳仁
韩在濬
崔昌圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201611248661.1A priority Critical patent/CN108257162B/zh
Priority to KR1020170084930A priority patent/KR102397080B1/ko
Priority to US15/837,877 priority patent/US10860841B2/en
Publication of CN108257162A publication Critical patent/CN108257162A/zh
Priority to US17/109,762 priority patent/US11688105B2/en
Application granted granted Critical
Publication of CN108257162B publication Critical patent/CN108257162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了合成脸部表情图像的方法和装置。该方法包括:获取至少两个参考脸部表情图像的表情特征;对至少两个参考脸部表情图像的表情特征插值,得到新的表情特征;根据新的表情特征调整目标脸部表情图像,形成新的脸部表情图像。本技术方案对不同表情特征插值得到新表情特征,而不是直接放大或缩小已有表情特征,根据新表情特征得到新脸部表情图像,本技术方案合成的脸部表情图像效果比较自然,该脸部表情图像更接近真实表情图像。

Description

合成脸部表情图像的方法和装置
技术领域
本发明涉及图像处理技术领域,尤其涉及合成脸部表情图像的方法和装置。
背景技术
人脸表情识别广泛应用于娱乐、安全、人机交互和社交网络分析等领域。为进行人脸表情识别,需训练出表情识别模型,这需要大量的表情图像作为训练数据。然而,采集表情图像成本高,受限多。为解决这一问题,提出用合成方法产生大量表情图像,用以训练表情识别模型。
现有表情图像合成方法主要分为两类。第一类方法,直接操作表情图像,通过移动表情图像的像素位置、或改变像素灰度值,对表情图像进行修改,得到新的表情图像;这类方法得到的新的表情图像往往与拍摄的真实表情图像差异很大。第二类方法,将表情图像中的表情特征单独分析出来,通过修改分析出来的表情特征得到新的表情特征,再将新的表情特征融合到原表情图像中,得到新的表情图像。这类方法得到的新的表情图像更加接近拍摄的真实表情图像。
为了更好地训练表情识别模型,要求合成的表情图像尽可能接近真实表情图像,在训练表情识别模型时选用上述第二类方法。现有技术中,先分析人脸表情图像的表情特征a,设定一个调整正数k,计算kα,得到一个新的表情特征,再根据新的表情特征调整该人脸表情图像,形成新的人脸表情图像。当k>1时,kα是一个比α程度更强的表情,比如,大笑表情比微笑表情更强;反之,当0<k<1时,kα是一个比α程度更弱的表情。如图1所示,为现有技术合成的表情图像,取k=0.5,从左侧图像的大笑表情缩小得到右侧图像的微笑表情。这种采用调整正数k修改已有表情特征α的方法比较粗糙。由于表情变化具有非线性,直接放大或缩小已有表情特征得到新表情特征,根据该新表情特征得到的新表情图像看起来有些怪异,其与真实表情图像差异较大,现有技术合成的脸部表情图像效果不够自然。
在分析表情时,可以预设表情空间,表情空间并不仅仅包含一种表情类别,而是包含了所有的脸部表情状态;比如,表情空间包含了类别C1、C2、C3等。上述现有技术中,若分析出的表情特征α属于类别C1,当k远大于1或很接近0时,kα就容易超出类别C1的范围;而当kα超出C1的范围时,其对应的脸部表情图像效果就会变得更不自然。
发明内容
本发明提供合成脸部表情图像的方法和装置,其合成的脸部表情图像效果比较自然。
本发明采用以下技术方案:
第一方面,本发明提供合成脸部表情图像的方法,包括:
获取至少两个参考脸部表情图像的表情特征;
对该至少两个参考脸部表情图像的表情特征插值,得到新的表情特征;
根据新的表情特征调整目标脸部表情图像,形成新的脸部表情图像。
第二方面,本发明提供合成脸部表情图像的装置,包括:
表情特征获取单元,用于获取至少两个参考脸部表情图像的表情特征;
表情特征插值单元,用于对该至少两个参考脸部表情图像的表情特征插值,得到新的表情特征;
表情图像合成单元,用于根据新的表情特征调整目标脸部表情图像,形成新的脸部表情图像。
本技术方案中,对至少两个参考脸部表情图像的表情特征插值,得到新的表情特征,根据新的表情特征调整目标脸部表情图像,形成新的脸部表情图像;对不同表情特征插值得到新表情特征,而不是直接放大或缩小已有表情特征,根据新表情特征得到新脸部表情图像,本技术方案合成的脸部表情图像效果比较自然,该脸部表情图像更接近真实表情图像。使用本技术方案合成的脸部表情图像可以训练出较好的表情识别模型,使用该表情识别模型能够提高脸部表情识别的准确率。
附图说明
为了更清楚地说明本发明中的技术方案,下面将对本发明描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据本发明的内容和这些附图获得其他的附图和实施例。
图1是现有技术合成的脸部表情图像。
图2是本发明的合成脸部表情图像方法的第一实施例的方法流程图。
图3是本发明的合成脸部表情图像方法的第二实施例的方法流程图。
图4是本发明分析的脸部关键点示意图。
图5是本发明合成表情在本质空间中的示意图。
图6是本发明合成的第一表情图像。
图7是本发明合成的第二表情图像。
图8是本发明的合成脸部表情图像装置的结构方框图。
图9是本发明的表情特征插值单元的结构方框图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面将结合图1-图9对本发明的技术方案作进一步的详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图2,其是本发明的合成脸部表情图像方法的第一实施例的方法流程图。
S101.获取至少两个参考脸部表情图像的表情特征。
本发明的合成方法,可应用于训练表情识别模型,还可应用于图片处理软件、视频处理软件等领域;可合成人的脸部表情图像,还可合成动物的脸部表情图像,比如,合成猩猩脸部表情图像。
本实施例中,该至少两个参考脸部表情图像的表情特征可以属于同一类别表情特征。若希望合成有特色的脸部表情图像,该至少两个参考脸部表情图像的表情特征可以属于两个以上类别表情特征。
S102.对该至少两个参考脸部表情图像的表情特征插值,得到新的表情特征。
其中一个实施方式,基于随机选取的方式,获得插值参数;根据插值参数,对该至少两个参考脸部表情图像的表情特征插值,得到新的表情特征。通过随机选取方式获得插值参数,可使每次合成时,获得插值参数不同,即使参考脸部表情图像相同,仍能得到不同的新的表情特征,合成不同脸部表情图像。可以理解的是,插值参数也可以为用户预设数值。
其中一个实施方式,通过以下公式对该至少两个参考脸部表情图像的表情特征插值,得到新的表情特征;
αn+1=c1α1+c2α2+…+ciαi+…+cnαn
其中,αn+1为新的表情特征,ci为插值参数,1≤i≤n,0<ci<1,c1+c2+…+ci+…+cn=1,αi为参考表情图像i的表情特征,n为参考表情图像的数量,n≥2。
其中一个实施方式,把该至少两个参考脸部表情图像中的一个参考脸部表情图像作为目标脸部表情图像;该方式得到新的表情特征与目标脸部表情图像有密切的关联,合成的脸部表情图像效果真实而自然。可以理解的是,该至少两个参考脸部表情图像也可以与目标脸部表情图像无关,比如,目标脸部表情图像没有笑容,可对两个大笑表情的参考脸部表情图像的表情特征差值,产生大笑表情的新表情特征,根据新的表情特征调整目标脸部表情图像,从而使目标脸部表情图像具有笑容。
本实施例的插值举例:
插值实施方式1,获取一个目标脸部表情图像的表情特征和一个参考脸部表情图像的表情特征;即,获取两个参考脸部表情图像的表情特征,把其中一个参考脸部表情图像作为目标脸部表情图像;通过以下公式对目标脸部表情图像的表情特征和参考脸部表情图像的表情特征插值,得到新的表情特征;
α3=cα1+(1-c)α2
其中,c为插值参数,0<c<1;α3为新的表情特征,α1为目标脸部表情图像的表情特征,α2为参考脸部表情图像的表情特征。c可以取0.1、0.26、0.5、0.72、0.88、0.98等数值。
在合成脸部表情图像时,即使目标脸部表情图像和参考脸部表情图像相同,只要设置不同的插值参数,就可以得到不同的新的表情特征,合成不同的新的脸部表情图像。本发明可实现合成大量的脸部表情图像。
插值实施方式2,获取一个目标脸部表情图像的表情特征、第一参考脸部表情图像的表情特征和第二参考脸部表情图像的表情特征;即,获取三个参考脸部表情图像的表情特征,把其中一个参考脸部表情图像作为目标脸部表情图像,另外两个参考脸部表情图像分别为第一参考脸部表情图像、第二参考脸部表情图像;通过以下公式对目标脸部表情图像的表情特征、第一参考脸部表情图像的表情特征和第二参考脸部表情图像的表情特征插值,得到新的表情特征;
α3=c1α1+c2α2+c3α3
其中,c1、c2、c3为插值参数,c1+c2+c3=1,0<c1<1,0<c2<1,0<c3<1;α3为新的表情特征,α1为目标脸部表情图像的表情特征,α2为第一参考脸部表情图像的表情特征,α3为第二参考脸部表情图像的表情特征。
需要说明的是,本实施例的插值参数和参考脸部表情图像的表情特征的数量均可根据实际情况修改。
本领域普通技术人员结合本发明的内容和公知常识、已公开技术,无需创造性劳动就容易想到更多种的插值公式,根据插值公式产生更多实施方式;只要这些实施方式实现由不同表情特征插值得到新表情特征,均属本发明的保护范围。
S103.根据新的表情特征调整目标脸部表情图像,形成新的脸部表情图像。
综上,本技术方案获取至少两个参考脸部表情图像的表情特征,得到新的表情特征,对至少两个参考脸部表情图像的表情特征插值,而不是直接放大或缩小已有表情特征,根据新表情特征得到新脸部表情图像。本技术方案的新表情特征通过插值方法融合两个以上表情特征的特性,而现有技术只是修改一个已有表情特征。本技术方案合成的脸部表情图像效果比较自然,该脸部表情图像更接近真实表情图像。
请参考图3,其是本发明的合成脸部表情图像方法的第二实施例的方法流程图。
S201.分析目标脸部表情图像的脸部关键点坐标。
本实施例中,脸部关键点坐标具体为68个脸部关键点坐标。请参考图4,其是本实施例分析的脸部关键点示意图,图中脸部的菱形为关键点,可通过自动检测或者人工方法标定出这些关键点。68个脸部关键点坐标包含了脸部的身份信息和表情信息。
需要说明的是,在实施本发明时,根据不同算法,可以选取不同位置、不同数量的脸部关键点坐标。
S202.把目标脸部表情图像的脸部关键点坐标在预设表情空间进行拟合,得到表情拟合结果α1,把α1作为目标脸部表情图像的表情特征。
其中,把目标脸部表情图像的脸部关键点坐标在预设表情空间进行拟合,得到表情拟合结果α1,包括:
s11,获取预置角度θ;
s12,计算f(θ)=IsBseBe;Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x1;θ)·bsi·cos<R(x1;θ),bsi>;Be={be1,be2,...,bei,...,ben},αe={ae1,ae2,...,aei,...,aen},aei=R(x1;θ)·bei·cos<R(x1;θ),bei>;
s13,计算||x1-f(θ)||,令||x1-f(θ)||=p1;
s14,计算θ=θ-d*f′(θ);
s15,计算f(θ)=IsBseBe;Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x1;θ)·bsi·cos<R(x1;θ),bsi>;Be={be1,be2,...,bei,...,ben},αe={ae1,ae2,...,aei,...,aen},aei=R(x1;θ)·bei·cos<R(x1;θ),bei>;
s16,计算||x1-f(θ)||;
s17,判断||x1-f(θ)||-p1≤g是否成立,若是,α1={a11,a12,...,a1i,...,a1n}=αe={ae1,ae2,...,aei,...,aen},把θ作为重构新坐标角度值,否则,令||x1-f(θ)||=p1,返回步骤s14;
其中,θ为脸部的姿态参数;f(θ)为将拟合系数还原为脸部关键点坐标的列向量的函数,f′(θ)为导数;x1为目标脸部表情图像的脸部关键点坐标的列向量;Bs为预先训练好的脸部身份主成分分析模型,Is为在脸部身份主成分分析模型上的拟合系数,bsi为脸部身份主成分分析模型的第i维度元素,n为模型维度数量,asi为两个向量的内积,R(x1;θ)为将x1按照θ旋转后得到的新坐标,cos<R(x1;θ),bsi>为R(x1;θ)和bsi之间夹角的余弦值;Be为预先训练好的脸部表情主成分分析模型,αe为在脸部表情主成分分析模型上的拟合系数,bei为脸部表情主成分分析模型的第i维度元素,n为模型维度数量,aei为两个向量的内积,R(x1;θ)为将x1按照θ旋转后得到的新坐标,cos<R(x1;θ),bei>为R(x1;θ)和bei之间夹角的余弦值;||x1-f(θ)||为x1与f(θ)的列向量对应元素相减的范数,d为预置调整值;g为预置数值;p1为θ对应的范数。
本实施例中,每个脸部关键点坐标是一个3维的列向量,x1是一个3乘68行的列向量。预置数值g为一个接近0的数值,比如,可以根据实际应用,设置为0.01、0.001或0.0001。
步骤S202通过拟合获得表情特征,其只是根据目标脸部表情图像的脸部关键点坐标获得目标脸部表情图像的表情特征的其中一种实施方式;除该实施方式外,还可通过其他非拟合的实施方式实现根据脸部关键点坐标获得表情特征。
本实施例通过脸部关键点坐标获得脸部表情图像的表情特征;本发明还可使用其他方式获取脸部表情图像的表情特征,比如,通过扫描图像方式或其他现有技术,得到表情特征。
以上步骤S201、S202为获取目标脸部表情图像的表情特征的过程。以下步骤S203、S204为获取参考脸部表情图像的表情特征的过程。这两个过程没有先后顺序关系。
S203.分析参考脸部表情图像的脸部关键点坐标。
S204.把参考脸部表情图像的脸部关键点坐标在预设表情空间进行拟合,得到表情拟合结果α2,把α2作为参考脸部表情图像的表情特征。
其中,把参考脸部表情图像的脸部关键点坐标在预设表情空间进行拟合,得到表情拟合结果α2,包括:
s21,获取预置值θ;
s22,计算f(θ)=IsBseBe;Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x2;θ)·bsi·cos<R(x2;θ),bsi>;Be={be1,be2,...,bei,...,ben},αe={ae1,ae2,...,aei,...,aen},aei=R(x2;θ)·bei·cos<R(x2;θ),bei>;
s23,计算min||x2-f(θ)||,令||x2-f(θ)||=p2;
s24,计算θ=θ-d*f′(θ);
s25,计算f(θ)=IsBseBe;Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x2;θ)·bsi·cos<R(x2;θ),bsi>;Be={be1,be2,...,bei,...,ben},αe={ae1,ae2,...,aei,...,aen},aei=R(x2;θ)·bei·cos<R(x2;θ),bei>;
s26,计算||x2-f(θ)||;
s27,判断||x2-f(θ)||-p2≤g是否成立,若是,α2={a21,a22,…,a2i,…,a2n}=αe={ae1,ae2,…,aei,…,aen},否则,令||x2-f(θ)||=p2,返回步骤s24;
其中,θ为脸部的姿态参数;f(θ)为将拟合系数还原为脸部关键点坐标的列向量的函数,f′(θ)为导数;x2为参考脸部表情图像的脸部关键点坐标的列向量;Bs为预先训练好的脸部身份主成分分析模型,Is为在脸部身份主成分分析模型上的拟合系数,bsi为脸部身份主成分分析模型的第i维度元素,n为模型维度数量,asi为两个向量的内积,R(x2;θ)为将x2按照θ旋转后得到的新坐标,cos<R(x2;θ),bsi>为R(x2;θ)和bsi之间夹角的余弦值;Be为预先训练好的脸部表情主成分分析模型,αe为在脸部表情主成分分析模型上的拟合系数,bei为脸部表情主成分分析模型的第i维度元素,n为模型维度数量,aei为两个向量的内积,R(x2;θ)为将x2按照θ旋转后得到的新坐标,cos<R(x2;θ),bei>为R(x2;θ)和bei之间夹角的余弦值;||x2-f(θ)||为x2与f(θ)的列向量对应元素相减的范数,d为预置调整值;g为预置数值;p2为θ对应的范数。
步骤S204通过拟合获得表情特征,其只是根据参考脸部表情图像的脸部关键点坐标获得参考脸部表情图像的表情特征的其中一种实施方式;除该实施方式外,还可通过其他实施方式实现根据脸部关键点坐标获得表情特征。
S205.通过以下公式对目标脸部表情图像的表情特征和参考脸部表情图像的表情特征插值,得到新的表情特征α3
α3=cα1+(1-c)α2
其中,c为插值参数,0<c<1;α3为新的表情特征,α1为目标脸部表情图像的表情特征,α2为参考脸部表情图像的表情特征。
本实施例中,预设表情空间S包括7类表情,分别为高兴、悲伤、愤怒、厌倦、恐惧、惊讶、无表情的中性脸。把某一类表情所占的空间作为该类表情的本质空间,α1和α2属于同一类别表情,α1和α2在同一本质空间,连接这两个点的线段上的每个点位于最小的包含了本质空间的凸空间内。如图5所示,在以{b1,b2,b3}为坐标轴的表情空间内,表情{α1,α2}的本质空间由一条黑色曲线表达。E2通过扩大α1生成,E2已经远离了表情所处的本质空间。E1是本发明方法得到的一个新表情。相比于现有技术直接放大或缩小α1得到的结果E2,E1位于最小的包含了本质空间的凸空间内,与本质空间距离更小,合成的脸部表情图像效果也就比较自然。
S206.根据新的表情特征α3重构新的脸部关键点坐标。
新的脸部关键点坐标f(θ′)=IsBs3Be,Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x1′;θ′)·bsi·cos<R(x1′;θ′),bsi>;Be={be1,be2,...,bei,...,ben},α3={a31,a32,…,a3i,…,a3n},a3i=R(x1′;θ′)·bei·cos<R(x1′;θ′),bei>;其中,θ′为重构新坐标角度值。
S207.根据新的脸部关键点坐标与目标脸部表情图像的脸部关键点坐标的差异,调整目标脸部表情图像的像素位置,形成新的脸部表情图像。
将目标脸部表情图像的脸部关键点坐标对应的像素位置,移动到新的脸部关键点坐标,从而形成新脸部表情图像。像素移动属于现有技术,在此不做赘述。
如图6所示,其是本发明合成的第一表情图像,插值参数c为0.04。如图7所示,其是本发明合成的第二表情图像,插值参数c为0.11。将图6、图7,与图1比较,可以看出,相对于现有技术,本发明合成的脸部表情图像效果比较自然,该脸部表情图像更接近真实表情图像。
上述步骤s11-s17和步骤s21-s27为本实施例提供的拟合方法;该方法得到的表情拟合结果,能够较好地反映脸部表情图像表情特征,从而使得最终合成的脸部表情图像更接近真实表情图像。除该拟合方法外,本发明还可使用其他拟合方法。
本实施例获取一个目标脸部表情图像和一个参考脸部表情图像;即,获取两个参考脸部表情图像的表情特征,把其中一个参考脸部表情图像作为目标脸部表情图像。步骤S201、S202、S203、S204,为第一实施例的步骤S101的其中一个实施方式;即,步骤S101.获取至少两个参考脸部表情图像的表情特征,包括:步骤S201、S202、S203、S204。
步骤S205为步骤S102的其中一个实施方式;即,S102.对该至少两个参考脸部表情图像的表情特征插值,得到新的表情特征,包括,步骤S205。
步骤S206、S207为步骤S103的其中一个实施方式;即,S103.根据新的表情特征调整目标脸部表情图像,形成新的脸部表情图像,包括,步骤S206、S207。
综上,本技术方案通过拟合得到目标脸部表情图像的表情特征和参考脸部表情图像的表情特征,对目标脸部表情图像的表情特征和参考脸部表情图像的表情特征插值,得到新的表情特征,对不同表情特征插值得到新表情特征,而不是直接放大或缩小已有表情特征,根据新表情特征得到新脸部表情图像,本技术方案合成的脸部表情图像效果比较自然,该脸部表情图像更接近真实表情图像。使用本技术方案合成的脸部表情图像可以训练出较好的表情识别模型,使用该表情识别模型能够提高脸部表情识别的准确率。
在已公开的CK+人脸表情数据库上进行算法性能测试,采用本技术方案的方法生成新的脸部表情图像,把该脸部表情图像作为训练数据训练出表情识别模型,使用该表情识别模型进行表情识别,相比现有技术,识别的错误率下降了25%。
以下为本发明实施例的装置实施例,本发明的方法实施例、装置实施例属于同一构思,彼此紧密关联,在装置实施例中未详尽描述的细节内容,可以参考上述方法实施例。
请参考图8,其是本发明的合成脸部表情图像装置的结构方框图。
该合成脸部表情图像的装置,包括:
表情特征获取单元310,用于获取至少两个参考脸部表情图像的表情特征;
表情特征插值单元320,用于对至少两个参考脸部表情图像的表情特征插值,得到新的表情特征;
表情图像合成单元330,用于根据新的表情特征调整目标脸部表情图像,形成新的脸部表情图像。
其中,目标图像获取单元340,用于把至少两个参考脸部表情图像中的一个参考脸部表情图像作为目标脸部表情图像。
其中,如图9所示,表情特征插值单元320,包括:
参数获得单元321,用于获得插值参数;
插值单元322,用于根据插值参数,对至少两个参考脸部表情图像的表情特征插值,得到新的表情特征。
其中,参数获得单元321,具体用于基于随机选取的方式,获得插值参数;
表情图像合成单元330,具体用于通过以下公式对至少两个参考脸部表情图像的表情特征插值,得到新的表情特征;
αn+1=c1α1+c2α2+…+ciαi+…+cnαn
其中,αn+1为新的表情特征,ci为插值参数,1≤i≤n,0<ci<1,c1+c2+…+ci+…+cn=1,αi为参考表情图像i的表情特征,n为参考表情图像的数量,n≥2;
其中,至少两个参考脸部表情图像的表情特征属于同一类别表情特征。
以下为合成脸部表情图像的装置的其中一个实施方式。
目标图像获取单元321,具体用于分析目标脸部表情图像的脸部关键点坐标,把目标脸部表情图像的脸部关键点坐标在预设表情空间进行拟合,得到表情拟合结果α1,把α1作为目标脸部表情图像的表情特征;分析参考脸部表情图像的脸部关键点坐标,把参考脸部表情图像的脸部关键点坐标在预设表情空间进行拟合,得到表情拟合结果α2,把α2作为参考脸部表情图像的表情特征;
其中,把目标脸部表情图像的脸部关键点坐标进行拟合,得到表情拟合结果α1,包括:
s11,获取预置角度θ;
s12,计算f(θ)=IsBseBe;Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x1;θ)·bsi·cos<R(x1;θ),bsi>;Be={be1,be2,...,bei,...,ben},αe={ae1,ae2,...,aei,...,aen},aei=R(x1;θ)·bei·cos<R(x1;θ),bei>;
s13,计算||x1-f(θ)||,令||x1-f(θ)||=p1;
s14,计算θ=θ-d*f′(θ);
s15,计算f(θ)=IsBseBe;Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x1;θ)·bsi·cos<R(x1;θ),bsi>;Be={be1,be2,...,bei,...,ben},αe={ae1,ae2,...,aei,...,aen},aei=R(x1;θ)·bei·cos<R(x1;θ),bei>;
s16,计算||x1-f(θ)||;
s17,判断||x1-f(θ)||-p1≤g是否成立,若是,α1={a11,a12,...,a1i,...,a1n}=αe={ae1,ae2,...,aei,...,aen},把θ作为重构新坐标角度值,否则,令||x1-f(θ)||=p1,返回步骤s14;
其中,θ为脸部的姿态参数;f(θ)为将拟合系数还原为脸部关键点坐标的列向量的函数,f′(θ)为导数;x1为目标脸部表情图像的脸部关键点坐标的列向量;Bs为预先训练好的脸部身份主成分分析模型,Is为在脸部身份主成分分析模型上的拟合系数,bsi为脸部身份主成分分析模型的第i维度元素,n为模型维度数量,asi为两个向量的内积,R(x1;θ)为将x1按照θ旋转后得到的新坐标,cos<R(x1;θ),bsi>为R(x1;θ)和bsi之间夹角的余弦值;Be为预先训练好的脸部表情主成分分析模型,αe为在脸部表情主成分分析模型上的拟合系数,bei为脸部表情主成分分析模型的第i维度元素,n为模型维度数量,aei为两个向量的内积,R(x1;θ)为将x1按照θ旋转后得到的新坐标,cos<R(x1;θ),bei>为R(x1;θ)和bei之间夹角的余弦值;||x1-f(θ)||为x1与f(θ)的列向量对应元素相减的范数,d为预置调整值;g为预置数值;p1为θ对应的范数;
其中,把参考脸部表情图像的脸部关键点坐标进行拟合,得到表情拟合结果α2,包括:
s21,获取预置值θ;
s22,计算f(θ)=IsBseBe;Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x2;θ)·bsi·cos<R(x2;θ),bsi>;Be={be1,be2,...,bei,...,ben},αe={ae1,ae2,...,aei,...,aen},aei=R(x2;θ)·bei·cos<R(x2;θ),bei>;
s23,计算min||x2-f(θ)||,令||x2-f(θ)||=p2;
s24,计算θ=θ-d*f′(θ);
s25,计算f(θ)=IsBseBe;Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x2;θ)·bsi·cos<R(x2;θ),bsi>;Be={be1,be2,...,bei,...,ben},αe={ae1,ae2,...,aei,...,aen},aei=R(x2;θ)·bei·cos<R(x2;θ),bei>;
s26,计算||x2-f(θ)||;
s27,判断||x2-f(θ)||-p2≤g是否成立,若是,α2={a21,a22,…,a2i,…,a2n}=αe={ae1,ae2,…,aei,…,aen},否则,令||x2-f(θ)=p2,返回步骤s24;
其中,θ为脸部的姿态参数;f(θ)为将拟合系数还原为脸部关键点坐标的列向量的函数,f′(θ)为导数;x2为参考脸部表情图像的脸部关键点坐标的列向量;Bs为预先训练好的脸部身份主成分分析模型,Is为在脸部身份主成分分析模型上的拟合系数,bsi为脸部身份主成分分析模型的第i维度元素,n为模型维度数量,asi为两个向量的内积,R(x2;θ)为将x2按照θ旋转后得到的新坐标,cos<R(x2;θ),bsi>为R(x2;θ)和bsi之间夹角的余弦值;Be为预先训练好的脸部表情主成分分析模型,αe为在脸部表情主成分分析模型上的拟合系数,bei为脸部表情主成分分析模型的第i维度元素,n为模型维度数量,aei为两个向量的内积,R(x2;θ)为将x2按照θ旋转后得到的新坐标,cos<R(x2;θ),bei>为R(x2;θ)和bei之间夹角的余弦值;||x2-f(θ)||为x2与f(θ)的列向量对应元素相减的范数,d为预置调整值;g为预置数值;p2为θ对应的范数。
表情特征插值单元320,具体用于通过以下公式对目标脸部表情图像的表情特征和参考脸部表情图像的表情特征插值,得到新的表情特征α3
α3=cα1+(1-c)α2
其中,c为插值参数,0<c<1;α3为新的表情特征,α1为目标脸部表情图像的表情特征,α2为参考脸部表情图像的表情特征。
表情图像合成单元330,具体用于根据新的表情特征α3重构新的脸部关键点坐标;
新的脸部关键点坐标f(θ′)=IsBs3Be,Bs={bs1,bs2,...,bsi,...,bsn},Is={as1,as2,...,asi,...,asn},asi=R(x1′;θ′)·bsi·cos<R(x1′;θ′),bsi>;Be={be1,be2,...,bei,...,ben},α3={a31,a32,…,a3i,…,a3n},a3i=R(x1′;θ′)·bei·cos<R(x1′;θ′),bei>;其中,θ′为重构新坐标角度值;
根据新的脸部关键点坐标与目标脸部表情图像的脸部关键点坐标的差异,调整目标脸部表情图像的像素位置,形成新的脸部表情图像。
综上,本技术方案对不同表情特征插值得到新表情特征,而不是直接放大或缩小已有表情特征,根据新表情特征得到新脸部表情图像,本技术方案合成的脸部表情图像效果比较自然,该脸部表情图像更接近真实表情图像。
本领域普通技术人员可以理解实现上述本发明的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括存储器、磁盘或光盘等。
以上内容仅为本发明的较佳实施例,对于本领域的普通技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种由电子设备执行的方法,其特征在于,包括:
分析至少两个参考脸部表情图像的脸部关键点坐标;
通过拟合脸部关键点坐标得到至少两个参考脸部表情图像的表情特征;
对所述至少两个参考脸部表情图像的表情特征插值,得到新的表情特征;
根据所述新的表情特征,重构新的脸部关键点坐标;
根据新的脸部关键点坐标与目标脸部表情图像的脸部关键点坐标的差异,调整目标脸部表情图像的像素位置,形成新的脸部表情图像。
2.根据权利要求1所述的方法,其特征在于,还包括:
把所述至少两个参考脸部表情图像中的一个参考脸部表情图像作为目标脸部表情图像。
3.根据权利要求1所述的方法,其特征在于,所述对所述至少两个参考脸部表情图像的表情特征插值,得到新的表情特征,包括:
获得插值参数;
根据所述插值参数,对所述至少两个参考脸部表情图像的表情特征插值,得到新的表情特征。
4.根据权利要求3所述的方法,其特征在于,所述获得插值参数,包括:
基于随机选取的方式,获得插值参数。
5.根据权利要求3或4所述的方法,其特征在于,通过以下公式对所述至少两个参考脸部表情图像的表情特征插值,得到新的表情特征;
αn+1=c1α1+c2α2+…+ciαi+…+cnαn
其中,αn+1为新的表情特征,ci为插值参数,1≤i≤n,0<ci<1,c1+c2+…+ci+…+cn=1,αi为参考表情图像i的表情特征,n为参考表情图像的数量,n≥2。
6.根据权利要求1所述的方法,其特征在于:
所述至少两个参考脸部表情图像的表情特征属于同一类别表情特征。
7.根据权利要求2所述的方法,其特征在于,对所述至少两个参考脸部表情图像的表情特征插值,得到新的表情特征,包括:
获取目标脸部表情图像的表情特征;
根据目标脸部表情图像的表情特征和至少两个参考脸部表情图像各自的表情特征生成新的表情特征。
8.根据权利要求1所述的方法,其特征在于,还包括:
获取脸部表情图像;
使用表情识别模型识别所捕捉的脸部表情图像中的脸部表情,其中,表情识别模型是使用新的脸部表情图像与至少两个参考脸部表情图像训练得到的。
9.一种电子设备,其特征在于,包括:处理器和存储器,存储器存储程序,处理器执行所述程序实现权利要求1-8任一所述的方法。
CN201611248661.1A 2016-12-29 2016-12-29 合成脸部表情图像的方法和装置 Active CN108257162B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201611248661.1A CN108257162B (zh) 2016-12-29 2016-12-29 合成脸部表情图像的方法和装置
KR1020170084930A KR102397080B1 (ko) 2016-12-29 2017-07-04 이미지 처리 방법 및 장치
US15/837,877 US10860841B2 (en) 2016-12-29 2017-12-11 Facial expression image processing method and apparatus
US17/109,762 US11688105B2 (en) 2016-12-29 2020-12-02 Facial expression image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611248661.1A CN108257162B (zh) 2016-12-29 2016-12-29 合成脸部表情图像的方法和装置

Publications (2)

Publication Number Publication Date
CN108257162A CN108257162A (zh) 2018-07-06
CN108257162B true CN108257162B (zh) 2024-03-05

Family

ID=62721398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611248661.1A Active CN108257162B (zh) 2016-12-29 2016-12-29 合成脸部表情图像的方法和装置

Country Status (2)

Country Link
KR (1) KR102397080B1 (zh)
CN (1) CN108257162B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635634B (zh) * 2018-10-29 2023-03-31 西北大学 一种基于随机线性插值的行人再识别数据增强方法
KR102147052B1 (ko) * 2018-11-16 2020-08-21 광운대학교 산학협력단 얼굴 영상 기반의 감정 인식 시스템 및 방법
CN110059739B (zh) * 2019-04-12 2022-03-04 北京字节跳动网络技术有限公司 图像合成方法、装置、电子设备和计算机可读存储介质
CN110941332A (zh) * 2019-11-06 2020-03-31 北京百度网讯科技有限公司 表情驱动方法、装置、电子设备及存储介质
CN111860380B (zh) * 2020-07-27 2024-07-23 平安科技(深圳)有限公司 人脸图像生成方法、装置、服务器及存储介质
CN113870401B (zh) * 2021-12-06 2022-02-25 腾讯科技(深圳)有限公司 表情生成方法、装置、设备、介质和计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268623A (zh) * 2013-06-18 2013-08-28 西安电子科技大学 一种基于频域分析的静态人脸表情合成方法
CN105960657A (zh) * 2014-06-17 2016-09-21 北京旷视科技有限公司 使用卷积神经网络的面部超分辨率
CN106056650A (zh) * 2016-05-12 2016-10-26 西安电子科技大学 基于快速表情信息提取和泊松融合的人脸表情合成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634106B2 (en) * 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
KR100792704B1 (ko) * 2005-12-08 2008-01-08 한국전자통신연구원 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법
US8391639B2 (en) * 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging
JP2013188341A (ja) * 2012-03-14 2013-09-26 Sony Corp 画像処理装置と画像処理方法およびプログラム
KR20150140644A (ko) * 2013-02-08 2015-12-16 이모션트 표정 인식을 위한 기계 학습 훈련 데이터의 수집
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268623A (zh) * 2013-06-18 2013-08-28 西安电子科技大学 一种基于频域分析的静态人脸表情合成方法
CN105960657A (zh) * 2014-06-17 2016-09-21 北京旷视科技有限公司 使用卷积神经网络的面部超分辨率
CN106056650A (zh) * 2016-05-12 2016-10-26 西安电子科技大学 基于快速表情信息提取和泊松融合的人脸表情合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于MPEG-4的人脸表情图像变形研究;戴振龙等;中国图象图形学报;第14卷(第5期);782-791 *
表情源的人脸表情合成技术;李旭东等;计算机辅助设计与图形学学报;第17卷(第1期);93-97 *

Also Published As

Publication number Publication date
CN108257162A (zh) 2018-07-06
KR20180078115A (ko) 2018-07-09
KR102397080B1 (ko) 2022-05-12

Similar Documents

Publication Publication Date Title
CN108257162B (zh) 合成脸部表情图像的方法和装置
CN108876813B (zh) 用于视频中物体检测的图像处理方法、装置及设备
KR101634562B1 (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
US11688100B1 (en) Systems and methods for multi-sensor image enhancement
Blott et al. Semantic segmentation of fisheye images
KR102493492B1 (ko) 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치
Tolosana et al. An introduction to digital face manipulation
WO2022164895A2 (en) Neural 3d video synthesis
WO2012056610A1 (ja) コンテンツシーン判定装置
CN117640994A (zh) 一种视频生成方法及相关设备
JP5566199B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
CN104427212B (zh) 用于消除失真的装置和方法
WO2024160178A1 (zh) 图像翻译模型的训练、图像翻译方法、设备及存储介质
Wu et al. Video interpolation by event-driven anisotropic adjustment of optical flow
He et al. Diff-Privacy: Diffusion-based Face Privacy Protection
Song et al. Talking face video generation with editable expression
WO2022097371A1 (ja) 認識システム、認識方法、プログラム、学習方法、学習済みモデル、蒸留モデル、及び、学習用データセット生成方法
CN108600762B (zh) 结合运动补偿和神经网络算法的递进式视频帧生成方法
CN116127422A (zh) 图像处理方法、图像处理模型的训练方法及装置
Zhang et al. Video Superresolution Reconstruction Using Iterative Back Projection with Critical‐Point Filters Based Image Matching
Qiu et al. Privacy preserving facial image processing method using variational autoencoder
Hwang et al. Identification method for digital image forgery and filtering region through interpolation
Paul et al. On-line restoration for turbulence degraded video in nuclear power plant reactors
Mathai et al. Video frame interpolation using deep convolutional neural network
KR102640653B1 (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant