CN110728271B - 一种针对人脸识别生成人物表情的方法 - Google Patents

一种针对人脸识别生成人物表情的方法 Download PDF

Info

Publication number
CN110728271B
CN110728271B CN201911315376.0A CN201911315376A CN110728271B CN 110728271 B CN110728271 B CN 110728271B CN 201911315376 A CN201911315376 A CN 201911315376A CN 110728271 B CN110728271 B CN 110728271B
Authority
CN
China
Prior art keywords
face
forehead
point
eyebrow
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911315376.0A
Other languages
English (en)
Other versions
CN110728271A (zh
Inventor
李小波
李晓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengxin Shambala Culture Co ltd
Original Assignee
Hengxin Shambala Culture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengxin Shambala Culture Co ltd filed Critical Hengxin Shambala Culture Co ltd
Priority to CN201911315376.0A priority Critical patent/CN110728271B/zh
Publication of CN110728271A publication Critical patent/CN110728271A/zh
Application granted granted Critical
Publication of CN110728271B publication Critical patent/CN110728271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种涉及图像处理领域，尤其涉及一种针对人脸识别生成人物表情的方法，利用面部识别，将图片或照片中人脸特征点识别完成后，根据特征点可以计算出不同表情，生成不同表情的图片，从而可以将现实的人脸照片置入到预设的模型脸部上进行真人角色扮演，还可以利用面部识别与虚拟形象进行交流。

Description

一种针对人脸识别生成人物表情的方法
技术领域
本申请涉及图像处理领域，尤其涉及一种针对人脸识别生成人物表情的方法。
背景技术
人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。
具体的，人脸识别包括人脸图像采集、人脸定位、图像预处理、身份确认以及身份查找等。例如：数码相机的面部捕捉、安全门禁系统、网络应用身份校验、人物表情识别等。其中，数码相机的面部捕捉识别到人脸后只简单的给出了人脸的所在位置；安全门禁系统只是比对人脸数据是否在门禁系统数据库中；网络应用身份校验是根据预先输入的人脸数据比对进行微调；人脸表情识别仅是对人脸表情进行了识别。
综上，现有的人脸识别均是输入一张或一系列人脸图片，而输出的则是一系列数据，仅是应用于人脸识别过程。
发明内容
本申请提供了一种针对人脸识别生成人物表情的方法与装置，以根据人脸图像输出不同表情的图片。
为解决上述技术问题，本申请提供如下技术方案：
一种针对人脸识别生成人物表情的方法，包括如下步骤：对输入的图片的人脸图像提取人脸特征点，并且依据提取的人脸特征点计算额头特征点；根据提取的人脸特征点以及计算得到的额头特征点，构建三角形列表；按照人脸特征点和额头特征点与三角形列表的比例关系，等比例获得人脸图像四周的三角形的外边缘点的位置信息；对三角形列表中的各点的位置信息，应用预存的模特图片的位移分量，获得变形后的三角形分布数据；将变形后的三角形分布数据应用于输入的图片中，得到包含拉伸变换了的新人脸图像的图片；将预存的需要混合部分的模特表情图片，与新人脸图像的图片中需要变换表情的部分区域进行融合，生成具有其他表情人脸图像的图片。
如上所述的针对人脸识别生成人物表情的方法，其中，优选的，计算额头特征点，包括如下子步骤：根据人脸特征点中的左眉毛眉头处的特征点和右眉毛眉头处的特征点，得到眉心处位置信息；根据人脸特征点中的脸部轮廓上与眼球齐平的左右两个特征点，得到脸部中心位置信息；根据人脸特征点中的鼻尖的特征点和眉心处位置信息，得到鼻尖和眉心的距离；根据人脸特征点中的脸部轮廓上与眼球齐平的左右两个特征点，得到脸部一半宽度；根据脸部中心位置信息、眉心处位置信息以及鼻尖和眉心的距离，获得额头部分的高度；根据过程参数以及脸部轮廓上与眼球齐平的左右两个特征点，获得向上额头方向向量，根据脸部轮廓上与眼球齐平的左右两个特征点得到过程参数；根据向上额头方向向量、眉心处位置信息以及鼻尖和眉心的距离，获得额头正中心最高点位置信息；根据脸部轮廓上与眼球齐平的左面的特征点、向上额头方向向量、额头部分的高度、过程参数、脸部一半宽度，分别获得左半圈额头点集的各点位置信息和右半圈额头点集的各点位置信息。
如上所述的针对人脸识别生成人物表情的方法，其中，优选的是，依据公式
Figure 152600DEST_PATH_IMAGE001
，计算额头正中心最高点
Figure 538581DEST_PATH_IMAGE002
的位置信息；其中，
Figure 177373DEST_PATH_IMAGE003
为眉心处位置信息，
Figure 307003DEST_PATH_IMAGE004
为鼻尖和眉心的距离，
Figure 855796DEST_PATH_IMAGE005
为向上额头方向向量。
如上所述的针对人脸识别生成人物表情的方法，其中，优选的是，依据公式
Figure 412680DEST_PATH_IMAGE006
，获得左半圈额头上的点的位置信息；其中，
Figure 289500DEST_PATH_IMAGE007
为脸部轮廓上与眼球齐平的左特征点，
Figure 222821DEST_PATH_IMAGE005
为向上额头方向向量，
Figure 360541DEST_PATH_IMAGE008
为额头部分的高度，
Figure 212959DEST_PATH_IMAGE009
为过程参数，
Figure 701710DEST_PATH_IMAGE010
为脸部一半宽度。
如上所述的针对人脸识别生成人物表情的方法，其中，优选的是，依据公式
Figure 173142DEST_PATH_IMAGE011
获得右半圈额头上的点的位置信息；其中，
Figure 430948DEST_PATH_IMAGE007
为脸部轮廓上与眼球齐平的左特征点，
Figure 470580DEST_PATH_IMAGE005
为向上额头方向向量，
Figure 446626DEST_PATH_IMAGE008
为额头部分的高度，
Figure 456170DEST_PATH_IMAGE009
为过程参数，
Figure 834062DEST_PATH_IMAGE010
为脸部一半宽度。
如上所述的针对人脸识别生成人物表情的方法，其中，优选的是，依据公式
Figure 762704DEST_PATH_IMAGE012
计算得到眉心处位置信息
Figure 226046DEST_PATH_IMAGE003
；其中，
Figure 39281DEST_PATH_IMAGE013
为左眉毛眉头处的特征点，
Figure 147046DEST_PATH_IMAGE014
为右眉毛眉头处的特征点。
如上所述的针对人脸识别生成人物表情的方法，其中，优选的是，依据公式
Figure 653113DEST_PATH_IMAGE015
，获得鼻尖和眉心的距离
Figure 72593DEST_PATH_IMAGE004
；其中，
Figure 814153DEST_PATH_IMAGE016
为鼻尖的特征点。
如上所述的针对人脸识别生成人物表情的方法，其中，优选的是，依据公式
Figure 901058DEST_PATH_IMAGE017
，获得向上额头方向向量
Figure 578027DEST_PATH_IMAGE005
；其中，
Figure 750382DEST_PATH_IMAGE009
为过程参数，
Figure 777857DEST_PATH_IMAGE018
，
Figure 984847DEST_PATH_IMAGE007
为脸部轮廓上与眼球齐平的左特征点，
Figure 832717DEST_PATH_IMAGE019
为脸部轮廓上与眼球齐平的右特征点，
Figure 492369DEST_PATH_IMAGE020
为
Figure 575731DEST_PATH_IMAGE021
在y方向的坐标，
Figure 106070DEST_PATH_IMAGE022
为
Figure 124841DEST_PATH_IMAGE021
在x方向的坐标。
如上所述的针对人脸识别生成人物表情的方法，其中，优选的是，依据公式
Figure 147155DEST_PATH_IMAGE023
，得到脸部一半宽度
Figure 909575DEST_PATH_IMAGE010
。
如上所述的针对人脸识别生成人物表情的方法，其中，优选的是，依据公式
Figure 825578DEST_PATH_IMAGE024
，获得额头部分的高度
Figure 749672DEST_PATH_IMAGE008
；其中，
Figure 508549DEST_PATH_IMAGE025
为脸部中心位置信息，
Figure 809081DEST_PATH_IMAGE026
。
相对上述背景技术，本发明利用面部识别，将图片或照片中人脸特征点识别完成后，根据特征点可以计算出不同表情，生成不同表情的图片，从而可以将现实的人脸照片置入到预设的模型脸部上进行真人角色扮演，还可以利用面部识别与虚拟形象进行交流。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的针对人脸识别生成人物表情的方法的流程图；
图2是本申请实施例提供的人脸特征点、额头特征点及三角形列表示意图；
图3是本申请实施例提供的依据人脸特征点计算额头特征点的流程图；
图4是本申请实施例提供的获得的不同表情图片的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本申请提供了一种针对人脸识别生成人物表情的方法，如图1所示，具体包括如下步骤：
步骤S110、对输入的图片的人脸图像提取人脸特征点，并且依据提取的人脸特征点计算额头特征点；
可根据预先建立的规则（例如：可以根据Dlib开源库提供的人脸特征点检测功能检测人脸特征点），对人脸进行体征点提取，提取出如图2所示的65个人脸特征点。可以将这65个特征点组成一个二维数组p（其中，点
Figure 845170DEST_PATH_IMAGE007
～点
Figure 940165DEST_PATH_IMAGE027
可以使用x、y坐标表示）。依据提取的65个人脸特征点，计算额头正中心最高点
Figure 937071DEST_PATH_IMAGE002
的位置信息以及左半圈额头点集（点
Figure 41293DEST_PATH_IMAGE028
～点
Figure 666309DEST_PATH_IMAGE029
）的各点位置信息和右半圈额头点集（点
Figure 197785DEST_PATH_IMAGE030
～点
Figure 665675DEST_PATH_IMAGE031
）的各点位置信息。
作为举例，输入正常状态（即睁开双眼、闭上嘴巴、没有表情的状态，也就是拍证件照的状态）人脸图像的图片，获得其他表情（愤怒、闭眼、张嘴、笑、吐舌等）人脸图像的图片。
具体的，请参阅图3，根据人脸特征点计算额头特征点，具体包括如下子步骤：
步骤S310、根据人脸特征点中的左眉毛眉头处的特征点和右眉毛眉头处的特征点，得到眉心处位置信息；
请继续参阅图2，获得的65个人脸特征点中的点
Figure 308009DEST_PATH_IMAGE013
为左眉毛眉头处的特征点，点
Figure 53111DEST_PATH_IMAGE014
为右眉毛眉头处的特征点，根据点
Figure 630854DEST_PATH_IMAGE013
和点
Figure 461407DEST_PATH_IMAGE014
，依据公式
Figure 907432DEST_PATH_IMAGE012
，获得眉心处位置信息
Figure 366095DEST_PATH_IMAGE003
；
步骤S320、根据人脸特征点中的脸部轮廓上与眼球齐平的左右两个特征点，得到脸部中心位置信息；
脸部轮廓上与眼球齐平的左特征点为点
Figure 239373DEST_PATH_IMAGE007
，脸部轮廓上与眼球齐平的右特征点为点
Figure 557222DEST_PATH_IMAGE019
，根据点
Figure 541358DEST_PATH_IMAGE007
和点
Figure 145208DEST_PATH_IMAGE019
，依据公式
Figure 923808DEST_PATH_IMAGE026
，获得脸部中心位置信息
Figure 728953DEST_PATH_IMAGE025
；
步骤S330、根据人脸特征点中的鼻尖的特征点和眉心处位置信息，得到鼻尖和眉心的距离；
鼻尖的特征点为点
Figure 641414DEST_PATH_IMAGE016
，根据点
Figure 215615DEST_PATH_IMAGE016
与
Figure 430696DEST_PATH_IMAGE003
，依据公式
Figure 457558DEST_PATH_IMAGE015
，获得鼻尖和眉心的距离
Figure 924442DEST_PATH_IMAGE004
；
步骤S340、根据人脸特征点中的脸部轮廓上与眼球齐平的左右两个特征点，得到脸部一半宽度；
首先，根据脸部轮廓上与眼球齐平的左右两个特征点（点
Figure 353150DEST_PATH_IMAGE007
和点
Figure 739132DEST_PATH_IMAGE019
），依据公式
Figure 518869DEST_PATH_IMAGE018
，获得过程参数
Figure 507553DEST_PATH_IMAGE009
；
然后，根据过程参数
Figure 790767DEST_PATH_IMAGE009
，依据公式
Figure 223017DEST_PATH_IMAGE023
，得到脸部一半宽度
Figure 224471DEST_PATH_IMAGE010
，其中0.65是一个固定常数。
步骤S350、根据脸部中心位置信息、眉心处位置信息以及鼻尖和眉心的距离，获得额头部分的高度；
具体的，根据
Figure 157792DEST_PATH_IMAGE025
、
Figure 295512DEST_PATH_IMAGE003
和
Figure 147930DEST_PATH_IMAGE004
，依据公式
Figure 636680DEST_PATH_IMAGE024
，获得额头部分的高度
Figure 108113DEST_PATH_IMAGE008
；
步骤S360、根据过程参数以及脸部轮廓上与眼球齐平的左右两个特征点，获得向上额头方向向量；
具体的，根据
Figure 975706DEST_PATH_IMAGE009
、
Figure 139971DEST_PATH_IMAGE007
、
Figure 850438DEST_PATH_IMAGE019
，依据公式
Figure 250196DEST_PATH_IMAGE017
，获得向上额头方向向量
Figure 628087DEST_PATH_IMAGE005
；
其中，
Figure 697674DEST_PATH_IMAGE020
为
Figure 161017DEST_PATH_IMAGE021
在y方向的坐标，
Figure 846689DEST_PATH_IMAGE022
为
Figure 79087DEST_PATH_IMAGE021
在x方向的坐标。
步骤S370、根据向上额头方向向量、眉心处位置信息以及鼻尖和眉心的距离，获得额头正中心最高点位置信息；
具体的，根据
Figure 319575DEST_PATH_IMAGE005
、
Figure 270214DEST_PATH_IMAGE003
、
Figure 11774DEST_PATH_IMAGE004
，依据公式
Figure 833099DEST_PATH_IMAGE001
，计算额头正中心最高点，也就是图2中的点
Figure 510068DEST_PATH_IMAGE002
的位置信息。
步骤S380、根据脸部轮廓上与眼球齐平的左面的特征点、向上额头方向向量、额头部分的高度、过程参数、脸部一半宽度，分别获得左半圈额头点集的各点位置信息和右半圈额头点集的各点位置信息；
其中，请继续参阅图2，其中，脸部轮廓上从与左眉毛眉尾相对的点
Figure 557790DEST_PATH_IMAGE028
至额头正中心最高点
Figure 712827DEST_PATH_IMAGE002
之间的各点为左半圈额头上的点，具体为
Figure 919818DEST_PATH_IMAGE032
、
Figure 502109DEST_PATH_IMAGE033
、
Figure 286394DEST_PATH_IMAGE034
、
Figure 245123DEST_PATH_IMAGE035
、
Figure 306620DEST_PATH_IMAGE036
、
Figure 325391DEST_PATH_IMAGE037
，这些点组成左半圈额头点集；同理，脸部轮廓上从与右眉毛眉尾相对的点
Figure 82126DEST_PATH_IMAGE030
至额头正中心最高点
Figure 578966DEST_PATH_IMAGE002
之间的各点为右半圈额头上的点，具体为
Figure 494970DEST_PATH_IMAGE038
、
Figure 809276DEST_PATH_IMAGE039
、
Figure 443520DEST_PATH_IMAGE040
、
Figure 744051DEST_PATH_IMAGE041
、
Figure 514561DEST_PATH_IMAGE042
、
Figure 484923DEST_PATH_IMAGE043
，这些点组成右半圈额头点集；
具体的，根据脸部轮廓上与眼球齐平的左面的特征点
Figure 606462DEST_PATH_IMAGE007
、向上额头方向向量
Figure 445105DEST_PATH_IMAGE005
、额头部分的高度
Figure 460335DEST_PATH_IMAGE008
、过程参数
Figure 991810DEST_PATH_IMAGE009
、脸部一半宽度
Figure 335067DEST_PATH_IMAGE010
，依据公式
Figure 242980DEST_PATH_IMAGE006
，获得左半圈额头上的点（
Figure 594939DEST_PATH_IMAGE032
、
Figure 297316DEST_PATH_IMAGE033
、
Figure 127869DEST_PATH_IMAGE034
、
Figure 432948DEST_PATH_IMAGE035
、
Figure 298136DEST_PATH_IMAGE036
、
Figure 171414DEST_PATH_IMAGE037
）的位置信息；
同理，依据公式
Figure 489263DEST_PATH_IMAGE011
，获得右半圈额头上的点（
Figure 348766DEST_PATH_IMAGE038
、
Figure 68460DEST_PATH_IMAGE039
、
Figure 112640DEST_PATH_IMAGE040
、
Figure 776839DEST_PATH_IMAGE041
、
Figure 564667DEST_PATH_IMAGE042
、
Figure 138867DEST_PATH_IMAGE043
）的位置信息。
步骤S120、根据提取的人脸特征点以及计算得到的额头特征点，构建三角形列表；
具体的，可以使用三角剖分算法依据人脸图像内部的点
Figure 353948DEST_PATH_IMAGE007
至点
Figure 256176DEST_PATH_IMAGE031
构成三角形，并且还向人脸图像四周延伸组成围绕人脸图像的一圈三角形，人脸图像内部的三角形和人脸图像四周的三角形共同构成三角形列表。
步骤S130、按照人脸特征点和额头特征点与三角形列表的比例关系，等比例获得人脸图像四周的三角形的外边缘点的位置信息；
请继续参阅图2，三角形列表中，人脸图像四周的三角形的外边缘点分别为点
Figure 847694DEST_PATH_IMAGE044
至点
Figure 276402DEST_PATH_IMAGE045
，共24个点。其中，人脸图像四周的三角形中，在输入的图片四角处的三角形的内边缘点为相邻两个三角形的外边缘点，剩余的人脸图像四周的三角形的内边缘点为人脸图像脸部轮廓上的点（点
Figure 662384DEST_PATH_IMAGE007
至点
Figure 566755DEST_PATH_IMAGE019
、点
Figure 430805DEST_PATH_IMAGE002
至点
Figure 714019DEST_PATH_IMAGE046
）。根据点
Figure 411848DEST_PATH_IMAGE007
至点
Figure 413302DEST_PATH_IMAGE046
与人脸图像内部的三角形的比例关系，等比例获得人脸图像外部的三角形的外边缘点（点
Figure 81044DEST_PATH_IMAGE044
至点
Figure 343398DEST_PATH_IMAGE045
）的位置信息，以避免后续根据模特的位移分量对三角形列表中的各点进行变形处理时，人脸边缘变形失真。
步骤S140、对三角形列表中的各点的位置信息，应用预存的模特的位移分量，获得变形后的三角形分布数据；
例如：依据正常状态人脸图像的图片生成闭眼表情人脸图像的图片，那么预先在处理设备中存储有模特闭眼表情人脸图像的图片相对于模特正常状态人脸图像的图片的位移分量。
具体的，同样依据上述步骤S110（步骤S310-步骤S380）、步骤S120、步骤S130，获得模特正常状态人脸图像的图片的三角形列表中所有点的位置信息及模特闭眼表情人脸图像的图片的三角形列表的所有点的位置信息。
然后，根据模特闭眼表情人脸图像的图片的三角形列表的所有点的位置信息与模特正常状态人脸图像的图片的三角形列表中所有点的位置信息，获得模特闭眼表情人脸图像的图片相对于模特正常状态人脸图像的图片的位移分量。具体的，可以使用三角形插值法根据模特闭眼表情人脸图像的图片的三角形列表的所有点的位置信息与模特正常状态人脸图像的图片的三角形列表中所有点的位置信息计算模特闭眼表情人脸图像的图片相对于模特正常状态人脸图像的图片的位移分量。当然，也可以是模特的其他表情的图片相对于参考表情的图片的位移分量。将所得到的模特的位移分量预存于图像的处理设备中，以备图像处理时使用。
步骤S150、将变形后的三角形分布数据应用于输入的图片中，得到包含拉伸变换了的新人脸图像的图片；
步骤S160、将预存的需要混合部分的模特表情图片，与新人脸图像的图片中需要变换表情的部分区域进行融合，生成具有其他表情人脸图像的图片。
首先，预先在处理设备中存储需要混合部分的模特表情图片，例如：模特闭眼表情的眼部图片、模特张嘴的嘴部图片、模特笑的嘴部图片、模特吐舌的嘴部图片、模特愤怒的眼部及嘴部图片等。
上述需要混合部分的模特表情图片是分别对模特的各个表情时的脸部图像截取的透明过滤图。具体的，可以应用泊松融合算法将需要混合部分的模特表情图片应用至新人脸图像的图片中需要变换表情的部分区域，例如将模特闭眼表情的眼部图片融合至新人脸图像的图片中的眼睛部位，使之产生过度和色相融合，生成（如图4所示）的具有需要表情的人物图像的图片。
本申请还提供了一种针对人脸识别生成人物表情的装置，该装置执行上述所述的针对人脸识别生成人物表情的方法。
本申请利用面部识别，将图片或照片中人脸特征点识别完成后，根据特征点可以计算出不同表情，生成不同表情的图片，从而可以将现实的人脸照片置入到预设的模型脸部上进行真人角色扮演，还可以利用面部识别与虚拟形象进行交流。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种针对人脸识别生成人物表情的方法，其特征在于，包括如下步骤：
对输入的图片的人脸图像提取人脸特征点，并且依据提取的人脸特征点计算额头特征点；
计算额头特征点，包括如下子步骤：
根据人脸特征点中的左眉毛眉头处的特征点和右眉毛眉头处的特征点，得到眉心处位置信息；
根据人脸特征点中的脸部轮廓上与眼球齐平的左右两个特征点，得到脸部中心位置信息；
根据人脸特征点中的鼻尖的特征点和眉心处位置信息，得到鼻尖和眉心的距离；
根据人脸特征点中的脸部轮廓上与眼球齐平的左右两个特征点，得到脸部一半宽度；
根据脸部中心位置信息、眉心处位置信息以及鼻尖和眉心的距离，获得额头部分的高度；
根据过程参数以及脸部轮廓上与眼球齐平的左右两个特征点，获得向上额头方向向量，根据脸部轮廓上与眼球齐平的左右两个特征点得到过程参数；
根据向上额头方向向量、眉心处位置信息以及鼻尖和眉心的距离，获得额头正中心最高点位置信息；
根据脸部轮廓上与眼球齐平的左面的特征点、向上额头方向向量、额头部分的高度、过程参数、脸部一半宽度，分别获得左半圈额头点集的各点位置信息和右半圈额头点集的各点位置信息；
依据公式
Figure 292185DEST_PATH_IMAGE001
，获得左半圈额头上的点
Figure 559218DEST_PATH_IMAGE002
的位置信息；
其中，
Figure 23697DEST_PATH_IMAGE003
为脸部轮廓上与眼球齐平的左特征点，
Figure 754893DEST_PATH_IMAGE004
为向上额头方向向量，
Figure 279415DEST_PATH_IMAGE005
为额头部分的高度，
Figure 33745DEST_PATH_IMAGE006
为过程参数，
Figure 974019DEST_PATH_IMAGE007
为脸部一半宽度；
根据提取的人脸特征点以及计算得到的额头特征点，构建三角形列表；
按照人脸特征点和额头特征点与三角形列表的比例关系，等比例获得人脸图像四周的三角形的外边缘点的位置信息；
对三角形列表中的各点的位置信息，应用预存的模特图片的位移分量，获得变形后的三角形分布数据；
将变形后的三角形分布数据应用于输入的图片中，得到包含拉伸变换了的新人脸图像的图片；
将预存的需要混合部分的模特表情图片，与新人脸图像的图片中需要变换表情的部分区域进行融合，生成具有其他表情人脸图像的图片。
2.根据权利要求1所述的针对人脸识别生成人物表情的方法，其特征在于，依据公式
Figure 762983DEST_PATH_IMAGE008
，计算额头正中心最高点
Figure 520724DEST_PATH_IMAGE009
的位置信息；
其中，
Figure 496770DEST_PATH_IMAGE010
为眉心处位置信息，
Figure 303052DEST_PATH_IMAGE011
为鼻尖和眉心的距离，
Figure 149785DEST_PATH_IMAGE012
为向上额头方向向量。
3.根据权利要求1所述的针对人脸识别生成人物表情的方法，其特征在于，依据公式
Figure 484952DEST_PATH_IMAGE013
，获得右半圈额头上的点
Figure 479452DEST_PATH_IMAGE014
的位置信息；
其中，
Figure 886163DEST_PATH_IMAGE003
为脸部轮廓上与眼球齐平的左特征点，
Figure 384140DEST_PATH_IMAGE012
为向上额头方向向量，
Figure 155787DEST_PATH_IMAGE005
为额头部分的高度，
Figure 575267DEST_PATH_IMAGE006
为过程参数，
Figure 723352DEST_PATH_IMAGE007
为脸部一半宽度。
4.根据权利要求1-3任一项所述的针对人脸识别生成人物表情的方法，其特征在于，依据公式
Figure 75836DEST_PATH_IMAGE015
计算得到眉心处位置信息
Figure 346280DEST_PATH_IMAGE010
；
其中，
Figure 49794DEST_PATH_IMAGE016
为左眉毛眉头处的特征点，
Figure 470411DEST_PATH_IMAGE017
为右眉毛眉头处的特征点。
5.根据权利要求4所述的针对人脸识别生成人物表情的方法，其特征在于，依据公式
Figure 146243DEST_PATH_IMAGE018
，获得鼻尖和眉心的距离
Figure 259693DEST_PATH_IMAGE011
；
其中，
Figure 184923DEST_PATH_IMAGE019
为鼻尖的特征点。
6.根据权利要求1-3任一项所述的针对人脸识别生成人物表情的方法，其特征在于，依据公式
Figure 737127DEST_PATH_IMAGE020
，得到脸部一半宽度
Figure 329783DEST_PATH_IMAGE021
。
7.根据权利要求2所述的针对人脸识别生成人物表情的方法，其特征在于，依据公式
Figure 614133DEST_PATH_IMAGE022
，获得额头部分的高度
Figure 229923DEST_PATH_IMAGE023
；
其中，
Figure 257921DEST_PATH_IMAGE024
为脸部中心位置信息，
Figure 767400DEST_PATH_IMAGE025
，点
Figure 222652DEST_PATH_IMAGE003
为脸部轮廓上与眼球齐平的左特征点，点
Figure 388054DEST_PATH_IMAGE026
为脸部轮廓上与眼球齐平的右特征点。
CN201911315376.0A 2019-12-19 2019-12-19 一种针对人脸识别生成人物表情的方法 Active CN110728271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911315376.0A CN110728271B (zh) 2019-12-19 2019-12-19 一种针对人脸识别生成人物表情的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911315376.0A CN110728271B (zh) 2019-12-19 2019-12-19 一种针对人脸识别生成人物表情的方法

Publications (2)

Publication Number Publication Date
CN110728271A CN110728271A (zh) 2020-01-24
CN110728271B true CN110728271B (zh) 2020-04-07

Family

ID=69226460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911315376.0A Active CN110728271B (zh) 2019-12-19 2019-12-19 一种针对人脸识别生成人物表情的方法

Country Status (1)

Country Link
CN (1) CN110728271B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537881A (zh) * 2018-04-18 2018-09-14 腾讯科技（深圳）有限公司 一种人脸模型处理方法及其设备、存储介质
CN109410119A (zh) * 2017-08-18 2019-03-01 北京凤凰都市互动科技有限公司 面具图像变形方法及其系统
CN109410298A (zh) * 2018-11-02 2019-03-01 北京恒信彩虹科技有限公司 一种虚拟模型的制作方法及表情变化方法
CN109948454A (zh) * 2019-02-25 2019-06-28 深圳大学 表情数据库的增强方法、训练方法、计算设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323374A1 (en) * 2016-05-06 2017-11-09 Seok Hyun Park Augmented reality image analysis methods for the virtual fashion items worn

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410119A (zh) * 2017-08-18 2019-03-01 北京凤凰都市互动科技有限公司 面具图像变形方法及其系统
CN108537881A (zh) * 2018-04-18 2018-09-14 腾讯科技（深圳）有限公司 一种人脸模型处理方法及其设备、存储介质
CN109410298A (zh) * 2018-11-02 2019-03-01 北京恒信彩虹科技有限公司 一种虚拟模型的制作方法及表情变化方法
CN109948454A (zh) * 2019-02-25 2019-06-28 深圳大学 表情数据库的增强方法、训练方法、计算设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于三角坐标系的人脸表情方向性研究;陆飞 等;《计算机辅助设计与图形学学报》;20170228;第29卷(第2期);262-268 *

Also Published As

Publication number Publication date
CN110728271A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
US11087519B2 (en) Facial animation implementation method, computer device, and storage medium
US10089522B2 (en) Head-mounted display with facial expression detecting capability
Hu et al. Avatar digitization from a single image for real-time rendering
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
US7876931B2 (en) Face recognition system and method
Decarlo et al. Optical flow constraints on deformable models with applications to face tracking
CN107169455B (zh) 基于深度局部特征的人脸属性识别方法
Koshimizu et al. On KANSEI facial image processing for computerized facial caricaturing system PICASSO
CN109952594A (zh) 图像处理方法、装置、终端及存储介质
Hsu Face detection and modeling for recognition
US11120535B2 (en) Image processing method, apparatus, terminal, and storage medium
CN114283052A (zh) 妆容迁移及妆容迁移网络的训练方法和装置
CN104933742B (zh) 一种卡通肖像自动生成方法
US11120624B2 (en) Three-dimensional head portrait generating method and electronic device
Wang et al. Digital twin: Acquiring high-fidelity 3D avatar from a single image
Sheu et al. Automatic generation of facial expression using triangular geometric deformation
Danieau et al. Automatic generation and stylization of 3d facial rigs
CN113705466A (zh) 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
CN110728271B (zh) 一种针对人脸识别生成人物表情的方法
WO2024059374A1 (en) User authentication based on three-dimensional face modeling using partial face images
CN102496174A (zh) 一种用于安防监控的人脸素描索引生成方法
WO2021155666A1 (zh) 用于生成图像的方法和装置
CN104636727A (zh) 一种适应多表情多姿态的人脸识别方法
Yuen et al. Multimodal interface for human-machine communication
KR102630872B1 (ko) 표정 인식 학습 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant