CN110458121B - 一种人脸图像生成的方法及装置 - Google Patents

一种人脸图像生成的方法及装置 Download PDF

Info

Publication number
CN110458121B
CN110458121B CN201910753429.0A CN201910753429A CN110458121B CN 110458121 B CN110458121 B CN 110458121B CN 201910753429 A CN201910753429 A CN 201910753429A CN 110458121 B CN110458121 B CN 110458121B
Authority
CN
China
Prior art keywords
face image
feature points
facial expression
feature
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910753429.0A
Other languages
English (en)
Other versions
CN110458121A (zh
Inventor
吴艳红
陈冠男
张丽杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910753429.0A priority Critical patent/CN110458121B/zh
Publication of CN110458121A publication Critical patent/CN110458121A/zh
Priority to US16/937,175 priority patent/US11295115B2/en
Application granted granted Critical
Publication of CN110458121B publication Critical patent/CN110458121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸图像生成的方法及装置，该方法包括：接收输入的第一人脸图像以及目标面部表情信息，并确定所述第一人脸图像对应的第一面部表情信息；基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；分别提取第一参考人脸图像与第二参考人脸图像中的特征点，并基于所述特征点确定第一参考人脸图像与第二参考人脸图像之间的面部形变信息；提取第一人脸图像中的特征点，基于面部形变信息以及第一人脸图像中的特征点生成第二人脸图像。解决了现有技术中人脸表情图像的质量较差的技术问题。

Description

一种人脸图像生成的方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种人脸图像生成的方法及装置。
背景技术
随着图像处理技术的快速发展，人脸表情合成应用于诸多技术领域，例如虚拟技术、电影、游戏、人脸识别等。目前，人脸表情合成的方法主要采用压缩编码标准MPEG-4或面部动作编码系统来合成人脸表情等，现有技术中一般输入的图像中的人脸特征选取需要人工操作或者已有人脸面部的区域划分的方法需要手工完成，由于人工选取特征以及区域划分的不够精细，导致合成的人脸表情图像的细节不够丰富，人脸表情图像的质量较差。
发明内容
本申请提供一种人脸图像生成的方法及装置，用以解决现有技术中人脸表情图像的质量较差的技术问题。
第一方面，本申请实施例提供一种人脸图像生成的方法，该方法包括：
接收输入的第一人脸图像以及目标面部表情信息，并确定所述第一人脸图像对应的第一面部表情信息；
基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；
分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息；
提取所述第一人脸图像中的特征点，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。
本申请实施例所提供的方案中，确定输入的第一人脸图像的面部表情信息以及目标面部表情信息，从预设的人脸图像库中选择出与第一人脸图像的面部表情信息匹配的第一参考人脸图像和与目标面部表情信息匹配的第二参考人脸图像，然后，根据提取的特征点确定第一参考人脸图像与第二参考人脸图像之间的面部形变信息，以及根据面部形变信息以及第一人脸图像的特征点生与目标面部表情信息匹配的第二人脸图像。因此，本申请实施例所提供的方案中，通过从预设的人脸图像库中选取与输入的第一人脸图像以及目标面部表情信息匹配的两帧参考人脸图像，基于两帧参考图像之间的面部形变信息以及输入的第一人脸图像生成第二人脸图像，避免人工手动选取特征以及分区划分，不仅提高了人脸图像生成的效率，还提高了生成的人脸图像的质量。
可选地，确定所述第一人脸图像对应的第一面部表情信息，包括：
根据所述第一人脸图像中的特征点生成所述第一特征向量；
基于特征向量与面部表情信息之间预设的关系，确定与所述第一特征向量对应的第一面部表情信息。
可选地，分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的特征点，包括：
基于Dlib库分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第一特征点，其中，所述第一特征点是指表征人脸面部器官轮廓的特征点；
根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，其中，所述第二特征点不同于所述第一特征点。
本申请实施例提供的方案中，首先通过于Dlib库对人脸图像中人脸面部轮廓特征进行提取，然后，通过提取的特征点以及插值算法对人脸图像中除人脸面部器官轮廓之外的其他区域的特征点进行提取，增加了提取的特征点的数量，进而增加了人脸表情图像生成中的细节，提高了人脸表情图像的质量。
可选地，根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，包括：
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两个所述第一特征点的连线，确定所述连线的中点，并将所述终点作为所述第二特征点；或
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两条特征点的连线的交点，将所述交点作为所述第二特征点；或
从所述第一特征点中选择出至少三个不共线的特征点，根据预设的拟合多项式以及所述至少三个特征点，确定所述至少三个特征点所对应的拟合曲线；在所述拟合曲线上采样，得到所述第二特征点。
可选地，基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息，包括：
基于所述第一参考人脸图像所对应的特征点确定所述第一参考人脸图像所对应的第一特征向量，以及基于所述第二参考人脸图像所对应的特征点确定所述第二参考人脸图像所对应的第二特征向量；
确定所述第一特征向量与所述第二特征向量之间的差值，并基于所述差值得到所述面部形变信息。
可选地，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，包括：
基于所述面部形变信息调整所述第一人脸图像中的特征点的位置；
根据所述调整后的特征点生成第二人脸图像。
可选地，基于所述面部形变信息调整所述第一人脸图像中的特征点的位置，包括：
以所述第一参考图像为基准，将所述第一人脸图像中的特征点进行仿射变换，以使得所述第一人脸图像与所述第一参考图像中对应位置的特征点对齐；
确定对齐后的所述第一人脸图中每个特征点的位置，基于所述面部形变信息调整所述对齐后的所述第一人脸图中每个特征点的位置。
可选地，根据所述调整后的特征点生成第二人脸图像，包括：
基于三角剖分算法将所述调整后的特征点连接形成三角形链网；
在所述三角形链网中进行纹理填充，以及逆仿射变换得到所述第二人脸图像。
第二方面，本申请实施例提供一种人脸图像生成的装置，该装置包括：
确定单元，用于接收输入的第一人脸图像以及目标面部表情信息，确定所述第一人脸图像对应的第一面部表情信息；
选择单元，用于基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；
提取单元，用于分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息；
生成单元，用于提取所述第一人脸图像中的特征点，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。
可选地，所述确定单元，具体用于：
根据所述第一人脸图像中的特征点生成所述第一特征向量；
基于特征向量与面部表情信息之间预设的关系，确定与所述第一特征向量对应的第一面部表情信息。
可选地，所述提取单元，具体用于：
基于Dlib库分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第一特征点，其中，所述第一特征点是指表征人脸面部器官轮廓的特征点；
根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，其中，所述第二特征点不同于所述第一特征点。
可选地，所述提取单元具体用于：
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两个所述第一特征点的连线，确定所述连线的中点，并将所述终点作为所述第二特征点；或
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两条特征点的连线的交点，将所述交点作为所述第二特征点；或
从所述第一特征点中选择出至少三个不共线的特征点，根据预设的拟合多项式以及所述至少三个特征点，确定所述至少三个特征点所对应的拟合曲线；在所述拟合曲线上采样，得到所述第二特征点。
可选地，所述确定单元，具体用于：
基于所述第一参考人脸图像所对应的特征点确定所述第一参考人脸图像所对应的第一特征向量，以及基于所述第二参考人脸图像所对应的特征点确定所述第二参考人脸图像所对应的第二特征向量；
确定所述第一特征向量与所述第二特征向量之间的差值，并基于所述差值得到所述面部形变信息。
可选地，所述生成单元，具体用于：
基于所述面部形变信息调整所述第一人脸图像中的特征点的位置；
根据所述调整后的特征点生成第二人脸图像。
可选地，所述生成单元，具体用于：
以所述第一参考图像为基准，将所述第一人脸图像中的特征点进行仿射变换，以使得所述第一人脸图像与所述第一参考图像中对应位置的特征点对齐；
确定对齐后的所述第一人脸图中每个特征点的位置，基于所述面部形变信息调整所述对齐后的所述第一人脸图中每个特征点的位置。
可选地，所述生成单元，具体用于：
基于三角剖分算法将所述调整后的特征点连接形成三角形链网；
在所述三角形链网中进行纹理填充，以及逆仿射变换得到所述第二人脸图像。
第三方面，本申请提供一种电子设备，该电子设备，包括：
存储器，用于存储至少一个处理器所执行的指令；
处理器，用于执行存储器中存储的指令执行第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面所述的方法。
附图说明
图1为本申请实施例所提供的一种人脸图像生成的方法的流程示意图；
图2a为本申请实施例所提供的一种输入的人脸图像；
图2b为本申请实施例所提供的一种目标面部表情信息所对应的人脸图像；
图2c为本申请实施例所提供的一种与输入的人脸图像对应的参考人脸图像；
图2d为本申请实施例所提供的一种与目标面部表情信息对应的参考人脸图像；
图3为本申请实施例所提供的一种Dlib库中特征点的分布图；
图4为本申请实施例所提供的一种直线插值的示意图；
图5为本申请实施例所提供的一种直线插值的示意图；
图6为本申请实施例所提供的一种曲线插值的示意图；
图7a为本申请实施例所提供的一种人脸图像中嘴部提取的特征点的示意图；
图7b为本申请实施例所提供的一种人脸图像中下巴部位提取的特征点的示意图；
图7c为本申请实施例所提供的一种人脸图像中额头部位提取的特征点的示意图；
图8a为本申请实施例所提供的一种输入的人脸图像的特征点的分布图；
图8b为本申请实施例所提供的一种输入的人脸图像进行仿射变换后的图像；
图8c为本申请实施例所提供的一种面部形变信息的示意图；
图8d为本申请实施例所提供的一种特征点形成的三角形链网的示意图；
图8e为本申请实施例所提供的一种输入的人脸图像与面部形变信息叠加后的图像；
图9为本申请实施例所提供的一种人脸图像生成的装置的结构示意图；
图10为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
本申请实施例提供的方案中，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
实施例一
以下结合说明书附图对本申请实施例所提供的一种人脸图像生成的方法做进一步详细的说明，该方法具体实现方式可以包括以下步骤(方法流程如图1所示)：
步骤101，电子设备接收输入的第一人脸图像以及目标面部表情信息，并确定所述第一人脸图像对应的第一面部表情信息。
例如，目标面部表情信息可以是高兴、悲伤或者愤怒等表情信息，也可以包括其他能够表征表情的信息，例如，瞪眼睛、张嘴巴等，在此并不做限制。电子设备在接收输入的第一人脸图像之后，需要确定第一人脸图像的面部表情信息，具体的确定第一人脸面部表情的方式有多种，下面以一种较佳的方式为例进行说明。
确定所述第一人脸图像对应的第一面部表情信息，包括：
根据所述第一人脸图像中的特征点生成所述第一特征向量；
基于特征向量与面部表情信息之间预设的关系，确定与所述第一特征向量对应的第一面部表情信息。
具体的，提取第一人脸图像中的多个特征点，并将提取出的每个特征点进行编号，基于特征点编号的先后顺序，将所述每个特征点的位置坐标转换为特征向量，得到第一人脸图像所对应的第一特征向量。
进一步，在得到第一人脸图像所对应的第一特征向量之后，基于数据库中存储的特征向量与面部表情信息之间预设的关系，确定第一特征向量所对应的第一面部表情信息。
应理解，电子设备可以是计算机、终端或者服务器等，具有数据处理能力的设备都适用于本申请。
步骤102，电子设备基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像。
具体的，在电子设备的人脸图像库中预先存储着多帧具有不同面部表情信息的参考人脸图像，在确定第一人脸图像对应的第一面部表情信息之后，电子设备基于第一面部表情信息和目标面部表情信息从人脸图像库中选择出两帧参考人脸图像，分别为第一参考人脸图像和第二参考人脸图像，其中，第一参考人脸图像所对应的面部表情信息与第一面部表情信息相同，第二参考人脸图像所对应的面部表情信息与目标面部表情信息相同。
例如，如图2a、图2b、图2c、图2d所示，其中，图2a表示输入的第一人脸图像；图2b表示目标面部表情信息所对应的第二人脸图像；图2c表示第一参考人脸图像；图2d表示第二参考人脸图像。图2a、图2c所对应的人脸图像的面部表情信息为张嘴巴，图2b、图2d所对应的人脸图像的面部表情信息为不张嘴巴。
步骤103，电子设备分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息。
具体的，电子设备从人脸图像库中确定出第一参考人脸图像和第二人脸参考图像之后，分别提取第一参考人脸图像以及第二参考人脸图像中的特征点，其中，提取人脸图像的特征点的方式有多种，下面以一种较佳的方式为例来说明。
分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的特征点，包括：
基于Dlib库分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第一特征点，其中，所述第一特征点是指表征人脸面部器官轮廓的特征点；根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，其中，所述第二特征点不同于所述第一特征点。
具体的，提取人脸图像在特征点的算法有多种，例如，Dlib库或者OpenCV算法等。下面以Dlib库为说明人脸图像特征点提取的过程。Dlib库中包括预设的人脸面部器官轮廓的68个特征点，参见图3，为Dlib库中68个特征点的分布图，其编号为1～68。首先，根据Dlib库从第一人脸图像中提取人脸面部器官轮廓的68个第一特征点，然后，根据第一特征点以及插值算法分别从第一参考人脸图像和第二参考人脸图像中提取不同于该68个特征点的第二特征点，其中，插值算法有多种，可以是直线插值，也可以是抛物线拟合插值，或者其他插值算法，在此并不做限制。
进一步，根据第一特征点以及插值算法从人脸图像中提取其他特征点的方式有多种，下面以3种方式为例进行说明。
方式1、确定所述第一参考人脸图像或所述第二参考人脸图像中任意两个所述第一特征点的连线，确定所述连线的中点，并将所述终点作为所述第二特征点。
具体的，首先，从根据Dlib库提取的68个特征点中选择两个特征点，然后，将定选择出的两个特征点通过线段连接，再确定线段的中心点，将该中心点作为第二特征点。
例如，参见图4，编号1～68为根据Dlib库提取的68个特征点，从68个特征点中选择出编号18以及编号22的两个特征点，将特征点18与特征点22连接，得到一线段，确定该线段的中心点，并该中心点作为一个特征点，并将其编号为69。
方式2、确定所述第一参考人脸图像或所述第二参考人脸图像中任意两条特征点的连线的交点，将所述交点作为所述第二特征点。
例如，参见图5，从编号为1～68的68个特征点中选取4个特征点，分别为编号22、编号23、编号28以及编号31的特征点，将编号22与编号23的特征点进行连接得到连线1，将编号为28与编号为31的特征点连接得到连线2，确定连线1和连线2的交点，将该交点作为第二特征点，并将其编号为70。
方式3、从所述第一特征点中选择出至少三个不共线的特征点，根据预设的拟合多项式以及所述至少三个特征点，确定所述至少三个特征点所对应的拟合曲线；在所述拟合曲线上采样，得到所述第二特征点。
例如，参见图6，从编号为1～68的68个特征点中选取3个特征点，分别为编号3、编号15以及编号30的特征点，确定编号3、15以及30这三个特征点的位置坐标，预设的拟合多项式为f(x)＝a*x2+b*x+c，其中，a、b、c为未知的系数；将编号3、15以及30这三个特征点的位置坐标带入预设的拟合多项式，得到系数a、b、c的值，将a、b、c的值带入预设的拟合多项式，得到编号3、15以及30特征点的拟合曲线，然后，在曲线上进行采样6个特征点，并将其编号为71、72、73、74、75、76。
进一步，为了在人脸图像上采集更多的特征点，在根据Dlib库提取的68个特征点之后，还可根据人脸图像中不同部位的特征点分别使用不同的插值算法进行采集。
例如，若在人脸图像上选取177个特征点，其中，分别在眉毛处选取25个特征点，在眼睛轮廓处选取24个特征点，在嘴部选取40个特征点，在脸颊处选取28个特征点，在下巴处选取11个特征点以及在额头处选取23个特征点，以使得最终在人脸图像上选取177个特征点。
由于人脸图像上不同器官部位的轮廓曲线不同，为了选取更多的特征点，在不同的部位通过不同的插值方法进行选取，参见图5、图6以及图7a～7c分别对不同的部位选取特征点的过程进行说明。
对于眉毛处，在根据Dlib库提取眉毛处的10个特征点之后，采用图5所示的方法，通过直线插值的方式另外在眉毛处采集15个特征点，以使得在眉毛处采集25个特征点；对于眼睛轮廓处，在根据Dlib库提取眼睛轮廓处的12个特征点之后，通过曲线拟合插值的方式另外在眼睛轮廓处采集12个特征点，以使得在眼睛轮廓处采集24个特征点；对于脸颊处，根据Dlib库提取特征点时，并未提取脸颊部位的特征点，采用图6所示的方法，通过脸部轮廓以及鼻子上提取的特征点进行二次曲线拟合，并在拟合的曲线上选取28个特征点；对于嘴部，参见图7a，在根据Dlib库提取嘴部的20个特征点之后，通过曲线拟合的方式在嘴部拟合4条曲线，包括上嘴唇的2条曲线，分别为曲线1和曲线2，以及下嘴唇的2条曲线，分别为曲线3和曲线4，在曲线1、曲线2、曲线3以及曲线4上进行采样，最终获取嘴部的40个特征点；对于下巴部位，参见图7b，通过脸颊轮廓的特征点，拟合一条位于下巴的曲线5，并在拟合的曲线5上选取11个特征点；对于额头部位，预设的额心至眉心的距离与眉心至下巴中心的距离之比为5:12，将编号为为21和编号22的特征点连接，确定其连线的中点为O，点O即为眉心，计算点O到下巴中心点的距离，即点O到特征点9的距离，根据点O到特征点9的距离确定点P，以使得点P到点O的距离与点O到特征点9的距离之比为5:12，在求取点P之后，基于点P，特征点1以及特征点17确定一条经过这三点的拟合曲线，在该拟合曲线上采集多个特征点，然后，再根据该曲线上采集的多个特征点进行直线插值，如，将曲线上采集的两个特征点进行连接，得到一线段，在该线段上进行采样，得到多到多个特征点。即通过曲线拟合插值以及直线插值的方法，得到额头部位的多个特征点。
进一步，在提取第一参考人脸图像与第二参考人脸图像中的特征点之后，根据提取的特征点确定第一参考人脸图像与第二参考人脸图像之间的面部形变信息。具体的，基于特征点确定第一参考人脸图像与第二参考人脸图像之间的面部形变信息的方式有多种，下面以一种较佳的方式为例进行说明。
基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息，包括：
基于所述第一参考人脸图像所对应的特征点确定所述第一参考人脸图像所对应的第一特征向量，以及基于所述第二参考人脸图像所对应的特征点确定所述第二参考人脸图像所对应的第二特征向量；
确定所述第一特征向量与所述第二特征向量之间的差值，并基于所述差值得到所述面部形变信息。
例如，面部形变信息可以是面部形变向量。在同一坐标系下，确定第一参考人脸图像以及第二参考人脸图像中每个特征点的坐标，基于每个特征点的坐标确定第一参考人脸图像的第一特征向量，以及第二参考人脸的图像的第二特征向量，计算第一特征向量以及第二特征向量之间的差值，得到第一参考人脸图像与第二参考人脸图像之间的面部形变向量。
为了便于理解上述确定第一参考人脸图像与第二参考人脸图像之间的面部形变向量的过程，下面以举例的形式进行说明。
例如，第一参考人脸图像以及第二参考人脸图像分别采集了177个特征点，其编号为1～177，其中，第一参考人脸图像中与第二参考人脸图像中相同编号的特征点在人脸图像中的位置相对应。第一参考人脸图像中任一特征点的坐标为(x1i，y1i)，第二参考人脸图像中任一特征点的坐标为(x2i，y2i)，其中，i＝1、2、3、……177；根据第一参考人脸图像中所有的特征点的坐标得到第一特征向量S1＝(x11，y11，x12，y12，……x1177，y1177)，根据第二参考人脸图像中所有的特征点的坐标得到第二特征向量S2＝(x21，y21，x22，y22，……x2177，y2177)，然后，通过下式得到面部形变向量DS：
DS＝S2-S1
步骤104，电子设备提取所述第一人脸图像中的特征点，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。
具体的，电子设备确定第一参考人脸图像与第二人脸参考图像之间的面部形变信息之后，提取第一人脸图像中特征点，其中，提取的第一人脸图像的特征点点的数目与提取的第一参考人脸图像中特征点的数目相同，且相同编号的特征点在人脸图像上的位置相对应，然后，基于面部形变信息以及第一人脸图像中的特征点生成第二人脸图像。
进一步，基于面部形变信息以及第一人脸图像中的特征点生成第二人脸图像的方式有多种，下面以一种较佳的方式为例进行说明。
基于面部形变信息以及第一人脸图像中的特征点生成第二人脸图像，包括：基于所述面部形变信息调整所述第一人脸图像中的特征点的位置；根据所述调整后的特征点生成第二人脸图像。
进一步，根据面部形变信息调整第一人脸图像中的特征点的位置，包括：
以所述第一参考人脸图像为基准，将所述第一人脸图像中的特征点进行仿射变换，以使得所述第一人脸图像与所述第一参考人脸图像中对应位置的特征点对齐；
确定对齐后的所述第一人脸图中每个特征点的位置，以使得基于所述面部形变信息调整所述对齐后的所述第一人脸图中每个特征点的位置。
基于提取的第一人脸图像的特征点确定第一人脸图像所对应的特征向量，以第一参考人脸图像为基准，将第一人脸图像所对应的特征向量通过旋转以及平移转换为第一参考人脸图像对应的第一特征向量。
计算仿射变换的方法有多种，例如，普氏分析法Procrustes，或者最小二乘法等。为了便于理解上述仿射变换的过程，下面以普氏分析法举例来进行说明。
例如，选取N幅同类目标的二维图像，根据上述特征点提取的方法，在N幅图像上标注特征点得到训练集样本：
Ω＝{X1，X2，……，XN}
其中，N是大于1的正整数。
然后，通过下式计算每个特征点在N幅图像中的均值：
Figure BDA0002167980950000141
其中，i表示第i个特征点；j表示第j帧人脸图像；(xji，yji)表示第j帧图像中第i个特征点的坐标；
Figure BDA0002167980950000142
表示第i个特征点的平均坐标。
然后，将每个特征点的坐标进行归一化处理，即根据下式计算每个特征点的坐标与其平均坐标之差：
Figure BDA0002167980950000143
然后，再根据中心化数据，分别计算第一人脸图像和第一参考人脸图像中形状的重心，对于第i幅图，其重心为：
Figure BDA0002167980950000151
再根据重心和角度，将标准和样本形状对齐在一起，使得两个形状的普氏距离最小，下式是普氏距离定义：
Figure BDA0002167980950000152
具体的，利用最小二乘法求每个图像中样本形状到标准形状的旋转角度，根据普氏距离的定义，即求：
Figure BDA0002167980950000153
其中，a，b表示仿射变换中旋转变化的参数；cx和cy表示每个特征点的均值坐标。
Figure BDA0002167980950000154
对该式求偏导求得a，b值：
Figure BDA0002167980950000155
根据旋转参数a，b对样本形状旋转变化，得到和标准形状对齐的新形状：
Figure BDA0002167980950000156
进一步，将第一人脸图像进行仿射变换与第一参考人脸图像对齐之后，确定调整第一人脸图像中每个特征点，根据调整后的特征点生成第二人脸图像，其中，根据调整后的特征点生成第二人脸图像的方式有多种，下面以一种较佳的方式为例进行说明。
据所述调整后的特征点生成第二人脸图像，包括：
基于三角剖分算法将所述调整后的特征点连接形成三角形链网；
在所述三角形链网中进行纹理填充，以及逆仿射变换得到所述第二人脸图像。
具体的，通过三角剖分法，例如，Delaunay三角剖分法将提取的多个特征点进行三角剖分，形成三角形链网，其中，三角形链网由多个三角形组成，再在三角形链网中每个三角形中进行纹理填充，并在纹理填充后将其进行反对齐变换，得第二人脸图像。
为了便于理解上述人脸表情图像合成的过程，下面以举例的形式进行说明。
例如，还以图2a所示的图像作为输入的人脸图像，图2b所示的图像作为目标面部表情信息所对应的第二人脸图像，图2c所示的图像为第一参考人脸图像，图2d所示的图像为第二参考人脸图像。
首先，提取图2a所示的人脸图像上的多个特征点，得到图8a所示的图像，其中，图8a表示输入的人脸图像的特征点的分布图；然后，将图2a所示的人脸图像与图2c所示的人脸图像进行仿射变换，参见图8b，得到与图2c所示的人脸图像对齐的人脸图像；然后，分别提取图2c以及图2d所示的人脸图像上的多个特征点，基于2c以及图2d所示的人脸图像上的多个特征点得到图8c所示的面部形变信息，再将图8b所示的人脸图像与图8c所示的面部形变信息进行合并处理，以及将特征点进行三角剖分处理，得到图8d所示的三角形链网，在图8d所示的三角形链网的每个三角形中进行纹理填充，得到图8e所示的人脸图像，最后，将图8e所示的人脸图像进行反对齐变换，得到图2b所示的人脸图像。
本申请实施例所提供的方案中，确定输入的第一人脸图像的面部表情信息以及目标面部表情信息，从预设的人脸图像库中选择出与第一人脸图像的面部表情信息匹配的第一参考人脸图像和与目标面部表情信息匹配的第二参考人脸图像，然后，根据提取的特征点确定第一参考人脸图像与第二参考人脸图像之间的面部形变信息，以及根据面部形变信息以及第一人脸图像的特征点生与目标面部表情信息匹配的第二人脸图像。因此，本申请实施例所提供的方案中，通过从预设的人脸图像库中选取与输入的第一人脸图像以及目标面部表情信息匹配的两帧参考人脸图像，基于两帧参考图像之间的面部形变信息以及输入的第一人脸图像生成第二人脸图像，避免人工手动选取特征以及分区划分，不仅提高了人脸图像生成的效率，还提高了生成的人脸图像的质量。
实施例二
本申请实施例提供一种人脸图像生成的装置，参见图9，该装置包括：
确定单元901，用于接收输入的第一人脸图像以及目标面部表情信息，确定所述第一人脸图像对应的第一面部表情信息；
选择单元902，用于基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；
提取单元903，用于分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息；
生成单元904，用于提取所述第一人脸图像中的特征点，基于所述面部形变信息以及所述第一人脸图像中的特征点生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。
可选地，所述确定单元901，具体用于：
根据所述第一人脸图像中的特征点生成所述第一特征向量；
基于特征向量与面部表情信息之间预设的关系，确定与所述第一特征向量对应的第一面部表情信息。
可选地，所述提取单元903，具体用于：
基于Dlib库分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第一特征点，其中，所述第一特征点是指表征人脸面部器官轮廓的特征点；
根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，其中，所述第二特征点不同于所述第一特征点。
可选地，所述提取单元903具体用于：
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两个所述第一特征点的连线，确定所述连线的中点，并将所述终点作为所述第二特征点；或
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两条特征点的连线的交点，将所述交点作为所述第二特征点；或
从所述第一特征点中选择出至少三个不共线的特征点，根据预设的拟合多项式以及所述至少三个特征点，确定所述至少三个特征点所对应的拟合曲线；在所述拟合曲线上采样，得到所述第二特征点。
可选地，所述确定单元901，具体用于：
基于所述第一参考人脸图像所对应的特征点确定所述第一参考人脸图像所对应的第一特征向量，以及基于所述第二参考人脸图像所对应的特征点确定所述第二参考人脸图像所对应的第二特征向量；
确定所述第一特征向量与所述第二特征向量之间的差值，并基于所述差值得到所述面部形变信息。
可选地，所述生成单元904，具体用于：
基于所述面部形变信息调整所述第一人脸图像中的特征点的位置；
根据所述调整后的特征点生成第二人脸图像。
可选地，所述生成单元904，具体用于：
以所述第一参考图像为基准，将所述第一人脸图像中的特征点进行仿射变换，以使得所述第一人脸图像与所述第一参考图像中对应位置的特征点对齐；
确定对齐后的所述第一人脸图中每个特征点的位置，基于所述面部形变信息调整所述对齐后的所述第一人脸图中每个特征点的位置。
可选地，所述生成单元904，具体用于：
基于三角剖分算法将所述调整后的特征点连接形成三角形链网；
在所述三角形链网中进行纹理填充，以及逆仿射变换得到所述第二人脸图像。
实施例三
本申请提供一种电子设备，参见图10该电子设备，包括：
存储器1001，用于存储至少一个处理器所执行的指令；
处理器1002，用于执行存储器中存储的指令执行实施例一所述的方法。
实施例四
本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行实施例一所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种人脸图像生成的方法，其特征在于，包括：
接收输入的第一人脸图像以及目标面部表情信息，并确定所述第一人脸图像对应的第一面部表情信息；
基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；
分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息；
提取所述第一人脸图像中的特征点，以所述第一参考人脸图像为基准，将所述第一人脸图像中的特征点进行仿射变换，以使得所述第一人脸图像与所述第一参考人脸图像中对应位置的特征点对齐；确定对齐后的所述第一人脸图中每个特征点的位置，基于所述面部形变信息调整所述对齐后的所述第一人脸图像中每个特征点的位置；根据调整后的特征点及逆仿射变换，生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。
2.如权利要求1所述的方法，其特征在于，确定所述第一人脸图像对应的第一面部表情信息，包括：
根据所述第一人脸图像中的特征点生成第一特征向量；
基于特征向量与面部表情信息之间预设的关系，确定与所述第一特征向量对应的第一面部表情信息。
3.如权利要求1或2所述的方法，其特征在于，分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的特征点，包括：
基于Dlib库分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第一特征点，其中，所述第一特征点是指表征人脸面部器官轮廓的特征点；
根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，其中，所述第二特征点不同于所述第一特征点。
4.如权利要求3所述的方法，其特征在于，根据所述第一特征点以及插值算法分别提取所述第一参考人脸图像以及所述第二参考人脸图像中的第二特征点，包括：
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两个所述第一特征点的连线，确定所述连线的中点，并将所述中 点作为所述第二特征点；或
确定所述第一参考人脸图像或所述第二参考人脸图像中任意两条特征点的连线的交点，将所述交点作为所述第二特征点；或
从所述第一特征点中选择出至少三个不共线的特征点，根据预设的拟合多项式以及所述至少三个特征点，确定所述至少三个特征点所对应的拟合曲线；在所述拟合曲线上采样，得到所述第二特征点。
5.如权利要求1或2所述的方法，其特征在于，基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息，包括：
基于所述第一参考人脸图像所对应的特征点确定所述第一参考人脸图像所对应的第一特征向量，以及基于所述第二参考人脸图像所对应的特征点确定所述第二参考人脸图像所对应的第二特征向量；
确定所述第一特征向量与所述第二特征向量之间的差值，并基于所述差值得到所述面部形变信息。
6.如权利要求1所述的方法，其特征在于，根据调整后的特征点及逆仿射变换，生成第二人脸图像，包括：
基于三角剖分算法将所述调整后的特征点连接形成三角形链网；
在所述三角形链网中进行纹理填充，以及所述逆仿射变换得到所述第二人脸图像。
7.一种人脸图像生成的装置，其特征在于，包括：
确定单元，用于接收输入的第一人脸图像以及目标面部表情信息，确定所述第一人脸图像对应的第一面部表情信息；
选择单元，用于基于所述第一面部表情信息以及所述目标面部表情信息，从预设的人脸图像库中选择出与所述第一面部表情信息匹配的第一参考人脸图像，以及与目标面部表情信息匹配的第二参考人脸图像；
提取单元，用于分别提取所述第一参考人脸图像与所述第二参考人脸图像中的特征点，并基于所述特征点确定所述第一参考人脸图像与所述第二参考人脸图像之间的面部形变信息；
生成单元，用于提取所述第一人脸图像中的特征点，以第一参考图像为基准，将所述第一人脸图像中的特征点进行仿射变换，以使得所述第一人脸图像与所述第一参考图像中对应位置的特征点对齐；确定对齐后的所述第一人脸图中每个特征点的位置，基于所述面部形变信息调整所述对齐后的所述第一人脸图中每个特征点的位置；根据调整后的特征点生成第二人脸图像，其中，所述第二人脸图像与所述目标面部表情信息匹配。
8.一种电子设备，其特征在于，包括：
存储器，用于存储至少一个处理器所执行的指令；
处理器，用于加载并执行存储器中存储的指令，以实现如权利要求1-6任一项所述的方法。
CN201910753429.0A 2019-08-15 2019-08-15 一种人脸图像生成的方法及装置 Active CN110458121B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910753429.0A CN110458121B (zh) 2019-08-15 2019-08-15 一种人脸图像生成的方法及装置
US16/937,175 US11295115B2 (en) 2019-08-15 2020-07-23 Method and device for generating face image, electronic device and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910753429.0A CN110458121B (zh) 2019-08-15 2019-08-15 一种人脸图像生成的方法及装置

Publications (2)

Publication Number Publication Date
CN110458121A CN110458121A (zh) 2019-11-15
CN110458121B true CN110458121B (zh) 2023-03-14

Family

ID=68486754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910753429.0A Active CN110458121B (zh) 2019-08-15 2019-08-15 一种人脸图像生成的方法及装置

Country Status (2)

Country Link
US (1) US11295115B2 (zh)
CN (1) CN110458121B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087239B (zh) * 2018-07-25 2023-03-21 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置及存储介质
CN112541477B (zh) * 2020-12-24 2024-05-31 北京百度网讯科技有限公司 表情包生成方法、装置、电子设备和存储介质
CN113327212B (zh) * 2021-08-03 2021-11-12 北京奇艺世纪科技有限公司 人脸驱动、模型的训练方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616347A (zh) * 2015-01-05 2015-05-13 掌赢信息科技（上海）有限公司 一种表情迁移方法、电子设备及系统
CN108509846A (zh) * 2018-02-09 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100430963C (zh) * 2005-09-29 2008-11-05 中国科学院自动化研究所 基于正交图像的快速个性化人脸建模方法
CN102483854A (zh) * 2009-09-11 2012-05-30 皇家飞利浦电子股份有限公司 图像处理系统
JP5755046B2 (ja) * 2011-06-22 2015-07-29 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
KR101977638B1 (ko) * 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
CN104574321B (zh) * 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
CN105184249B (zh) * 2015-08-28 2017-07-18 百度在线网络技术（北京）有限公司 用于人脸图像处理的方法和装置
CN106778660B (zh) * 2016-12-28 2019-11-15 浙江大华技术股份有限公司 一种人脸姿态校正方法及装置
US20180300557A1 (en) * 2017-04-18 2018-10-18 Amazon Technologies, Inc. Object analysis in live video content
CN109147024A (zh) * 2018-08-16 2019-01-04 Oppo广东移动通信有限公司 基于三维模型的表情更换方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616347A (zh) * 2015-01-05 2015-05-13 掌赢信息科技（上海）有限公司 一种表情迁移方法、电子设备及系统
CN108509846A (zh) * 2018-02-09 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US11295115B2 (en) 2022-04-05
CN110458121A (zh) 2019-11-15
US20210049350A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
CN109408653B (zh) 基于多特征检索和形变的人体发型生成方法
US8624901B2 (en) Apparatus and method for generating facial animation
Bao et al. High-fidelity 3d digital human head creation from rgb-d selfies
CN110096156B (zh) 基于2d图像的虚拟换装方法
Cao et al. 3D aided duet GANs for multi-view face image synthesis
CN110458121B (zh) 一种人脸图像生成的方法及装置
US20140204084A1 (en) Systems and Methods for Animating the Faces of 3D Characters Using Images of Human Faces
KR100896643B1 (ko) Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치
CN104123749A (zh) 一种图像处理方法及系统
CN111783511A (zh) 美妆处理方法、装置、终端以及存储介质
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
US11282257B2 (en) Pose selection and animation of characters using video data and training techniques
KR20160098560A (ko) 동작 분석 장치 및 방법
EP3991140A1 (en) Portrait editing and synthesis
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN111815768B (zh) 三维人脸重建方法和装置
CN114422832A (zh) 主播虚拟形象生成方法及装置
CN113808277A (zh) 一种图像处理方法及相关装置
Anbarjafari et al. 3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media
US10755476B2 (en) Image processing method and image processing device
CN106558042A (zh) 一种对图像进行关键点定位的方法和装置
Liao et al. Rapid 3D face reconstruction by fusion of SFS and Local Morphable Model
CN114373044A (zh) 生成脸部三维模型的方法、装置、计算设备和存储介质
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant