CN110111247B - 人脸变形处理方法、装置及设备 - Google Patents

人脸变形处理方法、装置及设备 Download PDF

Info

Publication number
CN110111247B
CN110111247B CN201910403876.3A CN201910403876A CN110111247B CN 110111247 B CN110111247 B CN 110111247B CN 201910403876 A CN201910403876 A CN 201910403876A CN 110111247 B CN110111247 B CN 110111247B
Authority
CN
China
Prior art keywords
bone
face model
parameters
parameter
target face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910403876.3A
Other languages
English (en)
Other versions
CN110111247A (zh
Inventor
陈呈举
梁兴仑
王韧志
章国锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN201910403876.3A priority Critical patent/CN110111247B/zh
Publication of CN110111247A publication Critical patent/CN110111247A/zh
Priority to KR1020207031891A priority patent/KR20200139240A/ko
Priority to EP20806857.7A priority patent/EP3971819A4/en
Priority to SG11202010607UA priority patent/SG11202010607UA/en
Priority to PCT/CN2020/074705 priority patent/WO2020228385A1/zh
Priority to JP2020558622A priority patent/JP7126001B2/ja
Priority to TW109115911A priority patent/TWI752494B/zh
Priority to US17/079,980 priority patent/US11100709B2/en
Application granted granted Critical
Publication of CN110111247B publication Critical patent/CN110111247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本说明书实施例提供一种人脸变形处理方法、装置及设备，其中，所述人脸变形处理方法包括：获取包括多根骨骼的三维预设人脸模型对应的第一骨骼参数和第一融合变形数据，所述第一融合变形数据用于表征预设人脸的变形程度；获取三维目标人脸模型对应的第二骨骼参数，确定第二骨骼参数和所述第一骨骼参数之间的变换关系；根据所述第二骨骼参数和所述第一骨骼参数之间的变换关系与所述第一融合变形数据，确定与所述三维目标人脸模型对应的第二融合变形数据。

Description

人脸变形处理方法、装置及设备
技术领域
本公开涉及虚拟现实领域，具体涉及一种人脸变形处理方法、装置及设备。
背景技术
在游戏行业和虚拟现实的推动下，数字化虚拟角色得到了大量的应用。对于虚拟角色，已经从单一的虚拟形象演变为玩家自主设计的角色，包括创造出独具个性的形象、自动运行表情等等。
目前，在用户自行定制角色模型后，通常使用原有的融合变形器(blendshape)的数据来驱动角色模型的表情，在定制角色模型变形较大的情况下，在运行表情时会产生较大误差。
发明内容
本说明书一个或多个实施例的目的，即提供一种人脸变形处理方法、装置及设备。
第一方面，提供一种人脸变形处理方法，所述方法包括：
获取包括多根骨骼的三维预设人脸模型对应的第一骨骼参数和第一融合变形数据，所述第一融合变形数据用于表征预设人脸的变形程度；
获取三维目标人脸模型对应的第二骨骼参数，确定第二骨骼参数和所述第一骨骼参数之间的变换关系；
根据所述第二骨骼参数和所述第一骨骼参数之间的变换关系与所述第一融合变形数据，确定与所述三维目标人脸模型对应的第二融合变形数据。
结合本公开提供的任一实施方式，根据所述第二骨骼参数和所述第一骨骼参数之间的变换关系与所述第一融合变形数据，确定与三维目标人脸模型对应的第二融合变形数据，包括：
获取所述三维预设人脸模型对应的第一网格数据；
获取所述三维目标人脸模型对应的第二网格数据；
根据所述第二网格数据和所述第一网格数据，确定所述三维目标人脸模型对应的第二融合变形数据。
结合本公开提供的任一实施方式，获取所述三维预设人脸模型对应的第一网格数据，包括：
获取所述第一骨骼参数对应的标准网格数据；
根据所述标准网格数据和所述第一融合变形数据，得到所述第一融合变形数据相对应的第一网格数据。
结合本公开提供的任一实施方式，获取所述三维目标人脸模型对应的第二网格数据，包括：
根据所述第二骨骼参数与所述第一骨骼参数，确定所述三维目标人脸模型中所有骨骼的变换矩阵；
通过将所述变换矩阵应用于所述第一网格数据，确定所述三维目标人脸模型对应的第二网格数据。
结合本公开提供的任一实施方式，根据所述第二骨骼参数与所述第一骨骼参数，确定所述三维目标人脸模型中所有骨骼的变换矩阵，包括：
根据所述预设人脸对应的第一骨骼参数，获取预设人脸模型中每个骨骼的第一位置矩阵；
根据人脸模型所对应的第二骨骼参数，获取三维目标人脸模型中每个骨骼的第二位置矩阵；
根据所述第二位置矩阵和所述第一位置矩阵，获得每个骨骼的变换矩阵。
结合本公开提供的任一实施方式，获取三维目标人脸模型对应的第二骨骼参数包括：生成三维目标人脸模型，具体包括：
获取包括头部骨骼参数的三维目标人脸模型的骨骼参数调整信息；
根据所述骨骼参数调整信息，调整所述头部骨骼参数；
根据调整后的所述头部骨骼参数，生成三维目标人脸模型。
结合本公开提供的任一实施方式，所述获取包括头部骨骼参数的三维目标人脸模型的骨骼参数调整信息包括：
接收骨骼参数调整指令；
根据所述骨骼参数调整指令确定所述骨骼参数调整信息。
结合本公开提供的任一实施方式，根据所述骨骼参数调整信息，调整所述头部骨骼参数，包括：
获取所述头部骨骼参数中，与所述骨骼参数调整信息相关联的至少一根头部骨骼的骨骼参数，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数。
结合本公开提供的任一实施方式，至少一根头部骨骼为多根头部骨骼，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数，包括：
根据所述骨骼参数调整信息同时调整所述多根头部骨骼的骨骼参数。
结合本公开提供的任一实施方式，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数，包括：
获取所述骨骼参数调整信息的调节范围；
获取与所述骨骼参数调整信息相关联的每个骨骼参数的调节范围；
根据所述骨骼参数调整信息在调节范围内的变化比例调整与所述骨骼参数调整信息相关联的所述至少一根头部骨骼的骨骼参数。
结合本公开提供的任一实施方式，根据所述骨骼参数调整指令确定所述骨骼参数调整信息，包括：
获取针对所述骨骼参数调整指令设置的控件的输出变化量，根据所述输出变化量确定所述骨骼参数调整信息。
第二方面，提供一种人脸变形处理装置，所述装置包括：
第一获取单元，用于获取包括多根骨骼的三维预设人脸模型对应的第一骨骼参数和第一融合变形数据，所述第一融合变形数据用于表征预设人脸的变形程度；
第二获取单元，用于获取三维目标人脸模型对应的第二骨骼参数，确定第二骨骼参数和所述第一骨骼参数之间的变换关系；
确定单元，用于根据所述第二骨骼参数和所述第一骨骼参数之间的变换关系与所述第一融合变形数据，确定与所述三维目标人脸模型对应的第二融合变形数据。
结合本公开提供的任一实施方式，所述确定单元具体用于：
获取所述三维预设人脸模型对应的第一网格数据；
获取所述三维目标人脸模型对应的第二网格数据；
根据所述第二网格数据和所述第一网格数据，确定所述三维目标人脸模型对应的第二融合变形数据。
结合本公开提供的任一实施方式，所述确定单元在用于获取所述三维预设人脸模型对应的第一网格数据时，具体用于：
获取所述三维预设人脸模型对应的第一网格数据，包括：
获取所述第一骨骼参数对应的标准网格数据；
根据所述标准网格数据和所述第一融合变形数据，得到所述第一融合变形数据相对应的第一网格数据。
结合本公开提供的任一实施方式，所述确定单元在用于获取所述三维目标人脸模型对应的第二网格数据时，具体用于：
根据所述第二骨骼参数与所述第一骨骼参数，确定所述三维目标人脸模型中所有骨骼的变换矩阵；
通过将所述变换矩阵应用于所述第一网格数据，确定所述三维目标人脸模型对应的第二网格数据。
结合本公开提供的任一实施方式，根据所述第二骨骼参数与所述第一骨骼参数，确定所述三维目标人脸模型中所有骨骼的变换矩阵，包括：
根据所述预设人脸对应的第一骨骼参数，获取预设人脸模型中每个骨骼的第一位置矩阵；
根据人脸模型所对应的第二骨骼参数，获取三维目标人脸模型中每个骨骼的第二位置矩阵；
根据所述第二位置矩阵和所述第一位置矩阵，获得每个骨骼的变换矩阵。
结合本公开提供的任一实施方式，所述第二获取单元还包括三维目标人脸模型生成单元，用于：
获取包括头部骨骼参数的三维目标人脸模型的骨骼参数调整信息；
根据所述骨骼参数调整信息，调整所述头部骨骼参数；
根据调整后的所述头部骨骼参数，生成三维目标人脸模型。
结合本公开提供的任一实施方式，所述目标人脸模型生成单元在用于获取包括头部骨骼参数的三维目标人脸模型的骨骼参数调整信息时，具体用于：
接收骨骼参数调整指令；
根据所述骨骼参数调整指令确定所述骨骼参数调整信息。
结合本公开提供的任一实施方式，所述三维目标人脸模型生成单元在用于根据所述骨骼参数调整信息，调整所述头部骨骼参数时，具体用于：
获取所述头部骨骼参数中，与所述骨骼参数调整信息相关联的至少一根头部骨骼的骨骼参数，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数。
结合本公开提供的任一实施方式，至少一根头部骨骼为多根头部骨骼，所述三维目标人脸模型生成单元在用于根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数时，具体用于：
根据所述骨骼参数调整信息同时调整所述多根头部骨骼的骨骼参数。
结合本公开提供的任一实施方式，所述目标人脸模型生成单元在用于根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数时，具体用于：
获取所述骨骼参数调整信息的调节范围；
获取与所述骨骼参数调整信息相关联的每个骨骼参数的调节范围；
根据所述骨骼参数调整信息在调节范围内的变化比例调整与所述骨骼参数调整信息相关联的所述至少一根头部骨骼的骨骼参数。
结合本公开提供的任一实施方式，所述目标人脸模型生成单元在用于根据所述骨骼参数调整信息，调整所述头部骨骼参数时，具体用于：
获取针对所述骨骼参数调整指令设置的控件的输出变化量，根据所述输出变化量确定所述骨骼参数调整信息。
第三方面，提供一种人脸变形处理设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本说明书任一所述的人脸变形处理方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一所述的人脸变形处理方法。
本说明书一个或多个实施例的人脸变形处理方法、装置和设备，对于通过对人脸模型进行调整生成的三维目标人脸模型，根据预先获得的预设人脸模型的骨骼参数和融合变形数据，以及目标人脸模型对应的骨骼参数，获取目标人脸模型所对应的融合变形数据，以能够针对人脸模型的调整同步更件融合变形器的数据，使融合变形器与新的角色模型相适配，从而提高表情驱动的准确性。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书至少一个实施例提供的一种人脸变形处理方法示例；
图2A示出了基于骨骼建立的预设人脸模型的示意图；
图2B为图2A中的预设人脸模型对应的网格的示例；
图3为本说明书至少一个实施例提供的一种获得第二融合变形数据的方法示例；
图4为本说明书至少一个实施例提供的一种获得骨骼的变换矩阵的方法示例；
图5为本说明书至少一个实施例提供的一种生成目标人脸模型的方法示例；
图6为本说明书至少一个实施例提供的调节参数的设置示例；
图7A为本说明书至少一个实施例提供的用于调节双眼整体大小的二层参数设置方法示例；
图7B为本说明书至少一个实施例提供的用于调节双眼整体大小的控件示例；
图7C和图7D为本说明书至少一个实施例提供的调整前的人脸模型示例和目标人脸模型示例；
图8为本说明书至少一个实施例提供的生成脸部妆容的方法示例；
图9A为本说明书至少一个实施例提供的脸部贴图示例；
图9B为本说明书至少一个实施例提供的可更换部件的贴图示例；
图9C为本说明书至少一个实施例提供的生成贴图纹理的示例；
图10A和图10B为本说明书至少一个实施例提供的生成妆容前的人脸模型和生成妆容后的人脸模型；
图11A为本说明书至少一个实施例提供的一种人脸变形处理装置示例；
图11B为本说明书至少一个实施例提供的另一种人脸变形处理装置示例；
图12为本说明书至少一个实施例提供的一种人脸变形处理设备示例。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
用户自行定制角色模型，可以在预设人脸模型的基础上，通过调整骨骼参数以改变模型的外型来实现，这一过程通常被称为捏脸。
融合变形数据(blendshape)是融合变形器中存储的数据，其用于表征人脸的变形程度，其可以是模型从一个形状融合到另一个形状时，所对应的网格数据之间的差值。由于标准融合变形数据是针对预设人脸模型制作的，因此在对预设人脸模型进行调整(捏脸)后，存在能否适配标准融合变形数据的问题，因而需要对融合变形数据进行更新。此处所说的预设人脸，可以是标准人脸，使用相关技术中通常使用的默认参数生成。
为了便于区分描述，在下文中，将该预设人脸模型对应的骨骼参数称为第一骨骼参数、其所对应的融合变形数据称为第一融合变形数据，并将目标人脸模型对应的骨骼参数称为第二骨骼参数，其所对应的融合变形数据称为第二融合变形数据。
基于上述问题，本说明书至少一个实施例提供了一种人脸变形处理方法。如图1所示，为该更新方法的一个实施例流程，该方法可以包括：
在步骤101中，获取包括多根骨骼的三维预设人脸模型对应的第一骨骼参数和第一融合变形数据。
在本步骤中，第一融合变形数据用于表征预设人脸的变形程度。也即，将所述第一融合变形数据应用于所述预设人脸模型时，可以使所述预设人脸模型产生相应的变形。
在基于骨骼(bones)生成的模型中，每个骨骼可以具有多个参数。例如，可以包括以下中的至少一种：位移参数t、旋转参数r、缩放参数s。对于三维头部模型，例如人脸模型来说，每个骨骼的骨骼参数通常包括x轴、y轴、z轴的数值，因而可以使用Bi＝(tx，ty，tz，rx，ry，rz，sx，sy，sz)来表示模型的骨骼参数，其中，i＝1、2…Nb，Nb为模型中所包含的骨骼数目。
图2A示出了基于骨骼建立的预设人脸模型的示意图。该预设人脸模型基于48根骨骼建立的骨架，并且在骨架的基础上进行了蒙皮处理所得到的模型，图2A中的白色线条表示骨骼。
本领域技术人员应当理解，基于预设人脸模型，还可以获得其他类型的数据，并不限于以上所述。
在步骤102中，获取三维目标人脸模型对应的第二骨骼参数，确定第二骨骼参数和所述第一骨骼参数之间的变换关系。
在本步骤中，所述目标人脸模型可以是相对于预设人脸模型进行了调整而获得的，此处的调整可以是调整了预设人脸模型的第一骨骼参数，从而得到了目标人脸模型的第二骨骼参数。该第二骨骼参数与第一骨骼参数在数据格式上相同，在数值上存在差别。通过所获得的第二骨骼参数和第一骨骼参数，可以确定二者之间存在变换关系。
在步骤103中，根据所述第二骨骼参数和所述第一骨骼参数之间的变换关系与所述第一融合变形数据，确定与所述三维目标人脸模型对应的第二融合变形数据。
由于第二骨骼参数是在第一骨骼参数的基础上进行调整获得的，因此二者之间存在变换关系。相应地，第二融合变形数据与第一融合数据之间，也存在某种变换关系。因此，将第二骨骼参数与第一骨骼参数之间的变换关系应用于第一融合数据，可以获得第二骨骼参数所对应的，也即三维目标人脸模型所对应的第二融合变形数据。
在本实施例中，对于通过对人脸模型进行调整生成的三维目标人脸模型，根据预先获得的预设人脸模型的骨骼参数和融合变形数据，以及目标人脸模型对应的骨骼参数，获取目标人脸模型所对应的融合变形数据，以能够针对人脸模型的调整同步更件融合变形器的数据，使融合变形器与新的角色模型相适配，从而提高表情驱动的准确性。
在融合变形数据用于制作表情的情况下，预设人脸模型的第一融合变形数据可以是表情所对应的网格数据与标准网格数据之间的差值。此处的标准网格数据可以包括预设人脸模型的骨骼所对应的网格顶点数据。
在对预设人脸模型进行了调整后，骨骼参数发生了变化，尤其是在变动较大的情况下，如果仍以标准融合变形数据运行表情则会出现不适配的问题，表情误差较大，影响了人脸模型的真实性和生动性。因此，需要对融合变形数据进行更新，以使其与调整得到的三维目标人脸模型相适配，能够更准确地运行表情。
在一个示例中，获得融合变形数据的方法如图3所示，可以包括：
在步骤301中，获取所述三维预设人脸模型对应的第一网格数据。
在一个示例中，获取所述三维预设人脸模型对应的第一网格数据可以包括：
获取所述第一骨骼参数对应的标准网格数据；根据所述标准网格数据和所述第一融合变形数据，得到所述第一融合变形数据相对应的第一网格数据。
获取了预设人脸模型所对应的第一骨骼参数，即可获得其骨骼参数所对应的标准网格数据。图2B示出了该预设人脸模型(没有运行表情)的骨骼参数所对应的标准网格数据，该标准网格数据可以包括无表情的预设人脸模型的骨骼所对应的网格顶点数据。
由于融合变形器中存储的是表情所对应的网格数据与标准网格数据之间的差值，因此，在获得了标准网络数据之后，通过将其与第一融合变形器(第一融合变形数据所对应的融合变形器)中所存储的差值相加，即能够还原出第一融合变形器所对应的第一网格数据。
举例来说，假设预设人脸模型所对应的标准网格数据，可以是向量[1,1,1,…,1,1]；一个用于控制眼睛大小的融合变形器，其所存储的融合变形数据可以是向量[0,0,0.5,…,0,0](两个向量大小相同)。当运行该融合变形器时，通过将上述融合变形数据与标准网格数据相加，即能够在预设人脸上得到眼睛变大的效果。也即，标准网络数据与融合变形数据相加所得到的向量[1,1,1.5,…,1,1]即是眼睛变大这一表情所对应的第一网格数据。本领域技术人员应当理解，以上网格数据格式仅用于示意，并不限于本公开中网格数据格式。
在步骤302中，获取所述三维目标人脸模型对应的第二网格数据。
在一个示例中，获取所述三维目标人脸模型对应的第二网格数据可以包括：
根据所述第二骨骼参数与所述第一骨骼参数，确定所述三维目标人脸模型中所有骨骼的变换矩阵；
通过将所述变换矩阵应用于所述第一网格数据，确定所述三维目标人脸模型对应的第二网格数据。
在前述人脸模型与预设人脸模型之间遍历所有骨骼，可以获得每个骨骼的变换矩阵，也即第二骨骼参数和第一骨骼参数之间的变换关系。
图4示出了获得每个骨骼的变换矩阵的方法的一个实施例流程。如图4所示，该方法可以包括：
在步骤401中，根据所述预设人脸对应的第一骨骼参数，获取预设人脸模型中每个骨骼的第一位置矩阵。
在步骤402中，根据人脸模型所对应的第二骨骼参数，获取三维目标人脸模型中每个骨骼的第二位置矩阵。
在步骤403中，根据所述第二位置矩阵和所述第一位置矩阵，获得每个骨骼的变换矩阵。
在一个示例中，通过将所述第二位置矩阵除以所述第一位置矩阵，可以获得每个骨骼的变换矩阵。
例如，可以通过以下公式计算获得骨骼的变换矩阵：
T＝Tnew*inverse(Tnormal) (1)
其中，T表示骨骼的变换矩阵，Tnew表示预设人脸模型对应的骨骼的第一位置矩阵，Tnormal表示目标人脸模型对应的骨骼的第二位置矩阵，inverse()表示对矩阵求逆。
将骨骼的变换矩阵应用于第一网格数据，可以得到新的网格顶点数据。其主要利用了骨架蒙皮的思想，根据骨架的变化状态以及各网格顶点的绑定信息计算出新的网格顶点坐标，即人脸模型所对应的第二网格数据。例如可以利用如下公式进行计算：
Figure BDA0002060626560000111
其中，Vertexnew,Vertexori分别表示网格新的顶点和初始的顶点，k表示该顶点受k个骨骼影响，Ti和weighti分别表示骨骼变换矩阵和对应的权重。
在步骤303中，根据所述第二网格数据和所述第一网格数据，确定所述三维目标人脸模型对应的第二融合变形数据。
在一个示例中，通过将所述第二网格数据减去所述第一网格数据，可以得到目标人脸模型对应的第二融合变形数据。
仍以用于控制眼睛大小的融合变形器为例，在步骤301中所得到的第一网格数据，对应于在预设人脸模型上获得眼睛变大效果所对应的网格数据。步骤302中得到的第二网格数据，对应于在目标人脸模型上获得眼睛变大效果的网格数据。通过将该第二网格数据减去该第一网格数据，所得到的第二融合变形数据，即是目标人脸模型所对应的融合变形器中存储的数据。
在本实施例中，在生成新的角色模型后，通过将骨骼的变换矩阵同步应用到预设人脸模型对应的融合变形器进行更新，使其与新的角色模型相适配，从而提高了表情驱动的准确性。
本领域技术人员应当理解，本实施例中的人脸变形处理方法，不限于应用于前文所述的虚拟角色模型的生成方法所生成的人脸模型，其可以用于任意捏脸后模型、相对于捏脸前融合变形数据的更新。对于捏脸后模型的融合变形数据更新，在其变换矩阵中，Tnew表示捏脸后模型对应的骨骼的位置矩阵，Tnormal表示捏脸前模型对应的骨骼的位置矩阵。
前述人脸变形处理方法，所应用于的目标人脸模型，可以是通过以下方式生成。图5示出生成目标人脸模型的方法的一个实施例流程，如图5所示，该方法可以包括：
在步骤501中，获取包括头部骨骼参数的三维目标人脸模型的骨骼参数调整信息。
在本实施例中，可以通过接收骨骼参数调整指令，并根据所述骨骼参数调整指令确定所述骨骼参数调整信息。
获取的骨骼参数调整信息，至少可以是以下中的一种：一个变化量、或者相对变化量或者变化比例。
在步骤502中，根据所述骨骼参数调整信息，调整所述头部骨骼参数。
在本步骤中，基于所述骨骼参数调整信息中所包含的变化量、或者相对变化量或者变化比例，对头部骨骼参数进行调整，以使所述骨骼参数发生对应的变化，例如增加/减少相应的变化量或相对变化量，或者增加/减少相应的变化比例。在对头部骨骼参数进行调整后，可以得到调整后的一组骨骼参数。
在步骤503中，根据调整后的所述头部骨骼参数，生成三维目标人脸模型。
头部骨骼参数得到了调整，也即三维目标人脸模型的骨骼得到了调整，从而改变了模型的骨骼结构，得到了想要的三维目标人脸模型。
在本实施例中，通过骨骼参数调整信息，调整头部骨骼参数，实现对头部中至少一个骨骼参数的同时调整，从而能够实现对模型的整体形状和局部细节的同时调整，既可以达到快速调整的目的，同时也能够进行精细调整。如下的描述中，将对三维目标人脸模型的生成方法进行更详细的描述。
在应用本实施例的方法进行三维目标人脸模型的生成时，可以预先设置用于调节三维目标人脸模型的骨骼参数的调节参数。该调节参数是上述骨骼参数调整信息的一种具体实施方式。
该调节参数是基于三维目标人脸模型的骨骼参数设置的，因此，首先可以获得人脸模型的骨骼参数(即头部骨骼参数)。
人脸模型的骨骼参数例如可以为Bi＝(tx，ty，tz，rx，ry，rz，sx，sy，sz)，其中，i＝1、2…Nb，Nb为人脸模型中所包含的骨骼数目。通过调整骨骼参数Bi，可以使骨骼的位置、方向、大小中的一项或多项发生变化，从而能够改变模型的骨骼结构。但由于可调节参数的自由度过高时，会导致用户调节局部细节的难度过高。因此，在本实施中设置三维目标人脸模型的骨骼参数的调节参数，以对骨骼进行调整。
该调节参数与头部中的至少一根骨骼的参数相关联。此处的相关联是指，改变调节参数时，所述至少一根骨骼的一个或多个参数可以同时发生变化。因此，该调节参数可以看作是与其相关联的骨骼参数的调节器(controller)。该至少一根骨骼，可以是属于头部中的其中一个局部区域的骨骼。
在一个示例中，可以通过以方法实现上述调节参数的设置。该方法可以包括：
首先，获取与所述调节参数相关联的骨骼。
每一个调节参数与哪些骨骼相关联，可以是预先设定的。通过获取与该调节参数相关联的骨骼，也即可以确定在调节该调节参数时，哪些骨骼会同时得到调整。
对于每一个调节参数，可以将一个局部区域内的多根骨骼的参数与该调节参数建立关联。其可以是该局部区域内的全部骨骼，也可以将其中的部分骨骼。例如，对于用于调整双眼整体大小的眼部骨骼调节器，假设眼部区域共有E1个骨骼，但只需要对其中的E2个骨骼进行调整(E2<E1)，即能够控制眼睛大小的变化，那么该眼部骨骼调节器只需控制这E2个骨骼。如图7A所示，通过将用于调整双眼整体大小的眼部骨骼调节器与骨骼eye_01、eye_02、eye_03(eye_01、eye_02、eye_03表示眼部区域的骨骼)的参数相关联，使该眼部骨骼调节器能够控制这三个骨骼。接下来，获取每个所述骨骼的骨骼参数中，与所述调节参数相关联的骨骼参数。
对于与上述调节参数相关联的每一个骨骼，调节参数可以控制其全部9个参数，也可以控制其中的一个或多个参数。对于各个骨骼的哪些参数与调节参数相关联，可以是预先设定的。
以图6所示为例，controller1，controller2,…，controllerM为各个调节器，其中，M是调节器的数目，其中的调节器controller1可以控制三个骨骼bone1、bone2、bone3，controller1可以控制的每个骨骼的参数如下：bone1的平移参数(tx，ty)，bone2的缩放参数(sx，sy，sz)，bone3的旋转参数(ry)。也即，通过调整controller1的调节参数，可以同时调整这三个骨骼的上述参数。
最后，将各个与所述调节参数相关联的骨骼参数设置为，根据所述调节参数的变化，同时调整所述骨骼参数。
在确定了与调节参数相关联的骨骼参数后，通过将每个骨骼参数设置为，根据该调节参数的变化而同时调整骨骼参数，从而实现了调节参数对相关联的骨骼参数的控制。根据该调节参数的变化而同时调整骨骼参数，可以是对于与该调节参数相关联的多个骨骼参数，以与调节参数相同的变化比例对其进行调整。例如，调节参数的值的调整幅度为增加1/10，与其相关联的多个调节参数的值的调整幅度也同时增加1/10。
在一个示例中，可以通过以下方法实现调节参数对骨骼参数的调整。该方法包括：
首先，获取所述调节参数的变化范围。该变化范围可以是预先设定的，由于该范围用于确定调节参数的相对变化量，因此其具体范围的设定对本公开技术方案的实现并没有影响。
接下来，获取与所述调节参数相关联的每个骨骼参数的变化范围。该变化范围可以是预先设定的，其可以根据实际需要调节的骨骼的位移、方向、距离等，具体设置骨骼参数的变化范围。如果一个骨骼参数的变化范围是0，则表明这个参数是不能调整的，也即不受该调节参数的控制。
之后，将各个与所述调节参数相关联的骨骼参数设置为，根据所述调节参数在其变化范围内的变化比例，在骨骼参数的变化范围内同时进行相同比例的变化。此处所说的变化比例，也可以用相对变化量来表示。举例来说，对于图6中的controller1，如果其调节参数的变化范围是[0,1]，当调节参数值从0.2变化到0.3，那么相对变化量即为即是1/10，也即变化比例为1/10。那么，与controller1相关联的bone1、bone2、bone3的骨骼参数的值则同时上浮调整1/10。由此，实现调节参数对与其相关联的骨骼参数的同时调整。以上骨骼参数随调节参数的等比例变化，可以通过线性插值算法来实现。
本领域技术人员应当理解，也可以针对不同骨骼参数设置不同的变化方式，例如，当controller1的调节参数值从0.2变化到0.3，其可以将bone1的骨骼参数向上调整1/10，而将bone2和bone3的骨骼参数向上调整1/5。也就是说，可以使不同的骨骼参数产生不同的变化趋势。应当理解的是，当调节参数值从0变化到1时，各个骨骼参数也相应地在各自的变化区间内从最小值变化到最大值，只是各个骨骼参数的变化过程可以是不同的。以上不同骨骼参数随调节参数以不同趋势进行变化，可以通过非线性插值算法来实现。
在本公开的至少一个实施例中，获取所述骨骼参数调整信息包括：
接收骨骼参数调整指令；
根据所述骨骼参数调整指令确定所述骨骼参数调整信息。
其中，所述骨骼参数调整指令可以指对所述调节参数的调整指令。根据所述调节参数的调整指令，可以确定所述骨骼参数调整信息。
在获取所述骨骼参数调信息后，获取与所述骨骼参数调整信息相关联的至少一根头部骨骼的骨骼参数，也即与所述调节参数相关联的至少一根头部骨骼的骨骼参数，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数。
在所述至少一根头部骨骼为一根骨骼的情况下，根据所述骨骼参数调整信息调整该骨骼的骨骼参数；在所述至少一根头部骨骼为多根骨骼，的情况下，根据所述骨骼参数调整信息同时调整所述多根头部骨骼的骨骼参数。
在一个示例中，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数，可以包括：
获取所述骨骼参数调整信息的调节范围；
获取与所述骨骼参数调整信息相关联的每个骨骼参数的调节范围；
根据所述骨骼参数调整信息在调节范围内的变化比例调整与所述骨骼参数调整信息相关联的所述至少一根头部骨骼的骨骼参数。
在一个示例中，可以预先针对骨骼参数调整指令设置控件，例如滑杆，通过操作该控件来产生调节参数的调整指令。在生成模型时，通过获取该控件的输出变化量，即获取了与调整指令对应的骨骼参数调整信息，从而能够对相关联的骨骼参数进行调整。
下面以图7A调节双眼整体大小为例具体说明调节参数对人脸模型的控制。
例如，将用于调节双眼整体大小的调节器controller1_eye的参数变化范围设置为[0,1]，也即其调节参数值可以是[0,1]间的任意值，通过操作滑杆可以使其调节参数值在此区间发生变化，如图7B所示。
调节器controller1_eye可以控制眼部区域的三个骨骼eye_01、eye_02、eye_03，调节器controller1_eye可以控制的每个骨骼的参数如下：骨骼eye_01的缩放参数(sx，sy，sz)、骨骼eye_02的缩放参数(sx，sy，sz)、骨骼eye_03的缩放参数(sx，sy，sz)，每个参数的调节范围均为[-1,1]，也即各个参数值可以是该区间内的任意数值。这三个骨骼的其他参数的调节范围为0，也即不能通过调节器controller1_eye进行调整，并且不显示在控制列表中。
通过操纵调节器controller1_eye的滑杆，使其调节参数值发生变化，并获取该数值。然后利用该数值将调节器controller1_eye对应的上述三个骨骼的参数在对应的调节范围内进行线性插值，得到每个参数调节后的数值。也即，基于调节器controller1_eye在其参数范围内的变化，使关联的骨骼参数值在其调节范围内发生等比例的变化。由此则实现了对双眼整体大小的调节。图7C示出了原双眼整体大小示意图，其中，左部各个边框表示骨骼参数，分别为头部整体参数(head_all_p_N)、左部脸颊整体参数(cheek_p_L)、左部脸颊参数(cheek_01_p_L、cheek_02_p_L、cheek_03_p_L)、右部脸颊整体参数(cheek_p_R)右部脸颊参数(cheek_01_p_R、cheek_02_p_R、cheek_03_p_R)、眼部整体参数(eye_p_L)、眼部参数(eye_01_p_L、eye_02_p_L、eye_03_p_L、eye_04_p_L、)，右部为各个调节器的滑杆控件。例如通过操纵图7B所示的滑杆，使其调节参数值变小，得出了图7D所示的双眼整体变小的效果。本领域技术人员应当知晓，图7C～图7D显示的是在骨架图的基础上进行了蒙皮得到的三维模型，但从中可以体现出骨骼变化所产生的效果。
在一个示例中，在得到调整的骨骼是对称骨骼的情况下，与所调整的骨骼对称的骨骼的参数对应地变化。如图2A所示，人脸的骨骼大部分是对称的，对于对称骨骼，在对一边进行调整的情况下，另一边的骨骼也会随之变化。也就是说，对称骨骼的参数之间是相关联的，其中一个的参数发生了变化，另一个的参数也会对应地变化。
通过使对称骨骼对应地变化，在减少了调节步骤的情况下，有利于保持人脸的对称性。
本公开中所说的区部区域，可以是一个区域，也可以是相应的调节参数能够实现某一些效果需要控制的区域。可以将一个调节参数所能实现的效果，对该调节参数所对应的控件进行命名。如图7C～图7D所示，包含了“眉毛左右”、“眉毛上下”等命名的控件，直观地体现了该控件能够实现的效果，便于用户进行操作。
对于所生成的人脸模型，通常采用模型分割的方式生成自定义妆容，在角色模型的基础上为每个可更换部件分离出一个单独的模型，但由于这种方式渲染阶段导致多个CPU调用图形编程接口(draw call)，因此会严重影响程序的性能。
基于此，以下实施例中，提出一种对于所生成的人脸模型生成脸部妆容的方法，如图8所示，可以包括：
在步骤801中，基于所述人脸模型的骨骼参数生成脸部贴图。
在本步骤中，可以根据所述人脸模型的骨骼参数生成脸部贴图。该脸部贴图可以包括多个与妆容对应的区域，对于不同的骨骼参数，各个矩形区域的大小和位置通常是不同的。此处所说的妆容，指对于人脸模型来说可更换的脸部部件，例如，眉毛、腮红、嘴唇、胡子等等，而非所生成的模型中已具有的、不可替换的脸部部位本领域技术人员应当理解，可更换的脸部部件不限于以上所述，还可以包括其他的脸部妆容。
本领域技术人员应当理解，该脸部贴图也可以是其他方式制作、生成的脸部贴图，并不限于基于上述人脸模型的骨骼参数生成。
如图9A所示，在该脸部贴图中包括了眉毛、腮红、嘴唇或嘴唇和胡子所对应的矩形区域。其中，每个矩形区域可以包括以下参数中的至少一个：宽度、高度、坐标横向偏移、坐标纵向偏移值。
在步骤802中，针对所述区域获取相应妆容的可更换部件贴图。
以矩形区域为例，在本步骤中，可以根据矩形区域的参数制作、生成相应妆容的可更换部件贴图，也可调用、导入相应的贴图。贴图的示例参见图9B所示，其中，各个可更换部件的贴图与相应矩形区域的宽度和高度一致。
其中，各个可更换部件的贴图的颜色可以改变，并且，也可以使贴图附加一层细节纹理。
在一个示例中，可以通过将可更换部件贴图的透明度信息和纹理信息进行混合，生成所述可更换部件贴图的纹理。该纹理信息是针对可更换部件的贴图所选择的纹理信息，其混合公式如下：
Figure BDA0002060626560000191
其中，Colorfinal表示贴图最终表现出的颜色，Colorbase表示Alpha！＝1时显示脸部贴图的颜色，Colordetail表示Alpha＝＝1时显示可更换部件贴图的颜色。
在步骤803中，将针对各个妆容选择的可更换部件贴图与所述脸部贴图进行合并，得到合并后的贴图。
在一个示例中，可以通过以下方式将各个妆容的可更换部件贴图与脸部贴图进行合并：
按照可更换部件贴图对应的矩形区域的坐标横向偏移值和坐标纵向偏移值，将所述可更换部件贴图拷贝到脸部贴图相应的矩形区域；将脸部贴图与所述可更换部件贴图按照按照透明度信息进行混合。所述透明度信息为所述可更换部件贴图的透明度信息。
在一个示例中，可以首先将脸部贴图拷贝到渲染纹理(RenderTexture)中，之后将各个可更换部件贴图拷贝到脸部贴图相应的矩形区域，利用渲染纹理实现可更换部件贴图与脸部贴图的合并。
在一个示例中，可以将脸部贴图及其对应的光照模型(shader)共同拷贝到渲染纹理中。
可更换部件贴图与脸部贴图合并后的结果如图9C所示。
在步骤804中，将所述合并后的贴图映射到所述人脸模型上，生成所述人脸模型的脸部妆容。
在一个示例中，可以首先将所述脸部贴图渲染到一个帧缓冲对象(FrameBufferObject)上，根据所述人脸模型的纹理坐标UV，将该帧缓冲对象关联到GPU上人脸模型所对应的贴图对象上，从而实现所述合并后的贴图到所述人脸模型的映射。
图10A示出了初始的人脸模型，图10B示出了通过上述方法生成脸妆容后的人脸模型。
在本实施例中，通过生成脸部贴图和与脸部贴图各矩形区域对应的妆容的可更换贴图，利用先合并再绘制的方法，提高了渲染效率。
图11A提供了一种人脸变形处理装置，如图11A所示，该装置可以包括：
第一获取单元1101，用于获取包括多根骨骼的三维预设人脸模型对应的第一骨骼参数和第一融合变形数据，所述第一融合变形数据用于表征预设人脸的变形程度；
第二获得单元1102，用于获取三维目标人脸模型对应的第二骨骼参数，确定第二骨骼参数和所述第一骨骼参数之间的变换关系；
确定单元1103，用于根据所述第二骨骼参数和所述第一骨骼参数之间的变换关系与所述第一融合变形数据，确定与所述三维目标人脸模型对应的第二融合变形数据。
图11B提供了另一种人脸变形处理装置，如图11B所示，第二获得单元1102中包括人脸模型生成子单元1102_1，用于生成目标人脸模型，具体用于：
获取包括头部骨骼参数的三维目标人脸模型的骨骼参数调整信息；
根据所述骨骼参数调整信息，调整所述头部骨骼参数；
根据调整后的所述头部骨骼参数，生成三维目标人脸模型。图12为本说明书至少一个实施例提供的人脸变形处理设备，如图12所示，该设备可以包括存储器1201、处理器1202，所述存储器1201用于存储可在处理器上运行的计算机指令，所述处理器1202用于在执行所述计算机指令时实现本说明书任一实施例所述的人脸变形处理方法。
本说明书至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一所述的人脸变形处理方法。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (24)

1.一种人脸变形处理方法，其特征在于，所述方法包括：
获取包括多根骨骼的三维预设人脸模型对应的第一骨骼参数和第一融合变形数据，所述第一融合变形数据是融合变形器中存储的数据，用于驱动预设人脸的变形；所述第一融合变形数据是表情所对应的网格数据与标准网格数据之间的差值，所述标准网格数据包括所述三维预设人脸模型的骨骼所对应的网格顶点数据；
获取三维目标人脸模型对应的第二骨骼参数，确定第二骨骼参数和所述第一骨骼参数之间的变换关系，所述三维目标人脸模型是相对于所述三维预设人脸模型进行了调整而获得的；
根据所述第二骨骼参数和所述第一骨骼参数之间的变换关系与所述第一融合变形数据，确定与所述三维目标人脸模型对应的第二融合变形数据，所述第二融合变形数据是融合变形器中存储的数据，用于驱动所述目标人脸的变形。
2.根据权利要求1所述的方法，其特征在于，根据所述第二骨骼参数和所述第一骨骼参数之间的变换关系与所述第一融合变形数据，确定与三维目标人脸模型对应的第二融合变形数据，包括：
获取所述三维预设人脸模型对应的第一网格数据；
获取所述三维目标人脸模型对应的第二网格数据；
根据所述第二网格数据和所述第一网格数据，确定所述三维目标人脸模型对应的第二融合变形数据。
3.根据权利要求2所述的方法，其特征在于，获取所述三维预设人脸模型对应的第一网格数据，包括：
获取所述第一骨骼参数对应的标准网格数据；
根据所述标准网格数据和所述第一融合变形数据，得到所述第一融合变形数据相对应的第一网格数据。
4.根据权利要求3所述的方法，其特征在于，获取所述三维目标人脸模型对应的第二网格数据，包括：
根据所述第二骨骼参数与所述第一骨骼参数，确定所述三维目标人脸模型中所有骨骼的变换矩阵；
通过将所述变换矩阵应用于所述第一网格数据，确定所述三维目标人脸模型对应的第二网格数据。
5.根据权利要求4所述的方法，其特征在于，根据所述第二骨骼参数与所述第一骨骼参数，确定所述三维目标人脸模型中所有骨骼的变换矩阵，包括：
根据所述三维预设人脸模型对应的第一骨骼参数，获取三维预设人脸模型中每个骨骼的第一位置矩阵；
根据三维目标人脸模型所对应的第二骨骼参数，获取三维目标人脸模型中每个骨骼的第二位置矩阵；
根据所述第二位置矩阵和所述第一位置矩阵，获得每个骨骼的变换矩阵。
6.根据权利要求1-5中任一项所述的方法，其特征在于，获取三维目标人脸模型对应的第二骨骼参数包括：生成三维目标人脸模型，具体包括：
获取包括头部骨骼参数的三维头部模型的骨骼参数调整信息；
根据所述骨骼参数调整信息，调整所述头部骨骼参数；
根据调整后的所述头部骨骼参数，生成三维目标人脸模型。
7.根据权利要求6所述的方法，其特征在于，所述获取包括头部骨骼参数的三维目标人脸模型的骨骼参数调整信息包括：
接收骨骼参数调整指令；
根据所述骨骼参数调整指令确定所述骨骼参数调整信息。
8.根据权利要求6所述的方法，其特征在于，根据所述骨骼参数调整信息，调整所述头部骨骼参数，包括：
获取所述头部骨骼参数中，与所述骨骼参数调整信息相关联的至少一根头部骨骼的骨骼参数，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数。
9.根据权利要求8所述的方法，其特征在于，至少一根头部骨骼为多根头部骨骼，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数，包括：
根据所述骨骼参数调整信息同时调整所述多根头部骨骼的骨骼参数。
10.根据权利要求8所述的方法，其特征在于，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数，包括：
获取所述骨骼参数调整信息的调节范围；
获取与所述骨骼参数调整信息相关联的每个骨骼参数的调节范围；
根据所述骨骼参数调整信息在调节范围内的变化比例调整与所述骨骼参数调整信息相关联的所述至少一根头部骨骼的骨骼参数。
11.根据权利要求6所述的方法，其特征在于，根据所述骨骼参数调整指令确定所述骨骼参数调整信息，包括：
获取针对所述骨骼参数调整指令设置的控件的输出变化量，根据所述输出变化量确定所述骨骼参数调整信息。
12.一种人脸变形处理装置，其特征在于，包括：
第一获取单元，用于获取包括多根骨骼的三维预设人脸模型对应的第一骨骼参数和第一融合变形数据，所述第一融合变形数据是融合变形器中存储的数据，用于驱动预设人脸的变形；所述第一融合变形数据是表情所对应的网格数据与标准网格数据之间的差值，所述标准网格数据包括所述三维预设人脸模型的骨骼所对应的网格顶点数据；
第二获取单元，用于获取三维目标人脸模型对应的第二骨骼参数，确定第二骨骼参数和所述第一骨骼参数之间的变换关系，所述三维目标人脸模型是相对于所述三维预设人脸模型进行了调整而获得的；
确定单元，用于根据所述第二骨骼参数和所述第一骨骼参数之间的变换关系与所述第一融合变形数据，确定与所述三维目标人脸模型对应的第二融合变形数据，所述第二融合变形数据是融合变形器中存储的数据，用于驱动所述目标人脸的变形。
13.根据权利要求12所述的装置，其特征在于，所述确定单元具体用于：
获取所述三维预设人脸模型对应的第一网格数据；
获取所述三维目标人脸模型对应的第二网格数据；
根据所述第二网格数据和所述第一网格数据，确定所述三维目标人脸模型对应的第二融合变形数据。
14.根据权利要求13所述的装置，其特征在于，所述确定单元在用于获取所述三维预设人脸模型对应的第一网格数据时，具体用于：
获取所述三维预设人脸模型对应的第一网格数据，包括：
获取所述第一骨骼参数对应的标准网格数据；
根据所述标准网格数据和所述第一融合变形数据，得到所述第一融合变形数据相对应的第一网格数据。
15.根据权利要求14所述的装置，其特征在于，所述确定单元在用于获取所述三维目标人脸模型对应的第二网格数据时，具体用于：
根据所述第二骨骼参数与所述第一骨骼参数，确定所述三维目标人脸模型中所有骨骼的变换矩阵；
通过将所述变换矩阵应用于所述第一网格数据，确定所述三维目标人脸模型对应的第二网格数据。
16.根据权利要求15所述的装置，其特征在于，根据所述第二骨骼参数与所述第一骨骼参数，确定所述三维目标人脸模型中所有骨骼的变换矩阵，包括：
根据所述三维预设人脸模型对应的第一骨骼参数，获取三维预设人脸模型中每个骨骼的第一位置矩阵；
根据三维目标人脸模型所对应的第二骨骼参数，获取三维目标人脸模型中每个骨骼的第二位置矩阵；
根据所述第二位置矩阵和所述第一位置矩阵，获得每个骨骼的变换矩阵。
17.根据权利要求12-16中任一项所述的装置，其特征在于，所述第二获取单元还包括三维目标人脸模型生成单元，用于：
获取包括头部骨骼参数的三维头部模型的骨骼参数调整信息；
根据所述骨骼参数调整信息，调整所述头部骨骼参数；
根据调整后的所述头部骨骼参数，生成三维目标人脸模型。
18.根据权利要求17所述的装置，其特征在于，所述三维目标人脸模型生成单元在用于获取包括头部骨骼参数的三维目标人脸模型的骨骼参数调整信息时，具体用于：
接收骨骼参数调整指令；
根据所述骨骼参数调整指令确定所述骨骼参数调整信息。
19.根据权利要求17所述的装置，其特征在于，所述三维目标人脸模型生成单元在用于根据所述骨骼参数调整信息，调整所述头部骨骼参数时，具体用于：
获取所述头部骨骼参数中，与所述骨骼参数调整信息相关联的至少一根头部骨骼的骨骼参数，根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数。
20.根据权利要求19所述的装置，其特征在于，至少一根头部骨骼为多根头部骨骼，所述三维目标人脸模型生成单元在用于根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数时，具体用于：
根据所述骨骼参数调整信息同时调整所述多根头部骨骼的骨骼参数。
21.根据权利要求19所述的装置，其特征在于，所述三维目标人脸模型生成单元在用于根据所述骨骼参数调整信息调整所述至少一根头部骨骼的骨骼参数时，具体用于：
获取所述骨骼参数调整信息的调节范围；
获取与所述骨骼参数调整信息相关联的每个骨骼参数的调节范围；
根据所述骨骼参数调整信息在调节范围内的变化比例调整与所述骨骼参数调整信息相关联的所述至少一根头部骨骼的骨骼参数。
22.根据权利要求17所述的装置，其特征在于，所述三维目标人脸模型生成单元在用于根据所述骨骼参数调整信息，调整所述头部骨骼参数时，具体用于：
获取针对所述骨骼参数调整指令设置的控件的输出变化量，根据所述输出变化量确定所述骨骼参数调整信息。
23.一种人脸变形处理设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至11中任一项所述的方法。
24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至11中任一项所述的方法。
CN201910403876.3A 2019-05-15 2019-05-15 人脸变形处理方法、装置及设备 Active CN110111247B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201910403876.3A CN110111247B (zh) 2019-05-15 2019-05-15 人脸变形处理方法、装置及设备
PCT/CN2020/074705 WO2020228385A1 (zh) 2019-05-15 2020-02-11 虚拟对象的变形处理方法、装置、设备及存储介质
EP20806857.7A EP3971819A4 (en) 2019-05-15 2020-02-11 SHAPING PROCESSING METHOD, APPARATUS AND DEVICE FOR VIRTUAL OBJECT AND MEMORY MEDIA
SG11202010607UA SG11202010607UA (en) 2019-05-15 2020-02-11 Method, apparatus and device for processing deformation of virtual object, and storage medium
KR1020207031891A KR20200139240A (ko) 2019-05-15 2020-02-11 가상 객체 변형 처리 방법, 장치, 기기 및 저장 매체
JP2020558622A JP7126001B2 (ja) 2019-05-15 2020-02-11 仮想オブジェクトの変形処理方法及び装置、機器並びに記憶媒体
TW109115911A TWI752494B (zh) 2019-05-15 2020-05-13 虛擬對象的變形處理方法、裝置、設備及儲存媒體
US17/079,980 US11100709B2 (en) 2019-05-15 2020-10-26 Method, apparatus and device for processing deformation of virtual object, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910403876.3A CN110111247B (zh) 2019-05-15 2019-05-15 人脸变形处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110111247A CN110111247A (zh) 2019-08-09
CN110111247B true CN110111247B (zh) 2022-06-24

Family

ID=67490278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910403876.3A Active CN110111247B (zh) 2019-05-15 2019-05-15 人脸变形处理方法、装置及设备

Country Status (8)

Country Link
US (1) US11100709B2 (zh)
EP (1) EP3971819A4 (zh)
JP (1) JP7126001B2 (zh)
KR (1) KR20200139240A (zh)
CN (1) CN110111247B (zh)
SG (1) SG11202010607UA (zh)
TW (1) TWI752494B (zh)
WO (1) WO2020228385A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111247B (zh) * 2019-05-15 2022-06-24 浙江商汤科技开发有限公司 人脸变形处理方法、装置及设备
GB2585078B (en) * 2019-06-28 2023-08-09 Sony Interactive Entertainment Inc Content generation system and method
CN110624244B (zh) * 2019-10-24 2023-04-18 网易（杭州）网络有限公司 游戏中脸部模型的编辑方法、装置和终端设备
CN110766777B (zh) * 2019-10-31 2023-09-29 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
CN111651152A (zh) * 2020-04-27 2020-09-11 北京编程猫科技有限公司 一种基于图形化编程的变换人物图画的方法及装置
CN111714885B (zh) * 2020-06-22 2024-07-23 网易（杭州）网络有限公司 游戏角色模型生成、角色调整方法、装置、设备及介质
CN112017295B (zh) * 2020-08-28 2024-02-09 重庆灵翎互娱科技有限公司 一种可调节动态头模型生成方法、终端和计算机存储介质
CN112107865A (zh) * 2020-09-27 2020-12-22 完美世界(北京)软件科技发展有限公司 一种面部动画模型处理方法、装置、电子设备及存储介质
CN112419485B (zh) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112419454B (zh) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112330805B (zh) * 2020-11-25 2023-08-08 北京百度网讯科技有限公司 人脸3d模型生成方法、装置、设备及可读存储介质
CN112562043B (zh) * 2020-12-08 2023-08-08 北京百度网讯科技有限公司 图像处理方法、装置和电子设备
CN112581573B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备、介质和程序产品
CN112967212A (zh) * 2021-02-01 2021-06-15 北京字节跳动网络技术有限公司 一种虚拟人物的合成方法、装置、设备及存储介质
CN112967364A (zh) * 2021-02-09 2021-06-15 咪咕文化科技有限公司 一种图像处理方法、装置及设备
CN113050795A (zh) * 2021-03-24 2021-06-29 北京百度网讯科技有限公司 虚拟形象的生成方法及装置
CN113298948B (zh) * 2021-05-07 2022-08-02 中国科学院深圳先进技术研究院 三维网格重建方法、装置、设备及存储介质
CN113350792B (zh) * 2021-06-16 2024-04-09 网易（杭州）网络有限公司 虚拟模型的轮廓处理方法、装置、计算机设备及存储介质
CN113362435B (zh) * 2021-06-16 2023-08-08 网易（杭州）网络有限公司 虚拟对象模型的虚拟部件变化方法、装置、设备及介质
CN113470148B (zh) * 2021-06-30 2022-09-23 完美世界(北京)软件科技发展有限公司 表情动画制作方法及装置、存储介质、计算机设备
CN113379880B (zh) * 2021-07-02 2023-08-11 福建天晴在线互动科技有限公司 一种表情自动化生产方法及其装置
CN113450452B (zh) * 2021-07-05 2023-05-26 网易（杭州）网络有限公司 三维模型文件的转换方法和装置
CN113422977B (zh) * 2021-07-07 2023-03-14 上海商汤智能科技有限公司 直播方法、装置、计算机设备以及存储介质
CN113546420B (zh) * 2021-07-23 2024-04-09 网易（杭州）网络有限公司 虚拟对象的控制方法、装置、存储介质及电子设备
CN113610992B (zh) * 2021-08-04 2022-05-20 北京百度网讯科技有限公司 骨骼驱动系数确定方法、装置、电子设备及可读存储介质
CN113658307A (zh) * 2021-08-23 2021-11-16 北京百度网讯科技有限公司 图像处理方法及装置
CN113986015B (zh) * 2021-11-08 2024-04-30 北京字节跳动网络技术有限公司 虚拟道具的处理方法、装置、设备和存储介质
CN116524077B (zh) * 2022-01-21 2024-07-23 腾讯科技（深圳）有限公司 虚拟对象的编辑方法及相关设备
CN114677476B (zh) * 2022-03-30 2024-08-16 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质
CN115115752B (zh) * 2022-04-29 2024-08-16 腾讯科技（上海）有限公司 虚拟服装的形变预测方法和装置、存储介质及电子设备
CN115601484B (zh) * 2022-11-07 2023-03-28 广州趣丸网络科技有限公司 虚拟人物面部驱动方法、装置、终端设备和可读存储介质
KR102652652B1 (ko) * 2022-11-29 2024-03-29 주식회사 일루니 아바타 생성 장치 및 방법
CN115937373B (zh) * 2022-12-23 2023-10-03 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783026A (zh) * 2010-02-03 2010-07-21 北京航空航天大学 三维人脸肌肉模型的自动构造方法
CN101833788B (zh) * 2010-05-18 2011-09-07 南京大学 一种采用手绘草图的三维人体建模方法
CN107633542A (zh) * 2016-07-19 2018-01-26 珠海金山网络游戏科技有限公司 一种捏脸编辑和动画附加融合方法和系统
CN107705365A (zh) * 2017-09-08 2018-02-16 郭睿 可编辑的三维人体模型创建方法、装置、电子设备及计算机程序产品
CN109191570A (zh) * 2018-09-29 2019-01-11 网易（杭州）网络有限公司 游戏角色脸部模型的调整方法、装置、处理器及终端
CN109727302A (zh) * 2018-12-28 2019-05-07 网易（杭州）网络有限公司 骨骼创建方法、装置、电子设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100545871C (zh) * 2006-05-12 2009-09-30 中国科学院自动化研究所 一种直接传递三维模型姿态的方法
GB2450757A (en) * 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
JP4977742B2 (ja) * 2008-10-17 2012-07-18 株式会社スクウェア・エニックス ３次元モデル表示システム
CN101968891A (zh) * 2009-07-28 2011-02-09 上海冰动信息技术有限公司 用于游戏的照片自动生成三维图形系统
CN102054296A (zh) * 2011-01-20 2011-05-11 西北大学 一种局部刚性网格变形方法
US8922553B1 (en) * 2011-04-19 2014-12-30 Disney Enterprises, Inc. Interactive region-based linear 3D face models
CN102157010A (zh) * 2011-05-25 2011-08-17 上海大学 基于分层建模及多体驱动的三维人脸动画实现方法
JP6207210B2 (ja) * 2013-04-17 2017-10-04 キヤノン株式会社 情報処理装置およびその方法
US9378576B2 (en) * 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US9202300B2 (en) * 2013-06-20 2015-12-01 Marza Animation Planet, Inc Smooth facial blendshapes transfer
CN104978764B (zh) * 2014-04-10 2017-11-17 华为技术有限公司 三维人脸网格模型处理方法和设备
CN104376594B (zh) * 2014-11-25 2017-09-29 福建天晴数码有限公司 三维人脸建模方法和装置
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
US10796480B2 (en) * 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
CN105654537B (zh) * 2015-12-30 2018-09-21 中国科学院自动化研究所 一种实现与虚拟角色实时互动的表情克隆方法及装置
CN106846499B (zh) * 2017-02-09 2020-04-03 腾讯科技（深圳）有限公司 一种虚拟模型的生成方法及装置
US20180308276A1 (en) * 2017-04-21 2018-10-25 Mug Life, LLC Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image
CN107146199B (zh) * 2017-05-02 2020-01-17 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
CN109395390B (zh) * 2018-10-26 2021-12-21 网易（杭州）网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN109711335A (zh) * 2018-12-26 2019-05-03 北京百度网讯科技有限公司 通过人体特征对目标图片进行驱动的方法及装置
CN110111247B (zh) * 2019-05-15 2022-06-24 浙江商汤科技开发有限公司 人脸变形处理方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783026A (zh) * 2010-02-03 2010-07-21 北京航空航天大学 三维人脸肌肉模型的自动构造方法
CN101833788B (zh) * 2010-05-18 2011-09-07 南京大学 一种采用手绘草图的三维人体建模方法
CN107633542A (zh) * 2016-07-19 2018-01-26 珠海金山网络游戏科技有限公司 一种捏脸编辑和动画附加融合方法和系统
CN107705365A (zh) * 2017-09-08 2018-02-16 郭睿 可编辑的三维人体模型创建方法、装置、电子设备及计算机程序产品
CN109191570A (zh) * 2018-09-29 2019-01-11 网易（杭州）网络有限公司 游戏角色脸部模型的调整方法、装置、处理器及终端
CN109727302A (zh) * 2018-12-28 2019-05-07 网易（杭州）网络有限公司 骨骼创建方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
交互式人脸表情动画系统;蔡锐涛;《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》;20180115;第2018年卷(第01期);第I138-1248页的摘要、第3章和第6.2节 *

Also Published As

Publication number Publication date
EP3971819A4 (en) 2022-07-20
JP2021527862A (ja) 2021-10-14
TWI752494B (zh) 2022-01-11
KR20200139240A (ko) 2020-12-11
SG11202010607UA (en) 2020-12-30
WO2020228385A1 (zh) 2020-11-19
JP7126001B2 (ja) 2022-08-25
US11100709B2 (en) 2021-08-24
EP3971819A1 (en) 2022-03-23
TW202046250A (zh) 2020-12-16
CN110111247A (zh) 2019-08-09
US20210043000A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
CN110111247B (zh) 人脸变形处理方法、装置及设备
CN110111417B (zh) 三维局部人体模型的生成方法、装置及设备
CN108351864B (zh) 成凹几何密铺
US8345044B2 (en) Indirect binding with segmented thin layers to provide shape-preserving deformations in computer animation
CN109151540B (zh) 视频图像的交互处理方法及装置
CN110689604A (zh) 个性化脸部模型显示方法、装置、设备及存储介质
US10217259B2 (en) Method of and apparatus for graphics processing
CN115512014A (zh) 训练表情驱动生成模型的方法、表情驱动方法及装置
CN115228083A (zh) 一种资源渲染方法及装置
CN117152382A (zh) 虚拟数字人面部表情计算方法和装置
US10275925B2 (en) Blend shape system with texture coordinate blending
Koh et al. View-dependent adaptive cloth simulation
CN116843809A (zh) 针对虚拟角色的处理方法和装置
JP2005228110A (ja) 情報処理方法および装置
EP1190393A1 (en) Method and apparatus for rendering images
US10650563B2 (en) Tongue position tracking for facial animation
JP2012164152A5 (zh)
WO2021155828A1 (en) Method and system for implementing dynamic input resolution for vslam systems
JP7353418B1 (ja) 画像を生成するためのプログラム、方法、画像生成装置、及びゲームシステム
CN117908722B (zh) 一种基于数字孪生技术的移动滑屏控制方法、系统及介质
JP5097636B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2023171165A (ja) スタイル変換プログラム、スタイル変換装置、およびスタイル変換方法
JPH11232482A (ja) コンピュータグラフィックスにおける曲面生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant