CN111968203A - 动画驱动方法、装置、电子设备及存储介质 - Google Patents
动画驱动方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111968203A CN111968203A CN202010617136.2A CN202010617136A CN111968203A CN 111968203 A CN111968203 A CN 111968203A CN 202010617136 A CN202010617136 A CN 202010617136A CN 111968203 A CN111968203 A CN 111968203A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- sub
- feature extraction
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000001815 facial effect Effects 0.000 claims abstract description 119
- 238000000605 extraction Methods 0.000 claims abstract description 96
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 19
- 238000009499 grossing Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 230000010355 oscillation Effects 0.000 abstract description 7
- 210000003128 head Anatomy 0.000 description 44
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了动画驱动方法、装置、电子设备及存储介质，涉及图像处理技术领域、深度学习技术领域。具体实现方案为：将待处理的人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取人脸图像的头部姿态；将人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取人脸图像的表情系数；结合人脸图像的头部姿态、表情系数以及人脸动画模型，生成与人脸图像姿态表情一致的人脸动画图像。由此，能够使得误差在人脸各个部位均匀分布，避免出现参数震荡现象，提高人脸动画图像的生成效果。
Description
技术领域
本申请涉及计算机技术领域，具体涉及图像处理技术领域、深度学习技术领域，尤其涉及动画驱动方法、装置、电子设备及存储介质。
背景技术
目前的三维人脸动画驱动方案主要为，首先在离线阶段，基于三维通用人脸模型构建多个表情模型，然后通过人工选点标注这些表情模型的三维关键点作为主成分，之后在运行期间采用人脸关键点检测模块提取二维人脸稀疏关键点，同时构建最小重投影误差函数来优化各个主成分的参数，最后驱动参数化人脸三维模型。
上述方案中，构建最小重投影误差函数来优化各个主成分的参数，导致误差在人脸各个部位分布不均匀，容易出现参数震荡现象，例如人脸“抽搐”。
发明内容
提供了一种动画驱动方法、装置、电子设备及存储介质。
根据第一方面，提供了一种动画驱动方法，通过将待处理的人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取所述人脸图像的头部姿态；将人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取人脸图像的表情系数；结合人脸图像的头部姿态、表情系数以及人脸动画模型，生成与人脸图像姿态表情一致的人脸动画图像。由此，通过部位特征提取子模型以及部位组合子模型的采用，根据人脸特征分别确定人脸各个部位的特征，进而根据人脸各个部位的特征组合确定表情系数，能够使得误差在人脸各个部位均匀分布，避免出现参数震荡现象，提高人脸动画图像的生成效果。
本申请第二方面，提供一种动画驱动装置。
本申请第三方面，提出一种电子设备。
本申请第四方面，提出一种存储有计算机指令的非瞬时计算机可读存储介质。
本申请第一方面实施例提出一种动画驱动方法，包括：获取待处理的人脸图像；将所述人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取所述人脸图像的头部姿态；将所述人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取所述人脸图像的表情系数；以及，结合所述人脸图像的所述头部姿态、所述表情系数以及人脸动画模型，生成与所述人脸图像姿态表情一致的人脸动画图像。
本申请实施例的动画驱动方法，通过将待处理的人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取所述人脸图像的头部姿态；将人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取人脸图像的表情系数；结合人脸图像的头部姿态、表情系数以及人脸动画模型，生成与人脸图像姿态表情一致的人脸动画图像。由此，通过部位特征提取子模型以及部位组合子模型的采用，根据人脸特征分别确定人脸各个部位的特征，进而根据人脸各个部位的特征组合确定表情系数，能够使得误差在人脸各个部位均匀分布，避免出现参数震荡现象，提高人脸动画图像的生成效果。
本申请第二方面实施例提出一种动画驱动装置，包括：第一获取模块，用于获取待处理的人脸图像；第二获取模块，用于将所述人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取所述人脸图像的头部姿态；第三获取模块，用于将所述人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取所述人脸图像的表情系数；以及，生成模块，用于结合所述人脸图像的所述头部姿态、所述表情系数以及人脸动画模型，生成与所述人脸图像姿态表情一致的人脸动画图像。
本申请第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的动画驱动方法。
本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的动画驱动方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2为嘴巴闭合时的人脸图像；
图3为嘴巴张大时的人脸图像；
图4为图2对应的人脸动画图像；
图5为图3对应的人脸动画图像；
图6是根据本申请第二实施例的示意图；
图7是第二组合模型的示意图；
图8是第一组合模型的示意图；
图9是根据本申请第三实施例的示意图；
图10是根据本申请第四实施例的示意图；
图11是根据本申请第五实施例的示意图；
图12是用来实现本申请实施例的动画驱动方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的动画驱动方法、装置、电子设备及存储介质。
图1是根据本申请第一实施例的示意图。其中，需要说明的是，本实施例的动画驱动方法的执行主体为动画驱动装置，动画驱动装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。
如图1所示，动画驱动方法具体实现过程如下：
步骤101，获取待处理的人脸图像。
在本申请实施例中，作为一种示例，为了避免非人脸区域的干扰，进一步提高人脸动画驱动效果，人脸图像中可以只包括人脸相关的区域，而不包括与人脸不相关的区域，因此，待处理的人脸图像的获取方法可以包括以下步骤：获取用户图像；对用户图像进行人脸检测，以获取用户图像中人脸所在区域；以及，按照人脸所在区域对用户图像进行裁剪，以得到待处理的人脸图像。
其中，用户图像可以为通过摄像头等直接拍摄得到的图像，或者从其他存储设备获取到的图像。其中，待处理的人脸图像可以为人脸图像序列中的图像。人脸图像序列可以包括多张按照时间排序的人脸图像。动画驱动装置可以依次按照人脸图像序列中的各张人脸图像进行人脸动画驱动操作。待处理的人脸图像的示意图可以如图2或如图3所示。图2为嘴巴闭合时的人脸图像，图3为嘴巴张大时的人脸图像。
步骤102，将人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取人脸图像的头部姿态。
其中，特征提取子模型可以由多个尺度的沙漏网络(hourglass)级联而成，用于提取人脸图像中的人脸特征。头部姿态子模型的输入为人脸图像中的人脸特征，基于人脸特征预测人脸图像的头部姿态。其中，头部姿态例如，低头、抬头、侧脸等。其中，人脸特征例如可以为，人脸关键点信息、人脸中各个部位之间的相对位置向量等。
步骤103，将人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取人脸图像的表情系数。
其中，部位特征提取子模型的输入为人脸图像中的人脸特征，基于人脸特征确定人脸图像中各个部位的特征，基于人脸图像中各个部位的特征以及部位组合子模型，来确定人脸图像的表情系数，避免通过构建最小重投影误差函数来优化表情模型的各个三维关键点的参数带来的参数震荡现象。
本申请中，表情系数表征人脸各个部位相对于表情模型的系数。表情模型为三维通用人脸模型具有各个表情时的模型。
其中，表情系数可以包括人脸各个部位的系数，例如嘴巴的系数、眼睛的系数、眉毛的系数、鼻子的系数、脸颊的系数等。其中，以嘴巴为例，表情模型可以为三维通用人脸模型张大嘴巴时的模型，表情模型中嘴巴的张大角度为表情模型的嘴巴参数，嘴巴的表情系数表征人脸图像中嘴巴的张大角度与表情模型中嘴巴的张大角度之间的比例系数。
例如，若嘴巴的系数为1，则表示人脸图像中嘴巴的张大角度与表情模型中嘴巴的张大角度一致。若嘴巴的系数大于1，则表示人脸图像中嘴巴的张大角度大于表情模型中嘴巴的张大角度。若嘴巴的系数小于1，则表示人脸图像中嘴巴的张大角度小于表情模型中嘴巴的张大角度。
作为一种示例，在待处理的人脸图像为人脸图像序列中的一帧人脸图像时，为了确保相邻帧人脸图像的表情系数之间的一致性，确保相邻帧人脸图像的人脸动画图像之间衔接的顺畅，获取人脸图像的表情系数之后，所述的方法还可以包括以下步骤：获取人脸图像序列中位于待处理的人脸图像之前的第一人脸图像；以及，将第一人脸图像的表情系数以及待处理的人脸图像的表情系数输入平滑处理子模型，以对待处理的人脸图像的表情系数进行平滑处理。
步骤104，结合人脸图像的头部姿态、表情系数以及人脸动画模型，生成与人脸图像姿态表情一致的人脸动画图像。
作为一种示例，为了结合表情系数精确确定人脸图像的表情系数并驱动人脸动画图像，提高人脸动画图像的效果，动画驱动装置执行步骤104的过程具体可以为，结合表情系数以及三维通用人脸模型下的表情模型，确定人脸图像的表情参数；以及，根据表情参数、头部姿态以及人脸动画模型，生成与人脸图像姿态表情一致的人脸动画图像。
其中，三维通用人脸模型下的每个表情模型中包括各个部位的表情参数，结合各个部位的系数以及表情模型中各个部位的表情参数，例如，针对每个部位，将部位的系数与表情模型中部位的表情参数进行相乘，能够得到人脸图像中各个部位的参数，例如，嘴巴的张大角度、眼睛的张大角度、眉毛的上挑角度等。其中，图2的人脸图像对应的人脸动画图像如图4所示，图3的人脸图像对应的人脸动画图像如图5所示。
综上，通过将待处理的人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取所述人脸图像的头部姿态；将人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取人脸图像的表情系数；结合人脸图像的头部姿态、表情系数以及人脸动画模型，生成与人脸图像姿态表情一致的人脸动画图像。由此，通过部位特征提取子模型以及部位组合子模型的采用，根据人脸特征分别确定人脸各个部位的特征，进而根据人脸各个部位的特征组合确定表情系数，能够使得误差在人脸各个部位均匀分布，避免出现参数震荡现象，提高人脸动画图像的生成效果。
为了提高提取到的表情系数的准确度，提高人脸动画图像的生成效果，特征提取子模型、头部姿态子模型、部位特征提取子模型以及部位组合子模型可以为经过训练的子模型，因此，结合参考图6，在图1所示实施例的基础上，步骤102之前，所示的方法还可以包括以下步骤：
步骤105，获取经过预训练的特征提取子模型、初始头部姿态子模型、初始部位特征提取子模型和初始组合子模型。
其中，经过预训练的特征提取子模型、初始头部姿态子模型、初始部位特征提取子模型和初始组合子模型可以为神经网络模型。其中，为了提高提取的表情系数的准确度，需要从人脸图像中提取全面的人脸特征，因此，经过预训练的特征提取子模型的获取方式可以为，获取初始特征提取子模型和初始反卷积子模型；根据初始特征提取子模型和初始反卷积子模型，构建第二组合模型；获取第二训练数据，其中，第二训练数据包括：人脸图像样本以及对应的人脸关键点信息；以及，采用第二训练数据对第二组合模型进行深度学习训练，以得到经过预训练的特征提取子模型。其中，第二组合模型的示意图例如可以如图7所示，在图7中，2.1.1表示特征提取子模型，2.1.2表示反卷积子模型。
步骤106，根据经过预训练的特征提取子模型、初始头部姿态子模型、初始部位特征提取子模型和初始组合子模型，构建第一组合模型。
本申请中，动画驱动装置执行步骤106的过程具体可以为，将经过预训练的特征提取子模型的输出分别与初始头部姿态子模型的输入和初始部位特征提取子模型的输入连接；以及，将初始部位特征子模型的输出与初始组合子模型的输入连接，得到所述第一组合模型。其中，第一组合模型的示意图例如可以如图8所示。在图8中，2.1.1表示特征提取子模型，2.1.3表示头部姿态子模型，2.1.4表示部位特征子模型，2.1.5表示组合子模型。
步骤107，获取第一训练数据，其中，第一训练数据包括：人脸图像样本以及对应的头部姿态以及表情系数。
步骤108，采用第一训练数据对第一组合模型进行深度学习训练，以得到特征提取子模型、头部姿态子模型、部位特征提取子模型以及部位组合子模型。
综上，根据经过预训练的特征提取子模型、初始头部姿态子模型、初始部位特征提取子模型和初始组合子模型，构建第一组合模型并进行训练，从而得到特征提取子模型、头部姿态子模型、部位特征提取子模型以及部位组合子模型。
为了实现上述实施例，本申请实施例还提出一种动画驱动装置。
图9是根据本申请第三实施例的示意图。如图9所示，该动画驱动装置900可包括：第一获取模块910、第二获取模块920、第三获取模块930和生成模块940。
其中，第一获取模块910，用于获取待处理的人脸图像；第二获取模块920，用于将所述人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取所述人脸图像的头部姿态；第三获取模块930，用于将所述人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取所述人脸图像的表情系数；以及，生成模块940，用于结合所述人脸的图像所述头部姿态、所述表情系数以及人脸动画模型，生成与所述人脸图像姿态表情一致的人脸动画图像。
作为本申请实施例的一种可能实现方式，所述第一获取模块910具体用于，获取用户图像；对所述用户图像进行人脸检测，以获取所述用户图像中人脸所在区域；以及，按照所述人脸所在区域对所述用户图像进行裁剪，以得到所述待处理的人脸图像。
作为本申请实施例的一种可能实现方式，结合参考图10，在图9所示实施例的基础上，所述的装置还可以包括：第四获取模块950、构建模块960、第五获取模块970和训练模块980；
其中，所述第四获取模块950，用于获取经过预训练的特征提取子模型、初始头部姿态子模型、初始部位特征提取子模型和初始组合子模型；
所述构建模块960，用于根据经过预训练的特征提取子模型、所述初始头部姿态子模型、所述初始部位特征提取子模型和所述初始组合子模型，构建第一组合模型；
所述第五获取模块970，用于获取第一训练数据，其中，所述第一训练数据包括：人脸图像样本以及对应的头部姿态以及表情系数；以及，
所述训练模块980，用于采用所述第一训练数据对所述第一组合模型进行深度学习训练，以得到所述特征提取子模型、所述头部姿态子模型、所述部位特征提取子模型以及所述部位组合子模型。
作为本申请实施例的一种可能实现方式，所述构建模块960具体用于，将所述经过预训练的特征提取子模型的输出分别与所述初始头部姿态子模型的输入和所述初始部位特征提取子模型的输入连接；以及，将所述初始部位特征子模型的输出与所述初始组合子模型的输入连接，得到所述第一组合模型。
作为本申请实施例的一种可能实现方式，所述经过预训练的特征提取子模型的获取方式为，获取初始特征提取子模型和初始反卷积子模型；根据所述初始特征提取子模型和所述初始反卷积子模型，构建第二组合模型；获取第二训练数据，其中，所述第二训练数据包括：人脸图像样本以及对应的人脸关键点信息；以及，采用所述第二训练数据对所述第二组合模型进行深度学习训练，以得到所述经过预训练的特征提取子模型。
作为本申请实施例的一种可能实现方式，所述待处理的人脸图像为人脸图像序列中的一帧人脸图像；结合参考图11，在图9所示实施例的基础上，所述的装置还可以包括：第六获取模块990和平滑处理模块9110；
其中，所述第六获取模块990，用于获取所述人脸图像序列中位于所述待处理的人脸图像之前的第一人脸图像；以及，所述平滑处理模块9110，用于将所述第一人脸图像的表情系数以及所述待处理的人脸图像的表情系数输入平滑处理子模型，以对所述待处理的人脸图像的表情系数进行平滑处理。
作为本申请实施例的一种可能实现方式，所述生成模块940具体用于，结合所述表情系数以及三维通用人脸模型下的表情模型，确定所述人脸图像的表情参数；以及，根据所述表情参数、所述头部姿态以及人脸动画模型，生成与所述人脸图像姿态表情一致的人脸动画图像。
本申请实施例的动画驱动装置，通过将待处理的人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取所述人脸图像的头部姿态；将人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取人脸图像的表情系数；结合人脸图像的头部姿态、表情系数以及人脸动画模型，生成与人脸图像姿态表情一致的人脸动画图像。由此，通过部位特征提取子模型以及部位组合子模型的采用，根据人脸特征分别确定人脸各个部位的特征，进而根据人脸各个部位的特征组合确定表情系数，能够使得误差在人脸各个部位均匀分布，避免出现参数震荡现象，提高人脸动画图像的生成效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图12所示，是根据本申请实施例的动画驱动方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图12所示，该电子设备包括：一个或多个处理器1201、存储器1202，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图12中以一个处理器1201为例。
存储器1202即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的动画驱动方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的动画驱动方法。
存储器1202作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的动画驱动方法对应的程序指令/模块(例如，附图9所示的第一获取模块910、第二获取模块920、第三获取模块930、生成模块940；附图10所示的第四获取模块950、构建模块960、第五获取模块970、训练模块980；附图11所示的第六获取模块990、平滑处理模块9110)。处理器1201通过运行存储在存储器1202中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的动画驱动方法。
存储器1202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据动画驱动的电子设备的使用所创建的数据等。此外，存储器1202可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1202可选包括相对于处理器1201远程设置的存储器，这些远程存储器可以通过网络连接至动画驱动的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
动画驱动的电子设备还可以包括：输入装置1203和输出装置1204。处理器1201、存储器1202、输入装置1203和输出装置1204可以通过总线或者其他方式连接，图12中以通过总线连接为例。
输入装置1203可接收输入的数字或字符信息，以及产生与动画驱动的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1204可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (16)
1.一种动画驱动方法，包括：
获取待处理的人脸图像；
将所述人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取所述人脸图像的头部姿态；
将所述人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取所述人脸图像的表情系数；以及，
结合所述人脸图像的所述头部姿态、所述表情系数以及人脸动画模型，生成与所述人脸图像姿态表情一致的人脸动画图像。
2.根据权利要求1所述的方法，其中，所述获取待处理的人脸图像，包括：
获取用户图像；
对所述用户图像进行人脸检测，以获取所述用户图像中人脸所在区域；以及，
按照所述人脸所在区域对所述用户图像进行裁剪，以得到所述待处理的人脸图像。
3.根据权利要求1所述的方法，其中，所述将所述人脸图像输入依次排列的特征提取子模型和头部姿态子模型之前，还包括：
获取经过预训练的特征提取子模型、初始头部姿态子模型、初始部位特征提取子模型和初始组合子模型；
根据经过预训练的特征提取子模型、所述初始头部姿态子模型、所述初始部位特征提取子模型和所述初始组合子模型，构建第一组合模型；
获取第一训练数据，其中，所述第一训练数据包括：人脸图像样本以及对应的头部姿态以及表情系数；以及，
采用所述第一训练数据对所述第一组合模型进行深度学习训练，以得到所述特征提取子模型、所述头部姿态子模型、所述部位特征提取子模型以及所述部位组合子模型。
4.根据权利要求3所述的方法，其中，所述根据经过预训练的特征提取子模型、所述初始头部姿态子模型、所述初始部位特征提取子模型和所述初始组合子模型，构建第一组合模型，包括：
将所述经过预训练的特征提取子模型的输出分别与所述初始头部姿态子模型的输入和所述初始部位特征提取子模型的输入连接；以及，
将所述初始部位特征子模型的输出与所述初始组合子模型的输入连接，得到所述第一组合模型。
5.根据权利要求3所述的方法，其中，所述经过预训练的特征提取子模型的获取方式为，
获取初始特征提取子模型和初始反卷积子模型；
根据所述初始特征提取子模型和所述初始反卷积子模型，构建第二组合模型；
获取第二训练数据，其中，所述第二训练数据包括：人脸图像样本以及对应的人脸关键点信息；以及，
采用所述第二训练数据对所述第二组合模型进行深度学习训练，以得到所述经过预训练的特征提取子模型。
6.根据权利要求1所述的方法，其中，所述待处理的人脸图像为人脸图像序列中的一帧人脸图像；
所述结合所述人脸图像的所述头部姿态、所述表情系数以及人脸动画模型，生成与所述人脸图像表情一致的人脸动画图像之前，还包括：
获取所述人脸图像序列中位于所述待处理的人脸图像之前的第一人脸图像；以及，
将所述第一人脸图像的表情系数以及所述待处理的人脸图像的表情系数输入平滑处理子模型，以对所述待处理的人脸图像的表情系数进行平滑处理。
7.根据权利要求1所述的方法，其中，所述结合所述人脸图像的所述头部姿态、所述表情系数以及人脸动画模型，生成与所述人脸图像姿态表情一致的人脸动画图像，包括：
结合所述表情系数以及三维通用人脸模型下的表情模型，确定所述人脸图像的表情参数；以及，
根据所述表情参数、所述头部姿态以及人脸动画模型，生成与所述人脸图像姿态表情一致的人脸动画图像。
8.一种动画驱动装置，包括：
第一获取模块，用于获取待处理的人脸图像；
第二获取模块，用于将所述人脸图像输入依次排列的特征提取子模型和头部姿态子模型，以获取所述人脸图像的头部姿态；
第三获取模块，用于将所述人脸图像输入依次排列的特征提取子模型、部位特征提取子模型以及部位组合子模型，以获取所述人脸图像的表情系数；以及，
生成模块，用于结合所述人脸的图像所述头部姿态、所述表情系数以及人脸动画模型，生成与所述人脸图像姿态表情一致的人脸动画图像。
9.根据权利要求8所述的装置，其中，所述第一获取模块具体用于，
获取用户图像；
对所述用户图像进行人脸检测，以获取所述用户图像中人脸所在区域；以及，
按照所述人脸所在区域对所述用户图像进行裁剪，以得到所述待处理的人脸图像。
10.根据权利要求8所述的装置，其中，还包括：第四获取模块、构建模块、第五获取模块和训练模块；
所述第四获取模块，用于获取经过预训练的特征提取子模型、初始头部姿态子模型、初始部位特征提取子模型和初始组合子模型；
所述构建模块，用于根据经过预训练的特征提取子模型、所述初始头部姿态子模型、所述初始部位特征提取子模型和所述初始组合子模型，构建第一组合模型；
所述第五获取模块，用于获取第一训练数据，其中，所述第一训练数据包括：人脸图像样本以及对应的头部姿态以及表情系数；以及，
所述训练模块，用于采用所述第一训练数据对所述第一组合模型进行深度学习训练，以得到所述特征提取子模型、所述头部姿态子模型、所述部位特征提取子模型以及所述部位组合子模型。
11.根据权利要求10所述的装置，其中，所述构建模块具体用于，
将所述经过预训练的特征提取子模型的输出分别与所述初始头部姿态子模型的输入和所述初始部位特征提取子模型的输入连接；以及，
将所述初始部位特征子模型的输出与所述初始组合子模型的输入连接，得到所述第一组合模型。
12.根据权利要求10所述的装置，其中，所述经过预训练的特征提取子模型的获取方式为，
获取初始特征提取子模型和初始反卷积子模型；
根据所述初始特征提取子模型和所述初始反卷积子模型，构建第二组合模型；
获取第二训练数据，其中，所述第二训练数据包括：人脸图像样本以及对应的人脸关键点信息；以及，
采用所述第二训练数据对所述第二组合模型进行深度学习训练，以得到所述经过预训练的特征提取子模型。
13.根据权利要求8所述的装置，其中，所述待处理的人脸图像为人脸图像序列中的一帧人脸图像；
所述的装置还包括：第六获取模块和平滑处理模块；
所述第六获取模块，用于获取所述人脸图像序列中位于所述待处理的人脸图像之前的第一人脸图像；以及，
所述平滑处理模块，用于将所述第一人脸图像的表情系数以及所述待处理的人脸图像的表情系数输入平滑处理子模型，以对所述待处理的人脸图像的表情系数进行平滑处理。
14.根据权利要求8所述的装置，其中，所述生成模块具体用于，
结合所述表情系数以及三维通用人脸模型下的表情模型，确定所述人脸图像的表情参数；以及，
根据所述表情参数、所述头部姿态以及人脸动画模型，生成与所述人脸图像姿态表情一致的人脸动画图像。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617136.2A CN111968203B (zh) | 2020-06-30 | 2020-06-30 | 动画驱动方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617136.2A CN111968203B (zh) | 2020-06-30 | 2020-06-30 | 动画驱动方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111968203A true CN111968203A (zh) | 2020-11-20 |
| CN111968203B CN111968203B (zh) | 2023-11-14 |
Family
ID=73360699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010617136.2A Active CN111968203B (zh) | 2020-06-30 | 2020-06-30 | 动画驱动方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968203B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614213A (zh) * | 2020-12-14 | 2021-04-06 | 杭州网易云音乐科技有限公司 | 人脸表情确定方法、表情参数确定模型、介质及设备 |
| CN112785670A (zh) * | 2021-02-01 | 2021-05-11 | 北京字节跳动网络技术有限公司 | 一种形象合成方法、装置、设备及存储介质 |
| CN113191282A (zh) * | 2021-05-07 | 2021-07-30 | 深圳市灼华网络科技有限公司 | 人脸表情动画的生成方法、装置、设备及存储介质 |
| CN113870399A (zh) * | 2021-09-23 | 2021-12-31 | 北京百度网讯科技有限公司 | 表情驱动方法、装置、电子设备及存储介质 |
| CN113240780B (zh) * | 2021-05-14 | 2023-08-04 | 北京百度网讯科技有限公司 | 生成动画的方法和装置 |
| CN117974853A (zh) * | 2024-03-29 | 2024-05-03 | 成都工业学院 | 同源微表情图像自适应切换生成方法、系统、终端及介质 |
| CN117974853B (zh) * | 2024-03-29 | 2024-06-11 | 成都工业学院 | 同源微表情图像自适应切换生成方法、系统、终端及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985257A (zh) * | 2018-08-03 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN110298319A (zh) * | 2019-07-01 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像合成方法和装置 |
| WO2020037676A1 (zh) * | 2018-08-24 | 2020-02-27 | 太平洋未来科技（深圳）有限公司 | 三维人脸图像生成方法、装置及电子设备 |
| WO2020077822A1 (zh) * | 2018-10-17 | 2020-04-23 | 深圳壹账通智能科技有限公司 | 图像特征配置及校验方法、装置、计算机设备及介质 |
-
2020
- 2020-06-30 CN CN202010617136.2A patent/CN111968203B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985257A (zh) * | 2018-08-03 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| WO2020037676A1 (zh) * | 2018-08-24 | 2020-02-27 | 太平洋未来科技（深圳）有限公司 | 三维人脸图像生成方法、装置及电子设备 |
| WO2020077822A1 (zh) * | 2018-10-17 | 2020-04-23 | 深圳壹账通智能科技有限公司 | 图像特征配置及校验方法、装置、计算机设备及介质 |
| CN110298319A (zh) * | 2019-07-01 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像合成方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| YING HE等: "Speech driven photo-realistic face animation with mouth and jaw dynamics", 《 IEEE XPLORE》 * |
| 杜志军;王阳生;: "单张照片输入的人脸动画系统", 计算机辅助设计与图形学学报, no. 07 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614213A (zh) * | 2020-12-14 | 2021-04-06 | 杭州网易云音乐科技有限公司 | 人脸表情确定方法、表情参数确定模型、介质及设备 |
| CN112614213B (zh) * | 2020-12-14 | 2024-01-23 | 杭州网易云音乐科技有限公司 | 人脸表情确定方法、表情参数确定模型、介质及设备 |
| CN112785670A (zh) * | 2021-02-01 | 2021-05-11 | 北京字节跳动网络技术有限公司 | 一种形象合成方法、装置、设备及存储介质 |
| CN112785670B (zh) * | 2021-02-01 | 2024-05-28 | 北京字节跳动网络技术有限公司 | 一种形象合成方法、装置、设备及存储介质 |
| CN113191282A (zh) * | 2021-05-07 | 2021-07-30 | 深圳市灼华网络科技有限公司 | 人脸表情动画的生成方法、装置、设备及存储介质 |
| CN113240780B (zh) * | 2021-05-14 | 2023-08-04 | 北京百度网讯科技有限公司 | 生成动画的方法和装置 |
| CN113870399A (zh) * | 2021-09-23 | 2021-12-31 | 北京百度网讯科技有限公司 | 表情驱动方法、装置、电子设备及存储介质 |
| CN113870399B (zh) * | 2021-09-23 | 2022-12-02 | 北京百度网讯科技有限公司 | 表情驱动方法、装置、电子设备及存储介质 |
| CN117974853A (zh) * | 2024-03-29 | 2024-05-03 | 成都工业学院 | 同源微表情图像自适应切换生成方法、系统、终端及介质 |
| CN117974853B (zh) * | 2024-03-29 | 2024-06-11 | 成都工业学院 | 同源微表情图像自适应切换生成方法、系统、终端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111968203B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11587300B2 (en) | Method and apparatus for generating three-dimensional virtual image, and storage medium | |
| CN111968203B (zh) | 动画驱动方法、装置、电子设备及存储介质 | |
| EP3920147A1 (en) | Method and apparatus for generating virtual avatar, device, storage medium and computer program product | |
| CN111860167B (zh) | 人脸融合模型获取及人脸融合方法、装置及存储介质 | |
| CN111862277A (zh) | 用于生成动画的方法、装置、设备以及存储介质 | |
| CN112270711B (zh) | 模型训练以及姿态预测方法、装置、设备以及存储介质 | |
| CN112036509A (zh) | 用于训练图像识别模型的方法和装置 | |
| CN112667068A (zh) | 虚拟人物的驱动方法、装置、设备及存储介质 | |
| CN111861955A (zh) | 构建图像编辑模型的方法以及装置 | |
| CN111709875B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112149741A (zh) | 图像识别模型的训练方法、装置、电子设备及存储介质 | |
| CN111523467B (zh) | 人脸跟踪方法和装置 | |
| CN111291218B (zh) | 视频融合方法、装置、电子设备及可读存储介质 | |
| CN114202074A (zh) | 用于目标检测任务的预训练模型生成方法、装置及设备 | |
| CN112529180A (zh) | 模型蒸馏的方法和装置 | |
| CN112507833A (zh) | 人脸识别及模型训练的方法、装置、设备和存储介质 | |
| CN112561059B (zh) | 用于模型蒸馏的方法和装置 | |
| CN112016523B (zh) | 跨模态人脸识别的方法、装置、设备和存储介质 | |
| CN112116548A (zh) | 人脸图像的合成方法、装置 | |
| CN116228867B (zh) | 位姿确定方法、装置、电子设备、介质 | |
| CN112381927A (zh) | 图像生成的方法、装置、设备以及存储介质 | |
| CN111833391A (zh) | 图像深度信息的估计方法及装置 | |
| CN116167426A (zh) | 人脸关键点定位模型的训练方法及人脸关键点定位方法 | |
| CN113128436B (zh) | 关键点的检测方法和装置 | |
| CN112200169B (zh) | 用于训练模型的方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |