CN113658304A - 目标对象的动画方法以及相关装置、设备 - Google Patents
目标对象的动画方法以及相关装置、设备 Download PDFInfo
- Publication number
- CN113658304A CN113658304A CN202110814911.8A CN202110814911A CN113658304A CN 113658304 A CN113658304 A CN 113658304A CN 202110814911 A CN202110814911 A CN 202110814911A CN 113658304 A CN113658304 A CN 113658304A
- Authority
- CN
- China
- Prior art keywords
- target object
- animated
- data
- dimensional model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000009466 transformation Effects 0.000 claims description 88
- 230000001131 transforming effect Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 47
- 238000010586 diagram Methods 0.000 description 10
- 210000005252 bulbus oculi Anatomy 0.000 description 9
- 210000004279 orbit Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了目标对象的动画方法以及相关装置、设备,其中,目标对象的动画方法包括:获取到目标对象的正面照,并基于正面照构建目标对象的三维模型;获取目标对象的待动画化数据;从待动画化数据中确定目标对象的目标特征;将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐,以通过三维模型实现待动画化数据的动画化。上述方案,能够仅基于目标对象的正面照,就可实现目标对象的目标特征的动画化,简化了目标特征的动画化的条件,且提高了目标特征的动画化的精度。
Description
技术领域
本申请涉及计算机视觉的技术领域,特别是涉及目标对象的动画方法以及相关装置、设备。
背景技术
随着互联网技术的高速发展,互联网技术的功能越来越多样化和高效化。其中,用户在使用应用程序的过程中,对应用程序的多样化的需求越来越高。
以往来说动画师制作一段表情动画的时候需要专门根据表情的语意来手动设计相应的动画,比如说根据经验来让目标对象移动。然而这个过程是一个非常繁琐的操作,对于一段很长的视频,比如说上万帧的视频,要让动画师一帧一帧的去设置目标对象的动画所花费的时间与精力巨大。另外动画师手动设计目标对象的动画并不能准确地反映出来目标对象的实际运动规律。
因此,目前的目标对象的动画化方式需要进行改善。
发明内容
本申请提供了目标对象的动画方法以及相关装置、设备,解决现有技术中存在的动画化步骤较为繁琐的问题。
本申请提供了一种目标对象的动画方法,目标对象的动画方法,包括:获取到目标对象的正面照,并基于正面照构建目标对象的三维模型;获取目标对象的待动画化数据;从待动画化数据中确定目标对象的目标特征;将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐,以通过三维模型实现待动画化数据的动画化。
其中,获取到目标对象的正面照,并基于正面照构建目标对象的三维模型的步骤之后,将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐,以通过三维模型实现待动画化数据的动画化步骤之前还包括:对三维模型进行调整,确定预设数量的目标对象的标准表情基;通过三维模型实现待动画化数据的动画化的步骤包括:基于标准表情基通过三维模型实现待动画化数据的动画化。
其中,将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐,以通过三维模型实现待动画化数据的动画化的步骤包括:对三维模型进行刚性变换,得到与当前帧的待动画化数据中的目标对象对应的变换图像;从变换图像中确定目标对象的特征;基于目标特征,对特征进行调整,以使特征与目标特征对应相同;基于标准表情基利用调整后的三维模型内的特征获取当前帧的待动画化数据中的目标对象的表情基系数;基于表情基系数实现当前帧的待动画化数据的动画化。
其中,对三维模型进行刚性变换,得到与当前帧的待动画化数据中的目标对象对应的变换图像的步骤包括:对目标对象的三维模型进行平移、旋转,并将三维模型投影到二维平面上,得到与二维平面形式的变换图像;其中,变换图像中的目标对象的角度、位置与当前帧的待动画化数据中的目标对象相同。
其中,从变换图像中确定目标对象的特征的步骤包括:从变换图像中确定目标对象相对的两个边缘点及其坐标;将两个边缘点的坐标相加并均分,得到变换中心点坐标;以及对变换图像进行图像划分,获取到变换图像中需要进行变换的区域;基于变换图像中需要进行变换的区域获取到变换区域像素值;将变换中心点坐标以及变换区域像素值确定为特征。
其中,从待动画化数据中确定目标对象的目标特征的步骤包括:从当前帧的待动画化数据中确定目标对象的当前中心点坐标以及当前区域像素值,将目标对象的当前中心点坐标以及当前区域像素值作为目标特征。
其中,基于目标特征,对特征进行调整,以使特征与目标特征对应相同的步骤包括:将当前中心点坐标以及当前区域像素值作为标签,通过L2范数对变换中心点坐标以及变换区域像素值进行调整约束,直至变换中心点坐标以及变换区域像素值与当前中心点坐标以及当前区域像素值对应相同。
其中,基于表情基系数实现当前帧的待动画化数据的动画化的步骤包括:将表情基系数导入到与三维模型对应的三维虚拟形象中,以使三维虚拟形象基于表情基系数做出与当前帧的待动画化数据的目标对象相同的表情。
本申请还提供了一种目标对象的动画装置,目标对象的动画装置,包括:第一获取模块,用于获取到目标对象的正面照,并基于正面照构建目标对象的三维模型;第二获取模块,用于获取目标对象的待动画化数据;确定模块,用于从待动画化数据中确定目标对象的目标特征;约束模块,用于将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐,以通过三维模型实现待动画化数据的动画化。
本申请还提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述任意一目标对象的动画方法。
本申请还提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述任意一目标对象的动画方法。
上述方案,本申请通过先基于正面照构建目标对象的三维模型,再获取目标对象的待动画化数据,从待动画化数据中确定目标对象的目标特征,将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐,以通过三维模型实现待动画化数据的动画化,本发明能够仅基于目标对象的正面照,就可实现目标对象的目标特征的动画化,简化了目标特征的动画化的条件,且提高了目标特征的动画化的精度,且通过将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐避免了人工基于经验进行设置,提高了目标对象的动画化精度,反映出目标对象的实际运动规律。
附图说明
图1是本申请目标对象的动画方法一实施例的流程示意图;
图2是本申请目标对象的动画方法另一实施例的流程示意图;
图3是图2实施例中9个标准表情基的示意图;
图4是本申请目标对象的动画装置一实施例的框架示意图;
图5是本申请电子设备一实施例的框架示意图;
图6为本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,可以存在三种关系,例如,A和/或B,可以:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般前后关联对象是一种“或”的关系。此外,本文中的“多”两个或者多于两个。
请参阅图1,图1是本申请目标对象的动画方法一实施例的流程示意图。
步骤S11:获取到目标对象的正面照,并基于正面照构建目标对象的三维模型。
先获取到目标对象的正面照。其中本实施例的目标对象包括人脸、人眼、人手、人的全身或部分肢体、动物肢体或动物全身以及可移动物体等。具体的目标对象在此不做限定。
而目标对象的正面照则基于目标对象的具体类型进行拍摄得到。在一个具体的应用场景中,当目标对象为人脸时,目标对象的正面照可以基于人脸正面进行拍摄得到,正面照内包括人脸的脸部轮廓以及五官。在另一个具体的应用场景中,当目标对象为人眼时,目标对象的正面照可以基于人脸或人眼的正面进行拍摄得到,正面照内包括人眼以及眼眶。在另一个具体的应用场景中,当目标对象为人手时,目标对象的正面照可以基于人手的正面进行拍摄得到,正面照内包括手掌以及手指。
其中,获取目标对象的正面照可以通过摄像头或传感器对目标对象的正面进行拍摄得到。
获取到目标对象的正面照后,可以基于目标对象的正面照构建目标对象的三维模型。其中,目标对象的三维模型与目标对象的正面对应。
在一个具体的应用场景中,当目标对象为人脸时,三维模型即为人脸的三维虚拟模型。在另一个具体的应用场景中,当目标对象为人手时,三维模型即为人手的三维虚拟模型。
步骤S12:获取目标对象的待动画化数据。
获取目标对象的待动画化数据。其中,待动画化数据包括待动画化图像和待动画化视频。
本步骤的待动画化数据可以通过普通摄像头、智能设备自带摄像头或其他传感器对目标对象进行拍摄图像或录制视频进行得到。
步骤S13:从待动画化数据中确定目标对象的目标特征。
从待动画化数据中确定目标对象的目标特征。其中,目标特征为待动画化数据中需要动画化的特征数据。在一个具体的应用场景中,当目标对象为人手时,目标特征即为人手各部位的运动轨迹以及人手各部位的纹理数据。
当待动画化数据为待动画化视频时,则对待动画化视频进行分帧,得到多帧的待动画化数据,并从每一帧的待动画化数据中确定每一帧目标对象的目标特征。
步骤S14:将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐,以通过三维模型实现待动画化数据的动画化。
将三维模型中目标对象中与目标特征对应的特征与待动画化数据中的目标特征进行约束对齐,以使三维模型能够模拟待动画化数据中的目标特征,从而利用三维模型对待动画化数据中的目标特征进行动画化。
在一个具体的应用场景中,可以通过损失函数将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐。在另一个具体的应用场景中,也可以通过深度神经网络将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐。
通过上述步骤,本实施例的目标对象的动画方法通过先基于正面照构建目标对象的三维模型,再获取目标对象的待动画化数据,从待动画化数据中确定目标对象的目标特征,将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐,以通过三维模型实现待动画化数据的动画化,本实施例能够仅基于目标对象的正面照,就可实现目标对象的目标特征的动画化,简化了目标特征的动画化的条件,且提高了目标特征的动画化的精度。
请参阅图2,图2是本申请目标对象的动画方法另一实施例的流程示意图。其中,本实施例将以目标对象为人眼,对人眼的眼球运动及相关纹理进行动画化。
步骤S21:获取到目标对象的正面照,并基于正面照构建三维模型,对三维模型进行调整,确定预设数量的目标对象的标准表情基。
获取到目标对象的正面照,其中,本实施例的目标对象为人眼,则可以获取人眼或人脸的正面照,且目标对象被拍摄时,左右两眼球居中,即为没有任何表情的自然状态。
基于目标对象的正面照构建目标对象的三维模型。其中,可以基于目标对象的正面照利用SfM(Structure from motion)三维重建算法或其他三维重建算法构建目标对象的三维模型。
其中,由于正面照中目标对象的两眼球都居中,则基于此建立的三维模型的两眼球都居中,通过对三维模型中的两眼球进行调整,来确定预设数量的目标对象的标准表情基。
在一个具体的应用场景中,标准表情基可以为9个,具体地,9个标准表情基分别为左眼居中以及右眼居中、左眼居中以及右眼向上、左眼居中以及右眼向下、左眼居中以及右眼向左、左眼居中以及右眼向右、左眼向上以及右眼居中、左眼向下以及右眼居中、左眼向左以及右眼居中、左眼向右以及右眼居中。
其中,本实施例中标准表情基中的眼球向上、向下、向左以及向右都为眼球能够运动到相应方位的极值位置。
请参阅图3,图3是图2实施例中9个标准表情基的示意图。
本实施例的9个标准表情基分别为标准表情基1-左眼居中以及右眼居中、标准表情基2-左眼居中以及右眼向上、标准表情基3-左眼居中以及右眼向下、标准表情基4-左眼居中以及右眼向左、标准表情基5-左眼居中以及右眼向右、标准表情基6-左眼向上以及右眼居中、标准表情基7-左眼向下以及右眼居中、标准表情基8-左眼向左以及右眼居中以及标准表情基9-左眼向右以及右眼居中。
其中,标准表情基1可以通过三维模型直接获取,而其他的8个标准表情基可以通过人工或深度神经网络对三维模型中的标准表情基1中眼球进行移动,从而得到预设数量的标准表情基。
建立预设数量的标准表情基后,可以基于各极值位置的标准表情基构建对应的表情基系数系统。其中,表情基系数的范围为[0,1],例如右眼居中时,其对应的表情基系数为0,右眼向上且处于极值位置时,其对应的表情基系数为1。而右眼向上但不处于极值位置时,则可以基于表情基系数系统获取其对应的表情基系数。
其中,本实施例的预设数量为9,在其他实施例中,也可以根据标准表情基的需求设置为17、33等。具体在此不做限定。
步骤S22:获取目标对象的待动画化数据。
本实施例以待动画化数据为待动画化视频为例进行说明,当待动画化数据为待动画化图像时,其处理步骤与本实施例类似,在此不再赘述。
对目标对象进行视频录制,得到目标对象一段时间内的待动画化数据。
步骤S23:从当前帧的待动画化数据中确定目标对象的当前中心点坐标以及当前区域像素值。
对待动画化数据进行分帧,得到多帧的待动画化数据,并从当前帧的待动画化数据中确定当前帧目标对象的目标特征,即当前中心点坐标以及当前区域像素值。本实施例的中心点指的是眼球的中心点,区域像素值指的是眼眶内的所有像素点的像素值。
在一个具体的应用场景中,确定目标对象的当前中心点坐标以及当前区域像素值的具体步骤可以包括:从当前帧的待动画化数据确定各眼球相对的两个边缘点及其坐标,再将两个边缘点的坐标相加并均分,得到当前中心点坐标。其中,相对的两个边缘点与中心点位于同一直线上。再对当前帧的待动画化数据进行图像划分,获取到当前帧的待动画化数据中目标区域,即眼眶区域,进而获取到眼眶区域的像素值,得到当前区域像素值。
其中,确定目标对象的当前中心点坐标的方法适用于目标对象是中心对称时,当目标对象不为中心对称时,可以通过人工设置中心点或将其重心设置为中心点的方式进行确定。
对当前帧的待动画化数据进行图像划分以及获取当前区域像素值可以通过深度神经网络进行划分提取。
其中,目标对象的的中心点可以方反映目标对象的移动轨迹,区域像素值可以反映目标区域的RGB色彩、光照等纹理数据。
步骤S24:对三维模型进行刚性变换,得到与当前帧的待动画化数据中的目标对象对应的变换图像,从变换图像中确定目标对象的变换中心点坐标以及变换区域像素值。
其中,由于待动画化数据为二维数据,而三维模型为三维数据,因此,需要对三维模型进行转换,使上述两者进行对应。
具体地,对三维模型进行刚性变换,得到与当前帧的待动画化数据中的目标对象对应的变换图像,从变换图像中确定目标对象的变换中心点坐标以及变换区域像素值。
在一个具体的应用场景中,对所目标对象的三维模型进行平移、旋转,使三维模型的中的目标对象的角度、位置与当前帧的待动画化数据中的目标对象对应相同,再将平移、旋转后的三维模型投影到二维平面上,得到与二维平面形式的变换图像。其中,变换图像中的目标对象的角度、位置与当前帧的待动画化数据中的目标对象相同,从而便于变换图像中的特征与当前帧的待动画化数据中的目标对象的特征进行约束调整。
再从变换图像中确定目标对象的变换中心点坐标以及变换区域像素值。具体地,先从变换图像中确定目标对象相对的两个边缘点及其坐标,再将两个边缘点的坐标相加并均分,得到变换中心点坐标;以及对变换图像进行图像划分,获取到变换图像中需要进行变换的区域;基于变换图像中需要进行变换的区域获取到变换区域像素值。其中,从变换图像中确定目标对象的变换中心点坐标以及变换区域像素值的具体方法与前述步骤中从当前帧的待动画化数据中确定目标对象的当前中心点坐标以及当前区域像素值对应相同。
步骤S25:基于当前中心点坐标以及当前区域像素值,对变换中心点坐标以及变换区域像素值进行调整,以使变换中心点坐标以及变换区域像素值与当前中心点坐标以及当前区域像素值对应相同。
基于当前中心点坐标以及当前区域像素值,对变换图像中的变换中心点坐标以及变换区域像素值进行调整,以使变换中心点坐标以及变换区域像素值与当前中心点坐标以及当前区域像素值对应相同。
具体地,将当前中心点坐标以及当前区域像素值作为标签,通过L2范数对变换中心点坐标以及变换区域像素值进行调整约束,直至变换中心点坐标以及变换区域像素值与当前中心点坐标以及当前区域像素值对应相同,即变换中心点坐标以及变换区域像素值与当前中心点坐标以及当前区域像素值之间的约束收敛。
在一个具体的应用场景中,可以以当前中心点坐标为标签,并计算当前中心点坐标与变换中心点坐标之间的坐标差值进行学习,在坐标差值满足预设差值时坐标收敛。其中,预设差值可以为0或其他数值,具体基于实际需求进行设置,其中,当预设差值为0时,动画化精度与真实性最高。
在一个具体的应用场景中,可以以当前区域像素值为标签,将变换图像进行渲染,再计算当前区域像素值与渲染后的变换区域像素值之间的像素差值,进行学习,在像素差值满足预设像素差值时像素收敛。其中,预设像素差值可以为0或其他数值,具体基于实际需求进行设置,其中,当预设像素差值为0时,动画化精度与真实性最高。
在其他实施例中,也可以通过其他损失函数,例如编辑距离等来对当前中心点坐标与变换中心点坐标、当前区域像素值与变换区域像素值进行约束。
步骤S26:基于标准表情基利用调整后的三维模型内的变换中心点坐标以及变换区域像素值获取当前帧的待动画化数据中的目标对象的表情基系数,基于表情基系数实现当前帧的待动画化数据的动画化。
变换中心点坐标以及变换区域像素值与当前中心点坐标以及当前区域像素值之间的约束收敛后,基于标准表情基利用调整后的三维模型内的变换中心点坐标以及变换区域像素值获取当前帧的待动画化数据中的目标对象的各表情基系数,进而基于表情基系数实现当前帧的待动画化数据的动画化。具体地,可以通过预设数量的标准表情基的表情基系数系统获取各表情基系数。
在一个具体的应用场景中,可以将表情基系数导入到与三维模型对应的三维虚拟形象中,以使三维虚拟形象基于表情基系数做出与当前帧的待动画化数据的目标对象相同的表情。其中,三维虚拟形象与三维模型的构建方式可以相同,以便于表情基系数的导入,其中三维虚拟形象可以为任意形象的三维虚拟形象,例如小猫、小狗等,具体在此不做限定。
依次对每一帧的待动画化数据进行上述处理,即可获得线性化的多帧表情基系数,从而通过三维虚拟形象实现对待动画化数据中目标对象的特征模拟,真实还原目标对象的运动轨迹,进而实现待动画化数据中目标对象的动画化。
通过上述步骤,本实施例的目标对象的动画方法通过基于正面照构建三维模型,并基于三维模型确定预设数量的标准表情基,再获取目标对象的待动画化数据,从当前帧的待动画化数据中确定目标对象的当前中心点坐标以及当前区域像素值,对三维模型进行刚性变换,得到与当前帧的待动画化数据中的目标对象对应的变换图像,从而提高约束效率,再对其与当前中心点坐标以及当前区域像素值进行约束,使变换中心点坐标以及变换区域像素值与当前中心点坐标以及当前区域像素值对应相同,最后利用调整后的三维模型内的变换中心点坐标以及变换区域像素值获取当前帧的待动画化数据中的目标对象的表情基系数,基于表情基系数实现当前帧的待动画化数据的动画化,本实施例通过使变换图像的变换中心点坐标以及变换区域像素值与当前中心点坐标以及当前区域像素值对应相同,从而获取对应的各表情基系数,最后基于表情基系数进行动画化,能够将动画化数据化,来提高动画化的精度与准确率。且本实施例能够仅基于目标对象的正面照,就可实现目标对象的目标特征的动画化,简化了目标特征的动画化的条件,且提高了目标特征的动画化的精度。
请参阅图4,图4是本申请目标对象的动画装置一实施例的框架示意图。目标对象的动画装置40包括第一获取模块41、第二获取模块42、确定模块43以及约束模块44。第一获取模块41,用于获取到目标对象的正面照,并基于正面照构建目标对象的三维模型;第二获取模块42用于获取目标对象的待动画化数据;确定模块43,用于从待动画化数据中确定目标对象的目标特征;约束模块44,用于将目标对象的三维模型的特征与待动画化数据中的目标特征进行约束对齐,以通过三维模型实现待动画化数据的动画化。
第一获取模块41还用于对三维模型进行调整,确定预设数量的目标对象的标准表情基。约束模块44还用于基于标准表情基通过三维模型实现待动画化数据的动画化。
约束模块44还用于对三维模型进行刚性变换,得到与当前帧的待动画化数据中的目标对象对应的变换图像;从变换图像中确定目标对象的特征;基于目标特征,对特征进行调整,以使特征与目标特征对应相同;基于标准表情基利用调整后的三维模型内的特征获取当前帧的待动画化数据中的目标对象的表情基系数;基于表情基系数实现当前帧的待动画化数据的动画化。
约束模块44还用于对目标对象的三维模型进行平移、旋转,并将三维模型投影到二维平面上,得到与二维平面形式的变换图像;其中,变换图像中的目标对象的角度、位置与当前帧的待动画化数据中的目标对象相同。
约束模块44还用于从变换图像中确定目标对象的特征的步骤包括:从变换图像中确定目标对象相对的两个边缘点及其坐标;将两个边缘点的坐标相加并均分,得到变换中心点坐标;以及对变换图像进行图像划分,获取到变换图像中需要进行变换的区域;基于变换图像中需要进行变换的区域获取到变换区域像素值。
确定模块43还用于从当前帧的待动画化数据中确定目标对象的当前中心点坐标以及当前区域像素值,将目标对象的当前中心点坐标以及当前区域像素值作为目标特征。
约束模块44还用于将当前中心点坐标以及当前区域像素值作为标签,通过L2范数对变换中心点坐标以及变换区域像素值进行调整约束,直至变换中心点坐标以及变换区域像素值与当前中心点坐标以及当前区域像素值对应相同。
约束模块44还用于将表情基系数导入到与三维模型对应的三维虚拟形象中,以使三维虚拟形象基于表情基系数做出与当前帧的待动画化数据的目标对象相同的表情。
上述方案,能够仅基于目标对象的正面照,就可实现目标对象的目标特征的动画化,简化了目标特征的动画化的条件,且提高了目标特征的动画化的精度。
请参阅图5,图5是本申请电子设备一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52,处理器52用于执行存储器51中存储的程序指令,以实现上述任一实施例的目标对象的动画方法的步骤。在一个具体的实施场景中,电子设备50可以包括但不限于:微型计算机、服务器,此外,电子设备50还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器52用于控制其自身以及存储器51以实现上述任一目标对象的动画方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit,中央处理单元)。处理器52可能是一种集成电路芯片,具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器52可以由集成电路芯片共同实现。
上述方案,能够仅基于目标对象的正面照,就可实现目标对象的目标特征的动画化,简化了目标特征的动画化的条件,且提高了目标特征的动画化的精度。
请参阅图6,图6为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601,程序指令601用于实现上述任一实施例的目标对象的动画方法的步骤。
上述方案,能够仅基于目标对象的正面照,就可实现目标对象的目标特征的动画化,简化了目标特征的动画化的条件,且提高了目标特征的动画化的精度。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (11)
1.一种目标对象的动画方法,其特征在于,所述目标对象的动画方法包括:
获取到目标对象的正面照,并基于所述正面照构建所述目标对象的三维模型;
获取所述目标对象的待动画化数据;
从所述待动画化数据中确定所述目标对象的目标特征;
将所述目标对象的三维模型的特征与所述待动画化数据中的目标特征进行约束对齐,以通过所述三维模型实现待动画化数据的动画化。
2.根据权利要求1所述的目标对象的动画方法,其特征在于,所述获取到目标对象的正面照,并基于所述正面照构建所述目标对象的三维模型的步骤之后,所述将所述目标对象的三维模型的特征与所述待动画化数据中的目标特征进行约束对齐,以通过所述三维模型实现待动画化数据的动画化步骤之前还包括:
对所述三维模型进行调整,确定预设数量的所述目标对象的标准表情基;
所述通过所述三维模型实现待动画化数据的动画化的步骤包括:
基于所述标准表情基通过所述三维模型实现待动画化数据的动画化。
3.根据权利要求2所述的目标对象的动画方法,其特征在于,所述将所述目标对象的三维模型的特征与所述待动画化数据中的目标特征进行约束对齐,以通过所述三维模型实现待动画化数据的动画化的步骤包括:
对所述三维模型进行刚性变换,得到与当前帧的所述待动画化数据中的目标对象对应的变换图像;
从所述变换图像中确定所述目标对象的特征;
基于所述目标特征,对所述特征进行调整,以使所述特征与所述目标特征对应相同;
基于所述标准表情基利用调整后的所述三维模型内的特征获取当前帧的所述待动画化数据中的目标对象的表情基系数;
基于所述表情基系数实现当前帧的待动画化数据的动画化。
4.根据权利要求3所述的目标对象的动画方法,其特征在于,所述对所述三维模型进行刚性变换,得到与当前帧的所述待动画化数据中的目标对象对应的变换图像的步骤包括:
对所述目标对象的三维模型进行平移、旋转,并将三维模型投影到二维平面上,得到与二维平面形式的所述变换图像;其中,所述变换图像中的目标对象的角度、位置与所述当前帧的待动画化数据中的目标对象相同。
5.根据权利要求3所述的目标对象的动画方法,其特征在于,所述从所述变换图像中确定所述目标对象的特征的步骤包括:
从所述变换图像中确定所述目标对象相对的两个边缘点及其坐标;
将所述两个边缘点的坐标相加并均分,得到变换中心点坐标;以及
对所述变换图像进行图像划分,获取到所述变换图像中需要进行变换的区域;
基于所述变换图像中需要进行变换的区域获取到变换区域像素值;
将所述变换中心点坐标以及所述变换区域像素值确定为所述特征。
6.根据权利要求5所述的目标对象的动画方法,其特征在于,所述从所述待动画化数据中确定所述目标对象的目标特征的步骤包括:
从当前帧的所述待动画化数据中确定所述目标对象的当前中心点坐标以及当前区域像素值,将所述目标对象的当前中心点坐标以及当前区域像素值作为所述目标特征。
7.根据权利要求6所述的目标对象的动画方法,其特征在于,所述基于所述目标特征,对所述特征进行调整,以使所述特征与所述目标特征对应相同的步骤包括:
将所述当前中心点坐标以及当前区域像素值作为标签,通过L2范数对所述变换中心点坐标以及变换区域像素值进行调整约束,直至所述变换中心点坐标以及变换区域像素值与所述当前中心点坐标以及当前区域像素值对应相同。
8.根据权利要求3所述的目标对象的动画方法,其特征在于,所述基于所述表情基系数实现当前帧的待动画化数据的动画化的步骤包括:
将所述表情基系数导入到与所述三维模型对应的三维虚拟形象中,以使所述三维虚拟形象基于所述表情基系数做出与所述当前帧的待动画化数据的目标对象相同的表情。
9.一种目标对象的动画装置,其特征在于,所述目标对象的动画装置,包括:
第一获取模块,用于获取到目标对象的正面照,并基于所述正面照构建所述目标对象的三维模型;
第二获取模块,用于获取所述目标对象的待动画化数据;
确定模块,用于从所述待动画化数据中确定所述目标对象的目标特征;
约束模块,用于将所述目标对象的三维模型的特征与所述待动画化数据中的目标特征进行约束对齐,以通过所述三维模型实现待动画化数据的动画化。
10.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现如权利要求1至8任一项所述的目标对象的动画方法。
11.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现如权利要求1至8任一项所述的目标对象的动画方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110814911.8A CN113658304A (zh) | 2021-07-19 | 2021-07-19 | 目标对象的动画方法以及相关装置、设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110814911.8A CN113658304A (zh) | 2021-07-19 | 2021-07-19 | 目标对象的动画方法以及相关装置、设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113658304A true CN113658304A (zh) | 2021-11-16 |
Family
ID=78477560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110814911.8A Pending CN113658304A (zh) | 2021-07-19 | 2021-07-19 | 目标对象的动画方法以及相关装置、设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113658304A (zh) |
-
2021
- 2021-07-19 CN CN202110814911.8A patent/CN113658304A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zollhöfer et al. | State of the art on monocular 3D face reconstruction, tracking, and applications | |
US20210390767A1 (en) | Computing images of head mounted display wearer | |
WO2020192568A1 (zh) | 人脸图像生成方法、装置、设备及存储介质 | |
US8390628B2 (en) | Facial animation using motion capture data | |
WO2021169839A1 (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
CN105210093B (zh) | 捕获和显示外观的装置、系统和方法 | |
US11875458B2 (en) | Fast and deep facial deformations | |
US9001118B2 (en) | Avatar construction using depth camera | |
EP3980974A1 (en) | Single image-based real-time body animation | |
TW202109359A (zh) | 人臉圖像處理方法、圖像設備及儲存介質 | |
CN112381003B (zh) | 动作捕捉方法、装置、设备及存储介质 | |
US11403781B2 (en) | Methods and systems for intra-capture camera calibration | |
CN111936912A (zh) | 使用眼部配准的头部扫描对准 | |
CN114821675B (zh) | 对象的处理方法、系统和处理器 | |
CN110148191A (zh) | 视频虚拟表情生成方法、装置及计算机可读存储介质 | |
CN105761243A (zh) | 基于结构光投影的三维全脸照相系统及其照相方法 | |
Malleson et al. | Rapid one-shot acquisition of dynamic VR avatars | |
TW202301277A (zh) | 來自雙眼視訊的即時3d面部動畫 | |
Fechteler et al. | Markerless multiview motion capture with 3D shape model adaptation | |
Farbiz et al. | Live three-dimensional content for augmented reality | |
WO2023201996A1 (zh) | 数字人表情及其模型生成方法、装置和vr设备的外挂系统 | |
CN113658304A (zh) | 目标对象的动画方法以及相关装置、设备 | |
CN107343151B (zh) | 图像处理方法、装置和终端 | |
CN205736018U (zh) | 制作真人人形玩偶的系统与服务器 | |
RU2703327C1 (ru) | Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |