CN117132687A - 一种动画生成方法、装置及电子设备 - Google Patents
一种动画生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117132687A CN117132687A CN202311021293.7A CN202311021293A CN117132687A CN 117132687 A CN117132687 A CN 117132687A CN 202311021293 A CN202311021293 A CN 202311021293A CN 117132687 A CN117132687 A CN 117132687A
- Authority
- CN
- China
- Prior art keywords
- animation
- skeleton
- main body
- imported
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000009877 rendering Methods 0.000 claims abstract description 58
- 230000009471 action Effects 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 210000000988 bone and bone Anatomy 0.000 claims description 43
- 230000000694 effects Effects 0.000 claims description 27
- 238000005516 engineering process Methods 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种动画生成方法、装置及电子设备。该动画生成方法包括：基于导入视频生成BVH文件；以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。本申请解决了由于并未考虑初始模型和BVH信息合成时可能产生的位置偏差，导致合成出来的三维动画动作真实性差，且精准性也不高的技术问题。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种动画生成方法、装置及电子设备。
背景技术
现有技术中，申请号为202010085820.0的中国专利，公开了一种动画生成方法，所述方法包括：实时通过摄像装置获取视频图像，将视频图像输入到实时动作捕捉模型中识别，得到输出的动作控制信息；将动作控制信息输入到三维动画绑定逻辑插件中，通过三维动画绑定逻辑插件中的三维动画绑定逻辑信息计算得到三维动画控制参数；获取三维动画初始模型，使用三维动画控制参数驱动三维动画初始模型，生成三维动画。本申请提供的方案可以实现提高生成的三维动画的精准性。
但是并未考虑初始模型和BVH信息合成时可能产生的位置偏差，导致合成出来的三维动画动作真实性差，且精准性也不高。
针对相关技术中并未考虑初始模型和BVH信息合成时可能产生的位置偏差，导致合成出来的三维动画动作真实性差，且精准性也不高的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种动画生成方法、装置及电子设备，以解决并未考虑初始模型和BVH信息合成时可能产生的位置偏差，导致合成出来的三维动画动作真实性差，且精准性也不高问题。
为了实现上述目的，根据本申请的一个方面，提供了一种动画生成方法。
根据本申请的动画生成方法包括：基于导入视频生成BVH文件；以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
进一步的，所述主体骨骼模型的设置包括：基于导入图片确定人物主体；基于深度学习中的backbone和heatmap技术，在所述人物主体中定位出骨骼关键点；采用图像阈值分割技术，从所述人物主体中提取出前景掩码和边缘信息；根据所述骨骼关键点和前景掩码确定纹理图；将骨骼关键点的边缘区域切分为若干三角区域后与纹理图的相应坐标进行绑定，得到主体骨骼模型。
进一步的，基于导入图片确定人物主体包括：接收用户导入的包含有人或物的图片，并采用AR技术从导入图片中识别出人物主体。
进一步的，基于导入视频生成BVH文件之后还包括：基于预先制作的特效库和音频库选取动画特效和动画音频，并参照动作库将所述BVH文件、动画特效和动画音频进行动作合成；以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；对于从动作合成结果中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
进一步的，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：采用透明通道播放技术将所述骨骼动画以AR的形式展示，且将该骨骼动画的视频角度设置为朝着摄像机方向。
进一步的，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：计算相邻帧的骨骼动画的向量之间的欧式距离；基于欧式距离对动画帧进行层次聚类，得到多类中心向量作为目标骨骼动画。
进一步的，接收用户导入的包含有人或物的图片之后还包括：基于导入图片生成关键字，并通过SDK注册插件绑定导入图片和关键字。
进一步的，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：构建关键字和骨骼动画的映射关系；将扫描获取的图片和导入图片进行对比，并根据对比结果关联到对应的关键字，通过对应的关键字映射获取相应的骨骼动画；或，在检测到用户的扫描事件时，将扫描获取的图片和导入图片进行对比，并根据对比结果关联到对应的关键字，通过对应的关键字映射获取相应的骨骼动画。
为了实现上述目的，根据本申请的另一方面，提供了一种动画生成装置。
根据本申请的动画生成装置包括：导入模块，用于基于导入视频生成BVH文件；以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
为了实现上述目的，根据本申请的另一方面，提供了一种电子设备。
根据本申请的动画生成装置包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的方法。
在本申请实施例中，采用动画生成的方式，通过基于导入视频生成BVH文件；以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画；达到了充分考虑初始模型和BVH信息合成时可能产生的位置偏差的目的，从而实现了合成出来的三维动画动作真实性强，且精准性高的技术效果，进而解决了由于并未考虑初始模型和BVH信息合成时可能产生的位置偏差，导致合成出来的三维动画动作真实性差，且精准性也不高的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的动画生成方法的流程示意图；
图2是根据本申请实施例的动画生成装置的结构示意图；
图3是根据本申请优选实施例的动画生成方法和装置的流程框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本发明实施例，提供了一种动画生成方法，如图1和图2所示，该方法包括如下的步骤S101至步骤S104：
步骤S101、基于导入视频生成BVH文件；
用户可以通过在手机、电脑等终端的上传操作，导入带有动作的视频；需要了解的是，用户可以采取拍摄上传视频或相册选择并删除已有视频的方式，导入视频。
本实施例中，可以通过对卷积神经网络的训练，得到实时动作捕捉模型；再使用训练好的实时动作捕捉模型从视频中捕获人体动作并生成BVH文件。为后续的动作合成提供数据保障。
具体地，实时动作捕捉模型的训练步骤，包括：获取历史视频图像和对应的历史动作控制信息；将所述历史视频图像作为所述实时动作捕捉模型的输入，将所述历史动作控制信息作为所述实时动作捕捉模型的标签进行训练；当符合训练完成条件时，得到已训练的所述实时动作捕捉模型。
步骤S102、以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；
主体骨骼模型主要对人员的主体骨骼进行建模。
需要了解的是，主体骨骼模型可以是预先构建的平均模型，即三维动画初始模型，也可以是根据人员不同主体骨骼预先构建的个性化模型。
本实施例中，为了实现主体骨骼模型和BVH文件的精准对齐，需要对主体骨骼模型进行相应的处理。
具体地，以主体骨骼模型的躯干中心点为根节点(root节点)，将主体骨骼模型所涉及的所有骨骼点按照空间连接关系组织为节点树；用于方便后续的BVH文件和主体骨骼对齐时的搜索遍历。
步骤S103、对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；
BVH文件为原视频捕捉到的动作文件，其也为一个视频，剔除了除人体动作以外的任何干扰信息。
本实施例中，生成BVH文件后，处理器会自动按帧从该BVH文件读取每个动作数据，并且对于每一帧动作数据搜索遍历先前生成的节点树，根据节点的偏移量offset、俯仰角pitch、偏航角yaw、旋转角roll等节点属性进行对应躯体的图元坐标变换。
从而能够实现主体骨骼模型的骨骼点和BVH文件的动作点的精准对齐，进而可以提升最终生成的三维动画动作的真实性，也可以提高最终生成的三维动画的精准性。
步骤S104、将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
完成对齐后，只需要将图元坐标和主体骨骼模型的纹理图绑定到opengl的shader模块，通过渲染模块对对齐后的骨骼点和动作点进行结合并渲染，得到最终的具备动作真实性和动画精准性的骨骼动画。
从以上的描述中，可以看出，本发明实现了如下技术效果：
在本申请实施例中，采用动画生成的方式，通过基于导入视频生成BVH文件；以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画；达到了充分考虑初始模型和BVH信息合成时可能产生的位置偏差的目的，从而实现了合成出来的三维动画动作真实性强，且精准性高的技术效果，进而解决了由于并未考虑初始模型和BVH信息合成时可能产生的位置偏差，导致合成出来的三维动画动作真实性差，且精准性也不高的技术问题。
根据本发明实施例，优选的，所述主体骨骼模型的设置包括：
基于导入图片确定人物主体；
基于深度学习中的backbone和heatmap技术，在所述人物主体中定位出骨骼关键点；
采用图像阈值分割技术，从所述人物主体中提取出前景掩码和边缘信息；
根据所述骨骼关键点和前景掩码确定纹理图；
将骨骼关键点的边缘区域切分为若干三角区域后与纹理图的相应坐标进行绑定，得到主体骨骼模型。
主体骨骼模型主要用于对需要生成三维动画的人员的骨骼进行建模，以使得每个人员都对应一个主体骨骼模型，从而能够克服仅使用一个初始模型所产生的模型差异。
需要了解的是，主体骨骼模型可以是提前预制并保存在模型库中，也可以是在需要时自动生成。
本实施例中，优选为在需要是自动生成；可以是在人员导入一张图片时触发主体骨骼模型的自动生成。
具体地，导入图片后，处理器自动从图片中确定出需要进行三维动画生成的人物主体。
本实施例中，优选的，基于导入图片确定人物主体包括：接收用户导入的包含有人或物的图片，并采用AR技术从导入图片中识别出人物主体；借助AR技术在扫描拍摄获取或选择相册获取的图片的同时进行识别，确定出人物主体，操作简单。
确定人物主体之后，先基于深度学习的backbone和heatmap技术完成人物主体的骨骼关键点定位，以切分出四肢/躯干/头部区域；再采用图像阈值分割技术，从人物主体中提取出前景掩码和边缘信息；然后结合骨骼关键点与前景掩码得到人体四肢/躯干/头部的纹理图；最后分别将四肢/躯干/头部的边缘区域切分为若干个三角形图元，并将该若干个三角形图元与纹理图坐标进行绑定，得到主体骨骼模型。
需要了解的是，不同或相同人员上传的图片若不同，则会生成相应不同的主体骨骼模型。
如此提供了一种根据不同人员骨骼特点生成对应主体骨骼模型的方法，使得每个人员都对应一个个性化的主体骨骼模型，从而充分考虑了不同骨骼对动作合成的影响，能够克服仅使用一个初始模型所产生的骨骼差异。
除此以外，采用个性化的主体骨骼模型和BVH文件相结合，也能够一定程度提升最终生成的三维图的精准性和真实性。
根据本发明实施例，优选的，基于导入视频生成BVH文件之后还包括：
基于预先制作的特效库和音频库选取动画特效和动画音频，并参照动作库将所述BVH文件、动画特效和动画音频进行动作合成；
以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；
对于从动作合成结果中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；
将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
本实施例中，为了提升最终生成的三维动画的质量和效果。生成BVH文件之后，还需要基于预先制作的特效库和音频库选取动画特效和动画音频，并参照动作库将所述BVH文件、动画特效和动画音频进行动作合成，然后再进行节点树组织、图元坐标变换和渲染，以生成骨骼动画。
根据本发明实施例，优选的，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：
采用透明通道播放技术将所述骨骼动画以AR的形式展示，且将该骨骼动画的视频角度设置为朝着摄像机方向。
本实施例中，为了提升显示效果和避免站立时穿帮，非站立平面叠可不用的情况，还采用了透明通道播放技术进行骨骼动画的AR展示，并且对摄像机方向进行了设置，使得骨骼动画的视频角永远朝向摄像机方向。
根据本发明实施例，优选的，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：
计算相邻帧的骨骼动画的向量之间的欧式距离；
基于欧式距离对动画帧进行层次聚类，得到多类中心向量作为目标骨骼动画。
本实施例中，为了对最终生成的三维动画(骨骼动画)进行过滤，使得每个动作不重复出现，首先计算相邻帧的骨骼动画的向量之间的欧式距离，再基于欧式距离对动画帧进行层次聚类，得到多类中心向量作为目标骨骼动画；能够实现动画过滤，并且有效减小数据内存大小。
根据本发明实施例，优选的，接收用户导入的包含有人或物的图片之后还包括：
基于导入图片生成关键字，并通过SDK注册插件绑定导入图片和关键字。
在用户第一次导入图片的同时，会自动提取图片的关键字，并且通过SDK注册插件绑定导入图片和关键字，完成注册；实现自动提取关键字并绑定，为后续再次扫描查看提供数据支持。
根据本发明实施例，优选的，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：
构建关键字和骨骼动画的映射关系；
将扫描获取的图片和导入图片进行对比，并根据对比结果关联到对应的关键字，通过对应的关键字映射获取相应的骨骼动画；或，在检测到用户的扫描事件时，将扫描获取的图片和导入图片进行对比，并根据对比结果关联到对应的关键字，通过对应的关键字映射获取相应的骨骼动画。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例，还提供了一种用于实施上述动画生成方法的装置，如图2和图3所示，该装置包括：
导入模块10，用于基于导入视频生成BVH文件；
用户可以通过在手机、电脑等终端的上传操作，导入带有动作的视频；需要了解的是，用户可以采取拍摄上传视频或相册选择并删除已有视频的方式，导入视频。
本实施例中，可以通过对卷积神经网络的训练，得到实时动作捕捉模型；再使用训练好的实时动作捕捉模型从视频中捕获人体动作并生成BVH文件。为后续的动作合成提供数据保障。
具体地，实时动作捕捉模型的训练步骤，包括：获取历史视频图像和对应的历史动作控制信息；将所述历史视频图像作为所述实时动作捕捉模型的输入，将所述历史动作控制信息作为所述实时动作捕捉模型的标签进行训练；当符合训练完成条件时，得到已训练的所述实时动作捕捉模型。
组织模块20，用于以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；
主体骨骼模型主要对人员的主体骨骼进行建模。
需要了解的是，主体骨骼模型可以是预先构建的平均模型，即三维动画初始模型，也可以是根据人员不同主体骨骼预先构建的个性化模型。
本实施例中，为了实现主体骨骼模型和BVH文件的精准对齐，需要对主体骨骼模型进行相应的处理。
具体地，以主体骨骼模型的躯干中心点为根节点(root节点)，将主体骨骼模型所涉及的所有骨骼点按照空间连接关系组织为节点树；用于方便后续的BVH文件和主体骨骼对齐时的搜索遍历。
变换模块30，用于对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；
BVH文件为原视频捕捉到的动作文件，其也为一个视频，剔除了除人体动作以外的任何干扰信息。
本实施例中，生成BVH文件后，处理器会自动按帧从该BVH文件读取每个动作数据，并且对于每一帧动作数据搜索遍历先前生成的节点树，根据节点的偏移量offset、俯仰角pitch、偏航角yaw、旋转角roll等节点属性进行对应躯体的图元坐标变换。
从而能够实现主体骨骼模型的骨骼点和BVH文件的动作点的精准对齐，进而可以提升最终生成的三维动画动作的真实性，也可以提高最终生成的三维动画的精准性。
渲染模块40，用于将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
完成对齐后，只需要将图元坐标和主体骨骼模型的纹理图绑定到opengl的shader模块，通过渲染模块对对齐后的骨骼点和动作点进行结合并渲染，得到最终的具备动作真实性和动画精准性的骨骼动画。
从以上的描述中，可以看出，本发明实现了如下技术效果：
在本申请实施例中，采用动画生成的方式，通过基于导入视频生成BVH文件；以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画；达到了充分考虑初始模型和BVH信息合成时可能产生的位置偏差的目的，从而实现了合成出来的三维动画动作真实性强，且精准性高的技术效果，进而解决了由于并未考虑初始模型和BVH信息合成时可能产生的位置偏差，导致合成出来的三维动画动作真实性差，且精准性也不高的技术问题。
根据本发明实施例，优选的，所述主体骨骼模型的设置包括：
基于导入图片确定人物主体；
基于深度学习中的backbone和heatmap技术，在所述人物主体中定位出骨骼关键点；
采用图像阈值分割技术，从所述人物主体中提取出前景掩码和边缘信息；
根据所述骨骼关键点和前景掩码确定纹理图；
将骨骼关键点的边缘区域切分为若干三角区域后与纹理图的相应坐标进行绑定，得到主体骨骼模型。
主体骨骼模型主要用于对需要生成三维动画的人员的骨骼进行建模，以使得每个人员都对应一个主体骨骼模型，从而能够克服仅使用一个初始模型所产生的模型差异。
需要了解的是，主体骨骼模型可以是提前预制并保存在模型库中，也可以是在需要时自动生成。
本实施例中，优选为在需要是自动生成；可以是在人员导入一张图片时触发主体骨骼模型的自动生成。
具体地，导入图片后，处理器自动从图片中确定出需要进行三维动画生成的人物主体。
本实施例中，优选的，基于导入图片确定人物主体包括：接收用户导入的包含有人或物的图片，并采用AR技术从导入图片中识别出人物主体；借助AR技术在扫描拍摄获取或选择相册获取的图片的同时进行识别，确定出人物主体，操作简单。
确定人物主体之后，先基于深度学习的backbone和heatmap技术完成人物主体的骨骼关键点定位，以切分出四肢/躯干/头部区域；再采用图像阈值分割技术，从人物主体中提取出前景掩码和边缘信息；然后结合骨骼关键点与前景掩码得到人体四肢/躯干/头部的纹理图；最后分别将四肢/躯干/头部的边缘区域切分为若干个三角形图元，并将该若干个三角形图元与纹理图坐标进行绑定，得到主体骨骼模型。
需要了解的是，不同或相同人员上传的图片若不同，则会生成相应不同的主体骨骼模型。
如此提供了一种根据不同人员骨骼特点生成对应主体骨骼模型的方法，使得每个人员都对应一个个性化的主体骨骼模型，从而充分考虑了不同骨骼对动作合成的影响，能够克服仅使用一个初始模型所产生的骨骼差异。
除此以外，采用个性化的主体骨骼模型和BVH文件相结合，也能够一定程度提升最终生成的三维图的精准性和真实性。
根据本发明实施例，优选的，基于导入视频生成BVH文件之后还包括：
基于预先制作的特效库和音频库选取动画特效和动画音频，并参照动作库将所述BVH文件、动画特效和动画音频进行动作合成；
以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；
对于从动作合成结果中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；
将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
本实施例中，为了提升最终生成的三维动画的质量和效果。生成BVH文件之后，还需要基于预先制作的特效库和音频库选取动画特效和动画音频，并参照动作库将所述BVH文件、动画特效和动画音频进行动作合成，然后再进行节点树组织、图元坐标变换和渲染，以生成骨骼动画。
根据本发明实施例，优选的，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：
采用透明通道播放技术将所述骨骼动画以AR的形式展示，且将该骨骼动画的视频角度设置为朝着摄像机方向。
本实施例中，为了提升显示效果和避免站立时穿帮，非站立平面叠可不用的情况，还采用了透明通道播放技术进行骨骼动画的AR展示，并且对摄像机方向进行了设置，使得骨骼动画的视频角永远朝向摄像机方向。
根据本发明实施例，优选的，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：
计算相邻帧的骨骼动画的向量之间的欧式距离；
基于欧式距离对动画帧进行层次聚类，得到多类中心向量作为目标骨骼动画。
本实施例中，为了对最终生成的三维动画(骨骼动画)进行过滤，使得每个动作不重复出现，首先计算相邻帧的骨骼动画的向量之间的欧式距离，再基于欧式距离对动画帧进行层次聚类，得到多类中心向量作为目标骨骼动画；能够实现动画过滤，并且有效减小数据内存大小。
根据本发明实施例，优选的，接收用户导入的包含有人或物的图片之后还包括：
基于导入图片生成关键字，并通过SDK注册插件绑定导入图片和关键字。
在用户第一次导入图片的同时，会自动提取图片的关键字，并且通过SDK注册插件绑定导入图片和关键字，完成注册；实现自动提取关键字并绑定，为后续再次扫描查看提供数据支持。
根据本发明实施例，优选的，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：
构建关键字和骨骼动画的映射关系；
将扫描获取的图片和导入图片进行对比，并根据对比结果关联到对应的关键字，通过对应的关键字映射获取相应的骨骼动画；或，在检测到用户的扫描事件时，将扫描获取的图片和导入图片进行对比，并根据对比结果关联到对应的关键字，通过对应的关键字映射获取相应的骨骼动画。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种动画生成方法，其特征在于，包括：
基于导入视频生成BVH文件；
以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；
对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；
将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
2.根据权利要求1所述的动画生成方法，其特征在于，所述主体骨骼模型的设置包括：
基于导入图片确定人物主体；
基于深度学习中的backbone和heatmap技术，在所述人物主体中定位出骨骼关键点；
采用图像阈值分割技术，从所述人物主体中提取出前景掩码和边缘信息；
根据所述骨骼关键点和前景掩码确定纹理图；
将骨骼关键点的边缘区域切分为若干三角区域后与纹理图的相应坐标进行绑定，得到主体骨骼模型。
3.根据权利要求2所述的动画生成方法，其特征在于，基于导入图片确定人物主体包括：
接收用户导入的包含有人或物的图片，并采用AR技术从导入图片中识别出人物主体。
4.根据权利要求1所述的动画生成方法，其特征在于，基于导入视频生成BVH文件之后还包括：
基于预先制作的特效库和音频库选取动画特效和动画音频，并参照动作库将所述BVH文件、动画特效和动画音频进行动作合成；
以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；
对于从动作合成结果中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；
将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
5.根据权利要求1所述的动画生成方法，其特征在于，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：
采用透明通道播放技术将所述骨骼动画以AR的形式展示，且将该骨骼动画的视频角度设置为朝着摄像机方向。
6.根据权利要求1所述的动画生成方法，其特征在于，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：
计算相邻帧的骨骼动画的向量之间的欧式距离；
基于欧式距离对动画帧进行层次聚类，得到多类中心向量作为目标骨骼动画。
7.根据权利要求3所述的动画生成方法，其特征在于，接收用户导入的包含有人或物的图片之后还包括：
基于导入图片生成关键字，并通过SDK注册插件绑定导入图片和关键字。
8.根据权利要求7所述的动画生成方法，其特征在于，将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画之后还包括：
构建关键字和骨骼动画的映射关系；
将扫描获取的图片和导入图片进行对比，并根据对比结果关联到对应的关键字，通过对应的关键字映射获取相应的骨骼动画；或，在检测到用户的扫描事件时，将扫描获取的图片和导入图片进行对比，并根据对比结果关联到对应的关键字，通过对应的关键字映射获取相应的骨骼动画。
9.一种动画生成装置，其特征在于，包括：
导入模块，用于基于导入视频生成BVH文件；
组织模块，用于以预设的主体骨骼模型的躯干中心点为根节点，将骨骼点按照空间连接关系组织为节点树；
变换模块，用于对于从所述BVH文件中读取的每一帧动作数据搜索遍历节点树，根据节点属性进行对应躯体的图元坐标变换；
渲染模块，用于将所述图元坐标和主体骨骼模型的纹理图绑定到渲染模块进行渲染，得到骨骼动画。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021293.7A CN117132687A (zh) | 2023-08-14 | 2023-08-14 | 一种动画生成方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311021293.7A CN117132687A (zh) | 2023-08-14 | 2023-08-14 | 一种动画生成方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117132687A true CN117132687A (zh) | 2023-11-28 |
Family
ID=88852015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311021293.7A Pending CN117132687A (zh) | 2023-08-14 | 2023-08-14 | 一种动画生成方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132687A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184843A (zh) * | 2015-09-25 | 2015-12-23 | 华中科技大学 | 一种基于OpenSceneGraph的三维动画制作方法 |
| US10319133B1 (en) * | 2011-11-13 | 2019-06-11 | Pixar | Posing animation hierarchies with dynamic posing roots |
| WO2022026630A1 (en) * | 2020-07-28 | 2022-02-03 | Radix Motion Inc. | Methods and systems for communication and interaction using 3d human movement data |
| EP4148682A1 (en) * | 2021-09-09 | 2023-03-15 | Nokia Technologies Oy | A method, an apparatus and a computer program product for computer graphics |
| CN116580121A (zh) * | 2023-05-18 | 2023-08-11 | 北京元跃科技有限公司 | 一种基于深度学习的单张绘画生成2d模型的方法及系统 |
-
2023
- 2023-08-14 CN CN202311021293.7A patent/CN117132687A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10319133B1 (en) * | 2011-11-13 | 2019-06-11 | Pixar | Posing animation hierarchies with dynamic posing roots |
| CN105184843A (zh) * | 2015-09-25 | 2015-12-23 | 华中科技大学 | 一种基于OpenSceneGraph的三维动画制作方法 |
| WO2022026630A1 (en) * | 2020-07-28 | 2022-02-03 | Radix Motion Inc. | Methods and systems for communication and interaction using 3d human movement data |
| EP4148682A1 (en) * | 2021-09-09 | 2023-03-15 | Nokia Technologies Oy | A method, an apparatus and a computer program product for computer graphics |
| CN116580121A (zh) * | 2023-05-18 | 2023-08-11 | 北京元跃科技有限公司 | 一种基于深度学习的单张绘画生成2d模型的方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| HUAN DAI, BO CAI, JIA SONG, DENGYI ZHANG: "Skeletal animation based on BVH motion data", 2010 2ND INTERNATIONAL CONFERENCE ON INFORMATION ENGINEERING AND COMPUTER SCIENCE, 30 December 2010 (2010-12-30), pages 1 - 4, XP031842344 * |
| 李晓阳: "基于运动捕获数据的三维模型动画研究与实现", 中国优秀硕士学位论文全文数据库信息科技辑, no. 02, 15 February 2017 (2017-02-15), pages 138 - 2832 * |
| 郭力;何明耘;陈雷霆;: "基于BVH驱动的OGRE骨骼动画", 计算机应用研究, no. 09, 15 September 2009 (2009-09-15), pages 356 - 358 * |
| 马昊;李淑琴;: "基于深度学习的人体动作草图到三维骨骼模型重建方法的研究", 计算机应用研究, no. 06, 30 May 2020 (2020-05-30), pages 273 - 276 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102417645B1 (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
| CN111028330B (zh) | 三维表情基的生成方法、装置、设备及存储介质 | |
| CN107945282B (zh) | 基于对抗网络的快速多视角三维合成和展示方法及装置 | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN109191369A (zh) | 2d图片集转3d模型的方法、存储介质和装置 | |
| CN105931283B (zh) | 一种基于动作捕捉大数据的三维数字内容智能制作云平台 | |
| CN113822977A (zh) | 图像渲染方法、装置、设备以及存储介质 | |
| CN109242961A (zh) | 一种脸部建模方法、装置、电子设备和计算机可读介质 | |
| Kim et al. | Keyframe-based modeling and tracking of multiple 3D objects | |
| CN105474213A (zh) | 用于创建经排序的图像的可操纵视图的系统及方法 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN108416832B (zh) | 媒体信息的显示方法、装置和存储介质 | |
| CN110275968A (zh) | 图像数据处理方法和装置 | |
| CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
| CN114363689B (zh) | 直播控制方法、装置、存储介质及电子设备 | |
| CN112085835B (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
| CN107613161A (zh) | 基于虚拟世界的视频数据处理方法及装置、计算设备 | |
| CN113657357B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112669448B (zh) | 基于三维重建技术的虚拟数据集开发方法、系统及存储介质 | |
| CN112308977B (zh) | 视频处理方法、视频处理装置和存储介质 | |
| Lopez et al. | Modeling complex unfoliaged trees from a sparse set of images | |
| CN111833457A (zh) | 图像处理方法、设备及存储介质 | |
| CN108961375A (zh) | 一种根据二维图像生成三维图像的方法及装置 | |
| CN112598780A (zh) | 实例对象模型构建方法及装置、可读介质和电子设备 | |
| CN115497149A (zh) | 一种汽车座舱的音乐交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |