CN112037310A - 基于神经网络的游戏人物动作识别生成方法 - Google Patents
基于神经网络的游戏人物动作识别生成方法 Download PDFInfo
- Publication number
- CN112037310A CN112037310A CN202010881007.4A CN202010881007A CN112037310A CN 112037310 A CN112037310 A CN 112037310A CN 202010881007 A CN202010881007 A CN 202010881007A CN 112037310 A CN112037310 A CN 112037310A
- Authority
- CN
- China
- Prior art keywords
- neural network
- human
- camera
- coordinate data
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 230000009471 action Effects 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 19
- 210000001562 sternum Anatomy 0.000 claims description 7
- 210000003127 knee Anatomy 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 6
- 210000004197 pelvis Anatomy 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 6
- 210000003423 ankle Anatomy 0.000 claims description 4
- 230000002779 inactivation Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000004233 talus Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络的游戏人物动作识别生成方法，包括以下步骤：采集人体运动视频，并按帧率切分为连续帧的图像；采用人体关键点神经网络逐一检测提取任一序列帧的图像中的人体关键点2D坐标数据；将任一序列帧人体关键点2D坐标数据输入至姿态预测神经网络得到对应3D姿态数据；将3D姿态数据绑定到动画骨骼上，以得到游戏人物动作数据。通过上述方案，本发明逻辑简单、识别准确、识别效果高、计算工作量少等优点，在计算机视觉技术领域具有很高的实用价值和推广价值。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其是基于神经网络的游戏人物动作识别生成方法。
背景技术
近年来随着计算机技术与AI人工智能的发展和应用，基于计算机视觉的人体动作重建技术迅速兴起并得到了广泛的关注。当前基于计算机视觉的人体动作重建仍是计算机视觉中一个极具挑战性的课题，其涉及图像处理、模式识别、人工智能等多个学科，在数字电影、动漫制作、游戏开发等领域有着广泛的应用前景。
本文主要是应用到游戏动作制作，其中，传统的游戏动作制作技术主要有如下三种：
第一种，光学动作捕捉生成动作技术；这种技术需要专门的环境，要求周围无明显干扰，需要专门演员穿戴光学动捕设备捕捉动作。虽然光学动作捕捉技术的捕捉结果精度高，但需要有场地、设备和人员的要求，使用成本高。如专利申请号为“201910846952.8”、名称为“一种基于三维姿态识别的舞谱记录与演示方法”的中国发明专利。
第二种，惯性动作捕捉生成动作技术；这种技术需要专业表演者穿戴各种动作捕捉设备，由于这些动作捕捉设备绑在人体关键点上，能够采样人体运动的速度和加速度，以此推断出人体关节的位置和动作。但这种技术因设备的精度问题，捕捉效果比光学动作捕捉技术差，且无法解决虚拟角色脚跟紧贴地面的问题。同样，惯性动作捕捉技术也需要有设备和人员的要求。如专利申请号为“201910304590.X”、名称为“-一种基于深度学习的人体动作捕捉与虚拟动画生成方法”的中国发明专利。
第三种，专业人员手工制作；这种方式需要专业的动作师一帧一帧手动制作相应的动作，耗时长效率低，高质量的动作对制作人员要求高。
另外，现有技术中早期方法简单地执行最近邻搜索在3D姿势可用的大量2D关键点上的预测的2D关键点集合，然后简单地输出相应的3D姿势。有一些方法是利用图像特征和2D地面实况，或通过简单地预测其深度来从一组给定的2D关键点预测3D姿势；传统的视频姿势估计大多数在单帧数据中工作，这样就导致帧与帧之间的数据是独立不连续的。
因此，急需要提出一种逻辑简单、识别准确的基于神经网络的游戏人物动作识别生成方法。
发明内容
针对上述问题，本发明的目的在于提供一种基于神经网络的游戏人物动作识别生成方法，本发明采用的技术方案如下：
基于神经网络的游戏人物动作识别生成方法，包括以下步骤：
采集人体运动视频，并按帧率切分为连续帧的图像；
采用人体关键点神经网络逐一检测提取任一序列帧的图像中的人体关键点2D坐标数据；
将任一序列帧人体关键点2D坐标数据输入至姿态预测神经网络得到对应3D姿态数据；
将3D姿态数据绑定到动画骨骼上，以得到游戏人物动作数据。
进一步地，所述姿态预测神经网络包括依次连接的9个神经单元，以及设置在第九个神经单元后的1卷积层；任一神经单元包括从前至后依次连接并封装成型的卷积层、批标准化层、线性修正单元和随机失活层。
优选地，所述卷积层含有42个输入通道、且1024个输出通道；所述卷积层的过滤器大小为3。
优选地，所述随机失活层的丢失率p为0.25。
进一步地，所述人体关键点2D坐标数据包括盆骨、左盆骨、左膝盖、左踝骨、左脚尖、右盆骨、右膝盖、右踝骨、右脚尖、脖子、头部、头顶、胸骨、左肩、左肘、左腕、右肩、右肘和右腕；所述胸骨采集3个点。
进一步地，所述基于神经网络的游戏人物动作识别生成方法，还包括对人体关键点2D坐标数据进行归一化处理。
进一步地，所述姿态预测神经网络的训练过程如下：
获取任一序列帧的人体关键点的3D世界坐标，并求得采集人体运动视频的摄像机的外参矩阵；
将人体关键点的3D世界坐标通过外参矩阵转换成到摄像机坐系下，得到摄像机坐系下的3D关键点坐标，其表达式为：
其中，[Xc,Yc,Zc]T表示摄像机坐标系下的坐标，[Xw,Yw,Zw]T表示世界坐标系下的坐标，R表示旋转矩阵，T表示平移矩阵；所述旋转矩阵R和平移矩阵T组成3×4的摄像机的外参矩阵；r11、r12、r13、r21、r22、r23、r31、r32、r33表示3×3的正交旋转矩阵，t1、t2、t3表示1×3的平移矩阵。
在摄像机坐系下，将人体关键点2D坐标数据和摄像机坐系下的3D关键点坐标一一对应映射；
并采用摄像机坐系下的3D关键点坐标进行姿态预测神经网络。
更进一步地，还包括引入一个带权重的平均关键点坐标错误损失函数，其表达式为：
其中，yz表示摄像机空间深度，f(x)表示预测的3D关键点坐标数据，y表示基准3D关键点坐标数据。
与现有技术相比，本发明具有以下有益效果：
(1)本发明巧妙地采用基于2D关键点坐标上扩张了时间卷积的完全卷积网络模型，从而可以有效地估计视频中人体的3D姿势。本发明与任何2D关键点检测器兼容，并且可以通过扩张时间的卷积有效地处理大的上下文。与依赖RNN的方法相比，它具有更高的精度、简洁性和有效性，在计算复杂度和参数数量上都有优势。
(2)本发明的两步姿势估计法是一系列新的3D姿势估计器建立在2D姿态估计器之上；首先，预测图像空间中的2D关键点坐标数据，随后将其提升到3D。这种方法优于端到端的对应方式，因为这中间多了一步监督；通过研究发现，对于真实的2D关键点，预测3D姿势相对简单，难度在于预测准确的2D姿势。
(3)本发明利用视频的时间信息来预测3D姿态数据，从2D关键点轨迹中学习，这样预测的结果更稳健、并且对噪声数据不太敏感。本发明采用LSTM序列到序列的学习模型，其将来自序列帧图片的2D姿势序列编码成固定大小的矢量，然后将其解码成3D姿势序列。然而，输入和输出序列都具有相同的长度，并且2D姿势的确定性变换是多变不确定的。通过实验得出，输出的3D姿势在较长的序列上会产生瞬移，抖动比较大。因此本发明通过每5帧重新初始化编码器来解决这个问题，代价就是时间一致性。
(4)本发明与传统的单帧图片预测3D姿势的方式相比，本发明无需使用热图，而是使用检测到的关键点坐标来描述姿势。这就可以在时间序列上使用有效的1D卷积，而不是在单个热图(或热图序列上的3D卷积)上的2D卷积，这将大大地简化我们的计算量。本发明还使计算复杂性与关键点空间分辨率无关。本发明的模型可以通过更少的参数实现高精度，并实现更快的训练和预测。与现有技术提出的单帧基准和LSTM模型相比，本发明通过在时间维度上执行1D卷积来利用时间信息，并且本发明提出了几种导致较低重建误差的优化。最后，与本发明中提到的大多数两步模型(使用流行的堆叠沙漏网络进行2D关键点检测)相反，本发明使用了Mask R-CNN和级联金字塔网络(CPN)对于3D人体姿势估计更精准、高效。
(5)本发明的姿态预测神经网络模型是具有残差连接的完全卷积架构，该残差连接采用一系列2D关键点坐标数据作为输入，并通过时间卷积对其进行转换。卷积模型可以在批处理和时间维度上实现并行化，在卷积模型中，输出和输入之间的梯度路径具有固定长度，而无需考虑序列长度，这可以减轻影响RNN的消失和爆炸梯度。
综上所述，本发明逻辑简单、识别准确、识别效果高、计算工作量少等优点，在计算机视觉技术领域具有很高的实用价值和推广价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的逻辑流程图。
图2为本发明的姿态预测神经网络模型图。
图3为本发明的21个关键点示意图。
图4为本发明的时间卷积模型示意图。
具体实施方式
为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图1至图4所示，本实施例提供了一种基于神经网络的游戏人物动作识别生成方法，其包括以下步骤：
第一步，首先用户获取包含人体运动的视频文件，可通过手机拍摄或网络下载视频文件，本文采用摄像机。
第二步，用户将包含人体运动的视频文件上传至服务器。
第三步，服务器将用户上传的视频文件按一定的帧率切分为连续帧图片。
第四步，将连续帧图片输入人体2D关键点检测神经网络，步骤如下：
(1)将图片转换为统一的尺寸。
(2)通过人体关键点检测神经网络得到每帧图片的人体2D关键点坐标数据。具体来说，其包括人体的盆骨、左盆骨、左膝盖、左踝骨、左脚尖、右盆骨、右膝盖、右踝骨、右脚尖、脖子、头部、头顶、胸骨1、胸骨2、胸骨3、左肩、左肘、左腕、右肩、右肘、右腕这个21个关键点的坐标数据，图3所示。
(3)将得到的2D关键点坐标数据进行滤波平滑处理，消除关键点坐标数据抖动和噪音数据。
(4)将处理后的2D关键点坐标数据进行归一化处理。
第五步，本实施例的姿态预测神经网络模型是具有残差连接的完全卷积架构，该残差连接采用一系列2D关键点坐标数据作为输入，并通过时间卷积对其进行转换。卷积模型可以在批处理和时间维度上实现并行化，在卷积模型中，输出和输入之间的梯度路径具有固定长度，而无需考虑序列长度，这可以减轻影响RNN的消失和爆炸梯度。在本实施例中，姿态预测神经网络包括依次连接的9个神经单元，以及设置在第九个神经单元后的1卷积层；任一神经单元包括从前至后依次连接并封装成型的卷积层、批标准化层、线性修正单元和随机失活层。
本实施例的训练3D姿态预测神经网络模型，步骤如下，
(1)准备数据集，由于现有标注3D关键点坐标数据的数据集相对较少，因此我们自己制作数据集。将我们已有的动画文件导入架设64个摄像机的unity场景中播放，unity渲染生成每个帧动画在每个摄像机下的图片，并导出21个关键点的3D世界坐标。最后再导出unity中每个摄像机的外参矩阵。
(2)在步骤D的基础上，处理unity输出的图片，得到每张图片中人体2D关键点坐标数据。
(3)将unity输出的世界坐标系坐标数据通过摄像机外参矩阵转换到摄像机坐标系下。空间中一点的世界坐标为[Xw,Yw,Zw]T,把它转换到摄像机坐标系下时，需要先加一维用齐次坐标来表示。左乘一个3×4的摄像机外参矩阵，就得到对应摄像机坐标系的坐标[Xc,Yc,Zc]T。公式如下所示：
其中，[Xw,Yw,Zw]T表示世界坐标系下的坐标，[Xc,Yc,Zc]T表示摄像机坐标系下的坐标。R表示旋转矩阵，T表示平移矩阵，R和T组成3×4的摄像机外参矩阵。
(4)将每个摄像机下的2D关键点坐标数据和对应摄像机下的3D关键点坐标数据一一对应映射。
(5)使用上一步骤生成的数据对3D姿态预测神经网络模型进行训练。根据透视投影的原理，图片上的2D关键点坐标取决于人体在空间中的3D关键点坐标。随着人体远离摄像机，投影到图片上的成像就越小，精准地预测对应的3D关键点坐标就更困难。因此引入一个带权重的平均关键点坐标错误损失函数
yz表示摄像机空间深度，f(x)表示预测的3D关键点坐标数据，y表示基准3D关键点坐标数据。通过反向传播过程不断迭代优化网络权重参数，降低损失函数，最终得到训练好的网络模型。
第六步，将第四步得到的2D关键点坐标数据序列输入第五步训练好的3D姿态预测神经网络模型，即可得到对应3D关键点坐标数据序列。
第七步，在Blender软件中导入自定义的人体骨架，将第六步得到的3D关键点坐标数据导入，用每个3D关键点坐标驱动骨架上相应的关键点运动，最后导出FBX动画文件。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。
Claims (9)
1.基于神经网络的游戏人物动作识别生成方法，其特征在于，包括以下步骤：
采集人体运动视频，并按帧率切分为连续帧的图像；
采用人体关键点神经网络逐一检测提取任一序列帧的图像中的人体关键点2D坐标数据；
将任一序列帧人体关键点2D坐标数据输入至姿态预测神经网络得到对应3D姿态数据；
将3D姿态数据绑定到动画骨骼上，以得到游戏人物动作数据。
2.根据权利要求1所述的基于神经网络的游戏人物动作识别生成方法，其特征在于，所述姿态预测神经网络包括依次连接的9个神经单元，以及设置在第九个神经单元后的1卷积层；任一神经单元包括从前至后依次连接并封装成型的卷积层、批标准化层、线性修正单元和随机失活层。
3.根据权利要求2所述的基于神经网络的游戏人物动作识别生成方法，其特征在于，所述卷积层含有42个输入通道、且1024个输出通道；所述卷积层的过滤器大小为3。
4.根据权利要求2所述的基于神经网络的游戏人物动作识别生成方法，其特征在于，所述随机失活层的丢失率p为0.25。
5.根据权利要求1所述的基于神经网络的游戏人物动作识别生成方法，其特征在于，所述人体关键点2D坐标数据包括盆骨、左盆骨、左膝盖、左踝骨、左脚尖、右盆骨、右膝盖、右踝骨、右脚尖、脖子、头部、头顶、胸骨、左肩、左肘、左腕、右肩、右肘和右腕；所述胸骨采集3个点。
6.根据权利要求1所述的基于神经网络的游戏人物动作识别生成方法，其特征在于，还包括对人体关键点2D坐标数据进行归一化处理。
7.根据权利要求1所述的基于神经网络的游戏人物动作识别生成方法，其特征在于，还包括对连续帧的图像进行间隔5帧重新初始化。
8.根据权利要求2所述的基于神经网络的游戏人物动作识别生成方法，其特征在于，所述姿态预测神经网络的训练过程如下：
获取任一序列帧的人体关键点的3D世界坐标，并求得采集人体运动视频的摄像机的外参矩阵；
将人体关键点的3D世界坐标通过外参矩阵转换成到摄像机坐系下，得到摄像机坐系下的3D关键点坐标，其表达式为：
其中，[Xc,Yc,Zc]T表示摄像机坐标系下的坐标，[Xw,Yw,Zw]T表示世界坐标系下的坐标，R表示旋转矩阵，T表示平移矩阵；所述旋转矩阵R和平移矩阵T组成3×4的摄像机的外参矩阵；
在摄像机坐系下，将人体关键点2D坐标数据和摄像机坐系下的3D关键点坐标一一对应映射；
并采用摄像机坐系下的3D关键点坐标进行姿态预测神经网络。
9.根据权利要求8所述的基于神经网络的游戏人物动作识别生成方法，其特征在于，还包括引入一个带权重的平均关键点坐标错误损失函数，其表达式为：
其中，yz表示摄像机空间深度，f(x)表示预测的3D关键点坐标数据，y表示基准3D关键点坐标数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010881007.4A CN112037310A (zh) | 2020-08-27 | 2020-08-27 | 基于神经网络的游戏人物动作识别生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010881007.4A CN112037310A (zh) | 2020-08-27 | 2020-08-27 | 基于神经网络的游戏人物动作识别生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112037310A true CN112037310A (zh) | 2020-12-04 |
Family
ID=73586585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010881007.4A Pending CN112037310A (zh) | 2020-08-27 | 2020-08-27 | 基于神经网络的游戏人物动作识别生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112037310A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297916A (zh) * | 2021-04-28 | 2021-08-24 | 中国地质大学（武汉） | 施工人员工作姿态健康评估方法、装置、设备及存储介质 |
| CN113420719A (zh) * | 2021-07-20 | 2021-09-21 | 北京百度网讯科技有限公司 | 生成动作捕捉数据的方法、装置、电子设备以及存储介质 |
| CN113559500A (zh) * | 2021-01-18 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 动作数据的生成方法、装置、电子设备及存储介质 |
| CN113762177A (zh) * | 2021-09-13 | 2021-12-07 | 成都市谛视科技有限公司 | 实时人体3d姿态估计方法、装置、计算机设备和存储介质 |
| CN113850236A (zh) * | 2021-11-29 | 2021-12-28 | 深圳市优必选科技股份有限公司 | 3d姿态估计方法、装置和计算机设备及存储介质 |
| CN113989928A (zh) * | 2021-10-27 | 2022-01-28 | 南京硅基智能科技有限公司 | 一种动作捕捉和重定向方法 |
| CN114170353A (zh) * | 2021-10-21 | 2022-03-11 | 北京航空航天大学 | 一种基于神经网络的多条件控制的舞蹈生成方法及系统 |
| CN114241515A (zh) * | 2021-11-19 | 2022-03-25 | 浙江工业大学 | 一种基于时空上下文特征感知的三维人体姿态估计方法 |
| WO2023015921A1 (zh) * | 2021-08-11 | 2023-02-16 | 网易（杭州）网络有限公司 | 动画数据处理方法、非易失性存储介质及电子装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609970A (zh) * | 2011-12-19 | 2012-07-25 | 中山大学 | 一种基于运动元素复用的二维动画合成方法 |
| CN104658022A (zh) * | 2013-11-20 | 2015-05-27 | 中国电信股份有限公司 | 三维动画制作方法和装置 |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN109919122A (zh) * | 2019-03-18 | 2019-06-21 | 中国石油大学(华东) | 一种基于3d人体关键点的时序行为检测方法 |
| CN110956141A (zh) * | 2019-12-02 | 2020-04-03 | 郑州大学 | 一种基于局部识别的人体连续动作快速分析方法 |
| CN111274921A (zh) * | 2019-11-27 | 2020-06-12 | 北京邮电大学 | 一种利用姿态掩模进行人体行为识别的方法 |
| CN111428664A (zh) * | 2020-03-30 | 2020-07-17 | 厦门瑞为信息技术有限公司 | 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法 |
| WO2020150689A1 (en) * | 2019-01-18 | 2020-07-23 | Snap Inc. | Systems and methods for realistic head turns and face animation synthesis on mobile device |
-
2020
- 2020-08-27 CN CN202010881007.4A patent/CN112037310A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609970A (zh) * | 2011-12-19 | 2012-07-25 | 中山大学 | 一种基于运动元素复用的二维动画合成方法 |
| CN104658022A (zh) * | 2013-11-20 | 2015-05-27 | 中国电信股份有限公司 | 三维动画制作方法和装置 |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| WO2020150689A1 (en) * | 2019-01-18 | 2020-07-23 | Snap Inc. | Systems and methods for realistic head turns and face animation synthesis on mobile device |
| CN109919122A (zh) * | 2019-03-18 | 2019-06-21 | 中国石油大学(华东) | 一种基于3d人体关键点的时序行为检测方法 |
| CN111274921A (zh) * | 2019-11-27 | 2020-06-12 | 北京邮电大学 | 一种利用姿态掩模进行人体行为识别的方法 |
| CN110956141A (zh) * | 2019-12-02 | 2020-04-03 | 郑州大学 | 一种基于局部识别的人体连续动作快速分析方法 |
| CN111428664A (zh) * | 2020-03-30 | 2020-07-17 | 厦门瑞为信息技术有限公司 | 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法 |
Non-Patent Citations (3)
| Title |
|---|
| DARIO PAVLLO等: "3D human pose estimation in video with temporal convolutions and semi-supervised training", 《PROCEEDINGS OF THE IEEE》 * |
| 杨彬等: "基于视频的三维人体姿态估计", 《北京航空航天大学学报》 * |
| 邓益侬等: "基于深度学习的人体姿态估计方法综述", 《计算机工程与应用 》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113559500A (zh) * | 2021-01-18 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 动作数据的生成方法、装置、电子设备及存储介质 |
| CN113559500B (zh) * | 2021-01-18 | 2023-07-21 | 腾讯科技（深圳）有限公司 | 动作数据的生成方法、装置、电子设备及存储介质 |
| CN113297916A (zh) * | 2021-04-28 | 2021-08-24 | 中国地质大学（武汉） | 施工人员工作姿态健康评估方法、装置、设备及存储介质 |
| CN113420719B (zh) * | 2021-07-20 | 2022-07-22 | 北京百度网讯科技有限公司 | 生成动作捕捉数据的方法、装置、电子设备以及存储介质 |
| CN113420719A (zh) * | 2021-07-20 | 2021-09-21 | 北京百度网讯科技有限公司 | 生成动作捕捉数据的方法、装置、电子设备以及存储介质 |
| WO2023015921A1 (zh) * | 2021-08-11 | 2023-02-16 | 网易（杭州）网络有限公司 | 动画数据处理方法、非易失性存储介质及电子装置 |
| CN113762177A (zh) * | 2021-09-13 | 2021-12-07 | 成都市谛视科技有限公司 | 实时人体3d姿态估计方法、装置、计算机设备和存储介质 |
| CN114170353A (zh) * | 2021-10-21 | 2022-03-11 | 北京航空航天大学 | 一种基于神经网络的多条件控制的舞蹈生成方法及系统 |
| CN114170353B (zh) * | 2021-10-21 | 2024-05-24 | 北京航空航天大学 | 一种基于神经网络的多条件控制的舞蹈生成方法及系统 |
| CN113989928A (zh) * | 2021-10-27 | 2022-01-28 | 南京硅基智能科技有限公司 | 一种动作捕捉和重定向方法 |
| CN113989928B (zh) * | 2021-10-27 | 2023-09-05 | 南京硅基智能科技有限公司 | 一种动作捕捉和重定向方法 |
| CN114241515A (zh) * | 2021-11-19 | 2022-03-25 | 浙江工业大学 | 一种基于时空上下文特征感知的三维人体姿态估计方法 |
| CN113850236B (zh) * | 2021-11-29 | 2022-04-15 | 深圳市优必选科技股份有限公司 | 3d姿态估计方法、装置和计算机设备及存储介质 |
| CN113850236A (zh) * | 2021-11-29 | 2021-12-28 | 深圳市优必选科技股份有限公司 | 3d姿态估计方法、装置和计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112037310A (zh) | 基于神经网络的游戏人物动作识别生成方法 | |
| CN112614213B (zh) | 人脸表情确定方法、表情参数确定模型、介质及设备 | |
| CN113496507B (zh) | 一种人体三维模型重建方法 | |
| WO2022205760A1 (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| US12067659B2 (en) | Generating animated digital videos utilizing a character animation neural network informed by pose and motion embeddings | |
| CN110660017A (zh) | 一种基于三维姿态识别的舞谱记录与演示方法 | |
| US11928778B2 (en) | Method for human body model reconstruction and reconstruction system | |
| CN114339409B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| CN113989928B (zh) | 一种动作捕捉和重定向方法 | |
| WO2022197024A1 (en) | Point-based modeling of human clothing | |
| CN111640172A (zh) | 一种基于生成对抗网络的姿态迁移方法 | |
| CN111862278A (zh) | 一种动画获得方法、装置、电子设备及存储介质 | |
| CN111479087A (zh) | 3d监控场景控制方法、装置、计算机设备及存储介质 | |
| Wu et al. | [Retracted] 3D Film Animation Image Acquisition and Feature Processing Based on the Latest Virtual Reconstruction Technology | |
| Zhou et al. | Image2GIF: Generating cinemagraphs using recurrent deep q-networks | |
| Liu et al. | Temporally coherent full 3D mesh human pose recovery from monocular video | |
| CN114049678B (zh) | 一种基于深度学习的面部动作捕捉方法及系统 | |
| CN116485953A (zh) | 数据处理方法、装置、设备和可读存储介质 | |
| CA3177593A1 (en) | Transformer-based shape models | |
| Dai | Modeling and simulation of athlete’s error motion recognition based on computer vision | |
| CN114463840A (zh) | 基于骨架的移位图卷积网络人体行为识别方法 | |
| Hruthika et al. | Deep Learning Based Human Pose Estimation Using Opencv | |
| CN114581571B (zh) | 基于imu和前向变形场的单目人体重建方法及装置 | |
| Gilbert et al. | Marker-less pose estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201204 |