CN110738717B - 动作数据的修正方法、装置及电子设备 - Google Patents
动作数据的修正方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110738717B CN110738717B CN201910985771.3A CN201910985771A CN110738717B CN 110738717 B CN110738717 B CN 110738717B CN 201910985771 A CN201910985771 A CN 201910985771A CN 110738717 B CN110738717 B CN 110738717B
- Authority
- CN
- China
- Prior art keywords
- data
- motion
- quaternion
- action
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 232
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000009471 action Effects 0.000 claims abstract description 169
- 238000012937 correction Methods 0.000 claims abstract description 127
- 238000003062 neural network model Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 35
- 210000000988 bone and bone Anatomy 0.000 claims description 29
- 238000009499 grossing Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000003491 array Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000004080 punching Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种动作数据的修正方法、装置及电子设备，涉及计算机技术领域，该方法包括通过预先布设的动作捕捉设备获取原始动作数据；原始动作数据包括携带有捕捉时间的多帧动作数据；将原始动作数据中的每帧动作数据分别转换为四元数，得到原始动作数据对应的四元数数组；将四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；其中，神经网络模型为基于已标注的动作样本数据训练得到的；对初始修正动作数据进行平滑滤波，得到最终修正动作数据。本发明能够简化修正数据的操作方式，有效提升数据修正的效率。
Description
技术领域
本发明涉及计算机技术领域，尤其是涉及一种动作数据的修正方法、装置及电子设备。
背景技术
随着计算机软硬件技术的飞速发展和动画制作要求的提高，运动捕捉技术发展成为了一种新兴的动画制作方式。
现有应用运动捕捉技术制作角色动画时，先采集相关动作的原始数据，而原始数据中通常存在部分遮挡、错误标记或高频噪声等错误，需要技术人员对原始数据进行手工修正，然后才可以将修正后的数据进一步应用于动画制作。但是这种手工修正数据的方式操作复杂且修正效率低，极大地限制了动画制作的效率。
发明内容
本发明的目的在于提供一种动作数据的修正方法、装置及电子设备，能够简化修正数据的操作方式，有效提升数据修正的效率。
第一方面，本发明实施例提供了一种动作数据的修正方法，包括：通过预先布设的动作捕捉设备获取原始动作数据；所述原始动作数据包括携带有捕捉时间的多帧动作数据；将所述原始动作数据中的每帧动作数据分别转换为四元数，得到所述原始动作数据对应的四元数数组；将所述四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；其中，所述神经网络模型为基于已标注的动作样本数据训练得到的；对所述初始修正动作数据进行平滑滤波，得到最终修正动作数据。
在本发明较佳的实施例中，将所述四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据的步骤，包括：将所述四元数数组输入预先训练好的神经网络模型；通过所述神经网络模型获取所述四元数数组携带的时间参数，所述时间参数包括各所述四元数对应的捕捉时间；对所述四元数数组进行采样，得到捕捉时间相邻的多帧四元数样本；按照所述捕捉时间的顺序对多帧所述四元数样本进行堆叠，得到四元数数组样本，将堆叠次序为预设值的四元数样本确定为目标四元数；基于所述四元数数组样本对所述目标四元数进行修正，得到初始修正动作数据。
在本发明较佳的实施例中，所述神经网络模型的训练过程包括：基于深度学习训练框架生成待训练的神经网络模型；其中，深度学习训练框架包括以下中的一种：PyTorch、Caffe和TensorFlow；将标注有基准修正动作结果的动作样本数据输入所述待训练的神经网络模型进行修正，得到预测修正动作结果；基于所述预测修正动作结果和所述基准修正动作结果，计算损失函数值；根据所述损失函数值，通过反向传播算法对所述待训练的神经网络模型的权重进行调整，并重复上述训练过程，直至所述损失函数值收敛至预设值时结束训练。
在本发明较佳的实施例中，基于所述预测修正动作结果和所述基准修正动作结果，计算损失函数值的步骤，包括：基于所述预测修正动作结果和所述基准修正动作结果，计算动作准确度误差和平滑误差；根据所述动作准确度误差和平滑误差计算损失函数值。
在本发明较佳的实施例中，基于所述预测修正动作结果和所述基准修正动作结果，计算动作准确度误差的步骤，包括：计算动作准确度误差：
其中，lossmse为动作准确度误差，
为第m帧动作样本数据中第i个骨骼关键点的预测动作修正结果，
为第m帧动作样本数据中第i个骨骼关键点的基准修正动作结果，K为骨骼关键点的总数。
在本发明较佳的实施例中，基于所述预测修正动作结果和所述基准修正动作结果，计算平滑误差的步骤，包括：计算平滑误差：
其中，losssmooth为平滑误差，
为第m帧动作样本数据中第i个骨骼关键点的预测动作修正结果，
为第m帧动作样本数据中第i个骨骼关键点的基准动作修正结果，K为骨骼关键点的总数，N为动作样本数据的总帧数。
在本发明较佳的实施例中，根据所述动作准确度误差和平滑误差得到损失函数值的步骤，包括：计算损失函数值：loss＝lossmse+osssmooth*λ
其中，loss为损失函数值，lossmse为动作准确度误差，losssmooth为平滑误差，λ为预设的比例系数。
在本发明较佳的实施例中，通过预先布设的动作捕捉设备获取原始动作数据的步骤，包括：通过预先布设的动作捕捉设备捕捉测试对象上各预设的骨骼关键点的原始动作数据；其中，所述原始动作数据为所述测试对象在预设环境中执行指定动作时对应的数据。
在本发明较佳的实施例中，对所述初始修正动作数据进行平滑滤波的步骤，包括：采用Savitzky–Golay滤波器对所述初始修正动作数据进行平滑滤波。
在本发明较佳的实施例中，所述方法还包括：调用Unity引擎；基于所述最终修正动作数据和预设的虚拟三维模型，在所述Unity引擎中生成三维模型动画。
第二方面，本发明实施例提供了一种动作数据的修正装置，包括：动作数据获取模块，用于通过预先布设的动作捕捉设备获取原始动作数据；所述原始动作数据包括携带有捕捉时间的多帧动作数据；数组转换模块，用于将所述原始动作数据中的每帧动作数据分别转换为四元数，得到所述原始动作数据对应的四元数数组；数组修正模块，用于将所述四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；其中，所述神经网络模型为基于已标注的动作样本数据训练得到的；数据滤波模块，用于对所述初始修正动作数据进行平滑滤波，得到最终修正动作数据。
第三方面，本发明实施例提供了一种电子设备，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行上述第一方面任一项所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种动作数据的修正方法、装置及电子设备，能够首先通过预先布设的动作捕捉设备获取原始动作数据，原始动作数据包括携带有捕捉时间的多帧动作数据；然后将原始动作数据中的每帧动作数据分别转换为四元数，得到原始动作数据对应的四元数数组；进一步将四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；最后对初始修正动作数据进行平滑滤波，得到最终修正动作数据。本实施例能够将原始工作数据转换为运算方式简便的四元数数组，再通过神经网络模型对四元数数组进行初始修正，以及对初始修正动作数据进行平滑滤波，有效简化了修正数据的操作方式和提升了数据修正的效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种动作数据的修正方法流程图；
图2为本发明实施例提供的动作数据的修正方法的部署示意图；
图3为本发明实施例提供的另一种动作数据的修正方法流程图；
图4(a)为本发明实施例提供的第一动作图像序列示意图；
图4(b)为本发明实施例提供的第二动作图像序列示意图；
图5为本发明实施例提供的动作数据的修正装置的结构框图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当将基于运动捕捉技术采集到的原始动作数据直接应用于制作角色动画时，所生成的三维模型动画通常存在明显的穿模、遮挡、动作畸形等不自然的动作姿势。为了使生成的三维模型动画具有预期的、自然的动作姿势，在现有运动捕捉技术中采用了手工修正数据的方式对原始动作数据进行修正，但是手工修正数据的方式操作复杂且修正效率低，进而将限制应用运动捕捉技术进行动画制作的效率，为改善此问题，本发明实施例提供的一种动作数据的修正方法、装置及电子设备，能够简化修正数据的操作方式，有效提升数据修正的效率。该技术可以应用于娱乐、教育、虚拟增强现实等诸多领域，诸如应用修正后的动作数据进行动画制作。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种动作数据的修正方法进行详细介绍。
参照图1所示的动作数据的修正方法流程图，该方法的执行主体可以是支持动作数据修正的电子设备，诸如智能手机、平板电脑、计算机、云端服务器等。如图1所示，该方法主要包括如下步骤S102至步骤S108：
步骤S102，通过预先布设的动作捕捉设备获取原始动作数据；原始动作数据包括携带有捕捉时间的多帧动作数据。
上述动作捕捉设备可以包括布设于环境不同角度处的摄像机和穿戴于测试对象(如工作人员)的头、上臂、手腕和脚腕等多个骨骼关键点处的标定道具和动作跟踪器。在实际应用中，该摄像机可以为红外摄像机；该标定道具可以为高亮反光标记物品；该动作跟踪器可以为检测不同骨骼关键点位移和角度等动作的传感器。通过摄像机对穿戴有标定道具的测试对象进行拍摄，得到记录有骨骼运动轨迹的视频或多张图像；当测试对象执行不同动作时，通过不同位置处的动作跟踪器检测对应骨骼关键点的坐标、位移和角度等动作状态数据。记录有骨骼运动轨迹的视频或图像以及动作状态数据可以构成原始动作数据，其中，可以将记录有骨骼运动轨迹的视频或图像的捕捉时间作为原始动作数据中各帧动作数据的捕捉时间。
步骤S104，将原始动作数据中的每帧动作数据分别转换为四元数，得到原始动作数据对应的四元数数组。其中，四元数是由一个实部和三个虚部组成的特征向量，用于描述各骨骼关键点的旋转偏移量。将原始动作数据转换为对应的四元数数组可以有效减少后续数据修正时的运算量，且四元数数组能够应用于更多的场景，该场景比如神经网络模型和3D Studio Max(基于个人计算机系统的三维动画渲染和动画制作软件)。
步骤S106，将四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；其中，神经网络模型为基于已标注的动作样本数据训练得到的。
在一些可选实施方式中，可以基于CNN网络模型(Convolutional NeuralNetworks，卷积神经网络)模型、R-CNN(Region-CNN)网络模型或Resnet网络模型等神经网络模型，对输入的四元数数组中的各四元数进行逐帧修正，修正后的各四元数即为各帧动作数据对应的初始修正动作数据。
步骤S108，对初始修正动作数据进行平滑滤波，得到最终修正动作数据。本实施例可以采用Savitzky–Golay滤波器对初始修正动作数据进行平滑滤波；具体实施时，Savitzky–Golay滤波器按照各帧动作数据的捕捉时间对原始动作数据进行时间维度上的滤波、去噪及平滑，以得到稳定性、可靠性更好的最终修正动作数据。
本发明实施例提供的上述动作数据的修正方法，能够首先通过预先布设的动作捕捉设备获取原始动作数据，原始动作数据包括携带有捕捉时间的多帧动作数据；然后将原始动作数据中的每帧动作数据分别转换为四元数，得到原始动作数据对应的四元数数组；进一步将四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；最后对初始修正动作数据进行平滑滤波，得到最终修正动作数据。本实施例能够将原始工作数据转换为运算方式简便的四元数数组，再通过神经网络模型对四元数数组进行初始修正，以及对初始修正动作数据进行平滑滤波，有效简化了修正数据的操作方式和提升了数据修正的效率。
进一步，本实施例通过预先布设的动作捕捉设备获取原始动作数据的具体实施方式，可以参照如下内容：通过预先布设的动作捕捉设备捕捉测试对象上各预设的骨骼关键点的原始动作数据；其中，原始动作数据为测试对象在预设环境中执行指定动作时对应的数据。
为了避免环境中杂乱的背景对动作捕捉造成遮挡等不利影响以及便于布设动作捕捉设备，通常可以选择在室内搭建动作捕捉的环境。在该环境的不同角度布设多个摄像机，使摄像机的捕捉范围能够覆盖测试对象的预设的全部骨骼关键点；骨骼关键点可以包括头部、胸部、肩部、手臂、手腕、腿关节、脚腕等多个关键点。当测试对象在该环境中执行不同的指定动作时，多个摄像机捕捉各角度处测试对象上标定道具发出的光斑，从而得到记录有骨骼运动轨迹的视频或多张图像。同时，穿戴于测试对象身上的各动作跟踪器采集各骨骼关键点的动作状态数据，动作跟踪器诸如角度传感器和位移传感器。
将捕捉到的记录有骨骼运动轨迹的视频或图像和动作状态数据进行绑定，得到携带有捕捉时间的多帧动作数据；对捕捉到的多帧动作数据进行保存即得到原始动作数据。
将原始动作数据转换为对应的四元数数组后，本实施例可以参照如下步骤(1)至步骤(5)，以将四元数数组输入预先训练好的神经网络型进行修正，得到初始修正动作数据：
(1)将四元数数组输入预先训练好的神经网络模型。为了便于随时对四元数数组进行后续处理，可以将四元数数组预先存储于文本文件中，且该文本文件中存储有各骨骼关键点的名称和位置。神经网络模型通过数据接口调用文本文件中的四元数数组。
(2)通过神经网络模型获取四元数数组携带的时间参数，时间参数包括各四元数对应的捕捉时间。其中，四元数数组可以表示为特征向量Pt，且t为时间参数。
(3)对四元数数组进行采样，得到捕捉时间相邻的多帧四元数样本。
在具体实施时，可以采用固定窗长(如每5帧四元数)对四元数数组进行采样以得到四元数样本。通过采用得到四元数样本的方式可以有多种，诸如以下四种示例：
示例一：在四元数数组中任意选取连续的5帧四元数作为四元数样本。该四元数样本的采样方式适用于测试对象执行一个指定动作，且记录有骨骼运动轨迹的视频较短或记录有骨骼运动轨迹的图像数量较少的场景。
示例二：将四元数数组中的每帧四元数均作为采样的起点，从起点开始采用固定窗长进行采样，得到第一数量的四元数样本；也即将第一至五帧的四元数采样为第一组四元数样本，将第二至六帧四元数采样为第二组四元数样本，以此类推。
示例三：采用固定窗长对四元数数组进行连续切割式采样，得到第二数量的四元数样本。该连续切割式采样可理解为：将第一至五帧的四元数采样为第一组四元数样本，将第六至十帧的四元数采样为第二组四元数样本，以此类推。
可以理解，示例二和示例三中的四元数样本的采样方式适用于测试对象执行多个指定动作，且记录有骨骼运动轨迹的视频较长或记录有骨骼运动轨迹的图像数量较多的场景。示例二中的四元数样本的采样方式能够得到更全面的四元数样本，有利于后续比较全面地进行动作修正，减少各个动作之间的差异，从而使修正后的动作更连贯流畅和自然。示例三中的四元数样本的采样方式能够有效提升后续工作修正的效率。
示例四：首先获取原始动作数据对应的动作类别；获取动作类别的方式可以是在捕捉原始动作数据时，每执行一个指定动作均对原始动作数据的动作类别进行标记；或者还可以是对原始动作数据进行目标识别以得到其对应的动作类别，具体的，采用现有的如R-CNN等目标识别网络对记录有骨骼运动轨迹的视频或图像进行目标识别，得到动作类别。然后按照动作类别将四元数数组划分为多个分段四元数数组，且不同分段四元数数组对应于不同的动作类别；诸如，划分结果包括：对应于动作类别为举起手臂的分段四元数数组、应于动作类别为弯曲手臂的分段四元数数组和对应于动作类别为垂下手臂的分段四元数数组。最后对各分段四元数数组采用上述示例一至三任意一种采样方式，得到该分段四元数数组的四元数样本，进而得到整个四元数数组的四元数样本。该示例中的四元数样本的采样方式能够适应较多的场景且采样方式更为灵活。
当然，以上仅为对四元数数组进行采样的示例性描述，不应理解为限制。
(4)按照捕捉时间的顺序对多帧四元数样本进行堆叠，得到四元数数组样本，将堆叠次序为预设值的四元数样本确定为目标四元数。
本实施例中通过采样得到的四元数样本可以作为目标四元数的上下文特征信息，基于上下文特征信息能够提高对目标四元数进行修正的准确性和稳定性。基于此，为了增加上下文特征信息与目标四元数的相关性，同时避免上文特征信息或下文特征信息对目标四元数的修正产生具有偏向性的不利影响，实际应用中可以采样奇数帧四元数样本，并将堆叠于中间位置的四元数样本确定为目标四元数。为便于理解，假设目标四元数为捕捉时间为t的四元数样本，并将其表示为Vt，则其他四元数样本可以分别表示为Vt-2、Vt-1、Vt+1和Vt +2；按照捕捉时间的顺序对如下四元数样本Vt-2、Vt-1、Vt、Vt+1和Vt+2进行堆叠，得到一个表示为二维特征向量Pt∈R5×268的四元数数组样本，其中，5表示5帧四元数，268＝4×67，4表示四元数中的一个实部和三个虚部，67表示预设的骨骼关键点的数量。
(5)基于四元数数组样本对目标四元数进行修正，得到初始修正动作数据。本实施例通过对四元数数组样本进行分析，利用目标四元数对应的上下多帧四元数中采集到的动作数据对目标四元数中出现的穿模、动作畸形、数据丢失等错误进行修正，比如对于目标四元数中因遮挡等原因出现的局部动作数据丢失，可以利用上下多帧四元数中采集到动作数据对目标四元数中局部丢失的动作数据部分进行填充，得到初始修正动作数据。
为了使神经网络模型可以直接应用于对四元数数组的修正，输出较为可靠准确的始修正动作数据，需要事先训练该神经网络模型，神经网络模型的权重需要经过训练得到，对神经网络模型进行训练的目的，是最终确定可满足要求的权重。利用已训练得到的权重，神经网络模型对四元数数组的修正结果能够达到预期要求。本实施例给出了一种神经网络模型的训练步骤，具体参照如下步骤1至步骤4所示：
步骤1，基于深度学习训练框架生成待训练的神经网络模型；其中，深度学习训练框架包括以下中的一种：PyTorch、Caffe和TensorFlow。
步骤2，将标注有基准修正动作结果的动作样本数据输入待训练的神经网络模型进行修正，得到预测修正动作结果。
动作样本数据可以是从原始动作数据对应的四元数数组中采样得到的数据，基准修正动作结果可以是技术人员对动作样本数据进行手工修正得到的标准修正结果。在实际应用中，动作样本数据和基准修正动作结果可以以特征向量的形式表征，以便于神经网络模型对动作样本数据和基准修正动作结果进行处理。
步骤3，基于预测修正动作结果和基准修正动作结果，计算损失函数值。
通常修正后动作结果的效果好坏是通过准确度和平滑度两方面因素决定的，为了使神经网络模型能够在以上两方面均能够获得较好的结果，可以在神经网络模型中加入关于学习准确度和平滑度的损失函数，再基于此计算损失函数值。具体而言，首先基于预测修正动作结果和基准修正动作结果，计算动作准确度误差和平滑误差；然后再根据动作准确度误差和平滑误差计算损失函数值。
在基于预测修正动作结果和基准修正动作结果，计算动作准确度误差的步骤中，根据如下公式(1)所示的第一损失函数计算动作准确度误差：
其中，lossmse为动作准确度误差，
为第m帧动作样本数据中第i个骨骼关键点的预测动作修正结果，
为第m帧动作样本数据中第i个骨骼关键点的基准修正动作结果，K为骨骼关键点的总数。
以及，在基于预测修正动作结果和基准修正动作结果，计算平滑误差的步骤中，根据如下公式(2)所示的第二损失函数计算平滑误差：
其中，losssmooth为平滑误差，
为第m帧动作样本数据中第i个骨骼关键点的预测动作修正结果，
为第m帧动作样本数据中第i个骨骼关键点的基准动作修正结果，K为骨骼关键点的总数，N为动作样本数据的总帧数。
基于上述计算得到的动作准确度误差lossmse和平滑误差losssmooth，可以根据如下加权公式(3)计算损失函数值：
loss＝lossmse+l0sssmooth*λ (3)
其中，loss为损失函数值，lossmse为动作准确度误差，losssmooth为平滑误差，λ为预设的比例系数，比如λ＝0.5，对应的，上述公式(3)可表示为：
loss＝lossmse+losssmooth*0.5 (4)。
步骤4，根据损失函数值，通过反向传播算法对待训练的神经网络模型的权重进行调整，并重复上述训练过程，直至损失函数值收敛至预设值时结束训练。此外，还可以设定迭代次数，当达到预设的迭代次数，且损失函数值降低至预设值时，结束训练。
为了使本实施例提供的神经网络模型可以应用于更多场合，具有更为丰富的功能，上述神经网络模型在对四元数数组进行修正后，得到的修正结果也可以采用特征向量的形式表征。
为了强增神经网络模型输出的初始修正动作数据的稳定性、可靠性，本实施例可以采用预先设置有关键参数的滤波器对初始修正动作数据进行平滑滤波，得到并保存最终修正动作数据。其中，上述关键参数诸如滑动窗口窗长(例如为7)、自适应确定拟合多项式的最高项次数(例如为3)等。
对于上述得到的最终修正动作数据，本实施例提供一种将其应用于制作动画中的方法，参照如下内容：将最终修正动作数据转换为3DMax等动画软件所需要的数据格式，用以角色动画制作。
还可以进一步包括：调用Unity引擎；基于最终修正动作数据和预设的虚拟三维模型，在Unity引擎中生成三维模型动画。
本实施例中通过调用Unity引擎，将最终修正动作数据以三维模型动画的形式实现可视化显示，以便用户能直观理解和查看修正后的动作效果，及时发现数据中存在的穿模等错误并对相关错误进行相应调整、反馈。
基于上述训练好的神经网络模型，能够自动对转换为四元数数组的原始动作数据进行修正，有效简化了修正数据的操作方式，提升了数据修正效率，降低了人力成本低。在实际应用于动画制作时，还可以进一步优化基于运动捕捉技术的动画制作流程，提升动画制作的效率。
当然，以上生成三维模型动画的方法仅为最终修正动作数据的一种应用场景的示例，不应理解为限制。诸如最终修正动作数据还可以应用于虚拟增强现实、互动式游戏等场景中。
基于上述发明实施例提供的动作数据的修正方法，本发明实施例还进一步提供了一种更符合实际应用场景的动作数据的修正方法，参照如图2所示的动作数据的修正方法的部署示意图，主要部署有如下三部分：数据捕捉和处理部分、神经网络模型部分以及数据平滑滤波部分，上述三部分之间通过对应的数据接口进行数据交互。其中，数据捕捉和处理部分主要用于：通过动作捕捉设备获取原始动作数据，存储原始动作数据以及将原始动作数据转换为四元数数组；神经网络模型部分主要用于：标注动作样本数据，基于动作样本数据进行神经网络模型的训练、存储训练好的神经网络模型，通过神经网络模型进行初始修正；数据平滑滤波部分主要用于：对初始修正动作数据进行平滑滤波，将最终修正动作数据进行格式转换，生成三维模型动画以及对初始修正动作数据进行微调。
为了便于理解，本实施例可进一步结合图3所示的另一种动作数据的修正方法流程图，对上述动作数据的修正方法展开描述，参照如下七步：
第一步，通过预先布设的动作捕捉设备捕捉测试对象上各预设的骨骼关键点的原始动作数据。
第二步，将原始动作数据转换为对应的四元数数组；本实施例中采用的骨骼关键点的数量为67个，转换后的四元数数组可表示为长度为67*4的二维特征向量；将四元数数组进行保存并开放数据API(Application Programming Interface，应用程序编程接口)，以便将四元数数组应用于神经网络模型的训练和数据修正。
第三步，将捕捉时间相邻的多帧四元数样本进行堆叠，得到四元数数组样本，且堆叠于中间的四元数样本为目标四元数。
第四步，神经网络模型基于四元数数组样本对目标四元数进行修正，得到初始修正动作数据。
第五步，对初始修正动作数据进行平滑滤波，得到并保存最终修正动作数据。
第六步，通过开放API获取最终修正动作数据。
第七步，将最终修正动作数据转换为3DMax等动画软件所需要的数据格式，并格式转换后的最终修正动作数据应用于角色动画制作；以及，通过调用Unity引擎生成三维模型动画。
基于上述实施例提供的动作数据的修正方法，本实施例提供一组如图4(a)和图4(b)所示的动作修正前后效果示意图。参照图4(a)所示的第一动作图像序列示意图，展示了将未修正的原始动作数据应用于角色动画制作所生成的动作图像序列，其中多帧动作图像中手部与身体存在明显的穿模现象，且动作不自然。参照图4(b)所示的第二动作图像序列示意图，展示了将已修正的原始动作数据应用于角色动画制作所生成的动作图像序列，其中，该已修正的原始动作数据是采用上述实施例所提供的动作数据修正方法得到的最终修正动作数据，可以明显看出，图4(b)展示的动作图像序列能够较好地改善图4(a)中存在的穿模、不自然等问题。
综上，基于上述实施例可知，本发明实施例所提供的动作数据的修正方法，能够将原始工作数据转换为运算方式简便的四元数数组，再通过神经网络模型对四元数数组进行初始修正，以及对初始修正动作数据进行平滑滤波，有效简化了修正数据的操作方式和提升了数据修正的效率。进一步通过将最终修正动作数据应用于制作角色动画，能够提升动画制作的效率。
基于上述实施例所提供的动作数据的修正方法，本发明实施例提供了一种动作数据的修正装置，参照如图5所示的动作数据的修正装置结构框图，包括：
动作数据获取模块502，用于通过预先布设的动作捕捉设备获取原始动作数据；原始动作数据包括携带有捕捉时间的多帧动作数据；
数组转换模块504，用于将原始动作数据中的每帧动作数据分别转换为四元数，得到原始动作数据对应的四元数数组；
数组修正模块506，用于将四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；其中，神经网络模型为基于已标注的动作样本数据训练得到的；
数据滤波模块508，用于对初始修正动作数据进行平滑滤波，得到最终修正动作数据。
本发明实施例提供的上述动作数据的修正装置，能够首先通过预先布设的动作捕捉设备获取原始动作数据，原始动作数据包括携带有捕捉时间的多帧动作数据；然后将原始动作数据中的每帧动作数据分别转换为四元数，得到原始动作数据对应的四元数数组；进一步将四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；最后对初始修正动作数据进行平滑滤波，得到最终修正动作数据。本实施例能够将原始工作数据转换为运算方式简便的四元数数组，再通过神经网络模型对四元数数组进行初始修正，以及对初始修正动作数据进行平滑滤波，有效简化了修正数据的操作方式和提升了数据修正的效率。
在一些实施例中，上述数组修正模块506还用于：将四元数数组输入预先训练好的神经网络模型；通过神经网络模型获取四元数数组携带的时间参数，时间参数包括各四元数对应的捕捉时间；对四元数数组进行采样，得到捕捉时间相邻的多帧四元数样本；按照捕捉时间的顺序对多帧四元数样本进行堆叠，得到四元数数组样本，将堆叠次序为预设值的四元数样本确定为目标四元数；基于四元数数组样本对目标四元数进行修正，得到初始修正动作数据。
在一些实施例中，上述动作数据的修正装置还包括神经网络模型的训练模块(图中未示出)，该神经网络模型的训练模块用于：基于深度学习训练框架生成待训练的神经网络模型；其中，深度学习训练框架包括以下中的一种：PyTorch、Caffe和TensorFlow；将标注有基准修正动作结果的动作样本数据输入待训练的神经网络模型进行修正，得到预测修正动作结果；基于预测修正动作结果和基准修正动作结果，计算损失函数值；根据损失函数值，通过反向传播算法对待训练的神经网络模型的权重进行调整，并重复上述训练过程，直至损失函数值收敛至预设值时结束训练。
在一些实施例中，上述神经网络模型的训练模块还用于：基于预测修正动作结果和基准修正动作结果，计算动作准确度误差和平滑误差；根据动作准确度误差和平滑误差计算损失函数值。
具体的，计算动作准确度误差：
其中，lossmse为动作准确度误差，
为第m帧动作样本数据中第i个骨骼关键点的预测动作修正结果，
为第m帧动作样本数据中第i个骨骼关键点的基准修正动作结果，K为骨骼关键点的总数。
计算平滑误差：
其中，losssmooth为平滑误差，
为第m帧动作样本数据中第i个骨骼关键点的预测动作修正结果，
为第m帧动作样本数据中第i个骨骼关键点的基准动作修正结果，K为骨骼关键点的总数，N为动作样本数据的总帧数。
以及，计算损失函数值：loss＝lossmse+osssmooth*λ
其中，loss为损失函数值，lossmse为动作准确度误差，losssmooth为平滑误差，λ为预设的比例系数。
在一些实施例中，上述动作数据获取模块502还用于：通过预先布设的动作捕捉设备捕捉测试对象上各预设的骨骼关键点的原始动作数据；其中，原始动作数据为测试对象在预设环境中执行指定动作时对应的数据。
在一些实施例中，上述数据滤波模块508还用于：采用Savitzky–Golay滤波器对初始修正动作数据进行平滑滤波。
在一些实施例中，上述动作数据的修正装置还包括动画生成模块(图中未示出)，该动画生成模块用于：调用Unity引擎；基于最终修正动作数据和预设的虚拟三维模型，在Unity引擎中生成三维模型动画。
基于前述实施例，本发明实施例提供了一种电子设备，包括：处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行上述实施例中动作数据的修正方法。
具体的，参见如图6所示的电子设备的结构示意图，还包括总线603和通信接口604，处理器602、通信接口604和存储器601通过总线603连接。
其中，存储器601可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口604(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线603可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器602可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器602可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器602读取存储器601中的信息，结合其硬件完成前述实施例的方法的步骤。
进一步，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例中动作数据的修正方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、电子设备和机器可读存储介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种动作数据的修正方法，其特征在于，包括：
通过预先布设的动作捕捉设备获取原始动作数据；所述原始动作数据包括携带有捕捉时间的多帧动作数据；
将所述原始动作数据中的每帧动作数据分别转换为四元数，得到所述原始动作数据对应的四元数数组；
将所述四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；其中，所述神经网络模型为基于已标注的动作样本数据训练得到的；
对所述初始修正动作数据进行平滑滤波，得到最终修正动作数据；
将所述四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据的步骤，包括：
将所述四元数数组输入预先训练好的神经网络模型；
通过所述神经网络模型获取所述四元数数组携带的时间参数，所述时间参数包括各所述四元数对应的捕捉时间；
对所述四元数数组进行采样，得到捕捉时间相邻的多帧四元数样本；
按照所述捕捉时间的顺序对多帧所述四元数样本进行堆叠，得到四元数数组样本，将堆叠次序为预设值的四元数样本确定为目标四元数；
基于所述四元数数组样本对所述目标四元数进行修正，得到初始修正动作数据。
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程包括：
基于深度学习训练框架生成待训练的神经网络模型；其中，深度学习训练框架包括以下中的一种：PyTorch、Caffe和TensorFlow；
将所述已标注的动作样本数据输入所述待训练的神经网络模型进行修正，得到预测修正动作结果；
基于所述预测修正动作结果和所述已标注的动作样本数据，计算损失函数值；
根据所述损失函数值，通过反向传播算法对所述待训练的神经网络模型的权重进行调整，并重复上述训练过程，直至所述损失函数值收敛至预设值时结束训练。
3.根据权利要求2所述的方法，其特征在于，基于所述预测修正动作结果和所述已标注的动作样本数据，计算损失函数值的步骤，包括：
基于所述预测修正动作结果和所述已标注的动作样本数据，计算动作准确度误差和平滑误差；
根据所述动作准确度误差和平滑误差计算损失函数值。
4.根据权利要求3所述的方法，其特征在于，基于所述预测修正动作结果和所述已标注的动作样本数据，计算动作准确度误差的步骤，包括：
计算动作准确度误差：
其中，lossmse为动作准确度误差，
为第m帧动作样本数据中第i个骨骼关键点的预测动作修正结果，
为第m帧动作样本数据中第i个骨骼关键点的已标注的动作样本数据，K为骨骼关键点的总数。
5.根据权利要求3所述的方法，其特征在于，基于所述预测修正动作结果和所述已标注的动作样本数据，计算平滑误差的步骤，包括：
计算平滑误差：
其中，losssmooth为平滑误差，
为第m帧动作样本数据中第i个骨骼关键点的预测动作修正结果，
为第m帧动作样本数据中第i个骨骼关键点的已标注的动作样本数据，K为骨骼关键点的总数，N为动作样本数据的总帧数。
6.根据权利要求3所述的方法，其特征在于，根据所述动作准确度误差和平滑误差得到损失函数值的步骤，包括：
计算损失函数值：loss＝lossmse+losssmooth*λ
其中，loss为损失函数值，lossmse为动作准确度误差，losssmooth为平滑误差，λ为预设的比例系数。
7.根据权利要求1所述的方法，其特征在于，通过预先布设的动作捕捉设备获取原始动作数据的步骤，包括：
通过预先布设的动作捕捉设备捕捉测试对象上各预设的骨骼关键点的原始动作数据；其中，所述原始动作数据为所述测试对象在预设环境中执行指定动作时对应的数据。
8.根据权利要求1所述的方法，其特征在于，对所述初始修正动作数据进行平滑滤波的步骤，包括：
采用Savitzky–Golay滤波器对所述初始修正动作数据进行平滑滤波。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
调用Unity引擎；
基于所述最终修正动作数据和预设的虚拟三维模型，在所述Unity引擎中生成三维模型动画。
10.一种动作数据的修正装置，其特征在于，包括：
动作数据获取模块，用于通过预先布设的动作捕捉设备获取原始动作数据；所述原始动作数据包括携带有捕捉时间的多帧动作数据；
数组转换模块，用于将所述原始动作数据中的每帧动作数据分别转换为四元数，得到所述原始动作数据对应的四元数数组；
数组修正模块，用于将所述四元数数组输入预先训练好的神经网络模型进行修正，得到初始修正动作数据；其中，所述神经网络模型为基于已标注的动作样本数据训练得到的；
数据滤波模块，用于对所述初始修正动作数据进行平滑滤波，得到最终修正动作数据；
数组修正模块还用于：将四元数数组输入预先训练好的神经网络模型；通过神经网络模型获取四元数数组携带的时间参数，时间参数包括各四元数对应的捕捉时间；对四元数数组进行采样，得到捕捉时间相邻的多帧四元数样本；按照捕捉时间的顺序对多帧四元数样本进行堆叠，得到四元数数组样本，将堆叠次序为预设值的四元数样本确定为目标四元数；基于四元数数组样本对目标四元数进行修正，得到初始修正动作数据。
11.一种电子设备，其特征在于，包括：处理器和存储装置；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至9任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910985771.3A CN110738717B (zh) | 2019-10-16 | 2019-10-16 | 动作数据的修正方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910985771.3A CN110738717B (zh) | 2019-10-16 | 2019-10-16 | 动作数据的修正方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110738717A CN110738717A (zh) | 2020-01-31 |
| CN110738717B true CN110738717B (zh) | 2021-05-11 |
Family
ID=69269166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910985771.3A Active CN110738717B (zh) | 2019-10-16 | 2019-10-16 | 动作数据的修正方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738717B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112213673B (zh) * | 2020-09-07 | 2022-11-22 | 上海东软医疗科技有限公司 | 动态磁共振成像方法、装置、重建计算机及磁共振系统 |
| CN114742108B (zh) * | 2022-04-20 | 2022-12-20 | 中科航迈数控软件(深圳)有限公司 | 一种数控机床轴承故障检测方法及系统 |
| CN115204387B (zh) * | 2022-07-21 | 2023-10-03 | 法奥意威(苏州)机器人系统有限公司 | 分层目标条件下的学习方法、装置和电子设备 |
| CN115346640B (zh) * | 2022-10-14 | 2022-12-27 | 佛山科学技术学院 | 一种功能性康复训练闭环反馈的智能监测方法及系统 |
| CN115797517B (zh) * | 2023-01-16 | 2023-04-28 | 腾讯科技（深圳）有限公司 | 虚拟模型的数据处理方法、装置、设备和介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787478A (zh) * | 2016-04-14 | 2016-07-20 | 中南大学 | 基于神经网络和灵敏度参数的人脸转向识别方法 |
| CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN106530377A (zh) * | 2016-12-16 | 2017-03-22 | 厦门幻世网络科技有限公司 | 用于操作三维动画角色的方法和装置 |
| CN106778628A (zh) * | 2016-12-21 | 2017-05-31 | 张维忠 | 一种基于tof深度相机的面部表情捕捉方法 |
| WO2017155660A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Action localization in sequential data with attention proposals from a recurrent network |
| CN107392097A (zh) * | 2017-06-15 | 2017-11-24 | 中山大学 | 一种单目彩色视频的三维人体关节点定位方法 |
| CN108288300A (zh) * | 2018-01-12 | 2018-07-17 | 北京蜜枝科技有限公司 | 人体动作捕捉与骨骼数据映射系统及其方法 |
| CN109034397A (zh) * | 2018-08-10 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置、计算机设备及存储介质 |
| CN110033505A (zh) * | 2019-04-16 | 2019-07-19 | 西安电子科技大学 | 一种基于深度学习的人体动作捕捉与虚拟动画生成方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108122234B (zh) * | 2016-11-29 | 2021-05-04 | 北京市商汤科技开发有限公司 | 卷积神经网络训练及视频处理方法、装置和电子设备 |
-
2019
- 2019-10-16 CN CN201910985771.3A patent/CN110738717B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| WO2017155660A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Action localization in sequential data with attention proposals from a recurrent network |
| CN105787478A (zh) * | 2016-04-14 | 2016-07-20 | 中南大学 | 基于神经网络和灵敏度参数的人脸转向识别方法 |
| CN106530377A (zh) * | 2016-12-16 | 2017-03-22 | 厦门幻世网络科技有限公司 | 用于操作三维动画角色的方法和装置 |
| CN106778628A (zh) * | 2016-12-21 | 2017-05-31 | 张维忠 | 一种基于tof深度相机的面部表情捕捉方法 |
| CN107392097A (zh) * | 2017-06-15 | 2017-11-24 | 中山大学 | 一种单目彩色视频的三维人体关节点定位方法 |
| CN108288300A (zh) * | 2018-01-12 | 2018-07-17 | 北京蜜枝科技有限公司 | 人体动作捕捉与骨骼数据映射系统及其方法 |
| CN109034397A (zh) * | 2018-08-10 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置、计算机设备及存储介质 |
| CN110033505A (zh) * | 2019-04-16 | 2019-07-19 | 西安电子科技大学 | 一种基于深度学习的人体动作捕捉与虚拟动画生成方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于四元数时空卷积神经网络的人体行为识别;孟勃等;《仪器仪表学报》;20171130;第38卷(第11期);第2643-2650页 * |
| 如何看待四元数神经网络？;匿名用户;《https://www.zhihu.com/question/341402262》;20190819;第1-2页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110738717A (zh) | 2020-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738717B (zh) | 动作数据的修正方法、装置及电子设备 | |
| CN110139115B (zh) | 基于关键点的虚拟形象姿态控制方法、装置及电子设备 | |
| CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
| CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
| CN112381003B (zh) | 动作捕捉方法、装置、设备及存储介质 | |
| CN110544302A (zh) | 基于多目视觉的人体动作重建系统、方法和动作训练系统 | |
| CN111753801A (zh) | 人体姿态跟踪与动画生成方法及装置 | |
| US20150379333A1 (en) | Three-Dimensional Motion Analysis System | |
| US20230154104A1 (en) | UNCERTAINTY-AWARE FUSION TOWARDS LARGE-SCALE NeRF | |
| CN111479087A (zh) | 3d监控场景控制方法、装置、计算机设备及存储介质 | |
| CN114640833A (zh) | 投影画面调整方法、装置、电子设备和存储介质 | |
| CN110415322B (zh) | 虚拟对象模型的动作指令的生成方法和装置 | |
| KR102118937B1 (ko) | 3d 데이터서비스장치, 3d 데이터서비스장치의 구동방법 및 컴퓨터 판독가능 기록매체 | |
| KR102358464B1 (ko) | 인공지능 기술을 이용하여 영상 정보로부터 3d 캐릭터 애니메이션을 자동으로 생성하는 3d 이미지 변환장치 및 이를 포함하는 3d 이미지 변환시스템 | |
| CN112418046B (zh) | 一种基于云机器人的健身指导方法、存储介质及系统 | |
| JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| KR101515845B1 (ko) | 동작 인식 방법 및 동작 인식 장치 | |
| US20230273318A1 (en) | System and method of capturing three-dimensional human motion capture with lidar | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
| CN116030533A (zh) | 运动场景的高速动作捕捉与识别方法及系统 | |
| CN112637496B (zh) | 图像矫正方法及装置 | |
| CN114140530A (zh) | 一种图像处理方法及投影设备 | |
| CN113743283A (zh) | 网状拓扑结构获取方法、装置、电子设备及存储介质 | |
| CN112364818A (zh) | 动作的纠正方法、装置、电子设备及存储介质 | |
| CN115311472A (zh) | 一种动作捕捉方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |