CN117788775A - 一种数字人手掌骨骼姿态校正方法、装置、设备及介质 - Google Patents
一种数字人手掌骨骼姿态校正方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117788775A CN117788775A CN202410217758.4A CN202410217758A CN117788775A CN 117788775 A CN117788775 A CN 117788775A CN 202410217758 A CN202410217758 A CN 202410217758A CN 117788775 A CN117788775 A CN 117788775A
- Authority
- CN
- China
- Prior art keywords
- palm
- data
- digital human
- model
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 210000000707 wrist Anatomy 0.000 claims description 44
- 210000001145 finger joint Anatomy 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 21
- 210000000988 bone and bone Anatomy 0.000 claims description 18
- 210000003857 wrist joint Anatomy 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000236 metacarpal bone Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种数字人手掌骨骼姿态校正方法、装置、设备及介质,用于解决现有的手掌关节估计方法无法适配不同虚拟角色的手掌骨骼的技术问题。本发明包括:捕捉预设视频中的手掌关节旋转数据;采用所述手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;将所述手掌模型数据重定向转换到数字人手掌模型中,得到数字人手掌关节旋转数据;对所述数字人手掌关节旋转数据进行后处理修正,得到数字人手掌骨骼姿态校正数据。本发明通过将手掌模型与数字人手掌模型进行重定向转换和修正,从而得到符合数字人手掌结构的手掌骨骼姿态数据,使得数字人手掌骨骼姿态与实际姿态相对应。
Description
技术领域
本发明涉及提要校正技术领域,尤其涉及一种数字人手掌骨骼姿态校正方法、装置、设备及介质。
背景技术
单目视觉动捕技术应用广泛,主要包括深度学习识别人体肢体和手掌形态,获取骨骼关节旋转数据后驱动虚拟数字人,然而深度学习估计的旋转数据通常存在误差和偏差,驱动效果不自然,并且驱动数据不能适配不同形态骨骼的虚拟数字人手掌模型;目前存在根据手掌各关节点的投影特征进行手指姿态校正的方法,然而该方式主要是解决手掌关节估计的准确性,并不能在驱动时适配不同虚拟角色的手掌骨骼。
发明内容
本发明提供了一种数字人手掌骨骼姿态校正方法、装置、设备及介质,用于解决现有的手掌关节估计方法无法适配不同虚拟角色的手掌骨骼的技术问题。
本发明提供了一种数字人手掌骨骼姿态校正方法,包括:
捕捉预设视频中的手掌关节旋转数据;
采用所述手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;
将所述手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据;
对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
可选地,所述将所述手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据的步骤,包括:
建立所述手掌模型的第一手腕坐标系;
建立所述数字人手掌模型的第二手腕坐标系;
计算所述第一手腕坐标系和所述第二手腕坐标系之间的旋转矩阵;
构建所述手掌模型的骨骼链;
从所述手掌模型数据中提取所述手掌模型的手腕关节旋转量及所述骨骼链的手指关节旋转量;
采用所述手腕关节旋转量、所述手指关节旋转量和所述旋转矩阵生成所述数字人手掌模型的数字人手掌关节旋转数据。
可选地,所述构建所述手掌模型的骨骼链的步骤,包括:
从所述手掌模型数据中提取手腕坐标数据和各手指的关节数据;
采用所述手腕坐标数据和各手指的关节数据,分别生成各手指的骨骼链。
可选地,所述采用所述手腕关节旋转量、所述手指关节旋转量和所述旋转矩阵生成所述数字人手掌模型的数字人手掌关节旋转数据的步骤,包括:
将所述手腕关节旋转量、所述手指关节旋转量以所述旋转矩阵相乘,得到第二手腕坐标系下的旋转数据;
将所述旋转数据与所述手指关节旋转量进行逆乘,得到所述骨骼链的数字人骨骼链关节旋转数据;
采用所有所述数字人骨骼链关节旋转数据生成数字人模型的数字人手掌关节旋转数据。
可选地,所述将所述手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据的步骤,包括:
对齐所述手掌模型和所述数字人手掌模型;
通过虚拟引擎FK前向运动解算和IK逆向运动解算将所述手掌模型的手掌模型数据插值转换到所述数字人手掌模型中,得到数字人手掌关节旋转数据。
可选地,所述对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据的步骤,包括:
计算所述数字人手掌关节旋转数据与相同标准动作的动画数据的差值和平均误差;
采用所述差值和所述平均误差对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
可选地,所述采用所述差值和所述平均误差对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据步骤,包括:
根据所述差值和所述平均误差计算旋转修正偏移量和旋转系数;
计算所述各关节欧拉角的角度变化范围的最大值和最小值;
采用所述旋转修正偏移量、所述旋转系数、所述角度变化范围的最大值和最小值计算各关节的欧拉角的修正旋转量;
采用所有关节的欧拉角的修正旋转量生成数字人手掌骨骼姿态校正数据。
本发明还提供了一种数字人手掌骨骼姿态校正装置,包括:
捕捉预设手掌关节旋转数据模块,用于捕捉预设视频中的手掌关节旋转数据;
手掌关节驱动模块,用于采用所述手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;
转换模块,用于将所述手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据;
旋转数据修正模块,用于对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
本发明还提供了一种电子设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的数字人手掌骨骼姿态校正方法。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行如上任一项所述的数字人手掌骨骼姿态校正方法。
从以上技术方案可以看出,本发明具有以下优点:本发明提供了一种数字人手掌骨骼姿态校正方法,具体包括:捕捉预设视频中的手掌关节旋转数据;采用手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;将手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据;对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。本发明通过将手掌模型与数字人手掌模型进行转换,从而得到符合数字人手掌结构的手掌骨骼姿态数据,使得数字人手掌骨骼姿态与实际姿态相对应。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种数字人手掌骨骼姿态校正方法的步骤流程图;
图2为smpl手掌模型示意图;
图3为本发明另一实施例提供的一种数字人手掌骨骼姿态校正方法的步骤流程图;
图4为不同数字人手掌与3D基础模型手掌姿势对齐示意图;
图5为本发明另一实施例提供的一种数字人手掌骨骼姿态校正方法的步骤流程图;
图6为手掌模型与数字人手掌模型重定向骨骼链示意图;
图7为本发明实施例提供的一种数字人手掌骨骼姿态校正装置的结构框图。
具体实施方式
本发明实施例提供了一种数字人手掌骨骼姿态校正方法、装置、设备及介质,用于解决现有的手掌关节估计方法无法适配不同虚拟角色的手掌骨骼的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明实施例提供的一种数字人手掌骨骼姿态校正方法的步骤流程图。
本发明提供的一种数字人手掌骨骼姿态校正方法,具体可以包括以下步骤:
步骤101,捕捉预设视频中的手掌关节旋转数据;
在本发明实施例中,手掌关键旋转数据包括15个关节的欧拉角,例如食指有left_index1、left_index2、left_index3三个关节的欧拉角。
在具体实现中,单目视觉动捕可以通过AI模型推理预设视频中手掌动作后得到关节旋转数据。
单目视觉是指仅利用一台摄像机完成视觉任务。
步骤102,采用手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;
在获取到手掌关节旋转数据后,可以采用手掌关节旋转数据来驱动预设手掌模型,如smpl手掌模型,smpl手掌模型如图2所示。具体实现方式是在虚拟引擎中通过骨骼动画驱动的方式将手掌关节旋转数据一一对应赋给smpl手掌模型的关节进行驱动,从而从smpl手掌模型中获取手掌模型数据,包括各个关节点的坐标数据。
smpl(Skinned Multi-Person Linear Model)模型是一种裸体的(skinned),基于顶点(wertex-based)的人体三维模型,能够精确地表示人体的不同形状(shape)和姿态(pose)。
步骤103,将手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据;
在获取到手掌模型数据后,可以将手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据。
在具体实现中,可以通过坐标系变换的方式来实现手掌模型到数字人手掌模型的转换。
在另一种实现中,还可以通过虚拟引擎重定向的方式来进行手掌模型和数字人手掌模型之间的转换。
在获取到手掌模型数据后,可以将手掌模型数据重定向到数字人手掌模型中,得到数字人手掌关节旋转数据。
步骤104,对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
在本发明实施例中,通过重定向或坐标系变换得到的数字人手掌关节旋转数据对应的动作,以预设视频中动作大致相同,但会存在细节误差,比如手指并拢时存在缝隙,握拳时手指弯曲度不够等。因此需要对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
通过数字人手掌骨骼姿态校正数据,可以驱动数字人进行相应的手掌运动。
本发明通过将手掌模型与数字人手掌模型进行转换,从而得到符合数字人手掌结构的手掌骨骼姿态数据,使得数字人手掌骨骼姿态与实际姿态相对应。
请参阅图3,图3为本发明另一实施例提供的一种数字人手掌骨骼姿态校正方法的步骤流程图。
步骤301,捕捉预设视频中的手掌关节旋转数据;
步骤302,采用手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;
步骤301-302与步骤101-102相同,具体可以参考步骤101-102的描述,此处不再赘述。
步骤303,建立手掌模型的第一手腕坐标系;
步骤304,建立数字人手掌模型的第二手腕坐标系;
步骤305,计算第一手腕坐标系和第二手腕坐标系之间的旋转矩阵;
在本发明实施例中,可以通过坐标系矩阵变换的方式将手掌模型数据应用到数字人手掌模型中。
在具体实现中,矩阵变换方式的原理为骨骼动画原理,以两个3D模型手腕坐标系对齐为例,分别建立手掌模型的第一手腕坐标系和数字人手掌模型的第二手腕坐标系;然后根据第一手腕坐标系和第二手腕坐标系在相同世界坐标系的朝向计算出两者之间的旋转矩阵R t 。
步骤306,构建手掌模型的骨骼链;
在一个示例中,可以在虚拟引擎的IK Rig界面的骨骼数中选中对应的骨骼进行骨骼链创建。
具体地,构建手掌模型的骨骼链的步骤,可以包括以下子步骤:
S3061,从手掌模型数据中提取手腕坐标数据和各手指的关节数据;
S3062,采用手腕坐标数据和各手指的关节数据,分别生成各手指的骨骼链。
以左手食指为例,左手食指包含三个关节left_index1、left_index2、left_index3,则可以采用left_index1、left_index2、left_index3为一组骨骼链。
步骤307,从手掌模型数据中提取手掌模型的手腕关节旋转量及骨骼链的手指关节旋转量;
步骤308,采用手腕关节旋转量、手指关节旋转量和旋转矩阵生成数字人手掌模型的数字人手掌关节旋转数据;
在本发明实施例中,在生成手掌模型和数字人手掌模型的旋转矩阵后,可以遍历骨骼链的每个子关节,依次将子关节的运动旋转量累积到第一手腕坐标系得到手掌模型在第一手腕坐标系下的坐标,然后通过旋转矩阵将手掌模型数据转化为数字人手掌模型的数字人手掌关节旋转数据。
在一个示例中,采用手腕关节旋转量、手指关节旋转量和旋转矩阵生成数字人手掌模型的数字人手掌关节旋转数据的步骤,可以包括以下子步骤:
S3081,将手腕关节旋转量、手指关节旋转量与旋转矩阵相乘,得到第二手腕坐标系下的旋转数据;
S3082,采集数字人的数字人当前手指关节旋转量;
S3083,将旋转数据与数字人当前手指关节旋转量进行逆乘,得到骨骼链的数字人骨骼链关节旋转数据;
S3084,采用所有数字人骨骼链关节旋转数据生成数字人模型的数字人手掌关节旋转数据。
在具体实现中,以左手食指为例,依次遍历左手食指骨骼的每个子关节,依次将子关节的运动旋转量累积到第一手腕坐标系得到:
;
其中,、/>、/>、/>分别为smpl手腕、食指关节1、食指关节2、食指关节3的手指关节旋转量。
然后通过R t 将smpl食指的运动转换到3D数字人手掌模型的第二手腕坐标系下,得到第二手腕坐标系下的旋转数据:
;
接着通过逆乘3D数字人食指骨骼链上各关节选择数据,可以生成该骨骼链的数字人骨骼链关节旋转数据。
例如数字人食指第三关节left_index3的运动旋转数据计算如下:
;
其中,、/>、/>分别为3D数字人手腕,食指1,食指2的数字人当前手指关节旋转量。
步骤309,对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
在本发明实施例中,通过坐标系变换得到的数字人手掌关节旋转数据对应的动作,与预设视频中动作大致相同,但会存在细节误差,比如手指并拢时存在缝隙,握拳时手指弯曲度不够等。因此需要对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
在一个示例中,对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据的步骤,具体可以包括以下子步骤:
S3091,数字人手掌关节旋转数据与相同标准动作的动画数据的差值和平均误差;
S3092,采用差值和平均误差对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
在具体实现中,可以获取相同运动下动画数据和数字人手掌模型的欧拉角数据,计算两者之间的差值及平均误差,统计出各个手指关节不同帧的平均误差和偏移量。
然后采用平均误差和差值对旋转数据源的欧拉角进行偏移、缩放、角度限制的方式进行处理修正,得到修正后的数字人手掌骨骼姿态校正数据。以通过数字人手掌骨骼姿态校正数据驱动数字人,达到更好的驱动效果。
在一个示例中,采用差值和平均误差对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据步骤,可以包括:
S30921,根据差值和平均误差计算旋转修正偏移量和旋转系数;
S30922,计算各关节欧拉角的角度变化范围的最大值和最小值;
S30923,采用旋转修正偏移量、旋转系数、角度变化范围的最大值和最小值计算各关节的欧拉角的修正旋转量;
S30924,采用所有关节的欧拉角的修正旋转量生成数字人手掌骨骼姿态校正数据。
在实际应用中,通过分析手指运动时各关节的旋转数据变化,可以明确大多数手指关节运动时只存在1到2个自由度,因此本发明实施例通过分析相同动作时AI驱动3D数字人手掌关节旋转数据与3D动画关节旋转数据曲线对比,通过将相同运动下两种欧拉角旋转数据导出并可视化,计算其差值和平均误差,来统计各个手指关节不同帧的旋转修正偏移量和旋转系数。然后采用旋转修正偏移量、旋转系数、角度变化范围的最大值和最小值计算各关节的欧拉角的修正旋转量。让修正后的驱动效果更加自然。欧拉角单个角度修正示例如下:
;
其中,为欧拉角的修正旋转量,c为旋转系数,e为旋转修正偏移量,为欧拉角角度变化范围的最大值,/>为欧拉角角度变化范围的最小值。
将所有关节的欧拉角进行修正,则可以得到完整的数字人手掌骨姿态校正数据。
数字人驱动的主要任务之一是能够对不同数字人模型进行适配驱动。不同数字人的手掌模型通常存在骨骼初始坐标系和姿势不一样的问题,本发明通过重定向姿势对齐的方式进行适配,在虚幻引擎中将其它数字人手掌默认姿势对齐到3D数字人标准基础模型的姿势,姿势对齐后同样创建骨骼链的方式驱动目标手掌关节。若存在手掌大小不一致的问题,则通过计算相同姿势的角度偏移值来进行叠加修正,从而实现相同手掌旋转数据源适配不同3D数字人手掌模型实现较自然的驱动效果。不同数字人手掌与3D基础模型手掌姿势对齐示意图如图4所示。
本发明通过将手掌模型与数字人手掌模型进行转换,从而得到符合数字人手掌结构的手掌骨骼姿态数据,使得数字人手掌骨骼姿态与实际姿态相对应。
请参阅图5,图5为本发明另一实施例提供的一种数字人手掌骨骼姿态校正方法的步骤流程图。具体可以包括以下步骤:
步骤501,捕捉预设视频中的手掌关节旋转数据;
步骤502,采用手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;
在具体实现中,可以捕捉预设视频中手掌的各个关节,从而得到视频中手掌的手掌关节旋转数据。
在获取到手掌关节旋转数据后,可以采用手掌关节旋转数据来驱动预设手掌模型,如smpl手掌模型。具体实现方式是在虚拟引擎中通过骨骼动画驱动的方式将手掌关节旋转数据一一对应赋给smpl手掌模型的关节进行驱动,从而从smpl手掌模型中获取手掌模型数据,包括各个关节点的坐标数据。
步骤503,对齐手掌模型和数字人手掌模型;
步骤504,通过虚拟引擎FK前向运动解算和IK逆向运动解算将手掌模型的手掌模型数据插值转换到数字人手掌模型中,得到数字人手掌关节旋转数据;
在一个示例中,手掌模型骨骼链的生成可以通过以下方式实现:首先对齐手掌模型和数字人手掌模型的初始状态,通过虚拟引擎FK前向运动解算将smpl模型手指父子关节的运动插值转换到数字人手掌模型的手指,如果启用IK逆向运动解算,则重定向过程中以手指末端关节的位置为基准,反向迭代计算手指父关节的旋转量。以一根手指三个关节为例,比如左手食指三个关节的名字left_index1、left_index2、left_index3。其中index1为index2的父关节。index2为index3的父关节。index2为index1的子关节。手掌模型与数字人手掌模型重定向骨骼链如图6所示。
步骤505,对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
步骤505与步骤309相同,具体可以参照步骤309的描述。
本发明通过将手掌模型与数字人手掌模型进行转换,从而得到符合数字人手掌结构的手掌骨骼姿态数据,使得数字人手掌骨骼姿态与实际姿态相对应。
请参阅图7,图7为本发明实施例提供的一种数字人手掌骨骼姿态校正装置的结构框图。
本发明实施例提供了一种数字人手掌骨骼姿态校正装置,包括:
捕捉预设手掌关节旋转数据模块701,用于捕捉预设视频中的手掌关节旋转数据;
手掌关节驱动模块702,用于采用手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;
转换模块703,用于将手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据;
旋转数据修正模块704,用于对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
在本发明实施例中,所述转换模块703,包括:
第一手腕坐标系建立子模块,用于建立所述手掌模型的第一手腕坐标系;
第二手腕坐标系建立子模块,用于建立所述数字人手掌模型的第二手腕坐标系;
旋转矩阵计算子模块,用于计算所述第一手腕坐标系和所述第二手腕坐标系之间的旋转矩阵;
骨骼链构建子模块,用于构建所述手掌模型的骨骼链;
手腕关节旋转量及手指关节旋转量提取子模块,用于从所述手掌模型数据中提取所述手掌模型的手腕关节旋转量及所述骨骼链的手指关节旋转量;
数字人手掌关节旋转数据生成子模块,用于采用所述手腕关节旋转量、所述手指关节旋转量和所述旋转矩阵生成所述数字人手掌模型的数字人手掌关节旋转数据。
在本发明实施例中,骨骼链构建子模块,包括:
手腕坐标数据和关节数据提取单元,从所述手掌模型数据中提取手腕坐标数据和各手指的关节数据;
骨骼链生成单元,用于采用所述手腕坐标数据和各手指的关节数据,分别生成各手指的骨骼链。
在本发明实施例中,数字人手掌关节旋转数据生成子模块,包括:
旋转数据计算单元,用于将所述手腕关节旋转量、所述手指关节旋转量与所述旋转矩阵相乘,得到第二手腕坐标系下的旋转数据;
数字人当前手指关节旋转量采集单元,用于采集数字人的数字人当前手指关节旋转量;
数字人骨骼链关节旋转数据计算单元,用于将所述旋转数据与所述数字人当前手指关节旋转量进行逆乘,得到所述骨骼链的数字人骨骼链关节旋转数据;
数字人手掌关节旋转数据生成单元,用于采用所有所述数字人骨骼链关节旋转数据生成数字人模型的数字人手掌关节旋转数据。
在本发明实施例中,转换模块703,包括:
对齐子模块,用于对齐手掌模型和数字人手掌模型;
前向运动解算子模块,用于通过虚拟引擎FK前向运动解算和IK逆向运动解算将手掌模型的手掌模型数据插值转换到数字人手掌模型中,得到数字人手掌关节旋转数据。
在本发明实施例中,旋转数据修正模块704,包括:
差值和平均误差计算子模块,用于计算数字人手掌关节旋转数据与相同标准动作的动画数据的差值和平均误差;
修正子模块,用于采用差值和平均误差对数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
在本发明实施例中,修正子模块,包括:
旋转修正偏移量和旋转系数计算单元,用于根据所述差值和所述平均误差计算旋转修正偏移量和旋转系数;
最大值和最小值计算单元,用于计算所述各关节欧拉角的角度变化范围的最大值和最小值;
修正旋转量计算单元,用于采用所述旋转修正偏移量、所述旋转系数、所述角度变化范围的最大值和最小值计算各关节的欧拉角的修正旋转量;
数字人手掌骨骼姿态校正数据生成单元,用于采用所有关节的欧拉角的修正旋转量生成数字人手掌骨骼姿态校正数据。
本发明实施例还提供了一种电子设备,设备包括处理器以及存储器:
存储器用于存储程序代码,并将程序代码传输给处理器;
处理器用于根据程序代码中的指令执行本发明实施例的数字人手掌骨骼姿态校正方法。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质用于存储程序代码,程序代码用于执行本发明实施例的数字人手掌骨骼姿态校正方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种数字人手掌骨骼姿态校正方法,其特征在于,包括:
捕捉预设视频中的手掌关节旋转数据;
采用所述手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;
将所述手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据;
对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
2.根据权利要求1所述的方法,其特征在于,所述将所述手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据的步骤,包括:
建立所述手掌模型的第一手腕坐标系;
建立所述数字人手掌模型的第二手腕坐标系;
计算所述第一手腕坐标系和所述第二手腕坐标系之间的旋转矩阵;
构建所述手掌模型的骨骼链;
从所述手掌模型数据中提取所述手掌模型的手腕关节旋转量及所述骨骼链的手指关节旋转量;
采用所述手腕关节旋转量、所述手指关节旋转量和所述旋转矩阵生成所述数字人手掌模型的数字人手掌关节旋转数据。
3.根据权利要求2所述的方法,其特征在于,所述构建所述手掌模型的骨骼链的步骤,包括:
从所述手掌模型数据中提取手腕坐标数据和各手指的关节数据;
采用所述手腕坐标数据和各手指的关节数据,分别生成各手指的骨骼链。
4.根据权利要求2所述的方法,其特征在于,所述采用所述手腕关节旋转量、所述手指关节旋转量和所述旋转矩阵生成所述数字人手掌模型的数字人手掌关节旋转数据的步骤,包括:
将所述手腕关节旋转量、所述手指关节旋转量与所述旋转矩阵相乘,得到第二手腕坐标系下的旋转数据;
采集数字人的数字人当前手指关节旋转量;
将所述旋转数据与所述数字人当前手指关节旋转量进行逆乘,得到所述骨骼链的数字人骨骼链关节旋转数据;
采用所有所述数字人骨骼链关节旋转数据生成数字人模型的数字人手掌关节旋转数据。
5.根据权利要求1所述的方法,其特征在于,所述将所述手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据的步骤,包括:
对齐所述手掌模型和所述数字人手掌模型;
通过虚拟引擎FK前向运动解算和IK逆向运动解算将所述手掌模型的手掌模型数据插值转换到所述数字人手掌模型中,得到数字人手掌关节旋转数据。
6.根据权利要求1所述的方法,其特征在于,所述对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据的步骤,包括:
计算所述数字人手掌关节旋转数据与相同标准动作的动画数据的差值和平均误差;
采用所述差值和所述平均误差对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
7.根据权利要求6所述的方法,其特征在于,所述采用所述差值和所述平均误差对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据步骤,包括:
根据所述差值和所述平均误差计算旋转修正偏移量和旋转系数;
计算所述各关节欧拉角的角度变化范围的最大值和最小值;
采用所述旋转修正偏移量、所述旋转系数、所述角度变化范围的最大值和最小值计算各关节的欧拉角的修正旋转量;
采用所有关节的欧拉角的修正旋转量生成数字人手掌骨骼姿态校正数据。
8.一种数字人手掌骨骼姿态校正装置,其特征在于,包括:
捕捉预设手掌关节旋转数据模块,用于捕捉预设视频中的手掌关节旋转数据;
手掌关节驱动模块,用于采用所述手掌关节旋转数据驱动预设手掌模型,得到手掌模型数据;
转换模块,用于将所述手掌模型数据转换到数字人手掌模型中,得到数字人手掌关节旋转数据;
旋转数据修正模块,用于对所述数字人手掌关节旋转数据进行修正,得到数字人手掌骨骼姿态校正数据。
9.一种电子设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的数字人手掌骨骼姿态校正方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1-7任一项所述的数字人手掌骨骼姿态校正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410217758.4A CN117788775B (zh) | 2024-02-28 | 2024-02-28 | 一种数字人手掌骨骼姿态校正方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410217758.4A CN117788775B (zh) | 2024-02-28 | 2024-02-28 | 一种数字人手掌骨骼姿态校正方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117788775A true CN117788775A (zh) | 2024-03-29 |
CN117788775B CN117788775B (zh) | 2024-05-07 |
Family
ID=90400317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410217758.4A Active CN117788775B (zh) | 2024-02-28 | 2024-02-28 | 一种数字人手掌骨骼姿态校正方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117788775B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060109762A (ko) * | 2005-04-18 | 2006-10-23 | 주식회사 해즈인터내셔널 | 온라인 운동자세 교정시스템 |
CN106055091A (zh) * | 2016-05-16 | 2016-10-26 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
CN112686976A (zh) * | 2020-12-31 | 2021-04-20 | 咪咕文化科技有限公司 | 骨骼动画数据的处理方法、装置及通信设备 |
CN113554736A (zh) * | 2021-09-22 | 2021-10-26 | 成都市谛视科技有限公司 | 骨骼动画顶点矫正方法及模型的学习方法、装置和设备 |
CN114668389A (zh) * | 2022-03-04 | 2022-06-28 | 中电海康集团有限公司 | 一种基于旋转矩阵的外骨骼设备穿戴误差校正方法和装置 |
CN116485953A (zh) * | 2023-01-13 | 2023-07-25 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备和可读存储介质 |
CN117173382A (zh) * | 2023-10-27 | 2023-12-05 | 南京维赛客网络科技有限公司 | Vr交互中的虚拟数字人体态矫正方法、系统及存储介质 |
-
2024
- 2024-02-28 CN CN202410217758.4A patent/CN117788775B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060109762A (ko) * | 2005-04-18 | 2006-10-23 | 주식회사 해즈인터내셔널 | 온라인 운동자세 교정시스템 |
CN106055091A (zh) * | 2016-05-16 | 2016-10-26 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
CN112686976A (zh) * | 2020-12-31 | 2021-04-20 | 咪咕文化科技有限公司 | 骨骼动画数据的处理方法、装置及通信设备 |
CN113554736A (zh) * | 2021-09-22 | 2021-10-26 | 成都市谛视科技有限公司 | 骨骼动画顶点矫正方法及模型的学习方法、装置和设备 |
CN114668389A (zh) * | 2022-03-04 | 2022-06-28 | 中电海康集团有限公司 | 一种基于旋转矩阵的外骨骼设备穿戴误差校正方法和装置 |
CN116485953A (zh) * | 2023-01-13 | 2023-07-25 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备和可读存储介质 |
CN117173382A (zh) * | 2023-10-27 | 2023-12-05 | 南京维赛客网络科技有限公司 | Vr交互中的虚拟数字人体态矫正方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117788775B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7273880B2 (ja) | 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 | |
CN107571260B (zh) | 控制机器人抓取物体的方法和装置 | |
CN111152218B (zh) | 一种异构仿人机械臂的动作映射方法及系统 | |
CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN111402290A (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
CN112580582B (zh) | 动作学习方法、装置、介质及电子设备 | |
CN110415322B (zh) | 虚拟对象模型的动作指令的生成方法和装置 | |
CN113119104B (zh) | 机械臂控制方法、机械臂控制装置、计算设备及系统 | |
CN117894072B (zh) | 一种基于扩散模型的手部检测和三维姿态估计方法及系统 | |
CN117788775B (zh) | 一种数字人手掌骨骼姿态校正方法、装置、设备及介质 | |
CN113312966B (zh) | 一种基于第一人称视角的动作识别方法及装置 | |
CN112894794B (zh) | 人体手臂动作模仿方法、装置、终端设备及存储介质 | |
Tominaga et al. | Symbolic representation of trajectories for skill generation | |
KR20200057572A (ko) | 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법 | |
CN115601505A (zh) | 一种人体三维姿态还原方法、装置、电子设备及存储介质 | |
CN115798030A (zh) | 基于旋量的手势识别方法、装置、电子设备和存储介质 | |
CN110321008B (zh) | 基于ar模型的交互方法、装置、设备和存储介质 | |
CN113761965A (zh) | 动作捕捉方法、装置、电子设备和存储介质 | |
Ehlers et al. | Self-scaling Kinematic Hand Skeleton for Real-time 3D Hand-finger Pose Estimation. | |
CN114863550A (zh) | 一种人体关节的运动姿态值的计算方法和系统 | |
CN117911592B (zh) | 一种动作修正模型的训练方法及动作驱动方法 | |
CN115414117B (zh) | 骨科手术机器人执行末端位置坐标的确定方法及装置 | |
CN116450018B (zh) | 面向虚拟现实应用的文物修复数据处理方法 | |
CN116805344B (zh) | 一种数字人动作重定向方法及装置 | |
CN109992093B (zh) | 一种手势比较方法以及手势比较系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |