CN115641647A - 数字人手腕驱动方法与装置、存储介质及电子设备 - Google Patents
数字人手腕驱动方法与装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN115641647A CN115641647A CN202211658352.7A CN202211658352A CN115641647A CN 115641647 A CN115641647 A CN 115641647A CN 202211658352 A CN202211658352 A CN 202211658352A CN 115641647 A CN115641647 A CN 115641647A
- Authority
- CN
- China
- Prior art keywords
- wrist
- vector
- rotation
- key point
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000707 wrist Anatomy 0.000 title claims abstract description 284
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 230000009471 action Effects 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 388
- 239000011159 matrix material Substances 0.000 claims description 144
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 11
- 244000060701 Kaempferia pandurata Species 0.000 description 8
- 235000016390 Uvaria chamae Nutrition 0.000 description 8
- 210000004932 little finger Anatomy 0.000 description 8
- 210000003811 finger Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000007306 turnover Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开一种数字人手腕驱动方法与装置、存储介质及电子设备，方法包括：获取视频信号中的图像信息；分别对所述图像信息进行身体关键点检测和手部关键点检测，得到第一关键点和第二关键点，其中，所述第一关键点包括胯部关键点、肩部关键点、肘部关键点和腕部关键点，所述第二关键点包括至少两个手部关键点；根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据；根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作。上述方案不需要拼接数据即可实现手腕运动的解算，能够实现对数字人手腕的高保真驱动效果。
Description
技术领域
本申请涉及视频图像处理技术领域，特别涉及一种数字人手腕驱动方法与装置、存储介质及电子设备。
背景技术
随着元宇宙技术的发展，用户拥有及驱动具有用户特征的数字人的需求日益增加，例如，用户期望驱动数字人在游戏场景或虚拟直播间中执行相应的动作等。驱动数字人需要捕捉用户（以下称实际人体）的动作变化，可通过动捕服实现，但是动捕服价格昂贵，目前仅用于专业要求较高的场景下。而大多数用户的设备都限于非专业水平，仅配置有摄像头一类的拍摄器件，因此，如何基于摄像头的拍摄视频捕捉实际人体的动作变化，进而驱动数字人，具有更高的实用价值。
基于摄像头拍摄视频驱动数字人时，可将连续不同帧图像中记载的实际人体的姿态进行对比，即可得到实际人体的动作变化，进而可驱动数字人。由于相比于人体来说，手部在图像中的区域占比较小，所以可采用不同的识别模型分别对图像中实际人体的身体关键点和手部关键点进行识别，之后将不同识别模型的识别结果进行拼接，得到最终的姿态识别结果。但是不同的识别模型中识别到的手部关键点的结果不尽相同，在将两个结果拼接时大概率会产生位置上的偏差，依此对手腕进行驱动的话精度不高。
发明内容
本申请要解决的技术问题是现有基于摄像头拍摄结果对数字人进行驱动时，手腕驱动精度不高的问题，为此，本申请提出了一种数字人手腕驱动方法与装置、存储介质及电子设备。
本申请第一方面的技术方案提供一种数字人手腕驱动方法，包括：
获取视频信号中的图像信息；
分别对所述图像信息进行身体关键点检测和手部关键点检测，得到第一关键点和第二关键点，其中，所述第一关键点包括胯部关键点、肩部关键点、肘部关键点和腕部关键点，所述第二关键点包括至少两个手部关键点；
根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，其中，所述手腕的旋转数据包括翻腕方向的旋转数据和转腕方向的旋转数据；
根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作。
本申请第二方面的技术方案提供一种数字人手腕驱动装置，包括：
获取单元，用于获取视频信号中的图像信息；
检测单元，用于分别对所述图像信息进行身体关键点检测和手部关键点检测，得到第一关键点和第二关键点，其中，所述第一关键点包括胯部关键点、肩部关键点、肘部关键点和腕部关键点，所述第二关键点包括至少两个手部关键点；
确定单元，用于根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，其中，所述手腕的旋转数据包括翻腕方向的旋转数据和转腕方向的旋转数据；
驱动单元，用于根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作。
本申请第三方面的技术方案提供一种存储介质，所述存储介质中存储有程序信息，计算机调取所述程序信息后执行第一方面方案所述的数字人手腕驱动方法。
本申请第四方面提供一种电子设备，所述电子设备包括至少一个处理器和至少一个存储器，至少一个所述存储器中存储有程序信息，至少一个所述处理器调取所述程序信息后执行第一方面方案所述的数字人手腕驱动方法。
本申请的技术方案相对现有技术具有如下技术效果：
本申请提供的数字人手腕驱动方法与装置、存储介质及电子设备，摒弃了现有技术中通过身体关键点识别结果和手部关键点识别结果的拼接对数字人进行驱动的方式，避免了拼接过程中产生的误差。同时本申请将手腕的运动分解为手腕本身的运动和手肘的带动导致的运动，根据关键点确定出手腕的旋转数据和手肘的旋转数据，既考虑了手腕本身的运动，也考虑了身体运动对手腕运动的影响，这就使得利用手腕的旋转数据和手肘的旋转数据驱动数字人手腕动作具有更高的精度且能够保证与实际人体的动作具有一致性。
附图说明
下面将通过附图详细描述本申请中优选实施例，将有助于理解本申请的目的和优点，其中:
图1为本申请一个实施例所述数字人手腕驱动方法的流程图；
图2为现有技术中身体关键点检测模型检测到的身体关键点的示意图；
图3为现有技术中手部关键点检测模型检测到的手部关键点的示意图；
图4为本申请一个实施例所述数字人手腕驱动装置的结构框图；
图5为本申请一个实施例所述执行数字人驱动方法的电子设备的硬件连接关系示意图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
参看图1，本实施例提供一种数字人手腕驱动方法，该方法应用于云端服务器，包括：
S11、获取视频信号中的图像信息；
本实施例中，需要说明的是，视频信号可以是用户终端摄像头拍摄的用户实时视频数据或非实时视频数据。
S12、分别对所述图像信息进行身体关键点检测和手部关键点检测，得到第一关键点和第二关键点，其中，所述第一关键点包括胯部关键点、肩部关键点、肘部关键点和腕部关键点，所述第二关键点包括至少两个手部关键点；
本实施例中，需要说明的是，在获取到图像信息后，对于每一帧图像，需要对该帧图像进行身体关键点检测和手部关键点检测，并根据检测结果确定出该帧图像对应的手腕的旋转数据和手肘的旋转数据，利用该帧图像对应的手腕的旋转数据和手肘的旋转数据驱动数字人（数字人为用户的虚拟形象）的手腕动作。
在进行身体关键点检测时，可以使用现有的身体关键点检测模型，检测得到胯部关键点（包括左侧胯部关键点和右侧胯部关键点）、肩部关键点（包括左侧肩部关键点和右侧肩部关键点）、肘部关键点（包括左侧肘部关键点和右侧肘部关键点）和腕部关键点（包括左侧腕部关键点和右侧腕部关键点），检测结果如图2（图2为身体关键点的示意图）所示，图2中23和24分别为左侧胯部关键点和右侧胯部关键点，11和12分别为左侧肩部关键点和右侧肩部关键点，13和14分别为左侧肘部关键点和右侧肘部关键点，15和16分别为左侧腕部关键点和右侧腕部关键点，图2中其它数字表示身体的其它部位的关键点，此处不再赘述。
在进行手部关键点检测时，可以使用现有的手部关键点检测模型，检测得到至少两个手部关键点，单只手的全部关键点如图3所示，图3中0为手腕关键点，1-4为拇指的4个关键点，5-8为食指的4个关键点，9-12为中指的4个关键点，13-16为无名指的4个关键点，17-20为小指的4个关键点。
S13、根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，其中，所述手腕的旋转数据包括翻腕方向的旋转数据和转腕方向的旋转数据；
本实施例中，需要说明的是，在身体运动过程中，胯部的运动会带动脊椎的运动，脊椎的运动会带动肩部的运动，肩部的运动会带动肘部的运动，肘部的运动会带动手腕的运动，因此，为了精确的对数字人的手腕进行驱动，既需要确定出手腕的旋转数据，还需要考虑身体运动对于手腕运动的影响，即还需要确定出手肘的旋转数据。同时，手腕的旋转有翻腕方向和转腕方向2个方向，因此，在确定手腕的旋转数据时，需要确定出手腕翻腕方向的旋转数据和手腕转腕方向的旋转数据。
S14、根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作。
本实施例中，需要说明的是，在确定出手腕的旋转数据和手肘的旋转数据之后，利用手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作，可以实现对数字人手腕的高保真驱动效果。
本申请提供的数字人手腕驱动方法，摒弃了现有技术中通过身体关键点识别结果和手部关键点识别结果的拼接对数字人进行驱动的方式，避免了拼接过程中产生的误差。同时本申请将手腕的运动分解为手腕本身的运动和手肘的带动导致的运动，根据关键点确定出手腕的旋转数据和手肘的旋转数据，既考虑了手腕本身的运动，也考虑了身体运动对手腕运动的影响，这就使得利用手腕的旋转数据和手肘的旋转数据驱动数字人手腕动作具有更高的精度且能够保证与实际人体的动作具有一致性。
在前述方法实施例的基础上，所述根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，可以包括：
根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转矩阵Matwrist_x、手腕转腕方向的旋转矩阵Matwrist_z和手肘转腕方向的旋转矩阵Matelbow_z；
根据所述手腕翻腕方向的旋转矩阵Matwrist_x和手腕转腕方向的旋转矩阵Matwrist_z确定手腕旋转矩阵，根据所述手肘转腕方向的旋转矩阵Matelbow_z更新手肘旋转矩阵；
其中，所述根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作，包括：
根据所述手腕旋转矩阵和第一转换矩阵确定手腕的目标旋转矩阵，根据所述手肘旋转矩阵和第二转换矩阵确定手肘的目标旋转矩阵，其中，所述第一转换矩阵为由第一坐标系向第二坐标系转换的转换矩阵，所述第一坐标系为身体关键点检测使用的坐标系，所述第二坐标系为游戏引擎中美术模型的手腕对应的坐标系，所述第二转换矩阵为由所述第一坐标系向第三坐标系转换的转换矩阵，所述第三坐标系为游戏引擎中美术模型的手肘对应的坐标系；
根据所述手腕的目标旋转矩阵和手肘的目标旋转矩阵驱动数字人的手腕动作。
本实施例中，需要说明的是，记第一坐标系为Cw，第二坐标系为Cwrist，第三坐标系为Celbow，由Cw向Cwrist转换的转换矩阵（即第一转换矩阵）为Matw-wrist，由Cw向Celbow转换的转换矩阵（即第二转换矩阵）为Matw-elbow，则
手腕的目标旋转矩阵=Matw-wrist*Matwrist，*（Matw-wrist）-1，
手肘的目标旋转矩阵=Matw-elbow* Matelbow，*（Matw-elbow）-1，
其中，*表示乘法，Matwrist，表示手腕旋转矩阵，Matelbow，表示更新后的手肘旋转矩阵，（M）-1表示矩阵M的逆矩阵。
Matwrist，=Matwrist_z*Matwrist_x，
Matelbow，=Matelbow_z* Matelbow，
其中，Matelbow表示更新前的手肘旋转矩阵。
在确定出手腕的目标旋转矩阵和手肘的目标旋转矩阵后，可以将手腕的目标旋转矩阵和手肘的目标旋转矩阵传递给游戏引擎，游戏引擎根据手腕的目标旋转矩阵和手肘的目标旋转矩阵驱动数字人的手腕动作。
在前述方法实施例的基础上，所述根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转矩阵Matwrist_x、手腕转腕方向的旋转矩阵Matwrist_z和手肘转腕方向的旋转矩阵Matelbow_z，可以包括：
根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转角度𝜃wrist_x和旋转方向Sx，以及手腕转腕方向的旋转角度𝜃z和旋转方向Sz；
根据所述手腕转腕方向的旋转角度𝜃z确定手腕转腕方向的目标旋转角度𝜃wrist_z和手肘转腕方向的目标旋转角度𝜃elbow_z；
根据所述手腕翻腕方向的旋转角度𝜃wrist_x和旋转方向Sx确定所述手腕翻腕方向的旋转矩阵Matwrist_x，根据所述手腕转腕方向的目标旋转角度𝜃wrist_z和手腕转腕方向的旋转方向Sz确定所述手腕转腕方向的旋转矩阵Matwrist_z，根据所述手肘转腕方向的目标旋转角度𝜃elbow_z和手腕转腕方向的旋转方向Sz确定手肘转腕方向的旋转矩阵Matelbow_z。
本实施例中，需要说明的是，对于转腕方向的旋转，一部分由手腕自身带动，一部分由手肘带动，因而将旋转角度𝜃z按照权重分配给手腕及手肘，以保证数字人的手腕转动看起来自然，不会出现反关节效果，即：𝜃wrist_z=w*𝜃z，𝜃elbow_z=（1-w）*𝜃z，其中，w表示权重系数，取值范围为（0，1）。
在前述方法实施例的基础上，所述根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转角度𝜃wrist_x和旋转方向Sx，以及手腕转腕方向的旋转角度𝜃z和旋转方向Sz，可以包括：
根据所述第一关键点确定胯部旋转矩阵Matpelvis、脊椎旋转矩阵Matspine、肩膀旋转矩阵Matshoulder和手肘旋转矩阵Matelbow；
确定T字型美术模型（比如可以为游戏引擎中手臂伸直呈“T”字型的人物初始模型，对其进行捏脸可以生成数字人模型）在所述第一坐标系下的手部翻腕方向的标定向量和所述手部翻腕方向的标定向量的旋转轴向量，以及手部转腕方向的标定向量和所述手部转腕方向的标定向量的旋转轴向量，其中，所述手部翻腕方向的标定向量的旋转轴向量与手部翻腕方向的标定向量垂直，所述手部转腕方向的标定向量的旋转轴向量与手部转腕方向的标定向量垂直；
根据所述胯部旋转矩阵Matpelvis、脊椎旋转矩阵Matspine、肩膀旋转矩阵Matshoulder和手肘旋转矩阵Matelbow更新所述手部翻腕方向的标定向量、手部翻腕方向的标定向量的旋转轴向量、手部转腕方向的标定向量和手部转腕方向的标定向量的旋转轴向量，得到更新后的手部翻腕方向的标定向量Vectx，、更新后的手部翻腕方向的标定向量的旋转轴向量Vectx_axis，、更新后的手部转腕方向的标定向量Vectz，和更新后的手部转腕方向的标定向量的旋转轴向量Vectz_axis，；
根据所述第二关键点、更新后的手部翻腕方向的标定向量Vectx，、更新后的手部翻腕方向的标定向量的旋转轴向量Vectx_axis，、更新后的手部转腕方向的标定向量Vectz，和更新后的手部转腕方向的标定向量的旋转轴向量Vectz_axis，确定所述手腕翻腕方向的旋转角度𝜃wrist_x和旋转方向Sx，以及手腕转腕方向的旋转角度𝜃z和旋转方向Sz。
本实施例中，需要说明的是，T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量可以为根据T字型美术模型中手部至少两个关键点确定的向量在坐标系Cw下的向量表示，比如小指根部关键点和食指根部关键点确定的向量在坐标系Cw下的向量表示，具体可以为从T字型美术模型中手部小指根部关键点指向T字型美术模型中食指根部关键点的向量在坐标系Cw下的向量表示，或者从T字型美术模型中手部食指根部关键点指向T字型美术模型中小指根部关键点的向量在坐标系Cw下的向量表示。在确定出T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量后，可以确定垂直于T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量的向量为T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量的旋转轴向量，而T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量的旋转轴向量的方向可以根据需要设置，只要保证T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量的旋转轴向量与T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量垂直即可。T字型美术模型在坐标系Cw下的手部转腕方向的标定向量可以为根据T字型美术模型中手部至少两个关键点（T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量使用的手部关键点与T字型美术模型在坐标系Cw下的手部转腕方向的标定向量使用的手部关键点不完全相同）确定的向量在坐标系Cw下的向量表示，比如小指根部关键点、无名指根部关键点、中指根部关键点和食指根部关键点的坐标均值对应的位置，以及手腕关键点确定的向量在坐标系Cw下的向量表示，具体可以为从T字型美术模型中手部小指根部关键点、无名指根部关键点、中指根部关键点和食指根部关键点的坐标均值对应的位置指向T字型美术模型中手腕关键点的向量在坐标系Cw下的向量表示，或者从T字型美术模型中手部手腕关键点指向T字型美术模型中小指根部关键点、无名指根部关键点、中指根部关键点和食指根部关键点的坐标均值对应的位置的向量在坐标系Cw下的向量表示。在确定出T字型美术模型在坐标系Cw下的手部转腕方向的标定向量后，可以确定垂直于T字型美术模型在坐标系Cw下的手部转腕方向的标定向量的向量为T字型美术模型在坐标系Cw下的手部转腕方向的标定向量的旋转轴向量，而T字型美术模型在坐标系Cw下的手部转腕方向的标定向量的旋转轴向量的方向可以根据需要设置，只要保证T字型美术模型在坐标系Cw下的手部转腕方向的标定向量的旋转轴向量与T字型美术模型在坐标系Cw下的手部转腕方向的标定向量垂直即可。在确定T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量和所述手部翻腕方向的标定向量的旋转轴向量，以及手部转腕方向的标定向量和所述手部转腕方向的标定向量的旋转轴向量时可以通过使用单侧手部关键点进行计算来区分左右手。T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量和手部转腕方向的标定向量可以使用T字型美术模型中手部其它的关键点，此处不再赘述。
Vectx，=Matelbow*Matshoulder*Matspine*Matpelvis*Vectx，
Vectx_axis，=Matelbow*Matshoulder*Matspine*Matpelvis* Vectx_axis，
Vectz，=Matelbow*Matshoulder*Matspine*Matpelvis*Vectz，
Vectz_axis，=Matelbow*Matshoulder*Matspine*Matpelvis* Vectz_axis，
其中，Vectx为更新前的手部翻腕方向的标定向量，Vectx_axis为更新前的手部翻腕方向的标定向量的旋转轴向量，Vectz为更新前的手部转腕方向的标定向量，Vectz_axis为更新前的手部转腕方向的标定向量的旋转轴向量。
在前述方法实施例的基础上，所述根据所述第一关键点确定胯部旋转矩阵Matpelvis、脊椎旋转矩阵Matspine、肩膀旋转矩阵Matshoulder和手肘旋转矩阵Matelbow，可以包括：
根据所述胯部关键点确定胯部第一向量，根据T字型美术模型在所述第一坐标系下的胯部关键点确定胯部第二向量，根据所述胯部第一向量和胯部第二向量计算所述胯部旋转矩阵Matpelvis，并计算所述胯部第一向量和胯部第二向量之间的夹角，记为胯部夹角；
根据所述胯部关键点和肩部关键点确定脊椎第一向量，根据所述脊椎第一向量和脊椎第二向量计算所述脊椎旋转矩阵Matspine，并计算所述脊椎第一向量和脊椎第二向量之间的夹角，记为脊椎夹角，其中，所述脊椎第二向量根据脊椎第三向量和所述胯部夹角确定，所述脊椎第三向量根据T字型美术模型在所述第一坐标系下的胯部关键点和肩部关键点确定；
根据所述肩部关键点和肘部关键点确定肩部第一向量，根据所述肩部第一向量和肩部第二向量计算所述肩膀旋转矩阵Matshoulder，并计算所述肩部第一向量和肩部第二向量之间的夹角，记为肩部夹角，其中，所述肩部第二向量根据肩部第三向量、胯部夹角和脊椎夹角确定，所述肩部第三向量根据T字型美术模型在所述第一坐标系下的肩部关键点和肘部关键点确定；
根据所述肘部关键点和腕部关键点确定肘部第一向量，根据所述肘部第一向量和肘部第二向量计算所述手肘旋转矩阵Matelbow，其中，所述肘部第二向量根据肘部第三向量、胯部夹角、脊椎夹角和肩部夹角确定，所述肘部第三向量根据T字型美术模型在所述第一坐标系下的肘部关键点和腕部关键点确定。
本实施例中，需要说明的是，胯部第一向量根据胯部关键点确定，胯部第二向量根据T字型美术模型在坐标系Cw下的胯部关键点确定，比如胯部第一向量可以是从左侧胯部关键点23指向右侧胯部关键点24的向量，胯部第二向量可以是从T字型美术模型在坐标系Cw下的左侧胯部关键点指向T字型美术模型在坐标系Cw下的右侧胯部关键点的向量。胯部第一向量的方向除了可以是从左侧胯部关键点23指向右侧胯部关键点24的方向，也可以是从右侧胯部关键点24指向左侧胯部关键点23的方向，如果胯部第一向量的方向是从右侧胯部关键点24指向左侧胯部关键点23的方向，则胯部第二向量的方向是从T字型美术模型在坐标系Cw下的右侧胯部关键点指向T字型美术模型在坐标系Cw下的左侧胯部关键点的方向。在确定出胯部第一向量和胯部第二向量后，可以根据胯部第一向量和胯部第二向量计算胯部旋转矩阵Matpelvis，以及胯部夹角。根据2个向量计算对应的旋转矩阵为现有技术，此处不再赘述。
脊椎第一向量根据左侧胯部关键点和右侧胯部关键点的中点，以及左侧肩部关键点和右侧肩部关键点的中点确定，脊椎第二向量根据脊椎第三向量和胯部夹角确定，脊椎第三向量根据T字型美术模型在坐标系Cw下的左侧胯部关键点和右侧胯部关键点的中点，以及T字型美术模型在坐标系Cw下的左侧肩部关键点和右侧肩部关键点的中点确定，比如脊椎第一向量可以是从左侧胯部关键点23和右侧胯部关键点24的中点，指向左侧肩部关键点11和右侧肩部关键点12的中点的向量，脊椎第三向量可以是从T字型美术模型在坐标系Cw下的左侧胯部关键点和右侧胯部关键点的中点，指向T字型美术模型在坐标系Cw下的左侧肩部关键点和右侧肩部关键点的中点的向量，脊椎第二向量通过将脊椎第三向量旋转胯部夹角得到。脊椎第一向量、脊椎第二向量和脊椎第三向量的方向可以是前述描述方向的反方向。在确定出脊椎第一向量和脊椎第二向量后，可以根据脊椎第一向量和脊椎第二向量计算脊椎旋转矩阵Matspine和脊椎夹角。
肩部第一向量根据单侧的肩部关键点和肘部关键点确定，肩部第三向量根据T字型美术模型在坐标系Cw下单侧的肩部关键点和肘部关键点确定，下面以右侧肩部关键点和肘部关键点确定的肩部第一向量和以T字型美术模型在坐标系Cw下右侧的肩部关键点和肘部关键点确定的肩部第三向量为例进行说明。肩部第一向量可以是从右侧肩部关键点12指向右侧肘部关键点14的向量，肩部第三向量可以是从T字型美术模型在坐标系Cw下的右侧肩部关键点指向右侧肘部关键点的向量，将肩部第三向量先旋转胯部夹角再旋转脊椎夹角得到肩部第二向量，根据肩部第一向量和肩部第二向量可以计算出肩膀旋转矩阵Matshoulder以及肩部夹角。肩部第一向量、肩部第二向量和肩部第三向量的方向可以是前述描述方向的反方向。根据左侧肩部关键点和肘部关键点确定的肩部第一向量与根据右侧肩部关键点和肘部关键点确定的肩部第一向量的确定方法一致，根据T字型美术模型在坐标系Cw下左侧的肩部关键点和肘部关键点确定的肩部第三向量与根据T字型美术模型在坐标系Cw下右侧的肩部关键点和肘部关键点确定的肩部第三向量的确定方法一致，此处不再赘述。根据左侧肩部关键点和肘部关键点确定的旋转矩阵以及肩部夹角可以用于左侧手腕驱动的解算，根据右侧肩部关键点和肘部关键点确定的旋转矩阵以及肩部夹角可以用于右侧手腕驱动的解算。
肘部第一向量根据单侧的肘部关键点和腕部关键点确定，肘部第三向量根据T字型美术模型在坐标系Cw下单侧的肘部关键点和腕部关键点确定，下面以右侧肘部关键点和腕部关键点确定的肘部第一向量和以T字型美术模型在坐标系Cw下右侧的肘部关键点和腕部关键点确定的肘部第三向量为例进行说明。肘部第一向量可以是从右侧肘部关键点14指向右侧腕部关键点16的向量，肘部第三向量可以是从T字型美术模型在坐标系Cw下的右侧肘部关键点指向右侧腕部关键点的向量，将肘部第三向量先旋转胯部夹角再旋转脊椎夹角最后旋转肩部夹角得到肘部第二向量，根据肘部第一向量和肘部第二向量可以计算出手肘旋转矩阵Matelbow。肘部第一向量、肘部第二向量和肘部第三向量的方向可以是前述描述方向的反方向。根据左侧肘部关键点和腕部关键点确定的肘部第一向量与根据右侧肘部关键点和腕部关键点确定的肘部第一向量的确定方法一致，根据T字型美术模型在坐标系Cw下左侧的肘部关键点和腕部关键点确定的肘部第三向量与根据T字型美术模型在坐标系Cw下右侧的肘部关键点和腕部关键点确定的肘部第三向量的确定方法一致，此处不再赘述。根据左侧肘部关键点和腕部关键点确定的旋转矩阵可以用于左侧手腕驱动的解算，根据右侧肘部关键点和腕部关键点确定的旋转矩阵可以用于右侧手腕驱动的解算。
在前述方法实施例的基础上，所述根据所述第二关键点、更新后的手部翻腕方向的标定向量Vectx，、更新后的手部翻腕方向的标定向量的旋转轴向量Vectx_axis，、更新后的手部转腕方向的标定向量Vectz，和更新后的手部转腕方向的标定向量的旋转轴向量Vectz_axis，确定所述手腕翻腕方向的旋转角度𝜃wrist_x和旋转方向Sx，以及手腕转腕方向的旋转角度𝜃z和旋转方向Sz，可以包括：
根据所述第二关键点确定在所述第一坐标系下的手部翻腕方向的检测向量，以及手部转腕方向的检测向量；
若确定解算顺序为先第一方向后第二方向，则根据手部第一方向的检测向量和更新后的手部第一方向的标定向量计算所述第一方向的实际旋转轴向量和手腕第一方向的旋转角度，根据所述第一方向的实际旋转轴向量和更新后的手部第一方向的标定向量的旋转轴向量计算手腕第一方向的旋转方向，其中，所述第一方向和第二方向不同，且所述第一方向为翻腕方向或转腕方向，所述第二方向为翻腕方向或转腕方向，所述旋转方向包括顺时针方向和逆时针方向；
利用手腕第一方向的旋转矩阵分别对更新后的手部第二方向的标定向量和更新后的手部第二方向的标定向量的旋转轴向量进行更新，得到手部第二方向的目标标定向量和手部第二方向的目标标定向量的旋转轴向量；
根据手部第二方向的检测向量和手部第二方向的目标标定向量计算所述第二方向的实际旋转轴向量和手腕第二方向的旋转角度，根据所述第二方向的实际旋转轴向量和手部第二方向的目标标定向量的旋转轴向量计算手腕第二方向的旋转方向。
本实施例中，需要说明的是，根据所述第二关键点确定的在坐标系Cw下的手部翻腕方向的检测向量，以及手部转腕方向的检测向量的确定方法分别与前述T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量，以及T字型美术模型在坐标系Cw下的手部转腕方向的标定向量的确定方法一致，所不同的是，根据所述第二关键点确定的在坐标系Cw下的手部翻腕方向的检测向量，以及手部转腕方向的检测向量使用的是所述第二关键点中相应的关键点进行确定，而T字型美术模型在坐标系Cw下的手部翻腕方向的标定向量，以及T字型美术模型在坐标系Cw下的手部转腕方向的标定向量使用的是T字型美术模型中相应的关键点进行确定。具体来说，根据所述第二关键点确定的在坐标系Cw下的手部翻腕方向的检测向量可以为图3中至少两个关键点确定的向量在坐标系Cw下的向量表示，比如小指根部关键点17和食指根部关键点5确定的向量在坐标系Cw下的向量表示，根据所述第二关键点确定的在坐标系Cw下的手部转腕方向的检测向量可以为图3中至少两个关键点确定的向量在坐标系Cw下的向量表示，比如小指根部关键点17、无名指根部关键点13、中指根部关键点9和食指根部关键点5的坐标均值对应的位置，以及手腕关键点0确定的向量在坐标系Cw下的向量表示。根据所述第二关键点确定在坐标系Cw下的手部翻腕方向的检测向量，以及手部转腕方向的检测向量时可以使用图3中其它的关键点，此处不再赘述。在根据所述第二关键点确定在坐标系Cw下的手部翻腕方向的检测向量，以及手部转腕方向的检测向量时可以通过使用单侧手部关键点进行计算来区分左右手。
记根据所述第二关键点确定的在坐标系Cw下的手部翻腕方向的检测向量为Vecpx，根据所述第二关键点确定的在坐标系Cw下的手部转腕方向的检测向量为Vecpz，因为翻腕方向和转腕方向的结合有先后顺序，而不同解算方式下手腕翻腕方向的旋转角度𝜃wrist_x和旋转方向Sx，以及手腕转腕方向的旋转角度𝜃z和旋转方向Sz的解算过程不同。
如果解算顺序为先翻腕方向后转腕方向，则需要根据手部翻腕方向的检测向量Vecpx和更新后的手部翻腕方向的标定向量Vectx，计算翻腕方向的实际旋转轴向量Vecpx_axis和手腕翻腕方向的旋转角度𝜃wrist_x，根据翻腕方向的实际旋转轴向量Vecpx_axis和更新后的手部翻腕方向的标定向量的旋转轴向量Vectx_axis，计算手腕翻腕方向的旋转方向Sx，
Vecpx_axis=Vecpx ×Vectx，，
𝜃wrist_x=arccos(Vecpx·Vectx，/(||Vecpx||*|| Vectx，||))，
Sx=Sign(Vecpx_axis·Vectx_axis，)，
其中，×表示叉乘，·表示点乘，||A||表示对A进行取模运算，*表示乘法，Sign()为符号函数，Sx取正值表示旋转方向为顺时针方向，Sx取负值表示旋转方向为逆时针方向。
在确定出𝜃wrist_x和Sx后，可以根据𝜃wrist_x和Sx计算出手腕翻腕方向的旋转矩阵Matwrist_x，并利用手腕翻腕方向的旋转矩阵Matwrist_x对更新后的手部转腕方向的标定向量Vectz，和更新后的手部转腕方向的标定向量的旋转轴向量Vectz_axis，进行更新，得到手部转腕方向的目标标定向量Vectz，，和手部转腕方向的目标标定向量的旋转轴向量Vectz_axis，，，
其中，Vectz，，=Matwrist_x* Vectz，，
Vectz_axis，，=Matwrist_x* Vectz_axis，，
之后根据手部转腕方向的检测向量Vecpz和手部转腕方向的目标标定向量Vectz，，计算所述转腕方向的实际旋转轴向量Vecpz_axis和手腕转腕方向的旋转角度𝜃z，根据所述转腕方向的实际旋转轴向量Vecpz_axis和手部转腕方向的目标标定向量的旋转轴向量Vectz_axis，，计算手腕转腕方向的旋转方向Sz，
其中，Vecpz_axis=Vecpz ×Vectz，，，
𝜃z=arccos(Vecpz·Vectz，，/(||Vecpz||*|| Vectz，，||))，
Sz=Sign(Vecpz_axis·Vectz_axis，，)。
如果解算顺序为先转腕方向后翻腕方向，则需要根据手部转腕方向的检测向量Vecpz和更新后的手部转腕方向的标定向量Vectz，计算转腕方向的实际旋转轴向量Vecpz_axis和手腕转腕方向的旋转角度𝜃z，根据转腕方向的实际旋转轴向量Vecpz_axis和更新后的手部转腕方向的标定向量的旋转轴向量Vectz_axis，计算手腕转腕方向的旋转方向Sz，
Vecpz_axis=Vecpz ×Vectz，，
𝜃z=arccos(Vecpz·Vectz，/(||Vecpz||*|| Vectz，||))，
Sz=Sign(Vecpz_axis·Vectz_axis，)，
其中，Sz取正值表示旋转方向为顺时针方向，Sz取负值表示旋转方向为逆时针方向。
在确定出𝜃z和Sz后，可以根据𝜃z和Sz计算出手腕转腕方向的旋转矩阵Matwrist_z，并利用手腕转腕方向的旋转矩阵Matwrist_z对更新后的手部翻腕方向的标定向量Vectx，和更新后的手部翻腕方向的标定向量的旋转轴向量Vectx_axis，进行更新，得到手部翻腕方向的目标标定向量Vectx，，和手部翻腕方向的目标标定向量的旋转轴向量Vectx_axis，，，
其中，Vectx，，=Matwrist_z* Vectx，，
Vectx_axis，，=Matwrist_z* Vectx_axis，，
之后根据手部翻腕方向的检测向量Vecpx和手部翻腕方向的目标标定向量Vectx，，计算所述翻腕方向的实际旋转轴向量Vecpx_axis和手腕翻腕方向的旋转角度𝜃wrist_x，根据所述翻腕方向的实际旋转轴向量Vecpx_axis和手部翻腕方向的目标标定向量的旋转轴向量Vectx_axis，，计算手腕翻腕方向的旋转方向Sx，
其中，Vecpx_axis=Vecpx ×Vectx，，，
𝜃wrist_x=arccos(Vecpx·Vectx，，/(||Vecpx||*|| Vectx，，||))，
Sx=Sign(Vecpx_axis·Vectx_axis，，)。
在前述方法实施例的基础上，所述根据所述胯部旋转矩阵Matpelvis、脊椎旋转矩阵Matspine、肩膀旋转矩阵Matshoulder和手肘旋转矩阵Matelbow更新所述手部翻腕方向的标定向量、手部翻腕方向的标定向量的旋转轴向量、手部转腕方向的标定向量和手部转腕方向的标定向量的旋转轴向量，得到更新后的手部翻腕方向的标定向量Vectx，、更新后的手部翻腕方向的标定向量的旋转轴向量Vectx_axis，、更新后的手部转腕方向的标定向量Vectz，和更新后的手部转腕方向的标定向量的旋转轴向量Vectz_axis，，可以包括：
根据所述胯部旋转矩阵Matpelvis、脊椎旋转矩阵Matspine、肩膀旋转矩阵Matshoulder和手肘旋转矩阵Matelbow计算影响矩阵，其中，所述影响矩阵为所述胯部旋转矩阵Matpelvis、脊椎旋转矩阵Matspine、肩膀旋转矩阵Matshoulder和手肘旋转矩阵Matelbow的乘积；
分别计算所述影响矩阵和所述手部翻腕方向的标定向量、手部翻腕方向的标定向量的旋转轴向量、手部转腕方向的标定向量和手部转腕方向的标定向量的旋转轴向量的乘积得到第一乘积、第二乘积、第三乘积和第四乘积；分别利用所述第一乘积、第二乘积、第三乘积和第四乘积对所述手部翻腕方向的标定向量、手部翻腕方向的标定向量的旋转轴向量、手部转腕方向的标定向量和手部转腕方向的标定向量的旋转轴向量进行更新。
参看图4，本实施例提供一种数字人手腕驱动装置，包括：
获取单元41，用于获取视频信号中的图像信息；
检测单元42，用于分别对所述图像信息进行身体关键点检测和手部关键点检测，得到第一关键点和第二关键点，其中，所述第一关键点包括胯部关键点、肩部关键点、肘部关键点和腕部关键点，所述第二关键点包括至少两个手部关键点；
确定单元43，用于根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，其中，所述手腕的旋转数据包括翻腕方向的旋转数据和转腕方向的旋转数据；
驱动单元44，用于根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作。
本申请提供的数字人手腕驱动装置，摒弃了现有技术中根据身体关键点识别结果和手部关键点识别结果的拼接对数字人进行驱动的方式，避免了拼接过程中产生的误差。本申请通过分析身体动作对于手部动作产生的影响，确定手腕动作标定数据。在根据手部关键点的识别结果确定出手腕动作检测数据后，将手腕动作标定数据的影响消除掉，就能够得到手腕自身的实际动作数据，据此驱动数字人手腕动作，具有更高的精度且与能够保证与实际人体的动作具有一致性。
本申请实施例提供的数字人手腕驱动装置，其实现过程与本申请实施例提供的数字人手腕驱动方法一致，所能达到的效果也与本申请实施例提供的数字人手腕驱动方法相同，在此不再赘述。
本申请一些实施例中还提供一种存储介质，所述存储介质中存储有程序信息，计算机调取所述程序信息后执行以上方法实施例中提供的数字人手腕驱动方法。
本申请一些实施例中还提供一种电子设备，如图5所示，所述电子设备包括至少一个处理器51和至少一个存储器52，至少一个所述存储器52中存储有程序信息，至少一个所述处理器51读取所述程序信息后执行以上任一项方法实施例方案所述的数字人手腕驱动方法。所述电子设备还可以包括：输入装置53和输出装置54。处理器51、存储器52、输入装置53和输出装置54可以通信连接。存储器52作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器51通过运行存储在存储器52中的非易失性软件程序、指令以及模块，从而执行各种功能应用以及数据处理，即实现上述任一方案提供的数字人手腕驱动方法。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请的保护范围之中。
Claims (10)
1.一种数字人手腕驱动方法，其特征在于，包括：
获取视频信号中的图像信息；
分别对所述图像信息进行身体关键点检测和手部关键点检测，得到第一关键点和第二关键点，其中，所述第一关键点包括胯部关键点、肩部关键点、肘部关键点和腕部关键点，所述第二关键点包括至少两个手部关键点；
根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，其中，所述手腕的旋转数据包括翻腕方向的旋转数据和转腕方向的旋转数据；
根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，包括：
根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转矩阵、手腕转腕方向的旋转矩阵和手肘转腕方向的旋转矩阵；
根据所述手腕翻腕方向的旋转矩阵和手腕转腕方向的旋转矩阵确定手腕旋转矩阵，根据所述手肘转腕方向的旋转矩阵更新手肘旋转矩阵；
其中，所述根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作，包括：
根据所述手腕旋转矩阵和第一转换矩阵确定手腕的目标旋转矩阵，根据所述手肘旋转矩阵和第二转换矩阵确定手肘的目标旋转矩阵，其中，所述第一转换矩阵为由第一坐标系向第二坐标系转换的转换矩阵，所述第一坐标系为身体关键点检测使用的坐标系，所述第二坐标系为游戏引擎中美术模型的手腕对应的坐标系，所述第二转换矩阵为由所述第一坐标系向第三坐标系转换的转换矩阵，所述第三坐标系为游戏引擎中美术模型的手肘对应的坐标系；
根据所述手腕的目标旋转矩阵和手肘的目标旋转矩阵驱动数字人的手腕动作。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转矩阵、手腕转腕方向的旋转矩阵和手肘转腕方向的旋转矩阵，包括：
根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转角度和旋转方向，以及手腕转腕方向的旋转角度和旋转方向；
根据所述手腕转腕方向的旋转角度确定手腕转腕方向的目标旋转角度和手肘转腕方向的目标旋转角度；
根据所述手腕翻腕方向的旋转角度和旋转方向确定所述手腕翻腕方向的旋转矩阵，根据所述手腕转腕方向的目标旋转角度和手腕转腕方向的旋转方向确定所述手腕转腕方向的旋转矩阵，根据所述手肘转腕方向的目标旋转角度和手腕转腕方向的旋转方向确定手肘转腕方向的旋转矩阵。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一关键点和第二关键点确定出手腕翻腕方向的旋转角度和旋转方向，以及手腕转腕方向的旋转角度和旋转方向，包括：
根据所述第一关键点确定胯部旋转矩阵、脊椎旋转矩阵、肩膀旋转矩阵和手肘旋转矩阵；
确定T字型美术模型在所述第一坐标系下的手部翻腕方向的标定向量和所述手部翻腕方向的标定向量的旋转轴向量，以及手部转腕方向的标定向量和所述手部转腕方向的标定向量的旋转轴向量，其中，所述手部翻腕方向的标定向量的旋转轴向量与手部翻腕方向的标定向量垂直，所述手部转腕方向的标定向量的旋转轴向量与手部转腕方向的标定向量垂直；
根据所述胯部旋转矩阵、脊椎旋转矩阵、肩膀旋转矩阵和手肘旋转矩阵更新所述手部翻腕方向的标定向量、手部翻腕方向的标定向量的旋转轴向量、手部转腕方向的标定向量和手部转腕方向的标定向量的旋转轴向量，得到更新后的手部翻腕方向的标定向量、更新后的手部翻腕方向的标定向量的旋转轴向量、更新后的手部转腕方向的标定向量和更新后的手部转腕方向的标定向量的旋转轴向量；
根据所述第二关键点、更新后的手部翻腕方向的标定向量、更新后的手部翻腕方向的标定向量的旋转轴向量、更新后的手部转腕方向的标定向量和更新后的手部转腕方向的标定向量的旋转轴向量确定所述手腕翻腕方向的旋转角度和旋转方向，以及手腕转腕方向的旋转角度和旋转方向。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一关键点确定胯部旋转矩阵、脊椎旋转矩阵、肩膀旋转矩阵和手肘旋转矩阵，包括：
根据所述胯部关键点确定胯部第一向量，根据T字型美术模型在所述第一坐标系下的胯部关键点确定胯部第二向量，根据所述胯部第一向量和胯部第二向量计算所述胯部旋转矩阵，并计算所述胯部第一向量和胯部第二向量之间的夹角，记为胯部夹角；
根据所述胯部关键点和肩部关键点确定脊椎第一向量，根据所述脊椎第一向量和脊椎第二向量计算所述脊椎旋转矩阵，并计算所述脊椎第一向量和脊椎第二向量之间的夹角，记为脊椎夹角，其中，所述脊椎第二向量根据脊椎第三向量和所述胯部夹角确定，所述脊椎第三向量根据T字型美术模型在所述第一坐标系下的胯部关键点和肩部关键点确定；
根据所述肩部关键点和肘部关键点确定肩部第一向量，根据所述肩部第一向量和肩部第二向量计算所述肩膀旋转矩阵，并计算所述肩部第一向量和肩部第二向量之间的夹角，记为肩部夹角，其中，所述肩部第二向量根据肩部第三向量、胯部夹角和脊椎夹角确定，所述肩部第三向量根据T字型美术模型在所述第一坐标系下的肩部关键点和肘部关键点确定；
根据所述肘部关键点和腕部关键点确定肘部第一向量，根据所述肘部第一向量和肘部第二向量计算所述手肘旋转矩阵，其中，所述肘部第二向量根据肘部第三向量、胯部夹角、脊椎夹角和肩部夹角确定，所述肘部第三向量根据T字型美术模型在所述第一坐标系下的肘部关键点和腕部关键点确定。
6.根据权利要求4或5所述的方法，其特征在于，所述根据所述第二关键点、更新后的手部翻腕方向的标定向量、更新后的手部翻腕方向的标定向量的旋转轴向量、更新后的手部转腕方向的标定向量和更新后的手部转腕方向的标定向量的旋转轴向量确定所述手腕翻腕方向的旋转角度和旋转方向，以及手腕转腕方向的旋转角度和旋转方向，包括：
根据所述第二关键点确定在所述第一坐标系下的手部翻腕方向的检测向量，以及手部转腕方向的检测向量；
若确定解算顺序为先第一方向后第二方向，则根据手部第一方向的检测向量和更新后的手部第一方向的标定向量计算所述第一方向的实际旋转轴向量和手腕第一方向的旋转角度，根据所述第一方向的实际旋转轴向量和更新后的手部第一方向的标定向量的旋转轴向量计算手腕第一方向的旋转方向，其中，所述第一方向和第二方向不同，且所述第一方向为翻腕方向或转腕方向，所述第二方向为翻腕方向或转腕方向，所述旋转方向包括顺时针方向和逆时针方向；
利用手腕第一方向的旋转矩阵分别对更新后的手部第二方向的标定向量和更新后的手部第二方向的标定向量的旋转轴向量进行更新，得到手部第二方向的目标标定向量和手部第二方向的目标标定向量的旋转轴向量；
根据手部第二方向的检测向量和手部第二方向的目标标定向量计算所述第二方向的实际旋转轴向量和手腕第二方向的旋转角度，根据所述第二方向的实际旋转轴向量和手部第二方向的目标标定向量的旋转轴向量计算手腕第二方向的旋转方向。
7.根据权利要求4所述的方法，其特征在于，所述根据所述胯部旋转矩阵、脊椎旋转矩阵、肩膀旋转矩阵和手肘旋转矩阵更新所述手部翻腕方向的标定向量、手部翻腕方向的标定向量的旋转轴向量、手部转腕方向的标定向量和手部转腕方向的标定向量的旋转轴向量，得到更新后的手部翻腕方向的标定向量、更新后的手部翻腕方向的标定向量的旋转轴向量、更新后的手部转腕方向的标定向量和更新后的手部转腕方向的标定向量的旋转轴向量，包括：
根据所述胯部旋转矩阵、脊椎旋转矩阵、肩膀旋转矩阵和手肘旋转矩阵计算影响矩阵，其中，所述影响矩阵为所述胯部旋转矩阵、脊椎旋转矩阵、肩膀旋转矩阵和手肘旋转矩阵的乘积；
分别计算所述影响矩阵和所述手部翻腕方向的标定向量、手部翻腕方向的标定向量的旋转轴向量、手部转腕方向的标定向量和手部转腕方向的标定向量的旋转轴向量的乘积得到第一乘积、第二乘积、第三乘积和第四乘积；分别利用所述第一乘积、第二乘积、第三乘积和第四乘积对所述手部翻腕方向的标定向量、手部翻腕方向的标定向量的旋转轴向量、手部转腕方向的标定向量和手部转腕方向的标定向量的旋转轴向量进行更新。
8.一种数字人手腕驱动装置，其特征在于，包括：
获取单元，用于获取视频信号中的图像信息；
检测单元，用于分别对所述图像信息进行身体关键点检测和手部关键点检测，得到第一关键点和第二关键点，其中，所述第一关键点包括胯部关键点、肩部关键点、肘部关键点和腕部关键点，所述第二关键点包括至少两个手部关键点；
确定单元，用于根据所述第一关键点和第二关键点确定出手腕的旋转数据和手肘的旋转数据，其中，所述手腕的旋转数据包括翻腕方向的旋转数据和转腕方向的旋转数据；
驱动单元，用于根据所述手腕的旋转数据和手肘的旋转数据驱动数字人的手腕动作。
9.一种存储介质，其特征在于，所述存储介质中存储有程序信息，计算机调取所述程序信息后执行权利要求1-7任一项所述的数字人手腕驱动方法。
10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器和至少一个存储器，至少一个所述存储器中存储有程序信息，至少一个所述处理器调取所述程序信息后执行权利要求1-7任一项所述的数字人手腕驱动方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211658352.7A CN115641647B (zh) | 2022-12-23 | 2022-12-23 | 数字人手腕驱动方法与装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211658352.7A CN115641647B (zh) | 2022-12-23 | 2022-12-23 | 数字人手腕驱动方法与装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115641647A true CN115641647A (zh) | 2023-01-24 |
| CN115641647B CN115641647B (zh) | 2023-03-21 |
Family
ID=84947854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211658352.7A Active CN115641647B (zh) | 2022-12-23 | 2022-12-23 | 数字人手腕驱动方法与装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115641647B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103112007A (zh) * | 2013-02-06 | 2013-05-22 | 华南理工大学 | 基于混合传感器的人机交互方法 |
| CN110480634A (zh) * | 2019-08-08 | 2019-11-22 | 北京科技大学 | 一种针对机械臂运动控制的手臂引导运动控制方法 |
| WO2020248587A1 (zh) * | 2019-06-13 | 2020-12-17 | 苏州钧舵机器人有限公司 | 一种驱控一体化的智能电动机械手 |
| US20210197384A1 (en) * | 2019-12-26 | 2021-07-01 | Ubtech Robotics Corp Ltd | Robot control method and apparatus and robot using the same |
| CN114092636A (zh) * | 2021-11-03 | 2022-02-25 | 首都体育学院 | 一种采用神经网络的虚拟人物建模参数估计方法 |
| CN114529639A (zh) * | 2022-02-07 | 2022-05-24 | 新华智云科技有限公司 | 一种生成虚拟形象动画的方法、装置、设备及存储介质 |
| CN114758108A (zh) * | 2022-03-28 | 2022-07-15 | 广州方硅信息技术有限公司 | 虚拟对象驱动方法、装置、存储介质及计算机设备 |
| CN114862992A (zh) * | 2022-05-19 | 2022-08-05 | 北京百度网讯科技有限公司 | 虚拟数字人处理方法、模型训练方法及其装置 |
| CN115138063A (zh) * | 2022-06-30 | 2022-10-04 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115482556A (zh) * | 2022-09-20 | 2022-12-16 | 百果园技术(新加坡)有限公司 | 关键点检测模型训练及虚拟角色驱动的方法和对应的装置 |
| US20220405967A1 (en) * | 2021-06-21 | 2022-12-22 | Sensetime International Pte. Ltd. | Body and hand correlation method and apparatus, device, and storage medium |
-
2022
- 2022-12-23 CN CN202211658352.7A patent/CN115641647B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103112007A (zh) * | 2013-02-06 | 2013-05-22 | 华南理工大学 | 基于混合传感器的人机交互方法 |
| WO2020248587A1 (zh) * | 2019-06-13 | 2020-12-17 | 苏州钧舵机器人有限公司 | 一种驱控一体化的智能电动机械手 |
| CN110480634A (zh) * | 2019-08-08 | 2019-11-22 | 北京科技大学 | 一种针对机械臂运动控制的手臂引导运动控制方法 |
| US20210197384A1 (en) * | 2019-12-26 | 2021-07-01 | Ubtech Robotics Corp Ltd | Robot control method and apparatus and robot using the same |
| US20220405967A1 (en) * | 2021-06-21 | 2022-12-22 | Sensetime International Pte. Ltd. | Body and hand correlation method and apparatus, device, and storage medium |
| CN114092636A (zh) * | 2021-11-03 | 2022-02-25 | 首都体育学院 | 一种采用神经网络的虚拟人物建模参数估计方法 |
| CN114529639A (zh) * | 2022-02-07 | 2022-05-24 | 新华智云科技有限公司 | 一种生成虚拟形象动画的方法、装置、设备及存储介质 |
| CN114758108A (zh) * | 2022-03-28 | 2022-07-15 | 广州方硅信息技术有限公司 | 虚拟对象驱动方法、装置、存储介质及计算机设备 |
| CN114862992A (zh) * | 2022-05-19 | 2022-08-05 | 北京百度网讯科技有限公司 | 虚拟数字人处理方法、模型训练方法及其装置 |
| CN115138063A (zh) * | 2022-06-30 | 2022-10-04 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115482556A (zh) * | 2022-09-20 | 2022-12-16 | 百果园技术(新加坡)有限公司 | 关键点检测模型训练及虚拟角色驱动的方法和对应的装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘明磊;李捍东;庞爱平;刘晓燕;陈进军;: "6自由度机械臂远程控制系统研究" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115641647B (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108447097B (zh) | 深度相机标定方法、装置、电子设备及存储介质 | |
| CN109712234B (zh) | 三维人体模型的生成方法、装置、设备和存储介质 | |
| JP4951498B2 (ja) | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| CN109191554B (zh) | 一种超分辨图像重建方法、装置、终端和存储介质 | |
| CN112927362A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
| US20160210761A1 (en) | 3d reconstruction | |
| CN110555426A (zh) | 视线检测方法、装置、设备及存储介质 | |
| CN108073909A (zh) | 合成模糊人脸图像的方法和装置、计算机装置及存储介质 | |
| CN115410233B (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
| CN109785373A (zh) | 一种基于散斑的六自由度位姿估计系统及方法 | |
| CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
| CN116580169B (zh) | 一种数字人驱动方法及装置、电子设备和存储介质 | |
| CN115641647B (zh) | 数字人手腕驱动方法与装置、存储介质及电子设备 | |
| CN117352126A (zh) | 肌肉受力可视化方法、装置、计算机设备以及存储介质 | |
| CN109333527B (zh) | 一种与机器人的交互方法、装置、电子设备及存储介质 | |
| CN111275769A (zh) | 一种单目视觉参数的校正方法及装置 | |
| CN115205737B (zh) | 基于Transformer模型的运动实时计数方法和系统 | |
| CN115294280A (zh) | 三维重建方法、装置、设备、存储介质和程序产品 | |
| CN112184766B (zh) | 一种对象的跟踪方法、装置、计算机设备和存储介质 | |
| JP3452188B2 (ja) | ２次元動画像中の特徴点の追跡方法 | |
| CN113807251A (zh) | 一种基于外观的视线估计方法 | |
| CN115344113A (zh) | 多视角人体运动捕捉方法、装置、系统、介质及终端 | |
| CN108108694A (zh) | 一种人脸特征点定位方法及装置 | |
| CN116152931B (zh) | 一种手势识别方法及vr系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231203 Address after: 230031 Room 672, 6/F, Building A3A4, Zhong'an Chuanggu Science Park, No. 900, Wangjiang West Road, High-tech Zone, Hefei, Anhui Patentee after: Anhui Haima Cloud Technology Co.,Ltd. Address before: 301700 room 2d25, Building 29, No.89 Heyuan Road, Jingjin science and Technology Valley Industrial Park, Wuqing District, Tianjin Patentee before: HAIMAYUN (TIANJIN) INFORMATION TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right |