CN110942007B - 手部骨骼参数确定方法、装置、电子设备和存储介质 - Google Patents
手部骨骼参数确定方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN110942007B CN110942007B CN201911148790.7A CN201911148790A CN110942007B CN 110942007 B CN110942007 B CN 110942007B CN 201911148790 A CN201911148790 A CN 201911148790A CN 110942007 B CN110942007 B CN 110942007B
- Authority
- CN
- China
- Prior art keywords
- node
- hand
- palm
- finger
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 142
- 239000013598 vector Substances 0.000 claims abstract description 72
- 210000002411 hand bone Anatomy 0.000 claims abstract description 35
- 230000007704 transition Effects 0.000 claims description 121
- 210000000988 bone and bone Anatomy 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本公开关于手部骨骼参数确定方法、装置、电子设备和存储介质，方法包括：根据目标手型的二维图像，预测目标手型中节点在二维图像中的二维坐标；构建初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量、目标手型中手掌上节点的三维坐标之间的第一关联关系；基于以第一关联关系表达的目标手掌上节点在二维图像中的二维坐标，以及预测的目标手型中手掌上节点在二维图像中的二维坐标，确定第一旋转矩阵和平移向量。根据本公开的实施例确定手部骨骼参数，可以不必预测目标手型中节点的三维坐标，只需预测目标手型的二维坐标，相对于预测三维坐标的准确率较高，无需人工过多参与，操作相对简单，便于提高效率。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及手部骨骼参数确定方法、手部骨骼参数确定装置、电子设备和存储介质。
背景技术
在相关技术中，为了将初始手型转换到目标手型，需要确定手部骨骼参数，通过手部骨骼参数可以将初始手型中节点的坐标转换为目标手型中节点的坐标。
首先，可以预先设定一个初始手型，初始手型中节点对应初始手型中的关节，初始手型中节点的三维坐标是已知的。然后预测目标手型中每个节点的三维坐标，目标手型中节点对应目标手型中的关节，进而构建手部骨骼参数和初始手型中节点的三维坐标与目标手型中节点的三维坐标的方程，其中，手部骨骼参数可以包括旋转矩阵和平移向量。通过求解该方程，可以计算出手部骨骼参数。
但是目前采集到的目标手型，一般是位于二维图像中的，而在二维图像中预测节点的三维坐标，所采用的预测算法相对复杂，且预测准确率较低，这就导致最终求得手部骨骼参数的准确率较低。
发明内容
本公开提供一种手部骨骼参数确定方法，手部骨骼参数确定装置，电子设备和存储介质，以解决相关技术中的技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提出一种手部骨骼参数确定方法，包括：根据目标手型的二维图像，预测所述目标手型中节点在所述二维图像中的二维坐标，其中，所述目标手型中节点对应所述目标手型中手指的关节与手掌的关节；
构建初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量、所述目标手型中手掌上节点的三维坐标之间的第一关联关系，其中，所述第一旋转矩阵和所述平移向量分别表征将所述初始手型中手掌上节点旋转到与所述目标手型中手掌上对应节点重合时，所述初始手型中手掌所在平面与所述目标手型中手掌所在平面的旋转关系和平移关系，所述初始手型中手掌上节点至少对应所述初始手型中手指与手掌相连的关节，所述目标手型中手掌上节点对应所述目标手型中手指与手掌相连的关节；
基于以所述第一关联关系表达的所述目标手掌上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标，确定所述第一旋转矩阵和所述平移向量。
可选地，在所述确定所述第一旋转矩阵和所述平移向量之后，所述方法还包括：根据所述初始手型中子节点和父节点的距离，确定所述初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标，其中，所述父节点为与所述子节点位于同一根手指上，且与所述子节点相邻，并相对所述子节点靠近手掌的节点；
构建初始手型中手指上节点的相对坐标与第二旋转矩阵以及过渡手型中手指上节点的相对坐标之间的第二关联关系，其中，所述第二旋转矩阵表征将所述初始手型中手指上节点旋转到与所述过渡手型中手指上对应节点重合时，所述初始手型中手指上节点的相对坐标与所述过渡手型中手指上节点的相对坐标的旋转关系，所述过渡手型中手掌上节点与所述初始手型中手掌上的对应节点重合，所述过渡手型中手指上相邻节点之间的旋转关系与所述目标手型中手指上对应的相邻节点之间的旋转关系相同，所述过渡手型中手指上节点对应所述过渡手型中手指的关节；
根据所述过渡手型中手掌上节点的三维坐标，对所述过渡手型中手指上每个节点的相对坐标进行转换，以确定所述过渡手型中手指上节点的三维坐标，其中，所述过渡手型中手掌上节点对应所述过渡手型中手指与手掌相连的关节；
根据所述过渡手型中手指上节点的三维坐标和所述第一旋转矩阵以及所述平移向量，确定所述目标手型中手指上节点的三维坐标；
基于以所述第二关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵。
可选地，所述根据所述初始手型中子节点和父节点的距离，确定所述初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标包括：
构建所述初始手型中子节点和父节点的距离和骨骼长度系数之积，以及所述初始手型中手指上每个节点在以该节点的父节点为原点的局部坐标系中的相对坐标之间的第三关联关系；
所述基于以所述第二关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵包括：基于以所述第二关联关系和所述第三关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵和所述骨骼长度系数。
可选地，所述根据所述过渡手型中手掌上节点的三维坐标，对所述过渡手型中手指上每个节点的相对坐标进行转换，以确定所述过渡手型中手指上节点的三维坐标包括：
以所述过渡手型中手掌上节点作为第一代子节点，将所述第i代子节点的三维坐标加上第i+1代子节点的相对坐标，作为所述第i+1代子节点的三维坐标，其中，第i代子节点为第i+1代子节点的父节点，每根手指包括n代子节点，且所述第i代子节点相对所述第i+1代子节点靠近手掌，1≤i≤n。
可选地，所述基于以所述第二关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵包括：
基于所述目标手型中手指上节点在所述二维图像中的二维坐标和预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及所述目标手掌上节点在所述二维图像中的二维坐标和预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标构建最小二乘问题，以确定所述第二旋转矩阵、所述第一旋转矩阵和所述平移向量。
根据本公开实施例的第二方面，提出一种手部骨骼参数确定装置，包括：坐标预测模块，被配置为执行根据目标手型的二维图像，预测所述目标手型中节点在所述二维图像中的二维坐标，其中，所述目标手型中节点对应所述目标手型中手指的关节与手掌的关节；
第一构建模块，被配置为执行构建初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量、所述目标手型中手掌上节点的三维坐标之间的第一关联关系，其中，所述第一旋转矩阵和所述平移向量分别表征将所述初始手型中手掌上节点旋转到与所述目标手型中手掌上对应节点重合时，所述初始手型中手掌所在平面与所述目标手型中手掌所在平面的旋转关系和平移关系，所述初始手型中手掌上节点至少对应所述初始手型中手指与手掌相连的关节，所述目标手型中手掌上节点对应所述目标手型中手指与手掌相连的关节；
第一计算模块，被配置为执行基于以所述第一关联关系表达的所述目标手掌上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标，确定所述第一旋转矩阵和所述平移向量。
可选地，所述装置还包括：相对确定模块，被配置为执行根据所述初始手型中子节点和父节点的距离，确定所述初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标，其中，所述父节点为与所述子节点位于同一根手指上，且与所述子节点相邻，并相对所述子节点靠近手掌的节点；
第二构建模块，被配置为执行构建初始手型中手指上节点的相对坐标与第二旋转矩阵以及过渡手型中手指上节点的相对坐标之间的第二关联关系，其中，所述第二旋转矩阵表征将所述初始手型中手指上节点旋转到与所述过渡手型中手指上对应节点重合时，所述初始手型中手指上节点的相对坐标与所述过渡手型中手指上节点的相对坐标的旋转关系，所述过渡手型中手掌上节点与所述初始手型中手掌上的对应节点重合，所述过渡手型中手指上相邻节点之间的旋转关系与所述目标手型中手指上对应的相邻节点之间的旋转关系相同，所述过渡手型中手指上节点对应所述过渡手型中手指的关节；
坐标转换模块，被配置为执行根据所述过渡手型中手掌上节点的三维坐标，对所述过渡手型中手指上每个节点的相对坐标进行转换，以确定所述过渡手型中手指上节点的三维坐标，其中，所述过渡手型中手掌上节点对应所述过渡手型中手指与手掌相连的关节；
坐标确定模块，被配置为执行根据所述过渡手型中手指上节点的三维坐标和所述第一旋转矩阵以及所述平移向量，确定所述目标手型中手指上节点的三维坐标；
第二计算模块，被配置为执行基于以所述第二关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵。
可选地，所述相对确定模块，被配置为执行构建所述初始手型中子节点和父节点的距离和骨骼长度系数之积，以及所述初始手型中手指上每个节点在以该节点的父节点为原点的局部坐标系中的相对坐标之间的第三关联关系；
所述第二计算模块，被配置为执行基于以所述第二关联关系和所述第三关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵和所述骨骼长度系数。
可选地，所述坐标确定模块，被配置为执行以所述过渡手型中手掌上节点作为第一代子节点，将所述第i代子节点的三维坐标加上第i+1代子节点的相对坐标，作为所述第i+1代子节点的三维坐标，其中，第i代子节点为第i+1代子节点的父节点，每根手指包括n代子节点，且所述第i代子节点相对所述第i+1代子节点靠近手掌，1≤i≤n。
可选地，所述第二计算模块，被配置为执行基于所述目标手型中手指上节点在所述二维图像中的二维坐标和预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及所述目标手掌上节点在所述二维图像中的二维坐标和预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标构建最小二乘问题，以确定所述第二旋转矩阵、所述第一旋转矩阵和所述平移向量。
根据本公开实施例的第三方面，提出一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的手部骨骼参数确定方法。
根据本公开实施例的第四方面，提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的手部骨骼参数确定方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的手部骨骼参数确定方法。
本公开的实施例提供的技术方案至少带来以下有益效果：根据本公开的实施例确定手部骨骼参数，可以不必预测目标手型中节点的三维坐标，只需预测目标手型中节点在二维图像中的二维坐标，而预测二维坐标所采用的算法，相对于预测三维坐标所采用的算法相对简单，准确率也相对较高，因此通过构建预测的目标手型中手掌上节点在二维图像中的二维坐标、初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量和投影矩阵的关系，来计算第一旋转矩阵和平移向量等手部骨骼参数，得到的手部骨骼参数也相对准确，并且其中无需人工过多参与，操作相对简单，便于提高效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据本公开的实施例示出一种手部节点示意图。
图2是根据本公开的实施例示出一种初始手型的示意图。
图3是根据本公开的实施例示出的一种手部骨骼参数确定方法的示意流程图。
图4是根据本公开的实施例示出的另一种手部骨骼参数确定方法的示意流程图。
图5是根据本公开的实施例示出的又一种手部骨骼参数确定方法的示意流程图。
图6是根据本公开的实施例示出的又一种手部骨骼参数确定方法的示意流程图。
图7是根据本公开的实施例示出的又一种手部骨骼参数确定方法的示意流程图。
图8是根据本公开的实施例示出的一种手部骨骼参数确定装置所在设备的一种硬件结构图。
图9是根据本公开的实施例示出的一种手部骨骼参数确定装置的示意框图。
图10是根据本公开的实施例示出的另一种手部骨骼参数确定装置的示意框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图3是根据本公开的实施例示出的一种手部骨骼参数确定方法的示意流程图。本公开所述的手部骨骼参数确定方法，可以适用于终端，所述终端包括但不限于手机、平板电脑、可穿戴设备等，也可以适用于服务器。
如图3所示，所述手部骨骼参数确定方法可以包括以下步骤：
在步骤S1中，根据目标手型的二维图像，预测所述目标手型中节点在所述二维图像中的二维坐标，其中，所述目标手型中节点对应所述目标手型中手指的关节与手掌的关节；
在步骤S2中，构建初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量、所述目标手型中手掌上节点的三维坐标之间的第一关联关系，其中，所述第一旋转矩阵和所述平移向量分别表征将所述初始手型中手掌上节点旋转到与所述目标手型中手掌上对应节点重合时，所述初始手型中手掌所在平面与所述目标手型中手掌所在平面的旋转关系和平移关系，所述初始手型中手掌上节点至少对应所述初始手型中手指与手掌相连的关节，所述目标手型中手掌上节点对应所述目标手型中手指与手掌相连的关节；
在步骤S3中，基于以所述第一关联关系表达的所述目标手掌上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标，确定所述第一旋转矩阵和所述平移向量。
在一个实施例中，人手骨骼上节点(也可以称作关键点)可以如图1所示，节点对应人手骨骼的关节，可以按照节点距离手腕的距离设定节点之间存在父子关系，在同一个手指上相邻的两个节点中，距离手腕较远的节点为距离手腕较近的节点的子节点，例如对于节点10而言，其父节点为节点9，对于节点11而言，其父节点为节点10。
而手掌上节点包括节点1、5、9、13和17，还可以包括节点0，手指上节点可以包括节点1、5、9、13和17，以及节点2、3、4、6、7、8、10、11、12、14、15、16、18、19、20，也即其中节点1、5、9、13和17既位于手掌上，又位于手指上。
首先，可以设置初始手型，例如初始手型可以如图2所示，例如可以设置节点0为世界坐标系中的原点，手掌所在平面为世界坐标系中x轴和y轴所在平面，手指根部到指尖的方向为y轴方向，x轴垂直于y轴，且位于手掌所在平面内，z轴可以根据右手螺旋定则确定。需要说明的是，初始手型可以根据需要进行设置，并不限于图2所示的情况。
初始手型中的所有节点的三维坐标是已知的，子节点和父节点之间的距离(对应骨骼长度)以及旋转关系(子节点所在局部坐标系相对于父节点所在局部坐标系的旋转矩阵)也是已知的。本实施例所示的技术方案，目的之一是为了确定初始手型中节点到任一个目标手型中节点的旋转矩阵和平移向量。
在一个实施例中，可以采集目标手型的二维图像，例如通过相机采集目标手型的二维图像，可以获取相机的内参以备后续操作使用。
对于目标手型的二维图像，可以选择预测算法来预测目标手型中节点在二维图像中的二维坐标(例如预先通过深度学习确定卷积神经网络，然后将目标手型的二维图像输入到确定的卷积神经网络，输出目标手型中节点在二维图像预测的二维坐标)，预测得到的二维节点的坐标作为已知量供后续操作使用，其中，目标手型中节点对应目标手型中手指的关节与手掌的关节，预测得到的二维坐标包括两部分，一部分是预测的手掌上节点的二维坐标，另一部分是预测的手指上节点的二维坐标。
由于手掌中的骨骼基本上不可弯曲，所以手掌上节点并不会随着手型的变化而改变相互之间的旋转关系和平移关系。通过对手掌上节点进行旋转和平移，可以得到另一个手型，例如目标手型，因此对初始手型中手掌上节点的三维坐标进行旋转和平移，可以得到目标手型中手掌上节点的三维坐标，而由于手掌上节点并不会随着手型的变化而改变相互之间的旋转关系和平移关系，因此可以通过一个矩阵对初始手型中手掌上节点的三维坐标进行旋转，以及通过一个平移向量对初始手型中手掌上节点的三维坐标进行平移，将初始手型中手掌上节点旋转和平移到与目标手型中手掌上对应节点重合，例如通过第一旋转矩阵对初始手型中手掌上节点的三维坐标进行旋转，通过平移向量对初始手型中手掌上节点的三维坐标进行平移，将初始手型中手掌上节点旋转和平移到与目标手型中手掌上对应节点重合。
其中，初始手型中手掌上节点对应初始手型中手指与手掌相连的关节，目标手型中手掌上节点对应目标手型中手指与手掌相连的关节。
由于第一旋转矩阵和平移向量都是未知量，为了计算第一旋转矩阵和平移向量，可以构建初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量和目标手型中手掌上节点的三维坐标之间的第一关联关系。例如第一关联关系可以是方程，该方程表示为目标手型中手掌上节点的三维坐标，等于初始手型中手掌上节点的三维坐标乘以第一旋转矩阵，再加上平移向量。
进而可以将目标手型中手掌上节点的三维坐标向所述二维图像投影，其中，可以基于相机的内参构建投影矩阵，然后根据投影矩阵确定目标手型中手掌上节点的三维坐标在二维图像中的投影，投影坐标即目标手型中手掌上节点在二维图像中的二维坐标。
据此，得到了目标手型中手掌上节点在二维图像中的二维坐标，而目标手型中手掌上节点的二维坐标可以通过初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量和投影矩阵来表示。
为了求得第一旋转矩阵和平移向量，可以基于以第一关联关系表达的目标手掌上节点在二维图像中的二维坐标和对目标手型中手掌上节点预测的在二维图像中的二维坐标构建最小二乘问题，例如通过预设算法调整第一旋转矩阵和平移向量，使得目标手掌上节点在二维图像中的二维坐标与对目标手型中手掌上节点预测的在二维图像中二维坐标重合。
最小二乘问题的收敛条件可以根据需要进行设置，例如收敛条件可以是当连续两次调整第一旋转矩阵和平移向量得到的目标手掌上节点在二维图像中的二维坐标之间的差异较小，或者是连续两次调整调整第一旋转矩阵和平移向量得到的目标手掌上节点在二维图像中的二维坐标，与对目标手型中手掌上节点预测的在二维图像中的二维坐标之间的差异较小。
在满足收敛条件后，可以输出第一旋转矩阵和平移向量以作为手部骨骼参数。而针对任意目标手型，都可以按照本实施例所示的方法确定第一旋转矩阵和平移向量。
根据本公开的实施例确定手部骨骼参数，可以不必预测目标手型中节点的三维坐标，只需预测目标手型中节点在二维图像中的二维坐标，而预测二维坐标所采用的算法，相对于预测三维坐标所采用的算法相对简单，准确率也相对较高，因此通过构建预测的目标手型中手掌上节点在二维图像中的二维坐标、初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量和投影矩阵的关系，来计算第一旋转矩阵和平移向量等手部骨骼参数，得到的手部骨骼参数也相对准确，并且其中无需人工过多参与，操作相对简单，便于提高效率。
需要说明的是，由于构建最小二乘问题来计算第一旋转矩阵和平移向量，需要对第一旋转矩阵和平移向量进行调整，其中涉及迭代的过程，那么在迭代的初始，可以为第一旋转矩阵和平移向量设置初始值，而初始值可以根据经验设置；在目标手型的二维图像为连续图像中的某一帧时，还可以根据步骤S1中预测二维坐标所基于的二维图像的前一帧图像来设置初始值。另外，本公开所述的实施例中的三维坐标，除了特殊说明的，均是指在世界坐标系中的坐标。
图4是根据本公开的实施例示出的另一种手部骨骼参数确定方法的示意流程图。如图4所示，在所述确定所述第一旋转矩阵和所述平移向量之后，所述方法还包括：
在步骤S4中，根据所述初始手型中子节点和父节点的距离，确定所述初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标，其中，所述父节点为与所述子节点位于同一根手指上，且与所述子节点相邻，并相对所述子节点靠近手掌的节点；
在步骤S5中，构建初始手型中手指上节点的相对坐标与第二旋转矩阵以及过渡手型中手指上节点的相对坐标之间的第二关联关系，其中，所述第二旋转矩阵表征将所述初始手型中手指上节点旋转到与所述过渡手型中手指上对应节点重合时，所述初始手型中手指上节点的相对坐标与所述过渡手型中手指上节点的相对坐标的旋转关系，所述过渡手型中手掌上节点与所述初始手型中手掌上的对应节点重合，所述过渡手型中手指上相邻节点之间的旋转关系与所述目标手型中手指上对应的相邻节点之间的旋转关系相同，所述过渡手型中手指上节点对应所述过渡手型中手指的关节；
在步骤S6中，根据所述过渡手型中手掌上节点的三维坐标，对所述过渡手型中手指上每个节点的相对坐标进行转换，以确定所述过渡手型中手指上节点的三维坐标，其中，所述过渡手型中手掌上节点对应所述过渡手型中手指与手掌相连的关节；
在步骤S7中，根据所述过渡手型中手指上节点的三维坐标和所述第一旋转矩阵以及所述平移向量，确定所述目标手型中手指上节点的三维坐标；
在步骤S8中，基于以所述第二关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵。
在一个实施例中，如图3所示实施例中的步骤S1至步骤S3只确定了第一旋转矩阵和平移向量，而基于第一旋转矩阵和平移向量只能将初始手型中手掌上节点的三维坐标转换到与目标手型中手掌上节点的三维坐标重合，并未将初始手型中手指上节点的三维坐标转换到与目标手型中手指上节点的三维坐标重合，所以确定的手部骨骼参数并不足够全面。
为了确定能够准确而全面地确定初始手型中全部节点的三维坐标与目标手型中全部节点的旋转关系可以平移关系，本实施例还进一步提出了步骤S4至步骤S8，主要用于确定如何将初始手型中手指上节点的三维坐标转换到目标手型中手指上节点的三维坐标。
由于对于目标手型中手指上节点，仅仅已知预测的在二维图像中的二维坐标，难以直接与初始手型中手指上节点建立关联关系，所以本实施例先假设一个过渡手型，过渡手型中手掌上节点与初始手型中手掌上节点重合，过渡手型中手指上相邻节点之间的旋转关系与目标手型中手指上对应的相邻节点之间的旋转关系相同。
进而可以根据初始手型中子节点和父节点的距离，确定初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标。
所谓局部坐标系，是指针对某个节点而言，以该节点的父节点为原点建立的坐标系，而相对坐标，是指某个节点在以父节点为原点的局部坐标系中的坐标。例如以父节点作为原点构建(三维)坐标系，根据子节点到父节点的距离，可以确定子节点在局部坐标系中的相对坐标。具体地，以父节点为原点构建的坐标系的三个坐标轴的方向，可以与世界坐标系中三个坐标轴的方向相同，假设子节点与父节点相距L，其处于父节点正上方，而朝上方向为y轴方向，那么可以确定节点在局部坐标系中的相对坐标为(0，L，0)，以此类推，可以确定每个节点在局部坐标系中的相对坐标。
由于过渡手型中手掌上节点与初始手型中手掌上节点重合，所以过渡手型相对初始手型在位置上并没有改变，但是过渡手型中手指上相邻节点之间的旋转关系与目标手型中手指上对应的相邻节点之间的旋转关系是相同的，那么过渡手型中手指上节点相对于初始手型中手指上节点存在旋转关系，根据该旋转关系对初始手型中手指上节点的三维坐标进行旋转可以得到过渡手型上手指上节点的三维坐标，具体可以通过第二旋转矩阵进行旋转，而第二旋转矩阵为未知量。
据此可以构建初始手型中手指上节点的相对坐标、第二旋转矩阵和过渡手型中手指上节点的相对坐标之间的第二关联关系，而初始手型中手指上节点的相对坐标可以根据初始手型中手指上节点的三维坐标来确定。例如第二关联关系为方程，该方程表示为过渡手型中手指上节点的相对坐标，等于初始手型中手指上节点的相对坐标乘以第二旋转矩阵。
但是由于相对坐标是过渡手型中手指上节点在以该节点的父节点为原点的局部坐标系中的坐标，并非位于世界坐标系下的坐标，而过渡手型中手掌上节点对应手指与手掌相连的关节，其既位于手掌上，又位于手指上，并且其在世界坐标系中的三维坐标是已知的，而手掌上节点的子节点的相对坐标，正是相对于手掌上节点的三维坐标偏移的坐标，那么可以将手掌上节点的三维坐标加上子节点的相对坐标作为子节点在世界坐标系中的三维坐标，那么可以将手掌上节点的子节点在世界坐标系中的三维坐标作为已知量，以子节点作为新的父节点，确定子节点的子节点的坐标，以此类推，可以确定过渡手型中手指上所有节点的三维坐标。
例如图1中节点5在图2所示的初始手型中的三维坐标是已知的，在过渡手型中的三维坐标也就是已知的，那么节点5作为节点6的父节点，初始手型中节点5和节点6的三维坐标都是已知的，据此可以确定节点6的相对坐标，进而可以构建初始手型中节点6的相对坐标、第二旋转矩阵与过渡手型中节点6的相对坐标之间的第二关联关系。
而过渡手型中节点6在局部坐标系中的相对坐标相对于世界坐标系所产生的偏移，则可以根据该局部坐标系原点(也即节点5)在世界坐标系中的三维坐标来表征，也即节点5的三维坐标可以表征节点6的相对坐标相对世界坐标系产生的偏移，那么将节点5的三维坐标加上节点6的相对坐标，就可以得到节点6在世界坐标系中的三维坐标。
进而在过渡手型中可以以节点6作为父节点构建局部坐标系，确定节点6的子节点，也即节点7的相对坐标，然后将节点7的相对坐标加上节点6在世界坐标系中的三维坐标，得到节点7在世界坐标系中的三维坐标；再以节点7作为父节点构建局部坐标系，确定节点7的子节点，也即节点8的相对坐标，然后将节点8的相对坐标加上节点7在世界坐标系中的三维坐标，得到节点8在世界坐标系中的三维坐标。
据此，可以得到过渡手型中手指节点的三维坐标，而过渡手型中手指上相邻节点之间的旋转关系(具体是指相邻两个节点所在局部坐标系之间的旋转关系)与目标手型中手指上对应的相邻节点之间的旋转关系相同，但是过渡手型中手指上节点与目标手型中手指上节点并不重合，可以通过所述第一旋转矩阵和所述平移向量对过渡手型中手指上节点的三维坐标进行统一旋转和平移，以使过渡手型中手指上节点与目标手型中手指上节点重合，从而可以得到目标手型中手指上节点的三维坐标。例如将过渡手型中手指上节点的三维坐标乘以第一旋转矩阵，再加上平移向量，得到目标手型中手指上节点的三维坐标。
然后再将目标手型中手指上节点的三维坐标向所述二维图像投影，以确定目标手型中手指上节点在二维图像中的二维坐标，其中，可以基于相机的内参构建投影矩阵，然后根据投影矩阵确定目标手型中手指上节点的三维坐标在二维图像中的投影，投影坐标即目标手型中手指上节点在二维图像中的二维坐标。
据此，得到了目标手型中手指上节点在二维图像中的二维坐标，而目标手型中手指上节点在二维图像中的二维坐标是通过初始手型中手指上节点的三维坐标，以及第一旋转矩阵、平移向量、第二旋转矩阵、子节点和父节点的距离以及投影矩阵来表示的，其中第一旋转矩阵和平移向量已基于图3所示实施例的步骤S1至S3求出，所以仅有第二旋转矩阵是未知量。
为了求得第二旋转矩阵，可以基于目标手型中手指上节点在二维图像中的二维坐标和预测的目标手型中手指上节点在二维图像中的二维坐标构建最小二乘问题，以确定第二旋转矩阵，例如通过预设算法调整第二旋转矩阵，使得目标手指上节点在二维图像中的二维坐标与预测的目标手型中手指上节点在二维图像中的二维坐标重合。
与图3所述实施例类似地，本实施例中的最小二乘问题的收敛条件也可以根据需要进行设置，在此不再赘述。在收敛后，可以输出第二旋转矩阵以作为手部骨骼参数。而针对任意目标手型，都可以按照本实施例所示的方法确定第二旋转矩阵。
据此，在图3所示实施例计算第一旋转矩阵和平移向量的基础上，还计算了第二旋转矩阵，从而全面地确定了手部骨骼参数，因此可以通过第一旋转矩阵和平移向量对初始手型中手掌上节点的三维坐标进行转换，并通过第二旋转矩阵对初始手型中手指上节点的三维坐标进行转换，实现了将初始手型中全部节点的三维坐标转换为目标手型中节点的三维坐标。
图5是根据本公开的实施例示出的另一种手部骨骼参数确定方法的示意流程图。如图5所示，所述根据所述初始手型中子节点和父节点的距离，确定所述初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标包括：
在步骤S41中，构建所述初始手型中子节点和父节点的距离和骨骼长度系数之积，以及所述初始手型中手指上每个节点在以该节点的父节点为原点的局部坐标系中的相对坐标之间的第三关联关系；
所述基于以所述第二关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵包括：
在步骤S81中，基于以所述第二关联关系和所述第三关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵和所述骨骼长度系数。
在一个实施例中，考虑到初始手型和目标手型的骨骼长度可以不同，也即子节点和父节点之间的距离可以不同，本实施例在确定相对坐标的过程中，为子节点和父节点之间的距离设置了骨骼长度系数，例如与距离相乘的骨骼长度系数，也即相当于针对每个骨骼长度乘以一个骨骼长度系数，进而目标手型中手指上节点的二维坐标除了通过初始手型中手指上节点的三维坐标，以及第一旋转矩阵、平移向量、第二旋转矩阵、子节点和父节点的距离以及投影矩阵来表示，还需要考虑所设置的骨骼长度系数。
进而基于目标手型中手指上节点在二维图像中的二维坐标和预测的目标手型中手指上节点在二维图像中的二维坐标构建最小二乘问题，可以求得第二旋转矩阵和所述骨骼长度系数，而由于本实施例在构建最小二乘问题时，引入了骨骼长度的骨骼长度系数，使得初始手型经过转换更容易对应到目标手型，进而使得目标手型中手指上节点在二维图像中的二维坐标和预测的目标手型中手指上节点在二维图像中的二维坐标更容易趋于重合，以便在求解第二旋转矩阵和所述骨骼长度系数过程中能够尽快收敛。
图6是根据本公开的实施例示出的又一种手部骨骼参数确定方法的示意流程图。如图6所示，所述根据所述过渡手型中手掌上节点的三维坐标，对所述过渡手型中手指上每个节点的相对坐标进行转换，以确定所述过渡手型中手指上节点的三维坐标包括：
在步骤S61中，以所述过渡手型中手掌上节点作为第一代子节点，将所述第i代子节点的三维坐标加上第i+1代子节点的相对坐标，作为所述第i+1代子节点的三维坐标，其中，第i代子节点为第i+1代子节点的父节点，每根手指包括n代子节点，且所述第i代子节点相对所述第i+1代子节点靠近手掌，1≤i≤n。
在一个实施例中，关于确定过渡手型中手指上节点的三维坐标，可以以过渡手型中手掌上节点作为第一代子节点，由于过渡手型中手掌上节点是手掌与手指相接的节点，也即第一代子节点既位于手掌上，又位于手指上，且由于过渡手型中手掌上节点的三维坐标与初始手型中手掌上节点的三维坐标重合，那么过渡手型中手掌上节点的三维坐标就是已知的，而手掌上节点的子节点的相对坐标，正是相对于手掌上节点的三维坐标偏移的坐标，那么可以将手掌上节点的三维坐标加上子节点的相对坐标作为子节点在世界坐标系中的三维坐标，进而以子节点作为新的父节点，确定子节点的子节点的坐标。
也即对于包括n代子节点的手指而言，可以将第i代子节点的三维坐标加上第i+1代子节点的相对坐标，作为第i+1代子节点的三维坐标，以此类推，可以确定过渡手型中手指上n代子节点中没代子节点的三维坐标，进而确定过渡手型中手指上所有节点的三维坐标。
例如图1中节点5在图2所示的初始手型中的三维坐标是已知的，在过渡手型中的三维坐标也是已知的，那么节点5作为节点6的父节点，初始手型中节点5和节点6的三维坐标都是已知的，因此可以确定节点6的相对坐标，进而根据初始手型中节点6的相对坐标和第二旋转矩阵，可以表达过渡手型中节点6的相对坐标。
而过渡手型中节点6在局部坐标系中的相对坐标相对于世界坐标系所产生的偏移，则可以根据该局部坐标系原点(也即节点5)在世界坐标系中的三维坐标来表征，也即节点5的三维坐标可以表征节点6的相对坐标相对世界坐标系产生的偏移，那么将节点5的三维坐标加上节点6的相对坐标，就可以得到节点6在世界坐标系中的三维坐标(也即将根节点的三维坐标加上第一代子节点的相对坐标，作为第一代子节点的三维坐标)。
进而在过渡手型中可以以节点6作为父节点构建局部坐标系，确定节点6的子节点，也即节点7的相对坐标，然后将节点7的相对坐标加上节点6的三维坐标，得到节点7在世界坐标系中的三维坐标(也即将第1代子节点的三维坐标加上第2代子节点的相对坐标，作为第2代子节点的三维坐标)；再以节点7作为父节点构建局部坐标系，确定节点7的子节点，也即节点8的相对坐标，然后将节点8的相对坐标加上节点7的三维坐标，得到节点8在世界坐标系中的三维坐标(也即将第2代子节点的三维坐标加上第3代子节点的相对坐标，作为第3代子节点的三维坐标)。
图7是根据本公开的实施例示出的又一种手部骨骼参数确定方法的示意流程图。如图7所示，所述基于以所述第二关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵包括：
在步骤S82中，基于所述目标手型中手指上节点在所述二维图像中的二维坐标和预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及所述目标手掌上节点在所述二维图像中的二维坐标和预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标构建最小二乘问题，以确定所述第二旋转矩阵、所述第一旋转矩阵和所述平移向量。
在一个实施例中，在构建最小二乘为题时，除了可以将第二旋转矩阵作为未知量进行调整，还可以将第一旋转矩阵和平移向量也作为未知量进行调整，那么可以基于目标手型中手指上节点在二维图像中的二维坐标和预测的目标手型中手指上节点在二维图像中的二维坐标，以及目标手掌上节点在所述二维图像中的二维坐标和预测的目标手型中手掌上节点在二维图像中的二维坐标构建最小二乘问题，以确定第二旋转矩阵、第一旋转矩阵和平移向量。
其中，可以将步骤S1至步骤S3所得到的第一旋转矩阵和平移向量作为初始值进行调整，有利于保证得到的第二旋转矩阵和进一步得到的第一旋转矩阵和平移向量，能够更为准确地表示目标手型中手指上节点在二维图像中的二维坐标，与预测的目标手型中手指上节点在二维图像中的二维坐标之间的关系。
本公开实施例示出的手部骨骼参数确定装置的实施例可以应用在终端或服务器上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为根据本公开的实施例示出的手部骨骼参数确定装置所在设备的一种硬件结构图，除了图8所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
与前述手部骨骼参数确定方法的实施例相对应地，本公开还提出了手部骨骼参数确定装置的实施例。
图9是根据本公开的实施例示出的一种手部骨骼参数确定装置的示意框图。本公开所述的手部骨骼参数确定装置，可以适用于终端，所述终端包括但不限于手机、平板电脑、可穿戴设备等，也可以适用于服务器。
如图9所示，所述手部骨骼参数确定装置可以包括：
坐标预测模块101，被配置为执行根据目标手型的二维图像，预测所述目标手型中节点在所述二维图像中的二维坐标，其中，所述目标手型中节点对应所述目标手型中手指的关节与手掌的关节；
第一构建模块102，被配置为执行构建初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量、所述目标手型中手掌上节点的三维坐标之间的第一关联关系，其中，所述第一旋转矩阵和所述平移向量分别表征将所述初始手型中手掌上节点旋转到与所述目标手型中手掌上对应节点重合时，所述初始手型中手掌所在平面与所述目标手型中手掌所在平面的旋转关系和平移关系，所述初始手型中手掌上节点至少对应所述初始手型中手指与手掌相连的关节，所述目标手型中手掌上节点对应所述目标手型中手指与手掌相连的关节；
第一计算模块103，被配置为执行基于以所述第一关联关系表达的所述目标手掌上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标，确定所述第一旋转矩阵和所述平移向量。
图10是根据本公开的实施例示出的另一种手部骨骼参数确定装置的示意框图。如图10所示，所述装置还包括：
相对确定模块104，被配置为执行根据所述初始手型中子节点和父节点的距离，确定所述初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标，其中，所述父节点为与所述子节点位于同一根手指上，且与所述子节点相邻，并相对所述子节点靠近手掌的节点；
第二构建模块105，被配置为执行构建初始手型中手指上节点的相对坐标与第二旋转矩阵以及过渡手型中手指上节点的相对坐标之间的第二关联关系，其中，所述第二旋转矩阵表征将所述初始手型中手指上节点旋转到与所述过渡手型中手指上对应节点重合时，所述初始手型中手指上节点的相对坐标与所述过渡手型中手指上节点的相对坐标的旋转关系，所述过渡手型中手掌上节点与所述初始手型中手掌上的对应节点重合，所述过渡手型中手指上相邻节点之间的旋转关系与所述目标手型中手指上对应的相邻节点之间的旋转关系相同，所述过渡手型中手指上节点对应所述过渡手型中手指的关节；
坐标转换模块106，被配置为执行根据所述过渡手型中手掌上节点的三维坐标，对所述过渡手型中手指上每个节点的相对坐标进行转换，以确定所述过渡手型中手指上节点的三维坐标，其中，所述过渡手型中手掌上节点对应所述过渡手型中手指与手掌相连的关节；
坐标确定模块107，被配置为执行根据所述过渡手型中手指上节点的三维坐标和所述第一旋转矩阵以及所述平移向量，确定所述目标手型中手指上节点的三维坐标；
第二计算模块108，被配置为执行基于以所述第二关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵。
可选地，所述相对确定模块，被配置为执行构建所述初始手型中子节点和父节点的距离和骨骼长度系数之积，以及所述初始手型中手指上每个节点在以该节点的父节点为原点的局部坐标系中的相对坐标之间的第三关联关系；
所述第二计算模块，被配置为执行基于以所述第二关联关系和所述第三关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵和所述骨骼长度系数。
可选地，所述坐标确定模块，被配置为执行以所述过渡手型中手掌上节点作为第一代子节点，将所述第i代子节点的三维坐标加上第i+1代子节点的相对坐标，作为所述第i+1代子节点的三维坐标，其中，第i代子节点为第i+1代子节点的父节点，每根手指包括n代子节点，且所述第i代子节点相对所述第i+1代子节点靠近手掌，1≤i≤n。
可选地，所述第二计算模块，被配置为执行基于所述目标手型中手指上节点在所述二维图像中的二维坐标和预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及所述目标手掌上节点在所述二维图像中的二维坐标和预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标构建最小二乘问题，以确定所述第二旋转矩阵、所述第一旋转矩阵和所述平移向量。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开的实施例还提出一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一实施例所述的手部骨骼参数确定方法。
本公开的实施例还提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的手部骨骼参数确定方法。
本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的手部骨骼参数确定方法。
可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的手部骨骼参数确定方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。
Claims (10)
1.一种手部骨骼参数确定方法，其特征在于，包括：
根据目标手型的二维图像，预测所述目标手型中节点在所述二维图像中的二维坐标，其中，所述目标手型中节点对应所述目标手型中手指的关节与手掌的关节；
构建初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量、所述目标手型中手掌上节点的三维坐标之间的第一关联关系，其中，所述第一旋转矩阵和所述平移向量分别表征将所述初始手型中手掌上节点旋转到与所述目标手型中手掌上对应节点重合时，所述初始手型中手掌所在平面与所述目标手型中手掌所在平面的旋转关系和平移关系，所述初始手型中手掌上节点至少对应所述初始手型中手指与手掌相连的关节，所述目标手型中手掌上节点对应所述目标手型中手指与手掌相连的关节；
基于以所述第一关联关系表达的所述目标手掌上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标，确定所述第一旋转矩阵和所述平移向量；
其中，所述第一关联关系为第一方程，所述第一方程表示为：目标手型中手掌上节点的三维坐标等于初始手型中手掌上节点的三维坐标乘以第一旋转矩阵，然后加上平移向量；
将所述目标手型中手掌上节点的三维坐标向所述二维图像投影，其中，基于相机的内参构建投影矩阵，根据投影矩阵确定目标手型中手掌上节点的三维坐标在二维图像中的投影，所述投影的坐标即所述目标手型中手掌上节点在所述二维图像中的二维坐标。
2.根据权利要求1所述的方法，其特征在于，在所述确定所述第一旋转矩阵和所述平移向量之后，所述方法还包括：
根据所述初始手型中子节点和父节点的距离，确定所述初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标，其中，所述父节点为与所述子节点位于同一根手指上，且与所述子节点相邻，并相对所述子节点靠近手掌的节点；
构建初始手型中手指上节点的相对坐标与第二旋转矩阵以及过渡手型中手指上节点的相对坐标之间的第二关联关系，所述第二关联关系为第二方程，所述第二方程表示为过渡手型中手指上节点的相对坐标等于初始手型中手指上节点的相对坐标乘以第二旋转矩阵，其中，所述第二旋转矩阵表征将所述初始手型中手指上节点旋转到与所述过渡手型中手指上对应节点重合时，所述初始手型中手指上节点的相对坐标与所述过渡手型中手指上节点的相对坐标的旋转关系，所述过渡手型中手掌上节点与所述初始手型中手掌上的对应节点重合，所述过渡手型中手指上相邻节点之间的旋转关系与所述目标手型中手指上对应的相邻节点之间的旋转关系相同，所述过渡手型中手指上节点对应所述过渡手型中手指的关节；
根据所述过渡手型中手掌上节点的三维坐标，对所述过渡手型中手指上每个节点的相对坐标进行转换，以确定所述过渡手型中手指上节点的三维坐标，其中，所述过渡手型中手掌上节点对应所述过渡手型中手指与手掌相连的关节；
根据所述过渡手型中手指上节点的三维坐标和所述第一旋转矩阵以及所述平移向量，确定所述目标手型中手指上节点的三维坐标；
基于所述目标手型中手指上节点在所述二维图像中的二维坐标和预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及所述目标手掌上节点在所述二维图像中的二维坐标和预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标构建最小二乘问题，以确定所述第二旋转矩阵、所述第一旋转矩阵和所述平移向量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述初始手型中子节点和父节点的距离，确定所述初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标包括：
构建所述初始手型中子节点和父节点的距离和骨骼长度系数之积，以及所述初始手型中手指上每个节点在以该节点的父节点为原点的局部坐标系中的相对坐标之间的第三关联关系；
所述基于以所述第二关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵包括：
基于以所述第二关联关系和所述第三关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵和所述骨骼长度系数。
4.根据权利要求2所述的方法，其特征在于，所述根据所述过渡手型中手掌上节点的三维坐标，对所述过渡手型中手指上每个节点的相对坐标进行转换，以确定所述过渡手型中手指上节点的三维坐标包括：
以所述过渡手型中手掌上节点作为第一代子节点，将第i代子节点的三维坐标加上第i+1代子节点的相对坐标，作为所述第i+1代子节点的三维坐标，其中，第i代子节点为第i+1代子节点的父节点，每根手指包括n代子节点，且所述第i代子节点相对所述第i+1代子节点靠近手掌，1≤i≤n。
5.一种手部骨骼参数确定装置，其特征在于，包括：
坐标预测模块，被配置为执行根据目标手型的二维图像，预测所述目标手型中节点在所述二维图像中的二维坐标，其中，所述目标手型中节点对应所述目标手型中手指的关节与手掌的关节；
第一构建模块，被配置为执行构建初始手型中手掌上节点的三维坐标、第一旋转矩阵、平移向量、所述目标手型中手掌上节点的三维坐标之间的第一关联关系，其中，所述第一旋转矩阵和所述平移向量分别表征将所述初始手型中手掌上节点旋转到与所述目标手型中手掌上对应节点重合时，所述初始手型中手掌所在平面与所述目标手型中手掌所在平面的旋转关系和平移关系，所述初始手型中手掌上节点至少对应所述初始手型中手指与手掌相连的关节，所述目标手型中手掌上节点对应所述目标手型中手指与手掌相连的关节；
第一计算模块，被配置为执行基于以所述第一关联关系表达的所述目标手掌上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标，确定所述第一旋转矩阵和所述平移向量；
其中，所述第一关联关系为第一方程，所述第一方程表示为：目标手型中手掌上节点的三维坐标等于初始手型中手掌上节点的三维坐标乘以第一旋转矩阵，然后加上平移向量；
将所述目标手型中手掌上节点的三维坐标向所述二维图像投影，其中，基于相机的内参构建投影矩阵，根据投影矩阵确定目标手型中手掌上节点的三维坐标在二维图像中的投影，所述投影的坐标即所述目标手型中手掌上节点在所述二维图像中的二维坐标。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
相对确定模块，被配置为执行根据所述初始手型中子节点和父节点的距离，确定所述初始手型中手指上每个节点在以父节点为原点的局部坐标系中的相对坐标，其中，所述父节点为与所述子节点位于同一根手指上，且与所述子节点相邻，并相对所述子节点靠近手掌的节点；
第二构建模块，被配置为执行构建初始手型中手指上节点的相对坐标与第二旋转矩阵以及过渡手型中手指上节点的相对坐标之间的第二关联关系，所述第二关联关系为第二方程，所述第二方程表示为过渡手型中手指上节点的相对坐标等于初始手型中手指上节点的相对坐标乘以第二旋转矩阵，其中，所述第二旋转矩阵表征将所述初始手型中手指上节点旋转到与所述过渡手型中手指上对应节点重合时，所述初始手型中手指上节点的相对坐标与所述过渡手型中手指上节点的相对坐标的旋转关系，所述过渡手型中手掌上节点与所述初始手型中手掌上的对应节点重合，所述过渡手型中手指上相邻节点之间的旋转关系与所述目标手型中手指上对应的相邻节点之间的旋转关系相同，所述过渡手型中手指上节点对应所述过渡手型中手指的关节；
坐标转换模块，被配置为执行根据所述过渡手型中手掌上节点的三维坐标，对所述过渡手型中手指上每个节点的相对坐标进行转换，以确定所述过渡手型中手指上节点的三维坐标，其中，所述过渡手型中手掌上节点对应所述过渡手型中手指与手掌相连的关节；
坐标确定模块，被配置为执行根据所述过渡手型中手指上节点的三维坐标和所述第一旋转矩阵以及所述平移向量，确定所述目标手型中手指上节点的三维坐标；
第二计算模块，被配置为执行基于所述目标手型中手指上节点在所述二维图像中的二维坐标和预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及所述目标手掌上节点在所述二维图像中的二维坐标和预测的所述目标手型中手掌上节点在所述二维图像中的二维坐标构建最小二乘问题，以确定所述第二旋转矩阵、所述第一旋转矩阵和所述平移向量。
7.根据权利要求6所述的装置，其特征在于，所述相对确定模块，被配置为执行构建所述初始手型中子节点和父节点的距离和骨骼长度系数之积，以及所述初始手型中手指上每个节点在以该节点的父节点为原点的局部坐标系中的相对坐标之间的第三关联关系；
所述第二计算模块，被配置为执行基于以所述第二关联关系和所述第三关联关系表达的所述目标手型中手指上节点在所述二维图像中的二维坐标，以及预测的所述目标手型中手指上节点在所述二维图像中的二维坐标，确定所述第二旋转矩阵和所述骨骼长度系数。
8.根据权利要求6所述的装置，其特征在于，所述坐标确定模块，被配置为执行以所述过渡手型中手掌上节点作为第一代子节点，将第i代子节点的三维坐标加上第i+1代子节点的相对坐标，作为所述第i+1代子节点的三维坐标，其中，第i代子节点为第i+1代子节点的父节点，每根手指包括n代子节点，且所述第i代子节点相对所述第i+1代子节点靠近手掌，1≤i≤n。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的手部骨骼参数确定方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的手部骨骼参数确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911148790.7A CN110942007B (zh) | 2019-11-21 | 2019-11-21 | 手部骨骼参数确定方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911148790.7A CN110942007B (zh) | 2019-11-21 | 2019-11-21 | 手部骨骼参数确定方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110942007A CN110942007A (zh) | 2020-03-31 |
| CN110942007B true CN110942007B (zh) | 2024-03-05 |
Family
ID=69907955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911148790.7A Active CN110942007B (zh) | 2019-11-21 | 2019-11-21 | 手部骨骼参数确定方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110942007B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240740B (zh) * | 2021-12-16 | 2022-08-16 | 数坤(北京)网络科技股份有限公司 | 骨骼展开图像的获取方法、装置、医疗设备以及存储介质 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001188897A (ja) * | 1991-05-24 | 2001-07-10 | Sony Corp | 三次元形状復元方法とその装置 |
| CN102043943A (zh) * | 2009-10-23 | 2011-05-04 | 华为技术有限公司 | 人脸姿态参数获取方法及装置 |
| CN104091318A (zh) * | 2014-06-16 | 2014-10-08 | 北京工业大学 | 一种中国手语视频过渡帧的合成方法 |
| CN104463788A (zh) * | 2014-12-11 | 2015-03-25 | 西安理工大学 | 基于运动捕捉数据的人体运动插值方法 |
| CN104778661A (zh) * | 2014-01-10 | 2015-07-15 | 北京三星通信技术研究有限公司 | 在姿态估计中使用的骨架平滑方法和设备 |
| CN105184096A (zh) * | 2015-09-25 | 2015-12-23 | 河海大学 | 一种虚拟人运动位姿的计算方法 |
| CN105631919A (zh) * | 2015-07-09 | 2016-06-01 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和装置 |
| CN106055091A (zh) * | 2016-05-16 | 2016-10-26 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
| CN106503684A (zh) * | 2016-10-28 | 2017-03-15 | 厦门中控生物识别信息技术有限公司 | 一种人脸图像处理方法和装置 |
| CN108346168A (zh) * | 2018-02-12 | 2018-07-31 | 腾讯科技（深圳）有限公司 | 一种手势图像生成方法、装置及存储介质 |
| CN108648235A (zh) * | 2018-04-27 | 2018-10-12 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置及存储介质 |
| CN108734762A (zh) * | 2018-05-18 | 2018-11-02 | 河南恒康伟业智能科技有限公司 | 运动轨迹仿真方法及系统 |
| CN109064486A (zh) * | 2018-06-20 | 2018-12-21 | 华南理工大学 | 一种人形机器人与人体姿态相似度评价方法 |
| CN109583370A (zh) * | 2018-11-29 | 2019-04-05 | 北京达佳互联信息技术有限公司 | 人脸结构网格模型建立方法、装置、电子设备及存储介质 |
| CN110378965A (zh) * | 2019-05-21 | 2019-10-25 | 北京百度网讯科技有限公司 | 确定坐标系转换参数的方法、装置、设备和存储介质 |
| CN110400337A (zh) * | 2019-07-10 | 2019-11-01 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110415322A (zh) * | 2019-07-29 | 2019-11-05 | 网易（杭州）网络有限公司 | 虚拟对象模型的动作指令的生成方法和装置 |
| CN110443154A (zh) * | 2019-07-15 | 2019-11-12 | 北京达佳互联信息技术有限公司 | 关键点的三维坐标定位方法、装置、电子设备和存储介质 |
| CN110443885A (zh) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | 基于随机人脸图像的三维人头脸模型重建方法 |
| CN110472497A (zh) * | 2019-07-08 | 2019-11-19 | 西安工程大学 | 一种融合旋转量的动作特征表示方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5238602B2 (ja) * | 2009-05-14 | 2013-07-17 | Ｋｄｄｉ株式会社 | 映像コンテンツ生成装置及びコンピュータプログラム |
| US20140009384A1 (en) * | 2012-07-04 | 2014-01-09 | 3Divi | Methods and systems for determining location of handheld device within 3d environment |
| GB2546814B (en) * | 2016-02-01 | 2018-10-24 | Naturalmotion Ltd | Animating a virtual object in a virtual world |
| CN109214980B (zh) * | 2017-07-04 | 2023-06-23 | 阿波罗智能技术(北京)有限公司 | 一种三维姿态估计方法、装置、设备和计算机存储介质 |
| US11544871B2 (en) * | 2017-12-13 | 2023-01-03 | Google Llc | Hand skeleton learning, lifting, and denoising from 2D images |
-
2019
- 2019-11-21 CN CN201911148790.7A patent/CN110942007B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001188897A (ja) * | 1991-05-24 | 2001-07-10 | Sony Corp | 三次元形状復元方法とその装置 |
| CN102043943A (zh) * | 2009-10-23 | 2011-05-04 | 华为技术有限公司 | 人脸姿态参数获取方法及装置 |
| CN104778661A (zh) * | 2014-01-10 | 2015-07-15 | 北京三星通信技术研究有限公司 | 在姿态估计中使用的骨架平滑方法和设备 |
| CN104091318A (zh) * | 2014-06-16 | 2014-10-08 | 北京工业大学 | 一种中国手语视频过渡帧的合成方法 |
| CN104463788A (zh) * | 2014-12-11 | 2015-03-25 | 西安理工大学 | 基于运动捕捉数据的人体运动插值方法 |
| CN105631919A (zh) * | 2015-07-09 | 2016-06-01 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和装置 |
| CN105184096A (zh) * | 2015-09-25 | 2015-12-23 | 河海大学 | 一种虚拟人运动位姿的计算方法 |
| CN106055091A (zh) * | 2016-05-16 | 2016-10-26 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
| CN106503684A (zh) * | 2016-10-28 | 2017-03-15 | 厦门中控生物识别信息技术有限公司 | 一种人脸图像处理方法和装置 |
| CN108346168A (zh) * | 2018-02-12 | 2018-07-31 | 腾讯科技（深圳）有限公司 | 一种手势图像生成方法、装置及存储介质 |
| CN108648235A (zh) * | 2018-04-27 | 2018-10-12 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置及存储介质 |
| CN108734762A (zh) * | 2018-05-18 | 2018-11-02 | 河南恒康伟业智能科技有限公司 | 运动轨迹仿真方法及系统 |
| CN109064486A (zh) * | 2018-06-20 | 2018-12-21 | 华南理工大学 | 一种人形机器人与人体姿态相似度评价方法 |
| CN109583370A (zh) * | 2018-11-29 | 2019-04-05 | 北京达佳互联信息技术有限公司 | 人脸结构网格模型建立方法、装置、电子设备及存储介质 |
| CN110378965A (zh) * | 2019-05-21 | 2019-10-25 | 北京百度网讯科技有限公司 | 确定坐标系转换参数的方法、装置、设备和存储介质 |
| CN110472497A (zh) * | 2019-07-08 | 2019-11-19 | 西安工程大学 | 一种融合旋转量的动作特征表示方法 |
| CN110400337A (zh) * | 2019-07-10 | 2019-11-01 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110443154A (zh) * | 2019-07-15 | 2019-11-12 | 北京达佳互联信息技术有限公司 | 关键点的三维坐标定位方法、装置、电子设备和存储介质 |
| CN110443885A (zh) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | 基于随机人脸图像的三维人头脸模型重建方法 |
| CN110415322A (zh) * | 2019-07-29 | 2019-11-05 | 网易（杭州）网络有限公司 | 虚拟对象模型的动作指令的生成方法和装置 |
Non-Patent Citations (10)
| Title |
|---|
| 3D hand posture tracking with depth gradient estimation on a RGB-D camera;Jan-Cheng Lin 等;《2013 IEEE International Symposium on Consumer Electronics (ISCE)》;20130729;第109-110页 * |
| End-to-End Hand Mesh Recovery From a Monocular RGB Image;Xiong Zhang 等;《arXiv》;20190907;第1-11页 * |
| Estimation of joint center and measurement of finger motion by inertial sensors;Keisuke Kitano 等;《2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)》;20161018;第5668-5671页 * |
| Hand shape estimation using image transition network;Y. Hamada 等;《Proceedings Workshop on Human Motion》;20020806;第161-166页 * |
| 基于Kinect的实时运动重定向技术研究;杨道谈;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151015;第2015年卷(第10期);第I138-477页 * |
| 基于Kinect骨骼信息的人体动作识别与行为分析;敖琳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115;第2019年卷(第1期);第I138-4512页 * |
| 基于运动捕捉数据的三维人体运动合成;张迪;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160115;第2016年卷(第1期);第I138-903页 * |
| 基于骨骼长度约束的多Kinect摄像机标定;陈振达 等;《有线电视技术》;20180131(第01期);第28-32页 * |
| 虚拟现实环境下虚拟手控制技术研究;殷磊 等;《系统仿真学报》;20090220(第02期);第448-451、456页 * |
| 适用于单目视频的无标记三维人体运动跟踪;邹北骥 等;《计算机辅助设计与图形学学报》;20080831(第08期);第1047-1055页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110942007A (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112819971B (zh) | 虚拟形象的生成方法、装置、设备和介质 | |
| CN111862299A (zh) | 人体三维模型构建方法、装置、机器人和存储介质 | |
| CN111311632A (zh) | 一种物体位姿跟踪方法、装置及设备 | |
| CN111868738B (zh) | 跨设备监控计算机视觉系统 | |
| CN113189541B (zh) | 一种定位方法、装置及设备 | |
| CN110956131A (zh) | 单目标追踪方法、装置及系统 | |
| CN116263622A (zh) | 手势识别方法、装置、电子设备、介质及程序产品 | |
| CN110942007B (zh) | 手部骨骼参数确定方法、装置、电子设备和存储介质 | |
| Wang et al. | Multi-Kinects fusion for full-body tracking in virtual reality-aided assembly simulation | |
| CN110930482B (zh) | 人手骨骼参数的确定方法、装置、电子设备和存储介质 | |
| CN114516048B (zh) | 机器人的零点调试方法、装置、控制器及存储介质 | |
| JP2020113116A (ja) | モーション生成装置、モーション生成方法、及びプログラム | |
| CN114066986B (zh) | 三维坐标的确定方法、装置、电子设备及存储介质 | |
| CN114550203A (zh) | 关节关键点的三维坐标的确定方法及其相关设备 | |
| CN115205419A (zh) | 即时定位与地图构建方法、装置、电子设备及可读存储介质 | |
| CN113706543A (zh) | 一种三维位姿的构建方法、设备及存储介质 | |
| CN110135340A (zh) | 基于点云的3d手部姿态估计方法 | |
| Woo et al. | An efficient method for camera calibration using multilayer perceptron type neural network | |
| Guan et al. | Laser measurements registration algorithm for hull blocks with shipbuilding constraints | |
| Meng et al. | Camera motion estimation and optimization approach | |
| CN118212491B (zh) | 模型训练方法、三维姿态估计方法、装置及电子设备 | |
| CN115049767B (zh) | 动画编辑方法、装置、计算机设备和存储介质 | |
| CN116453220B (zh) | 目标对象姿态确定方法、训练方法、装置及电子设备 | |
| CN110765513B (zh) | 墙龙骨模型和l型顶导梁模型的连接节点放置方法和产品 | |
| CN110704900B (zh) | 龙骨立柱模型和墙龙骨模型之间连接节点放置方法和产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |