CN116152907A - 手势重建方法、装置以及电子设备 - Google Patents
手势重建方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN116152907A CN116152907A CN202111402180.2A CN202111402180A CN116152907A CN 116152907 A CN116152907 A CN 116152907A CN 202111402180 A CN202111402180 A CN 202111402180A CN 116152907 A CN116152907 A CN 116152907A
- Authority
- CN
- China
- Prior art keywords
- hand
- angle
- target
- attitude angle
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种手势重建方法、装置以及电子设备，涉及信息处理技术领域。首先根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；然后确定目标手部的至少两种手部状态对应的初始姿态角，得到各初始姿态角对应的候选姿态角；最后将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。由于根据各手部关键点的权重以及采用至少两种手部状态对应的初始姿态角，来计算目标手部的姿态角，可以实现基于手部的构造对手部姿态进行约束，也就可以更加准确地预测出手部的姿态角，进而可以更加准确地重建手部的手势。
Description
技术领域
本申请涉及信息处理技术领域，尤其涉及一种手势重建方法、装置以及电子设备。
背景技术
随着科学技术的发展，手势交互技术已经越来越成为VR、AR等场景的标配技术，手势交互技术的应用核心在于对手势的重建，因此关于手势重建方法也称为本领域技术人员研究的重点之一。
在相关技术中，手势重建方法一般以相机图像作为输入，通过神经网络直接预测手部姿态角，然后基于手部姿态角对手部进行重建，但是上述手势重建过程中存在手部姿态角预测不准确的问题。
发明内容
本申请提供一种手势重建方法、装置以及电子设备，可以解决相关技术中在手势重建过程中存在手部姿态角预测不准确的技术问题。
第一方面，本申请实施例提供一种手势重建方法，该方法包括：
根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；
确定所述目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；
将误差最小的候选姿态角作为所述目标手部的最终姿态角，基于所述最终姿态角在三维坐标系中重建所述目标手部的手势。
可选地，所述得到各相机图像对应的目标手部的手部关键点之后，还包括：
根据各手部关键点对应的置信度，计算各相机图像中手部关键点的平均置信度；去除平均置信度低于预设置信度阈值的相机图像。
可选地，所述根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，包括：
基于正向运动学方法得到第一姿态角计算公式为：
其中，c表示相机图像的标号，j表示手部关键点的标号，k表示初始姿态角的标号，K表示相机的内部参数，T表示相机的外部参数，h表示正向运动学公式，S表示手部关键点的权重，θk表示标号为k的初始姿态角，θk *表示标号为k的初始姿态角对应的第一候选姿态角；
将各初始姿态角、各手部关键点以及各手部关键点的权重输入所述第一姿态角计算公式，得到各初始姿态角对应的第一候选姿态角。
可选地，所述根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，还包括：计算各第一候选姿态角在二维坐标中的关键点投影，计算各关键点投影与各手部关键点之间关键点误差；去除关键点误差大于预设误差阈值的手部关键点得到剩余手部关键点，基于所述剩余手部关键点以及所述第一姿态角计算公式迭代计算预设次数，得到各初始姿态角对应的第二候选姿态角。
可选地，所述将误差最小的候选姿态角作为所述目标手部的最终姿态角，包括：
根据所述第一姿态角公式得到第二姿态角公式为：
其中，θ** k表示标号为k的初始姿态角对应的第二候选姿态角，θ*表示各第一候选姿态角中误差最小的第二候选姿态角；
将各初始姿态角对应的第二候选姿态角输入 所述第二姿态角公式，得到误差最小的第二候选姿态角，并将误差最小候的第一候选姿态角作为目标手部的最终姿态角。
可选地，所述将误差最小的候选姿态角作为所述目标手部的最终姿态角之后，包括：根据所述最终姿态角得到所述目标手部的关节旋转角，根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对所述最终姿态角进行调整。
可选地，所述根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对所述最终姿态角进行调整，包括：
确定各关节旋转角中大于其对应的预设上界旋转角的第一目标关节旋转角，计算各第一目标关节旋转角对应的第一调整值，所述第一调整值的计算公式为：
其中，n表示关节旋转角的标号，θ* n表示关节旋转角的标号为n的第一目标关节旋转角，upn表示关节旋转角的标号为n的第一目标关节旋转角对应的预设上界旋转角度；
确定各关节旋转角中小于其对应的预设下界旋转角的第二目标关节旋转角，计算各第二目标关节旋转角对应的第二调整值，所述第二调整值的计算公式为：
其中，m表示关节旋转角的标号，θ* m表示关节旋转角的标号为m的第二目标关节旋转角，dwm表示关节旋转角的标号为m的第二目标关节旋转角对应的预设下界旋转角度；
基于所述第一调整值或所述第二调整值对所述最终姿态角进行调整。
可选地，所述至少两种手部状态包括：手掌张开对应的姿态、半握拳对应的姿态以及握拳对应的姿态。
第二方面，本申请实施例提供一种手势重建装置，该装置包括：
权重确定模块，用于根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；
候选角获取模块，用于确定所述目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；
最终角获取模块，用于将误差最小的候选姿态角作为所述目标手部的最终姿态角，基于所述最终姿态角在三维坐标系中重建所述目标手部的手势。
第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序适于由处理器加载并执行上述的方法的步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
本申请提供一种手势重建方法，首先根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；然后确定目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；最后将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。由于根据各手部关键点的权重以及采用至少两种手部状态对应的初始姿态角，来计算目标手部的姿态角，可以实现基于手部的构造对手部姿态进行约束，也就可以更加准确地预测出手部的姿态角，进而可以更加准确地重建手部的手势。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种手势重建方法的示例性系统架构图；
图2为本申请实施例提供的一种手势重建方法的系统交互图；
图3为本申请实施例提供的一种手势重建方法的流程示意图；
图4为本申请另一实施例提供的一种手势重建方法的流程示意图；
图5为本申请另一实施例提供的手势重建装置的结构示意图；
图6为本申请实施例提供了一种电子设备的结构示意图。
具体实施方式
为使得本申请的特征和优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1为本申请实施例提供的一种手势重建方法的示例性系统架构图。
如图1所示，系统架构可以包括电子设备101、网络102和服务器103。网络102用于在电子设备101和服务器103之间提供通信链路的介质。网络102可以包括各种类型的有线通信链路或无线通信链路，例如：有线通信链路包括光纤、双绞线或同轴电缆的，无线通信链路包括蓝牙通信链路、无线保真(Wireless-Fidelity，Wi-Fi)通信链路或微波通信链路等。
电子设备101可以通过网络102与服务器103交互，以接收来自服务器103的消息或向服务器103发送消息。电子设备101可以是硬件，也可以是软件。当电子设备101为硬件时，可以是各种电子设备，包括但不限于智能手表、智能手机、平板电脑、膝上型便携式计算机和台式计算机等。当电子设备101为软件时，可以是安装在上述所列举的电子设备中，其可以实现呈多个软件或软件模块(例如：用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不作具体限定。
可选地，电子设备101中设置有至少一个相机，电子设备101可以获取相机采集的相机图像。
服务器103可以是提供各种服务的业务服务器。需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
应理解，图1中的电子设备、网络以及服务器的数目仅是示意性的，根据实现需要，可以是任意数量的电子设备、网络以及服务器。
请参阅图2，图2为本申请实施例提供的一种手势重建方法的系统交互图，可以理解的，在本申请实施例中，执行主体可以电子设备或者电子设备中的处理器，还可以是电子设备中执行手势重建方法的相关服务，为方便描述下面以执行主体为电子设备中的处理器为例，结合图1和图2介绍一种手势重建方法中系统交互过程。
S201、根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重。
可选地，得到各相机图像对应的目标手部的手部关键点之后，还包括：根据各手部关键点对应的置信度，计算各相机图像中手部关键点的平均置信度；去除平均置信度低于预设置信度阈值的相机图像。
S202、确定目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角。
可选地，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，包括：
基于正向运动学方法得到第一姿态角计算公式为：
其中，c表示相机图像的标号，j表示手部关键点的标号，k表示初始姿态角的标号，K表示相机的内部参数，T表示相机的外部参数，h表示正向运动学公式，S表示手部关键点的权重，θk表示标号为k的初始姿态角，θk *表示标号为k的初始姿态角对应的第一候选姿态角；
将各初始姿态角、各手部关键点以及各手部关键点的权重输入第一姿态角计算公式，得到各初始姿态角对应的第一候选姿态角。
可选地，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，还包括：
计算各第一候选姿态角在二维坐标中的关键点投影，计算各关键点投影与各手部关键点之间关键点误差；
去除关键点误差大于预设误差阈值的手部关键点得到剩余手部关键点，基于剩余手部关键点以及第一姿态角计算公式迭代计算预设次数，得到各初始姿态角对应的第二候选姿态角。
S203、将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。
可选地，将误差最小的候选姿态角作为目标手部的最终姿态角，包括：根据第一姿态角公式得到第二姿态角公式为：
其中，θ** k表示标号为k的初始姿态角对应的第二候选姿态角，θ*表示各第一候选姿态角中误差最小的第二候选姿态角；将各初始姿态角对应的第二候选姿态角输入第二姿态角公式，得到误差最小的第二候选姿态角，并将误差最小候的第一候选姿态角作为目标手部的最终姿态角。
可选地，将误差最小的候选姿态角作为目标手部的最终姿态角之后，包括：根据最终姿态角得到目标手部的关节旋转角，根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对最终姿态角进行调整。
可选地，根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对最终姿态角进行调整，包括：确定各关节旋转角中大于其对应的预设上界旋转角的第一目标关节旋转角，计算各第一目标关节旋转角对应的第一调整值，第一调整值的计算公式为：
其中，n表示关节旋转角的标号，θ* n表示关节旋转角的标号为n的第一目标关节旋转角，upn表示关节旋转角的标号为n的第一目标关节旋转角对应的预设上界旋转角度；确定各关节旋转角中小于其对应的预设下界旋转角的第二目标关节旋转角，计算各第二目标关节旋转角对应的第二调整值，第二调整值的计算公式为：
其中，m表示关节旋转角的标号，θ* m表示关节旋转角的标号为m的第二目标关节旋转角，dwm表示关节旋转角的标号为m的第二目标关节旋转角对应的预设下界旋转角度；基于第一调整值或第二调整值对最终姿态角进行调整。
可选地，至少两种手部状态包括：手掌张开对应的姿态、半握拳对应的姿态以及握拳对应的姿态。
在本申请实施例中，首先根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；然后确定目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；最后将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。由于根据各手部关键点的权重以及采用至少两种手部状态对应的初始姿态角，来计算目标手部的姿态角，可以实现基于手部的构造对手部姿态进行约束，也就可以更加准确地预测出手部的姿态角，进而可以更加准确地重建手部的手势。
在相关技术中，手势重建方法一般以相机图像作为输入，通过神经网络直接预测手部姿态角，然后基于手部姿态角对手部进行重建，但上述方法很难对手部姿态角进行约束，导致手部姿态角预测不准确，最后很容易输出各种奇怪的手势，因此本文提出一种手势重建方法，可以使得最终的手势重建足够准确和稳定。
请参阅图3，图3为本申请实施例提供的一种手势重建方法的流程示意图。
如图3所示，手势重建方法包括：
S301、根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重。
可以理解的，本申请实施例中提供的一种手势重建方法主要用于在识别或者检测图像中的手部对象之后，确定手部对象的手势并间手势在三维坐标系或者三维网格中进行重建，其中图像可以是任意类型或者来源的图像。本申请实施例中，电子设备中可以设置有至少一个相机，各相机可以采集预设范围内的图像作为相机对应的相机图像。由于本申请是需要进行手势重建，那么在进行手势重建之前，需要先识别出目标手部，一种可行的实施方式是，处理器可以每隔预设时间控制电子设备中的各相机进行采集图像，进而处理器可以获取相机采集的相机图像，并基于目标相机图像识别出人体中的预设特征或者人体中的手部之后，确定目标相机图像为携带有目标手部信息的图像。
在对手部进行重建的过程中，可以有多种方法实现，一种可行的实施方式是，基于携带有目标手部信息的相机图像确定目标手部的手部姿态角，然后基于手部姿态角对手部进行重建，而获取手部姿态角可以基于手部关键点得到。其中手部关键点是目标手部在相机图像中对应的二维坐标系中的多个二维坐标点，具体可以用像素点表示，可以代表目标手部在二维坐标系中的主要结构点，具体可以是目标手部的预设数量的关节点；手部姿态角是目标手部在三维坐标系或者三维网格中旋转角度，可以代表目标手部在三维坐标系或者三维网格中的三维结构或者三维信息，具体可以是目标手部的关节点之间形成的角度信息。
因此在获取到目标手部的相机图像之后，可以根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，其中各相机图像可以是目标手部出现在各相机采集范围内的第一帧图像，也即在本申请实施例中，可以先基于各相机关于目标手部的第一帧图像进行手势重建，因为手的运动在极短时间内变化不会太大，那么后续可以根据第一帧图像的预测或者重建结果以及第二帧图像，继续对手势进行重建，那么就可以得到目标手部连续的手势预测或者重建结果。
可选地，根据各相机图像得到各相机图像对应的目标手部的手部关键点的方式也可以是多样的，一种可行的实施方式是，可以预先对某一神经网络进行训练，并通过训练之后的神经网络对各相机图像进行预测，进而得到各相机图像对应的目标手部的手部关键点。
由于手部关键点是代表目标手部结构的关键点，那么各关手部键点在组成手部结构的过程中，各手部关键点的作用或者重要程度是不同的，例如，当手部关键点为关节点时，手掌部位的手部关键点用于支撑整个目标手部的核心，小拇指的手部关键点仅用于支撑小拇指，那么手掌部位的手部关键点和小拇指的手部关键点的对于整个目标手部的重要程度是不同的，因此在得到手部关键点之后，如果不区分各手部关键点的重要程度，直接基于各手部关键点去计算目标手部的姿态角，会导致计算得到的目标手部的姿态角不准确。
因此一种计算目标手部的姿态角的方法是，在基于训练之后的神经网络对各相机图像进行预测时，除了预测出各相机图像对应的目标手部的手部关键点之外，还可以基于训练之后的神经网络预测出各手部关键点对应的置信度，置信度也即预测出各手部关键点的准确程度，那么就可以根据各手部关键点的置信度就可以确定各手部关键点的权重，也即各手部关键点的对于目标手部的重要程度。那么基于各手部关键点的权重去计算姿态角，可以有效提高目标手部的姿态角的准确度。
S302、确定目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角。
在根据手部关键点计算目标手部的姿态角的过程中，其核心在于通过手部关键点，基于正向运动学方法(也即手部运动学原理)进行迭代计算、求解得到姿态角，但是在基于正向运动学方法进行迭代计算、求解的过程中，需要先得到一个初始姿态角，如果初始姿态角选取不正确，那么在基于正向运动学方法进行迭代计算、求解的过程中，不论是一阶优化算法(梯度下降)还是二阶优化算法(牛顿法)，都容易陷入局部最小解。
因此一种可行的实施方式时，可以根据目标手部在不同姿态情况选取对应的初始姿态角，也即确定目标手部的至少两种手部状态对应的初始姿态角，那么根据不同手部状态对应的不同初始姿态角，进行基于正向运动学方法进行迭代计算、求解，可以有效避免局部最小解的问题。
可选地，本申请实施例中并不限定各初始姿态角，优先地，至少两种手部状态包括：手掌张开对应的姿态、半握拳对应的姿态以及握拳对应的姿态，那么果从这三种手部状态对应的初始姿态角开始优化，可以很好解决陷入局部最小值的问题。
因此首先基于预设算法可以获取到至少两种手部状态对应的初始姿态角，然后根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算。其中在进行迭代计算过程中，对具体的迭代方法可以不做限定，例如可以基于比如高斯牛顿法、LM(Levenberg-Marquarelt)算法或者梯度下降法等，且迭代的次数也可以不做限定具体限定。
在进行迭代计算之后，可以得到各初始姿态角进行迭代计算之后的姿态角，此时进行迭代计算之后的姿态角的数量与初始姿态角的数量是对应的，那么需要从多个进行迭代计算之后的姿态角中选出一个作为最终姿态角，因此进行迭代计算之后的姿态角可以作为候选姿态角。
S303、将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。
在确定候选姿态角之后，可以将各姿态角带入上述正向运动学方法中，以求的各候选姿态角对应的数值，将数值最小的值对应的候选姿态角，作为误差最小的候选姿态角，那么也就可以将误差最小的候选姿态角作为目标手部的最终姿态角。
在得到目标手部的最终姿态角之后，可以基于正向运动学方法(也即手部运动学原理)去驱动标准姿态(例如T-pose)的手部运动或者形变到该最终姿态下，例如，当手部关键点为目标手部的关节点时，那么可以基于正向运动学方法求解最终姿态角对应的关节旋转角，关节旋转角代表了目标手部各关节点之间的角度，那么可以基于各关节旋转角去驱动标准姿态的手部运动或者形变到该最终姿态下，得到目标手部的手势，也即基于最终姿态角在三维坐标系或者三维网格中重建目标手部的手势。
由于上述是基于各相机关于目标手部的第一帧图像进行手势重建，因为手的运动在极短时间内变化不会太大，那么后续可以根据第一帧图像的最终姿态角、第二帧图像对应的各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，以实现继续对手势进行重建，那么就可以得到目标手部连续的手势预测或者重建结果。用户可以将得到的手势预测或者重建结果，应用于VR、AR等场景。
在本申请实施例中，基于各手部关键点的权重去计算姿态角，也即实现了对手部关键点进行约束，可以有效提高目标手部的姿态角的准确度；另外根据不同手部状态对应的不同初始姿态角，进行基于正向运动学方法进行迭代计算、求解，可以有效避免局部最小解的问题，也即实现了对初始姿态角进行约束，使得最后求得的目标手部的最终姿态角更加准确。
在本申请实施例中，首先根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；然后确定目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；最后将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。由于根据各手部关键点的权重以及采用至少两种手部状态对应的初始姿态角，来计算目标手部的姿态角，可以实现基于手部的构造对手部姿态进行约束，也就可以更加准确地预测出手部的姿态角，进而可以更加准确地重建手部的手势。
请参阅图4，图4为本申请另一实施例提供的一种手势重建方法的流程示意图。
如图4所示，该方法包括：
S401、根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点。
关于步骤S401，可以参阅步骤S301中的记载，此处不在赘述。
S402、根据各手部关键点对应的置信度，计算各相机图像中手部关键点的平均置信度。
可选地，防止预测得到的各相机图像对应的目标手部的手部关键点不准确，一种可行的实施方式是，对预测的目标手部的手部关键点进行筛选，由于在基于训练之后的神经网络对各相机图像进行预测时，除了预测出各相机图像对应的目标手部的手部关键点之外，还可以基于训练之后的神经网络预测出各手部关键点对应的置信度，那么可以根据各手部关键点对应的置信度，计算各相机图像中手部关键点的平均置信度，以便于根据手部关键点的平均置信度对目标手部的手部关键点进行筛选。
S403、去除平均置信度低于预设置信度阈值的相机图像。
可选地，根据手部关键点的平均置信度对目标手部的手部关键点进行筛选时，可以去除平均置信度低于预设置信度阈值的相机图像，那么也就去除了低于预设置信度阈值的相机图像对应的手部关键点，以使得后续根据去除预设置信度阈值的相机图像后的剩余相机图像中的手部关键点，去计算目标手部的姿态角，以提高计算姿态角的准确性。
S404、根据各手部关键点的置信度确定各手部关键点的权重。
关于步骤S404，可以参阅步骤S301中的记载，此处不在赘述。
S405、确定目标手部的至少两种手部状态对应的初始姿态角。
关于步骤S405，可以参阅步骤S301中的记载，此处不在赘述。
S406、基于正向运动学方法得到第一姿态角计算公式。
可选地，基于正向运动学得到目标手部的姿态角的计算方式可以多样，一种可行的实施方式是，基于正向运动学方法得到第一姿态角计算公式为：
其中，c表示相机图像的标号，j表示手部关键点的标号，k表示初始姿态角的标号，K表示相机的内部参数，T表示相机的内部参数，h表示正向运动学公式，S表示手部关键点的权重，θk表示标号为k的初始姿态角，θk *表示标号为k的初始姿态角对应的第一候选姿态角。
S407、将各初始姿态角、各手部关键点以及各手部关键点的权重输入第一姿态角计算公式，得到各初始姿态角对应的第一候选姿态角。
当将各初始姿态角、各手部关键点以及各手部关键点的权重输入第一姿态角计算公式之后，在上述第一姿态角计算公式中，首先是输入多个初始姿态角中一个初始姿态角至正向运动学公式中，那么正向运动学公式会输出该初始姿态角对应的多个在三维坐标系或者三维网格中的三维关键点坐标，那么通过将三维关键点坐标与相机的内部参数和相机的内部参数相乘，可以得到各三维关键点对应的二维关键点坐标，也即将三维空间中的关键点投影到二维平面，然后计算该二维关键点坐标与对应的各手部关键点之间的差值，并将各差值对各手部关键点对应的权重相乘并计算各手部关键点对应的平方和，进一步计算该相机图像中各手部关键点对应所有平方和的总和，最后求得所有相机图像中各手部关键点对应所有平方和的总和的和值，当该和值最小时对应的姿态角，即为该初始姿态角对应的第一候选姿态角。依次类推，可以计算出多个初始姿态角中其他初始姿态角对应的第一候选姿态角，以得到各初始姿态角对应的第一候选姿态角。
S408、计算各第一候选姿态角在二维坐标中的关键点投影，计算各关键点投影与各手部关键点之间关键点误差。
在得到各初始姿态角对应的第一候选姿态角之后，考虑到即使相机图像对应的平均置信度高于阈值，也有可能出现某根手指或者某个手部关键点预测不准确的情况，因此本申请实施例中通过剔除误差较大的第一候选姿态角以及多次迭代的方式进行求解最终的姿态角。
具体地，可以基于各相机图像对应的相机的内部参数和相机的内部参数，计算出计算各第一候选姿态角在二维坐标中的关键点投影，并计算各关键点投影与各手部关键点之间关键点误差，其中，计算各关键点投影与各手部关键点之间关键点误差方法可以是，先基于第一姿态角计算公式，求得各关键点投影对应的所有平方和的总和，然后与上述基于第一姿态角计算公式求得的各手部关键点对应的所有平方和的总和分别做差，得到各关键点投影与各手部关键点之间对应的差值，将差值作为各关键点投影与各手部关键点之间关键点误差。
S409、去除关键点误差大于预设误差阈值的手部关键点得到剩余手部关键点，基于剩余手部关键点以及第一姿态角计算公式迭代计算预设次数，得到各初始姿态角对应的第二候选姿态角。
在得到各关键点投影与各手部关键点之间关键点误差之后，可以根据提前设定好的预设误差阈值，去除关键点误差大于预设误差阈值的手部关键点得到剩余手部关键点，也就排出了某根手指或者某个手部关键点预测不准确的情况，那么与上述计算第一候选姿态角类似，可以基于剩余手部关键点以及第一姿态角计算公式迭代计算预设次数，得到各初始姿态角对应的第二候选姿态角。
S410、根据第一姿态角公式得到第二姿态角公式。
为了确定各第二候选姿态角中误差最小的姿态角，一种可行的实施方式是，根据第一姿态角公式得到第二姿态角公式，其中，根据第一姿态角公式得到第二姿态角公式为：
其中，θ** k表示标号为k的初始姿态角对应的第二候选姿态角，θ*表示各第一候选姿态角中误差最小的第二候选姿态角。
S411、将各初始姿态角对应的第二候选姿态角输入第二姿态角公式，得到误差最小的第二候选姿态角，并将误差最小候的第一候选姿态角作为目标手部的最终姿态角。
将各初始姿态角对应的第二候选姿态角输入第二姿态角公式之后，在上述第二姿态角计算公式中，首先是输入多个第二候选姿态角中一个第二候选姿态角至正向运动学公式中，那么正向运动学公式会输出该第二候选姿态角对应的多个在三维坐标系或者三维网格中的三维关键点坐标，那么通过将三维关键点坐标与相机的内部参数和相机的内部参数相乘，可以得到各三维关键点对应的二维关键点坐标，也即将三维空间中的关键点投影到二维平面，然后计算该二维关键点坐标与对应的各手部关键点之间的差值，并将各差值对各手部关键点对应的权重相乘并计算各手部关键点对应的平方和，进一步计算该相机图像中各手部关键点对应所有平方和的总和，最后求得所有相机图像中各手部关键点对应所有平方和的总和的和值。依次类推，可以计算出多个第二候选姿态角中其他第二候选姿态角对应的和值，将和值最小时对应的第二候选姿态角作为误差最小的第二候选姿态角，并将误差最小候的第一候选姿态角作为目标手部的最终姿态角。
S412、根据最终姿态角得到目标手部的关节旋转角，根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对最终姿态角进行调整。
可选地，考虑到目标手部本身存在一些物理限制，例如，手指不可能向手背方向弯曲超过10度，也即每个手指关节都存在着所能弯曲的极限。因此在求解时也将该限制考虑进来，进一步提升重建手势的稳定性。
在本申请实施例中，根据最终姿态角得到目标手部的关节旋转角之后，可以对每个关节旋转角都设置一个预设上界旋转角以及预设下界旋转角，如果超出了预设上界旋转角以及预设下界旋转角这个范围，则对最终姿态角进行调整、惩罚。
具体地，在根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对最终姿态角进行调整时，可以确定各关节旋转角中大于其对应的预设上界旋转角的第一目标关节旋转角，计算各第一目标关节旋转角对应的第一调整值，第一调整值的计算公式为：
其中，n表示关节旋转角的标号，θ* n表示关节旋转角的标号为n的第一目标关节旋转角，upn表示关节旋转角的标号为n的第一目标关节旋转角对应的预设上界旋转角度。
还可以确定各关节旋转角中小于其对应的预设下界旋转角的第二目标关节旋转角，计算各第二目标关节旋转角对应的第二调整值，第二调整值的计算公式为：
其中，m表示关节旋转角的标号，θ* m表示关节旋转角的标号为m的第二目标关节旋转角，dwm表示关节旋转角的标号为m的第二目标关节旋转角对应的预设下界旋转角度。
那么基于第一调整值或第二调整值对最终姿态角进行调整，例如，可以将第一调整值或第二调整值与最终姿态角进行相加，以对最终姿态角进行调整。
S413、基于最终姿态角在三维坐标系中重建目标手部的手势。
关于步骤S413，可以参阅步骤S303中的记载，此处不在赘述。
在本申请实施例中，具体描述了如何根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，并且对根据最终姿态角对应的目标手部的关节旋转角，对最终姿态角进行调整、惩罚，可以大大提高对手势进行重建时的准确性。
请参阅图5，图5为本申请另一实施例提供的手势重建装置的结构示意图。
如图5所示，手势重建装置500包括：
权重确定模块510，用于根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重。
候选角获取模块520，用于确定目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角。
最终角获取模块530，用于将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。
可选地，手势重建装置500还包括：置信度计算模块，用于根据各手部关键点对应的置信度，计算各相机图像中手部关键点的平均置信度；置信度筛选模块，用于去除平均置信度低于预设置信度阈值的相机图像。
可选地，候选角获取模块520，还用于基于正向运动学方法得到第一姿态角计算公式为：
其中，c表示相机图像的标号，j表示手部关键点的标号，k表示初始姿态角的标号，K表示相机的内部参数，T表示相机的外部参数，h表示正向运动学公式，S表示手部关键点的权重，θk表示标号为k的初始姿态角，θk *表示标号为k的初始姿态角对应的第一候选姿态角；将各初始姿态角、各手部关键点以及各手部关键点的权重输入第一姿态角计算公式，得到各初始姿态角对应的第一候选姿态角。
可选地，候选角获取模块520，还用于计算各第一候选姿态角在二维坐标中的关键点投影，计算各关键点投影与各手部关键点之间关键点误差；去除关键点误差大于预设误差阈值的手部关键点得到剩余手部关键点，基于剩余手部关键点以及第一姿态角计算公式迭代计算预设次数，得到各初始姿态角对应的第二候选姿态角。
最终角获取模块530，用于根据第一姿态角公式得到第二姿态角公式为：
其中，θ** k表示标号为k的初始姿态角对应的第二候选姿态角，θ*表示各第一候选姿态角中误差最小的第二候选姿态角；将各初始姿态角对应的第二候选姿态角输入第二姿态角公式，得到误差最小的第二候选姿态角，并将误差最小候的第一候选姿态角作为目标手部的最终姿态角。
可选地，手势重建装置500还包括：调整模块，用于根据最终姿态角得到目标手部的关节旋转角，根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对最终姿态角进行调整。
可选地，调整模块，还用于确定各关节旋转角中大于其对应的预设上界旋转角的第一目标关节旋转角，计算各第一目标关节旋转角对应的第一调整值，第一调整值的计算公式为：
其中，n表示关节旋转角的标号，θ* n表示关节旋转角的标号为n的第一目标关节旋转角，upn表示关节旋转角的标号为n的第一目标关节旋转角对应的预设上界旋转角度；确定各关节旋转角中小于其对应的预设下界旋转角的第二目标关节旋转角，计算各第二目标关节旋转角对应的第二调整值，第二调整值的计算公式为：
其中，m表示关节旋转角的标号，θ* m表示关节旋转角的标号为m的第二目标关节旋转角，dwm表示关节旋转角的标号为m的第二目标关节旋转角对应的预设下界旋转角度；基于第一调整值或第二调整值对最终姿态角进行调整。
可选地，至少两种手部状态包括：手掌张开对应的姿态、半握拳对应的姿态以及握拳对应的姿态。
在本申请实施例中，手势重建装置包括权重确定模块，用于根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；候选角获取模块，用于确定目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；最终角获取模块，用于将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。由于根据各手部关键点的权重以及采用至少两种手部状态对应的初始姿态角，来计算目标手部的姿态角，可以实现基于手部的构造对手部姿态进行约束，也就可以更加准确地预测出手部的姿态角，进而可以更加准确地重建手部的手势。
本申请实施例还提供了一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行如上述实施例中的任一项的方法的步骤。
进一步地，请参见图6，图6为本申请实施例提供了一种电子设备的结构示意图。如图6所示，电子设备600可以包括：至少一个中央处理器601，至少一个网络接口604，用户接口603，存储器605，至少一个通信总线602。
其中，通信总线602用于实现这些组件之间的连接通信。
其中，用户接口603可以包括显示屏(Display)、相机(Camera)，可选用户接口603还可以包括标准的有线接口、无线接口。
其中，网络接口604可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，中央处理器601可以包括一个或者多个处理核心。中央处理器601利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器605内的指令、程序、代码集或指令集，以及调用存储在存储器605内的数据，执行电子设备600的各种功能和处理数据。可选的，中央处理器601可以采用数字信号处理(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。中央处理器601可集成中央中央处理器(Central Processing Unit，CPU)、图像中央处理器(GraphicsProcessing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到中央处理器601中，单独通过一块芯片进行实现。
其中，存储器605可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器605包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器605可选的还可以是至少一个位于远离前述中央处理器601的存储装置。如图6所示，作为一种计算机存储介质的存储器605中可以包括操作系统、网络通信模块、用户接口模块以及手势重建程序。
在图6所示的电子设备600中，用户接口603主要用于为用户提供输入的接口，获取用户输入的数据；而中央处理器601可以用于调用存储器605中存储的手势重建程序，并具体执行以下操作：
根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；
确定目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；
将误差最小的候选姿态角作为目标手部的最终姿态角，基于最终姿态角在三维坐标系中重建目标手部的手势。
可选地，得到各相机图像对应的目标手部的手部关键点之后，还包括：根据各手部关键点对应的置信度，计算各相机图像中手部关键点的平均置信度；去除平均置信度低于预设置信度阈值的相机图像。
可选地，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，包括：
基于正向运动学方法得到第一姿态角计算公式为：
其中，c表示相机图像的标号，j表示手部关键点的标号，k表示初始姿态角的标号，K表示相机的内部参数，T表示相机的外部参数，h表示正向运动学公式，S表示手部关键点的权重，θk表示标号为k的初始姿态角，θk *表示标号为k的初始姿态角对应的第一候选姿态角；将各初始姿态角、各手部关键点以及各手部关键点的权重输入第一姿态角计算公式，得到各初始姿态角对应的第一候选姿态角。
可选地，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，还包括：计算各第一候选姿态角在二维坐标中的关键点投影，计算各关键点投影与各手部关键点之间关键点误差；去除关键点误差大于预设误差阈值的手部关键点得到剩余手部关键点，基于剩余手部关键点以及第一姿态角计算公式迭代计算预设次数，得到各初始姿态角对应的第二候选姿态角。
可选地，将误差最小的候选姿态角作为目标手部的最终姿态角，包括：
根据第一姿态角公式得到第二姿态角公式为：
其中，θ** k表示标号为k的初始姿态角对应的第二候选姿态角，θ*表示各第一候选姿态角中误差最小的第二候选姿态角；将各初始姿态角对应的第二候选姿态角输入第二姿态角公式，得到误差最小的第二候选姿态角，并将误差最小候的第一候选姿态角作为目标手部的最终姿态角。
可选地，将误差最小的候选姿态角作为目标手部的最终姿态角之后，包括：根据最终姿态角得到目标手部的关节旋转角，根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对最终姿态角进行调整。
可选地，根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对最终姿态角进行调整，包括：
确定各关节旋转角中大于其对应的预设上界旋转角的第一目标关节旋转角，计算各第一目标关节旋转角对应的第一调整值，第一调整值的计算公式为：
其中，n表示关节旋转角的标号，θ* n表示关节旋转角的标号为n的第一目标关节旋转角，upn表示关节旋转角的标号为n的第一目标关节旋转角对应的预设上界旋转角度；
确定各关节旋转角中小于其对应的预设下界旋转角的第二目标关节旋转角，计算各第二目标关节旋转角对应的第二调整值，第二调整值的计算公式为：
其中，m表示关节旋转角的标号，θ* m表示关节旋转角的标号为m的第二目标关节旋转角，dwm表示关节旋转角的标号为m的第二目标关节旋转角对应的预设下界旋转角度；基于第一调整值或第二调整值对最终姿态角进行调整。
可选地，至少两种手部状态包括：手掌张开对应的姿态、半握拳对应的姿态以及握拳对应的姿态。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本申请所提供的一种手势重建方法、装置以及电子设备的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种手势重建方法，其特征在于，所述方法包括：
根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；
确定所述目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；
将误差最小的候选姿态角作为所述目标手部的最终姿态角，基于所述最终姿态角在三维坐标系中重建所述目标手部的手势。
2.根据权利要求1所述的方法，其特征在于，所述得到各相机图像对应的目标手部的手部关键点之后，还包括：
根据各手部关键点对应的置信度，计算各相机图像中手部关键点的平均置信度；
去除平均置信度低于预设置信度阈值的相机图像。
3.根据权利要求1所述的方法，其特征在于，所述根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，包括：
基于正向运动学方法得到第一姿态角计算公式为：
其中，c表示相机图像的标号，j表示手部关键点的标号，k表示初始姿态角的标号，K表示相机的内部参数，T表示相机的外部参数，h表示正向运动学公式，S表示手部关键点的权重，θk表示标号为k的初始姿态角，θk *表示标号为k的初始姿态角对应的第一候选姿态角；
将各初始姿态角、各手部关键点以及各手部关键点的权重输入所述第一姿态角计算公式，得到各初始姿态角对应的第一候选姿态角。
4.根据权利要求3所述的方法，其特征在于，所述根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角，还包括：
计算各第一候选姿态角在二维坐标中的关键点投影，计算各关键点投影与各手部关键点之间关键点误差；
去除关键点误差大于预设误差阈值的手部关键点得到剩余手部关键点，基于所述剩余手部关键点以及所述第一姿态角计算公式迭代计算预设次数，得到各初始姿态角对应的第二候选姿态角。
5.根据权利要求4所述的方法，其特征在于，所述将误差最小的候选姿态角作为所述目标手部的最终姿态角，包括：
根据所述第一姿态角公式得到第二姿态角公式为：
其中，θ** k表示标号为k的初始姿态角对应的第二候选姿态角，θ*表示各第一候选姿态角中误差最小的第二候选姿态角；
将各初始姿态角对应的第二候选姿态角输入所述第二姿态角公式，得到误差最小的第二候选姿态角，并将误差最小候的第一候选姿态角作为目标手部的最终姿态角。
6.根据权利要求1所述的方法，其特征在于，所述将误差最小的候选姿态角作为所述目标手部的最终姿态角之后，包括：
根据所述最终姿态角得到所述目标手部的关节旋转角，根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对所述最终姿态角进行调整。
7.根据权利要求6所述的方法，其特征在于，所述根据各关节旋转角的预设上界旋转角以及预设下界旋转角，对所述最终姿态角进行调整，包括：
确定各关节旋转角中大于其对应的预设上界旋转角的第一目标关节旋转角，计算各第一目标关节旋转角对应的第一调整值，所述第一调整值的计算公式为：
其中，n表示关节旋转角的标号，θ* n表示关节旋转角的标号为n的第一目标关节旋转角，upn表示关节旋转角的标号为n的第一目标关节旋转角对应的预设上界旋转角度；
确定各关节旋转角中小于其对应的预设下界旋转角的第二目标关节旋转角，计算各第二目标关节旋转角对应的第二调整值，所述第二调整值的计算公式为：
其中，m表示关节旋转角的标号，θ* m表示关节旋转角的标号为m的第二目标关节旋转角，dwm表示关节旋转角的标号为m的第二目标关节旋转角对应的预设下界旋转角度；
基于所述第一调整值或所述第二调整值对所述最终姿态角进行调整。
8.根据权利要求1所述的方法，其特征在于，所述至少两种手部状态包括：手掌张开对应的姿态、半握拳对应的姿态以及握拳对应的姿态。
9.一种手势重建装置，其特征在于，所述装置包括：
权重确定模块，用于根据至少一个相机采集的目标手部的相机图像，得到各相机图像对应的目标手部的手部关键点，根据各手部关键点的置信度确定各手部关键点的权重；
候选角获取模块，用于确定所述目标手部的至少两种手部状态对应的初始姿态角，根据各初始姿态角、各手部关键点以及各手部关键点的权重，基于正向运动学方法分别对各初始姿态角进行迭代计算，得到各初始姿态角对应的候选姿态角；
最终角获取模块，用于将误差最小的候选姿态角作为所述目标手部的最终姿态角，基于所述最终姿态角在三维坐标系中重建所述目标手部的手势。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1～8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111402180.2A CN116152907A (zh) | 2021-11-23 | 2021-11-23 | 手势重建方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111402180.2A CN116152907A (zh) | 2021-11-23 | 2021-11-23 | 手势重建方法、装置以及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152907A true CN116152907A (zh) | 2023-05-23 |
Family
ID=86353181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111402180.2A Pending CN116152907A (zh) | 2021-11-23 | 2021-11-23 | 手势重建方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152907A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095131A (zh) * | 2023-10-16 | 2023-11-21 | 广州紫为云科技有限公司 | 物体运动关键点的三维重建方法、设备及存储介质 |
-
2021
- 2021-11-23 CN CN202111402180.2A patent/CN116152907A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095131A (zh) * | 2023-10-16 | 2023-11-21 | 广州紫为云科技有限公司 | 物体运动关键点的三维重建方法、设备及存储介质 |
| CN117095131B (zh) * | 2023-10-16 | 2024-02-06 | 广州紫为云科技有限公司 | 物体运动关键点的三维重建方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197652B (zh) | 用于生成信息的方法和装置 | |
| CN110062934A (zh) | 使用神经网络确定图像中的结构和运动 | |
| CN106776673A (zh) | 多媒体文档概括 | |
| CN111105017B (zh) | 神经网络量化方法、装置及电子设备 | |
| US20220207370A1 (en) | Inferring device, training device, inferring method, and training method | |
| CN109190754A (zh) | 量化模型生成方法、装置和电子设备 | |
| EP3913532A2 (en) | Object area measurement method, apparatus, storage medium and computer product | |
| CN109583367A (zh) | 图像文本行检测方法及装置、存储介质和电子设备 | |
| CN116152907A (zh) | 手势重建方法、装置以及电子设备 | |
| CN110956131A (zh) | 单目标追踪方法、装置及系统 | |
| CN108875901B (zh) | 神经网络训练方法以及通用物体检测方法、装置和系统 | |
| CN113869599A (zh) | 鱼类疫病发展预测方法、系统、设备及介质 | |
| CN112508116A (zh) | 分类器生成方法、装置、存储介质及电子设备 | |
| CN109977925B (zh) | 表情确定方法、装置及电子设备 | |
| KR20220018633A (ko) | 이미지 검색 방법 및 장치 | |
| CN110555861A (zh) | 光流计算方法、装置及电子设备 | |
| CN112949850B (zh) | 超参数确定方法、装置、深度强化学习框架、介质及设备 | |
| CN113077383B (zh) | 一种模型训练方法及模型训练装置 | |
| CN111310794B (zh) | 目标对象的分类方法、装置和电子设备 | |
| CN111949860B (zh) | 用于生成相关度确定模型的方法和装置 | |
| EP3828897A1 (en) | Method and apparatus for predicting result of appearance changing operation, device, storage medium and computer program product | |
| CN111275799B (zh) | 动画的生成方法、装置和电子设备 | |
| CN111553324B (zh) | 人体姿态预测值校正方法、装置，服务器及存储介质 | |
| CN111382557B (zh) | 非定长输入数据的批量处理方法、装置、终端及存储介质 | |
| CN113961962A (zh) | 一种基于隐私保护的模型训练方法、系统及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |