CN115167673A - 虚拟手势同步的实现方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种虚拟手势同步的实现方法、装置、设备及存储介质，属于图像处理技术领域。其包括：获取当前手势的虚拟手势参数；确定虚拟手势参数中的关键节点之间的位置关系；基于预设位置关系与虚拟手势数据之间的预设对应关系，确定位置关系对应的当前虚拟手势数据；将当前虚拟手势数据应用于虚拟手势模型，实现虚拟手势同步。可以解决无法与现实中的手势完全同步，且无法与虚拟的三维物体交互的问题。可以实现虚拟手势与现实手势的同步，从而实现与虚拟物品的交互。

Description

虚拟手势同步的实现方法、装置、设备及存储介质

技术领域

本申请属于图像处理技术领域，具体涉及虚拟手势同步的实现方法、装置、设备及存储介质。

背景技术

手势同步技术是多媒体信息检索领域的热点问题，特别是在影视动画、游戏等的发展中，具有广泛应用前景。

传统的手势同步技术，包括：以固定的点线连接方式实现手势同步。

然而，传统的手势同步技术通常仅能以二维图像的结果显示，无法与现实中的手势完全同步，且无法与虚拟的三维物体交互。

发明内容

本申请提供了虚拟手势同步的实现方法、装置、设备及存储介质，可以解决无法与现实中的手势完全同步，且无法与虚拟的三维物体交互的问题。

本申请提供如下技术方案：

第一方面，提供了一种虚拟手势同步的实现方法，包括：获取当前手势的虚拟手势参数；确定所述虚拟手势参数中的关键节点之间的位置关系；基于预设位置关系与虚拟手势数据之间的预设对应关系，确定所述位置关系对应的当前虚拟手势数据；将所述当前虚拟手势数据应用于虚拟手势模型，实现虚拟手势同步。

可选地，所述关键节点包括手指指尖节点、手指指根节点和手腕节点。

可选地，所述关键节点还包括手指关节节点；相应地，所述确定所述虚拟手势参数中的关键节点之间的位置关系，还包括：确定各个手指关节节点与所述手腕节点之间的位置关系。

可选地，所述关键节点还包括手指关节节点的第四坐标数据；相应地，所述确定所述虚拟手势参数中的关键节点之间的位置关系，还包括：确定第四坐标数据与第三左边数据之间的位置关系。

可选地，所述获取当前手势的虚拟手势参数，包括：获取所述当前手势的数字图像；对所述数字图像进行手势识别，得到关键节点数据；对所述关键节点数据进行逆向动力分析，得到所述虚拟手势参数。

可选地，所述虚拟手势参数还包括手指关节数据，所述手指关节数据包括手指关节的角度和位置；所述对所述关键节点数据进行逆向动力分析，得到所述虚拟手势参数，包括：获取预设关节参数；基于所述关键节点数据和预设关节参数，得到所述手指关节数据。

可选地，所述预设关节参数包括手关节转动轴和所述手关节转动轴的方向、尺寸和权重。

第二方面，提供了一种虚拟手势同步的实现装置，所述装置包括：

参数获取模块，用于获取当前手势的虚拟手势参数；

位置确定模块，用于确定所述虚拟手势参数中的关键节点之间的位置关系；

数据确定模块，用于基于预设位置关系与虚拟手势之间的预设对应关系，确定所述位置关系对应的当前虚拟手势数据；

手势同步模块，用于将所述虚拟手势数据应用于虚拟手势模型，实现虚拟手势同步。

第三方面，提供一种电子设备，包括存储器、控制器以及存储在存储器上并可在控制器上运行的计算机程序，所述控制器执行所述计算机程序时实现上述虚拟手势同步的实现方法的步骤。

第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的虚拟手势同步的实现方法。

本申请的有益效果至少包括：通过获取当前手势的虚拟手势参数；确定虚拟手势参数中的关键节点之间的位置关系；基于预设位置关系与虚拟手势数据之间的预设对应关系，确定位置关系对应的当前虚拟手势数据；将当前虚拟手势数据应用于虚拟手势模型，实现虚拟手势同步。可以解决无法与现实中的手势完全同步，且无法与虚拟的三维物体交互的问题。通过在实时获取的虚拟手势参数中的确定出关键节点的位置关系，根据该位置关系确定虚拟手势模型的当前虚拟手势数据，控制虚拟手势模型按照实时获取的当前虚拟手速参数运动，可以实现虚拟手势与现实手势的同步，从而实现与虚拟物品的交互。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的虚拟手势同步的实现方法的流程图；

图2是本申请一个实施例提供的虚拟手势同步的实现装置的框图；

图3是本申请一个实施例提供的电子设备的框图。

具体实施方式

下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本申请中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的，或者是针对部件本身在竖直、垂直或重力方向上而言的；同样地，为便于理解和描述，“内、外”是指相对于各部件本身的轮廓的内、外，但上述方位词并不用于限制本申请。

下面对本申请提供的虚拟手势同步的实现方法进行详细介绍。

如图1所示，本申请的实施例提供一种虚拟手势同步的实现方法，该方法的实现可依赖于计算机程序，该计算机程序可运行于智能手机、平板电脑、个人电脑等计算机设备或者运行于服务器，本实施例不对该方法的运行主体作限定。该方法至少包括以下几个步骤：

步骤101，获取当前手势的虚拟手势参数。

本实施例中，当前手势是指图像传感器实时采集的用户的手势。其中，图像传感器可以是相机或者摄像头等设备，本实施例不对图像传感器的类别作限定。

具体地，获取当前手势的虚拟手势参数，包括：获取当前手势的数字图像；对数字图像进行手势识别，得到关键节点数据；对关键节点数据进行逆向动力分析，得到虚拟手势参数。

其中，关键节点包括手指指尖节点、手指指根节点和手腕节点。

相应地，关键节点数据包括手指指尖节点的数据、手指指根节点的数据和手腕节点的数据。

在一个示例中，对数字图像进行手势识别，包括：使用三维手势识别算法对数字图像进行手势识别，得到关键节点数据。

可选地，三维手势识别算法可以为MediaPipe手势识别算法。

在另一个示例中，对数字图像进行识别，包括：将数字图像输入至预先训练的三维手势识别模型，得到关键节点数据。其中，三维手势识别模型是使用训练数据对预设的神经网络模型训练得到的。

可选地，训练数据包括样本数字图像和样本数字图像对应的关键节点数据。

相应地，三维手势识别模型的训练过程包括：将样本数字图像输入预设的神经网络模型，得到训练结果；将训练结果和样本数字图像对应的样本关键节点数据输入损失函数，得到损失结果；基于损失结果对神经网络模型进行训练，以缩小训练结果和对应的样本关键节点数据之间的差异值，直至神经网络模型收敛，得到三维手势识别模型。

其中，神经网络模型可以为卷积神经网络(Convolutional Neural Networks，CNN)、递归神经网络(Recursive Neural Network，RNN)、前馈神经网络(FeedforwardNeural Network，FNN)，本实施例不对神经网络模型的实现方式作限定。

本实施例中，虚拟手势参数中还包括手指关节数据。

其中，手指关节数据包括手指关节的角度和位置，即，在本实施例中，对关键节点数据进行反向动力分析，得到虚拟手势参数，是指通过逆向动力分析，确定虚拟手势各个手指关节的角度和位置。

具体地，对关键节点数据进行反向动力分析，得到虚拟手势参数，包括：获取预设关节参数；基于关键节点数据和预设关节参数，得到手指关节数据。

其中，预设关节参数包括手关节转动轴和手关节转动轴的方向、尺寸和权重。

比如：以有5根手指的手势为例，通过5根手指中各个关节的关节转动轴的方向、尺寸和权重，反向动力分析得到各个手指关节的角度和位置。

本实施例中，对关键节点数据进行反向动力分析，包括：使用反向动力算法(Inverse Kinematics，IK)对关键节点数据进行分析，得到虚拟手势参数。

步骤102，确定虚拟手势参数中的关键节点之间的位置关系。

具体地，确定虚拟手势参数中的关键节点之间的位置关系，包括：确定各个手指指尖节点与手腕节点之间的位置关系；确定各个手指指根节点与手腕节点之间的位置关系。

比如：以5根手指为例，关键节点之间的位置关系包括5根手指的指尖处的节点与手腕处的节点之间的位置关系，和5根手指的指根处的节点与手腕处的节点之间的位置关系。

实际实施时，关键节点之间的位置关系还可以包括各个手指指尖节点之间的位置关系、各个手指指根节点之间的位置关系，或者各个手指指尖节点分别与各个手指指根节点之间的位置关系，本实施例不对位置关系的实现方式作限定。

可选地，关键节点还包括手指关节节点；相应地，确定虚拟手势参数中的关键节点之间的位置关系，还包括：确定各个手指关节节点与手腕节点之间的位置关系。

基于此，实际实施时，关键节点之间的位置关系还可以包括各个手指指尖节点与各个手指关节节点之间的位置关系、各个手指指根节点与各个手指关节节点之间的位置关系，或者各个手指关节节点之间的位置关系。

步骤103，基于预设位置关系与虚拟手势之间的预设对应关系，确定位置关系对应的当前虚拟手势数据。

本实施例中，预设位置关系与虚拟手势之间的预设对应关系是预选设置的位置关系与虚拟手势之间的对应关系。

其中，预设位置关系是指预先设置的关键节点之间的位置关系；相应地，虚拟手势包括预先设置的与预设位置关系一一对应的手势。

比如：以预设有三个预设位置关系为例，三个预设位置关系分别为第一预设位置关系、第二预设位置关系和第三预设位置关系，第一预设位置关系可以对应拳头手势，第二预设位置关系可以对应握持手势，第三预设位置关系可以对应五指并拢手势。

步骤104，将当前虚拟手势参数应用于虚拟手势模型，实现虚拟手势同步。

本实施例中，虚拟手势参数是包括但不限于实时采集的手指指尖数据、手指指根数据、手腕数据和根据手指指尖数据、手指指根数据、手腕数据反向分析得到的各个手指关节的数据。

将实时获取的当前虚拟手势参数应用于虚拟手势模型中，以使虚拟手势模型按照实时获取的当前虚拟手速参数运动，并通过终端显示设备实时显示虚拟手势模型的运行过程，从而实现虚拟手势同步。这样，可以通过实时采集的用户的当前手势，实现了虚拟手势与用户的当前手势的实时同步，从而实现与虚拟物品的交互。

其中，虚拟手势模型是预先设置的虚拟手势模型，相应地，将虚拟手势参数应用于虚拟手势模型，实现虚拟手势同步之前，还包括：基于虚拟手势参数构建得到虚拟骨骼模型；将虚拟骨骼模型与虚拟皮肤绑定，得到虚拟手势模型。

综上所述，本实施例提供的虚拟手势同步的实现方法，通过获取当前手势的虚拟手势参数；确定虚拟手势参数中的关键节点之间的位置关系；基于预设位置关系与虚拟手势数据之间的预设对应关系，确定位置关系对应的当前虚拟手势数据；将当前虚拟手势数据应用于虚拟手势模型，实现虚拟手势同步。可以解决无法与现实中的手势完全同步，且无法与虚拟的三维物体交互的问题。通过在实时获取的虚拟手势参数中的确定出关键节点的位置关系，根据该位置关系确定虚拟手势模型的当前虚拟手势数据，控制虚拟手势模型按照实时获取的当前虚拟手速参数运动，可以实现虚拟手势与现实手势的同步，从而实现与虚拟物品的交互。

本实施例提供一种虚拟手势同步的实现装置，如图2所示。该装置包括至少以下几个模块：数据获取模块210、坐标确定模块220、数据确定模块230及手势同步模块240。

参数获取模块210，用于获取当前手势的虚拟手势参数；

位置确定模块220，用于确定虚拟手势参数中的关键节点之间的位置关系；

数据确定模块230，用于基于预设位置关系与虚拟手势之间的预设对应关系，确定位置关系对应的当前虚拟手势数据；

手势同步模块240，用于将虚拟手势数据应用于虚拟手势模型，实现虚拟手势同步。

相关细节参考上述方法和系统实施例。

需要说明的是：上述实施例中提供的虚拟手势同步的实现装置在进行虚拟手势同步的实现时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将虚拟手势同步的实现装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的虚拟手势同步的实现装置与虚拟手势同步的实现方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本实施例提供一种电子设备，如图3所示。该电子设备至少包括处理器301和存储器302。

处理器301可以包括一个或至少一个处理核心，比如：4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器302可以包括一个或至少一个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或至少一个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的虚拟手势同步的实现方法。

在一些实施例中，电子设备还可选包括有：外围设备接口和至少一个外围设备。处理器301、存储器302和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，电子设备还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，计算机可读存储介质中存储有程序，程序由处理器加载并执行以实现上述方法实施例的虚拟手势同步的实现方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

显然，上述所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，可以做出其它不同形式的变化或变动，都应当属于本申请保护的范围。

Claims (10)

1.一种虚拟手势同步的实现方法，其特征在于，所述方法包括：

获取当前手势的虚拟手势参数；

确定所述虚拟手势参数中的关键节点之间的位置关系；

基于预设位置关系与虚拟手势数据之间的预设对应关系，确定所述位置关系对应的当前虚拟手势数据；

将所述当前虚拟手势数据应用于虚拟手势模型，实现虚拟手势同步。

2.根据权利要求1所述的方法，其特征在于，所述关键节点包括手指指尖节点、手指指根节点和手腕节点。

3.根据权利要求2所述的方法，其特征在于，所述确定所述虚拟手势参数中的关键节点之间的位置关系，包括：

确定各个手指指尖节点与所述手腕节点之间的位置关系；

确定各个手指指根节点与所述手腕节点之间的位置关系。

4.根据权利要求2所述的方法，其特征在于，所述关键节点还包括手指关节节点；

相应地，所述确定所述虚拟手势参数中的关键节点之间的位置关系，还包括：

确定各个手指关节节点与所述手腕节点之间的位置关系。

5.根据权利要求1所述的方法，其特征在于，所述获取当前手势的虚拟手势参数，包括：

获取所述当前手势的数字图像；

对所述数字图像进行手势识别，得到关键节点数据；

对所述关键节点数据进行逆向动力分析，得到所述虚拟手势参数。

6.根据权利要求5所述的方法，其特征在于，所述虚拟手势参数还包括手指关节数据，所述手指关节数据包括手指关节的角度和位置；

所述对所述关键节点数据进行逆向动力分析，得到所述虚拟手势参数，包括：

获取预设关节参数；

基于所述关键节点数据和预设关节参数，得到所述手指关节数据。

7.根据权利要求6所述的方法，其特征在于，所述预设关节参数包括手关节转动轴和所述手关节转动轴的方向、尺寸和权重。

8.一种虚拟手势同步的实现装置，其特征在于，所述装置包括：

参数获取模块，用于获取当前手势的虚拟手势参数；

位置确定模块，用于确定所述虚拟手势参数中的关键节点之间的位置关系；

数据确定模块，用于基于预设位置关系与虚拟手势数据之间的预设对应关系，确定所述位置关系对应的当前虚拟手势数据；

手势同步模块，用于将所述虚拟手势数据应用于虚拟手势模型，实现虚拟手势同步。

9.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至7任一所述的虚拟手势同步的实现方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至7任一所述的虚拟手势同步的实现方法。

Images