CN117648035A - 一种虚拟手势的控制方法及装置 - Google Patents

Abstract

本发明公开了一种虚拟手势的控制方法、装置、电子设备及计算机可读存储介质，所述方法适用于搭载了全景摄像仪的智能佩戴设备，所述方法包括：在确定用户有手部活动时，调用全景摄像仪获取实时图像集；从实时图像集抽取若干张手部图像后，分别对每张手部图像进行轮廓识别得到手部轮廓；利用若干个手部轮廓生成参照手势，并根据参照手势控制虚拟手势运动。本发明可以调用全景摄像仪获取用户手部活动的手部图像；根据手部图像的手部轮廓生成参照手势并根据参照手势控制虚拟手势运动。通过结合实际的手部图像生成并控制虚拟手势，可以减少虚拟手势与用户实际的手势的偏差，进而降低虚拟互动的动作偏差，以提升虚拟动作的精度，提升用户的使用体验。

Description

一种虚拟手势的控制方法及装置

技术领域

本发明涉及vr智能控制的技术领域，尤其涉及一种虚拟手势的控制方法及装置。

背景技术

空间交互设计又称交互式空间设计，具体是指以互动体验为基础，将各种虚拟器件进行动态表现，实现人与空间的多维度互动。目前常见的空间交互方式包括：手势、眼睛、语音和外设(如手柄、键盘或鼠标等)。

其中，手势交互方式可以根据其与空间环境中的交互处理的定义，大致可以分为直接手势交互和非直接手势交互。非直接手势交互是在一定距离情况下，通过手部射线来锁定空间中某一个对象或组件，以获取对象或组件的焦点；再通过检测用户手部或手指的动作并转换成虚拟手势，从而可以快速对组件进行操作，实现空间互动。

但上述方式有如下问题：在检测用户手部或手指的动作时，可能手部有遮挡，使得转换转换后的虚拟手势与用户实际的手势有偏差，进而导致互动有偏差，降低用户的使用体验。

发明内容

本发明提出一种虚拟手势的控制方法、装置、电子设备及计算机可读存储介质，所述方法可以解决上述一个或多个技术问题。

本发明实施例的第一方面提供了一种虚拟手势的控制方法，所述方法适用于搭载了全景摄像仪的智能佩戴设备，所述方法包括：

在确定用户有手部活动时，调用所述全景摄像仪获取实时图像集，所述手实时图像集由多张关于用户手部活动的手部图像组成；

从所述实时图像集抽取若干张手部图像后，分别对每张所述手部图像进行轮廓识别得到手部轮廓；

利用若干个所述手部轮廓生成参照手势，并根据所述参照手势控制虚拟手势运动。

在第一方面的一种可能的实现方式中，所述分别对每张所述手部图像进行轮廓识别得到手部轮廓，包括：

在识别每张所述手部图像内手腕区间后对手部图像进行分割得到分割图像；

对所述分割图像进行优化处理得到优化图像后，对所述优化图像进行轮廓提取处理，得到手部轮廓，其中，所述优化处理包括：平滑处理、去噪处理和去锯齿处理。

在第一方面的一种可能的实现方式中，所述利用若干个所述手部轮廓生成参照手势，包括：

若所述若干张手部图像是同一时间节点且不同角度拍摄的图像，则计算若干个所述手部轮廓两两之间的轮廓相似度，得到多个手部相似值；

若每一个所述手部相似值均大于预设相似值，则从多个所述手部相似值筛选数值最大的手部相似值得到目标相似值；

利用所述目标相似值对应的两个手部轮廓进行三维建模得到参照手势。

在第一方面的一种可能的实现方式中，所述利用若干个所述手部轮廓生成参照手势，还包括：

若有任意一个所述手部相似值小于预设相似值，则获取小于预设相似值的手部相似值对应的手部轮廓，并对小于预设相似值的手部相似值对应的手部轮廓进行三维建模得到若干个待选手势；

在获取用户的确认信息后，根据所述确认信息从所述若干个待选手势筛选对应的手势作为参照手势，其中，所述确认信息是展示所述若干个待选手势后，用户从中筛选任意一个待选手势并回复确认的信息。

在第一方面的一种可能的实现方式中，所述利用若干个所述手部轮廓生成参照手势，包括：

若所述若干张手部图像是同一角度连续拍摄的图像，则获取所述若干张手部图像的拍摄时间顺序；

根据所述拍摄时间顺序和若干个所述手部轮廓生成用户手部的活动轨迹；

按照所述活动轨迹在预设的手势模板中查找对应的手势模板作为参照手势。

在第一方面的一种可能的实现方式中，所述根据所述参照手势控制虚拟手势运动，包括：

获取用户的移动信息，所述移动信息是用户选择的虚拟物体的可移动活动轨迹的信息；

按照所述参照手势的形状生成虚拟手势后，基于所述移动信息的轨迹控制所述虚拟手势移动。

在第一方面的一种可能的实现方式中，所述获取用户的移动信息，包括：

获取虚拟物体对应的物体坐标点以及用户的视觉焦点对应的视觉坐标点；

连接所述物体坐标点和所述视觉坐标点得到移动信息。

本发明实施例的第二方面提供了一种虚拟手势的控制装置，所述装置适用于搭载了全景摄像仪的智能佩戴设备，所述装置包括：

获取图像模块，用于在确定用户有手部活动时，调用所述全景摄像仪获取实时图像集，所述手实时图像集由多张关于用户手部活动的手部图像组成；

识别轮廓模块，用于从所述实时图像集抽取若干张手部图像后，分别对每张所述手部图像进行轮廓识别得到手部轮廓；

手势控制模块，用于利用若干个所述手部轮廓生成参照手势，并根据所述参照手势控制虚拟手势运动。

在第二方面的一种可能的实现方式中，所述分别对每张所述手部图像进行轮廓识别得到手部轮廓，包括：

在识别每张所述手部图像内手腕区间后对手部图像进行分割得到分割图像；

对所述分割图像进行优化处理得到优化图像后，对所述优化图像进行轮廓提取处理，得到手部轮廓，其中，所述优化处理包括：平滑处理、去噪处理和去锯齿处理。

在第二方面的一种可能的实现方式中，所述利用若干个所述手部轮廓生成参照手势，包括：

若所述若干张手部图像是同一时间节点且不同角度拍摄的图像，则计算若干个所述手部轮廓两两之间的轮廓相似度，得到多个手部相似值；

若每一个所述手部相似值均大于预设相似值，则从多个所述手部相似值筛选数值最大的手部相似值得到目标相似值；

利用所述目标相似值对应的两个手部轮廓进行三维建模得到参照手势。

在第二方面的一种可能的实现方式中，所述利用若干个所述手部轮廓生成参照手势，还包括：

若有任意一个所述手部相似值小于预设相似值，则获取小于预设相似值的手部相似值对应的手部轮廓，并对小于预设相似值的手部相似值对应的手部轮廓进行三维建模得到若干个待选手势；

在获取用户的确认信息后，根据所述确认信息从所述若干个待选手势筛选对应的手势作为参照手势，其中，所述确认信息是展示所述若干个待选手势后，用户从中筛选任意一个待选手势并回复确认的信息。

在第二方面的一种可能的实现方式中，所述利用若干个所述手部轮廓生成参照手势，包括：

若所述若干张手部图像是同一角度连续拍摄的图像，则获取所述若干张手部图像的拍摄时间顺序；

根据所述拍摄时间顺序和若干个所述手部轮廓生成用户手部的活动轨迹；

按照所述活动轨迹在预设的手势模板中查找对应的手势模板作为参照手势。

在第二方面的一种可能的实现方式中，所述根据所述参照手势控制虚拟手势运动，包括：

获取用户的移动信息，所述移动信息是用户选择的虚拟物体的可移动活动轨迹的信息；

按照所述参照手势的形状生成虚拟手势后，基于所述移动信息的轨迹控制所述虚拟手势移动。

在第二方面的一种可能的实现方式中，所述获取用户的移动信息，包括：

获取虚拟物体对应的物体坐标点以及用户的视觉焦点对应的视觉坐标点；

连接所述物体坐标点和所述视觉坐标点得到移动信息。

相比于现有技术，本发明实施例提供的一种虚拟手势的控制方法及装置，其有益效果在于：本发明可以在确定用户有手部活动时，调用全景摄像仪获取用户手部活动的手部图像；从手部图像提取手部轮廓后，利用手部轮廓生成参照手势并根据参照手势控制虚拟手势运动。通过结合实际的手部图像生成并控制虚拟手势，可以减少虚拟手势与用户实际的手势的偏差，进而降低虚拟互动的动作偏差，以提升虚拟动作的精度，提升用户的使用体验。

附图说明

图1是本发明一实施例提供的一种虚拟手势的控制方法的流程示意图；

图2是本发明一实施例提供的一种虚拟手势的控制装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决上述问题，下面将通过以下具体的实施例对本申请实施例提供的一种虚拟手势的控制方法进行详细介绍和说明。

参照图1，示出了本发明一实施例提供的一种虚拟手势的控制方法的流程示意图。

所述虚拟手势的控制方法可以适用于智能佩戴设备，例如，Apple Vision Pro、VR头盔或VR眼镜等，且智能佩戴设备设有全景摄像仪，可以360度采集佩戴用户以及周边的影像。

可选地，全景摄像仪可以设有多个，例如，该智能佩戴设备是VR头盔，可以在VR头盔的正面以及左右两侧各设有一个全景摄像仪，共设有三个全景摄像仪。

在VR或AR的空间交互中，可以让用户在虚拟环境下提供更加真实、沉浸式的交互体验，以及在增强现实环境中实现与现实世界的自然交互。

在一实际应用场景中，当用户佩戴智能佩戴设备后，可以通过在现实环境中活动双手，由智能佩戴设备采集用户现实环境中手部的动作，生成一个虚拟手势并在虚拟环境中点击、滑动或抓取虚拟动作。但由于检测用户现实环境中手部的动作有偏差，导致虚拟环境中的虚拟动作有偏差，进而在虚拟环境中操作出错。为了解决上述技术问题，其中，作为示例的，所述虚拟手势的控制方法，可以包括：

S11、在确定用户有手部活动时，调用所述全景摄像仪获取实时图像集，所述手实时图像集由多张关于用户手部活动的手部图像组成。

在一实施例中，用户在佩戴智能佩戴设备后，其手部可以有智能配件，也可以没有智能配件，若有智能配件(例如手柄)，可以通过手柄内设的传感器检测用户的手柄是否有活动，若有活动，则可以生成一个触发信息并发送给智能佩戴设备，使得智能佩戴设备确定用户有手部活动。

若没有使用智能配件，智能佩戴设备可以调用全景摄像仪实时检测用户的双手，以确定双手可以有活动。

当有活动时，可以调用全景摄像仪获取用户手部的图像，由于用户的动作持续的时长可能长也可能短，可以获取用户的手在持续执行一个动作的手部图像，从而可以得到多张手部图像，再将多张手部图像组成一个图像集，得到实时图像集。

参照上述例子，在VR头盔的正面以及左右两侧各设有一个全景摄像仪，共设有三个全景摄像仪。在确定用户的手部有活动后，可以调用正面的全景摄像仪从上向下由俯视的角度拍摄用户双手在活动的手部图像。同理，可以调用左边的全景摄像仪从上向下由俯视的角度拍摄用户左手在活动的手部图像；再调用右边的全景摄像仪从上向下由俯视的角度拍摄用户右手在活动的手部图像。

再将三个全景摄像仪拍摄的手部图像组成实时图像集，又或者每个全景摄像仪拍摄的手部图像均单独组成一个实时图像集。

S12、从所述实时图像集抽取若干张手部图像后，分别对每张所述手部图像进行轮廓识别得到手部轮廓。

在一实施例中，由于全景摄像仪可能有多个，拍摄的实时图像集有多张手部图像，若每一张手部图像均进行识别处理，不但耗时长，且效率低，可能用户当前的动作已经完成，需要进行下一个动作，图像的分析处理还没完成。为了减少处理的图像数量，可以从实时图像集抽取若干张手部图像。

可选地，抽取的方式可以是随机抽取，也可以间隔抽取，例如，每千分之一秒抽一帧图像。具体的抽取方式可以根据实际需要进行调整。

在抽取若干张手部图像后，为了准确识别用户执行动作具体的手势是什么，可以分别对每张手部图像进行轮廓识别，识别图像中用户手腕或手掌或手指等部分，从而得到整个手部的轮廓。

为了准确提取手部轮廓，其中，作为示例的，步骤S12可以包括以下子步骤：

S121、在识别每张所述手部图像内手腕区间后对手部图像进行分割得到分割图像。

S122、对所述分割图像进行优化处理得到优化图像后，对所述优化图像进行轮廓提取处理，得到手部轮廓，其中，所述优化处理包括：平滑处理、去噪处理和去锯齿处理。

具体地，该手部图像中既可以包含用户的手腕、手指和手掌等图像，也可以包含用户所在的环境，周边的环境可以是图像的背景。

在一可选的实施例中，可以利用预先训练的模型根据颜色、纹理、形状等特征对图像进行识别，得到用户手部中手腕、手指和手掌的区域，并确定其区域在图像内的位置坐标，根据位置坐标进行图像分割，得到关于手腕、手指和手掌的分割图像。

在一实施例中，本发明可以通过人像信息确定分割类别，并截取相应的整个人体区域进行进一步准对性强的分割。

可选地，也可以基于实体分割、全景分割等其他深度学习中的分割算法进行分割。

在分割后，可能图像有偏差，手腕、手指和手掌的分割图像的边缘可能有细小的波纹。为了消除波纹，可以对图像进行优化处理。

在一可选的实施例中，优化处理可以包括：平滑处理、去噪处理和去锯齿处理。

由于分割后的图像可能存在多种多样的瑕疵，使得分割后的图像存在不同的问题，进而导致后续在图像合成时出现清晰度低、模糊、毛刺多等问题，为了完善分割后的图像。

在一可选的实施例中，所述平滑处理具体为：使用预设的高斯滤波器对图像进行图像平滑处理，通过平滑处理可以提升图像的清晰度，从而提升后续识别的效果。

在其中一种的实施例中，所述去噪处理具体为：可以先确定图像的噪声区域。将噪声区域的颜色填充为对应的颜色。

在实际操作时，可以先筛选出图像中的噪声块的部分，将此噪声块部分区域填充为与手部区域相匹配的颜色(例如，手指区域为白色，可以将噪声块填充为白色)，从而能够在不影响图像清晰度的情况下，消除局部的小块噪声，而且通过查找对应区域中进行定位去除，从而能较好的保持图片完整性。

在其中一种的实施例中，所述去锯齿处理具体为：对图像进行blur算子运算得到分割线区域，二值化分割线区域得到关于图像分割线，再按照图像分割线清除图像的锯齿。

具体可以先将图像进行blur模糊操作，使得图像中手腕、手指和手掌的区域可以形成较为柔和分割线轮廓区域，接着进行分割线区域的二值化操作，从而让轮廓区域的分割线产生较为柔和平滑的分割线。

本发明针对图像的边缘锯齿问题，增加了图像边缘的平滑处理，提升后续识别的精度。

在完成优化处理后，可以优化处理的图像进行轮廓提取处理，为了准确提取人像轮廓，在一实施例中，所述轮廓提取处理具体为：

用一阶偏导有限差分计算优化图像对应的幅值和方向。

对幅值进行非极大值抑制及双阈值算法检测得到处理幅值，并按照处理幅值将方向连接成轮廓边缘；调用预设的提取算法按照预设的轮廓阈值从轮廓边缘中提取轮廓信息，从而得到手部区域。

具体地，在使用高斯滤波器进行图像平滑的处理后，可以用一阶偏导有限差分计算梯度的幅值和方向，然后对梯度幅值进行非极大值抑制及用双阈值算法检测和连接边缘。

可选地，由于图像的背景较为复杂，在手部图像是相对比较模糊的区域，手腕、手指和手掌的区域的轮廓比较弱，可以调整双阈值的大小，此阈值范围可以较好的提取弱的边缘轮廓信息。

在一可选的实现方式中，可以采用Canny算法可以多级边缘提取，Canny算法在提取多级强弱边缘信息有较好效果，而且在运行速度上非常有优势。

在此基础上，可以使用R-Canny(循环Canny算法)进行处理，即在标准的Canny算法基础上，加上循环操作思想。进行多级逐层边缘提取操作。由于采用了对边缘图片上再次提取边缘的循环操作，进一步提高了对弱边提取的效果。

需要说明的是，上述各个取值范围可以根据实际需要进行调整。

S13、利用若干个所述手部轮廓生成参照手势，并根据所述参照手势控制虚拟手势运动。

在提取手部的轮廓后，可以根据手部的轮廓以及其形状进行三维建模，从而可以在虚拟环境中形成一个与现实手势相同的虚拟手势，并以此作为参考手势。然后可以按照参照手势控制虚拟场景中的虚拟手势进行相应的运动，例如，用户作了一个四指合并的手势，并挥动手臂。可以以四指合并的手指生成一个参考手势，并以此手势作为虚拟手势在虚拟环境中挥动手臂。

在一实施例中，在检测用户的手部轮廓时，可能手部的各个区间有遮挡有重叠，若根据单一角度拍摄的手柄图像生成虚拟手势，其手势可能与实际的手势有偏差。

为了能结合多个角度拍摄的图像对应的手部轮廓生成参考手势。其中，作为示例的，所述利用若干个所述手部轮廓生成参照手势，可以包括以下子步骤：

S21、若所述若干张手部图像是同一时间节点且不同角度拍摄的图像，则计算若干个所述手部轮廓两两之间的轮廓相似度，得到多个手部相似值。

S22、若每一个所述手部相似值均大于预设相似值，则从多个所述手部相似值筛选数值最大的手部相似值得到目标相似值。

S23、利用所述目标相似值对应的两个手部轮廓进行三维建模得到参照手势。

具体地，由于全景摄像仪多个，每个全景摄像仪采集多张手部图像，每个全景摄像仪有对应的实时图像集，为了能从多个不同的角度提取手部轮廓，避免因遮挡，而导致手势有偏差，可以分别从每个全景摄像仪对应的实时图像集中提取一张手部图像。具体地，可以提取同一时间节点的图像。

在实际操作中，若有三台全景摄像仪，用户只活动一只手，中间一台全景摄像仪可以从上往下这一俯视的角度拍摄用户活动的那只手。可以从中间一台全景摄像仪的实时图像集中可以获取一张某一时间节点的手部图像，同时，可以在同一时间节点获取左边的全景摄像仪拍摄的左边视角的手部图像，可以获取右边的全景摄像仪拍摄的右边视角的手部图像，最后再结合三个手部轮廓生成一个参照手势。

同样地，若有三台全景摄像仪，用户活动两只手，那中间一台全景摄像仪可以从上往下拍摄一张的手部图像，该俯视角度的手部图像可以包含用户的两只手；同时，可以获取左边的全景摄像仪拍摄的左边手的手部图像，可以获取右边的全景摄像仪拍摄的右边手的手部图像。最后结合中间全景摄像仪的手部图像的左边手部轮廓和左边手的手部图像的手部轮廓生成一个左手的参照手势；同理，可以结合中间全景摄像仪的手部图像的右边手部轮廓和右边手的手部图像的手部轮廓生成一个右手的参照手势。

在具体操作时，为了整合各个手部轮廓，可以先计算若干个手部轮廓两两之间的轮廓相似度，得到多个手部相似值。虽然拍摄的角度可能有不同，但若手势相同，两个手势的轮廓大致相同。因此，可以计算两两之间的轮廓相似值，具体的计算方式可以是调用预设的神经网络，按照图像相似值的方式进行计算。

接着，可以将每个手部相似值与预设相似值进行比较，如果每个手部相似值均大于预设相似值，说明每个角度拍摄的图像的手部轮廓均相似。为了减少处理的数据量，可以从多个手部相似值筛选数值最大的手部相似值，以数值最大的手部相似值作为目标相似值。

然后获取目标相似值对应的两个手部轮廓，再利用两个手部轮廓进行三维建模，最后得到参照手势。

S24、若有任意一个所述手部相似值小于预设相似值，则获取小于预设相似值的手部相似值对应的手部轮廓，并对小于预设相似值的手部相似值对应的手部轮廓进行三维建模得到若干个待选手势。

S25、在获取用户的确认信息后，根据所述确认信息从所述若干个待选手势筛选对应的手势作为参照手势，其中，所述确认信息是展示所述若干个待选手势后，用户从中筛选任意一个待选手势并回复确认的信息。

可选地，可能有一个或多个手部相似值小于预设相似值，此时说明不同角度拍摄的手势有不同，可能是因为手指的遮挡，又或者有其他遮挡，导致不同角度的手势有不同。

为了避免与用户实际的操作或活动意图贴合，可以获取小于预设相似值的手部相似值，然后再获取小于预设相似值的手部相似值对应的手部轮廓。

若有一个手部相似值小于预设相似值，则获取该手部相似值对应的两个手部轮廓，再使用这两个手部轮廓进行三维建模，得到两个待选手势。

若有多个手部相似值小于预设相似值，则获取每个小于预设相似值的手部相似值对应的两个手部轮廓，再对每个手部轮廓进行三维建模，得到多个待选手势。

然后，可以在虚拟世界或者虚拟环境中展示多个待选手势，用户可以直接查看多个待选手势，然后从中选择一个待选手势，同时回复一个确认信息，最后以用户所选择的待选手势为参考手势。

可选地，若待选手势有多个，各个待选手势相互间可能有相同或相似，可以先对多个待选手势进行聚合，具体可以根据其形状进行聚合，让相同的手势聚合在一起，然后再展示聚合后的待选手势，可以减少用户需要查看的数量，提升处理的效率。

在又一可选的实施例中，用户可能仅活动一只手，其活动的手势可能一套动作，例如，手指的上下摆动，又例如，转圈等。而其一系列的动作有手势的变动，仅通过单一时间节点拍摄的图像难以准确确定用户的动作及手势。为了准确识别动态动作的手势，其中，作为示例的，所述利用若干个所述手部轮廓生成参照手势，可以包括以下子步骤：

S31、若所述若干张手部图像是同一角度连续拍摄的图像，则获取所述若干张手部图像的拍摄时间顺序。

S32、根据所述拍摄时间顺序和若干个所述手部轮廓生成用户手部的活动轨迹。

S33、按照所述活动轨迹在预设的手势模板中查找对应的手势模板作为参照手势。

在一实施例中，由于所要确定的用户手势是一系列操作及动作的手势，可以从一个实时图像集中获取若干张手部图像，并且若干张手部图像是连续的。

可选地，若干张手部图像也可以按照预设的时间间距从实时图像集中抽取得到的。其抽取方式可以是先确定用户动作的时间，例如，1秒或2秒。

全景摄像仪的采样是每秒100帧图像，假设用户的动作为1秒，可以按照预设的时间间隔10毫秒进行图像抽取，然后可以从100帧图像中抽取10张出来，得到10张手部图像，再获取这10张手部图像的拍摄时间顺序，并按照该拍摄时间顺序对10张手部图像进行排列。

接着，可以分别确定每张手部图像的手部轮廓，再按照拍摄时间顺序对多个手部轮廓播放，形成一个动态手势。最后，对该动态的手势进行识别，确定用户活动的具体区域，例如是手指头区域，手腕区域或者手臂区域。

再确定区域活动的轨迹，从而确定用户手部的活动轨迹。

最后，可以根据活动轨迹在预设的手势模板中查找对应的手势模板作为参照手势。

需要说明的是，预设的手势模板内有多个手势，每个手势对应一个活动轨迹，类似手机或智能终端的手势设定，二指旋转活动对应一个手势模板，单指摆动对应一个手势模板等。最后可以根据手势模板对应的手势作为参照手势。

在确定用户的手势后，为了贴合用户实际的活动意图在虚拟世界进行响应的操作，其中，作为示例的，所述根据所述参照手势控制虚拟手势运动，可以包括以下子步骤：

S131、获取用户的移动信息，所述移动信息是用户选择的虚拟物体的可移动活动轨迹的信息。

在一应用操作中，移动信息可以是用户在虚拟世界移动虚拟物体的轨迹信息，也可以是用户在虚拟世界活动时的操作轨迹。

例如，在Apple Vision Pro的虚拟世界中，可以对家具或各种家用物品进行虚拟设计，需要在虚拟世界移动桌子，从左边移动到右边，其移动信息就是左边至右边。

在一实施例中，虚拟世界的移动可以是用户的虚拟人物活动，也可以是用户视点的变化，以确定其活动的地点，其中，作为示例的，步骤S131，可以包括以下子步骤：

S1311、获取虚拟物体对应的物体坐标点以及用户的视觉焦点对应的视觉坐标点。

S1312、连接所述物体坐标点和所述视觉坐标点得到移动信息。

具体地，可以先获取虚拟物体在虚拟世界的坐标，得到虚拟物体对应的物体坐标点。接着，可以获取用户在虚拟世界的视觉焦点对应的坐标，得到视觉坐标点。最后，将两个坐标进行连线，可以得到移动轨迹，从而得到移动信息。

可选地，在确定两个位置的坐标点后，也可以根据一定的轨迹将其连接在一起，从而得到移动信息。

一定的轨迹可以是曲线，上下摆动等，具体可以根据实际需要进行调整。

S132、按照所述参照手势的形状生成虚拟手势后，基于所述移动信息的轨迹控制所述虚拟手势移动。

最后，可以按照参照手势的形状生成虚拟手势，在基于移动信息的轨迹控制虚拟手势移动，在虚拟世界中，虚拟手势可以带动所要移动物体进行移动。

例如，上述例子，需要将虚拟世界的桌子从左边移动到右边，虚拟手势是一紧握的手势，可以在虚拟世界中紧握拳头，然后紧握的拳头可以在虚拟世界中抓住桌子，并让虚拟的桌子从左边移动到右边。

在一实施例中，在VR环境中，在长时间佩戴后，用户可能会产生眩晕、眼睛疲劳等问题，为了消除用户的身体不适感，所述方法还可以包括：

将虚拟世界的物体或不同元素与现实环境进行无缝融合，以避免对用户的认知造成干扰或困扰。

另外，也可以在用户活动或佩戴一段时间后，向用户展示提示信息，提醒用户需要进行相应的休息。

在本实施例中，本发明实施例提供了一种虚拟手势的控制方法，其有益效果在于：本发明可以在确定用户有手部活动时，调用全景摄像仪获取用户手部活动的手部图像；从手部图像提取手部轮廓后，利用手部轮廓生成参照手势并根据参照手势控制虚拟手势运动。通过结合实际的手部图像生成并控制虚拟手势，可以减少虚拟手势与用户实际的手势的偏差，进而降低虚拟互动的动作偏差，以提升虚拟动作的精度，提升用户的使用体验。

本发明实施例还提供了一种虚拟手势的控制装置，参见图2，示出了本发明一实施例提供的一种虚拟手势的控制装置的结构示意图。

其中，作为示例的，所述虚拟手势的控制装置可以包括：

所述方法适用于搭载了全景摄像仪的智能佩戴设备，所述方法包括：

获取图像模块201，用于在确定用户有手部活动时，调用所述全景摄像仪获取实时图像集，所述手实时图像集由多张关于用户手部活动的手部图像组成；

识别轮廓模块202，用于从所述实时图像集抽取若干张手部图像后，分别对每张所述手部图像进行轮廓识别得到手部轮廓；

手势控制模块203，用于利用若干个所述手部轮廓生成参照手势，并根据所述参照手势控制虚拟手势运动。

可选地，所述分别对每张所述手部图像进行轮廓识别得到手部轮廓，包括：

在识别每张所述手部图像内手腕区间后对手部图像进行分割得到分割图像；

对所述分割图像进行优化处理得到优化图像后，对所述优化图像进行轮廓提取处理，得到手部轮廓，其中，所述优化处理包括：平滑处理、去噪处理和去锯齿处理。

可选地，所述利用若干个所述手部轮廓生成参照手势，包括：

若所述若干张手部图像是同一时间节点且不同角度拍摄的图像，则计算若干个所述手部轮廓两两之间的轮廓相似度，得到多个手部相似值；

若每一个所述手部相似值均大于预设相似值，则从多个所述手部相似值筛选数值最大的手部相似值得到目标相似值；

利用所述目标相似值对应的两个手部轮廓进行三维建模得到参照手势。

可选地，所述利用若干个所述手部轮廓生成参照手势，还包括：

若有任意一个所述手部相似值小于预设相似值，则获取小于预设相似值的手部相似值对应的手部轮廓，并对小于预设相似值的手部相似值对应的手部轮廓进行三维建模得到若干个待选手势；

在获取用户的确认信息后，根据所述确认信息从所述若干个待选手势筛选对应的手势作为参照手势，其中，所述确认信息是展示所述若干个待选手势后，用户从中筛选任意一个待选手势并回复确认的信息。

可选地，所述利用若干个所述手部轮廓生成参照手势，包括：

若所述若干张手部图像是同一角度连续拍摄的图像，则获取所述若干张手部图像的拍摄时间顺序；

根据所述拍摄时间顺序和若干个所述手部轮廓生成用户手部的活动轨迹；

按照所述活动轨迹在预设的手势模板中查找对应的手势模板作为参照手势。

可选地，所述根据所述参照手势控制虚拟手势运动，包括：

获取用户的移动信息，所述移动信息是用户选择的虚拟物体的可移动活动轨迹的信息；

按照所述参照手势的形状生成虚拟手势后，基于所述移动信息的轨迹控制所述虚拟手势移动。

可选地，所述获取用户的移动信息，包括：

获取虚拟物体对应的物体坐标点以及用户的视觉焦点对应的视觉坐标点；

连接所述物体坐标点和所述视觉坐标点得到移动信息。

所属技术领域的技术人员可以清楚地了解到，为方便的描述和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步的，本申请实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例所述的虚拟手势的控制方法。

进一步的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行如上述实施例所述的虚拟手势的控制方法。

本领域内的技术人员应明白，本申请的实施例还可提供包括计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、装置和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种虚拟手势的控制方法，其特征在于，所述方法适用于搭载了全景摄像仪的智能佩戴设备，所述方法包括：

在确定用户有手部活动时，调用所述全景摄像仪获取实时图像集，所述手实时图像集由多张关于用户手部活动的手部图像组成；

从所述实时图像集抽取若干张手部图像后，分别对每张所述手部图像进行轮廓识别得到手部轮廓；

利用若干个所述手部轮廓生成参照手势，并根据所述参照手势控制虚拟手势运动。

2.根据权利要求1所述的虚拟手势的控制方法，其特征在于，所述分别对每张所述手部图像进行轮廓识别得到手部轮廓，包括：

在识别每张所述手部图像内手腕区间后对手部图像进行分割得到分割图像；

对所述分割图像进行优化处理得到优化图像后，对所述优化图像进行轮廓提取处理，得到手部轮廓，其中，所述优化处理包括：平滑处理、去噪处理和去锯齿处理。

3.根据权利要求1所述的虚拟手势的控制方法，其特征在于，所述利用若干个所述手部轮廓生成参照手势，包括：

若所述若干张手部图像是同一时间节点且不同角度拍摄的图像，则计算若干个所述手部轮廓两两之间的轮廓相似度，得到多个手部相似值；

若每一个所述手部相似值均大于预设相似值，则从多个所述手部相似值筛选数值最大的手部相似值得到目标相似值；

利用所述目标相似值对应的两个手部轮廓进行三维建模得到参照手势。

4.根据权利要求3所述的虚拟手势的控制方法，其特征在于，所述利用若干个所述手部轮廓生成参照手势，还包括：

若有任意一个所述手部相似值小于预设相似值，则获取小于预设相似值的手部相似值对应的手部轮廓，并对小于预设相似值的手部相似值对应的手部轮廓进行三维建模得到若干个待选手势；

在获取用户的确认信息后，根据所述确认信息从所述若干个待选手势筛选对应的手势作为参照手势，其中，所述确认信息是展示所述若干个待选手势后，用户从中筛选任意一个待选手势并回复确认的信息。

5.根据权利要求1所述的虚拟手势的控制方法，其特征在于，所述利用若干个所述手部轮廓生成参照手势，包括：

若所述若干张手部图像是同一角度连续拍摄的图像，则获取所述若干张手部图像的拍摄时间顺序；

根据所述拍摄时间顺序和若干个所述手部轮廓生成用户手部的活动轨迹；

按照所述活动轨迹在预设的手势模板中查找对应的手势模板作为参照手势。

6.根据权利要求1-5任意一项所述的虚拟手势的控制方法，其特征在于，所述根据所述参照手势控制虚拟手势运动，包括：

获取用户的移动信息，所述移动信息是用户选择的虚拟物体的可移动活动轨迹的信息；

按照所述参照手势的形状生成虚拟手势后，基于所述移动信息的轨迹控制所述虚拟手势移动。

7.根据权利要求6所述的虚拟手势的控制方法，其特征在于，所述获取用户的移动信息，包括：

获取虚拟物体对应的物体坐标点以及用户的视觉焦点对应的视觉坐标点；

连接所述物体坐标点和所述视觉坐标点得到移动信息。

8.一种虚拟手势的控制装置，其特征在于，所述装置适用于搭载了全景摄像仪的智能佩戴设备，所述装置包括：

获取图像模块，用于在确定用户有手部活动时，调用所述全景摄像仪获取实时图像集，所述手实时图像集由多张关于用户手部活动的手部图像组成；

识别轮廓模块，用于从所述实时图像集抽取若干张手部图像后，分别对每张所述手部图像进行轮廓识别得到手部轮廓；

手势控制模块，用于利用若干个所述手部轮廓生成参照手势，并根据所述参照手势控制虚拟手势运动。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7任意一项所述的虚拟手势的控制方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-7任意一项所述的虚拟手势的控制方法。