CN113204306A - 一种基于增强现实环境下的物体交互信息提示方法及系统 - Google Patents

Abstract

本发明提供了一种基于增强现实环境下的物体交互信息提示方法及系统，在增强现实环境下对用户的交互操作进行提示，其特征在于，包括如下步骤：先获取增强现实环境中的多个可交互物体，并依次判断各个可交互物体是否处于用户的视锥中，在判断为是时，演示可交互物体对应的标准交互手势；获取用户对可交互物体进行的交互操作，并判断交互操作与标准交互手势是否相同，在判断为否时，将交互操作与标准交互手势进行比对得到比对结果，根据该比对结果得到修改交互操作指令，从而使得用户按照修改交互操作指令进行正确的物体交互。其中，标准交互手势包括标准动作、标准运动轨迹以及标准力度，交互操作包括交互动作、交互运动轨迹以及交互力度。

Description

一种基于增强现实环境下的物体交互信息提示方法及系统

技术领域

本发明属于物体交互信息领域，具体涉及一种基于增强现实环境下的物体交互信息提示方法及系统。

背景技术

增强现实技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，其所形成的空间就是增强现实环境。

在增强现实环境中，用户可以与虚拟物体交互，也可以与实体物体交互，主要是通过手势演示来提醒用户如何使用物体，从而实现物体交互信息的提示。然而，现有增强现实环境中的手势演示基本只能演示较为简单的手势，当用户的手势操作出错时，也无法提醒何处出错，从而导致交互信息提示效果差。

发明内容

为解决上述问题，提供了一种提升交互信息提示效果的物体交互信息提示方法及系统，本发明采用了如下技术方案：

本发明提供了一种基于增强现实环境下的物体交互信息提示方法，在增强现实环境下对用户的交互操作进行提示，其特征在于，包括如下步骤：步骤S1，获取增强现实环境中的多个可交互物体，并依次判断各个可交互物体是否处于用户的视锥中；步骤S2，在步骤S1判断为是时，演示可交互物体对应的标准交互手势；步骤S3，获取用户对可交互物体进行的交互操作，并判断交互操作与标准交互手势是否相同；步骤S4，在步骤S3判断为否时，将交互操作与标准交互手势进行比对得到比对结果，根据该比对结果得到修改交互操作指令，从而使得用户按照修改交互操作指令进行正确的物体交互，其中，标准交互手势包括标准动作、标准运动轨迹以及标准力度，步骤S3中交互操作包括交互动作、交互运动轨迹以及交互力度。

根据本发明提供的一种基于增强现实环境下的物体交互信息提示方法，还可以具有这样的技术特征，其中，将步骤S4包括如下子步骤：步骤S4-1，将交互动作与标准动作进行比对得到动作比对结果，当动作比对结果为不正确时，将标准动作线框化，将交互动作实体化，作为修改交互操作指令；步骤S4-2，将交互运动轨迹与标准运动轨迹进行比对得到运动轨迹比对结果，当运动轨迹比对结果为不正确时，将标准运动轨迹以实线的方式呈现，将交互运动轨迹以虚线的方式呈现，作为修改交互操作指令；步骤S4-3，将交互力度与标准力度进行比对得到力度比对结果，当力度比对结果为不正确时，将交互力度对应的手指通过颜色进行显示，作为修改交互操作指令。

根据本发明提供的一种基于增强现实环境下的物体交互信息提示方法，还可以具有这样的技术特征，其中，标准交互手势的演示为3D全息影像手势动画，交互动作通过如下步骤获取：步骤T1，获取交互操作中手部的骨骼关节信息以及手部姿势信息；步骤T2，根据骨骼关节信息以及手部姿势信息确定交互动作。

根据本发明提供的一种基于增强现实环境下的物体交互信息提示方法，还可以具有这样的技术特征，其中，步骤S1中的视锥依据用户的眼珠转动数据以及头部旋转数据计算得到。

本发明还提供的一种基于增强现实环境下的物体交互信息提示系统，在增强现实环境下对用户的交互操作进行提示，其特征在于，包括：可交互物体获取与判断模块，获取增强现实环境中的多个可交互物体，并依次判断各个可交互物体是否处于用户的视锥中；标准交互手势演示模块，在可交互物体获取与判断模块判断为是时，演示可交互物体对应的标准交互手势；交互操作获取与判断模块，获取用户对可交互物体进行的交互操作，并判断交互操作与标准交互手势是否相同；以及修改交互操作指令获取模块，在交互操作获取与判断模块判断为否时，将交互操作与标准交互手势进行比对得到比对结果，根据该比对结果得到修改交互操作指令，从而使得用户按照修改交互操作指令进行正确的物体交互，其中，标准交互手势包括标准动作、标准运动轨迹以及标准力度，交互操作获取与判断模块中交互操作包括交互动作、交互运动轨迹以及交互力度。

发明作用与效果

根据本发明的一种基于增强现实环境下的物体交互信息提示方法及系统，由于预先获取用户对可交互物体进行交互的过程中的交互动作、交互运动轨迹以及交互力度作为交互操作，然后判断交互操作与标准交互手势是否相同，进而在交互操作与标准交互手势不同的情况下，对交互操作与标准交互手势进行比对，从而得到修改交互操作指令，因此，不仅能够准确了解到用户手势是否出错，还能够准确提醒用户出错的位置，从而大大提高物体交互信息提示的效果。

通过本发明的一种基于增强现实环境下的物体交互信息提示方法及系统，可以对用户的交互操作进行比对并给出修改交互操作指令，从而提高物体交互信息提示效果。

附图说明

图1为本发明实施例的一种基于增强现实环境下的物体交互信息提示方法的流程图；

图2为本发明实施例的一种基于增强现实环境下的物体交互信息提示系统的结构框图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于增强现实环境下的物体交互信息提示方法及系统作具体阐述。

<实施例>

图1为本发明实施例的一种基于增强现实环境下的物体交互信息提示方法的流程图。

如图1所示，一种基于增强现实环境下的物体交互信息提示方法包括如下步骤：

步骤S1，获取增强现实环境中的多个可交互物体，并依次判断各个可交互物体是否处于用户的视锥中，判断为是时进入步骤S2，判断为否时，不演示对应的可交互物体的标准交互手势，重新进入步骤S1对下一个可交互物体进行判断，直到所有交互物体判断结束。

其中，视锥依据用户的眼珠转动数据以及头部旋转数据计算得到。

步骤S2，演示可交互物体对应的标准交互手势。

其中，标准交互手势包括标准动作、标准运动轨迹以及标准力度。

标准交互手势的演示为3D全息影像手势动画，具体地：

当用户离可交互物体距离较近，且目光注视停留在可交互物体上时，可交互物体上将会悬浮出现一个3D全息手的模型，这个3D全息手将简要演示交互操作过程若干遍，从而引导用户进行争取的交互操作，当用户进行交互时，摄像头与传感器将自动捕捉用户做出的交互动作，如果用户的动作操作有误，此时全息手将进行动态显示，有针对性地指示手势的动作、建议朝向和抓取的力度。

步骤S3，获取用户对可交互物体进行的交互操作，并判断交互操作与标准交互手势是否相同，判断为否时，进入步骤S4，判断为是时，进入步骤S5显示操作正确，然后进入结束状态。

其中，交互操作包括交互动作、交互运动轨迹以及交互力度。

交互动作通过如下步骤获取：

步骤T1，获取交互操作中手部的骨骼关节信息以及手部姿势信息；

步骤T2，根据骨骼关节信息以及手部姿势信息确定交互动作。

步骤S4，将交互操作与标准交互手势进行比对得到比对结果，根据该比对结果得到修改交互操作指令，从而使得用户按照修改交互操作指令进行正确的物体交互。

其中，将步骤S4包括如下子步骤：

步骤S4-1，将交互动作与标准动作进行比对得到动作比对结果，当动作比对结果为不正确时，将标准动作线框化，将交互动作实体化，作为修改交互操作指令，当动作比对结果为正确时，直接进入步骤S4-2，进行运动轨迹的比对。

步骤S4-2，将交互运动轨迹与标准运动轨迹进行比对得到运动轨迹比对结果，当运动轨迹比对结果为不正确时，将标准运动轨迹以实线的方式呈现，将交互运动轨迹以虚线的方式呈现，作为修改交互操作指令，当运动轨迹比对结果为正确时，直接进入步骤S4-3，进行力度的比对。

步骤S4-3，将交互力度与标准力度进行比对得到力度比对结果，当力度比对结果为不正确时，将交互力度对应的手指通过颜色进行显示，作为修改交互操作指令，当力度比对结果为正确时，则进入步骤S5显示交互操作正确。

步骤S5，显示交互操作正确，然后进入结束状态。

在本实施例中，根据用户手势捕捉数据，若手部动作错误，则将有针对性地突出显示错误的手指动作；若运动路径或趋势错误，则将用户的运动以虚线形式显示在空间中与正确路径做比对；若手势的力度错误，则将让错误力度的手指将闪烁红色，并在实物/虚拟模型上提示触发位置，以此引导用户完成交互操作。

图2为本发明实施例的一种基于增强现实环境下的物体交互信息提示系统的结构框图。

如图2所示，一种基于增强现实环境下的物体交互信息提示系统1包括可交互物体获取与判断模块11、标准交互手势演示模块12、交互操作获取与判断模块13以及修改交互操作指令获取模块14。本实施例中，基于增强现实环境下的物体交互信息提示系统1是基于本发明的基于增强现实环境下的物体交互信息提示方法得到的，在增强现实环境下对用户的交互操作进行提示，可应用于嵌入式设备。

可交互物体获取与判断模块11获取增强现实环境中的多个可交互物体，并依次判断各个可交互物体是否处于用户的视锥中。

标准交互手势演示模块12在可交互物体获取与判断模块判断为是时，演示可交互物体对应的标准交互手势。

交互操作获取与判断模块13获取用户对可交互物体进行的交互操作，并判断交互操作与标准交互手势是否相同。

修改交互操作指令获取模块14在交互操作获取与判断模块判断为否时，将交互操作与标准交互手势进行比对得到比对结果，根据该比对结果得到修改交互操作指令，从而使得用户按照修改交互操作指令进行正确的物体交互。

实施例作用与效果

根据本实施例提供的基于增强现实环境下的物体交互信息提示方法及系统，由于预先获取用户对可交互物体进行交互的过程中的交互动作、交互运动轨迹以及交互力度作为交互操作，然后判断交互操作与标准交互手势是否相同，进而在交互操作与标准交互手势不同的情况下，对交互操作与标准交互手势进行比对，从而得到修改交互操作指令，因此，不仅能够准确了解到用户手势是否出错，还能够准确提醒用户出错的位置，从而大大提高物体交互信息提示的效果。

由于在判断出可交互物体不处于用户的视锥中时，不进行对应的可交互物体的标准交互手势的演示，因此，能够有效节省显示功耗。

由于交互动作是通过手部的骨骼关节信息与手部姿势信息确定的，进而与标准动作进行判断，因此，提高了判断的准确率。

由于在交互动作、交互运动轨迹以及交互力度出现偏差时，都会有不同的修改交互操作指令显示，进而指导用户完成正确的交互操作，因此，可以实时动态显示用户的交互操作是否正确，并且有针对性地指示手势的动作、建议朝向和抓取的力度，从而提升用户的交互体验。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (5)

1.一种基于增强现实环境下的物体交互信息提示方法，在增强现实环境下对用户的交互操作进行提示，其特征在于，包括如下步骤：

步骤S1，获取所述增强现实环境中的多个可交互物体，并依次判断各个所述可交互物体是否处于所述用户的视锥中；

步骤S2，在所述步骤S1判断为是时，演示所述可交互物体对应的标准交互手势；

步骤S3，获取所述用户对所述可交互物体进行的交互操作，并判断所述交互操作与所述标准交互手势是否相同；

步骤S4，在所述步骤S3判断为否时，将所述交互操作与所述标准交互手势进行比对得到比对结果，根据该比对结果得到修改交互操作指令，从而使得所述用户按照所述修改交互操作指令进行正确的物体交互，

其中，所述标准交互手势包括标准动作、标准运动轨迹以及标准力度，

所述步骤S3中所述交互操作包括交互动作、交互运动轨迹以及交互力度。

2.根据权利要求1所述的基于增强现实环境下的物体交互信息提示方法，其特征在于：

其中，将所述步骤S4包括如下子步骤：

步骤S4-1，将所述交互动作与所述标准动作进行比对得到动作比对结果，当所述动作比对结果为不正确时，将所述标准动作线框化，将所述交互动作实体化，作为所述修改交互操作指令；

步骤S4-2，将所述交互运动轨迹与所述标准运动轨迹进行比对得到运动轨迹比对结果，当所述运动轨迹比对结果为不正确时，将所述标准运动轨迹以实线的方式呈现，将所述交互运动轨迹以虚线的方式呈现，作为所述修改交互操作指令；

步骤S4-3，将所述交互力度与所述标准力度进行比对得到力度比对结果，当所述力度比对结果为不正确时，将所述交互力度对应的手指通过颜色进行显示，作为所述修改交互操作指令。

3.根据权利要求1所述的基于增强现实环境下的物体交互信息提示方法，其特征在于：

其中，所述标准交互手势的演示为3D全息影像手势动画，

所述交互动作通过如下步骤获取：

步骤T1，获取所述交互操作中手部的骨骼关节信息以及手部姿势信息；

步骤T2，根据所述骨骼关节信息以及所述手部姿势信息确定所述交互动作。

4.根据权利要求1所述的基于增强现实环境下的物体交互信息提示方法，其特征在于：

其中，所述步骤S1中的所述视锥依据所述用户的眼珠转动数据以及头部旋转数据计算得到。

5.一种基于增强现实环境下的物体交互信息提示系统，在增强现实环境下对用户的交互操作进行提示，其特征在于，包括：

可交互物体获取与判断模块，获取所述增强现实环境中的多个可交互物体，并依次判断各个所述可交互物体是否处于所述用户的视锥中；

标准交互手势演示模块，在所述可交互物体获取与判断模块判断为是时，演示所述可交互物体对应的标准交互手势；

交互操作获取与判断模块，获取所述用户对所述可交互物体进行的交互操作，并判断所述交互操作与所述标准交互手势是否相同；以及

修改交互操作指令获取模块，在所述交互操作获取与判断模块判断为否时，将所述交互操作与所述标准交互手势进行比对得到比对结果，根据该比对结果得到修改交互操作指令，从而使得所述用户按照所述修改交互操作指令进行正确的物体交互，

其中，所述标准交互手势包括标准动作、标准运动轨迹以及标准力度，

所述交互操作获取与判断模块中所述交互操作包括交互动作、交互运动轨迹以及交互力度。

Images