CN106066689B - 基于ar或vr系统的人机交互方法和装置 - Google Patents

Abstract

本发明实施例公开了一种基于AR或VR系统的人机交互装置，包括移动终端，所述移动终端包括显示模块、触摸控制模块和数据处理模块，所述显示模块与所述触摸控制模块分别与所述数据处理模块连接，所述触摸控制模块设于所述显示模块表面，其中，所述触摸控制模块包括触摸面和设于所述触摸面上的指点杆。本发明实施例提供的基于AR或VR系统的人机交互方法和装置通过触摸控制模块的触摸面和指点杆接收输入的受力信息的大小来确定光标在三维环境中的视觉深度的位置，通过受力信息的方向来确定光标在该深觉深度所在画面的位置，操作简单，大幅降低了设备成本和计算机系统的计算量，提高虚拟现实、增强现实的人机交互体验。

Description

基于AR或VR系统的人机交互方法和装置

技术领域

本发明涉及一种人机交互方法和装置，尤其是一种基于AR或VR技术中的人机交互方法和装置。

背景技术

虚拟现实(virtual reality)，简称VR技术，也称灵境技术或人工环境，是利用电脑模拟产生一个三度空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。增强现实(Augmented Reality，简称AR)，是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

一般情况下，上述的两种技术往往以头戴式显示系统的形式出现。当用户移动或者控制操控发生时，计算机场景将进行实时的响应，以便使用户获得真实的临场感。这两种技术涉及了计算机图形学、图像处理、人工智能、光学、集成电路、传感器技术等技术，是一种技术含量较高的计算机辅助生成的显示技术。这种显示技术的影像往往是一种立体影像，即是3D影像。

目前，比较主流的虚拟现实和增强现实人机交互方式，主要基于手势识别和跟踪、手套、手柄、玩具枪等等。与传统的人机交互方式相比，虚拟现实技术和增强现实技术需要一种全新的人机交互方式。

发明内容

本发明的目的在于提供一种基于AR或VR系统的人机交互方法和装置，旨在解决改进现有的人机交互方式，提升AR或VR系统的交互体验。

为了解决上述问题，本发明实施例首先提供了一种基于AR或VR系统的人机交互装置，包括移动终端，所述移动终端包括显示模块、触摸控制模块和数据处理模块，所述显示模块与所述触摸控制模块分别与所述数据处理模块连接，所述触摸控制模块设于所述AR或者VR系统的外表面，其中，所述触摸控制模块包括触摸面和设于所述触摸面上的指点杆。

根据本发明实施例提供的基于AR或VR系统的人机交互装置，所述触摸面为包括基板，所述基板上设有电路阵列，或者，所述触摸面为表面声波式触摸屏、声学脉冲识别式触摸屏术、电容式触摸屏、或者是电阻式触摸屏中的一种或多种组合。

根据本发明实施例提供的基于AR或VR系统的人机交互装置，所述指点杆的底部设有若干与所述指点杆连接的陶瓷片。

根据本发明实施例提供的基于AR或VR系统的人机交互装置，所述指点杆的两侧设有第一按键和第二按键，所述第一按键和第二按键的之间还设有锁定按键。

根据本发明实施例提供的基于AR或VR系统的人机交互装置，所述触摸控制模块设于所述移动终端的左右侧面或者顶面。

此外，本发明实施例还提供了一种基于AR或VR系统的人机交互方法，应用在移动终端上，所述移动终端包括触摸控制模块，所述触摸控制模块包括触摸面和指点杆，包括：

检测所述触摸面和所述指点杆输入的受力信息；

根据受力信息的在平行于所述触摸面并且相互垂直的第一分量和第二分量；以及获取所述受力信息在垂直所述触摸面方向的第三分量；

根据所述第三分量设置光标在三维环境中的视觉深度，以及根据所述第一分量和第二分量设置所述光标在该视觉深度下的位置。

根据本发明实施例提供的基于AR或VR系统的人机交互方法，所述第三分量为所述受力信息的大小，所述第一分量和第二分量为所述受力信息的方向。

根据本发明实施例提供的基于AR或VR系统的人机交互方法，还包括：

根据所述第一分量和第二分量设置所述光标在该视觉深度下的位移动方向。

根据本发明实施例提供的基于AR或VR系统的人机交互方法，所述根据所述第三分量设置光标在三维环境中的视觉深度，光标在三维环境中的视觉深度，可以通过控制“视差图像对”的视差来进行控制。以及根据所述第一分量和第二分量设置所述光标在该视觉深度下的位置的步骤包括：

根据所述第三分量持续的时间提高所述光标在所述三维环境中的视觉深度的移动速度，以及根据所述第一分量和第二分量持续的时间提高所述光标在该视觉深度下的移动速度。

根据本发明实施例提供的基于AR或VR系统的人机交互方法，所述根据所述第三分量设置光标在三维环境中的视觉深度，以及根据所述第一分量和第二分量设置所述光标在该视觉深度下的位置的步骤包括：

根据所述第三分量的大小设置所述光标在所述三维环境中的视觉深度的移动速度，以及根据所述第一分量和第二分量的大小提高所述光标在该视觉深度下的移动速度。

相较于现有技术，本发明实施例提供的基于AR或VR系统的人机交互方法和装置通过触摸控制模块的触摸面和指点杆接收输入的受力信息的大小来确定光标在三维环境中的视觉深度的位置，通过受力信息的方向来确定光标在该深觉深度所在画面的位置，操作简单，而且不需要其他辅助设备以及判断手势等计算，大幅降低了设备成本和计算机系统的计算量，提高虚拟现实、增强现实的人机交互体验。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：

图1是本发明实施例提供的基于AR或VR系统的人机交互装置一实施方式的结构示意图；

图2是本发明实施例提供的基于AR或VR系统的人机交互装置一实施方式中触摸控制模块在移动终端上的示意图；

图3是本发明实施例提供的基于AR或VR系统的人机交互装置另一实施方式中触摸控制模块在移动终端上的示意图；

图4是本发明实施例提供的基于AR或VR系统的人机交互装置一实施例中触摸控制模块的结构示意图；

图5是本发明实施例提供的基于AR或VR系统的人机交互装置另一实施例中触摸控制模块的结构示意图；

图6是本发明实施例提供的基于AR或VR系统的人机交互方法一实施例的流程图；

图中：

100：移动终端；110：显示模块；

120：数据处理模块；130：触摸控制模块；

131：触摸面；132：指点杆。

具体实施方式

本发明实施例提供的一种基于AR或VR系统的人机交互方法和装置通过触摸控制模块的触摸面和指点杆接收输入的受力信息的大小来确定光标在三维环境中的视觉深度的位置，通过受力信息的方向来确定光标在该深觉深度所在画面的位置，提供了一种应用在虚拟现实、增强现实系统中的新型人机交互方式。

请参阅图1，图1是本发明实施例提供的基于AR或VR系统的人机交互装置一实施方式的结构示意图。图1示出的基于AR或VR系统的人机交互装置包括移动终端100，这种移动终端100是以一种头戴式显示系统的形式实现。其中，移动终端100包括显示模块110、触摸控制模块130和数据处理模块120。

显示模块110与数据处理模块120连接，用于生成计算机三维环境，并通过体显示或者视差式立体显示的方式，使用户感受到立体影像。体显示可以在空间中生成体像素，这些体像素可以在空间中产生、吸收或者散射光线，使得用户可以在不同的侧面观看到物体不同侧面的图像信息。视差式立体显示可以通过让双眼分别接收具有视差的左右眼图像，从而让人感知到物体空间的三维信息。如果这种显示模块110是虚拟现实显示模块110，则人眼可以看到纯粹的计算机图形。如果这种显示模块110是增强现实显示模块，则人眼可以看到计算机图形叠加在现实场景的视觉路径中。

数据处理模块120用于在接收触摸控制模块130发送的信息后，将操作数据反馈给显示模块110，从而调整图像对的视差信息，或者重新渲染计算机图形。

触摸控制模块130与数据处理模块120连接，设于AR或VR系统的外表面。在一些实施方式中，触摸控制模块130可以集成在移动终端100表面。例如，请参阅图2，图2是本发明实施例提供的基于AR或AR技术的人机交互装置一实施方式中触摸控制模块130在移动终端100上的示意图。图2示出的实施方式中，触摸控制模块130设于移动终端100的左侧面或者右侧面，例如可以设置在移动终端100的左侧面或者移动终端100的右侧面。此外，还可以参阅图3，图3是本发明实施例提供的基于AR或AR技术的人机交互装置另一实施方式中触摸控制模块130在移动终端上的示意图。图3示出的实施方式中，触摸控制模块130设于移动终端100的顶面。在触摸控制模块130接收到当用户以不同的压力施加在触摸控制模块130的情况下，检测用户的触摸位置和压力信息，根据触摸位置和压力信息，将触摸信息转换成为三维的触点坐标，再传送给数据处理模块120，使得用于指示操作位置的光标(Cursor)可以出现在不同的视觉深度，从而实现对于不同深度的立体图像进行操作。在本申请中，光标是指计算机系统生成的指示图形，也被称为鼠标指针。

请参阅图4，图4是本发明实施例提供的基于AR或AR技术的人机交互装置一实施例中触摸控制模块130的结构示意图。图4示出的触摸控制模块130包括2个子模块：触摸面131和指点杆132(Track stick or track stick)，其中，指点杆132设于触摸面131上，并且，指点杆132可以在触摸面131中的任意位置。

请参阅图5，图5是本发明实施例提供的基于AR或AR技术的人机交互装置另一实施例中触摸控制模块130的结构示意图。图5示出的触摸控制模块130包括触摸面131和指点杆132，指点杆132设于触摸面131上。

具体而言，触摸面131为触摸屏(Touch screen)或者触摸板(Touch pad)，例如可以是包括基板，基板上设有包括行和列的电路阵列，通过电容传感的检测原理，测量手指的运动估计，从而判断手指的动作和运动方向，并将这些动作信息反映在光标的运动状态上。或者，触摸面131为表面声波式触摸屏、声学脉冲识别式触摸屏术、电容式触摸屏、或者是电阻式触摸屏中的一种或多种组合。触摸屏或者触摸板可以感知输入受力信息(例如手指力度)，受力信息是一个矢量，包含了运动状态的三维信息。通过判断受力信息在垂直触摸面131的平面的受力信息的大小，从而确定光标在视觉深度的位置，即Z方向。进一步分析，可以获得光标在Z方向的运动速度。通过判断受力信息在平行触摸面131的平面的受力信息，从而确定光标在垂直Z方向的平面的运动信息。根据力度的大小，可以决定光标所在的视觉深度，即在Z方向的位置。根据力度的方向，来决定光标在XY平面的位置和运动方向。

此外，指点杆132是一种定点设备，通常，指点杆132下部是陶瓷板。当外力作用在指点杆132上时，其底部的陶瓷板就会产生细微的弯曲。根据陶瓷板的弯曲程度，其电阻值随之发生变化，因此产生不同的电信号。通过分析电信号就可以判断光标的移动方向和移动速度。当外力施加在指点杆132上时，可以感受力度的大小和方向，从而判断光标不同的移动方向和移动速度。外力在垂直触摸板上有一个分量。根据这个分量的大小，来决定光标所在视觉深度，即在Z方向的位置。外力在平行触摸板上有另外两个互相垂直的分量。根据这两个分量，来决定光标在XY平面的位置和运动方向。其中，陶瓷板或者指点杆132，当仅仅只是轻轻的施加一点力量，光标只会移动一个较小的单位。如果继续施加力量，则光标就会加速移动。如果瞬间施加较大的力量，则指针就会迅速移动到目标位置。而且，在一些实施方式中，指点杆132还可以实现一种“负惯性(Negative inertia)”的技术。当指点杆132移动到想要停留的地方，就会自动往回缩一些单位。

此外，在一些实施方式中，指点杆132的两侧设有第一按键和第二按键，第一按键和第二按键的之间还设有锁定按键。例如，在指点杆132的左侧有一个鼠标左键(即第一按键)，在指点杆132的右侧有一个鼠标右键(即第二按键)，其中，第一按键和第二按键可以发挥类似传统鼠标左键和右键的功能。此外，触摸控制模块130还可以包括一个锁定按键。只要锁定按键被点击或者触发，就可以锁定光标所在的视觉深度。然后指点杆132和触摸板的操作，就会被限定在XY平面中。因此，通过点击锁定按键，锁定或者解除锁定光标所在的视觉深度。锁定光标所在的视觉深度后，利用指点杆132和触摸板的操作，光标就会被限定在XY平面中。而且，在一些实施方式中，触摸控制模块可以从移动终端被拆卸下来，通过无线的方式连接移动终端，从而连接数据处理模块，实现对移动终端的控制。

请参阅图6，图6是本发明实施例提供的基于AR或AR技术的人机交互方法一实施例的流程图。图6示出的人机交互方法可以应用在图1-4示出的实施方式涉及的移动终端100上，该移动终端100包括触摸控制模块130，触摸控制模块130包括触摸面131和指点杆132。其中，图6示出的人机交互方法包括步骤S601-S603。

具体而言，在步骤S601中，检测触摸面131和指点杆132输入的受力信息。

在步骤S602中，根据受力信息的在平行于触摸面131并且相互垂直的第一分量和第二分量；以及获取受力信息在垂直触摸面131方向的第三分量。

在步骤S603中，根据第三分量设置光标在三维环境中的视觉深度，以及根据第一分量和第二分量设置光标在该视觉深度下的位置。此外，光标在三维环境中的视觉深度，也可以通过控制“视差图像对”的视差来进行控制。

在一些实施方式中，第三分量为受力信息的大小，第一分量和第二分量为受力信息的方向。此外，还可以根据第一分量和第二分量设置光标在该视觉深度下的位移动方向。

具体在步骤S603中，可以根据第三分量持续的时间提高光标在三维环境中的视觉深度的移动速度，以及根据第一分量和第二分量持续的时间提高光标在该视觉深度下的移动速度。

此外，在步骤S603中，还可以包括：根据第三分量的大小设置光标在三维环境中的视觉深度的移动速度，以及根据第一分量和第二分量的大小提高光标在该视觉深度下的移动速度。

从上述实施方式可以看出，本发明实施例提供的基于AR或VR系统的人机交互方法和装置通过触摸控制模块130的触摸面131和指点杆132接收输入的受力信息的大小来确定光标在三维环境中的视觉深度的位置，通过受力信息的方向来确定光标在该深觉深度所在画面的位置，操作简单，而且不需要其他辅助设备以及判断手势等计算，大幅降低了设备成本和计算机系统的计算量，提高虚拟现实、增强现实的人机交互体验。

从上述实施方式可以看出，本发明实施例提供的人机交互方法和装置利用虚拟现实和增强现实移动终端100来创造三维影像和环境。当需要对移动终端100中的三维影像和环境进行交互时，是通过一个光标进行指示。通过在虚拟现实移动终端100或者增强现实移动终端100的侧边或者顶部，增加触摸控制模块130、指点杆132等装置，进而感受人体压力变化，实现光标在三维控制。在对光标进行控制的过程中，可以通过操作，将光标锁定在一个固定的视觉深度，即Z方向的坐标保持不变。使得光标仅仅在XY屏幕中进行移动。通过这种人机交互装置和方法，可以提高虚拟现实、增强现实的人机交互体验。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种基于AR或VR系统的人机交互装置，其特征在于，包括移动终端，所述移动终端包括显示模块、触摸控制模块和数据处理模块，所述显示模块与所述触摸控制模块分别与所述数据处理模块连接，所述触摸控制模块设于所述AR或者VR系统的外表面，其中，所述触摸控制模块包括触摸面和设于所述触摸面上的指点杆；该人机交互装置所采用的人机交互方法包括：

检测所述触摸面和所述指点杆输入的受力信息；

根据受力信息的在平行于所述触摸面并且相互垂直的第一分量和第二分量；以及获取所述受力信息在垂直所述触摸面方向的第三分量；

根据所述第三分量设置光标在三维环境中的视觉深度，以及根据所述第一分量和第二分量设置所述光标在该视觉深度下的位置。

2.如权利要求1所述的基于AR或VR系统的人机交互装置，其特征在于，所述触摸面为包括基板，所述基板上设有电路阵列，或者，所述触摸面为表面声波式触摸屏、声学脉冲识别式触摸屏术、电容式触摸屏、或者是电阻式触摸屏中的一种或多种组合。

3.如权利要求1所述的基于AR或VR系统的人机交互装置，其特征在于，所述指点杆的底部设有若干与所述指点杆连接的陶瓷片。

4.如权利要求1所述的基于AR或VR系统的人机交互装置，其特征在于，所述指点杆的两侧设有第一按键和第二按键，所述第一按键和第二按键的之间还设有锁定按键。

5.如权利要求1-4任一项所述的基于AR或VR系统的人机交互装置，其特征在于：所述触摸控制模块设于所述移动终端的左右侧面或者顶面。

6.一种基于AR或VR系统的人机交互方法，应用在移动终端上，所述移动终端包括触摸控制模块，所述触摸控制模块包括触摸面和指点杆，其特征在于，该人机交互方法包括：

检测所述触摸面和所述指点杆输入的受力信息；

根据受力信息的在平行于所述触摸面并且相互垂直的第一分量和第二分量；以及获取所述受力信息在垂直所述触摸面方向的第三分量；

根据所述第三分量设置光标在三维环境中的视觉深度，以及根据所述第一分量和第二分量设置所述光标在该视觉深度下的位置。

7.如权利要求6所述的基于AR或VR系统的人机交互方法，其特征在于：所述第三分量为所述受力信息的大小，所述第一分量和第二分量为所述受力信息的方向。

8.如权利要求7所述的基于AR或VR系统的人机交互方法，其特征在于，还包括：

根据所述第一分量和第二分量设置所述光标在该视觉深度下的位移动方向。

9.如权利要求8所述的基于AR或VR系统的人机交互方法，其特征在于：所述根据所述第三分量设置光标在三维环境中的视觉深度，以及根据所述第一分量和第二分量设置所述光标在该视觉深度下的位置的步骤包括：

根据所述第三分量持续的时间提高所述光标在所述三维环境中的视觉深度的移动速度，以及根据所述第一分量和第二分量持续的时间提高所述光标在该视觉深度下的移动速度。

10.如权利要求9所述的基于AR或VR系统的人机交互方法，其特征在于：所述根据所述第三分量设置光标在三维环境中的视觉深度，以及根据所述第一分量和第二分量设置所述光标在该视觉深度下的位置的步骤包括：

根据所述第三分量的大小设置所述光标在所述三维环境中的视觉深度的移动速度，以及根据所述第一分量和第二分量的大小提高所述光标在该视觉深度下的移动速度。