CN107621883A - 一种基于手机终端的虚拟现实系统及人机交互方法 - Google Patents

Abstract

一种基于手机终端的虚拟现实系统及人机交互方法，通过配备有图像采集装置和显示装置的手机终端，完成对用户手指操作的捕捉并体现在手机终端的显示装置上，再利用固定装置将所述手机终端固定于用户眼前。这样的设计在利用手机终端实现VR功能的同时，能够解决现有手机终端实现VR功能中所遇到的人机交互不方便的问题。本发明无需外接手柄，也无需用户可以移动头部，直接根据对用户手指操作的捕捉即可实现人机交互。用户体验更佳，人机交互效率也得到进一步提升，方便快捷，相对于现有的人机交互操作手段，本发明还能够实现更为复杂、精密的操作。

Description

一种基于手机终端的虚拟现实系统及人机交互方法

技术领域

本发明涉及虚拟现实技术，尤其涉及一种基于手机终端的虚拟现实系统及该系统的人机交互方法。

背景技术

目前的虚拟现实眼镜(VR眼镜)，通常为专门设计的固定于用户头部的独立装置。为方便用户使用，目前逐渐产生了一种基于手机终端的VR眼镜。该VR眼镜将手机通过头戴式装置固定于用户眼睛的前端，使用触屏手机屏幕作为VR眼镜的显示屏，在手机中运行支持3D显示的软件或游戏。通过结合手机的GPS、陀螺仪等传感器，该VR眼镜能够得到一定的程度的虚拟现实体验。

但由于手机设置位置的关系，这类软件或游戏存在交互上的问题：触屏手机的交互操作都是在屏幕上完成的，而手机插入VR眼镜后，屏幕是放置在眼前的位置的，没有空间直接使用手来和屏幕产生交互。

目前，针对这种VR眼镜交互问题的解决方案主要有两种：一种是使用外接手柄，另一种则通过传感器根据头部移动完成相应操作。外接手柄的操作方式不再赘述，主要问题是需要购买额外的手柄，且设备携带不便。而第二种根据传感器对头部定位执行相应操作的方法，需要用户晃动头部，配合陀螺仪或加速度传感器，定位指针在屏幕中的位置，通过头部的在某一位置的长时间停留而触发点击当前屏幕位置的点击行为。这种交互方式不仅需要设施额外的延时时间才难确定具体操作，且长时间频繁操作后，会引起用户头部不适，用户体验很差。

因此，目前急需一种针对手机终端的虚拟现实系统及针对该系统的人机交互方法，无需外接设备，即可方便快捷地完成较为全面的交互操作。

发明内容

为了解决现有技术存在的不足，本发明的目的在于提供一种基于手机终端的虚拟现实系统及人机交互方法。

首先，为实现上述目的，提出一种基于手机终端的虚拟现实系统，包括配备有图像采集装置和显示装置的手机终端以及固定装置；

所述固定装置设有插接结构，所述手机终端的显示装置通过所述插接结构固定于用户眼前，所述图像采集装置由所述固定装置固定并对准环境区域。

进一步，上述的虚拟现实系统中，包括颜色区别于环境区域颜色的手套、指套或贴片。

再进一步，上述的虚拟现实系统中，所述手机终端还包括有方向校准设备，如陀螺仪；所述方向校准设备用于校准所述虚拟现实系统中显示界面的坐标。

其次，为实现上述目的，还提出一种应用于上述基于手机终端的虚拟现实系统的人机交互方法，步骤包括：

第一步，显示界面提示用户确认坐标中心点，采集显示界面中用户手指指向的中心点和边界的空域位置，根据所述空域位置校准所述显示界面坐标的中心点、边界以及用户手指空域位置与所述显示界面坐标之间的映射关系；

第二步，采集显示界面中用户手指空域位置，将采集的用户手指空域位置映射为显示界面的坐标并分别标记每个坐标的时间戳；

第三步，根据所述第二步中所述坐标的变化情况及时间戳，确定状态信息，根据所述状态信息以及坐标变化情况执行对应操作。

进一步，上述人机交互方法中，所述第一步还包括调整显示界面比例的步骤：

步骤a1，显示界面提示用户确认坐标中心点，采集显示界面中用户手指指向的中心点位置和边界的空域位置，根据所述空域位置校准显示界面坐标的中心点、边界；

步骤a2，若显示界面中用户手指指向的边界超出显示范围，则缩小所述显示界面的比例；若显示界面中用户手指指向的边界未达到显示范围的边缘，则放大所述显示界面的比例；

步骤a3，根据步骤a2中的比例，校准并确定用户手指空域位置与显示界面坐标之间的映射关系。

进一步，上述人机交互方法中，所述第一步中，具体通过如下步骤校准所述显示界面的边界：

步骤b1，采集显示界面中用户手指指向的边界作为基准，通过方向校准设备，根据所述基准确定用户手指指向的边界与所述显示界面的位置关系；

步骤b2，根据步骤a3中的比例以及步骤b1中所确定的基准，校准所述显示界面中其余各边界的位置。

进一步，上述人机交互方法中，第三步中所述状态信息包括：移动、屏幕内消失、屏幕外消失、悬停、拖拽或长按；

所述移动、屏幕内消失、屏幕外消失、悬停、拖拽或长按，6种状态信息的判断方法分别为：

若坐标超出所述显示界面的范围，则确定所述状态信息为屏幕外消失；

若相邻时间戳所对应的坐标由所述显示界面的范围内变为无法确定，则确定所述状态信息为屏幕内消失；

若相同坐标所对应的时间戳之间的间隔未达到第一时间阈值，且最新的时间戳所对应的坐标有变化，则确定所述状态信息为移动，删除该坐标以及该坐标所对应的时间戳；

若相同坐标所对应的时间戳之间的间隔达到第一时间阈值而未到达第二时间阈值，且最新的时间戳所对应的坐标有变化，则确定所述状态信息为拖拽；

若相同坐标所对应的时间戳之间的间隔时间达到第二阈值，且最新的时间戳所对应的坐标无变化，则确定所述状态信息为长按。

具体的，上述人机交互方法，第三步中所述状态信息与操作的对应关系为：

若所述状态信息为移动，则根据所述坐标的变化情况对执行光标移动操作；

若所述状态信息为屏幕外消失，则保持上一操作；

若所述状态信息为屏幕内消失，则再次判断上一次状态信息是否为拖拽，若是，则执行拖拽释放操作，并更新所述状态信息为悬停；否则，执行点击操作；

若所述状态信息为悬停，则不执行任何操作；

若所述状态信息为拖拽，则根据所述坐标的变化情况执行对显示界面内相应元素的移动操作；

若所述状态信息为长按，则执行界面菜单的调取操作。

进一步，上述人机交互方法中，所述用户手指空域位置具体为显示界面中用户手指所在像素区域的中心点。

有益效果

本发明，通过配备有图像采集装置和显示装置的手机终端，完成对用户手指操作的捕捉并体现在手机终端的显示装置上，再利用固定装置将所述手机终端固定于用户眼前。这样的设计在利用手机终端实现VR功能的同时，能够解决现有手机终端实现VR功能中所遇到的人机交互不方便的问题。本发明无需外接手柄，也无需用户可以移动头部，直接根据对用户手指操作的捕捉即可实现人机交互。用户体验更佳，人机交互效率也得到进一步提升，方便快捷，相对于现有的人机交互操作手段，本发明还能够实现更为复杂、精密的操作。

进一步，本发明还可通过增设颜色区别于环境区域颜色的手套、指套或贴片，进一步提高对用户手指操作进行的捕捉时的灵敏度和精度。可通过方向校准设备，如陀螺仪，结合采集显示界面中用户手指指向的边界与所述显示界面的位置关系，校准所述系统中显示界面中其余各边界的位置，从而校准所述虚拟现实系统中显示界面的坐标。

再进一步，本发明还可在校准所述虚拟现实系统中显示界面坐标的同时，根据用户的具体操作，调整所述显示界面的比例。可直接根据用户手指的操作信息(具体包括坐标的变化情况及时间戳)迅速确定状态信息，并依据所述状态信息以及坐标变化情况执行对应操作。操作更为简便，能够实现的操作也更多、更为复杂也更为精密，用户体验更佳。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的基于手机终端的虚拟现实系统框图；

图2为根据本发明的虚拟现实系统所对应的人机交互方法流程图；

图3为根据本发明的虚拟现实系统的显示界面坐标示校准过程意图；

图4为根据本发明的虚拟现实系统实现对显示界面缩小比例的示意图；

图5为根据本发明的虚拟现实系统实现对显示界面放大比例的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为根据本发明的基于手机终端的虚拟现实系统框图，包括以下基于手机终端的虚拟现实系统，包括配备有图像采集装置和显示装置的手机终端以及固定装置；

所述固定装置设有插接结构，所述手机终端的显示装置通过所述插接结构固定于用户眼前，所述图像采集装置由所述固定装置固定并对准环境区域。

进一步，上述的虚拟现实系统中，包括颜色区别于环境区域颜色(如，绿色)的手套、指套或贴片。

再进一步，上述的虚拟现实系统中，所述手机终端还包括有方向校准设备，如陀螺仪；所述方向校准设备用于校准所述虚拟现实系统中显示界面的坐标。

其次，为实现上述目的，还提出一种应用于上述基于手机终端的虚拟现实系统的人机交互方法，图2所示的根据本发明的虚拟现实系统所对应的人机交互方法流程图中，步骤包括：

第一步，显示界面提示用户确认坐标中心点，等待用户将手指移动到中心点位置，保持3秒不动，即确认；然后系统提示确定上边A’位置，等待用户将手指移动到上边边界的空域位置，根据所述空域位置校准所述显示界面坐标的中心点、边界以及用户手指空域位置与所述显示界面坐标之间的映射关系；具体的校准过程参见图3；

第二步，采集显示界面中用户手指空域位置，将采集的用户手指空域位置映射为显示界面的坐标并分别标记每个坐标的时间戳；

第三步，根据所述第二步中所述坐标的变化情况及时间戳，确定状态信息，根据所述状态信息以及坐标变化情况执行对应操作。

进一步，上述人机交互方法中，所述第一步还包括调整显示界面比例的步骤：

步骤a1，显示界面提示用户确认坐标中心点，采集显示界面中用户手指指向的中心点位置和边界的空域位置，根据所述空域位置校准显示界面坐标的中心点、边界；

步骤a2，若显示界面中用户手指指向的边界超出显示范围，则缩小所述显示界面的比例，如从1:1变为1:(1.1～2)；若显示界面中用户手指指向的边界未达到显示范围的边缘，则放大所述显示界面的比例,如，将比例从1:1调整至最大1:0.5；这里，放大或缩小所述显示界面的比例可理解为对图像采集装置焦距的调整，主要确定的是手指移动的范围与画面中移动的范围的比例关系；其调整过程参见图4；

步骤a3，根据步骤a2中的比例，校准并确定用户手指空域位置与显示界面坐标之间的映射关系。

进一步，上述人机交互方法中，所述第一步中，具体通过如下步骤校准所述显示界面的边界：

步骤b1，采集显示界面中用户手指指向的边界作为基准，通过陀螺仪或其他的方向校准设备，根据所述基准确定用户手指指向的边界与所述显示界面的位置关系；

步骤b2，因为摄像头等图像采集装置的取景范围是有限的，所以根据摄像头的取景范围和步骤a3中确定的比例，以及步骤b1中所确定的基准，即可得出画面中的边界，从而校准所述显示界面中其余各边界的位置。

具体至图3，首先通过图像识别技术，识别并获取图像采集装置获取的用户手指在空间域与显示界面坐标的对应关系，确定ABCD四边和A’,B’,C’,D’四边的边界位置，从而确定手指可活动的范围。用户进行操作时，系统需将采集的手指的运动轨迹映射到屏幕的坐标系中，以(x,y,t)形式进行记录，其中，t为时间戳。

进一步，上述人机交互方法中，第三步中所述状态信息包括：移动、屏幕内消失、屏幕外消失、悬停、拖拽或长按；

所述移动、屏幕内消失、屏幕外消失、悬停、拖拽或长按，6种状态信息的判断方法分别为：

若坐标超出所述显示界面的范围，则确定所述状态信息为屏幕外消失；

若相邻时间戳所对应的坐标由所述显示界面的范围内变为无法确定(记录的坐标和时间戳可对应为(0,0，t))，即检测到用户弯曲手指，即，在极短的时间内，没有采集到数据或坐标无法确定，则判断所述状态信息为屏幕内消失；

若相同坐标所对应的时间戳之间的间隔未达到第一时间阈值(＝2s)，且最新的时间戳所对应的坐标有变化，则确定所述状态信息为移动，删除该坐标以及该坐标所对应的时间戳；

若相同坐标所对应的时间戳之间的间隔达到第一时间阈值而未到达第二时间阈值(＝3s)，且最新的时间戳所对应的坐标有变化，则确定所述状态信息为拖拽；

若相同坐标所对应的时间戳之间的间隔时间达到第二阈值，且最新的时间戳所对应的坐标无变化，则确定所述状态信息为长按。

具体的，上述人机交互方法，在判断出来这几个状态信息所对应的事件后，系统会将事件抛出去交给使用这个系统的应用层去之行相应的操作。系统仅仅是作出判断，对事件定性。具体这个事件发生后应该做什么事情，则可由使用这个系统的软件进行开发和确定。一种可行的方案是，第三步中所述状态信息与操作的对应关系为：

若所述状态信息为移动，则根据所述坐标的变化情况对执行光标移动操作；

若所述状态信息为屏幕外消失，则保持上一操作；

若所述状态信息为屏幕内消失，则再次判断上一次状态信息是否为拖拽，若是，则执行拖拽释放操作，并更新所述状态信息为悬停；否则，执行点击操作；

若所述状态信息为悬停，则不执行任何操作；

若所述状态信息为拖拽，则根据所述坐标的变化情况执行对显示界面内相应元素的移动操作；

若所述状态信息为长按，则执行界面菜单的调取操作。

进一步，上述人机交互方法中，所述用户手指空域位置具体为显示界面中用户手指所在像素区域的中心点。

图4、图5为根据本发明的虚拟现实系统的显示界面比例调整过程的意图。

本发明技术方案的优点主要体现在：通过配备有图像采集装置和显示装置的手机终端，完成对用户手指操作的捕捉并体现在手机终端的显示装置上，再利用固定装置将所述手机终端固定于用户眼前。这样的设计在利用手机终端实现VR功能的同时，能够解决现有手机终端实现VR功能中所遇到的人机交互不方便的问题。本发明无需外接手柄，也无需用户可以移动头部，直接根据对用户手指操作的捕捉即可实现人机交互。用户体验更佳，人机交互效率也得到进一步提升，方便快捷，相对于现有的人机交互操作手段，本发明还能够实现更为复杂、精密的操作。

本方法中提出利用手机后置摄像头实时捕捉手指动作的方式利用了手机上现有的设备，硬件成本的增加几乎为零。本方法中提出的交互动作简单易学，通过手指弯曲和手指移动两个动作的简单组合，就可产生屏幕定位、点击、长按、拖拽等屏幕操作行为，且长时间操作也不易产生疲劳。提出的校准系统，能够有效解决手指位置与屏幕定位的映射关系和识别精度问题。运算系统，能够较为有效的减少误操作的可能。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于手机终端的虚拟现实系统，其特征在于，包括配备有图像采集装置和显示装置的手机终端以及固定装置；

所述固定装置设有插接结构，所述手机终端的显示装置通过所述插接结构固定于用户眼前，所述图像采集装置由所述固定装置固定并对准环境区域。

2.如权利要求1所述的基于手机终端的虚拟现实系统，其特征在于，

还包括颜色区别于环境区域颜色的手套、指套或贴片。

3.如权利要求1所述的基于手机终端的虚拟现实系统，其特征在于，

所述手机终端还包括有方向校准设备；

所述方向校准设备用于校准所述虚拟现实系统中显示界面的坐标。

4.一种应用于权利要求1所述基于手机终端的虚拟现实系统的人机交互方法，其特征在于，步骤包括：

第一步，显示界面提示用户确认坐标中心点，采集显示界面中用户手指指向的中心点和边界的空域位置，根据所述空域位置校准所述显示界面坐标的中心点、边界以及用户手指空域位置与所述显示界面坐标之间的映射关系；

第二步，采集显示界面中用户手指空域位置，将采集的用户手指空域位置映射为显示界面的坐标并分别标记每个坐标的时间戳；

第三步，根据所述第二步中所述坐标的变化情况及时间戳，确定状态信息，根据所述状态信息以及坐标变化情况执行对应操作。

5.如权利要求4所述的人机交互方法，其特征在于，所述第一步中，还包括调整显示界面比例的步骤：

步骤a1，显示界面提示用户确认坐标中心点，采集显示界面中用户手指指向的中心点位置和边界的空域位置，根据所述空域位置校准显示界面坐标的中心点、边界；

步骤a2，若显示界面中用户手指指向的边界超出显示范围，则缩小所述显示界面的比例；若显示界面中用户手指指向的边界未达到显示范围的边缘，则放大所述显示界面的比例；

步骤a3，根据步骤a2中的比例，校准并确定用户手指空域位置与显示界面坐标之间的映射关系。

6.如权利要求5所述的人机交互方法，其特征在于，所述第一步中，具体通过如下步骤校准所述显示界面的边界：

步骤b1，采集显示界面中用户手指指向的边界作为基准，通过方向校准设备，根据所述基准确定用户手指指向的边界与所述显示界面的位置关系；

步骤b2，根据步骤a3中的比例以及步骤b1中所确定的基准，校准所述显示界面中其余各边界的位置。

7.如权利要求4所述的人机交互方法，其特征在于，第三步中所述状态信息包括：移动、屏幕内消失、屏幕外消失、悬停、拖拽或长按；

所述移动、屏幕内消失、屏幕外消失、悬停、拖拽或长按，6种状态信息的判断方法分别为：

若坐标超出所述显示界面的范围，则确定所述状态信息为屏幕外消失；

若相邻时间戳所对应的坐标由所述显示界面的范围内变为无法确定，则确定所述状态信息为屏幕内消失；

若相同坐标所对应的时间戳之间的间隔未达到第一时间阈值，且最新的时间戳所对应的坐标有变化，则确定所述状态信息为移动，删除该坐标以及该坐标所对应的时间戳；

若相同坐标所对应的时间戳之间的间隔达到第一时间阈值而未到达第二时间阈值，且最新的时间戳所对应的坐标有变化，则确定所述状态信息为拖拽；

若相同坐标所对应的时间戳之间的间隔时间达到第二阈值，且最新的时间戳所对应的坐标无变化，则确定所述状态信息为长按。

8.如权利要求7所述的人机交互方法，其特征在于，第三步中所述状态信息与操作的对应关系为：

若所述状态信息为移动，则根据所述坐标的变化情况对执行光标移动操作；

若所述状态信息为屏幕外消失，则保持上一操作；

若所述状态信息为屏幕内消失，则再次判断上一次状态信息是否为拖拽，若是，则执行拖拽释放操作，并更新所述状态信息为悬停；

否则，执行点击操作；

若所述状态信息为悬停，则不执行任何操作；

若所述状态信息为拖拽，则根据所述坐标的变化情况执行对显示界面内相应元素的移动操作；

若所述状态信息为长按，则执行界面菜单的调取操作。

9.如权利要求4所述的人机交互方法，其特征在于，所述用户手指空域位置具体为显示界面中用户手指所在像素区域的中心点。