CN110069101A - 一种穿戴式计算设备和一种人机交互方法 - Google Patents

Abstract

本发明公开一种穿戴式计算设备和一种人机交互方法。所述穿戴式计算设备包括：支架、头戴式显示器、眼球拍摄摄像头、触摸按键戒指和服务器；所述头戴式显示器和所述服务器设置于所述支架上，所述眼球拍摄摄像头设置于所述头戴式显示器上，所述服务器分别与所述头戴式显示器、所述眼球拍摄摄像头连接，所述服务器与所述触摸按键戒指无线连接，所述眼球拍摄摄像头为两个。本发明使用户可以更加自然、准确地与头戴式显示器进行交互，提高了操作效率。

Description

一种穿戴式计算设备和一种人机交互方法

技术领域

本发明涉及人机交互领域，特别是涉及一种穿戴式计算设备和一种人机交互方法。

背景技术

传统的人机交互输入设备(鼠标、键盘帽和触屏)主要是为台式机、笔记本和智能手机而设计，因此不适合用于新生的穿戴式计算设备。目前，穿戴式计算设备的显示部分主要是头戴式显示器，包含但不限于AR、VR和MR眼镜或头显，采用的人机交互方式包括：

1、语音交互，主要是通过麦克风采集人的语音信息，作为操作指令信号输入到穿戴式计算设备。语音交互的优点是不需要像键鼠和触屏那样依赖人的手，可以解放双手而实现人机交互，但缺点也很明显。(1)稳定性低，在嘈杂环境下，语音识别率严重降低，识别错误较多，影响用户交互体验；(2)有些不宜说话的场合(例如会议中)无法使用语音交互；(3)过于复杂的交互信息无法通过语音完成，例如绘图填表、长文本输入等。

2、肢体交互，主要是通过摄像头对人的四肢、尤其是手臂进行肢体动作捕捉，作为操作指令信号输入到穿戴式计算设备。肢体交互的优点是适合进行复杂信息交互，例如图表交互、长文本输入，但缺点是：(1)有些严肃的场合(例如会议中)不适合用手在空中挥舞；(2)需要占用人的一到两只手才能完成交互过程，并没有比使用手机更解放双手。

3、手势交互，主要是通过头戴式显示器侧边的滑动触摸板捕捉单指或多指运动状态，作为操作指令信号输入到穿戴式计算设备。手势交互的优点是类似手机触屏操作，普通人较容易适应，缺点是：(1)不够直观，触屏交互是所见可立即触得，而手势交互如果要找准眼睛正在看的屏幕坐标，需要手眼配合，摸索一段时间才能完成；(2)同样地，手势交互也要占用人的一只手才能进行。

4、脑波交互，主要是通过脑波传感器采集人的脑波信号，作为操作指令信号输入到穿戴式计算设备。脑波交互，目前还处于科研阶段，误码率高、相应速率低、稳定性差，不适合用于工程实践中。

以上人机交互方式都因为各自的缺陷，无论单独使用还是组合使用，都无法使人自然、准确地与头戴式显示器进行交互，因而也就无法高效地操作穿戴式计算设备。

发明内容

本发明的目的是提供一种穿戴式计算设备和一种人机交互方法，使用户可以更加自然、准确地与头戴式显示器进行交互，提高了操作效率。

为实现上述目的，本发明提供了如下方案：

一种穿戴式计算设备，所述穿戴式计算设备包括：支架、头戴式显示器、眼球拍摄摄像头、触摸按键戒指和服务器；所述头戴式显示器和所述服务器设置于所述支架上，所述眼球拍摄摄像头设置于所述头戴式显示器上，所述服务器分别与所述头戴式显示器、所述眼球拍摄摄像头连接，所述服务器与所述触摸按键戒指无线连接，所述眼球拍摄摄像头为两个。

可选的，所述触摸按键戒指包括：微处理器、触摸按键、传感器和无线通讯模块，所述微处理器通过所述无线通讯模块与所述服务器连接，所述微处理器通过所述传感器与所述触摸按键连接。

可选的，所述无线通讯模块为蓝牙、WiFi、4G模块和5G模块中的至少一种。

可选的，所述头戴式显示器为插有手机的VR盒子、VR一体机、AR投影头显、MR眼镜和抬头显示器中的至少一种。

可选的，所述穿戴式计算设备还包括：音频输入设备，所述音频输入设备与所述服务器连接。

可选的，所述穿戴式计算设备还包括：音频输出设备，所述音频输出设备与所述服务器连接。

可选的，所述音频输入设备为麦克风。

可选的，所述音频输出设备为音响和耳机中的至少一种。

可选的，所述服务器包括：CPU和存储器，所述CPU与所述存储器连接，所述CPU包括运算器和控制器，所述存储器包括内存储器和外存储器。

一种人机交互方法，所述人机交互方法包括：

获取用户的眼瞳坐标；

根据所述眼瞳坐标确定屏幕上人眼注视点对应的应用程序的图标；

获取用户对触摸按键的操作；

获取用户的眼瞳坐标的变化趋势；

根据所述操作和所述变化趋势控制所述图标对应的应用程序。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的一种穿戴式计算设备和一种人机交互方法，通过操作触摸按键戒指，人不需要说话、挥动四肢就可以对计算设备输入多种操作指令，而且可以输入的操作指令数量远多于语音交互和肢体交互所能提供的数量，用户可以更加自然、准确地与头戴式显示器进行交互，提高了操作效率。

相对于手势交互的方式，本发明所述的交互方式可以解放双手，使得人不必一直抬着手臂在头戴式显示器侧边的触摸板上进行操作。

相对于脑波交互，本发明所述的方式误码率更低、相应速度更快、稳定性更好，更适合用于工程实践。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明穿戴式计算设备的结构示意图一；

图2为本发明穿戴式计算设备的结构示意图二；

图3为本发明服务器的硬件结构示意图；

图4为本发明触摸按键戒指4的电路结构示意图；

图5为本发明的穿戴式计算设备的结构总图；

图6为本发明人机交互方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种穿戴式计算设备和一种人机交互方法，所述穿戴式计算设备包括：支架、头戴式显示器、眼球拍摄摄像头、触摸按键戒指和服务器；所述头戴式显示器和所述服务器设置于所述支架上，所述眼球拍摄摄像头设置于所述头戴式显示器上，所述服务器分别与所述头戴式显示器、所述眼球拍摄摄像头连接，所述服务器与所述触摸按键戒指无线连接，所述眼球拍摄摄像头为两个。本发明使用户可以更加自然、准确地与头戴式显示器进行交互，提高了操作效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供了一种穿戴式计算设备，图1为本发明穿戴式计算设备的结构示意图一；图2为本发明穿戴式计算设备的结构示意图二。如图1和图2所示，所述穿戴式计算设备包括：

支架1、头戴式显示器2、眼球拍摄摄像头3、触摸按键戒指4和服务器(图1和图2中未示出)；眼球拍摄摄像头3为两个。头戴式显示器2和服务器设置于支架1上，眼球拍摄摄像头3设置于头戴式显示器2上，服务器分别与头戴式显示器2、眼球拍摄摄像头3连接，服务器与触摸按键戒指4无线连接。

图3为本发明服务器的硬件结构示意图，如图3所示，服务器包括：CPU和存储器，所述CPU与所述存储器连接，所述CPU包括运算器9和控制器10，所述存储器包括内存储器7和外存储器8。另外，服务器还包括无线通讯模块、USB插口、SIM卡插口、SD卡插口、电池、电源插口、供电电源线、开关按键、重启按键、外壳等常见的计算设备接口和配件。这些接口和配件主要是用于增强设备的功能。

头戴式显示器2的主要作用是：将屏幕画面呈现在人的眼前。其包括但不限于插有手机的虚拟现实(Virtual Reality，VR)盒子、VR一体机、增强现实(Augmented Reality，AR)投影头显、混合现实(Mixed Reality，MR)眼镜、抬头显示器以及这些方式组合而成的可以戴在头上的显示设备。

眼球拍摄摄像头3的主要作用是：将人眼视线在屏幕上的注视点位置提取出来成为坐标信号，类似于鼠标指针输入给计算机的位置坐标。其工作原理是：眼球拍摄摄像头对准人眼部位，将实时拍摄的眼球图像发送给服务器进行图像处理，服务器的芯片是高通骁龙425(64位四核)。

触摸按键戒指4上设置有触摸按键5和指环6，还包括：微处理器、传感器和无线通讯模块，所述微处理器通过所述无线通讯模块与所述服务器连接，所述微处理器通过所述传感器与触摸按键5连接。传感器包括移动检测模块和按键检测模块。

图4为本发明触摸按键戒指4的电路结构示意图，如图4所示，触摸按键戒指4的电路结构包括：微处理器41、移动检测模块42、按键检测模块43、无线通讯模块44和电池45。微处理器41通过移动检测模块42和按键检测模块43与触摸按键5连接，微处理器41通过无线通讯模块44与服务器连接。无线通讯模块44包括但不限于蓝牙、WiFi、4G模块和5G模块。电池45为微处理器41供电。

触摸按键戒指4的主要作用是：通过指环6穿戴在手指上，人可以用手指操控触摸按键5，对穿戴式计算设备发出操作指令信号，类似于鼠标左键、右键和滚轮的作用。其工作原理是：触摸按键将实时的“按键按下”信号、“按键抬起”信号和“手指移动方向”信号发送给微处理器41，并通过无线通讯模块44发送给服务器。

图5为本发明的穿戴式计算设备的结构总图。如图5所示，所述穿戴式计算设备还包括：音频输入设备，所述音频输入设备与所述服务器连接。所述音频输入设备包括单不限于麦克风。所述穿戴式计算设备还包括：音频输出设备，所述音频输出设备与所述服务器连接。所述音频输出设备包括但不限于音响和耳机。

通过显示和输入设备的组合使用，人可以像通过鼠标操作电脑一样操作穿戴式计算设备，交互自然、准确并且高效。

由于人在操作穿戴式计算设备时，总会自然地先看到并注视头戴式显示器里的交互界面所呈现的内容或图标，再在脑中决策是观看画面内容还是给予交互指令，因此如果人不使用触摸按键戒指，那么就表示穿戴式计算设备不需要获得、执行任何操作，而如果人使用了触摸按键戒指，那么穿戴式计算设备就会获得对应的操作指令输入信号，为人完成打开、右击、拖动、翻页、翻转等行为。本发明提供的一种穿戴式计算设备，通过操作触摸按键戒指，人不需要说话、挥动四肢就可以对计算设备输入多种操作指令，而且可以输入的操作指令数量远多于语音交互和肢体交互所能提供的数量。相对于手势交互的方式，本发明所述的交互方式可以解放双手，使得人不必一直抬着手臂在头戴式显示器侧边的触摸板上进行操作。而相对于脑波交互，本发明所述的方式误码率更低、相应速度更快、稳定性更好，更适合用于工程实践。

本发明还提供给了一种人机交互方法，图6为本发明人机交互方法的流程图，如图6所示，所述人机交互方法包括：

步骤601：获取用户的眼瞳坐标。

步骤602：根据所述眼瞳坐标确定屏幕上人眼注视点对应的应用程序的图标。

步骤603：获取用户对触摸按键的操作。

步骤604：获取用户的眼瞳坐标的变化趋势。

步骤605：根据所述操作和所述变化趋势控制所述图标对应的应用程序。

首先，穿戴式计算设备开机后，头戴式显示器2会在人眼前呈现桌面的画面。桌面上陈列若干应用和按钮的图标，此时服务器会根据眼球拍摄摄像头3拍摄的眼球图像，实时分析人眼瞳孔坐标，解析视线角度，并计算人眼注视点在屏幕上的坐标，确定用户要进行操作的图标。然后根据获取的触摸按键戒指4的操作信号，完成用户操作意图判断，根据用户操作意图判断对头戴式显示器2上的图标进行操作。

其中，触摸按键戒指4的操作信号主要包括三种：按键按下、按键抬起和手指移动方向，服务器根据这三种信号完成用户操作意图判断。

例如：

(1)若人眼注视一个图标，并在戒指上单击一次触摸按键5，即发出“按键按下”信号后迅速发出“按键抬起”信号，则可像鼠标左键双击一样激活该应用或按钮。

(2)若人眼注视一个图标，并在戒指上长按触摸按键5，即发出“按键按下”信号后延迟一段时间再发出“按键抬起”信号，则可像鼠标右键单击一样打开该应用或按钮的额外菜单。

(3)若人眼注视一个图标，并在戒指上按下触摸按键5、并移动注视点，即发出“按键按下”信号、同时移动注视坐标，则可像鼠标左键拖拽一样重新布置该图标的桌面位置。

(4)若人在戒指上上下滑动或滚动触摸按键5，即发出“手指移动方向”信号，则可像鼠标滚轮一样上下翻动画面。

(5)若人在戒指上按下触摸按键5、并上下左右滑动或滚动触摸按键，即发出“按键按下”信号、再发出“手指移动方向”信号，则可像鼠标滚轮被按下、并前后左右移动鼠标时一样，对屏幕内的3D模型进行翻转。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种穿戴式计算设备，其特征在于，所述穿戴式计算设备包括：支架、头戴式显示器、眼球拍摄摄像头、触摸按键戒指和服务器；所述头戴式显示器和所述服务器设置于所述支架上，所述眼球拍摄摄像头设置于所述头戴式显示器上，所述服务器分别与所述头戴式显示器、所述眼球拍摄摄像头连接，所述服务器与所述触摸按键戒指无线连接，所述眼球拍摄摄像头为两个。

2.根据权利要求1所述的穿戴式计算设备，其特征在于，所述触摸按键戒指包括：微处理器、触摸按键、传感器和无线通讯模块，所述微处理器通过所述无线通讯模块与所述服务器连接，所述微处理器通过所述传感器与所述触摸按键连接。

3.根据权利要求2所述的穿戴式计算设备，其特征在于，所述无线通讯模块为蓝牙、WiFi、4G模块和5G模块中的至少一种。

4.根据权利要求1所述的穿戴式计算设备，其特征在于，所述头戴式显示器为插有手机的VR盒子、VR一体机、AR投影头显、MR眼镜和抬头显示器中的至少一种。

5.根据权利要求1所述的穿戴式计算设备，其特征在于，所述穿戴式计算设备还包括：音频输入设备，所述音频输入设备与所述服务器连接。

6.根据权利要求1所述的穿戴式计算设备，其特征在于，所述穿戴式计算设备还包括：音频输出设备，所述音频输出设备与所述服务器连接。

7.根据权利要求5所述的穿戴式计算设备，其特征在于，所述音频输入设备为麦克风。

8.根据权利要求6所述的穿戴式计算设备，其特征在于，所述音频输出设备为音响和耳机中的至少一种。

9.根据权利要求1所述的穿戴式计算设备，其特征在于，所述服务器包括：CPU和存储器，所述CPU与所述存储器连接，所述CPU包括运算器和控制器，所述存储器包括内存储器和外存储器。

10.一种人机交互方法，其特征在于，所述人机交互方法包括：获取用户的眼瞳坐标；

根据所述眼瞳坐标确定屏幕上人眼注视点对应的应用程序的图标；获取用户对触摸按键的操作；

获取用户的眼瞳坐标的变化趋势；

根据所述操作和所述变化趋势控制所述图标对应的应用程序。