CN111475017A - 一种智能眼镜设备及人机交互方法 - Google Patents

Abstract

本发明公开了一种智能眼镜设备及人机交互方法。所述智能眼镜设备包括：智能交互眼镜、眼球拍摄摄像头、服务器、触摸键盘眼镜盒和触摸按键戒指；智能交互眼镜上设置眼球拍摄摄像头和服务器；服务器分别与智能交互眼镜和眼球拍摄摄像头连接；服务器与触摸键盘眼镜盒和触摸按键戒指无线连接；触摸键盘眼镜盒的内壁上设置有按键；设置有按键的触摸键盘眼镜盒的内壁之间铰接；触摸键盘眼镜盒用于向智能交互眼镜输入信息。本发明能够在避免用户过多运动肢体造成疲劳的情况下，实现用户自然、高效、准确地与智能眼镜设备进行交互。

Description

一种智能眼镜设备及人机交互方法

技术领域

本发明涉及人机交互技术领域，特别是涉及一种智能眼镜设备及人机交互方法。

背景技术

智能眼镜设备包括AR、MR眼镜等，其交互方法可以提高人对眼镜的交互效率，减少操作强度。现有的个人计算设备的图形化人机交互方法主要有：1.鼠标+键盘交互。这种交互方法常见于控制台式电脑，主要实现方式是：人用手控制鼠标移动，鼠标的相对位移反映了屏幕上光标的相对位移，结合点击鼠标上左键、右键和滚轮的方式，以及必要时配合键盘用按键输入的组合方式，完成下达控制机器的指令。2.触控板+键盘交互。这种交互方法常见于控制笔记本电脑，主要实现方式是：人用手指在触控板上滑动，滑动的相对位移反映了屏幕上光标的相对位移，结合点击触控板适配的左键、右键的方式，以及必要时配合键盘用按键输入的组合方式，完成下达控制机器的指令。3.触屏交互。这种交互方法常见于控制智能手机，主要实现方式是：人用手指在触屏上点击所需交互的图标、虚拟按钮或软键盘按钮，完成下达控制机器的指令。上述交互方式都属于较为普及的人机交互方法，一般必须搭配键盘或者触屏。但是由于智能眼镜设备为了便携，通常不会搭配键盘和触摸屏使用，所以这三种交互方式都不适合直接用于智能眼镜。上述三种人机交互方法具体如表1所示。

表1

智能眼镜作为一种新型的个人计算设备，发展潜力很大，现有的智能眼镜主要有如下几种使用方式：1.外接适配主机式。这种方式比较常见，一般是智能眼镜的头戴部分通过数据线连接到厂家适配的主机上，主机提供计算能力和供电。2.外接智能手机式。这种方式一般都是采用type-c接口的手机，智能眼镜的头戴部分通过数据线连接到手机上，手机实现计算能力和供电。3.一体式。这种方式是将眼镜的计算单元和电池融合到头戴的部分。4.无线式。这种方式是通过外置主机或服务器为智能眼镜提供计算能力，类似外接手机式，但是二者之间没有数据线，通过无线连接。前两种方式在使用时需要有一根线连着，穿戴不够方便；一体式的使用方式缺少自然、高效的人机交互方式，一般常见的是手势识别，但是需要占用人的手和手指去进行操控，而且打字非常不方便；无线式的使用方式也缺少自然、高效的人机交互方式，需要外接鼠标、键盘或者其他控制设备，不方便携带。

对于上述智能眼镜的使用方式，目前存在多种人机交互方法，但没有明显占据主导地位的，这些不同的人机交互方法都在发展中。具体来说：1.手势交互。以微软的HoloLens为例，主要实现方式是，人用双手在智能眼镜的外拍摄像头前方摆动、比划，智能眼镜设备通过外拍摄像头传感器拍到的画面，将操作者的不同手势识别为不同的操作指令，从而完成对机器控制指令的下达。2.触控板交互。目前大多数的智能眼镜采用的都是触控板交互方法，以谷歌的谷歌眼镜为例，主要实现方式是，人用手指在连接智能眼镜的主机触控板或者眼镜腿滑动，滑动的相对位移反映了屏幕上光标的相对位移，结合点击触控板适配的左键、右键或触摸板按压的方式，完成下达控制机器的指令。3.语音交互。有些智能眼镜采用的是语音交互方法，主要实现方式是，人通过设备的麦克风说设备可以识别的标准词句，从而完成对机器控制指令的下达。4.意念交互。有些概念型的智能眼镜采用了意念交互方法，主要实现方式是，人通过大脑思考特定的模式，再由智能眼镜设备的脑电波传感器检测，并将操作者不同的思考模式识别为不同的操作指令，从而完成对机器控制指令的下达。以上人机交互方式都因为各自的缺陷，无论单独使用还是组合使用，都无法使人自然、准确地与智能眼镜设备进行交互，因而也就无法高效地操作智能眼镜设备。

综上，目前的智能眼镜设备无法方便的穿戴，不便于携带，无法自然、高效、准确地实现交互。

发明内容

基于此，有必要提供一种智能眼镜设备及人机交互方法，使用户可以更加自然、高效、准确地与智能眼镜设备进行交互。

为实现上述目的，本发明提供了如下方案：

一种智能眼镜设备，包括：智能交互眼镜、眼球拍摄摄像头、服务器、触摸键盘眼镜盒和触摸按键戒指；

所述智能交互眼镜上设置所述眼球拍摄摄像头和所述服务器；所述服务器分别与所述智能交互眼镜和所述眼球拍摄摄像头连接；所述服务器与所述触摸键盘眼镜盒和所述触摸按键戒指无线连接；所述触摸键盘眼镜盒的内壁上设置有按键；设置有所述按键的触摸键盘眼镜盒的内壁之间铰接；所述触摸键盘眼镜盒用于向所述智能交互眼镜输入信息。

可选的，所述触摸键盘眼镜盒上还设置有蓝牙键盘区；所述蓝牙键盘区由多个凸起组成，多个所述凸起呈阵列式排布；

所述智能交互眼镜上还设置有校准摄像头；所述校准摄像头与所述服务器连接；所述校准摄像头用于拍摄所述蓝牙键盘区。

可选的，所述触摸键盘眼镜盒上还设置有第一微处理器和第一无线通讯模块；

所述按键与所述第一微处理器连接；所述第一微处理器通过所述第一无线通讯模块与所述服务器连接。

可选的，所述触摸键盘眼镜盒上还设置有微型投影仪；所述微型投影仪与所述第一微处理器连接。

可选的，所述智能交互眼镜上还设置有姿态传感器和测距传感器；所述姿态传感器和所述测距传感器均与所述服务器无线连接。

可选的，所述触摸按键戒指包括第二微处理器、触控球、压触开关、角度传感器和第二无线通讯模块；

所述第二微处理器通过所述第二无线通讯模块与所述服务器连接；所述角度传感器通过所述压触开关与所述第二微处理器连接；所述触控球与所述压触开关接触设置。

可选的，所述角度传感器为多个；多个所述角度传感器均匀设置在所述触控球的周围，每两个所述角度传感器之间的夹角为120度。

可选的，所述触摸键盘眼镜盒内还设置有戒指充电触点和眼镜充电触点；所述戒指充电触点用于为所述触摸按键戒指进行有线或无线充电；所述眼镜充电触点用于为所述智能交互眼镜进行有线或无线充电。

可选的，所述智能交互眼镜为AR眼镜或MR眼镜。

本发明还提供了一种人机交互方法，所述方法用于上述所述的智能眼镜设备；所述方法包括：

获取人眼注视点在屏幕上的坐标；

确定所述坐标的变化趋势；

获取触摸键盘眼镜盒输入的信息；

获取用户对触摸按键戒指的操作；

根据所述变化趋势和所述操作控制所述人眼注视点对应的图标的应用程序；

控制智能交互眼镜显示所述信息。

与现有技术相比，本发明的有益效果是：

本发明提出了一种智能眼镜设备及人机交互方法。所述智能眼镜设备包括：智能交互眼镜、眼球拍摄摄像头、服务器、触摸键盘眼镜盒和触摸按键戒指；智能交互眼镜上设置眼球拍摄摄像头和服务器；服务器分别与智能交互眼镜和眼球拍摄摄像头连接；服务器与触摸键盘眼镜盒和触摸按键戒指无线连接；触摸键盘眼镜盒的内壁上设置有按键；设置有按键的触摸键盘眼镜盒的内壁之间铰接；触摸键盘眼镜盒用于向智能交互眼镜输入信息。本发明不需要外接鼠标、键盘或者其他控制设备，穿戴方便，便于携带，能够在避免用户过多运动肢体造成疲劳的情况下，实现用户自然、高效、准确地与智能眼镜设备进行交互。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种智能眼镜设备的结构图；

图2为触摸键盘眼镜盒的结构图；

图3为触摸键盘眼镜盒中键盘折叠部分的结构示意图；

图4为智能交互眼镜的结构示意图；

图5为图像坐标系校准示意图；

图6为触摸键盘眼镜盒内部的主机位置图；

图7为触摸按键戒指的结构示意图；

图8为触摸按键戒指的内部结构图；

图9为屏幕上注视点和图标在某一状态下的位置图；

图10为本发明实施例人机交互方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例一种智能眼镜设备的结构图。

参见图1，实施例的智能眼镜设备，包括：智能交互眼镜1、眼球拍摄摄像头4、服务器(图中未示出)、触摸键盘眼镜盒2和触摸按键戒指3。

所述智能交互眼镜1上设置所述眼球拍摄摄像头4和所述服务器；所述服务器分别与所述智能交互眼镜1和所述眼球拍摄摄像头4连接；所述服务器与所述触摸键盘眼镜盒2和所述触摸按键戒指3无线连接；所述触摸键盘眼镜盒2的内壁上设置有按键，所述触摸键盘眼镜盒的盖子展开后为折叠键盘5；设置有所述按键的触摸键盘眼镜盒2的内壁之间铰接；所述触摸键盘眼镜盒2设置有所述按键的内壁之间铰接；所述触摸键盘眼镜盒2用于向所述智能交互眼镜1输入信息。

本实施例中，触摸键盘眼镜盒2，体积较小，可以放在口袋里随身携带；触摸键盘眼镜盒2的盖子打开后，盖子可以展开成为折叠键盘5，如图2所示，键盘折叠部分采用微型铰链16连接，连接部分表面覆盖有亲肤材质，如图3的(a)部分，放大图如图3的(b)部分所示。按键的键帽安装方式和常规键盘的键帽安装方式一样。

本实施例中，眼球拍摄摄像头4的主要作用是：将人眼视线在屏幕上的注视点位置提取出来成为坐标信号，类似于鼠标指针输入给计算机的位置坐标。其工作原理是：眼球拍摄摄像头4对准人眼部位，将实时拍摄的眼球图像发送给服务器进行图像处理，实现眼球追踪，提供多种人机交互功能。

眼球拍摄摄像头4和服务器配合，还可以在不方便使用键盘的情况下快速打字。打字输入方法是基于模糊算法的视觉轨迹文字输入判断，这种方法目前在手机的输入法中有应用，属于成熟方法，本实施例与现有技术的区别仅在于：手机上用的是触屏滑动作为信息输入，而智能交互眼镜1上用的是眼球拍摄摄像头4拍摄到的眼球追踪信息作为信息输入。

本实施例中，服务器包括：CPU和存储器，所述CPU与所述存储器连接，所述CPU包括运算器和控制器，所述存储器包括内存储器和外存储器。另外，服务器还包括无线通讯模块、USB插口、SIM卡插口、SD卡插口、电池、电源插口、供电电源线、开关按键、重启按键、外壳等常见的计算设备接口和配件。这些接口和配件主要是用于增强设备的功能。本实施例中，服务器的芯片是高通骁龙425(64位四核)。

本实施例中，所述智能交互眼镜1的光学镜片采用大视场角、高透光率光学模组，支持双屏异显功能，即左右镜片显示不同画面，相当于人眼效果，从而形成三维立体效果。

作为一种可选的实施方式，所述触摸键盘眼镜盒2上还设置有蓝牙键盘区6，如图2所示，所述蓝牙键盘区6由多个凸起组成，多个所述凸起呈阵列式排布。所述智能交互眼镜1上还设置有校准摄像头7；所述校准摄像头7与所述服务器连接，如图4所示。所述校准摄像头7用于拍摄所述蓝牙键盘区6。蓝牙键盘区6这种横平竖直的排布方式，相当于一张带有特征的图片，当智能交互眼镜1上的校准摄像头7拍摄到蓝牙键盘区6时，该区的键盘的特征可用于为校准摄像头7进行图像坐标系校准，如图5所示。

作为一种可选的实施方式，所述触摸键盘眼镜盒2内部还设置有主机8，如图6所示。所述主机8包括第一微处理器和第一无线通讯模块；所述按键与所述第一微处理器连接；所述第一微处理器通过所述第一无线通讯模块与所述服务器连接。所述第一微处理器的型号为英特尔的Z8350。

作为一种可选的实施方式，所述触摸键盘眼镜盒2的侧面还设置有微型投影仪9；所述微型投影仪9与所述第一微处理器连接。当微型投影仪9面向墙面或者幕布时，触摸键盘眼镜盒2即可提供投影功能。

作为一种可选的实施方式，如图4所示，所述智能交互眼镜1上还设置有姿态传感器(图中未示出)和测距传感器10；所述姿态传感器和所述测距传感器10均与所述服务器无线连接。本实施例中，姿态传感器为九轴传感器，采用九轴传感器采集智能交互眼镜1当前的空间姿态，以便设备感知用户的头部状态；所述测距传感器10为激光测距传感器，激光测距传感器10用于测量用户头部到正前方障碍物的直线距离。

作为一种可选的实施方式，所述触摸按键戒指3为指环状，如图7-图8所示，所述触摸按键戒指3包括第二微处理器、触控球11、压触开关12、角度传感器13、第二无线通讯模块和外壳支撑件；所述第二微处理器通过所述第二无线通讯模块与所述服务器连接；所述角度传感器通过所述压触开关与所述第二微处理器连接；所述触控球与所述压触开关接触设置，提供按压控制，可以激发单击、双击、长按等操作。所述角度传感器设置为多个；多个所述角度传感器在所述触控球的周围均匀设置，每两个所述角度传感器之间的夹角为120度，实现触控球720度的转动控制，进而实现平面交互和立体交互；第二微处理器在曲面外壳内放置，采用FPC方案。所述第二微处理器的型号为壹法半导体STM32或AVR系列的单片机。

作为一种可选的实施方式，所述触摸键盘眼镜盒2内还设置有电池、戒指充电触点14和眼镜充电触点15，如图2所示，所述戒指充电触点14和所述眼镜充电触点15均与所述电池连接；所述电池相当于充电宝，通过所述戒指充电触点14为所述触摸按键戒指3进行有线或无线充电，通过所述眼镜充电触点15为所述智能交互眼镜1进行有线或无线充电。

作为一种可选的实施方式，所述智能交互眼镜1为AR眼镜或MR眼镜。

作为一种可选的实施方式，所述第一无线通讯模块和第二无线通讯模块包括但不限于蓝牙、WiFi、4G模块和5G模块。优选的，第二无线通讯模块为蓝牙，触摸按键戒指3通过蓝牙与智能交互眼镜1连接，功耗低。

本实施例的智能眼镜设备不需要外接鼠标、键盘或者其他控制设备，穿戴方便，便于携带，能够实现用户自然、高效、准确地与智能眼镜设备进行交互。

本发明还提供了一种人机交互方法，所述方法用于上述所述的智能眼镜设备。参见图10，所述方法包括：

步骤S1：获取人眼注视点在屏幕上的坐标。

步骤S2：确定所述坐标的变化趋势。

步骤S3：获取触摸键盘眼镜盒输入的信息。

步骤S4：获取用户对触摸按键戒指的操作。

步骤S5：根据所述变化趋势和所述操作控制所述人眼注视点对应的图标的应用程序。

步骤S6：控制智能交互眼镜显示所述信息。其中，屏幕信息如图9所示。

作为一种可选的实施方式，所述方法还包括：在获取人眼注视点在屏幕上的坐标之前，获取校准摄像头拍摄蓝牙键盘区得到的图像信息，通过拍摄到的图像信息实现图像坐标系校准。

作为一种可选的实施方式，所述方法还包括：获取姿态传感器采集到的智能交互眼镜当前的空间姿态信息和测距传感器采集到的用户头部到正前方障碍物的直线距离，以实时感知用户的头部状态和所述环境状态。

触摸按键戒指3、触摸键盘眼镜盒2、智能交互眼镜1之间的交互方式如表2所示。具体的：

(1)若人眼注视点移动到目标上，并在触摸按键戒指3上单击触控球，则可像鼠标光标移动到目标上一样实现悬停。

(2)若人眼注视点移动到目标上，并在触摸按键戒指3上两次快速点击触控球，则可像鼠标左键双击一样激活该应用或按钮。

(3)若人眼注视一个图标，在触摸按键戒指3上长按触控球，则可像鼠标右键单击一样打开该应用或按钮的额外菜单。

(4)若人眼注视一个图标，并触摸按键戒指3上单击触控球，并移动注视点，则可像鼠标左键拖拽一样重新布置该图标的桌面位置。

(5)若人在触摸按键戒指3上上下或左右滚动触控球，则可像鼠标滚轮一样上下翻动画面。

(6)若人在触摸按键戒指3上单击触控球并滚动触控球，则可像鼠标悬停并转动滚轮一样实现缩放。

(7)若人在触摸按键戒指3上双击触控球并滚动触控球，则可像鼠标按下滚轮并移动光标一样实现三维翻转。

(8)眼球拍摄摄像头4和服务器配合，可以基于模糊算法对视觉轨迹判断文字输入，从而可像实体键盘一样输入信息。

(9)用户通过可放在口袋里随身携带的、无线式的接触摸键盘眼镜盒2输入信息，实现像实体键盘一样输入信息。

表2

本实施例的人机交互方法，相比于现有的交互方式，能够实现用户自然、高效、准确地与智能眼镜设备进行交互。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种智能眼镜设备，其特征在于，包括：智能交互眼镜、眼球拍摄摄像头、服务器、触摸键盘眼镜盒和触摸按键戒指；

所述智能交互眼镜上设置所述眼球拍摄摄像头和所述服务器；所述服务器分别与所述智能交互眼镜和所述眼球拍摄摄像头连接；所述服务器与所述触摸键盘眼镜盒和所述触摸按键戒指无线连接；所述触摸键盘眼镜盒的内壁上设置有按键；设置有所述按键的触摸键盘眼镜盒的内壁之间铰接；所述触摸键盘眼镜盒用于向所述智能交互眼镜输入信息。

2.根据权利要求1所述的一种智能眼镜设备，其特征在于，所述触摸键盘眼镜盒上还设置有蓝牙键盘区；所述蓝牙键盘区由多个凸起组成，多个所述凸起呈阵列式排布；

所述智能交互眼镜上还设置有校准摄像头；所述校准摄像头与所述服务器连接；所述校准摄像头用于拍摄所述蓝牙键盘区。

3.根据权利要求1所述的一种智能眼镜设备，其特征在于，所述触摸键盘眼镜盒上还设置有第一微处理器和第一无线通讯模块；

所述按键与所述第一微处理器连接；所述第一微处理器通过所述第一无线通讯模块与所述服务器连接。

4.根据权利要求3所述的一种智能眼镜设备，其特征在于，所述触摸键盘眼镜盒上还设置有微型投影仪；所述微型投影仪与所述第一微处理器连接。

5.根据权利要求1所述的一种智能眼镜设备，其特征在于，所述智能交互眼镜上还设置有姿态传感器和测距传感器；所述姿态传感器和所述测距传感器均与所述服务器无线连接。

6.根据权利要求1所述的一种智能眼镜设备，其特征在于，所述触摸按键戒指包括第二微处理器、触控球、压触开关、角度传感器和第二无线通讯模块；

所述第二微处理器通过所述第二无线通讯模块与所述服务器连接；所述角度传感器通过所述压触开关与所述第二微处理器连接；所述触控球与所述压触开关接触设置。

7.根据权利要求6所述的一种智能眼镜设备，其特征在于，所述角度传感器为多个；多个所述角度传感器均匀设置在所述触控球的周围，每两个所述角度传感器之间的夹角为120度。

8.根据权利要求4所述的一种智能眼镜设备，其特征在于，所述触摸键盘眼镜盒内还设置有戒指充电触点和眼镜充电触点；所述戒指充电触点用于为所述触摸按键戒指进行有线或无线充电；所述眼镜充电触点用于为所述智能交互眼镜进行有线或无线充电。

9.根据权利要求1所述的一种智能眼镜设备，其特征在于，所述智能交互眼镜为AR眼镜或MR眼镜。

10.一种人机交互方法，其特征在于，所述方法用于如权利要求1-9任一一项所述的智能眼镜设备；所述方法包括：

获取人眼注视点在屏幕上的坐标；

确定所述坐标的变化趋势；

获取触摸键盘眼镜盒输入的信息；

获取用户对触摸按键戒指的操作；

根据所述变化趋势和所述操作控制所述人眼注视点对应的图标的应用程序；

控制智能交互眼镜显示所述信息。

Images