CN106226911A - 一种通过视线进行人机交互的智能眼镜以及交互方法 - Google Patents

Abstract

本发明公开了一种通过视线进行人机交互的智能眼镜以及交互方法，其中智能眼镜包括眼镜架、设置在眼镜架上的镜片，所述镜片包括用于放大眼睛瞳孔的凹面镜，所述凹面镜的凹面侧朝向眼睛方向；所述智能眼镜还包括设置在所述凹面镜的凹面侧用于拍摄眼睛瞳孔的近红外摄像头，用于计算眼睛瞳孔中心位置并根据所述中心位置得出当前视线焦点在视线范围内的二维坐标的定位模块，接收针对当前的视线焦点对准的对象的操作并进行响应的响应模块。本发明通过将瞳孔进行高倍放大，获取更加精确的中心位置，从而实现对人眼的动作进行准确捕捉进行相应的响应。

Description

一种通过视线进行人机交互的智能眼镜以及交互方法

技术领域

本发明涉及穿戴式设备，尤其涉及可利用视线进行人机交互的智能眼镜以及具体的交互方法。

背景技术

随着智能穿戴设备在2014年的爆发，2015年随着苹果的Apple Watch正式推出，华为的Huawei Watch、HTC的Grip健身手环、三星的智能手表，谷歌的智能眼镜和虚拟现实头戴设备Vive等新产品的发布，智能穿戴产品将会变得更加时尚、智能，种类将更加丰富。据IHS预计，全球可穿戴设备市场在2018年将达300亿美元。IDC预计2018年全球出货量将达到1.119亿部，年复合增长率达到78.4%。据统计：2015年，美国有3950万成年人使用智能手表和健身追踪器等可穿戴设备，同比增长率高达57.7%，到2018年， 这个数字还将再翻一番，很有可能将拥有8170万用户。借助物联网发展的大趋势，可穿戴设备必将继续扩大其市场认可度，提高普及率，并将成为一种新的生活方式。

然而如何更好的实现人机交互却一直业内难以解决的问题，虽然目前已经出现了眼球追踪的交互方法，但是现有的交互设备精准度及可靠度差，捕捉位置不精准，导致大部分的穿戴式设备均是通过一个类似于鼠标或者功能比鼠标还要丰富的手柄来进行相应的人机交互操控，限制了穿戴式设备的进一步发展，且不能很好地满足人们希望设备进一步智能化的需求。

发明内容

本发明为了解决上述现有技术中存在的技术问题，提出一种通过视线进行人机交互的智能眼镜，包括眼镜架、设置在眼镜架上的镜片，所述镜片包括用于放大眼睛瞳孔的凹面镜，所述凹面镜的凹面侧朝向眼睛方向；所述智能眼镜还包括设置在所述凹面镜的凹面侧用于拍摄眼睛瞳孔的近红外摄像头，用于计算眼睛瞳孔中心位置并根据所述中心位置得出当前视线焦点在视线范围内的二维坐标的定位模块，接收针对当前的视线焦点对准的对象的操作并进行响应的响应模块。

在本技术方案中，所述操作包括眨眼、凝视一定时间、触发按钮，所述近红外摄像头设有两个，分别独立对应两只眼睛，所述近红外摄像头内设有用于滤除其他可见光的红外滤光片。

优选的，所述凹面镜的凹面侧还设有近红外补光灯。

进一步本技术方案的所述凹面镜的凹面侧可以镀有反射膜。所述镜片靠近眼睛的一侧设有显示器，所述定位模块计算眼睛瞳孔中心位置并根据所述中心位置得出当前视线焦点在显示器所显示的画面中的二维坐标，所述响应模块根据当前的视线焦点实现眼睛对显示器显示的画面中的内容进行相应的响应操作。

本发明同时还提出了一种基于上述技术方案的通过视线进行人机交互的智能眼镜实现的交互方法，具体包括如下步骤：

步骤1：注视眼前所述显示器显示的画面时，左右两只眼睛的视线汇聚相交于一对象；

步骤2：测出左右两只眼睛各自的视线角度，确定眼睛所观察的对象的三维坐标；

步骤3：根据所述近红外摄像头、凹面镜以及眼睛三者的不变的相对位置关系，对所述近红外摄像头拍摄的照片进行分析，得到瞳孔当前的中心位置；

步骤4：根据瞳孔当前的中心位置、对象的三维坐标以及所述显示器显示的画面，计算出当前视线方向在显示器显示的画面中的二维坐标；

步骤5：获取眼睛的当前动作，进行相应的响应。

本发明通过将瞳孔进行高倍放大，使得虹膜能被清晰识别，便于机器对使用者进行虹膜身份识别，可以用来虹膜解锁，同时也克服了市面上智能眼镜的人机交互系统多依赖于有形物理按键、旋钮、触摸板等劣势。同时，通过对人眼的高倍放大，能对人的视线聚焦位置精准捕捉，清楚的了解人的视觉意识形态，为进一步的增强现实应用打下坚实基础。而且因近红外摄像头、凹面镜、人眼三者相对位置关系不变，可靠性十分稳定。即使在运动过程中，如骑行越野、蹦极、跳伞等，也可以只用眼神就能操控显示界面，完全解放了双手，带来了极大便利。

附图说明

图1为本发明的人眼瞳孔中心位置捕捉原理图；

图2为本发明的方法流程图；

图3为本发明的目视线识别定位原理图。

具体实施方式

下面结合附图对本发明的原理及方法进行详细说明。

本发明一实施例提供的智能眼镜，包括镜架、镜片、近红外摄像头、近红外补光灯，定位模块和响应模块。

图1显示了本发明的瞳孔中心位置捕捉的原理图，镜片安装在镜架上，镜架未在图中示出，镜片包括一个用于放大眼睛瞳孔的凹面镜5，凹面镜5的凹面侧朝向眼睛方向，该凹面镜5可以为使用者所佩戴的智能眼镜镜片的一部分或全部。近红外摄像头2设置在凹面镜5的凹面侧用于拍摄经凹面镜5放大后的眼睛瞳孔6，也就是图中所示出的眼睛瞳孔4经过凹面镜5放大后在像屏1处得到放大的眼睛瞳孔6，经过放大的眼睛瞳孔6的像可以被置于凹面镜后、眼睛下方与凹面镜有固定距离L1的近红外摄像头2清晰捕捉，由于瞳孔与周围虹膜在红外成像中具有明显的对比差别，通过定位模块可轻易锁定瞳孔中心的位置，将此位置换算成视线的方向，便可确定使用者当前视线焦点在视野中的二维位置坐标。此时眼睛作出一些动作，然后响应模块可以针对当前的视线焦点对这些动作进行相应的响应。例如，眼睛盯着一对象并对其进行眨眼或者是凝视5秒的时间，响应模块就进行相应的处理。例如，根据使用者正在注视的物体形貌和位置信息的识别，预判出使用者的现实需求，从而推送相关的信息服务给使用者等等。当然，还可以结合现有的触发按钮的方式，由眼睛注视一个文件夹，然后按钮可以实现鼠标的左键点击或右键点击等等。

在一个实施例中，近红外摄像头2可以设有一个，可以针对单眼视觉的人进行相应的瞳孔捕捉，从而实现与智能眼镜的人机交互。在另一实施例中，近红外摄像头2也可以设有两个，分别独立对应两只眼睛，通过两只注视同一对象时的眼神交汇，还可以算出当前对象的三维坐标。

近红外补光灯3并不是一个必要部件，它采用了LED芯片，作用在于当光线不足时，可以补充相应的近红外光，这是人眼所察觉不到的光线，不会对人的视觉效果造成影响，同时近红外摄像头2采用可以滤除其他可见光的红外滤光片，只留下近红外光，可以避免其他可见光的干扰，使瞳孔的中心位置获取得更加精准，最大程度地降低误差。

镜片的凹面镜的凹面侧还可以镀反射膜。镜片靠近眼睛的一侧设置显示器，显示器可以是透明显示器，其投射出去的画面会经过反射膜的反射从而被人眼所看到。定位模块计算眼睛瞳孔中心位置并根据中心位置得出当前视线焦点在显示器所显示的画面中的二维坐标，响应模块根据当前的视线焦点实现眼睛对显示器显示的画面中的内容进行相应的响应操作。例如显示器显示一段英文，此时眼睛盯着英文的地方超过5秒，响应模块就显示相应的翻译或释义。

如图2所示，基于本发明的智能眼镜，还提出了该智能眼镜实现的交互方法，包括如下步骤：

步骤1：注视眼前所述显示器显示的画面时，左右两只眼睛的视线汇聚相交于一对象；

步骤2：测出左右两只眼睛各自的视线角度，确定眼睛所观察的对象的三维坐标；

步骤3：根据所述近红外摄像头、凹面镜以及眼睛三者的不变的相对位置关系，对所述近红外摄像头拍摄的照片进行分析，得到瞳孔当前的中心位置；

步骤4：根据瞳孔当前的中心位置、对象的三维坐标以及所述显示器显示的画面，计算出当前视线方向在显示器显示的画面中的二维坐标；

步骤5：获取眼睛的当前动作，进行相应的响应。

图3显示了两只眼睛注视同一对象时的目视线识别定位原理图，相当于左右眼各用一套独立的单目视线识别系统。人眼的视觉原理告诉我们，当双目注视眼前的物体时，左右两只眼睛7的视线会汇聚相交于该物体8。因此，通过独立测出左右眼睛7各自的视线角度，我们便可以确定出使用者所观察对象的三维位置坐标，这为实现3D立体人机交互以及真正的虚拟和增强现实应用打下了坚实基础。由于近红外摄像头、凹面镜、人眼三者相对位置关系不变，采用三点定标或者其它算法，对近红外摄像头拍摄的照片或视频数据进行分析计算，即使在使用者处于身体运动的状态下也能很精准的捕捉到人眼球的绝对位置以及相对移动轨迹，以便于机器对人的主观视觉意识进行准确的判断和识别，实现人机交互。把该项技术应用在现有的穿戴设备智能眼镜上，因其能准确定位眼球轨迹，当人眼在显示屏界面上移动到某个文件夹停留超过一定时间时或者眨眼睛等，均可指示为打开此文件夹等等。

以上具体实施例仅用以举例说明本发明的结构，本领域的普通技术人员在本发明的构思下可以做出多种变形和变化，这些变形和变化均包括在本发明的保护范围之内。

Claims (8)

1.一种通过视线进行人机交互的智能眼镜，包括眼镜架、设置在眼镜架上的镜片，其特征在于，所述镜片包括用于放大眼睛瞳孔的凹面镜，所述凹面镜的凹面侧朝向眼睛方向；

所述智能眼镜还包括设置在所述凹面镜的凹面侧用于拍摄眼睛瞳孔的近红外摄像头，用于计算眼睛瞳孔中心位置并根据所述中心位置得出当前视线焦点在视线范围内的二维坐标的定位模块，接收针对当前的视线焦点对准的对象的操作并进行响应的响应模块。

2.如权利要求1所述的通过视线进行人机交互的智能眼镜，其特征在于，所述操作包括包括眨眼、凝视一定时间、触发按钮。

3.如权利要求1所述的通过视线进行人机交互的智能眼镜，其特征在于，所述近红外摄像头设有两个，分别独立对应两只眼睛。

4.如权利要求1所述的通过视线进行人机交互的智能眼镜，其特征在于，所述凹面镜的凹面侧还设有近红外补光灯。

5.如权利要求1所述的通过视线进行人机交互的智能眼镜，其特征在于，所述凹面镜的凹面侧镀有反射膜。

6.如权利要求1所述的通过视线进行人机交互的智能眼镜，其特征在于，所述近红外摄像头内设有用于滤除其他可见光的红外滤光片。

7.如权利要求1所述的通过视线进行人机交互的智能眼镜，其特征在于，所述镜片靠近眼睛的一侧设有显示器，所述定位模块计算眼睛瞳孔中心位置并根据所述中心位置得出当前视线焦点在显示器所显示的画面中的二维坐标，所述响应模块根据当前的视线焦点实现眼睛对显示器显示的画面中的内容进行相应的响应操作。

8.采用上述任意一项权利要求所述的智能眼镜实现的交互方法，其特征在于，包括如下步骤：

步骤1：注视眼前所述显示器显示的画面时，左右两只眼睛的视线汇聚相交于一对象；

步骤2：测出左右两只眼睛各自的视线角度，确定眼睛所观察的对象的三维坐标；

步骤3：根据所述近红外摄像头、凹面镜以及眼睛三者的不变的相对位置关系，对所述近红外摄像头拍摄的照片进行分析，得到瞳孔当前的中心位置；

步骤4：根据瞳孔当前的中心位置、对象的三维坐标以及所述显示器显示的画面，计算出当前视线方向在显示器显示的画面中的二维坐标；

步骤5：获取眼睛的当前动作，进行相应的响应。