CN108536285B - 一种基于眼部移动识别与控制的鼠标交互方法与系统 - Google Patents

一种基于眼部移动识别与控制的鼠标交互方法与系统 Download PDF

Info

Publication number
CN108536285B
CN108536285B CN201810214157.2A CN201810214157A CN108536285B CN 108536285 B CN108536285 B CN 108536285B CN 201810214157 A CN201810214157 A CN 201810214157A CN 108536285 B CN108536285 B CN 108536285B
Authority
CN
China
Prior art keywords
user
cursor position
mouse
wearable device
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810214157.2A
Other languages
English (en)
Other versions
CN108536285A (zh
Inventor
陈晓鹂
黄琢
骆迎东
周川鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201810214157.2A priority Critical patent/CN108536285B/zh
Publication of CN108536285A publication Critical patent/CN108536285A/zh
Application granted granted Critical
Publication of CN108536285B publication Critical patent/CN108536285B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种基于眼部移动识别与控制的鼠标交互方法与系统,采用定位眼镜以及一智能穿戴设备触发鼠标指令,定位眼镜以及智能穿戴设备本地无线连接至被控主机;在识别出用户穿戴上所述定位眼镜后,本发明在被控主机对应的显示器上将桌面以及桌面图标显示出来,然后通过定位眼镜实时获取用户的两个眼球的视线,实时计算出两个眼球的视线在桌面上的交点,在交点位置处显示光标位置;本发明还获取智能穿戴设备上的按键信息,在光标位置处产生鼠标触发操作。

Description

一种基于眼部移动识别与控制的鼠标交互方法与系统
技术领域
本发明涉及电子产品的交互领域,更具体地说,涉及一种基于眼部移动识别与控制的鼠标交互方法与系统。
背景技术
随着现代技术的高速发展,生活中的不方便之处要尽量通过科技技术与设计来减少,从而达到人类与机器之间更好的配合工作与交互。比如现代运用最多的计算机与人类之间的交互就是通过键盘与鼠标来执行的,键盘作为输入数据和字符的重要工具,而鼠标作为对界面或页面的控制工具。但在平时的使用过程中,鼠标要通过滑动与在屏幕中的定位才能使用,在现代屏幕信息量越来越大的今天,小小的鼠标通过不断地滑动去寻找各种各样的信息这样的交互方式便显得不那么高效了,而且在使用键盘的同时去操作鼠标让这一过程变得更加麻烦。于是,这边引起我们思考,能否通过另一中方式来使得人机交互变得更加高效呢?于是基于眼部移动识别与控制的鼠标交互模式便应运而生。
这种交互模式已有公司进行类似技术的生产与使用,比如瑞典的Tobii公司便研发了Tobii eyeX。简单来说,Tobii eyeX是一款眼控仪,支持Windows 10,用户可以将其固定在显示器下方边框处,Tobii eyeX能够通过监测视网膜和眼球运动,再通过软件计算处理来实现操作。目前,它可以实现一些PC的系统及游戏操作,但想要替代鼠标,技术还需进一步完善。首先,要将磁力条粘贴在显示器下方边框,即可将Tobii eyeX固定在这里。机身上拥有三个红外传感器,用来监测眼球运动,供电方面则使用USB 3.0。从技术上来说,Tobii eyeX传感器可以追踪16*12英寸范围的眼球运动,所以你不必一直呆坐在显示器前。Tobii eyeX并非仅仅是一款眼控鼠标,事实上它可以设定鼠标、触摸板、游戏、Windows操作等多种功能,其中包括Windows 10的Hello功能。另外,还可以配置诸如目光离开一段时间锁定电脑、屏幕变暗等快捷功能。遗憾的是,即便是Tobii官方,也无法统计出eyeX的准确性。用户眼睛的大小、瞳孔颜色、是否佩戴眼镜、眼睑是否下垂对于操作都会产生影响,这显然是一个微妙且复杂的系统。精准性还是需要提升,虽然可以在Chrome浏览器的选项卡中切换,但有时会误关闭标签。出现按键错误等缺点。
目前已有的眼部识别控制鼠标技术主要有以下不足:①仅使用传感器检测眼部的移动方式既不适于所有设备又不够灵敏,比如Tobii eyeX的传感器就安置在电脑屏幕的下方,这样的结构并不适于所有的计算机,例如笔记本电脑便只能安装在屏幕上方,从而需要改变传感器接收信号的方式,造成不便。同时,这样有一段距离且测量要求需要很精确的传感方式,依靠现有的技术并不能准确地测出眼睛所定位的位置,不利于使用。②在仅仅使用眼部的移动来定位鼠标已经能够实现,但是人们平常使用电脑时,鼠标事件有很多种,若只是依靠眼部来进行操作,眼部只能通过移动、眨眼这两种方式来控制,显然是不能完成所有的鼠标事件的,同时眨眼的操作方式不易控制且易引起视觉疲劳。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述技术缺陷①和②,提供一种基于眼部移动识别与控制的鼠标交互方法与系统,保证既能完成所有的鼠标事件,又保证在键盘与鼠标的同时使用工作时,两者的切换应尽可能的方便快捷。
根据本发明的其中一方面,本发明解决其技术问题所采用的技术方案是:构造一种基于眼部移动识别与控制的鼠标交互方法,采用定位眼镜以及一智能穿戴设备触发鼠标指令,所述定位眼镜以及所述智能穿戴设备本地无线连接至被控主机;在识别出用户穿戴上所述定位眼镜后,所述鼠标交互方法包括如下步骤:
桌面显示步骤:在所述被控主机对应的显示器上将桌面以及桌面图标显示出来;
光标定位步骤,包括如下步骤A1及A2:
A1、通过所述定位眼镜实时获取所述用户的两个眼球的视线;
A2、实时计算出所述两个眼球的视线在所述桌面上的交点,在所述交点位置处显示光标位置;
鼠标指令触发步骤:获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作。
进一步地,在本发明的基于眼部移动识别与控制的鼠标交互方法中,所述获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作具体是指:
所述智能穿戴设备上具有一左一右两个按键以及滑动键,所述用户看向某处并单击按键戒指左键时点击或进入某处界面,看向某处并双击按键戒指左键时打开应用,看向某处并单击按键戒指右键时显示属性或性质等信息,滑动按键戒指时上下滑动页面,按住按键并转移视线至某一位置时拖动界面。
进一步地,在本发明的基于眼部移动识别与控制的鼠标交互方法中,所述智能穿戴设备为戒指,且所述智能穿戴设备与所述定位眼镜均通过蓝牙/Wifi通信连接至被控主机。
进一步地,在本发明的基于眼部移动识别与控制的鼠标交互方法中,还包括光标校准步骤:
B1、获取用户进行校准的触发指令,从而进入校准模式;
B2、通过所述定位眼镜实时获取所述用户的两个眼球的视线;
B3、计算出步骤B1中所述两个眼球的视线在所述桌面上的交点,在交点位置处显示光标位置;
B4、获取用户确认步骤B3中的光标位置是否正确的操作信息,若用户确认正确,则校准成功,若用户确认不正确则执行步骤B5;
B5、获取用户手动确认的光标位置,根据用户手动确认的光标位置与步骤B3中的光标位置计算误差参数,并根据计算出的误差参数对步骤A2中的光标位置持续进行调整直至获取到复位操作指令或者下一次校准的操作指令。
进一步地,在本发明的基于眼部移动识别与控制的鼠标交互方法中,所述用户手动确认的光标位置是指用户通过连接至被控主机的鼠标、触摸屏以及所述智能穿戴设备中的其中一种上进行的手动确认操作。
本发明为解决其技术问题,还提供了一种基于眼部移动识别与控制的鼠标交互系统,采用定位眼镜以及一智能穿戴设备触发鼠标指令,所述定位眼镜以及所述智能穿戴设备本地无线连接至被控主机;在识别出用户穿戴上所述定位眼镜后,所述鼠标交互系统包括如下单元:
桌面显示单元,用于在所述被控主机对应的显示器上将桌面以及桌面图标显示出来;
光标定位单元,包括如下视线获取模块及光标位置处理模块:
视线获取模块,用于通过所述定位眼镜实时获取所述用户的两个眼球的视线;
光标位置处理模块,用于实时计算出所述两个眼球的视线在所述桌面上的交点,在所述交点位置处显示光标位置;
鼠标指令触发单元,用于获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作。
进一步地,在本发明的基于眼部移动识别与控制的鼠标交互系统中,所述获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作具体是指:
所述智能穿戴设备上具有一左一右两个按键以及滑动键,所述用户看向某处并单击按键戒指左键时点击或进入某处界面,看向某处并双击按键戒指左键时打开应用,看向某处并单击按键戒指右键时显示属性或性质等信息,滑动按键戒指时上下滑动页面,按住按键并转移视线至某一位置时拖动界面。
进一步地,在本发明的基于眼部移动识别与控制的鼠标交互系统中,所述智能穿戴设备为戒指,且所述智能穿戴设备与所述定位眼镜均通过蓝牙/Wifi通信连接至被控主机。
进一步地,在本发明的基于眼部移动识别与控制的鼠标交互系统中,还包括光标校准单元,具体包含如下子单元:
校准触发子单元,用于获取用户进行校准的触发指令,从而进入校准模式;
视线获取子单元,用于通过所述定位眼镜实时获取所述用户的两个眼球的视线;
光标位置处理子单元,用于计算出校准触发子单元中所述两个眼球的视线在所述桌面上的交点,在交点位置处显示光标位置;
操作判断子单元,用于获取用户确认光标位置处理子单元中的光标位置是否正确的操作信息,若用户确认正确,则校准成功,若用户确认不正确则调用校准处理子单元;
校准处理子单元,用于获取用户手动确认的光标位置,根据用户手动确认的光标位置与光标位置处理子单元中的光标位置计算误差参数,并根据计算出的误差参数对光标定位单元中的光标位置持续进行调整直至获取到复位操作指令或者下一次校准的操作指令。
进一步地,在本发明的基于眼部移动识别与控制的鼠标交互系统中,所述用户手动确认的光标位置是指用户通过连接至被控主机的鼠标、触摸屏以及所述智能穿戴设备中的其中一种上进行的手动确认操作。
实施本发明的基于眼部移动识别与控制的鼠标交互方法及系统,具有以下有益效果:一:使用眼镜的侧量定位方式省去了现有的产品所需的任眼球捕捉过程,由于眼镜一直附着在眼睛前方,距离更近,可直接进行测量,且运算结果更加精确;二:大多数眼控鼠标只有通过眼睛来进行控制,所能进行的操作方式太少,而且眼睛并不是平时使用电脑的常态工作方式,易引起眼疲劳,降低工作效率,而配合按键戒指使用,不仅能减少眼的使用率而且能增加鼠标事件,使操作多样化;三:人再使用键盘打字时是不会使用拇指的,而这种按键方式恰恰能够将未使用的大拇指利用起来,而手只需要放在键盘上打字就行,不在需要在打字与移动鼠标之间来回移动手,更加方便快捷;四:本系统不仅有硬件设施还有软件配合工作,用户通过软件进行设置和调试,使使用方式个性化。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明的基于眼部移动识别与控制的鼠标交互方法一实施例的原理图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
参考图1,其为本发明的基于眼部移动识别与控制的鼠标交互方法一实施例的原理图,本发明采用定位眼镜以及一智能穿戴设备触发鼠标指令,来代替现有技术中的鼠标操作方式。定位眼镜以及所述智能穿戴设备本地无线连接至被控主机,在本实施例中,智能穿戴设备为戒指,且智能穿戴设备与定位眼镜均通过蓝牙/Wifi通信连接至被控主机,被控主机例如可以是被控主机。
使用时,用户先穿戴上定位眼镜和智能穿戴设备。在识别出用户穿戴上所述定位眼镜后,本发明的鼠标交互方法开始工作,具体地包括如下桌面显示步骤、光标定位步骤以及鼠标指令触发步骤。
桌面显示步骤:在被控主机对应的显示器上将桌面以及桌面图标显示出来;这一步骤与现有技术中的电脑已经显示器的工作方式一致。
光标定位步骤,包括如下步骤A1及A2:
A1、通过定位眼镜实时获取所述用户的两个眼球的视线。在本实施例中,定位眼镜上安装有一个或者多个摄像头,尤其是微型摄像头,用户穿戴上定位眼镜后,摄像头可以对用户的眼睛进行拍摄。
A2、实时计算出所述两个眼球的视线在所述桌面上的交点,在所述交点位置处显示光标位置。在本实施例中,交点的计算可以由定位眼镜内安装的硬件完成,在其他实施例中,交点的计算可以是由被控主机完成。
鼠标指令触发步骤:获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作。具体地,智能穿戴设备上具有一左一右两个按键以及滑动键,所述用户看向某处并单击按键戒指左键时点击或进入某处界面,看向某处并双击按键戒指左键时打开应用,看向某处并单击按键戒指右键时显示属性或性质等信息,滑动按键戒指时上下滑动页面,按住按键并转移视线至某一位置时拖动界面。
在用户看下某处,光标却不在该处时,此时光标定位出现误差。用户可主动触发进行光标校准,光标校准包括如下步骤:
B1、获取用户进行校准的触发指令,从而进入校准模式;
B2、通过所述定位眼镜实时取所述用户的两个眼球的视线;
B3、计算出步骤B1中所述两个眼球的视线在所述桌面上的交点,在交点位置处显示光标位置;
B4、获取用户确认步骤B3中的光标位置是否正确的操作信息,若用户确认正确,则校准成功,若用户确认不正确则执行步骤B5;
B5、获取用户手动确认的光标位置,根据用户手动确认的光标位置与步骤B3中的光标位置计算误差参数,并根据计算出的误差参数对步骤A2中的光标位置持续进行调整直至获取到复位操作指令或者下一次校准的操作指令。
用户手动确认的光标位置是指用户通过连接至被控主机的鼠标、触摸屏以及所述智能穿戴设备中的其中一种上进行的手动确认操作。
本发明还提供了一种基于眼部移动识别与控制的鼠标交互系统,采用定位眼镜以及一智能穿戴设备触发鼠标指令,所述定位眼镜以及所述智能穿戴设备本地无线连接至被控主机;在识别出用户穿戴上所述定位眼镜后,所述鼠标指令实现系统包括如下单元:
桌面显示单元,用于在所述被控主机对应的显示器上将桌面以及桌面图标显示出来;
光标定位单元,包括如下视线获取模块及光标位置处理模块:
视线获取模块,用于通过所述定位眼镜实时获取所述用户的两个眼球的视线;
光标位置处理模块,用于实时计算出所述两个眼球的视线在所述桌面上的交点,在所述交点位置处显示光标位置;
鼠标指令触发单元,用于获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作。
本发明的基于眼部移动识别与控制的鼠标交互系统与上述的基于眼部移动识别与控制的鼠标交互方法对应,具体可参照上述,这里不再赘述。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (8)

1.一种基于眼部移动识别与控制的鼠标交互方法,其特征在于,采用定位眼镜以及一智能穿戴设备触发鼠标指令,所述定位眼镜以及所述智能穿戴设备本地无线连接至被控主机;在识别出用户穿戴上所述定位眼镜后,所述鼠标交互方法包括如下步骤:
桌面显示步骤:在所述被控主机对应的显示器上将桌面以及桌面图标显示出来;
光标定位步骤,包括如下步骤A1及A2:
A1、通过所述定位眼镜实时获取所述用户的两个眼球的视线;
A2、实时计算出所述两个眼球的视线在所述桌面上的交点,在所述交点位置处显示光标位置;
还包括光标校准步骤:
B1、获取用户进行校准的触发指令,从而进入校准模式;
B2、通过所述定位眼镜实时获取所述用户的两个眼球的视线;
B3、计算出步骤B1中所述两个眼球的视线在所述桌面上的交点,在交点位置处显示光标位置;
B4、获取用户确认步骤B3中的光标位置是否正确的操作信息,若用户确认正确,则校准成功,若用户确认不正确则执行步骤B5;
B5、获取用户手动确认的光标位置,根据用户手动确认的光标位置与步骤B3中的光标位置计算误差参数,并根据计算出的误差参数对步骤A2中的光标位置持续进行调整直至获取到复位操作指令或者下一次校准的操作指令;
鼠标指令触发步骤:获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作。
2.根据权利要求1所述的鼠标交互方法,其特征在于,所述获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作具体是指:
所述智能穿戴设备上具有一左一右两个按键以及滑动键,所述用户看向某处并单击按键戒指左键时点击或进入某处界面,看向某处并双击按键戒指左键时打开应用,看向某处并单击按键戒指右键时显示属性或性质信息,滑动按键戒指时上下滑动页面,按住按键并转移视线至某一位置时拖动界面。
3.根据权利要求1所述的鼠标交互方法,其特征在于,所述智能穿戴设备为戒指,且所述智能穿戴设备与所述定位眼镜均通过蓝牙/Wifi通信连接至被控主机。
4.根据权利要求1所述的鼠标交互方法,其特征在于,所述用户手动确认的光标位置是指用户通过连接至被控主机的鼠标、触摸屏以及所述智能穿戴设备中的其中一种上进行的手动确认操作。
5.一种基于眼部移动识别与控制的鼠标交互系统,其特征在于,采用定位眼镜以及一智能穿戴设备触发鼠标指令,所述定位眼镜以及所述智能穿戴设备本地无线连接至被控主机;在识别出用户穿戴上所述定位眼镜后,所述鼠标指令实现系统包括如下单元:
桌面显示单元,用于在所述被控主机对应的显示器上将桌面以及桌面图标显示出来;
光标定位单元,包括如下视线获取模块及光标位置处理模块:
视线获取模块,用于通过所述定位眼镜实时获取所述用户的两个眼球的视线;
光标位置处理模块,用于实时计算出所述两个眼球的视线在所述桌面上的交点,在所述交点位置处显示光标位置;
还包括光标校准单元,具体包含如下子单元:
校准触发子单元,用于获取用户进行校准的触发指令,从而进入校准模式;
视线获取子单元,用于通过所述定位眼镜实时获取所述用户的两个眼球的视线;
光标位置处理子单元,用于计算出校准触发子单元中所述两个眼球的视线在所述桌面上的交点,在交点位置处显示光标位置;
操作判断子单元,用于获取用户确认光标位置处理子单元中的光标位置是否正确的操作信息,若用户确认正确,则校准成功,若用户确认不正确则调用校准处理子单元;
校准处理子单元,用于获取用户手动确认的光标位置,根据用户手动确认的光标位置与光标位置处理子单元中的光标位置计算误差参数,并根据计算出的误差参数对光标定位单元中的光标位置持续进行调整直至获取到复位操作指令或者下一次校准的操作指令;
鼠标指令触发单元,用于获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作。
6.根据权利要求5所述的鼠标交互系统,其特征在于,所述获取所述智能穿戴设备上的按键信息,在所述光标位置处产生鼠标触发操作具体是指:
所述智能穿戴设备上具有一左一右两个按键以及滑动键,所述用户看向某处并单击按键戒指左键时点击或进入某处界面,看向某处并双击按键戒指左键时打开应用,看向某处并单击按键戒指右键时显示属性或性质信息,滑动按键戒指时上下滑动页面,按住按键并转移视线至某一位置时拖动界面。
7.根据权利要求5所述的鼠标交互系统,其特征在于,所述智能穿戴设备为戒指,且所述智能穿戴设备与所述定位眼镜均通过蓝牙/Wifi通信连接至被控主机。
8.根据权利要求5所述的鼠标交互系统,其特征在于,所述用户手动确认的光标位置是指用户通过连接至被控主机的鼠标、触摸屏以及所述智能穿戴设备中的其中一种上进行的手动确认操作。
CN201810214157.2A 2018-03-15 2018-03-15 一种基于眼部移动识别与控制的鼠标交互方法与系统 Expired - Fee Related CN108536285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810214157.2A CN108536285B (zh) 2018-03-15 2018-03-15 一种基于眼部移动识别与控制的鼠标交互方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810214157.2A CN108536285B (zh) 2018-03-15 2018-03-15 一种基于眼部移动识别与控制的鼠标交互方法与系统

Publications (2)

Publication Number Publication Date
CN108536285A CN108536285A (zh) 2018-09-14
CN108536285B true CN108536285B (zh) 2021-05-14

Family

ID=63483927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810214157.2A Expired - Fee Related CN108536285B (zh) 2018-03-15 2018-03-15 一种基于眼部移动识别与控制的鼠标交互方法与系统

Country Status (1)

Country Link
CN (1) CN108536285B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955340B (zh) * 2018-09-26 2023-04-07 致伸科技股份有限公司 游标控制系统以及游标控制方法
CN110069101B (zh) * 2019-04-24 2024-04-02 洪浛檩 一种穿戴式计算设备和一种人机交互方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135945A (zh) * 2007-09-20 2008-03-05 苏勇 头控鼠标
CN102693022A (zh) * 2011-12-12 2012-09-26 苏州科雷芯电子科技有限公司 视觉跟踪与语音识别的鼠标系统
CN103294180A (zh) * 2012-03-01 2013-09-11 联想(北京)有限公司 一种人机交互控制方法及电子终端
CN104749777A (zh) * 2013-12-27 2015-07-01 中芯国际集成电路制造(上海)有限公司 可穿戴智能设备的互动方法
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
CN105224064A (zh) * 2014-05-26 2016-01-06 吴玮玮 一种获取用户在鼠标操作中人体运动数据的方法与设备
CN106325480A (zh) * 2015-06-30 2017-01-11 天津三星电子有限公司 基于视线追踪的鼠标控制设备及其方法
CN106502387A (zh) * 2016-09-27 2017-03-15 浙江工业大学 一种基于视线跟踪的跨设备分布式信息传输交互方法
CN107102754A (zh) * 2017-04-28 2017-08-29 北京小米移动软件有限公司 终端控制方法及装置、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135945A (zh) * 2007-09-20 2008-03-05 苏勇 头控鼠标
CN102693022A (zh) * 2011-12-12 2012-09-26 苏州科雷芯电子科技有限公司 视觉跟踪与语音识别的鼠标系统
CN103294180A (zh) * 2012-03-01 2013-09-11 联想(北京)有限公司 一种人机交互控制方法及电子终端
CN104749777A (zh) * 2013-12-27 2015-07-01 中芯国际集成电路制造(上海)有限公司 可穿戴智能设备的互动方法
CN105224064A (zh) * 2014-05-26 2016-01-06 吴玮玮 一种获取用户在鼠标操作中人体运动数据的方法与设备
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
CN106325480A (zh) * 2015-06-30 2017-01-11 天津三星电子有限公司 基于视线追踪的鼠标控制设备及其方法
CN106502387A (zh) * 2016-09-27 2017-03-15 浙江工业大学 一种基于视线跟踪的跨设备分布式信息传输交互方法
CN107102754A (zh) * 2017-04-28 2017-08-29 北京小米移动软件有限公司 终端控制方法及装置、存储介质

Also Published As

Publication number Publication date
CN108536285A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
US10649549B2 (en) Device, method, and system to recognize motion using gripped object
US10254844B2 (en) Systems, methods, apparatuses, computer readable medium for controlling electronic devices
CN106462341B (zh) 用于笔和触敏计算设备交互的传感器相关
Argyros et al. Vision-based interpretation of hand gestures for remote control of a computer mouse
KR101331655B1 (ko) 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체
EP3090331B1 (en) Systems with techniques for user interface control
US20160203359A1 (en) Wink Gesture Based Control System
US20110102570A1 (en) Vision based pointing device emulation
CN110399081A (zh) 监护设备及其显示界面布局调整方法、装置
US20110148755A1 (en) User interface apparatus and user interfacing method based on wearable computing environment
US20240077948A1 (en) Gesture-based display interface control method and apparatus, device and storage medium
CN103677289A (zh) 一种智能交互手套及交互方法
Arai et al. Eye-based HCI with full specification of mouse and keyboard using pupil knowledge in the gaze estimation
US10372223B2 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit
CN103823548B (zh) 电子设备、穿戴式设备、控制系统和方法
KR102297473B1 (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
CN104023802A (zh) 使用神经分析的电子装置的控制
CN108536285B (zh) 一种基于眼部移动识别与控制的鼠标交互方法与系统
US20220253146A1 (en) Combine Inputs from Different Devices to Control a Computing Device
CN109976528B (zh) 一种基于头动调整注视区域的方法以及终端设备
CN109782920A (zh) 一种用于扩展现实的人机交互方法及处理终端
CN109101110A (zh) 一种操作指令执行方法、装置、用户终端及存储介质
CN104702755A (zh) 虚拟手机触摸屏装置及方法
US20160217767A1 (en) A Peripheral Electronic Device and Method for Using Same
CN104484073A (zh) 手部触摸交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210514

CF01 Termination of patent right due to non-payment of annual fee