CN112965607A - 一种眼镜鼠标及其控制方法 - Google Patents

一种眼镜鼠标及其控制方法 Download PDF

Info

Publication number
CN112965607A
CN112965607A CN202110399657.XA CN202110399657A CN112965607A CN 112965607 A CN112965607 A CN 112965607A CN 202110399657 A CN202110399657 A CN 202110399657A CN 112965607 A CN112965607 A CN 112965607A
Authority
CN
China
Prior art keywords
mouse
eye
image
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110399657.XA
Other languages
English (en)
Inventor
王孟庠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Eyescare Technology Co ltd
Original Assignee
Hangzhou Eyescare Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Eyescare Technology Co ltd filed Critical Hangzhou Eyescare Technology Co ltd
Priority to CN202110399657.XA priority Critical patent/CN112965607A/zh
Publication of CN112965607A publication Critical patent/CN112965607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及鼠标技术领域,具体为一种眼镜鼠标及其控制方法。该眼镜鼠标,包括电源和显示设备,还包括:光学前处理模块、光学还原处理模块、演算单元、定位单元、运算对应单元和输出控制单元。同时还提供了一种基于利用光学组合单元,控制显示设备操作的方法:用户的眼睛动作,该方法包括接收眼用户的运动信息,接收用户的眼信息,生成与该用户的运动信息相对应的控制命令眼移动信息和闪烁信息,并生成的控制命令控制显示设备模块的操作。

Description

一种眼镜鼠标及其控制方法
技术领域
本发明涉及鼠标技术领域,具体为一种眼镜鼠标及其控制方法。
背景技术
传统的光学鼠,光从安装在光学装置底部的光学传感器发出鼠感知光学系统的运动变化鼠根据反射光。光学鼠是目前使用最广泛的鼠。现有如陀螺仪鼠是一个鼠标不需要接地,陀螺仪鼠包括陀螺仪传感器,以根据陀螺仪的倾斜度感测X、Y和Z轴上的三维(3D)运动鼠。无线陀螺仪鼠最近被引入。陀螺仪鼠也称为“空气鼠”,因为它可以在空中使用。但是,行动不便的人很难将上述任何鼠标用作输入设备。
因此,眼鼠已经被开发出来,眼鼠是特别的鼠标它可以供残疾人使用,并且可以根据眼睛的瞳孔反射光点运用数据计算来移动。
发明内容
本发明的目的在于提供一种眼镜鼠标,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种眼镜鼠标,包括电源和显示设备,还包括:
光学前处理模块,用于摄像截取用户眼睛图像;
光学还原处理模块,用于将上述摄像的眼睛图像还原为原图像;
演算单元,用于确定用户眼睛凝视的位置;
定位单元,通过用户的眼凝视的位置,拍摄眼的图像,产生对应凝视的运动方向信息;
运算对应单元,用于确定眼睛图像及定位相对应的位置信息;
输出控制单元,用于向所述显示设备输出并显示内容,生成相对于上述位置信息生成所选对应的控制命令;
所述电源用于对眼镜鼠标供电。
作为优选,还包括夹持件,眼镜鼠标通过夹持件固定于眼镜上。
作为优选,所述的光学前处理模块包括针孔或广角微镜头对眼睛摄像;所述的光学还原处理模块为一个或多个棱镜将摄像还原为原图像。
作为优选,所述的光学前处理模块执行图像截取每秒图像为100帧以上,演算单元需在时间上具有连续性的3个帧以上的演算对比,才能确保定位。
作为优选,所述运算对应单元将眼的图像生成划分为九个控制区域令,输出到显示设备与控制命令相对应。
作为优选,所述的显示设备为液晶显示器、VR虚拟显示或通信终端显示。
作为优选,所述的输出控制单元的传输方式为缆线构造USB接口或蓝牙无线连接传输。
一种基于上述眼镜鼠标的控制方法,包括以下步骤:
步骤(1),通过光学前处理模块摄像截取用户眼睛图像;
步骤(2),通过光学还原处理模块将上述摄像的眼睛图像还原为原图像;
步骤(3),通过演算单元确定用户眼睛凝视的位置;
步骤(4),通过用户的眼凝视的位置,拍摄眼的图像,通过定位单元产生对应凝视的运动方向信息;
步骤(5),通过运算对应单元确定眼睛图像及定位相对应的位置信息;
步骤(6),通过输出控制单元向所述显示设备输出并显示内容,生成相对于上述位置信息生成所选对应的控制命令。
作为优选,步骤(3)中,演算单元需在时间上具有连续性的3个帧以上的演算对比,才能确保定位。
作为优选,步骤(5)中运算对应单元将眼的图像生成划分为九个控制区域令,输出到显示设备与控制命令相对应。
与现有技术相比,本发明的有益效果是:本发明提供了一种基于利用光学组合单元,控制显示设备的操作的方法:用户的眼睛动作,该方法包括接收眼用户的运动信息,接收用户的眼信息,生成与该用户的运动信息相对应的控制命令眼移动信息和闪烁信息,并生成的控制命令控制显示设备模块的操作。
附图说明
图1为本产品眼镜鼠标的前视图。
图2为本产品眼镜鼠标的后视图。
图3为本产品眼镜鼠标的左视图。
图4为本产品眼镜鼠标的右视图。
图5为本产品眼镜鼠标的俯视图。
图6为本产品眼镜鼠标的仰视图。
图7为本产品眼镜鼠标配合眼镜的使用示意图。
图8为本产品眼镜鼠标部件标示说明图。
图9为眼镜鼠标控制方法的流程图。
图10为光学组合单模拟处理还原示意图。
图11为眼凝视的位置图像示意图。
图12为显示划分多个控制区域令及其眼睛位置定位示意图。
图13为本产品的芯片模组示意图。
图中:1、摄像头;2、夹持件;3、发光元件;4、开关;5、光学前处理模块;6、光学还原处理模块;7、电源;8、输出控制单元;9、SOC芯片;91、演算单元;92、定位单元;93、运算对应单元。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
设计构思:
首先,采集接收眼用户的眼睛运动信息。根据采集的内容识别设备在显示区域内的凝视位置眼用户的运动信息。基于该位置与凝视位置对眼睛摄像,每秒60次以上。将眼运动信息,注视位置生成与设备的显示区域内的区域相对应的控制命令。眼运动信息用来控制命令来控制设备的操作。
希望达到的效果:其操作方式是眼镜鼠标被移动时,显示屏上的光标也会移动,并且当鼠标按下按钮,执行命令。由于这种相对简单的用法,鼠标与用于输入命令的键盘一起广泛用作输入设备。
需要说明的是本实施例中的演算单元91、定位单元92和运算对应单元93是通过现有系统级芯片运行相应程序来实现功能,如图13所示,采用SOC芯片9,其内建嵌有基本软件RDOS或COS以及其他应用软件,模块可载入的用户软件;在此可载入包括上述三个功能单元模块(即演算单元91、定位单元92和运算对应单元93)。由于软件实现方式较多,故不做详述,凡能够实现本产品相同或等同功能的均落入保护范围。
实施例一:
如图1-8所示的一种眼镜鼠标,包括利用光学组合单元摄像截取用户眼睛图像,并于组合单元内还原图像,本组合单元由光学前处理模块5与光学还原处理模块6组合而成,无需图像生成数据计算和插补图像数据处理。
更为具体地,光学前处理模块5包括针孔或广角微镜头(摄像头1)对眼睛摄像,因角度非正面,利光学还原处理模块6以一个或多个棱镜将摄像还原为原图像。
光学组合单元执行图像截取,在时间上具有连续性的3个帧以上的图像之中比对透过演算单元演算确定用户眼睛的位置,瞳孔中心位置可根据现有瞳孔中心快速定位方法技术做多次比对确认。
通过用户的眼凝视的位置和凝视的移动方向,拍摄眼的图像,即可将相对应凝视的运动方向信息来产生运动信息和控制命令,比对影像,如A点对A点;B点对B点。
更为具体地,眼的图像生成划分为多个区域,与显示设备相对应,然后输出到显示设备。显示设备可以是液晶显示器、VR虚拟显示设备、通信终端设备等。
更为具体地,输出传输方式可以为缆线构造USB接口或蓝牙无线连接传输。
更为具体地,包括将显示设备的显示划分为多个区域,并且生成可以包括用户从划分的区域中凝视的区域和视线的凝视的移动方向来生成控制命令。来自用户眼动作区域的用户。(见图12)
划分可以包括在设备的显示器上显示内容的区域来划分显示器。(见图11)产生可以包括用户的视线从显示器到显示器外部的区域的运动来产生控制命令。每个人的眼睛及用眼习惯不同,且使用的显示设备也不同,因此在使用时的第一时间需要做定位;也就是说当用户看到A时,拍摄到的眼睛图像可作为A点的定位图像,定位至少要做九个点。显示器外部是指,若鼠标超出九个定位点连起的范围之外,要有可辨识的功能。
用户的单眼或双眼的视线或焦点可以用于系统和装置实时地跟踪相对于设备的显示屏(如触摸感测屏)。于定位单元生成的光标或焦点指示可与设备上的按钮,开关或触发器结合使用。
工作过程:
1.实际操作中,用户将眼镜鼠标安装在右眼或左眼眼镜前方,如果无法固定位置,可使用夹子(夹持件2)将眼镜鼠标固定。若无戴眼镜者,可用支架固定。
2.打开开关4开启电源7启动系统,系统启动后输出,传输方式可以为缆线构造USB接口或蓝牙无线连接传输连接显示设备,设备可以是液晶显示器、VR虚拟显示设备、通信终端设备等。
3.用户可选择右眼或左眼。设备屏幕上将出现定位标示,运用定位单元通过用户的眼凝视的位置和凝视的移动方向,拍摄眼的图像,即可将相对应凝视的运动方向信息来产生运动信息和控制命令,可进行校准及验证定位校准。摄眼睛所得的图像,因不是正面摄像,图像会产生畸变;且在快速摄像中可能会有眨眼或泪水影响,因此需要做反复比对的动作。
4.等待校准完成,屏幕上出现提示。若校准不成功,重复校准步骤。
5.使用眼镜鼠标时,为了收集准确的眼睛跟踪数据,每秒图像需100帧以上;光学还原处理图像比对需在时间上具有连续性的3个帧以上的图像;演算单元需在时间上具有连续性的3次以上的演算对比,才能确保定位。
6.当眼镜鼠标在非正当使用或非正当充电时,出现异常工作时,可轻按开关4,使眼镜鼠标负未恢复到正常工作状态。
7.USB接收器尾端插入鼠标右侧,然后插入电源USB接口,此时LED灯(发光元件3)点亮红色,表示正在充电,等LED灯提示为绿色时,表示充电完成。
实施例二:
如图9-12所示,上述眼镜鼠标的控制方法,包括以下步骤:
步骤(1),通过光学前处理模块摄像截取用户眼睛图像;
步骤(2),通过光学还原处理模块将上述摄像的眼睛图像还原为原图像;
步骤(3),通过演算单元确定用户眼睛凝视的位置;
步骤(4),通过用户的眼凝视的位置,拍摄眼的图像,通过定位单元产生对应凝视的运动方向信息;
步骤(5),通过运算对应单元确定眼睛图像及定位相对应的位置信息;
步骤(6),通过输出控制单元8向所述显示设备输出并显示内容,生成相对于上述位置信息生成所选对应的控制命令。
其中,步骤(3)中,演算单元需在时间上具有连续性的3个帧以上的演算对比,才能确保定位。
其中,步骤(5)中运算对应单元将眼的图像生成划分为九个控制区域令,即将标示A-I为眼睛图像及定位相对应位置,输出到显示设备与控制命令相对应产生对应指令或操作动作,具体如下:
在设备的显示器上显示包括控制命令的列表的控制命令选择窗口;经由控制面板的用户输入运算对应单元,图相对应从包括在控制命令选择窗口中的控制命令行表中选择控制命令。显示的控制命令选择窗口,并根据输出控制单元8输出并显示的内容将设备显示器上的光标移动到预定对象用户的眼运动信息,并且该生成可以包括:响应于该对象,相对于该对像生成与所选控制命令相对应的控制命令。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种眼镜鼠标,包括电源和显示设备,其特征是,还包括:
光学前处理模块,用于摄像截取用户眼睛图像;
光学还原处理模块,用于将上述摄像的眼睛图像还原为原图像;
演算单元,用于确定用户眼睛凝视的位置;
定位单元,通过用户的眼凝视的位置,拍摄眼的图像,产生对应凝视的运动方向信息;
运算对应单元,用于确定眼睛图像及定位相对应的位置信息;
输出控制单元,用于向所述显示设备输出并显示内容,生成相对于上述位置信息生成所选对应的控制命令;
所述电源用于对眼镜鼠标供电。
2.根据权利要求1所述的眼镜鼠标,其特征是,还包括夹持件,眼镜鼠标通过夹持件固定于眼镜上。
3.根据权利要求1所述的眼镜鼠标,其特征是,所述的光学前处理模块包括针孔或广角微镜头对眼睛摄像;所述的光学还原处理模块为一个或多个棱镜将摄像还原为原图像。
4.根据权利要求1所述的眼镜鼠标,其特征是,所述的光学前处理模块执行图像截取每秒图像为60-100帧,演算单元需在时间上具有连续性的3个帧以上的演算对比,才能确保定位。
5.根据权利要求1所述的眼镜鼠标,其特征是,所述运算对应单元将眼的图像生成划分为九个控制区域令,输出到显示设备与控制命令相对应。
6.根据权利要求1所述的眼镜鼠标,其特征是,所述的显示设备为液晶显示器、VR虚拟显示或通信终端显示。
7.根据权利要求1所述的眼镜鼠标,其特征是,所述的输出控制单元的传输方式为缆线构造USB接口或蓝牙无线连接传输。
8.一种基于权利要求1-7任意一项所述眼镜鼠标的控制方法,其特征是,包括以下步骤:
步骤(1),通过光学前处理模块摄像截取用户眼睛图像;
步骤(2),通过光学还原处理模块将上述摄像的眼睛图像还原为原图像;
步骤(3),通过演算单元确定用户眼睛凝视的位置;
步骤(4),通过用户的眼凝视的位置,拍摄眼的图像,通过定位单元产生对应凝视的运动方向信息;
步骤(5),通过运算对应单元确定眼睛图像及定位相对应的位置信息;
步骤(6),通过输出控制单元向所述显示设备输出并显示内容,生成相对于上述位置信息生成所选对应的控制命令。
9.根据权利要求8所述的眼镜鼠标的控制方法,其特征是,步骤(3)中,演算单元需在时间上具有连续性的3个帧以上的演算对比,才能确保定位。
10.根据权利要求8所述的眼镜鼠标的控制方法,其特征是,步骤(5)中运算对应单元将眼的图像生成划分为九个控制区域令,输出到显示设备与控制命令相对应。
CN202110399657.XA 2021-04-14 2021-04-14 一种眼镜鼠标及其控制方法 Pending CN112965607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399657.XA CN112965607A (zh) 2021-04-14 2021-04-14 一种眼镜鼠标及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399657.XA CN112965607A (zh) 2021-04-14 2021-04-14 一种眼镜鼠标及其控制方法

Publications (1)

Publication Number Publication Date
CN112965607A true CN112965607A (zh) 2021-06-15

Family

ID=76280452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399657.XA Pending CN112965607A (zh) 2021-04-14 2021-04-14 一种眼镜鼠标及其控制方法

Country Status (1)

Country Link
CN (1) CN112965607A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149157A (zh) * 1995-10-02 1997-05-07 齐伯瑙特有限公司 不需要用手的便携式计算机及系统
CN102707793A (zh) * 2011-03-28 2012-10-03 宗鹏 眼控鼠标
CN103500061A (zh) * 2013-09-26 2014-01-08 三星电子(中国)研发中心 控制显示器的方法及设备
CN103777351A (zh) * 2012-10-26 2014-05-07 鸿富锦精密工业(深圳)有限公司 多媒体眼镜
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149157A (zh) * 1995-10-02 1997-05-07 齐伯瑙特有限公司 不需要用手的便携式计算机及系统
CN102707793A (zh) * 2011-03-28 2012-10-03 宗鹏 眼控鼠标
CN103777351A (zh) * 2012-10-26 2014-05-07 鸿富锦精密工业(深圳)有限公司 多媒体眼镜
CN103500061A (zh) * 2013-09-26 2014-01-08 三星电子(中国)研发中心 控制显示器的方法及设备
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统

Similar Documents

Publication Publication Date Title
US10788673B2 (en) User-based context sensitive hologram reaction
US9310891B2 (en) Method and system enabling natural user interface gestures with user wearable glasses
CA2961830C (en) Display visibility based on eye convergence
US10102676B2 (en) Information processing apparatus, display apparatus, information processing method, and program
WO2016184107A1 (zh) 用于视线焦点定位的可穿戴设备及视线焦点定位方法
CN204595327U (zh) 头戴式显示装置
CN103294180B (zh) 一种人机交互控制方法及电子终端
CN108508603B (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
CN104898276A (zh) 头戴式显示装置
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
CN101644976A (zh) 表面多点触摸装置及其定位方法
KR101697286B1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
KR101709611B1 (ko) 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
CN106919262A (zh) 增强现实设备
KR20130034125A (ko) 증강현실 기능을 구비한 안경형 모니터
CN204595329U (zh) 头戴式显示装置
CN104749777A (zh) 可穿戴智能设备的互动方法
CN104750230A (zh) 可穿戴智能设备及其交互的方法、可穿戴智能设备系统
CN104865701A (zh) 头戴式显示装置
CN201489503U (zh) 表面多点触摸装置
WO2016101861A1 (zh) 头戴式显示装置
CN113160260B (zh) 一种头眼双通道智能人机交互系统及运行方法
US20160110883A1 (en) Expectation Maximization to Determine Position of Ambient Glints
CN104063037B (zh) 一种操作命令识别方法、装置和穿戴式电子设备
CN105446580A (zh) 一种控制方法及便携式电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210615

WD01 Invention patent application deemed withdrawn after publication