CN102611801A - 一种基于眼球运动轨迹控制手机交互的系统和方法 - Google Patents

一种基于眼球运动轨迹控制手机交互的系统和方法 Download PDF

Info

Publication number
CN102611801A
CN102611801A CN2012100898025A CN201210089802A CN102611801A CN 102611801 A CN102611801 A CN 102611801A CN 2012100898025 A CN2012100898025 A CN 2012100898025A CN 201210089802 A CN201210089802 A CN 201210089802A CN 102611801 A CN102611801 A CN 102611801A
Authority
CN
China
Prior art keywords
mobile phone
vision
microcontroller
moving track
eyeball moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100898025A
Other languages
English (en)
Inventor
朱益
张冒磊
曾坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jinli Communication Equipment Co Ltd
Original Assignee
Shenzhen Jinli Communication Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jinli Communication Equipment Co Ltd filed Critical Shenzhen Jinli Communication Equipment Co Ltd
Priority to CN2012100898025A priority Critical patent/CN102611801A/zh
Publication of CN102611801A publication Critical patent/CN102611801A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Telephone Function (AREA)

Abstract

本发明公开了一种基于眼球运动轨迹控制手机交互的系统和方法,包括手机本体和安装在手机本体中的主线路板和显示屏,所述主线路板上设置有手机CPU、微控制器、视觉系统微处理芯片、视觉传感器和视觉采集器,所述视觉采集器与视觉传感器连接,视觉传感器通过视觉系统微处理芯片与微控制器连接,所述微控制器与手机CPU相连接。本发明无需用户使用手指对手机系统进行交互操作,使视觉控制完全代替双手对手机的操作成为可能,极大方便了用户对手机的使用操作,同时也解放了双手,解决了用户在使用手机过程中需要使用双手,而不能进行其他操作的问题。

Description

一种基于眼球运动轨迹控制手机交互的系统和方法
技术领域
本发明涉及手机,具体涉及的是一种基于眼球运动轨迹控制手机交互的系统和方法,通过对用户眼球的运动轨迹实现对手机的操作控制,从而达到解放用户双手的目的。
背景技术
随着智能手机的快速发展,通过手势动作、语音等实现对手机的操作控制已经成为现实,上述两种操作方式虽然给手机用户带来了极大的便利,但是由于其使用环境的局限性,在某些特定环境中,使用也极为不便,比如手势动作操作手机需要用户双手或单手对手机采集端摄像头进行操作,在较为寒冷的环境中,用户通常不愿意进行该操作,而语音操作则在环境比较吵闹、尤其是噪音较大的环境中无法使用,其需要一个相对较为安静的环境。
而根据研究发现,人眼在观看手机屏幕时,上下左右的运动是类似的,是可以有依据,有轨迹,有模型的,因此可以以人眼的运动轨迹实现对手机的操作控制,实现手机交互,这种方式可以极大解放用户的双手,避免语音、手势操作所存在的使用环境限制等问题。
发明内容
本发明的目的在于提供一种基于眼球运动轨迹控制手机交互的系统和方法,以解决目前手机需要使用手指控制、语音操作以及手机操作等弊端,实现手机通过人眼视觉控制,方便了用户的多样性使用。
本发明的目的是通过以下技术方案实现的。
一种基于眼球运动轨迹控制手机交互的系统,包括手机本体和安装在手机本体中的主线路板和显示屏,所述主线路板上设置有手机CPU、微控制器、视觉系统微处理芯片、视觉传感器和视觉采集器,所述视觉采集器与视觉传感器连接,视觉传感器通过视觉系统微处理芯片与微控制器连接,所述微控制器与手机CPU相连接。
优选地,所述微控制器还连接有一存储有视觉系统程序算法的存储器,该存储器中固化有视觉系统程序算法、基准轨迹数据以及与该基准轨迹数据对应的操作程序。
另外,本发明还提供了一种基于眼球运动轨迹控制手机交互的方法,包括步骤:
A、视觉采集器获取用户眼球运动轨迹信息,并将该运动轨迹信息发送给视觉传感器;
B、视觉传感器将该运动轨迹信息发送给视觉系统微处理芯片,通过视觉微处理芯片进行处理,生成信息指令数据,并发送给微控制器;
C、控制器调用视觉系统程序算法存储器,对上述信息指令数据进行比较分析,获取控制指令,并发送给手机CPU;
D、手机CPU根据该控制指令对手机进行操作。
优选地,步骤A之前还包括:
采集人眼运动轨迹,并对应设定人眼基准轨迹数据,以及与该人眼基准轨迹数据相对应的操作程序。
优选地,步骤B包括:
视觉微处理芯片将来自视觉传感器的眼球运动轨迹信息转换成数字信号,并将该数字信号发送给微控制器。
优选地,步骤C具体包括:
微控制器调用视觉系统程序算法存储器,将眼球运动轨迹信息指令数据与视觉系统程序算法存储器中对应存储基准轨迹数据进行比较,如果比较通过,则进入到步骤D,否则,则结束。
本发明与现有技术相比,有益效果在于:本发明提供的基于眼球运动轨迹控制手机交互的系统及方法,主要通过视觉采集器、视觉传感器等采集人眼运动轨迹,并对应通过微控制器与存储器中的基准轨迹进行比对,形成相应的操作指令,由手机CPU对应控制操作。本发明无需用户使用手指对手机系统进行交互操作,使视觉控制完全代替双手对手机的操作成为可能,极大方便了用户对手机的使用操作,同时也解放了双手,解决了用户在使用手机过程中需要使用双手,而不能进行其他操作的问题。
附图说明
图1为本发明的系统原理框图。
图2为本发明的工作原理流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1所示,图1为本发明的系统原理框图。本发明提供了一种基于眼球运动轨迹控制手机交互的系统,该系统在手机中设置有视觉系统微处理芯片和微控制器,视觉控制微处理芯片和微控制器始终与手机中的电源处于连接状态,当用户进行眼球运动(上下左右移动,睁眼闭眼)操作时,利用视觉采集器采集用户眼球运动轨迹信息,视觉系统控制微处理芯片对该眼球运动轨迹信息进行处理,微控制器根据处理后的信息与存储器中的数据信息进行分析匹配,根据分析处理匹配后的结果决定是否要操作手机,如果匹配通过,则由眼球运动指令操控手机,使手机处于被操控状态。
其中该系统包括有手机本体和安装在手机本体中的主线路板、显示屏,所述主线路板上设置有手机CPU、微控制器、视觉系统程序存储器、视觉系统微处理芯片、视觉传感器和视觉采集器。
微控制器与手机CPU连接,手机CPU与手机显示屏连接,眼球视觉轨迹采集器用于采集外部用户的眼球运动轨迹信息,并将该信息发送给视觉传感器,传感器将该处理分析后的信息发送给视觉系统微处理芯片,视觉微处理芯片用于对该眼球运动轨迹信息进行处理,将采集到的模拟语音信号转换成数字语音信号,并发送微控制器。
存储器与微控制器连接,且存储器中固化有视觉系统程序算法、基准轨迹数据以及与该基准轨迹数据对应的操作程序。
另外,本发明中的微控制器始终与手机电池处于连接状态,以便于在手机处于关闭等状态下,视觉系统微处理芯片及其他模块能处于工作状态,能够对用户的眼球运动轨迹指令进行相关的操作。
本发明工作时首先视觉采集器采集用户眼球运动的轨迹信息,通过视觉传感器将该些信息发送给视觉系统微处理芯片,芯片调用存储器中的程序及算法将其转换成数字信号并发送给微控制器,微控制器将该数字信号与存储器中的数据信息进行分析处理,并与存储器中的基准轨迹数据进行匹配对比,如果匹配对比未通过,则不对手机系统进行交互操作等;如果通过,则微控制器启动手机CPU,手机CPU对手机系统进行控制,实现开机,切换程序,进入应用菜单以及交互等操作。
请参阅图2所示,图2为本发明的工作原理流程图。本发明还提供了一种基于眼球运动轨迹控制手机交互的方法,包括步骤:
A、视觉采集器获取用户眼球运动轨迹信息,并将该运动轨迹信息发送给视觉传感器;
步骤A之前还包括:
采集人眼运动轨迹,并对应设定人眼基准轨迹数据,以及与该人眼基准轨迹数据相对应的操作程序;
B、视觉传感器将该运动轨迹信息发送给视觉系统微处理芯片,通过视觉微处理芯片进行处理,生成信息指令数据,并发送给微控制器;
步骤B包括:
视觉微处理芯片将来自视觉传感器的眼球运动轨迹信息转换成数字信号,并将该数字信号发送给微控制器;
C、控制器调用视觉系统程序算法存储器,对上述信息指令数据进行比较分析,获取控制指令,并发送给手机CPU;
步骤C具体包括:
微控制器调用视觉系统程序算法存储器,将眼球运动轨迹信息指令数据与视觉系统程序算法存储器中对应存储基准轨迹数据进行比较,如果比较通过,则进入到步骤D,否则,则结束;
D、手机CPU根据该控制指令对手机进行操作。
本发明不论是在手机关机还是待机状态下,安装在手机中的视觉系统微处理芯片和微控制器都是处于工作模式的,通过视觉系统微处理芯片对采集到的用户眼球运动轨迹指令进行分析处理,并通过微控制器对采集到的指令进行比对,如果与预先设定的用户指令匹配,则控制手机CPU,同时手机系统也被动做出交互动作,手机也处于接受指令状态中,手机也在等待后续的眼球运动轨迹信息来实现控制操作。与现有技术相比,本发明无需用户使用双手操作手机,为特定地区特定环境下使用手机提供了另外的方式,也提高了用户在使用手机的同时进行其他工作时的效率,使得该种方式交互代替双手对手机的操作成为可能,极大方便了用户对手机的使用操作。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于眼球运动轨迹控制手机交互的系统,包括手机本体和安装在手机本体中的主线路板和显示屏,其特征在于所述主线路板上设置有手机CPU、微控制器、视觉系统微处理芯片、视觉传感器和视觉采集器,所述视觉采集器与视觉传感器连接,视觉传感器通过视觉系统微处理芯片与微控制器连接,所述微控制器与手机CPU相连接。
2.根据权利要求1所述的基于眼球运动轨迹控制手机交互的系统,其特征在于所述微控制器还连接有一存储有视觉系统程序算法的存储器,该存储器中固化有视觉系统程序算法、基准轨迹数据以及与该基准轨迹数据对应的操作程序。
3.一种基于眼球运动轨迹控制手机交互的方法,其特征在于包括步骤:
A、视觉采集器获取用户眼球运动轨迹信息,并将该运动轨迹信息发送给视觉传感器;
B、视觉传感器将该运动轨迹信息发送给视觉系统微处理芯片,通过视觉微处理芯片进行处理,生成信息指令数据,并发送给微控制器;
C、控制器调用视觉系统程序算法存储器,对上述信息指令数据进行比较分析,获取控制指令,并发送给手机CPU;
D、手机CPU根据该控制指令对手机进行操作。
4.根据权利要求3所述的基于眼球运动轨迹控制手机交互的方法,其特征在于步骤A之前还包括:
采集人眼运动轨迹,并对应设定人眼基准轨迹数据,以及与该人眼基准轨迹数据相对应的操作程序。
5.根据权利要求3所述的基于眼球运动轨迹控制手机交互的方法,其特征在于步骤B包括:
视觉微处理芯片将来自视觉传感器的眼球运动轨迹信息转换成数字信号,并将该数字信号发送给微控制器。
6.根据权利要求3所述的基于眼球运动轨迹控制手机交互的方法,其特征在于步骤C具体包括:
微控制器调用视觉系统程序算法存储器,将眼球运动轨迹信息指令数据与视觉系统程序算法存储器中对应存储基准轨迹数据进行比较,如果比较通过,则进入到步骤D,否则,则结束。
CN2012100898025A 2012-03-30 2012-03-30 一种基于眼球运动轨迹控制手机交互的系统和方法 Pending CN102611801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100898025A CN102611801A (zh) 2012-03-30 2012-03-30 一种基于眼球运动轨迹控制手机交互的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100898025A CN102611801A (zh) 2012-03-30 2012-03-30 一种基于眼球运动轨迹控制手机交互的系统和方法

Publications (1)

Publication Number Publication Date
CN102611801A true CN102611801A (zh) 2012-07-25

Family

ID=46528949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100898025A Pending CN102611801A (zh) 2012-03-30 2012-03-30 一种基于眼球运动轨迹控制手机交互的系统和方法

Country Status (1)

Country Link
CN (1) CN102611801A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116973A (zh) * 2013-01-22 2013-05-22 周万荣 一种基于应用的遥控设备和系统
CN103595984A (zh) * 2012-08-13 2014-02-19 辉达公司 3d眼镜、3d显示系统及3d显示方法
CN103616953A (zh) * 2013-11-27 2014-03-05 福州瑞芯微电子有限公司 一种屏幕解锁和应用启动的方法及装置
CN103857063A (zh) * 2012-11-29 2014-06-11 广州市千钧网络科技有限公司 基于移动终端的空间状态建立连接的方法和装置
CN103869829A (zh) * 2012-12-13 2014-06-18 鸿富锦精密工业(武汉)有限公司 显示屏移动系统及方法
CN104252230A (zh) * 2014-09-04 2014-12-31 苏州三星电子电脑有限公司 笔记本电脑屏幕开关控制方法
CN104348970A (zh) * 2013-09-05 2015-02-11 陈英时 一种利用视线操作手机主页面的方法
CN104348969A (zh) * 2013-09-05 2015-02-11 陈英时 一种利用视线凝视操作手机的方法
CN104460958A (zh) * 2013-09-17 2015-03-25 中兴通讯股份有限公司 一种屏幕显示调整方法、装置及移动终端
CN103869829B (zh) * 2012-12-13 2016-11-30 鸿富锦精密工业(武汉)有限公司 显示屏移动系统及方法
CN106250140A (zh) * 2016-07-27 2016-12-21 深圳市金立通信设备有限公司 一种信息的处理方法及终端
CN106610722A (zh) * 2016-12-26 2017-05-03 宇龙计算机通信科技(深圳)有限公司 一种终端控制方法及系统
CN106686295A (zh) * 2015-11-11 2017-05-17 中兴通讯股份有限公司 一种控制摄像设备的方法和装置
CN106774928A (zh) * 2016-12-30 2017-05-31 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
CN106814850A (zh) * 2016-12-03 2017-06-09 西安科锐盛创新科技有限公司 基于视线轨迹的模拟飞行操作测试系统及测试方法
CN106814849A (zh) * 2016-12-03 2017-06-09 西安科锐盛创新科技有限公司 基于眼球追踪的模拟飞行操作测试辅助系统及方法
WO2018223606A1 (zh) * 2017-06-09 2018-12-13 歌尔股份有限公司 一种设备的输入方法和装置
CN111007943A (zh) * 2019-12-27 2020-04-14 北京明略软件系统有限公司 一种电子音箱的唤醒方法和电子音箱
US10620903B2 (en) 2017-06-09 2020-04-14 Goertek Inc. Method and device for processing display data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291364A (zh) * 2008-05-30 2008-10-22 深圳华为通信技术有限公司 一种移动通信终端的交互方法、装置及移动通信终端
CN101673173A (zh) * 2009-08-17 2010-03-17 宇龙计算机通信科技(深圳)有限公司 一种显示界面的调节装置、方法和移动终端
CN101741982A (zh) * 2009-12-23 2010-06-16 中兴通讯股份有限公司 移动通信终端及其控制方法
US20100156781A1 (en) * 2008-12-19 2010-06-24 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN102316219A (zh) * 2011-09-21 2012-01-11 深圳市同洲电子股份有限公司 一种网络终端设备的控制方法、装置和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291364A (zh) * 2008-05-30 2008-10-22 深圳华为通信技术有限公司 一种移动通信终端的交互方法、装置及移动通信终端
US20100156781A1 (en) * 2008-12-19 2010-06-24 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
CN101673173A (zh) * 2009-08-17 2010-03-17 宇龙计算机通信科技(深圳)有限公司 一种显示界面的调节装置、方法和移动终端
CN101741982A (zh) * 2009-12-23 2010-06-16 中兴通讯股份有限公司 移动通信终端及其控制方法
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN102316219A (zh) * 2011-09-21 2012-01-11 深圳市同洲电子股份有限公司 一种网络终端设备的控制方法、装置和系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595984A (zh) * 2012-08-13 2014-02-19 辉达公司 3d眼镜、3d显示系统及3d显示方法
CN103857063A (zh) * 2012-11-29 2014-06-11 广州市千钧网络科技有限公司 基于移动终端的空间状态建立连接的方法和装置
CN103869829A (zh) * 2012-12-13 2014-06-18 鸿富锦精密工业(武汉)有限公司 显示屏移动系统及方法
CN103869829B (zh) * 2012-12-13 2016-11-30 鸿富锦精密工业(武汉)有限公司 显示屏移动系统及方法
CN103116973A (zh) * 2013-01-22 2013-05-22 周万荣 一种基于应用的遥控设备和系统
CN104348969A (zh) * 2013-09-05 2015-02-11 陈英时 一种利用视线凝视操作手机的方法
CN104348970A (zh) * 2013-09-05 2015-02-11 陈英时 一种利用视线操作手机主页面的方法
CN104460958B (zh) * 2013-09-17 2019-06-14 中兴通讯股份有限公司 一种屏幕显示调整方法、装置及移动终端
CN104460958A (zh) * 2013-09-17 2015-03-25 中兴通讯股份有限公司 一种屏幕显示调整方法、装置及移动终端
CN103616953A (zh) * 2013-11-27 2014-03-05 福州瑞芯微电子有限公司 一种屏幕解锁和应用启动的方法及装置
CN104252230A (zh) * 2014-09-04 2014-12-31 苏州三星电子电脑有限公司 笔记本电脑屏幕开关控制方法
CN106686295A (zh) * 2015-11-11 2017-05-17 中兴通讯股份有限公司 一种控制摄像设备的方法和装置
WO2017080327A1 (zh) * 2015-11-11 2017-05-18 中兴通讯股份有限公司 一种控制摄像设备的方法和装置
CN106250140A (zh) * 2016-07-27 2016-12-21 深圳市金立通信设备有限公司 一种信息的处理方法及终端
CN106814849A (zh) * 2016-12-03 2017-06-09 西安科锐盛创新科技有限公司 基于眼球追踪的模拟飞行操作测试辅助系统及方法
CN106814850A (zh) * 2016-12-03 2017-06-09 西安科锐盛创新科技有限公司 基于视线轨迹的模拟飞行操作测试系统及测试方法
CN106814849B (zh) * 2016-12-03 2020-08-14 中信海洋直升机股份有限公司 基于眼球追踪的模拟飞行操作测试辅助系统及方法
CN106610722A (zh) * 2016-12-26 2017-05-03 宇龙计算机通信科技(深圳)有限公司 一种终端控制方法及系统
CN106774928A (zh) * 2016-12-30 2017-05-31 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
WO2018223606A1 (zh) * 2017-06-09 2018-12-13 歌尔股份有限公司 一种设备的输入方法和装置
US10620903B2 (en) 2017-06-09 2020-04-14 Goertek Inc. Method and device for processing display data
US10915168B2 (en) 2017-06-09 2021-02-09 Goertek Inc. Input method and apparatus of device
US11106422B2 (en) 2017-06-09 2021-08-31 Goertek Inc. Method for processing display data
CN111007943A (zh) * 2019-12-27 2020-04-14 北京明略软件系统有限公司 一种电子音箱的唤醒方法和电子音箱

Similar Documents

Publication Publication Date Title
CN102611801A (zh) 一种基于眼球运动轨迹控制手机交互的系统和方法
CN109981839A (zh) 一种具有柔性屏幕的电子设备的显示方法及电子设备
CN204129661U (zh) 可穿戴装置及具有该可穿戴装置的语音控制系统
CN109766043A (zh) 电子设备的操作方法和电子设备
CN110471639A (zh) 显示方法及相关装置
CN109445572A (zh) 全屏显示视频中快速调出小窗口的方法、图形用户接口及终端
CN105260093B (zh) 一种智能设置屏幕旋转的方法、装置及移动终端
CN108777859A (zh) 移动终端与穿戴设备间的数据处理方法、终端及存储介质
CN110531864A (zh) 一种手势交互方法、装置及终端设备
CN103167151A (zh) 一种手机装入口袋自动锁屏系统及方法
JP7397861B2 (ja) スタイラスペン検出方法、システムおよび関連装置
CN104423822B (zh) 录制自动化测试脚本的方法及装置
CN103488403A (zh) 界面布局切换方法、装置和移动终端
CN103488939A (zh) 一种提示用户的方法、装置及终端
CN105487658A (zh) 控制应用运行的方法及装置
CN110518707A (zh) 发射端设备、接收端设备及无线充电方法
CN103399657B (zh) 鼠标指针的控制方法、装置及终端设备
CN110058836A (zh) 一种音频信号的输出方法及终端设备
CN205968983U (zh) 一种智能机器人及其控制系统
CN108170358A (zh) 手机与平视显示器交互方法
CN109407929A (zh) 一种桌面图标的整理方法及终端
CN108765907A (zh) 用于控制手机和平板电脑的遥控器及增加相应特征
CN109683768A (zh) 一种应用的操作方法及移动终端
CN202424833U (zh) 一种全语音操控移动终端的系统
CN103873661A (zh) 状态切换方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120725