CN113655886A - 一种输入方法、输入系统、计算设备及存储介质 - Google Patents
一种输入方法、输入系统、计算设备及存储介质 Download PDFInfo
- Publication number
- CN113655886A CN113655886A CN202110949986.7A CN202110949986A CN113655886A CN 113655886 A CN113655886 A CN 113655886A CN 202110949986 A CN202110949986 A CN 202110949986A CN 113655886 A CN113655886 A CN 113655886A
- Authority
- CN
- China
- Prior art keywords
- control unit
- display interface
- unit
- cursor
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 210000001508 eye Anatomy 0.000 claims abstract description 54
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 10
- 230000004438 eyesight Effects 0.000 claims abstract description 5
- 238000007405 data analysis Methods 0.000 claims description 17
- 210000004087 cornea Anatomy 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 6
- 210000001525 retina Anatomy 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 7
- 241000699666 Mus <mouse, genus> Species 0.000 description 61
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 239000006196 drop Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 6
- 230000004397 blinking Effects 0.000 description 4
- 241000699670 Mus sp. Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003889 eye drop Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种输入方法、输入系统、计算设备及存储介质,输入方法包括:通过控制模块确定计算设备的显示界面中光标的位置;在采集装置开启时,通过采集装置采集眼球在显示界面的视线落点坐标,并发送至控制模块;通过控制模块将光标移动至视线落点坐标处,并通过输入模块在显示界面的光标当前位置处输入信息。由上述内容可知,本发明通过采集装置采集眼睛在显示界面的视线落点坐标即可确定光标移动的位置,从而无需鼠标即可移动光标,实现了由采集装置和输入模块共同组成输入设备,因此输入信息过程中无需手动操作鼠标,对于用户而言使用更加简便,提高使用的便利性。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种输入方法、输入系统、计算设备及存储介质。
背景技术
随着计算机的不断发展,鼠标和键盘作为计算机必备的输入设备,使用也越来越广泛,但是针对输入设备的改进确是不容乐观,使得在使用鼠标和键盘时,需要在键盘和鼠标之间切换操作。
已有技术中,通过键盘输入内容,在需要移动光标位置时,一种方法是需要用户操作鼠标,另一种方法是触发键盘上的tab键,每触发一次tab键光标移动一个字符位置或者一列位置。但是,频繁在键盘和鼠标之间进行切换,对于用户而言使用起来不方便,若通过键盘上的tab键实现光标的移动,导致移动光标的效率低下。
发明内容
为此,本发明提供一种输入方法,以力图解决或者至少缓解上面存在的问题。
根据本发明的一个方面,提供了一种输入方法,在输入系统中执行,输入系统包括计算设备和采集装置,计算设备包括控制模块和输入模块,所述方法包括:通过控制模块确定计算设备的显示界面中光标的位置;在采集装置开启时,通过采集装置采集眼球在显示界面的视线落点坐标,并发送至控制模块;通过控制模块将光标移动至视线落点坐标处,并通过输入模块在显示界面的光标当前位置处输入信息。
可选地,计算设备还包括触控模块,触控模块包括开启/关闭控制单元,采集装置包括控制单元,方法还包括步骤:响应触发开启/关闭控制单元的操作,通过控制模块向所述控制单元发送开启采集装置的通知消息,以开启采集装置。
可选地,采集装置还包括数据采集单元,方法还包括步骤:通过控制单元向数据采集单元发送第一指令,第一指令为采集眼睛在显示界面的视线落点坐标的指令。
可选地,采集装置还包括数据分析单元,数据采集单元包括光源发射单元、图像采集单元,通过所述采集装置采集在眼球在显示界面的视线落点坐标,并发送至控制模块的步骤包括:通过光源发射单元向眼睛发射光线,以在眼睛的角膜和视网膜中产生反射图像;通过图像采集单元采集反射图像,发送至数据分析单元;通过数据分析单元分析采集到的反射图像的内容,确定眼睛在显示界面的视线落点坐标;通过所述控制单元将视线落点坐标发送至控制模块。
可选地,触控模块还包括鼠标左键控制单元,方法还包括步骤:响应触发所述鼠标左键控制单元的操作,通过控制模块将显示界面的光标所在位置处的内容执行与鼠标左键相同的动作。
可选地,触发鼠标左键控制单元的操作包括单次触发鼠标作键控制单元、连续两次触发鼠标作键控制单元和长按鼠标左键控制单元。
可选地,触控模块还包括鼠标右键控制单元,方法还包括步骤:响应触发鼠标右键控制单元的操作,通过控制模块将显示界面的光标所在位置处的内容执行与鼠标右键相同的动作。
可选地,触发鼠标右键控制单元的操作包括单次触发鼠标右键控制单元和长按鼠标左键控制单元。
可选地,还包括步骤:响应再次触发开启/关闭控制单元的操作,通过通知模块向控制单元发送关闭视点坐标采集装置的通知消息,此时不会通过视点坐标采集装置采集在显示界面的视线位置数据。
可选地,采集装置为眼动仪,输入模块为键盘。
可选地,触控模块集成于计算设备的键盘中或者集成于计算设备的触控板中或者集成于计算设备的外接键盘中。
根据本发明的另一个方面,提供一种输入系统,包括计算设备和采集装置,计算设备包括控制模块、触控模块和输入模块,采集装置包括控制单元、数据采集单元、数据分析单元;触控模块,适于控制采集装置的开启和关闭;控制模块,适于向控制单元发送开启采集装置的通知消息,还适于确定计算设备的显示界面中光标的位置,并将光标移动至视线落点坐标处;输入模块,适于在显示界面的光标当前位置处输入信息;控制单元,适于开启或者关闭采集装置、向数据采集单元发送采集眼睛在显示界面的视线落点坐标的指令,还适于将已确定的眼睛在显示界面的视线落点坐标发送至控制模块;数据采集单元,适于向眼睛发射光线,以在眼睛的角膜和视网膜中产生反射图像,还适于采集反射图像并发送至所述数据分析单元;数据分析单元,适于分析反射图像的内容,确定眼睛在显示界面的视线落点坐标,并发送至控制单元。
根据本发明的一个方面,提供了一种计算设备,包括:至少一个处理器;以及存储器,存储有程序指令,其中,所述程序指令被配置为适于由所述至少一个处理器执行,所述程序指令包括用于执行如上所述方法的指令。
根据本发明的一个方面,提供了一种存储有程序指令的可读存储介质,当所述程序指令被计算设备读取并执行时,使得所述计算设备执行如上所述方法。
根据本发明的技术方案,提供了一种输入方法,该方法通过采集装置采集眼球在显示界面的视线落点坐标,通过控制模块将显示界面的光标移动至视线落点坐标处,并通过输入模块在显示界面的光标当前位置处输入信息。由上述内容可知,本发明通过采集装置采集眼睛在显示界面的视线落点坐标即可确定光标移动的位置,从而无需鼠标即可移动光标,实现了采集装置(眼动仪)和输入模块(键盘)共同组成输入设备,因此输入信息过程中无需手动操作鼠标,对于用户而言使用更加简便,提高使用的便利性。且用户无需在鼠标和键盘之间切换,减少鼠标和键盘之间切换的时间,提高使用效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的输入系统100的示意图;
图2示出了根据本发明一个实施例的触控模块集成于输入模块的示意图;
图3示出了根据本发明另一个实施例的触控模块集成于输入模块的示意图;
图4示出了根据本发明一个实施例的计算设备200的结构图;以及
图5示出了根据本发明一个实施例的输入方法300的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
输入设备,即计算设备的输入设备,包括鼠标和键盘。用户可通过输入设备向计算设备中输入内容。目前,多通过键盘输入内容,在需要移动光标位置时,一种方法是需要用户操作鼠标,另一种方法是触发键盘上的tab键,每触发一次tab键光标移动一个字符位置或者一列位置。但是,频繁在键盘和鼠标之间进行切换,对于用户而言使用起来不方便,导致使用效率低下,若通过键盘上的tab键实现光标的移动,由于每触发一次tab键光标移动一个字符位置或者一列位置,导致移动光标的效率低下。
为了解决上述问题,本发明提出一种输入系统100,图1示出了根据本发明一个实施例的输入系统100的示意图。如图1所示,该输入系统100包括计算设备200和采集装置110。采集装置110可以固定于计算设备200的显示装置表面位置,例如可以固定于计算设备的显示装置表面中间正下方位置处。
计算设备200中包括控制模块201、输入模块203和触控模块205,触控模块包括开启/关闭控制单元2051、鼠标左键控制单元2052和鼠标右键控制单元2053。采集装置110包括控制单元111、数据采集单元112、数据分析单元113,数据采集单元112包括光源发射单元1121、图像采集单元1122。
控制模块201分别与输入模块203、开启/关闭控制单元2051、鼠标左键控制单元2052、鼠标右键控制单元2053、控制单元111通信连接,控制单元111还与光源发射单元1121、图像采集单元1122、数据分析单元113通信连接,图像采集单元1122还与数据分析单元113通信连接。上述的通信连接例如通过有线或无线的方式网络连接。
需要说明的是,开启/关闭控制单元2051用于控制采集装置110的开启状态和关闭状态,例如,当采集装置110处于关闭状态时,那么触发开启/关闭控制单元2051即可开启采集装置110,使得采集装置110处于开启状态,当采集装置110处于开启状态时,可采集眼睛在显示界面的视线落点坐标,而当采集装置110处于开启状态时,触发开启/关闭控制单元2051即可关闭采集装置110,使得采集装置110处于关闭状态,当采集装置110处于关闭状态时,则不会采集眼睛在显示界面的视线落点坐标。通过触发鼠标左键控制单元2052和触发鼠标右键控制单元2053的操作,即可实现触发鼠标的左键和右键功能,以在光标位置处执行相应操作。
在一个实施方式中,触发鼠标左键控制单元的操作包括单次触发鼠标左键控制单元2052、连续两次触发鼠标左键控制单元2052和长按鼠标左键控制单元2052。以计算设备200的桌面为例,对触发鼠标左键控制单元2052的操作进行说明。单次触发鼠标左键控制单元2052,即可修改桌面中任一应用程序、文件或文件夹的名称,连续两次触发鼠标左键控制单元2052,即可打开桌面的任一应用程序、文件或文件夹,长按鼠标左键控制单元2052,即可拖动桌面的任一应用程序、文件或文件夹。
在一个实施方式中,触发鼠标右键控制单元的操作包括单次触发鼠标右键控制单元2053和长按鼠标左键控制单元2053。以计算设备的显示界面为word文本内容为例,对触发鼠标右键控制单元的操作进行说明。单次触发鼠标右键控制单元2053,即可显示菜单栏。长按鼠标右键控制单元2053,即可选择显示界面的部分内容。
控制模块201可以为计算设备的处理器(即CPU),输入模块203可以为计算设备200外接的键盘或者计算设备200的键盘,触控模块205可以集成于输入模块203中,如图2所示,图2示出了根据本发明一个实施例的触控模块集成于输入模块的示意图。触控模块205还可以集成于计算设备200的触控板中,如图3所示,图3示出了根据本发明另一个实施例的触控模块集成于输入模块的示意图。
采集装置110可以为眼动仪,进一步地,可以为屏幕式眼动仪,例如,Tobii Pro眼动仪。采集装置110中的控制单元111可以为CPU,光源发射单元1121可以为红外光线发射模块,图像采集单元1122可以为图像传感器(包括多个图像传感器),可根据实际应用场景选择图像传感器,本发明对图像传感器的型号不做限制。
在一个实施方式中,计算设备200可以实现为服务器,例如应用服务器、Web服务器等;也可以实现为桌面电脑、笔记本电脑、处理器芯片、平板电脑等,但不限于此。图4示出了根据本发明一个实施例的计算设备200的结构图。如图4所示,在基本配置202中,计算设备200典型地包括系统存储器206和一个或者多个处理器204(即为上述的控制模块)。存储器总线208可以用于在处理器204和系统存储器206之间的通信。
取决于期望的配置,处理器204可以是任何类型的处理器,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用,或者在一些实现中,存储器控制器218可以是处理器204的一个内部部分。
取决于期望的配置,系统存储器206可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中,应用222可以布置为在操作系统上利用程序数据224进行操作。
计算设备200还包括储存设备232,储存设备232包括可移除储存器236和不可移除储存器238,可移除储存器236和不可移除储存器238均与储存接口总线234连接。本发明中,程序执行过程中发生的各事件的相关数据和指示各事件发生的时间信息,可存储于储存设备232中,操作系统220适于管理储存设备232。其中,储存设备232可为磁盘。
计算设备200还可以包括有助于从各种接口设备(例如,输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图像处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256,它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260,其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备200可以实现为服务器,例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等,也可以实现为小尺寸便携(或者移动)电子设备的一部分,这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备200还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
图5示出了根据本发明一个实施例的输入方法300的流程图。方法300适于在输入系统100中执行,方法300包括步骤S301至步骤S316,方法300始于步骤S301。响应用户触发触控模块205的开启/关闭控制单元2051的操作,在步骤S301中,触控模块205向控制模块201发送开启采集装置110的消息。控制模块201接收到开启采集装置110的消息后,执行步骤S302,确定计算设备的显示界面中光标的位置。其中,触发操作可以为点击操作,即用户点击开启/关闭控制单元2051,点击操作包括单次点击、长按、连续两次点击等。
在一个实施方式中,步骤S302具体包括:通过window.getSelection()函数获取selection对象,selection是用户在页面上选择的范围的对象,俗称拖蓝,selection对象包含0个或多个range对象。接着通过Selection.getRangeAt()函数中从selection对象中获取页面选中范围range对象,通过range对象的属性和方法就可以获取到鼠标光标所在的位置。
随后在步骤S303中,控制模块201向控制单元111发送开启采集装置110的通知消息,以开启采集装置110,即,采集装置110的采集功能开启。接着在步骤S304中,控制单元111分别向光源发射单元1121、图像采集单元1122发送第一指令,其中,第一指令为采集眼睛在显示界面的视线落点坐标的指令,视线落点是以不同坐标系中的二维数组描述了视线在屏幕上的位置。也就是说,视线落点坐标即为眼睛看向显示界面的视点坐标,确定了视线落点坐标,即可确定眼睛看向计算设备的显示界面的具体位置。
在接收到采集眼睛在显示界面的视线落点坐标的指令后,执行步骤S305,光源发射单元1121向眼睛发射光线,以在眼睛的角膜和瞳孔产生反射图像。值得注意的是,光源发射单元1121向眼睛发射光线后,光线通过瞳孔到达视网膜,视网膜产生反射光线,经由瞳孔发射出,形成反射图像,从而瞳孔产生反射图像。光源发射单元1121向眼睛发射的光线为红外光,具体为近红外光,由于红外光对于人眼是不可见的,因此不会影响用户视线,在跟踪眼睛时也不会引起任何干扰。
接着执行步骤S306,图像采集单元1122采集反射图像,再执行步骤S307,图像采集单元1122将已采集的反射图像发送至数据分析单元113。之后在步骤S308中,数据分析单元113通过图像处理算法分析采集到的反射图像的内容,确定眼睛在显示界面的视线落点坐标。
在一个实施方式中,上述已经说明采集装置110为Tobii Pro眼动仪,而Tobii Pro眼动仪的数据分析单元通过瞳孔角膜反射技术确定视线落点坐标,大致工作过程如下:数据分析单元113通过图像处理算法分析采集到的角膜和瞳孔产生反射图像,确定瞳孔中心和角膜反射光线之间的相对距离,以及眼球的位置坐标,基于瞳孔中心和角膜反射之间的相对距离可计算眼球注视方向,从而生成一个三维眼球模型,通过三维眼球模型得到视线落点坐标。上述通过Tobii Pro眼动仪确定视线落点坐标为已有技术,此处不对此进行详细阐述,通过Tobii Pro眼动仪确定视线落点坐标的过程在本发明的保护范围之内。需要说明的是,数据分析单元中包括图像处理算法,图像处理算法可根据实际应用进行选择,本发明对此不做限定。
需要说明的是,眨眼是一种无意识的眼皮闭合与打开行为。每次眨眼时,眼皮会遮挡瞳孔和角膜与光源的联系,从而对眼动跟踪产生影响。另外,上述已经说明采集装置110为Tobii Pro眼动仪,而Tobii Pro眼动仪通过注视点过滤器即可解决眨眼情况产生的影响,因此本发明中眨眼动作并不会影响视线落点坐标的确定。眼动仪通过注视点过滤器解决眨眼情况产生的影响是已有技术,此处不再赘述,但是上述内容在本发明的保护范围之内。
还需说明的是,上述已经说明采集装置110(即Tobii Pro眼动仪)中包括多个图像传感器,这多个图像传感器相互补偿和计算,在头部移动时,一个图像传感器获取不到数据时,可以用另一个图像传感器获取到的数据补偿来纠正精确度和准确度。从而即使在头部移动的情况下,也不会对视线落点坐标的确定产生影响。
之后在步骤S309中,数据分析单元113向控制单元111发送已确定的视线落点坐标,控制单元111执行步骤S310,向控制模块201发送视线落点坐标,控制模块201执行步骤S311,将光标移动至视线落点坐标处。具体地,控制模块201根据已确定的、计算设备的显示界面中光标的位置,查找到光标,并将光标移动至视线落点坐标对应的位置处。之后,即可执行步骤S312,通过输入模块203在光标位置处输入信息。
在光标位置处输入信息后,当触控模块205集成于输入模块203中时,可响应用户触发输入模块203的任一按键(此时触控模块205的鼠标左键控制单元2052、鼠标右键控制单元2053和开启/关闭控制单元2051均视为输入模块的一个按键)的操作,或者当触控模块205集成于计算设备200的触控板中时,可响应用户触发输入模块203的任一按键和触控模板中任一单元的操作,执行步骤S313,通过控制模块201控制显示界面的光标所在位置处的内容执行与触发的按键相同的动作。其中,触控模块还包括鼠标左键控制单元2052和鼠标右键控制单元2053,触发鼠标左键控制单元2052的操作、触发鼠标右键控制单元2053的操作包括的内容如上所述,此处不再赘述。
由于输入模块203中包括多个按键,触发不同的按键,控制模块控制光标处的内容执行不同的操作,因此控制模块会控制光标处的内容执行多种操作,以下仅给出部分示例。例如,连续两次触发鼠标左键控制单元,即可打开桌面中光标所选择的应用程序、文件或文件夹,长按鼠标左键控制单元,即可拖动桌面中光标所选择的应用程序、文件或文件夹。
当用户再次触发开启/关闭控制单元2051,由于当前采集装置110是开启状态,因此响应再次触发开启/关闭控制单元2051的操作,触控模块205执行步骤S314,向控制模块201发送关闭采集装置110的消息,控制模块201执行步骤S315,向控制单元111发送关闭采集装置110的消息,最后在步骤S316中,控制单元111关闭采集装置,此时不会通过采集装置110采集在显示界面的视线落点坐标。触发操作可以为点击操作,即用户点击开启/关闭控制单元2051,点击操作包括的内容如上所述,此处不再赘述。
若在一段时间内均使用采集装置110控制光标位置时,在开始使用时会执行步骤S301,并且除了最后一次之外,每一次需要通过采集装置确定显示界面中光标的坐标时,均执行步骤S302至步骤S313即可。
由上述内容可知,本发明中,由采集装置和键盘共同组成输入设备,即,由眼动仪和键盘共同组成输入设备。通过输入设备中的眼动仪采集眼睛在显示界面的视线落点坐标即可确定光标移动的位置,从而无需鼠标即可移动光标和操作光标,因此输入信息过程中无需手动操作鼠标,对于用户而言使用更加简便,提高使用的便利性。并且,由于利用眼动仪替代了鼠标,因此用户无需在鼠标和键盘之间切换,减少鼠标和键盘之间切换的时间,从而提高使用效率。
A8如A7所述的方法,其中,所述触发所述鼠标右键控制单元的操作包括单次触发所述鼠标右键控制单元和长按所述鼠标左键控制单元。
A9如A2所述的方法,还包括步骤:
响应再次触发开启/关闭控制单元的操作,通过所述通知模块向所述控制单元发送关闭所述视点坐标采集装置的通知消息,此时不会通过所述视点坐标采集装置采集在所述显示界面的视线位置数据。
A10如A1至A9中任一项所述的方法,其中,所述采集装置为眼动仪,所述输入模块为键盘。
A11如A2至A9中任一项所述的方法,其中,所述触控模块集成于所述计算设备的键盘中或者集成于所述计算设备的触控板中或者集成于所述计算设备的外接键盘中。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的输入方法。
以示例而非限制的方式,可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (10)
1.一种输入方法,在输入系统中执行,所述输入系统包括计算设备和采集装置,所述计算设备包括控制模块和输入模块,所述方法包括:
通过所述控制模块确定所述计算设备的显示界面中光标的位置;
在所述采集装置开启时,通过所述采集装置采集眼球在所述显示界面的视线落点坐标,并发送至所述控制模块;
通过控制模块将所述光标移动至所述视线落点坐标处,并通过所述输入模块在所述显示界面的光标当前位置处输入信息。
2.如权利要求1所述的方法,其中,所述计算设备还包括触控模块,所述触控模块包括开启/关闭控制单元,所述采集装置包括控制单元,所述方法还包括步骤:
响应触发开启/关闭控制单元的操作,通过所述控制模块向所述控制单元发送开启所述采集装置的通知消息,以开启所述采集装置。
3.如权利要求2所述的方法,其中,所述采集装置还包括数据采集单元,所述方法还包括步骤:
通过所述控制单元向所述数据采集单元发送第一指令,所述第一指令为采集眼睛在所述显示界面的视线落点坐标的指令。
4.如权利要求3所述的方法,其中,所述采集装置还包括数据分析单元,所述数据采集单元包括光源发射单元、图像采集单元,所述通过所述采集装置采集在眼球在所述显示界面的视线落点坐标,并发送至所述控制模块的步骤包括:
通过所述光源发射单元向眼睛发射光线,以在眼睛的角膜和视网膜中产生反射图像;
通过所述图像采集单元采集反射图像,发送至所述数据分析单元;
通过所述数据分析单元分析采集到的反射图像的内容,确定眼睛在所述显示界面的所述视线落点坐标;
通过所述控制单元将所述视线落点坐标发送至所述控制模块。
5.如权利要求2至4中任一项所述的方法,其中,所述触控模块还包括鼠标左键控制单元,所述方法还包括步骤:
响应触发所述鼠标左键控制单元的操作,通过所述控制模块将所述显示界面的光标所在位置处的内容执行与鼠标左键相同的动作。
6.如权利要求5所述的方法,其中,所述触发所述鼠标左键控制单元的操作包括单次触发所述鼠标作键控制单元、连续两次触发所述鼠标作键控制单元和长按所述鼠标左键控制单元。
7.如权利要求5或6所述的方法,其中,所述触控模块还包括鼠标右键控制单元,所述方法还包括步骤:
响应触发所述鼠标右键控制单元的操作,通过所述控制模块将所述显示界面的光标所在位置处的内容执行与鼠标右键相同的动作。
8.一种输入系统,包括计算设备和采集装置,所述计算设备包括控制模块、触控模块和输入模块,所述采集装置包括控制单元、数据采集单元、数据分析单元;
所述触控模块,适于控制所述采集装置的开启和关闭;
所述控制模块,适于向所述控制单元发送开启所述采集装置的通知消息,还适于确定所述计算设备的显示界面中光标的位置,并将所述光标移动至视线落点坐标处;
所述输入模块,适于在所述显示界面的光标当前位置处输入信息;
所述控制单元,适于开启或者关闭所述采集装置、向所述数据采集单元发送采集眼睛在所述显示界面的视线落点坐标的指令,还适于将已确定的眼睛在所述显示界面的所述视线落点坐标发送至所述控制模块;
所述数据采集单元,适于向眼睛发射光线,以在眼睛的角膜和视网膜中产生反射图像,还适于采集反射图像并发送至所述数据分析单元;
所述数据分析单元,适于分析反射图像的内容,确定眼睛在所述显示界面的所述视线落点坐标,并发送至所述控制单元。
9.一种计算设备,包括:
至少一个处理器;以及
存储器,存储有程序指令,其中,所述程序指令被配置为适于由所述至少一个处理器执行,所述程序指令包括用于执行如权利要求1-7中任一项所述方法的指令。
10.一种存储有程序指令的可读存储介质,当所述程序指令被移动终端读取并执行时,使得所述移动终端执行如权利要求1-7中任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110949986.7A CN113655886A (zh) | 2021-08-18 | 2021-08-18 | 一种输入方法、输入系统、计算设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110949986.7A CN113655886A (zh) | 2021-08-18 | 2021-08-18 | 一种输入方法、输入系统、计算设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113655886A true CN113655886A (zh) | 2021-11-16 |
Family
ID=78492266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110949986.7A Pending CN113655886A (zh) | 2021-08-18 | 2021-08-18 | 一种输入方法、输入系统、计算设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113655886A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105867603A (zh) * | 2015-12-08 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 一种眼控方法及装置 |
CN106132284A (zh) * | 2013-11-09 | 2016-11-16 | 深圳市汇顶科技股份有限公司 | 光学眼动追踪 |
CN111176425A (zh) * | 2018-11-12 | 2020-05-19 | 宏碁股份有限公司 | 多屏幕操作方法与使用此方法的电子系统 |
CN111736698A (zh) * | 2020-06-23 | 2020-10-02 | 中国人民解放军63919部队 | 一种手动辅助定位的视线指点方法 |
CN112463097A (zh) * | 2020-12-11 | 2021-03-09 | 杭州拼便宜网络科技有限公司 | 信息显示方法及其系统 |
-
2021
- 2021-08-18 CN CN202110949986.7A patent/CN113655886A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106132284A (zh) * | 2013-11-09 | 2016-11-16 | 深圳市汇顶科技股份有限公司 | 光学眼动追踪 |
CN105867603A (zh) * | 2015-12-08 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 一种眼控方法及装置 |
CN111176425A (zh) * | 2018-11-12 | 2020-05-19 | 宏碁股份有限公司 | 多屏幕操作方法与使用此方法的电子系统 |
CN111736698A (zh) * | 2020-06-23 | 2020-10-02 | 中国人民解放军63919部队 | 一种手动辅助定位的视线指点方法 |
CN112463097A (zh) * | 2020-12-11 | 2021-03-09 | 杭州拼便宜网络科技有限公司 | 信息显示方法及其系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11983326B2 (en) | Hand gesture input for wearable system | |
EP3090331B1 (en) | Systems with techniques for user interface control | |
US9477874B2 (en) | Method using a touchpad for controlling a computerized system with epidermal print information | |
WO2018018624A1 (zh) | 一种可穿戴设备的手势输入方法及可穿戴设备 | |
CN111142674B (zh) | 一种控制方法及电子设备 | |
JPWO2014147722A1 (ja) | 電子機器、方法及びプログラム | |
WO2019214329A1 (zh) | 终端的控制方法、装置及终端 | |
CN112987933A (zh) | 设备控制方法、装置、电子设备及存储介质 | |
WO2015102974A1 (en) | Hangle-based hover input method | |
US20230244379A1 (en) | Key function execution method and apparatus, device, and storage medium | |
CN109782920A (zh) | 一种用于扩展现实的人机交互方法及处理终端 | |
CN111443831A (zh) | 一种手势识别方法及装置 | |
CN109101110A (zh) | 一种操作指令执行方法、装置、用户终端及存储介质 | |
CN113031464B (zh) | 设备控制方法、装置、电子设备及存储介质 | |
WO2020047742A1 (zh) | 手写板、手写板装置及书写控制方法 | |
WO2021115097A1 (zh) | 瞳孔检测方法及相关产品 | |
CN113515228A (zh) | 一种虚拟标尺显示方法以及相关设备 | |
CN109960412B (zh) | 一种基于触控调整注视区域的方法以及终端设备 | |
CN113655886A (zh) | 一种输入方法、输入系统、计算设备及存储介质 | |
US20190324548A1 (en) | Gesture-based designation of regions of interest in images | |
US11995899B2 (en) | Pointer-based content recognition using a head-mounted device | |
CN108874333A (zh) | 用于便携设备的输入界面显示系统及方法 | |
CN101071349B (zh) | 一种通过识别动态轨迹控制光标、视窗操作的系统 | |
JP6166250B2 (ja) | 情報処理装置及びその制御方法、プログラム | |
CN112445328A (zh) | 映射控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |