CN108829239A - 终端的控制方法、装置及终端 - Google Patents

终端的控制方法、装置及终端 Download PDF

Info

Publication number
CN108829239A
CN108829239A CN201810428124.8A CN201810428124A CN108829239A CN 108829239 A CN108829239 A CN 108829239A CN 201810428124 A CN201810428124 A CN 201810428124A CN 108829239 A CN108829239 A CN 108829239A
Authority
CN
China
Prior art keywords
terminal
blinkpunkt
instruction
touch
indicant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810428124.8A
Other languages
English (en)
Inventor
黄通兵
秦林婵
杨川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201810428124.8A priority Critical patent/CN108829239A/zh
Publication of CN108829239A publication Critical patent/CN108829239A/zh
Priority to PCT/CN2019/077165 priority patent/WO2019214329A1/zh
Priority to TW108109581A priority patent/TW201947361A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种终端的控制方法、装置及终端。其中,该方法包括:获取针对终端的注视点信息;获取对触摸设备进行触摸操作所产生的第一触摸指令;依据注视点信息与第一触摸指令确定对终端的控制指令;控制终端执行与控制指令对应的操作。本发明解决了无法准确根据注视点信息生成确定性指令的技术问题。

Description

终端的控制方法、装置及终端
技术领域
本发明涉及计算机领域,具体而言,涉及一种终端的控制方法、装置及终端。
背景技术
近年来人机交互的方式逐渐多样化,多通道交互综合采用视线、语音、手势等新的交互通道、设备和交互技术,使用户利用多个通道以自然、并行、协作的方式进行人机对话,通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图,提高人机交互的自然性和高效性。多通道人机交互中,交互自然性、交互高效性及与传统界面的兼容性尤其重要。
眼动跟踪技术利用眼动测量设备以毫秒级捕捉使用者眼睛图像,通过分析瞳孔轮廓、虹膜轮廓、瞳孔中心、虹膜中心及外界光源在角膜上的反射点等特征的相对位置,估计视线方向或者视线落点。目前,眼动分析技术被广泛应用于新型人机交互(用眼睛打字、玩游戏)、医学诊断、用户体验研究、心理与认知研究、教育辅助等领域。
现有的苹果手机、华为手机、三星的一些机型具有眼动跟踪功能,可以实现眼动解锁、无眼动时休眠、眼动翻页等应用。也有沟通辅助产品,采用视线输入帮助残疾人与外界沟通。
但是,在实际应用过程中,由于注视不是一种确定性指令,计算机容易分不清用户的视线停留是要进行操作还是仅仅观察目标,这就是迈达斯接触问题。
此外,眼动仪具有固有的不精确性,并不能保证计算所得注视点与实际注视点100%重合,尤其在手机、PAD等使用环境复杂的场景,眼动设备对注视点的估计容易不准备,导致用户体验差。在以往的方法中,采用注视时长阈值的方法,效率比较低而且容易误操作。
针对上述无法准确根据注视点信息生成确定性指令的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种终端的控制方法、装置及终端,以至少解决无法准确根据注视点信息生成确定性指令的技术问题。
根据本发明实施例的一个方面,提供了一种终端的控制方法,包括:获取针对终端的注视点信息;获取对触摸设备进行触摸操作所产生的第一触摸指令;依据所述注视点信息与所述第一触摸指令确定对所述终端的控制指令;控制所述终端执行与所述控制指令对应的操作。
进一步地,在依据所述注视点信息与所述触摸操作指令确定对所述终端的控制指令之前,所述方法还包括:校准所述注视点信息。
进一步地,校准所述注视点信息包括:确定与目标物对应的注视点所在的初始位置;调整指示物的位置,使所述指示物与所述目标物重合,并将调整后的所述指示物的位置作为校准后的注视点信息,其中,所述指示物用于指示所述注视点所在位置。
进一步地,调整所述指示物的位置包括:获取对触摸设备进行触摸操作所产生的第二触摸指令;根据所述第二触摸指令调整所述指示物的位置。
根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述所述的终端的控制方法。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的终端的控制方法。
根据本发明实施例的另一方面,还提供了一种终端的控制装置,包括:第一获取单元,用于获取针对终端的注视点信息;第二获取单元,用于获取对触摸设备进行触摸操作所产生的第一触摸指令;确定单元,用于依据所述注视点信息与所述第一触摸指令确定对所述终端的控制指令;控制单元,用于控制所述终端执行与所述控制指令对应的操作。
进一步地,所述装置还包括:校准单元,用于在依据所述注视点信息与所述触摸操作指令确定对所述终端的控制指令之前,校准所述注视点信息。
进一步地,所述校准单元包括:确定模块,用于确定与目标物对应的注视点所在的初始位置;调整模块,用于调整指示物的位置,使所述指示物与所述目标物重合,并将调整后的所述指示物的位置作为校准后的注视点信息,其中,所述指示物用于指示所述注视点所在位置。
进一步地,所述调整模块包括:获取模块,用于获取对触摸设备进行触摸操作所产生的第二触摸指令;调整子模块,用于根据所述第二触摸指令调整所述指示物的位置。
根据本发明实施例的另一方面,还提供了一种终端,包括:眼动跟随设备,用于获取针对终端的注视点信息;触摸设备,用于获取对触摸设备进行触摸操作所产生的第一触摸指令;处理器,用于依据所述注视点信息与所述第一触摸指令确定对所述终端的控制指令,并控制所述终端执行与所述控制指令对应的操作。
进一步地,所述眼动跟随设备可拆卸式设置于所述终端上;或所述眼动跟随设备固定安装于所述终端上。
进一步地,所述触摸设备固定安装于所述终端上。
进一步地,所述触摸设备包括所述终端的触摸屏幕;和/或所述触摸设备包括在所述终端背面设置的触摸板。
在本发明实施例中获取用户针对终端的注视点信息,以及用户对触摸设备进行触摸操作所产生的第一触摸指令,再根据注视点信息和第一触摸指令确定用户对终端所发出的控制指令,使终端能够执行与控制指令对应的操作,完成用户所发出的指令,实现了准确根据用户的注视点信息生成确定性指令的技术效果,进而解决了无法准确根据注视点信息生成确定性指令的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种终端的控制方法的流程图;
图2是根据本发明实施例的一种终端的控制装置的示意图;
图3是根据本发明实施例的一种终端的示意图;
图4(a)是根据本发明实施例的一种终端设置固定式眼动跟随设备的示意图一;
图4(b)是根据本发明实施例的一种终端设置固定式眼动跟随设备的示意图二;
图5(a)是根据本发明实施例的一种终端设置可拆卸式眼动跟随设备的示意图一;
图5(b)是根据本发明实施例的一种终端设置可拆卸式眼动跟随设备的示意图二。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种终端的控制方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种终端的控制方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取针对终端的注视点信息;
步骤S104,获取对触摸设备进行触摸操作所产生的第一触摸指令;
步骤S106,依据注视点信息与第一触摸指令确定对终端的控制指令;
步骤S108,控制终端执行与控制指令对应的操作。
通过上述步骤,获取用户针对终端的注视点信息,以及用户对触摸设备进行触摸操作所产生的第一触摸指令,再根据注视点信息和第一触摸指令确定用户对终端所发出的控制指令,使终端能够执行与控制指令对应的操作,完成用户所发出的指令,实现了准确根据用户的注视点信息生成确定性指令的技术效果,进而解决了无法准确根据注视点信息生成确定性指令的技术问题。
在上述步骤S102提供的方案中,注视点信息可以用户在注视终端的情况下,通过眼动跟随设备采集的用户所注视的位置信息。
需要说明的是,眼动跟随设备包括红外装置、摄像头,以及处理器。
需要说明的是,终端包括:手机、平板电脑(PAD)、笔记本电脑。
可选地,眼动跟随设备通过采集用户眼球的图像来确定用户针对终端的注视点。
在上述步骤S104提供的方案中,触摸设备可以设置在终端上,如固定在终端上的触摸屏幕或触摸板,用户通过触碰该触摸设备生产触摸指令。
可选地,在获取第一触摸指令的情况下,确定当前时刻的注视点信息为指令信息,并依据第一触摸指令和该指令信息确定控制指令。
在上述步骤S106提供的方案中,控制指令用于控制终端的指令,该控制指令由注视点信息和第一触摸指令共同确定。
可选地,可以预先在存储设备(如缓存区或数据库)中存储注视点信息、第一触摸指令与控制指令的映射关系。
可选地,第一触摸指令可以通过轻触触摸设备、在触摸设备上按下、以及在触摸设备上滑动等方式生成。
在上述步骤S108提供的方案中,终端在获取控制指令后,可以响应该控制指令,执行与该控制指令所对应的操作。
根据本发明上述实施例,通过注视点信息与第一触摸指令的方式,可以将第一触摸指令作为注视点信息的确认信号,从而可以准确根据注视点生成确定性的指令,准确确认用户的操作移动。
另外,由于触摸设备产生指令的方式,在将触摸设备所产生的第一触摸指令作为注视点信息确认信号的情况下,可以避免确认信号的产生而造成终端的晃动,进而避免了注视点的晃动,从而获得准确的注视点信息。
作为一种可选的实施例,在依据注视点信息与触摸操作指令确定对终端的控制指令之前,该实施例还可以包括:校准注视点信息。
为了获取准确的注视点信息,可以先对注视点信息进行校准,从而获得准确的注视点信息。
可选地,校准注视点信息可以通过校准注视点所在的位置来实现。
作为一个可选的示例,可以通过眼动跟随设备采集终端的注视点,然后通过对注视点位置进行校准来实现对注视信息的校准。
在一个可选的实施例中,校准注视点信息包括:确定与目标物对应的注视点所在的初始位置;调整指示物的位置,使指示物与目标物重合,并将调整后的指示物的位置作为校准后的注视点信息,其中,指示物用于指示注视点所在位置。
采用本发明上述实施例,在校准注视点信息的过程中,终端显示目标物,并确定在用户注视该目标物的情况下,终端通过计算所得出的注视点,并将该注视点所在的位置作为初始位置,并通过指示物来指示该注视点所在位置,然后通过调整该指示物的位置,使指示物与目标物重合,从而可以将当前指示所在位置作为注视点位置,得到校准后的注视点信息,实现了对注视点信息的校准。
可选地,是指示物可以是用于校准的校准点,如黑点。
需要说明的是,注视点可以在校准的过程中,通过指示物的形式展示在终端上,进而在校准以外的情况下,可以隐藏注视点。
可选地,指示物可以是光标,用于指示点所在的位置。
一个可选的实施例,调整指示物的位置包括:获取对触摸设备进行触摸操作所产生的第二触摸指令;根据第二触摸指令调整指示物的位置。
采用本发明上述实施例,在调整指示物的过程中,可以获取触摸设备所产生的第二触摸指令,并根据该第二触摸指令控制指示物移动,调整指示物的位置。
需要说明的是,第二触摸指令可以通过轻触触摸设备、在触摸设备上按下、以及在触摸设备上滑动等方式生成。
可选地,第二触摸指令为校准注视点信息过程中,触摸装置所生成的触摸指令。
可选地,在校准注视点信息过程中,触摸装置所生成的触摸指令即为第二触摸指令。
根据本发明的又一个实施例,还提供了一种存储介质,存储介质包括存储的程序,其中,程序运行时执行上述任一项的方法。
根据本发明的又一个实施例,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述任一项的方法。
根据本发明实施例,还提供了一种终端的控制装置实施例,需要说明的是,该终端的控制装置可以用于执行本发明实施例中的终端的控制方法,本发明实施例中的终端的控制方法可以在该终端的控制装置中执行。
图2是根据本发明实施例的一种终端的控制装置的示意图,如图2所示,该装置包括:第一获取单元21,用于获取针对终端的注视点信息;第二获取单元23,用于获取对触摸设备进行触摸操作所产生的第一触摸指令;确定单元25,用于依据注视点信息与第一触摸指令确定对终端的控制指令;控制单元27,用于控制终端执行与控制指令对应的操作。
需要说明的是,该实施例中的第一获取单元21可以用于执行本申请实施例中的步骤S102,该实施例中的第二获取单元23可以用于执行本申请实施例中的步骤S104,该实施例中的确定单元25发送模块76可以用于执行本申请实施例中的步骤S106,该实施例中的控制单元27可以用于执行本申请实施例中的步骤S108。上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。
根据本发明上述实施例,获取用户针对终端的注视点信息,以及用户对触摸设备进行触摸操作所产生的第一触摸指令,再根据注视点信息和第一触摸指令确定用户对终端所发出的控制指令,使终端能够执行与控制指令对应的操作,完成用户所发出的指令,实现了准确根据用户的注视点信息生成确定性指令的技术效果,进而解决了无法准确根据注视点信息生成确定性指令的技术问题。
作为一种可选的实施例,该实施例还可以包括:校准单元,用于在依据注视点信息与触摸操作指令确定对终端的控制指令之前,校准注视点信息。
作为一种可选的实施例,校准单元包括:确定模块,用于确定与目标物对应的注视点所在的初始位置;调整模块,用于调整指示物的位置,使指示物与目标物重合,并将调整后的指示物的位置作为校准后的注视点信息,其中,指示物用于指示注视点所在位置。
作为一种可选的实施例,调整模块包括:获取模块,用于获取对触摸设备进行触摸操作所产生的第二触摸指令;调整子模块,用于根据第二触摸指令调整指示物的位置。
图3是根据本发明实施例的一种终端的示意图,如图3所示,该终端包括:眼动跟随设备31,用于获取针对终端的注视点信息;触摸设备33,用于获取对触摸设备进行触摸操作所产生的第一触摸指令;处理器35,用于依据注视点信息与第一触摸指令确定对终端的控制指令,并控制终端执行与控制指令对应的操作。
根据本发明上述实施例,通过眼动跟随设备获取用户针对终端的注视点信息,以及用户对触摸设备进行触摸操作所产生的第一触摸指令,再根据注视点信息和第一触摸指令确定用户对终端所发出的控制指令,使终端能够执行与控制指令对应的操作,完成用户所发出的指令,实现了准确根据用户的注视点信息生成确定性指令的技术效果,进而解决了无法准确根据注视点信息生成确定性指令的技术问题。
需要说的是,该终端为上述终端的控制方法中所控制的终端。
可选地,眼动跟随设备与屏幕位于终端同侧。
可选地,眼动跟随设备可以位与终端正面。
作为一种可选的实施例,眼动跟随设备可拆卸式设置于终端上;或眼动跟随设备固定安装于终端上。
作为一种可选的实施例,触摸设备固定安装于终端上。
作为一种可选的实施例,触摸设备包括终端的触摸屏幕;和/或触摸设备包括在终端背面设置的触摸板。
需要说明的是,终端被背面为终端上与触模屏幕不同的面,例如,与触模屏幕相反的面。
可选地,在触摸设备为终端的触摸屏幕的情况下,可以将触摸屏幕所产生的触摸指令作为第一触摸指令。
本发明还提供了一种优选实施例,该优选实施例提供了一种采用触摸设备对注视点进行修正的系统与方法。
本发明采用触摸设备的轻触作为操作注视目标的确认信号,采用触摸设备上的位移作为计算所得注视点的修正信号,以确保视线数据搜集与视线输入达到良好的使用效果。
需要说的是,修正信号为校准过程中,操作触摸设备所产生的第二触摸信号。
在本发明中,触摸设备可以整合到目标设备(终端)中,例如,整合到手机、PAD、笔记本中,从而无需单独设置触摸板,简化设计复杂度,也降低了触摸板丢失的可能性。
本发明采用触摸设备轻触的方式不会造成设备(终端)的位移与震动,不影响眼动跟踪设备使用。
本发明采用触摸位移方式调整修正计算注视点,方式直观,可进一步保证视线跟踪的准确性。
在以下实施例中,以手机作为终端,进行举例说明。
例如,可以在手机上添加眼动跟踪与触摸设备。
可选地,可以在手机背面添加触摸板。
可选地,可以在手机正面添加眼动跟踪装置。
图4(a)是根据本发明实施例的一种终端设置固定式眼动跟随设备的示意图一,如图4(a)所示,采用内置方法增加眼动检测设备,将眼动跟随设备固定与手机屏幕下方。
可选地,眼动跟随设备包括红外灯,主板和摄像头。
可选地,眼动跟随设备的摄像头可以是手机的前摄像头。
图4(b)是根据本发明实施例的一种终端设置固定式眼动跟随设备的示意图二,如图4(b)所示,采用内置方法增加触摸板,并将触摸板设置与手机背面。
图5(a)是根据本发明实施例的一种终端设置可拆卸式眼动跟随设备的示意图一,如图5(a)所示,采用外置方法增加眼动检测设备,将眼动跟随设备与手机屏幕下方。
可选地,眼动检测设备可以通过手机的充电接口与手机相连。
图5(b)是根据本发明实施例的一种终端设置可拆卸式眼动跟随设备的示意图二,如图5(b)所示,采用内置方法增加触摸板,并将触摸板设置与手机背面。
可选地,可以通过快捷键或手机设置界面中开启眼动跟踪模式。
可选地,为确保手机所采集的注视点的准确性,在启动眼动跟踪模式之前,还需要对注视点进行校准。
需要说明的是,在使用眼动跟踪模式之前,需采集若干的眼睛特征图像,然后根据眼睛特征图像计算注视点。
例如,可以采集用户的若干的眼睛特征图像,然后根据该眼睛特征图形计算用户的注视点。
可选地,在使用眼动跟踪模式之前,需要用户配合观看一些手机屏幕或手机上的目标注视点,此过程又称为校准。
可选地,校准过程可以通过如下步骤进行:
1)用户注视目标物的同时手机屏幕出现注视点指示物,该指示物可以为光标。
2)用户检查注视点指示物与注视目标物的偏差。
3)如果没有偏差则直接继续使用注视点作为指示器操作手机。
4)如果有偏差,则切换到修正模式。
可选地,在修改模式下,可以通过手机后的触摸板将光标挪到目标物处使二者重叠。
5)在将挪动光标,使光标与目标物重叠后,注视点识别算法根据用户的修正结果调整计算系数。
6)用户可重复2过程,直到计算得出的注视点与用户实际的注视点达到满意的使用精度。
以下为本发明所提供方案的实际应用的示例。
需要说明的是,本发明所提供的技术方案可以包括但不限于以下示例。
可选地,用户可以通过注视的方式生成“打开指令”。
例如,用于可以注视手机交互界面中的目标应用的图标,指示光标(可隐藏)出现在目标图标上后,轻点触摸设备,控制目标应用打开。
可选地,用户可以通过注视的方式生成“翻页指令”。
例如,在手机上阅读电子书籍时,注视“书”的右下角,手指在触摸设备上轻轻地从右划到左,向后翻页;注视“书”的左下角,手指在触摸设备上轻轻地从左划到右,向前翻页。
又例如,在手机上阅读电子书籍或网页时,手指在触摸设备按下,用户目光从“书”的右下角,并向左移动,完成向后翻页动作;用户目光从“书”的左下角,并向右移动,完成向前翻页动作。
可选地,用户可以通过注视的方式生成“拖拽指令”。
例如,用户注视手机交互界面某图标,同时手指在触摸设备按下并往目标方向移动,相应的图标跟着手指移动到目标位置。
由例如,用户注视手机交互界面某图标,同时手指在触摸设备按下,然后用户的目光(注视点)往目标方向移动,相应的图标跟着用户的目光(注视点)移动到目标位置。
本发明所提供的技术放哪,通过触摸设备与眼动追踪技术结合,对计算注视点进行修正或操作,达到精准使用视线进行人机交互的效果,实现了电子设备的精准操作。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种终端的控制方法,其特征在于,包括:
获取针对终端的注视点信息;
获取对触摸设备进行触摸操作所产生的第一触摸指令;
依据所述注视点信息与所述第一触摸指令确定对所述终端的控制指令;
控制所述终端执行与所述控制指令对应的操作。
2.根据权利要求1所述的方法,其特征在于,在依据所述注视点信息与所述触摸操作指令确定对所述终端的控制指令之前,所述方法还包括:
校准所述注视点信息。
3.根据权利要求2所述的方法,其特征在于,校准所述注视点信息包括:
确定与目标物对应的注视点所在的初始位置;
调整指示物的位置,使所述指示物与所述目标物重合,并将调整后的所述指示物的位置作为校准后的注视点信息,其中,所述指示物用于指示所述注视点所在位置。
4.根据权利要求3所述的方法,其特征在于,调整所述指示物的位置包括:
获取对触摸设备进行触摸操作所产生的第二触摸指令;
根据所述第二触摸指令调整所述指示物的位置。
5.一种终端的控制装置,其特征在于,包括:
第一获取单元,用于获取针对终端的注视点信息;
第二获取单元,用于获取对触摸设备进行触摸操作所产生的第一触摸指令;
确定单元,用于依据所述注视点信息与所述第一触摸指令确定对所述终端的控制指令;
控制单元,用于控制所述终端执行与所述控制指令对应的操作。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
校准单元,用于在依据所述注视点信息与所述触摸操作指令确定对所述终端的控制指令之前,校准所述注视点信息。
7.根据权利要求6所述的装置,其特征在于,所述校准单元包括:
确定模块,用于确定与目标物对应的注视点所在的初始位置;
调整模块,用于调整指示物的位置,使所述指示物与所述目标物重合,并将调整后的所述指示物的位置作为校准后的注视点信息,其中,所述指示物用于指示所述注视点所在位置。
8.根据权利要求7所述的装置,其特征在于,所述调整模块包括:
获取模块,用于获取对触摸设备进行触摸操作所产生的第二触摸指令;
调整子模块,用于根据所述第二触摸指令调整所述指示物的位置。
9.一种终端,其特征在于,包括:
眼动跟随设备,用于获取针对终端的注视点信息;
触摸设备,用于获取对触摸设备进行触摸操作所产生的第一触摸指令;
处理器,用于依据所述注视点信息与所述第一触摸指令确定对所述终端的控制指令,并控制所述终端执行与所述控制指令对应的操作。
10.根据权利要求9所述的终端,其特征在于,
所述眼动跟随设备可拆卸式设置于所述终端上;或
所述眼动跟随设备固定安装于所述终端上。
11.根据权利要求9所述的终端,其特征在于,所述触摸设备固定安装于所述终端上。
12.根据权利要求11所述的终端,其特征在于,
所述触摸设备包括所述终端的触摸屏幕;和/或
所述触摸设备包括在所述终端背面设置的触摸板。
13.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至4中任意一项所述的终端的控制方法。
14.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至4中任意一项所述的终端的控制方法。
CN201810428124.8A 2018-05-07 2018-05-07 终端的控制方法、装置及终端 Pending CN108829239A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810428124.8A CN108829239A (zh) 2018-05-07 2018-05-07 终端的控制方法、装置及终端
PCT/CN2019/077165 WO2019214329A1 (zh) 2018-05-07 2019-03-06 终端的控制方法、装置及终端
TW108109581A TW201947361A (zh) 2018-05-07 2019-03-20 終端的控制方法、裝置及終端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810428124.8A CN108829239A (zh) 2018-05-07 2018-05-07 终端的控制方法、装置及终端

Publications (1)

Publication Number Publication Date
CN108829239A true CN108829239A (zh) 2018-11-16

Family

ID=64148334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810428124.8A Pending CN108829239A (zh) 2018-05-07 2018-05-07 终端的控制方法、装置及终端

Country Status (3)

Country Link
CN (1) CN108829239A (zh)
TW (1) TW201947361A (zh)
WO (1) WO2019214329A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960412A (zh) * 2019-03-22 2019-07-02 北京七鑫易维信息技术有限公司 一种基于触控调整注视区域的方法以及终端设备
CN110174937A (zh) * 2019-04-09 2019-08-27 北京七鑫易维信息技术有限公司 注视信息控制操作的实现方法及装置
WO2019214329A1 (zh) * 2018-05-07 2019-11-14 北京七鑫易维信息技术有限公司 终端的控制方法、装置及终端
CN114115532A (zh) * 2021-11-11 2022-03-01 珊瑚石(上海)视讯科技有限公司 一种基于显示内容的ar标注方法及系统
CN116737051A (zh) * 2023-08-16 2023-09-12 北京航空航天大学 基于触控屏的视触结合交互方法、装置、设备和可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238726A (zh) * 2013-06-17 2014-12-24 腾讯科技(深圳)有限公司 智能眼镜控制方法、装置及一种智能眼镜
CN105260008A (zh) * 2014-07-15 2016-01-20 华为技术有限公司 一种定位位置的方法及装置
CN105320261A (zh) * 2015-01-07 2016-02-10 维沃移动通信有限公司 移动终端的控制方法及移动终端
CN107771051A (zh) * 2014-11-14 2018-03-06 Smi创新传感技术有限公司 眼睛追踪系统以及检测优势眼的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829239A (zh) * 2018-05-07 2018-11-16 北京七鑫易维信息技术有限公司 终端的控制方法、装置及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238726A (zh) * 2013-06-17 2014-12-24 腾讯科技(深圳)有限公司 智能眼镜控制方法、装置及一种智能眼镜
CN105260008A (zh) * 2014-07-15 2016-01-20 华为技术有限公司 一种定位位置的方法及装置
CN107771051A (zh) * 2014-11-14 2018-03-06 Smi创新传感技术有限公司 眼睛追踪系统以及检测优势眼的方法
CN105320261A (zh) * 2015-01-07 2016-02-10 维沃移动通信有限公司 移动终端的控制方法及移动终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019214329A1 (zh) * 2018-05-07 2019-11-14 北京七鑫易维信息技术有限公司 终端的控制方法、装置及终端
CN109960412A (zh) * 2019-03-22 2019-07-02 北京七鑫易维信息技术有限公司 一种基于触控调整注视区域的方法以及终端设备
CN109960412B (zh) * 2019-03-22 2022-06-07 北京七鑫易维信息技术有限公司 一种基于触控调整注视区域的方法以及终端设备
CN110174937A (zh) * 2019-04-09 2019-08-27 北京七鑫易维信息技术有限公司 注视信息控制操作的实现方法及装置
CN114115532A (zh) * 2021-11-11 2022-03-01 珊瑚石(上海)视讯科技有限公司 一种基于显示内容的ar标注方法及系统
CN114115532B (zh) * 2021-11-11 2023-09-29 珊瑚石(上海)视讯科技有限公司 一种基于显示内容的ar标注方法及系统
CN116737051A (zh) * 2023-08-16 2023-09-12 北京航空航天大学 基于触控屏的视触结合交互方法、装置、设备和可读介质
CN116737051B (zh) * 2023-08-16 2023-11-24 北京航空航天大学 基于触控屏的视触结合交互方法、装置、设备和可读介质

Also Published As

Publication number Publication date
WO2019214329A1 (zh) 2019-11-14
TW201947361A (zh) 2019-12-16

Similar Documents

Publication Publication Date Title
CN114341779B (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
CN108829239A (zh) 终端的控制方法、装置及终端
US10649549B2 (en) Device, method, and system to recognize motion using gripped object
US11119573B2 (en) Pupil modulation as a cognitive control signal
CN105045398B (zh) 一种基于手势识别的虚拟现实交互设备
JP2019087279A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
CN108681399B (zh) 一种设备控制方法、装置、控制设备及存储介质
CN107174824B (zh) 特效信息处理方法、装置、电子设备及存储介质
US20180321739A1 (en) Electronic device and method for controlling display
CN104023802B (zh) 使用神经分析的电子装置的控制
CN107066085B (zh) 一种基于眼球追踪控制终端的方法及装置
KR102326489B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
US20240077948A1 (en) Gesture-based display interface control method and apparatus, device and storage medium
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN105068646A (zh) 终端的控制方法和系统
KR20150106823A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN110287925A (zh) 阅读翻页控制方法及相关产品
CN109101110A (zh) 一种操作指令执行方法、装置、用户终端及存储介质
CN105302295A (zh) 一种具有3d摄像组件的虚拟现实交互设备
US10564719B1 (en) Augmenting the functionality of user input devices using a digital glove
US20210333882A1 (en) Wink Gesture Based Control System
CN110174937A (zh) 注视信息控制操作的实现方法及装置
CN109740430A (zh) 指纹录入方法及相关设备
CN110244848A (zh) 阅读控制方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116