CN109508092A - 基于眼球追踪控制终端设备的方法、装置和终端 - Google Patents

基于眼球追踪控制终端设备的方法、装置和终端 Download PDF

Info

Publication number
CN109508092A
CN109508092A CN201811325651.2A CN201811325651A CN109508092A CN 109508092 A CN109508092 A CN 109508092A CN 201811325651 A CN201811325651 A CN 201811325651A CN 109508092 A CN109508092 A CN 109508092A
Authority
CN
China
Prior art keywords
target object
eye movement
target
movement information
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811325651.2A
Other languages
English (en)
Inventor
黄通兵
秦林婵
刘建波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201811325651.2A priority Critical patent/CN109508092A/zh
Publication of CN109508092A publication Critical patent/CN109508092A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于眼球追踪控制终端设备的方法、装置和终端。其中,该方法包括:获取目标对象的第一眼动信息;根据第一眼动信息确定目标对象注视目标区域内的注视点位置;确定注视点位置在目标区域中的目标位置。本发明解决了现有技术对人体部位进行定位的操作复杂的技术问题。

Description

基于眼球追踪控制终端设备的方法、装置和终端
技术领域
本发明涉及眼球追踪领域,具体而言,涉及一种基于眼球追踪控制终端设备的方法、装置和终端。
背景技术
肌萎缩侧索硬化症,俗称“渐冻人症”。患有该病的患者肌肉逐渐萎缩和无力,以致瘫痪,身体如同逐渐冻住一样。
对于渐冻人等不便沟通的群体,当身体某部位出现不适时,由于无法与正常人一样通过语言的形式表达需求,患者只能通过控制机器或者相关软件来实现实际需求的表达。
目前,可通过如下两种方式来实现渐冻人等患者实际需求的表达。其中,方式一是采用人脸识别技术来实现的。具体的,患者可通过转动头部来控制目标点,选择相应的身体部位,但该方式需要使用者大范围移动头部,易造成使用者的疲劳,同时由于人体的头部可能会微颤,导致无法准确定位目标点。方式二是采用眼球追踪技术来实现的,现有的眼球追踪技术是通过眼睛控制表示方向的上下左右界面上的虚拟按钮,移动鼠标光标选择相应的位置。但该方式使用复杂,使用者需要花费较长的时间完成目标位置的选定,用户体验较差。
针对上述现有技术对人体部位进行定位的操作复杂的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于眼球追踪控制终端设备的方法、装置和终端,以至少解决现有技术对人体部位进行定位的操作复杂的技术问题。
根据本发明实施例的一个方面,提供了一种基于眼球追踪控制终端设备的方法,包括:获取目标对象的第一眼动信息;根据第一眼动信息确定目标对象注视目标区域内的注视点位置;确定注视点位置在目标区域中的目标位置。
进一步地,基于眼球追踪控制终端设备的方法还包括:获取目标对象的第二眼动信息;根据第二眼动信息确定目标对象所注视的控件,其中,控件与预设部位的图像相关联;确定与控件关联的预设部位;将预设部位所对应的图像作为目标区域。
进一步地,基于眼球追踪控制终端设备的方法还包括:根据第二眼动信息确定目标对象的注视点位置;获取多个控件的位置信息;从多个控件中确定位置信息与目标对象的位置信息相匹配的目标控件;将目标控件设置为目标对象所注视的控件。
进一步地,在根据注视点位置确定目标位置之后,基于眼球追踪控制终端设备的方法还包括:获取目标对象的第三眼动信息;根据第三眼动信息确定对目标位置进行调整的微调方向;根据微调方向对目标位置进行调整。
进一步地,基于眼球追踪控制终端设备的方法还包括:根据第三眼动信息确定微调控件的微调方向;根据第三眼动信息获取目标对象注视微调控件的注视时长和/或注视次数;根据微调控件的注视时长和/或注视次数确定微调距离;按照微调方向调整注视点位置至微调距离处。
进一步地,基于眼球追踪控制终端设备的方法还包括:获取目标对象的第四眼动信息;根据第四眼动信息确定目标对象所注视的状态控件,其中,状态控件与目标对象的身体感知以及感知程度相关;根据目标对象所注视的状态控件确定目标对象的身体状态。
根据本发明实施例的另一方面,还提供了一种基于眼球追踪控制终端设备的装置,包括:第一获取模块,用于获取目标对象的第一眼动信息;第一确定模块,用于根据第一眼动信息确定目标对象注视目标区域内的注视点位置;第二确定模块,用于确定注视点位置在目标区域中的目标位置。
根据本发明实施例的另一方面,还提供了一种基于眼球追踪控制终端设备的终端,包括:采集器,用于采集目标对象的第一眼动信息;处理器,用于根据第一眼动信息确定目标对象注视目标区域内的注视点位置,并确定注视点位置在目标区域中的目标位置;显示器,用于显示目标区域以及目标位置。
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,程序执行基于眼球追踪控制终端设备的方法。
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行基于眼球追踪控制终端设备的方法。
在本发明实施例中,采用基于眼球追踪的定位方式,在获取目标对象的第一眼动信息之后,通过第一眼动信息来确定目标对象注视目标区域内的注视点位置,并根据注视点位置来确定注视点位置在目标区域中的目标位置。
在上述过程中,采用了眼球追踪技术来对目标位置进行定位,与现有技术中的人脸识别方式通过控制头部转动的方式相比,对用户而言,控制眼球的移动更容易操作,省时省力。另外,该方案通过眼球追踪的方式可直接通过光标对预设部位进行定位,与现有的通过眼动控制按钮的方式相比,本申请的操作方式更加简单,简化了用户的操作流程,缩短了操作时长,提高了用户体验。
由此可见,本申请所提供的方案可以达到精确确定目标位置,简化用户操作的目的,进而解决了现有技术对人体部位进行定位的操作复杂的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种基于眼球追踪控制终端设备的方法的流程图;
图2是根据本发明实施例的一种可选的定位界面的示意图;
图3是根据本发明实施例的一种可选的定位界面的示意图;
图4是根据本发明实施例的一种可选的定位界面的示意图;
图5是根据本发明实施例的一种可选的基于眼球追踪控制终端设备的方法的流程图;
图6是根据本发明实施例的一种基于眼球追踪控制终端设备的装置的结构示意图;以及
图7是根据本发明实施例的一种可选的定位界面的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种基于眼球追踪控制终端设备的方法的实施例,需要说明的是,在附图的流程图中所示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的基于眼球追踪控制终端设备的方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取目标对象的第一眼动信息。
需要说明的是,眼动终端可以获取目标对象的第一眼动信息,其中,眼动终端可以包括但不限于采集器、处理器以及显示器,采集器可以为但不限于图像采集器,用于采集目标对象的眼动图像;处理器可对采集器采集到的眼动图像进行分析,从而得到目标对象的眼动信息;显示器可显示采集器所采集到的眼动图像。
另外,本申请所提供的方案可适用于所有用户,即目标对象可以为所有用户,可选的,本申请中的目标用户为肢体行动不便的用户,例如,渐冻人。其中,目标对象的第一眼动信息为目标对象注视人体的整个身体时的眼动信息,例如,图2中,第一眼动信息为目标对象注视图2中的A点时的眼动信息,可以包括但不限于目标对象的瞳孔半径、瞳孔中心位置等。
步骤S104,根据第一眼动信息确定目标对象注视目标区域内的注视点位置。
需要说明的是,在步骤S104中,目标区域为包含预设部位的图像,目标区域对应的预设部位可以为人体的身体部位,包括但不限于面部、手部、足部以及躯干。在确定了目标对象选择的目标区域之后,目标对象可注视目标区域内的具体位置,例如,注视图2中的A点,此时,眼动终端可获取目标对象的第一眼动信息,并根据第一眼动信息确定目标对象的注视方向,进而确定目标对象注视目标区域的注视点位置。
步骤S106,确定注视点位置在目标区域中的目标位置。
需要说明的是,在确定了目标对象的注视点位置之后,眼动终端的显示器中显示注视点位置所对应的目标位置。当注视点位置发生改变时,目标位置对应的光标的位置也发生改变。
可选的,在确定了目标位置之后,眼动终端可以以文字或语音的形式提示目标位置的信息,例如,在确定图3中的目标位置A之后,眼动终端的显示器中显示“目标位置为腰部”,并在显示器中显示目标位置可能出现的症状,例如,“腰部酸疼”,或者,眼动终端语音提示“目标位置为腰部”,并通过语音的方式提示腰部可能出现的症状。
基于上述步骤S102至步骤S106所限定的方案,可以获知,采用基于眼球追踪的定位方式,在获取目标对象的第一眼动信息之后,通过第一眼动信息来确定目标对象注视目标区域内的注视点位置,例如,当用户注视目标区域内某一位置的注视时长达到预设时长时,可确定该位置为注视点位置;又例如,当用户注视目标区域内某一位置时,眼动终端检测用户是否有眨眼操作,如果有眨眼操作,再进一步检测眨眼频率,当眨眼频率大于预设频率时,眼动终端确定用户注视的该位置为注视点位置。进一步地,在确定了目标对象注视目标区域内的注视点位置之后,眼动终端根据注视点位置来注视点位置在目标区域中的确定目标位置,其中,目标区域为包含预设部位的图像。
容易注意到的是,采用了眼球追踪技术来对目标位置进行定位,与现有技术中的人脸识别方式通过控制头部转动的方式相比,对用户而言,控制眼球的移动更容易操作,省时省力。另外,该方案通过眼球追踪的方式可直接通过光标对预设部位进行定位,与现有的通过眼动控制按钮的方式相比,本申请的操作方式更加简单,简化了用户的操作流程,缩短了操作时长,提高了用户体验。
由此可见,本申请所提供的方案可以达到精确确定目标位置,简化用户操作的目的,进而解决了现有技术对人体部位进行定位的操作复杂的技术问题。
在一种可选的方案中,在获取目标对象的第一眼动信息之前,目标对象还可通过选择图2中的控件来确定具体的身体部位,以达到直接确定身体部位对应的目标区域,节省目标对象的操作时间的目的。其中,详细步骤可以包括:
步骤S1020,获取目标对象的第二眼动信息;
步骤S1022,根据第二眼动信息确定目标对象所注视的控件,其中,控件与预设部位的图像相关联;
步骤S1024,确定与控件关联的预设部位;
步骤S1026,将预设部位所对应的图像作为目标区域。
需要说明的是,目标对象的第二眼动信息为目标对象注视控件时的眼动信息,其中,目标对象的第二眼动信息的获取方法与第一眼动信息的获取方法相同,在此不再赘述。另外,每个预设部位的图像均与控件相关联,例如,面部图像与“面部”控件相关联,当目标对象选择“面部”控件时,眼动终端的显示器将显示面部图像。
在一种可选的方案中,目标对象注视图2中的“躯干控件”,眼动终端的显示器显示图3所示的躯干的显示界面,在该显示界面中,眼动终端对躯干的显示图像(即目标区域)进行了放大处理,或者说进行了局部特写。眼动终端可获取目标对象在目标区域内的注视点位置,并以光标的形式显示注视点位置,例如,图2中的注视点位置A。
容易注意到的是,由于眼动终端对目标对象选择的目标区域进行了放大处理,因此,目标对象能够更加精准的选择目标位置。
另外,由于眼动终端的显示界面上显示有多个控件,因此,在显示与控件对象的预设部位的图像之前,首先需要确定目标对象所注视的控件。其中,根据第二眼动信息确定目标对象所注视的控件,可以包括:
步骤S2020,根据第二眼动信息确定目标对象的注视点位置;
步骤S2022,获取多个控件的位置信息;
步骤S2024,从多个控件中确定位置信息与目标对象的位置信息相匹配的目标控件;
步骤S2026,将目标控件设置为目标对象所注视的控件。
具体的,眼动终端中存储有取每个控件的位置信息,该位置信息至少包括每个控件的关键点的位置,可选的,图2中每个控件的关键点至少包括每个控件的四个定点(即每个顶点),然后在根据关键点的位置确定每个控件的区域范围。在确定目标对象注视显示器的注视点位置之后,眼动终端判断注视点位置是否在某个控件的区域范围内,如果注视点位置在某个控件的区域范围内,则确定用户所注视的控件为该控件。
容易注意到的是,由于控件与预设部位的图像相关联,因此,目标对象通过操作控件可确定需要观察的预设部位,眼动终端在确定了目标对象选择的控件之后,可直接显示该控件对应的预设部位的图像,从而达到了快速定位和精准定位的目的。
为了进一步的提高定位的准确性,在确定注视点位置在目标区域中的目标位置之后,目标对象还可通过控制微调控件来达到精准定位的目的。具体步骤可以包括:
步骤S1080,获取目标对象的第三眼动信息;
步骤S1082,根据第三眼动信息确定对目标位置进行调整的微调方向;
步骤S1084,根据微调方向对目标位置进行调整。
需要说明的是,目标对象的第三眼动信息为目标对象注视预设部位时的眼动信息,例如,目标对象注视头部时的眼动信息,目标对象的第三眼动信息的获取方法与第一眼动信息的获取方法相同,在此不再赘述。
其中,根据微调方向对目标位置进行调整,可以包括:
步骤S2080,根据第三眼动信息确定微调控件的微调方向;
步骤S2082,根据第三眼动信息获取目标对象注视微调控件的注视时长和/或注视次数;
步骤S2084,根据微调控件的注视时长和/或注视次数确定微调距离;
步骤S2086,按照微调方向调整注视点位置至微调距离处。
在一种可选的方案中,如图4所示的定位界面的示意图,微调控件S包括四个子控件,每个子控件对应一个方向,其中,子控件对应的方向用于对目标对象的注视点位置(即目标位置)进行微调。例如,当目标对象注视向上的子控件时,眼动终端可控制注视点位置A向上移动。其中,注视点位置移动的方向与子控件对应的方向相同,注视点位置的移动距离与目标对象注视子控件的注视时长和/或注视次数有关。可选的,目标对象注视子控件的注视时长越长,注视点位置移动的距离越长;或者,目标对象注视子控件的注视次数越多,注视点位置移动的距离越长。
可选的,在确定注视点位置在目标区域中的目标位置之后,目标对象还可通过眼球追踪技术确定目标对象的身体状态,具体过程如下:
步骤S3080,获取目标对象的第四眼动信息;
步骤S3082,根据第四眼动信息确定目标对象所注视的状态控件,其中,状态控件与目标对象的身体感知以及感知程度相关;
步骤S3084,根据目标对象所注视的状态控件确定目标对象的身体状态。
需要说明的是,目标对象的第四眼动信息为目标对象注视状态控件时的眼动信息,状态控件可以包括感知控件和程度控件,以图7所示的定位界面的示意图为例进行说明,感知控件为图7中的“痛”、“麻”、“木”、“痒”、“胀”、“酸”等控件,用于表示目标对象的感知;程度控件可以为图7中的“轻微”、“中度”、“严重”等控件,用于表示目标对象的感知的程度,例如,痛的程度、麻的程度等。
另外,获取目标对象的第四眼动信息的方法与上文中获取目标对象的第一眼动信息的方法相同,在此不再赘述。
具体的,在确定了目标位置之后,目标对象可通过注视图7中的状态控件中的感知控件来选择目标对象的目标位置的感知,例如,目标位置为图7中的A,则确定了A之后,目标对象注视图7中的“痛”控件,此时,眼动终端可确定目标对象的A位置痛。在目标对象注视程度控件之后,眼动终端可获取到目标对象的A位置痛的程度。进一步地,眼动终端还可根据目标对象的A位置痛的程度来确定目标对象的身体状态。可选的,眼动终端还可将目标对象的身体状态通过无线通信的方式发送至其他的客户端,例如,发送至目标对象的医生和/或家人,以将目标对象的身体状态告知医生和/或家人,进而医生和/或家人可以采取相应的急救措施。
在一种可选的方案中,以图5所示的基于眼球追踪控制终端设备的方法的流程图为例进行详细说明。首先,用户可对眼动终端的相关设备进行配置,例如,设置显示器摆放位置。然后,在眼动终端的显示器中显示身体整体图像以及光标,其中,该光标即为目标对象的注视点位置。眼动终端控制光标跟随目标对象眼睛的移动在身体整体对应的界面中移动,并确定光标位置与目标位置是否一致。如果目标对象确定光标位置与目标位置一致,则停止对光标位置进行调整;如果目标对象确定光标位置与目标位置不一致,则眼动终端接收目标对象选择的控件,并根据该控件确定目标对象所要选择的身体部位,同时,眼动终端的显示器显示身体部位图像以及光标,并控制光标跟随目标对象眼睛的移动在身体部位对应的界面中移动。同样的,眼动终端继续确定光标位置与目标位置是否一致。如果目标对象确定光标位置与目标位置一致,则停止对光标位置进行调整;如果目标对象确定光标位置与目标位置不一致,则眼动终端接收目标对象通过操作微调控件的微调参数,并根据微调参数对光标位置进行调节。
由上述内容可知,本申请所提供的方案采用眼球追踪方式对目标位置进行快速定位,操作简单,省时省力。另外,本申请所提供的方案可通过局部部位选择、眼球追踪移动加上下左右按钮微移动,可以更精准的选择目标位置。
实施例2
根据本发明实施例,还提供了一种基于眼球追踪的定位装置的实施例,需要说明的是,该装置可执行实施例1中的基于眼球追踪控制终端设备的方法,其中,图6是根据本发明实施例的基于眼球追踪控制终端设备的装置的结构示意图,如图6所示,该装置包括:第一获取模块601、第一确定模块603以及第二确定模块605。
其中,第一获取模块601,用于获取目标对象的第一眼动信息;第一确定模块603,用于根据第一眼动信息确定目标对象注视目标区域内的注视点位置;第二确定模块605,用于确定注视点位置在目标区域中的目标位置。
需要说明的是,上述第一获取模块601、第一确定模块603以及第二确定模块605对应于实施例1中的步骤S102至步骤S106,三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
在一种可选的方案中,基于眼球追踪的定位装置包括:第二获取模块、第三确定模块、第四确定模块以及处理模块。其中,第二获取模块,用于获取目标对象的第二眼动信息;第三确定模块,用于根据第二眼动信息确定目标对象所注视的控件,其中,控件与预设部位的图像相关联;第四确定模块,用于确定与控件关联的预设部位;处理模块,用于将预设部位所对应的图像作为目标区域。
需要说明的是,上述第二获取模块、第三确定模块、第四确定模块以及处理模块对应于实施例1中的步骤S1020至步骤S1026,四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
在一种可选的方案中,第三确定模块包括:第五确定模块、第三获取模块、第六确定模块以及设置模块。其中,第五确定模块,用于根据第二眼动信息确定目标对象的注视点位置;第三获取模块,用于获取多个控件的位置信息;第六确定模块,用于从多个控件中确定位置信息与目标对象的位置信息相匹配的目标控件;设置模块,用于将目标控件设置为目标对象所注视的控件。
需要说明的是,上述第五确定模块、第三获取模块、第六确定模块以及设置模块对应于实施例1中的步骤S2020至步骤S2026,四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
在一种可选的方案中,基于眼球追踪的定位装置还包括:第四获取模块、第七确定模块以及第一调整模块。其中,第四获取模块,用于获取目标对象的第三眼动信息;第七确定模块,用于根据第三眼动信息确定对目标位置进行调整的微调方向;第一调整模块,用于根据微调方向对目标位置进行调整。
需要说明的是,上述第四获取模块、第七确定模块以及第一调整模块对应于实施例1中的步骤S1080至步骤S1084,三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
在一种可选的方案中,第一调整模块包括:第八确定模块、第五获取模块、第九确定模块以及第二调整模块。其中,第八确定模块,用于根据第三眼动信息确定微调控件的微调方向;第五获取模块,用于根据第三眼动信息获取目标对象注视微调控件的注视时长和/或注视次数;第九确定模块,用于根据微调控件的注视时长和/或注视次数确定微调距离;第二调整模块,用于按照微调方向调整注视点位置至微调距离处。
需要说明的是,上述第八确定模块、第五获取模块、第九确定模块以及第二调整模块对应于实施例1中的步骤S2080至步骤S2086,四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
在一种可选的方案中,基于眼球追踪的定位装置还包括:第六获取模块、第十确定模块以及第十一确定模块。其中,第六获取模块,用于获取目标对象的第四眼动信息;第十确定模块,用于根据第四眼动信息确定目标对象所注视的状态控件,其中,状态控件与目标对象的身体感知以及感知程度相关;第十一确定模块,用于根据目标对象所注视的状态控件确定目标对象的身体状态。
需要说明的是,上述第六获取模块、第十确定模块以及第十一确定模块对应于实施例1中的步骤S3080至步骤S3084,三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
实施例3
根据本发明实施例,还提供了一种基于眼球追踪控制终端设备的终端实施例,需要说明的是,该终端可执行实施例1中的基于眼球追踪控制终端设备的方法,其中,该终端可以包括:采集器、处理器以及显示器。
其中,采集器,用于采集目标对象的第一眼动信息;处理器,用于根据第一眼动信息确定目标对象注视目标区域内的注视点位置,并确定注视点位置在目标区域中的目标位置;显示器,用于显示目标区域以及目标位置。
在一种可选的方案中,处理器获取目标对象的第二眼动信息,并根据第二眼动信息确定目标对象所注视的控件,然后,确定与控件关联的预设部位,并将预设部位所对应的图像作为目标区域。其中,控件与预设部位图像相关联。
在一种可选的方案中,处理器根据第二眼动信息确定目标对象的注视点位置,然后获取多个控件的位置信息,并从多个控件中确定位置信息与目标对象的位置信息相匹配的目标控件,最后将目标控件设置为目标对象所注视的控件。
在一种可选的方案中,在根据注视点位置确定目标位置之后,处理器还获取目标对象的第三眼动信息,然后根据第三眼动信息确定对目标位置进行调整的微调方向,并根据微调方向对目标位置进行调整。
在一种可选的方案中,处理器根据第三眼动信息确定微调控件的微调方向,并根据第三眼动信息获取目标对象注视微调控件的注视时长和/或注视次数,然后根据微调控件的注视时长和/或注视次数确定微调距离,最后按照微调方向调整注视点位置至微调距离处。
还存在一种可选的方案,在确定注视点位置在目标区域中的目标位置之后,处理器还获取目标对象的第四眼动信息,然后,根据第四眼动信息确定目标对象所注视的状态控件,并根据目标对象所注视的状态控件确定目标对象的身体状态。其中,状态控件与目标对象的身体感知以及感知程度相关。
实施例4
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,程序执行实施例1中的基于眼球追踪控制终端设备的方法。
实施例5
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行实施例1中的基于眼球追踪控制终端设备的方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于眼球追踪控制终端设备的方法,其特征在于,包括:
获取目标对象的第一眼动信息;
根据所述第一眼动信息确定所述目标对象注视目标区域内的注视点位置;
确定所述注视点位置在所述目标区域中的目标位置。
2.根据权利要求1所述的方法,其特征在于,在获取目标对象的第一眼动信息之前,所述方法还包括:
获取所述目标对象的第二眼动信息;
根据所述第二眼动信息确定所述目标对象所注视的控件,其中,所述控件与预设部位的图像相关联;
确定与所述控件关联的预设部位;
将所述预设部位所对应的图像作为所述目标区域。
3.根据权利要求2所述的方法,其特征在于,根据所述第二眼动信息确定所述目标对象所注视的控件,包括:
根据所述第二眼动信息确定所述目标对象的注视点位置;
获取多个控件的位置信息;
从所述多个控件中确定位置信息与所述目标对象的位置信息相匹配的目标控件;
将所述目标控件设置为所述目标对象所注视的控件。
4.根据权利要求1所述的方法,其特征在于,在确定所述注视点位置在所述目标区域中的目标位置之后,所述方法还包括:
获取所述目标对象的第三眼动信息;
根据所述第三眼动信息确定对所述目标位置进行调整的微调方向;
根据所述微调方向对所述目标位置进行调整。
5.根据权利要求4所述的方法,其特征在于,根据所述微调方向对所述目标位置进行调整,包括:
根据所述第三眼动信息确定微调控件的微调方向;
根据所述第三眼动信息获取所述目标对象注视所述微调控件的注视时长和/或注视次数;
根据所述微调控件的注视时长和/或注视次数确定微调距离;
按照所述微调方向调整所述注视点位置至所述微调距离处。
6.根据权利要求1所述的方法,其特征在于,在确定所述注视点位置在所述目标区域中的目标位置之后,所述方法还包括:
获取所述目标对象的第四眼动信息;
根据所述第四眼动信息确定所述目标对象所注视的状态控件,其中,所述状态控件与所述目标对象的身体感知以及感知程度相关;
根据所述目标对象所注视的状态控件确定所述目标对象的身体状态。
7.一种基于眼球追踪控制终端设备的装置,其特征在于,包括:
第一获取模块,用于获取目标对象的第一眼动信息;
第一确定模块,用于根据所述第一眼动信息确定所述目标对象注视目标区域内的注视点位置;
第二确定模块,用于确定所述注视点位置在所述目标区域中的目标位置。
8.一种基于眼球追踪控制终端设备的终端,其特征在于,包括:
采集器,用于采集目标对象的第一眼动信息;
处理器,用于根据所述第一眼动信息确定所述目标对象注视目标区域内的注视点位置,并确定所述注视点位置在所述目标区域中的目标位置;
显示器,用于显示所述目标区域以及所述目标位置。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至6中任意一项所述的基于眼球追踪控制终端设备的方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的基于眼球追踪控制终端设备的方法。
CN201811325651.2A 2018-11-08 2018-11-08 基于眼球追踪控制终端设备的方法、装置和终端 Pending CN109508092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811325651.2A CN109508092A (zh) 2018-11-08 2018-11-08 基于眼球追踪控制终端设备的方法、装置和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811325651.2A CN109508092A (zh) 2018-11-08 2018-11-08 基于眼球追踪控制终端设备的方法、装置和终端

Publications (1)

Publication Number Publication Date
CN109508092A true CN109508092A (zh) 2019-03-22

Family

ID=65747854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811325651.2A Pending CN109508092A (zh) 2018-11-08 2018-11-08 基于眼球追踪控制终端设备的方法、装置和终端

Country Status (1)

Country Link
CN (1) CN109508092A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710046A (zh) * 2020-06-05 2020-09-25 北京有竹居网络技术有限公司 交互方法、装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472908A (zh) * 2012-06-05 2013-12-25 由田新技股份有限公司 双向沟通眼动系统
CN103677221A (zh) * 2012-08-31 2014-03-26 由田新技股份有限公司 眼控沟通系统
CN104866100A (zh) * 2015-05-27 2015-08-26 京东方科技集团股份有限公司 眼控装置及其眼控方法和眼控系统
US20170160799A1 (en) * 2015-05-04 2017-06-08 Huizhou Tcl Mobile Communication Co., Ltd Eye-tracking-based methods and systems of managing multi-screen view on a single display screen
CN107390863A (zh) * 2017-06-16 2017-11-24 北京七鑫易维信息技术有限公司 设备的控制方法及装置、电子设备、存储介质
TWI638281B (zh) * 2017-07-25 2018-10-11 國立臺北科技大學 Providing a method for patients to visually request assistance information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472908A (zh) * 2012-06-05 2013-12-25 由田新技股份有限公司 双向沟通眼动系统
CN103677221A (zh) * 2012-08-31 2014-03-26 由田新技股份有限公司 眼控沟通系统
US20170160799A1 (en) * 2015-05-04 2017-06-08 Huizhou Tcl Mobile Communication Co., Ltd Eye-tracking-based methods and systems of managing multi-screen view on a single display screen
CN104866100A (zh) * 2015-05-27 2015-08-26 京东方科技集团股份有限公司 眼控装置及其眼控方法和眼控系统
CN107390863A (zh) * 2017-06-16 2017-11-24 北京七鑫易维信息技术有限公司 设备的控制方法及装置、电子设备、存储介质
TWI638281B (zh) * 2017-07-25 2018-10-11 國立臺北科技大學 Providing a method for patients to visually request assistance information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710046A (zh) * 2020-06-05 2020-09-25 北京有竹居网络技术有限公司 交互方法、装置和电子设备

Similar Documents

Publication Publication Date Title
Ebrahimi et al. Brain-computer interface in multimedia communication
CN105867633B (zh) 面向智能机器人的信息处理方法及系统
CN106420296A (zh) 一种智能按摩椅
CN107433021A (zh) 一种基于镜像神经元的vr康复系统
Dunne The design of wearable technology: addressing the human-device interface through functional apparel design
CN109718059A (zh) 手部康复机器人自适应控制方法及装置
CN111656304A (zh) 通信方法及系统
Nykopp Statistical modelling issues for the adaptive brain interface
CN108379713A (zh) 一个基于虚拟现实的交互冥想系统
CN110837294A (zh) 一种基于眼球追踪的面部表情控制方法及系统
CN109657560A (zh) 机械手臂控制在线脑-机接口系统及实现方法
CN113040791A (zh) 振动触发设备、手指抬起装置及触感手指运动康复系统
US11809629B1 (en) Wearable electronic device for inducing transient sensory events as user feedback
CN113035000A (zh) 一种面向中枢整合康复治疗技术的虚拟现实训练系统
CN117389441A (zh) 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
Pomboza-Junez et al. Toward the gestural interface: comparative analysis between touch user interfaces versus gesture-based user interfaces on mobile devices
CN109508092A (zh) 基于眼球追踪控制终端设备的方法、装置和终端
CN107684430A (zh) 基于Curie模块人体姿态检测纠正装置及其使用方法
CN112466434B (zh) 心理辅导训练方案的确定方法及装置
WO2020261977A1 (ja) 空間提案システム、及び、空間提案方法
CN115444717B (zh) 基于脑机接口的肢体功能康复训练方法及系统
CN112860068A (zh) 人机交互方法、装置、电子设备、介质和计算机程序产品
CN108334185A (zh) 一种头戴显示设备的眼动数据反馈系统
CN107329582B (zh) 一种基于eog的快速字符输入方法
CN115624338A (zh) 一种上肢刺激反馈康复装置及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190322