CN109960412A - 一种基于触控调整注视区域的方法以及终端设备 - Google Patents

一种基于触控调整注视区域的方法以及终端设备 Download PDF

Info

Publication number
CN109960412A
CN109960412A CN201910258223.0A CN201910258223A CN109960412A CN 109960412 A CN109960412 A CN 109960412A CN 201910258223 A CN201910258223 A CN 201910258223A CN 109960412 A CN109960412 A CN 109960412A
Authority
CN
China
Prior art keywords
area
terminal device
touch
region
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910258223.0A
Other languages
English (en)
Other versions
CN109960412B (zh
Inventor
孔祥晖
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Seven Xin Yi Wei Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Seven Xin Yi Wei Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Seven Xin Yi Wei Technology Co Ltd, Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Seven Xin Yi Wei Technology Co Ltd
Publication of CN109960412A publication Critical patent/CN109960412A/zh
Application granted granted Critical
Publication of CN109960412B publication Critical patent/CN109960412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

本申请提供一种基于触控调整注视区域的方法以及终端设备,用于基于用户的眼动识别确定注视信息后,结合触控操作调整注视区域,使得到的注视区域更符合用户的期望,提高确定注视区域的准确率。该方法包括:终端设备获取注视信息;所述终端设备根据所述注视信息确定对应的第一区域;所述终端设备获取触控信息;所述终端设备根据所述触控信息调整所述第一区域,得到第二区域;所述终端设备获取与所述第二区域对应的指令,并执行所述指令。

Description

一种基于触控调整注视区域的方法以及终端设备
本申请要求于2019年3月22日提交中国专利局、申请号为201910222439.1、申请名称为“一种基于触控调整注视区域的方法以及终端设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人机交互领域,尤其涉及一种基于触控调整注视区域的方法以及终端设备。
背景技术
目前,随着人机交互的应用越来越广,对于用户与设备之间的交互方式也越来越多。具体地,可以通过用户的眼部特征数据,识别用户的操作,进而使设备执行对应的动作。
眼球追踪技术应用在人机交互场景中,通过用户的眼球移动,进而对设备实现控制。例如,在于终端设备的人机交互中,可以通过眼球追踪技术确定用户注视点的方向和位置,来实现用户对终端设备的控制,例如,点击、滑动等等。
但由于受环境影响、用户使用的差异等,眼球追踪的准确度下降,使得容易出现识别错误,进而使得操作无法达到精准,容易出现操作失误。因此,如何更准确地确定用户的实际操作区域,成为亟待解决的问题。
发明内容
本申请提供一种基于触控调整注视区域的方法以及终端设备,用于基于用户的眼动识别确定注视信息后,结合触控操作调整注视区域,使得到的注视区域更符合用户的期望,提高确定注视区域的准确率。
有鉴于此,本申请第一方面提供一种基于触控调整注视区域的方法,包括:
获取注视信息;
根据该注视信息确定对应的第一区域;
获取针对第一区域的触控信息;
根据该触控信息调整该第一区域,得到第二区域。
获取与该第二区域对应的指令,并执行该指令。
可选地,在一种可能的实施方式中,该获取与该第二区域对应的指令,并执行该指令,可以包括:
获取控制数据;
根据该控制数据,获取与该第二区域对应的该指令,并执行该指令。
可选地,在一种可能的实施方式中,该控制数据,可以包括:
面部特征数据、头部特征数据、语音数据或控制指令中的任意一种。
可选地,在一种可能的实施方式中,该根据该触控信息调整该第一区域,得到第二区域,可以包括:
确定该第一区域的预置范围之内的第三区域;
根据该触控信息在该第三区域的范围内调整该第一区域,得到该第二区域。
可选地,在一种可能的实施方式中,该确定该第一区域的预置范围之内的第三区域,可以包括:
获取该注视信息包括的注视点对应的精准度;
确定该第一区域之外的该精准度的N倍的区域为该第三区域,该N大于1。
可选地,在一种可能的实施方式中,该终端设备获取针对该第一区域的触控信息,包括:
该终端设备根据触控区域反馈的触控操作获取针对该第一区域的触控信息。
可选地,在一种可能的实施方式中,
该触控区域包括:该终端设备背侧的预设形状的区域、该终端设备的电容模组的区域、该终端设备屏幕上的虚拟按键的区域或该终端设备的实体按键的区域中的至少一种。
可选地,在一种可能的实施方式中,
该面部特征数据可以包括:眼动行为数据或眼部运动状态中的至少一项;
该头部特征数据包括:头部的运动状态或头部中的预置部位的运动状态中的至少一项。
本申请第二方面提供一种终端设备,包括:
眼动识别模块,用于获取注视信息;
处理模块,用于根据该注视信息确定对应的第一区域;
检测模块,用于获取针对第一区域的触控信息;
该处理模块,还用于根据该触控信息调整该第一区域,得到第二区域。
该处理模块,还用于获取与该第二区域对应的指令,并执行该指令。
可选地,在一种可能的实施方式中,该处理模块,具体用于:
获取控制数据;
根据该控制数据,获取与该第二区域对应的该指令,并执行该指令。
可选地,在一种可能的实施方式中,该控制数据,包括:
面部特征数据、头部特征数据、语音数据或控制指令中的任意一种。
可选地,在一种可能的实施方式中,该处理模块,具体用于:
确定该第一区域的预置范围之内的第三区域;
根据该触控信息在该第三区域的范围内调整该第一区域,得到该第二区域。
可选地,在一种可能的实施方式中,该处理模块,具体用于:
获取该注视信息包括的注视点对应的精准度;
确定该第一区域之外的该精准度的N倍的区域为该第三区域,该N大于1。
可选地,在一种可能的实施方式中,
该检测模块,具体用于根据触控区域反馈的触控操作获取针对该第一区域的触控信息。
可选地,在一种可能的实施方式中,
该触控区域包括:该终端设备背侧的预设形状的区域、该终端设备的电容模组的区域、该终端设备屏幕上的虚拟按键的区域或该终端设备的实体按键的区域中的至少一种。
可选地,在一种可能的实施方式中,
该面部特征数据可以包括:眼动行为数据或眼部运动状态中的至少一项;
该头部特征数据包括:头部的运动状态或头部中的预置部位的运动状态中的至少一项。
本申请第三方面提供一种终端设备,包括:
处理器、存储器、总线以及输入输出接口,该处理器、该存储器与该输入输出接口通过该总线连接;
该存储器,用于存储程序代码;
该处理器调用该存储器中的程序代码时执行本申请第一方面提供的方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,需要说明的是,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产口的形式体现出来,该计算机软件产品存储在一个存储介质中,用于储存为上述设备所用的计算机软件指令,其包含用于执行上述为第一方面中任一项实施例所设计的程序。
该存储介质包括:U盘、移动硬盘、只读存储器(英文缩写ROM,英文全称:Read-OnlyMemory)、随机存取存储器(英文缩写:RAM,英文全称:Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
第五方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机软件指令,该计算机软件指令可通过处理器进行加载来实现上述第一方面中任意一项的基于触控调整注视区域的方法中的流程。
在本申请实施例中,首先通过用户的注视信息确定第一区域之后,继续获取终端设备的针对第一区域的触控信息,并通过该触控信息,调整第一区域,进而得到更接近用户期望的第二区域,并执行与第二区域对应的指令。因此,本申请实施例通过用户的眼部与触控终端设备的结合确定更准确的第二区域,使第二区域更符合用户的期望。即使受环境影响、用户差异等影响使眼部识别不准确,也可以结合终端设备的触控信息对第一区域进行调整,补偿眼球追踪的精确度,使得到的第二区域更准确,提高用户的体验。
附图说明
图1为本申请提供的基于触控调整注视区域的方法的一种流程示意图;
图2为本申请提供的基于触控调整注视区域的方法的另一种流程示意图;
图3为本申请提供的基于触控调整注视区域的方法的一种区域示意图;
图4a为本申请实施例中第一区域与第三区域的示意图;
图4b为本申请实施例中第一区域、第二区域以及第三区域的示意图;
图5为本申请实施例中获取指令的一种示意图;
图6为本申请实施例中执行指令的一种示意图;
图7为本申请提供的终端设备的一种实施例示意图;
图8为本申请提供的终端设备的另一种实施例示意图。
具体实施方式
本申请提供一种基于触控调整注视区域的方法以及终端设备,用于基于用户的眼动识别确定注视信息后,结合触控操作调整注视区域,使得到的注视区域更符合用户的期望,提高确定注视区域的准确率。
首先,本申请提供的基于触控调整注视区域的方法可以应用于终端设备,该终端设备具有采集图像数据的模块,例如,摄像头、传感器等。该终端设备可以是各种具有摄像头或传感器等的电子设备,例如,手机、笔记本电脑、显示器等等。
下面首先对本申请提供的基于触控调整注视区域的方法的流程进行说明,请参阅图1,本申请提供的基于触控调整注视区域的方法的一种流程示意图,可以包括:
101、获取注视信息。
首先,可以获取注视信息,该注视信息可以通过终端设备的摄像头、传感器等等获取到,该注视信息可以包括用户的注视点、注视时长、注视点坐标或注视矢量等等。
具体地,可以通过眼球追踪识别用户的注视点。终端设备可以直接通过摄像头或传感器等,采集用户的眼部图像,然后识别用户的眼部图像,获得用户的注视信息。此外,若终端设备具有红外装置,则还可以向用户的眼部发射至少两组红外光线,也可以是向用户的至少一只眼球发射至少一组红外光线,用户的眼部在红外光线的映射下产生红外光斑,之后采集用户的眼部图像,对眼部图像进行识别得到眼部特征数据,进而得到注视信息,该注视信息中可以包括用户的注视点、注视方向、注视点所在坐标等等。
102、根据注视信息确定对应的第一区域。
在获取用户的注视信息之后,可以根据该注视信息确定对应的第一区域。
具体地,该注视信息中可以包括用户的单眼或双眼的注视点、注视方向、注视点所在坐标等等,可以根据该注视信息在终端上确定对应的第一区域,该第一区域可以理解为终端设备根据注视信息识别到的用户注视的区域。终端设备可以采集用户的眼部特征,通过对用户的眼部进行眼球追踪,确定用户的注视点、注视方向、注视点所在坐标等等,进而确定第一区域。且第一区域的范围可以直接根据注视信息中注视点的区域确定,也可以是确定注视点的中心之后,直接以注视点的中心为圆心的预设大小的区域,具体可以根据实际应用场景进行调整,此处并不作限定。
更进一步地,终端设备可以包括显示装置,包括发光二极管(light emittingdiode,LED)屏幕、电容屏、电阻屏等等,本申请简称为屏幕。用户可以注视终端的屏幕上的任意一点,终端设备根据用户的注视信息,识别出用户所注视的第一区域。
例如,当需要进行终端设备的屏幕上进行滑动操作时,用户需注视滑动区域,终端设备获取用户的眼部图像数据,并通过机器视觉算法以及眼球追踪的数据模型计算注视点位置,进而确定用户所注视的位置,并获取与该区域对应的操作。
在一种可选的实施方式中,终端设备在根据用户的注视信息识别出用户所注视的第一区域之后,可以在屏幕上高亮显示该第一区域,或者,通过焦点的方式显示该第一区域等等,具体可以根据实际应用场景进行调整,此处不作限定。
103、获取触控信息。
在终端设备根据用户的注视信息确定第一区域之后,为提高对用户期望进行操作的精确度,终端设备可以继续获取用户针对第一区域的触控信息。
具体地,终端设备可以根据终端设备上设置的触控区域反馈的触控操作获取针对第一区域的触控信息。例如,用户可以在终端设备上设置的触控区域进行触控操作,例如,滑动、按压、点击等等操作,终端设备在检测到用户的触控操作之后,可以提取对应的触控信息。
示例性地,该触控区域可以包括终端设备背侧的预设形状的区域、终端设备的电容模组的区域、终端设备屏幕上的虚拟按键的区域或终端设备的实体按键的区域等等中的一种或多种。
通常,终端设备可以包括触控屏、触控按钮、触控板或者外接的触控设备等等触控装置,其中,触控板的位置可以在终端的屏幕侧或者终端的背侧,触控的区域可以包括指纹识别区域,例如,该触控信息可以包括用户对终端设备的触控装置进行触控操作得到的滑动方向、触控角度、触控幅度、触控力度等等信息。
通常,获取触控信息的方式有多种,可以通过终端设备的触控屏、外接的触控设备、虚拟按钮、实体按键、电容模组等等方式获取触控信息。例如,终端设备可以根据自身的触控屏检测用户的触控操作,以得到触控信息;可以是根据检测用户对接入的触控输入设备的触控操作,得到触控信息;可以是通过在终端设备的触控屏上设置预置形状的滑动区域,检测用户在该滑动区域的触控操作,得到触控信息;可以是通过终端设备上的电容模组,终端设备可以采集用户对该电容模组的上下左右的触摸,以得到触控信息;终端设备上的触摸屏上还可以设置虚拟按钮,终端设备可以采集用户对虚拟按钮的触控、滑动等等,得到触控信息;此外,终端设备上还可以设置有实体按键,终端设备可以检测用户对实体按键的按压、触控或滑动等等触控操作,得到触控信息。
通常,获取触控信息还包括指纹识别信息,例如,在终端的屏幕上或者终端设备被背侧设置指纹识别区域,指纹识别区域用于识别触控操作的指纹信息、区域面积、指纹的移动方向以及感应电流值等的一种或者多种。当然,除了上述获取触控信息的方式之外,还可以通过其他的方式获取触控信息,此处仅仅是示例性说明,本申请对此并不作限定。
例如,若需要将第一区域向左调整,则用户可以在终端设备的触控屏上显示的第一区域或者通过虚拟按钮等等之上进行向左的滑动操作,以向左调整第一区域,得到用户期望的第二区域。
104、根据第触控信息调整第一区域,得到第二区域。
在获取到终端设备自身的触控信息之后,终端设备可以根据该触控信息对第一区域进行调整,以确定第二区域。该第二区域为用户选定的操作区域,更符合用于期望的操作区域。
示例性地,当处于阴暗环境时,例如,当前光照强度低于阈值,采集到的用户的注视信息可能不准确,因此,在终端设备根据用户的注视信息确定终端的屏幕上的某一点之后,用户还可以触控终端设备的触控屏、虚拟按钮或实体按键等等,使得终端设备采集到触控信息之后,根据采集到的触控信息调整屏幕上的点,使该点接近用户期望控制的点。
此外,在通过触控终端设备调整第一区域时,可以通过触控信息实时调整第一区域,终端设备可以在屏幕上显示正在调整的区域,用户可以根据终端设备的屏幕上的视觉反馈,调整触控操作的幅度,进而更准确地调整第一区域,得到第二区域。
105、获取与第二区域对应的指令,并执行该指令。
在确定第二区域之后,终端设备获取与该第二区域对应的指令,并执行该指令。
通常,用户可以使用面部特征对中对终端设备进行操控,通常的操控方式包括点击、滑动等等,滑动可以依据用户注视点位置落在特定区域,以特定区域来定义滑动的方向,也可以通过从第一个注视点位置到下一个注视点位置的改变方向来判断滑动方向,而点击操作可以使注视时长是否达到点击操作的时间阈值,也可以是通过眨眼操作来实现,也可以是电子设备上的特殊按键,比如突出侧部按键、电容屏触控屏幕,也可以是语音操作,还可以是面部特征操作,例如嘟嘴、张嘴、点头等等。
例如,若终端设备右下角有回退控制区域,终端设备在根据用户的注视信息使焦点靠近回退控制区域之后,继续通过触控操作焦点进入回退控制区域,终端设备可以获取该回退控制区域对应的回退指令,并执行该回退指令,从当前界面回退到上一界面。
在本申请实施例中,首先通过用户的注视信息确定第一区域之后,继续获取终端设备的触控信息,并通过该触控信息,调整第一区域,进而得到更接近用户期望的第二区域,并获取第二区域对应的指令,执行该指令。因此,本申请实施例通过用户的眼部与触控操作的结合确定更准确的第二区域,使第二区域更符合用户期望的区域。即使受环境、用户差异等影响使眼部识别不准确,也可以结合终端设备的触控操作对第一区域进行调整,补偿眼球追踪的精确度,使得到的第二区域更准确,提高用户的体验。
下面对本申请提供您的基于触控调整注视区域的方法进行更进一步地说明,请参阅图2,本申请实施例中基于触控调整注视区域的方法的另一种流程示意图,可以包括:
201、获取注视信息。
202、根据注视信息确定对应的第一区域。
应理解,本申请实施例中的步骤201、202与前述图1中的步骤101、102类似,此处不再赘述。
203、确定该第一区域的预置范围之内的第三区域。
在确定第一区域之后,确定第一区域的预置范围之内的第三区域,第三区域包括第一区域,且第三区域通常大于第一区域。
可选地,在一种可能的实施方式中,在确定第一区域之后,确定注视点对应的精准度,并以注视点为中心圆点,以精准度的N倍为半径确定第三区域,N大于1,即第三区域可以包括第一区域以及第一区域之外的精准度的N倍的区域。例如,若精准度为0.5度,在终端设备的距离分辨率约为3mm,因此,可以以3*3=9mm为半径确定第三区域。
示例性地,如图3所示,第一区域301属于第三区域302,以第一区域301的中心点为中心圆点,以第一区域301的半径的N倍确定第三区域,且第一区域301的范围小于第三区域302。
进一步地,在通过眼球追踪确定用户的注视信息时,所涉及到的参数可以包括精准度,精准度可以包括精度值与准度值。准度值为计算的注视点和实际的注视点的偏差,精度值则为注视偏差的离散。通常,可以理解为,精准度即为注视信息实际注视的位置与终端设备采集到的注视信息位置之间的平均误差值,精准度可以理解为终端设备在持续记录同一个注视点时的离散程度,例如,可以通过连续样本的均方差衡量误差值。具体地,在通过眼球追踪确定用户的注视信息之前,可以进行校准,得到校准参数。在实际应用中,校准过程是使用眼球追踪技术的重要过程,通常根据每个用户不同的眼部特征或者不同环境下获得不同校准参数不一定相同,因此,在用户使用眼球追踪获取注视信息之前,可以进行校准,得到校准参数,并根据该校准参数以及预设的眼球追踪算法得到精度值与准度值。当然,可以是终端设备直接根据该校准参数以及预设的眼球追踪算法得到精度值与准度值,也可以是终端设备将该校准参数发送给服务器或其他网络设备,服务器或其他网络设备根据预设的眼球追踪算法得到精度值与准度值等,然后发送给终端设备,具体可以根据实际应用场景调整,此处并不作限定。
204、获取触控信息。
本申请实施例中的步骤204与前述图1中的步骤103类似,此处不再赘述。
需要说明的是,本申请实施例对步骤203与步骤204的执行顺序不作限定,可以先执行步骤203,也可以先执行步骤204,具体可以根据实际应用场景进行调整,此处不作限定。
205、根据触控信息在第三区域的范围内调整第一区域,得到第二区域。
在获取触控信息之后,可以根据该触控信息对第一区域进行调整,且不超过第三区域的范围,得到第二区域。
通常,用户对终端设备的触控操作的反馈可以依据终端设备的屏幕显示,屏幕的界面可以高亮或者显示预设形状的区域标识,例如,光标,焦点等,以标识当前注视点所在区域,用户可以根据终端设备的屏幕显示,确定对第一区域的调整进度,进而调节终端设备的触控幅度,以确定更符合用户期望的第二区域。
例如,若终端设备根据用户的注视信息确定用户的注视点,并在屏幕中确定第一区域,且确定第三区域之后,若识别出的第一区域不符合用户的期望区域,则用户可以触控终端设备在第三区域中调整第一区域的位置,确定第二区域。
示例性地,若通过终端设备的触控屏上的虚拟按钮获取触控信息,具体可以如图4a与4b所示,如图4a所示,确定第一区域401与第三区域402,触控屏上还包括虚拟按钮403。如图4b所示,用户可以调整虚拟按钮403,从而调整第一区域401,确定第二区域404。
206、获取控制数据。
在确定第二区域之后,还可以继续获取控制数据。
该控制数据可以包括面部特征数据、头部特征数据、语音数据、控制指令或手势控制数据中的任意一种。
该控制数据可以根据多种方式获取,面部特征数据可以包括用户的眼部特征数据,可以瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等,或者也可以包括用户的眼部运动状态,例如,单眼或者双眼眨眼动作、眨眼次数等等,具体可以根据应用场景调整。也可以包括用户的单眼或双眼的注视点、注视时长、注视点坐标或注视矢量等等中的一种或多种。面部特征数据还可以包括用户的面部特征,例如,微笑表情、嘟嘴、瞪眼等等。头部特征数据可以包括用户的头部的运动状态或头部中的预置部位的运动状态,或头部中预置部位的运动次数等等中的一项或多项,例如,点头、左转、右转、低头等等。控制指令可以是终端设备响应用户的操作得当,例如,具体的操作可以是用户对终端设备的按键进行操作,用户对终端设备的按键操作可以包括用户对终端设备的实体按键的操作、或触摸屏上虚拟按键的操作、或接入终端设备的其他设备,例如,键盘、手柄等等所包括的按键的操作中的任一种或多种。语音控制数据可以是终端设备的语音采集模块对用户的语音进行采集得到,语音数据可以包括用户对第二区域进行操作的控制语音。手势控制数据可以是通过用户对终端设备进行手势控制得到,可以是通过终端设备的摄像头、传感器、或触摸屏等采集得到。
示例性地,该控制数据可以是具体例如,用户可以通过眨眼、面部表情(如微笑、瞪眼等特定表情)、头部姿态,如点头、摇头、头部摆动等、唇语识别数据、嘴型识别数据,如嘟嘴、张嘴、按键:实体按键(如home键,开机侧按键、音量键、功能键、电容触摸按键等)、屏幕触控按键(如Android下的屏幕返回键等)、虚拟按键、语音控制数据、手势控制数据、注视时长数据等等。
207、根据控制数据,获取与第二区域对应的指令,并执行指令。
在获取控制数据之后,终端设备根据该控制数据,获取与第二区域对应的指令,并执行该指令。
具体地,在获取到控制数据之后,可以根据该控制数据,确定对第二区域的操作。示例性地,终端设备在确定第二区域之后,突出显示该第二区域,然后用户可以进行一步操作,例如,点头、注视时长超过阈值等等,终端设备根据用户的进一步操作,获取第二区域对应的指令。例如,若第二区域对应终端设备的确定操作,则终端设备可以获取确定指令,然后执行确定指令,显示下一个界面。
此外,可选地,若第二区域对应多个指令,可以进一步根据控制数据确定对应的指令。例如,若第二区域对应多个指令,可以根据用户的注视时长,若用户注视时长属于第一区间,则获取对应的第一指令并执行,若用户的注视时长属于第二区间,则获取对应的第二指令并执行等等,具体可以根据应用场景进行调整。
例如,如图5所示,当手机上有一条新消息提示时,用户可以通过眼部与触控手机确定第二区域501,在确定第二区域501之后,终端设备可以获取用户的点头、眨眼、长时间注视等动作对应的控制数据,例如,若用户点头,则终端设备可以获取打开指令,通过该打开指令打开与该新消息相关的内容,如图6所示,可以通过该打开指令获取该新消息的内容,并在终端设备的屏幕显示。
因此,在本申请实施例中,首先通过用户的注视信息确定第一区域之后,并根据终端设备识别注视信息的精准度确定第三区域,继续获取终端设备的触控信息,该触控信息为终端设备在用户的操控下通过传感器或者摄像头等设备采集确定的。终端设备通过该触控信息,在第三区域的范围内调整第一区域,进而得到更接近用户期望的第二区域。且通过第三区域的约束,避免调整的幅度过大,而导致对第一区域的调整不准确,使第二区域无法符合用户期望的区域。然后可以进一步获取用户的控制动作,得到控制数据,并根据该控制数据获取第二区域对应的指令,然后执行该指令。因此,本申请实施例通过用户的眼部与终端设备的触控的结合确定更准确的第二区域,使第二区域更符合用户期望的区域。即使受环境、用户差异等影响使眼部识别不准确,也可以结合用户对终端设备的触控对第一区域进行调整,使得到的第二区域更准确。提高用户的体验。且通过第三区域对第二区域进行约束,使在进行第一区域的调整时,避免幅度过大,而导致得到的第二区域偏离期望区域。而且,可以进一步获取用户的控制数据,通过控制数据获取第二区域对应的指令,可以更进一步确定用户的意图,更准确地获取第二区域对应的控制指令,避免误操作,提高用户体验。例如,在手机的人机交互领域,通过眼球追踪技术估计用户注视点的方向和位置,来实现用户的对手机的控制(点击或者滑动等)。然而,在多数应用场景中由于环境影响或者用户个体差异影响,导致眼球追踪技术的注视点精准度下降,操作无法达到精准。此时,利用用户对终端设备的触控操作进行修正,并通过视觉反馈实时调整,得到最佳操作区域。
前述对本申请提供的方法进行了详细说明,下面对本申请提供的装置进行说明。请参阅图7,本申请提供的终端设备的一种实施例示意图,可以包括:
眼动识别模块701,用于获取注视信息;
处理模块703,用于根据该注视信息确定对应的第一区域;
检测模块702,用于获取触控信息;
该处理模块703,还用于根据该触控信息调整该第一区域,得到第二区域,该第二区域可以理解为用户的实际注视点所在的区域。
可选地,在一种可能的实施方式中,
该处理模块703,还用于获取与该第二区域对应的指令,并执行该指令。
可选地,在一种可能的实施方式中,该处理模块703,具体用于:
获取控制数据;
根据该控制数据,获取与该第二区域对应的该指令,并执行该指令。
可选地,在一种可能的实施方式中,该控制数据,包括:
面部特征数据、头部特征数据、语音数据或控制指令中的任意一种。
可选地,在一种可能的实施方式中,该处理模块703,具体用于:
确定该第一区域的预置范围之内的第三区域;
根据该触控信息在该第三区域的范围内调整该第一区域,得到该第二区域。
可选地,在一种可能的实施方式中,该处理模块703,具体用于:
获取该注视信息包括的注视点对应的精准度;
确定该第一区域之外的该精准度的N倍的区域为该第三区域,该N大于1。
可选地,在一种可能的实施方式中,
检测模块702,具体用于根据触控区域反馈的触控操作获取针对第一区域的触控信息。
可选地,在一种可能的实施方式中,
触控区域包括:终端设备背侧的预设形状的区域、终端设备的电容模组的区域、终端设备屏幕上的虚拟按键的区域或终端设备的实体按键的区域中的至少一种。
可选地,在一种可能的实施方式中,
该面部特征数据包括:注视点、注视时长、或眼部运动状态中的至少一项;
该头部特征数据包括:头部的运动状态或头部中的预置部位的运动状态中的至少一项。
请参阅图8,本申请实施例中终端设备的另一个实施例示意图,包括:
中央处理器(central processing units,CPU)801,存储介质802,电源803,存储器804,输入输出接口805,应理解,本申请实施例中的CPU可以是一个,也可以是多个,输入输出接口可以是一个,也可以是多个,具体此处不作限定。电源803可以为稳态检测装置提供工作电源,存储器804和存储介质802可以是短暂存储或持久存储,存储介质中存储了指令,当CPU可以根据该存储器中的指令执行前述图1-图6实施例中的具体步骤。此外,终端设备除了图8中所示出的部件外,还可以包括其他的部件,例如,传感器、摄像头等等,本申请实施例仅仅是示例性说明,并不作限定。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请图1-6各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.一种基于触控调整注视区域的方法,其特征在于,包括:
终端设备获取注视信息;
所述终端设备根据所述注视信息确定对应的第一区域;
所述终端设备获取针对所述第一区域的触控信息;
所述终端设备根据所述触控信息调整所述第一区域,得到第二区域;
所述终端设备获取与所述第二区域对应的指令,并执行所述指令。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述第二区域对应的指令,并执行所述指令,包括:
所述终端设备获取控制数据;
所述终端设备根据所述控制数据,获取与所述第二区域对应的所述指令,并执行所述指令。
3.根据权利要求2所述的方法,所述控制数据,包括:
面部特征数据、头部特征数据、语音数据或控制指令中的任意一种。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述终端设备根据所述触控信息调整所述第一区域,得到第二区域,包括:
所述终端设备确定所述第一区域的预置范围之内的第三区域;
所述终端设备根据所述触控信息在所述第三区域的范围内调整所述第一区域,得到所述第二区域,所述触控信息为所述终端设备根据自身的传感器获取。
5.根据权利要求4所述的方法,其特征在于,所述确定所述第一区域的预置范围之内的第三区域,包括:
获取所述注视信息包括的注视点对应的精准度;
确定所述第一区域之外的所述精准度的N倍的区域为所述第三区域,所述N大于1。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述终端设备获取针对所述第一区域的触控信息,包括:
所述终端设备根据触控区域反馈的触控操作获取针对所述第一区域的触控信息。
7.根据权利要求6所述的方法,其特征在于,
所述触控区域包括:所述终端设备背侧的预设形状的区域、所述终端设备的电容模组的区域、所述终端设备屏幕上的虚拟按键的区域或所述终端设备的实体按键的区域中的至少一种。
8.一种终端设备,其特征在于,包括:
眼动识别模块,用于获取注视信息;
处理模块,用于根据所述注视信息确定对应的第一区域;
检测模块,用于获取针对所述第一区域的触控信息;
所述处理模块,还用于根据所述触控信息调整所述第一区域,得到第二区域;
所述处理模块,还用于获取与所述第二区域对应的指令,并执行所述指令。
9.根据权利要求8所述的终端设备,其特征在于,所述处理模块,具体用于:
获取控制数据;
根据所述控制数据,获取与所述第二区域对应的所述指令,并执行所述指令。
10.根据权利要求9所述的终端设备,所述控制数据,包括:
面部特征数据、头部特征数据、语音数据或控制指令中的任意一种。
11.根据权利要求8-10中任一项所述的终端设备,其特征在于,所述处理模块,具体用于:
确定所述第一区域的预置范围之内的第三区域;
根据所述触控信息在所述第三区域的范围内调整所述第一区域,得到所述第二区域。
12.根据权利要求11所述的终端设备,其特征在于,所述处理模块,具体用于:
获取所述注视信息包括的注视点对应的精准度;
确定所述第一区域之外的所述精准度的N倍的区域为所述第三区域,所述N大于1。
13.根据权利要求8-12中任一项所述的终端设备,其特征在于,
所述检测模块,具体用于根据触控区域反馈的触控操作获取针对所述第一区域的触控信息。
14.根据权利要求13所述的终端设备,其特征在于,
所述触控区域包括:所述终端设备背侧的预设形状的区域、所述终端设备的电容模组的区域、所述终端设备屏幕上的虚拟按键的区域或所述终端设备的实体按键的区域中的至少一种。
15.一种终端设备,包括:
存储器,用于存储程序;
处理器,用于执行所述存储器存储的所述程序,当所述程序被执行时,所述处理器用于执行如权利要求1-7中任一所述的步骤。
16.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-7中任意一项所述的方法。
17.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-7中任一项所述的方法。
CN201910258223.0A 2019-03-22 2019-04-01 一种基于触控调整注视区域的方法以及终端设备 Active CN109960412B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910222439 2019-03-22
CN2019102224391 2019-03-22

Publications (2)

Publication Number Publication Date
CN109960412A true CN109960412A (zh) 2019-07-02
CN109960412B CN109960412B (zh) 2022-06-07

Family

ID=67025453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910258223.0A Active CN109960412B (zh) 2019-03-22 2019-04-01 一种基于触控调整注视区域的方法以及终端设备

Country Status (1)

Country Link
CN (1) CN109960412B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986108A (zh) * 2021-10-28 2022-01-28 歌尔光学科技有限公司 头戴显示设备及其控制方法、计算机可读存储介质
WO2024037379A1 (zh) * 2022-08-18 2024-02-22 华为技术有限公司 一种通知查看方法、系统及相关装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130740A1 (en) * 2012-01-04 2015-05-14 Tobii Technology Ab System for gaze interaction
CN104808836A (zh) * 2014-01-23 2015-07-29 京瓷办公信息系统株式会社 电子设备及操作支援方法
US20150220295A1 (en) * 2014-02-06 2015-08-06 Samsung Electronics Co., Ltd. User terminal apparatus, display apparatus, and control methods thereof
CN104951084A (zh) * 2015-07-30 2015-09-30 京东方科技集团股份有限公司 视线追踪方法及装置
CN105446673A (zh) * 2014-07-28 2016-03-30 华为技术有限公司 屏幕显示的方法及终端设备
CN107003744A (zh) * 2016-12-01 2017-08-01 深圳前海达闼云端智能科技有限公司 视点确定方法、装置、电子设备和计算机程序产品
CN107407977A (zh) * 2015-03-05 2017-11-28 索尼公司 信息处理设备、控制方法及程序
CN108170279A (zh) * 2015-06-03 2018-06-15 塔普翊海(上海)智能科技有限公司 头显设备的眼动和头动交互方法
CN108704308A (zh) * 2018-05-17 2018-10-26 Oppo广东移动通信有限公司 射击游戏的控制方法、装置、存储介质和电子设备
CN108829239A (zh) * 2018-05-07 2018-11-16 北京七鑫易维信息技术有限公司 终端的控制方法、装置及终端
CN109460706A (zh) * 2018-09-30 2019-03-12 北京七鑫易维信息技术有限公司 应用于终端的眼球追踪信息处理方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130740A1 (en) * 2012-01-04 2015-05-14 Tobii Technology Ab System for gaze interaction
CN104808836A (zh) * 2014-01-23 2015-07-29 京瓷办公信息系统株式会社 电子设备及操作支援方法
US20150220295A1 (en) * 2014-02-06 2015-08-06 Samsung Electronics Co., Ltd. User terminal apparatus, display apparatus, and control methods thereof
CN105446673A (zh) * 2014-07-28 2016-03-30 华为技术有限公司 屏幕显示的方法及终端设备
CN107407977A (zh) * 2015-03-05 2017-11-28 索尼公司 信息处理设备、控制方法及程序
CN108170279A (zh) * 2015-06-03 2018-06-15 塔普翊海(上海)智能科技有限公司 头显设备的眼动和头动交互方法
CN104951084A (zh) * 2015-07-30 2015-09-30 京东方科技集团股份有限公司 视线追踪方法及装置
CN107003744A (zh) * 2016-12-01 2017-08-01 深圳前海达闼云端智能科技有限公司 视点确定方法、装置、电子设备和计算机程序产品
CN108829239A (zh) * 2018-05-07 2018-11-16 北京七鑫易维信息技术有限公司 终端的控制方法、装置及终端
CN108704308A (zh) * 2018-05-17 2018-10-26 Oppo广东移动通信有限公司 射击游戏的控制方法、装置、存储介质和电子设备
CN109460706A (zh) * 2018-09-30 2019-03-12 北京七鑫易维信息技术有限公司 应用于终端的眼球追踪信息处理方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986108A (zh) * 2021-10-28 2022-01-28 歌尔光学科技有限公司 头戴显示设备及其控制方法、计算机可读存储介质
WO2024037379A1 (zh) * 2022-08-18 2024-02-22 华为技术有限公司 一种通知查看方法、系统及相关装置

Also Published As

Publication number Publication date
CN109960412B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110460837B (zh) 具有中央凹显示器和注视预测的电子设备
US11366517B2 (en) Human-computer interface using high-speed and accurate tracking of user interactions
CN109976528A (zh) 一种基于头动调整注视区域的方法以及终端设备
US10191558B2 (en) Multipurpose controllers and methods
US9039419B2 (en) Method and system for controlling skill acquisition interfaces
Harezlak et al. Towards accurate eye tracker calibration–methods and procedures
CN108681399B (zh) 一种设备控制方法、装置、控制设备及存储介质
KR20220072879A (ko) 혼합 현실 교정을 위한 안구주위 테스트
Mardanbegi et al. Eye-based head gestures
KR20210153151A (ko) 생체 인증 정보를 교환하도록 구성된 머리 장착 디스플레이 시스템
CN107066085B (zh) 一种基于眼球追踪控制终端的方法及装置
Rozado et al. Fast human-computer interaction by combining gaze pointing and face gestures
CN113383295A (zh) 调节数字内容以激发更大的瞳孔半径响应的生物反馈方法
Essig et al. ADAMAAS: towards smart glasses for mobile and personalized action assistance
US11481037B2 (en) Multipurpose controllers and methods
WO2021185110A1 (zh) 眼球追踪校准方法及装置
US20180267604A1 (en) Computer pointer device
CN109960412A (zh) 一种基于触控调整注视区域的方法以及终端设备
CN108829239A (zh) 终端的控制方法、装置及终端
KR102094953B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
Brousseau et al. Smarteye: An accurate infrared eye tracking system for smartphones
Guo et al. Appearance-based gaze estimation under slight head motion
Bature et al. Boosted gaze gesture recognition using underlying head orientation sequence
De Buyser et al. Exploring the potential of combining smart glasses and consumer-grade EEG/EMG headsets for controlling IoT appliances in the smart home
CN109917923A (zh) 基于自由运动调整注视区域的方法以及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant