CN110969116A - 注视点位置确定方法及相关装置 - Google Patents

注视点位置确定方法及相关装置 Download PDF

Info

Publication number
CN110969116A
CN110969116A CN201911195157.3A CN201911195157A CN110969116A CN 110969116 A CN110969116 A CN 110969116A CN 201911195157 A CN201911195157 A CN 201911195157A CN 110969116 A CN110969116 A CN 110969116A
Authority
CN
China
Prior art keywords
sampling
value
current sampling
current
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911195157.3A
Other languages
English (en)
Other versions
CN110969116B (zh
Inventor
韩世广
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911195157.3A priority Critical patent/CN110969116B/zh
Publication of CN110969116A publication Critical patent/CN110969116A/zh
Application granted granted Critical
Publication of CN110969116B publication Critical patent/CN110969116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种注视点位置确定方法及相关装置,其中,该方法包括:针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值;获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数;根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置。本申请实施例有利于提高眼球追踪输出的注视点的准确性。

Description

注视点位置确定方法及相关装置
技术领域
本申请涉及电子设备技术领域,具体涉及一种注视点位置确定方法及相关装置。
背景技术
眼球追踪(Eye-tracking)是将识别瞳孔的技术应用来操控设备的一种方式,目前,眼球追踪在电子设备中的使用越来越广泛。
眼球追踪产生输入事件的流程如下:眼球追踪利用红外灯照射在人眼上出现光斑,并使用红外传感器获得光斑及瞳孔的图片,再通过视线估计算法处理图片,计算注视方向及注视点落点,之后每隔一段时间,根据眼球追踪输出的注视点直接产生同注视点位置的触摸时间,或者是经过处理后产生滑动事件等。
发明内容
本申请实施例提供了一种注视点位置确定方法及相关装置,以期提高眼球追踪输出的注视点的准确性。
第一方面,本申请实施例提供了一种注视点位置确定方法,所述方法包括:
针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值;
获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数;
根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置。
第二方面,本申请实施例提供了一种注视点位置确定装置,所述装置包括处理单元和通信单元,其中,
所述处理单元用于,针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值;
获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数;
根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面,本申请实施例提供了.一种计算机存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如本实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中所描述的注视点位置确定方法及相关装置,先针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值,再获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数,最后根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置,其中,注视点在当前采样时刻的目标位置,是根据采样得到的采样值和获取的之前得到的采样值共同确定的,并不直接仅根据当前时刻的注视点位置采样值确定当前注视点的位置,有利于提高眼球追踪输出的注视点的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种注视点位置确定方法的流程示意图;
图2-1是电子设备显示屏幕上注视点位置示意图;
图3是本申请实施例提供的另一种注视点位置确定方法的流程示意图;
图4是本申请实施例提供的另一种电子设备的结构示意图;
图5是本申请实施例提供的一种注视点位置确定装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备,该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备 (User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。
目前,眼球追踪输出的注视点会有抖动、短时间飞出注视区域的问题。注视点抖动的原因包括:由于用户在注视电子设备的屏幕时,手机和头部都会有轻微抖动,或者由于眼球注意力并不是持续集中,导致瞳孔抖动,或者当前眼球追踪算法在处理红外图像时容易出现一些误差,导致注视点输出抖动。短时间飞出注视区域即注视点输出过度偏离用户正在注视的区域,产生的原因包括,如果抖动严重,距离注视点果园,即表现为飞出注视区域,眨眼,眼镜或眼皮遮挡瞳孔,手机距离头部过远或图像突然变暗。
在将眼球追踪注视点输出作为手机输入点击滑动等事件时,如果直接将眼球追踪输出的注视点作为当前时刻手机输入滑动等事件时,会导致输入位置不正确的问题。
针对上述问题,本申请实施例提供一种注视点位置确定方法及相关装置,下面结合附图对本申请实施例进行详细介绍。
如图1所示,本申请实施例所涉及的电子设备100内包括注视点位置确定模块,在进行注视点位置确定时,注视点位置确定方法中的步骤可以通过该注视点位置确定模块完成。
请参阅图2,图2是本申请实施例提供的一种注视点位置确定方法的流程示意图,如图所示,本注视点位置确定方法包括:
S201,针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值;
其中,注视点指用户人眼注视电子设备屏幕时视线在屏幕上的落点。
S202,获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数;
S203,根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置。
具体实现中,在用户注视电子设备的显示屏幕时,眼球追踪会采集用户人眼的红外图像,并通过算法处理图片,计算出注视方向和注视点的落点即注视点位置,本申请实施例中上述方法和步骤,就针对眼球追踪算法计算出的注视点位置进行采样,每针对注视点进行一次采样,获得一个注视点在当前采样时刻的位置采样值,并不直接将该采样值作为注视点在当前采样时刻的目标位置,即眼球追踪的注视点位置输出,而是获取之前采样得到的位置采样值,根据之前采样得到的位置采样值、当前采样时刻的位置采样值共同确定注视点在当前采样时刻的目标位置,最后将这个目标位置作为当前采样时刻的注视点的位置输出,作为眼球追踪根据注视点位置产生输入事件的位置。
可以看出,本申请实施例中,先针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值,再获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数,最后根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置,其中,注视点在当前采样时刻的目标位置,是根据采样得到的采样值和获取的之前得到的采样值共同确定的,并不直接仅根据当前时刻的注视点位置采样值确定当前注视点的位置,有利于提高眼球追踪输出的注视点的准确性。
在一个可能的示例中,所述根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置,包括:计算所述 N-1个位置采样值、所述当前采样时刻的位置采样值的均值,所述均值为所述注视点在当前采样时刻的目标位置。
具体实现中,根据采样时间在当前采样时刻之前的N-1个位置采样值,以及注视点在当前采样时刻的位置采样值确定注视点在当前时刻的目标位置时,可以计算该N-1个采样值、该的当前采样时刻的位置采样值的平均值,将这N 个采样值的平均值作为当前采样时刻的注视点的目标位置,即最后会输出用于后续其他处理的注视点的位置。
举例来说,请参见图2-1,以N为3为例,图2-1中点1、点2、点3、点5、点7是不同采样时刻的位置采样值对应注视点在电子设备屏幕上的位置,点4、点6、点8是根据3个采样值计算的均值确定的注视点的目标位置,例如在点3 的采样时刻,采样得到点3的位置,计算点3和之前两次采样得到的采样值点1 和点2这三个位置采样值的均值,得到的均值就是点4,将点4作为点3采样时刻的注视点的目标位置,而不是直接将点3的位置输出作为注视点在点3时刻的采样值,点5和点7的采样时刻对应的处理和点3相同,最后确定的点5和点7采样时刻的注视点的目标位置分别为点6和点8。
如果直接将当前采样时刻的位置采样值作为注视点在当前采样时刻的目标位置输出,那么注视点的运动轨迹可以通过图中的实现表示,如果将处理后的均值作为注视点在当前采样时刻的目标位置输出,那么注视点的运动轨迹可以通过图中的虚线表示。
可见,本示例中,通过计算采样时间在当前采样时刻之前的N-1个位置采样值、注视点在当前采样时刻的位置采样值的均值,将得到的均值作为注视点在当前采样时刻的目标位置,通过均值处理后使得抖动减小、平滑度提高,有利于提高眼球追踪输出的注视点的准确性。
在一个可能的示例中,所述根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置之前,所述方法还包括:检测到所述当前采样时刻的位置采样值为有效的采样值;所述N-1个位置采样值中每个位置采样值均为有效的采样值。
具体实现中,在根据N个采样值确定注视点在当前采样时刻的目标位置之前,可以先对采样值进行有效性判断,检测到采样值是有效的值,再根据有效的采样值确定注视点的目标位置,这里检测采样值有效,可以检测采样值是否偏离注视区域过远,如果没有过度偏离注视区域,认为采样值有效,飞出注视区域的认为无效,可以根据N个有效的采样值确定注视点的目标位置。
可见,本示例中,在确定注视点的目标位置之前,先检测到用于确定目标位置的N个采样值为有效的采样值,再根据该N个有效的采样值确定目标位置,根据有效的采样值确定注视点在当前采样时刻的目标位置,没采用严重抖动、过度偏离注视区域的采样值,使用的是更准确有效的采样值,有利于提高眼球追踪输出的注视点的准确性。
在一个可能的示例中,所述N-1个位置采样值包括采样时间距离所述当前采样时刻最近的N-1个有效的位置采样值。
举例来说,例如N-1为3,这里的3个位置采样值,是当前采样时刻之前采样得到所有采样值中检测有效的采样值中采样时间最晚的3个采样值。可以基于滑动窗口来说明,每次针对注视点进行一次采样,获得一个所述注视点在当前采样时刻的位置采样值,将每次采样的采样值放入队列中,滑动窗口的长度为4个采样值数据的长度,存入最新的采样值之后,窗口移动,将该最新采样值计入窗口内,滑动窗口中最先计入的采样值就从窗口中移出,窗口中除该最新采样值意外的3个采样值,就是前最近3次计入的采样值,在确定当前采样时刻注视点的目标位置时,就获取滑动窗口内的4个数据确定该目标位置,滑动窗口中的数据总是最新的数据。
可见,本示例中,N-1个位置采样值采用采样时间距离所述当前采样时刻最近的N-1个有效的位置采样值,由于使用采样时间最接近当前采样时刻的位置采样值、当前采样时刻的位置采样值共同确定注视点在当前时刻的目标位置,有利于提高眼球追踪输出的注视点的准确性。
在一个可能的示例中,所述检测到所述当前采样时刻的位置采样值为有效的采样值,包括:获取所述注视点在当前采样时刻的前一个采样时刻的位置计算结果;检测到所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值。
其中,上一次采样的位置计算结果即注视点在上一次采样的采样时刻的目标位置,检测到上一次采样的位置计算结果与当前采样时刻的位置采样值的差值小于预设位置差值,则认为该当前采样时刻的位置采样值为有效的采样值。
可见,本示例中,检测到一次采样的位置计算结果与当前采样时刻的位置采样值的差值小于预设位置差值,认为检测到当前采样时刻的位置采样值为有效的采样值,通过计算与上一次计算结果的差值确定当前采样时刻的位置采样值是否有效,由于上一次计算结果是经过处理得到的,结果比较精确,根据较精确的结果检测当前采样时刻的位置采样值的有效,有利于提高检测有效采样值的检测结果的准确性。
在一个可能的示例中,所述检测到所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值,包括:检测到所述当前采样时刻的位置采样值处于参考方向范围,且所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值。
具体实现中,考虑到用户注视电子设备的屏幕时,注视点的运动并不是毫无根据的,用户想要注视电子设备显示屏幕的某个位置时,注视点处于可能的方向范围内,这时,过度偏离可能的方向范围的注视点也是不准确的,检测采样值有效时,检测到位置采样值处于参考方向范围,并且与上一次位置计算结果的差值小于预设位置差值才认为该采样值为有效采样值。
可见,本示例中,检测有效的当前采样时刻的采样值为处于参考方向范围,且与上一次位置计算结果的差值小于预设位置差值,由于采样值不但满足与上一次计算结果的位置差值在预设范围内,还处于注视点可能的范围内,所以有利于提高检测有效采样值的检测结果的准确性。
在一个可能的示例中,所述检测到所述当前采样时刻的位置采样值处于参考方向范围,包括:获取所述注视点在当前采样时刻前的多个采样时刻的多个位置计算结果;根据所述多个位置计算结果和显示屏幕当前显示界面内容中的多个待选图标预测所述注视点的参考运动方向范围;检测到所述当前采样时刻的位置采样值处于所述参考运动方向范围。
具体实现中,用户在注视电子设备的屏幕时,通常可以通过注视屏幕中当前显示的界面中的图标来完成相应的操作,所以在检测当前采样时刻的位置采样值处于参考方向范围时,可以通过之前的多个位置计算结果和电子设备显示屏幕当前显示界面内容中的图标确定参考运动范围,其中,可以通过多个位置检测结果分析注视点之前的运动方向,再根据之前的运动方向和图标的位置预测之后可能的参考方向范围。
可见,本示例中,检测当前采样时刻的位置采样值处于参考方向范围,先获取注视点在当前采样时刻前的多个采样时刻的多个位置计算结果,再根据该多个位置计算结果和显示屏幕当前显示界面内容中的多个待选图标预测所述注视点的参考运动方向范围,最后检测到所述当前采样时刻的位置采样值处于所述参考运动方向范围,通过之前的位置计算结果和显示界面内容中的多个图标综合确定参考运动范围,考虑用户注视点可能的运动方向,有利于提高确定参考运动范围的准确性。
在一个可能的示例中,所述根据所述多个位置计算结果和显示屏幕当前显示界面内容中的多个待选图标预测所述注视点的参考运动方向范围,包括:确定所述多个位置计算结果中与所述当前采样时刻最近的第一位置计算结果,以及与所述第一位置计算结果最近的第二位置计算结果;确定所述第二位置计算结果到所述第一位置计算结果的第一方向;确定所述多个待选图标在所述第一方向上的垂直投影点,以确定所述垂直投影点中,从第一位置计算结果起,沿所述第一方向的至少一个垂直投影点对应的至少一个待选图标;确定所述至少一个待选图标中到所述第一方向垂直距离最小的第一待选图标;确定所述第一位置计算结果到所述第一待选图标的方向为第一参考运动方向;根据所述第一参考运动方向确定参考运动方向范围,所述第一参考运动方向范围中的运动方向与所述第一参考运动方向的夹角为锐角。
其中,根据第一位置计算结果和第二位置计算结果确定的第一方向,是现在的注视点的移动方向,根据该第一方向来确定从第一位置计算结果起,沿该第一方向的至少一个垂直投影点对应的至少一个待选图标,该至少一个图标是根据现在注视点的移动方向预测的用户可能会注视的图标,再确定该至少一个待选图标中到该第一方向垂直距离最小的第一待选图标,该第一待选图标就是根据注视点的移动方向和图标的位置关联强度预测的,用户想要注视的目标图标,最后再根据该第一位置计算结果和该第一待选图标确定的第一参考运动方向来确定第一参考运动方向范围,该第一参考运动范围中的运动方向与该第一参考运动方向的夹角为锐角,即确定出从该第一位置计算结果到第一图标,注视点可能的运动方向范围。
可见,本示例中,先根据第一位置计算结果和第二位置计算结果确定第一方向,再根据第一方向和显示界面中多个图标的位置关系确定出,从第一位置计算结果起,沿第一方向的至少一个垂直投影点对应的至少一个待选图标,再确定该至少一个待选图标中到第一方向垂直距离最小的第一待选图标,最后根据该第一待选图标和第一位置计算结果确定第一参考运动方向,进而根据该第一参考运动方向确定参考运动方向范围,根据注视点现在的运动方向和以及显示界面中用户可能会注视的图标,确定注视点可能的参考运动方向范围,有利于提高确定参考运动范围的准确性。
在一个可能的示例中,所述方法还包括:检测到所述当前采样时刻的位置采样值为无效采样值;确定所述注视点在当前采样时刻的目标位置为所述当前采样时刻的前一个采样时刻的位置计算结果。
具体实现中,在对采样值进行有效性检测时,如果检测到当前采样时刻的位置采样值无效,则不再根据无效的采样值确定注视点的目标位置,可以丢弃该无效的采样值,将注视点在当前采样时刻的前一个采样时刻的位置计算结果作为当前的采样时刻的目标位置。
可见,本示例中,若检测到当前采样时刻的位置采样值为无效采样值,就确定注视点在当前采样时刻的目标位置为当前采样时刻的前一个采样时刻的位置计算结果,而不使用无效的采样值来确定目标位置,将偏离过大的采样值丢弃,有利于提高眼球追踪输出的注视点的准确性。
与上述图2所示的实施例一致的,请参阅图3,图3是本申请实施例提供的另一种注视点位置确定方法的流程示意图,如图所示,所述注视点位置确定方法包括以下步骤:
S301,针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值;
S302,获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数;
S303,检测到所述当前采样时刻的位置采样值为有效的采样值;
S304,所述N-1个位置采样值中每个位置采样值均为有效的采样值;
S305,计算所述N-1个位置采样值、所述当前采样时刻的位置采样值的均值,所述均值为所述注视点在当前采样时刻的目标位置。
可以看出,本申请实施例中,先针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到该注视点在当前采样时刻的位置采样值,再获取采样时间在当前采样时刻之前的N-1个位置采样值,并检测到该当前采样时刻的位置采样值为有效的采样值,该N-1个位置采样值中每个位置采样值均为有效的采样值,最后计算该N-1个位置采样值、该当前采样时刻的位置采样值的均值,将这个均值作为注视点在当前采样时刻的目标位置,其中,N为大于2 的整数,由于是根据有效的当前采样时刻的采样值,以及多个采样时间在当前采样时间之前的有效的采样值确定注视点在当前采样时刻的目标位置,并通过求均值的方式来确定该目标位置,滤除了偏离过大、飞出注视区域的采样值,不直接将当前采样时刻的位置采样值作为注视点在当前采样时刻的目标位置输出,多个有效的采样值的均值作为目标位置减小了抖动、提高了平滑度,有利于提高眼球追踪输出的注视点的准确性。
与上图2、图3所示的实施例一致的,请参阅图4,图4是本申请实施例提供的一种电子设备的结构示意图,如图所示,所述电子设备400包括应用处理器410、存储器420、通信接口430以及一个或多个程序421,其中,所述一个或多个程序421被存储在上述存储器420中,且被配置由上述应用处理器410 执行,所述一个或多个程序421包括用于执行上述方法实施例中任一步骤的指令。
在一个可能的示例中,所述程序421中的指令用于执行以下操作:
针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值;获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数;根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置。
可以看出,本申请实施例所描述的电子设备,先针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值,再获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数,最后根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置,其中,注视点在当前采样时刻的目标位置,是根据采样得到的采样值和获取的之前得到的采样值共同确定的,并不直接仅根据当前时刻的注视点位置采样值确定当前注视点的位置,有利于提高眼球追踪输出的注视点的准确性。
在一个可能的示例中,在所述根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置方面,所述程序 421中的指令具体用于执行以下操作:计算所述N-1个位置采样值、所述当前采样时刻的位置采样值的均值,所述均值为所述注视点在当前采样时刻的目标位置。
在一个可能的示例中,在所述根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置之前,所述程序 421中还包括用于执行以下操作的指令:检测到所述当前采样时刻的位置采样值为有效的采样值;所述N-1个位置采样值中每个位置采样值均为有效的采样值。
在一个可能的示例中,所述N-1个位置采样值包括采样时间距离所述当前采样时刻最近的N-1个有效的位置采样值。
在一个可能的示例中,在所述检测到所述当前采样时刻的位置采样值为有效的采样值方面,所述程序421中的指令具体用于执行以下操作:获取所述注视点在当前采样时刻的前一个采样时刻的位置计算结果;检测到所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值。
在一个可能的示例中,在所述检测到所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值方面,所述程序421中的指令具体用于执行以下操作:检测到所述当前采样时刻的位置采样值处于参考方向范围,且所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值。
在一个可能的示例中,在所述检测到所述当前采样时刻的位置采样值处于参考方向范围方面,所述程序421中的指令具体用于执行以下操作:获取所述注视点在当前采样时刻前的多个采样时刻的多个位置计算结果;根据所述多个位置计算结果和显示屏幕当前显示界面内容中的多个待选图标预测所述注视点的参考运动方向范围;检测到所述当前采样时刻的位置采样值处于所述参考运动方向范围。
在一个可能的示例中,在所述根据所述多个位置计算结果和显示屏幕当前显示界面内容中的多个待选图标预测所述注视点的参考运动方向范围方面,所述程序421中的指令具体用于执行以下操作:确定所述多个位置计算结果中与所述当前采样时刻最近的第一位置计算结果,以及与所述第一位置计算结果最近的第二位置计算结果;确定所述第二位置计算结果到所述第一位置计算结果的第一方向;确定所述多个待选图标在所述第一方向上的垂直投影点,以确定所述垂直投影点中,从第一位置计算结果起,沿所述第一方向的至少一个垂直投影点对应的至少一个待选图标;确定所述至少一个待选图标中到所述第一方向垂直距离最小的第一待选图标;确定所述第一位置计算结果到所述第一待选图标的方向为第一参考运动方向;根据所述第一参考运动方向确定参考运动方向范围,所述第一参考运动方向范围中的运动方向与所述第一参考运动方向的夹角为锐角。
在一个可能的示例中,所述程序421中还包括用于执行以下操作的指令:检测到所述当前采样时刻的位置采样值为无效采样值;确定所述注视点在当前采样时刻的目标位置为所述当前采样时刻的前一个采样时刻的位置计算结果。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述各个步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图5是本申请实施例中所涉及的注视点位置确定装置500的功能单元组成框图。该注视点位置确定装置500应用于电子设备,所述注视点位置确定装置包括处理单元501和通信单元502,其中,所述处理单元501,用于执行如上述方法实施例中的任一步骤,且在执行诸如发送等数据传输时,可选择的调用所述通信单元502来完成相应操作。下面进行详细说明。
所述处理单元501,用于针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值;获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数;根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置。
在一个可能的示例中,在所述根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置方面,所述处理单元501具体用于,计算所述N-1个位置采样值、所述当前采样时刻的位置采样值的均值,所述均值为所述注视点在当前采样时刻的目标位置。
在一个可能的示例中,在所述根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置之前,所述处理单元501还用于,检测到所述当前采样时刻的位置采样值为有效的采样值;所述N-1个位置采样值中每个位置采样值均为有效的采样值。
在一个可能的示例中,所述N-1个位置采样值包括采样时间距离所述当前采样时刻最近的N-1个有效的位置采样值。
在一个可能的示例中,在所述检测到所述当前采样时刻的位置采样值为有效的采样值方面,所述处理单元501具体用于,获取所述注视点在当前采样时刻的前一个采样时刻的位置计算结果;检测到所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值。
在一个可能的示例中,在所述检测到所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值方面,所述处理单元501具体用于,检测到所述当前采样时刻的位置采样值处于参考方向范围,且所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值。
在一个可能的示例中,在所述检测到所述当前采样时刻的位置采样值处于参考方向范围方面,所述处理单元501具体用于,获取所述注视点在当前采样时刻前的多个采样时刻的多个位置计算结果;根据所述多个位置计算结果和显示屏幕当前显示界面内容中的多个待选图标预测所述注视点的参考运动方向范围;检测到所述当前采样时刻的位置采样值处于所述参考运动方向范围。
在一个可能的示例中,在所述根据所述多个位置计算结果和显示屏幕当前显示界面内容中的多个待选图标预测所述注视点的参考运动方向范围方面,所述处理单元501具体用于,确定所述多个位置计算结果中与所述当前采样时刻最近的第一位置计算结果,以及与所述第一位置计算结果最近的第二位置计算结果;确定所述第二位置计算结果到所述第一位置计算结果的第一方向;确定所述多个待选图标在所述第一方向上的垂直投影点,以确定所述垂直投影点中,从第一位置计算结果起,沿所述第一方向的至少一个垂直投影点对应的至少一个待选图标;确定所述至少一个待选图标中到所述第一方向垂直距离最小的第一待选图标;确定所述第一位置计算结果到所述第一待选图标的方向为第一参考运动方向;根据所述第一参考运动方向确定参考运动方向范围,所述第一参考运动方向范围中的运动方向与所述第一参考运动方向的夹角为锐角。
在一个可能的示例中,所述处理单元501还用于,检测到所述当前采样时刻的位置采样值为无效采样值;确定所述注视点在当前采样时刻的目标位置为所述当前采样时刻的前一个采样时刻的位置计算结果。
其中,所述注视点位置确定装置500还可以包括存储单元503,用于存储电子设备的程序代码和数据。所述处理单元501可以是处理器,所述通信单元502 可以是触控显示屏或者收发器,存储单元503可以是存储器。
可以理解的是,由于方法实施例与装置实施例为相同技术构思的不同呈现形式,因此,本申请中方法实施例部分的内容应同步适配于装置实施例部分,此处不再赘述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种注视点位置确定方法,其特征在于,所述方法包括:
针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值;
获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数;
根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置。
2.根据权利要求1所述的方法,其特征在于,所述根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置,包括:
计算所述N-1个位置采样值、所述当前采样时刻的位置采样值的均值,所述均值为所述注视点在当前采样时刻的目标位置。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置之前,所述方法还包括:
检测到所述当前采样时刻的位置采样值为有效的采样值;
所述N-1个位置采样值中每个位置采样值均为有效的采样值。
4.根据权利要求3所述的方法,其特征在于,所述N-1个位置采样值包括采样时间距离所述当前采样时刻最近的N-1个有效的位置采样值。
5.根据权利要求3所述的方法,其特征在于,所述检测到所述当前采样时刻的位置采样值为有效的采样值,包括:
获取所述注视点在当前采样时刻的前一个采样时刻的位置计算结果;
检测到所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值。
6.根据权利要求5所述的方法,其特征在于,所述检测到所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值,包括:
检测到所述当前采样时刻的位置采样值处于参考方向范围,且所述位置计算结果与所述当前采样时刻的位置采样值的差值小于预设位置差值。
7.根据权利要求6所述的方法,其特征在于,所述检测到所述当前采样时刻的位置采样值处于参考方向范围,包括:
获取所述注视点在当前采样时刻前的多个采样时刻的多个位置计算结果;
根据所述多个位置计算结果和显示屏幕当前显示界面内容中的多个待选图标预测所述注视点的参考运动方向范围;
检测到所述当前采样时刻的位置采样值处于所述参考运动方向范围。
8.根据权利要求7所述的方法,其特征在于,所述根据所述多个位置计算结果和显示屏幕当前显示界面内容中的多个待选图标预测所述注视点的参考运动方向范围,包括:
确定所述多个位置计算结果中与所述当前采样时刻最近的第一位置计算结果,以及与所述第一位置计算结果最近的第二位置计算结果;
确定所述第二位置计算结果到所述第一位置计算结果的第一方向;
确定所述多个待选图标在所述第一方向上的垂直投影点,以确定所述垂直投影点中,从第一位置计算结果起,沿所述第一方向的至少一个垂直投影点对应的至少一个待选图标;
确定所述至少一个待选图标中到所述第一方向垂直距离最小的第一待选图标;
确定所述第一位置计算结果到所述第一待选图标的方向为第一参考运动方向;
根据所述第一参考运动方向确定参考运动方向范围,所述第一参考运动方向范围中的运动方向与所述第一参考运动方向的夹角为锐角。
9.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
检测到所述当前采样时刻的位置采样值为无效采样值;
确定所述注视点在当前采样时刻的目标位置为所述当前采样时刻的前一个采样时刻的位置计算结果。
10.一种注视点位置确定装置,其特征在于,所述装置包括处理单元和通信单元,其中,
所述处理单元用于,针对用户人眼注视电子设备的显示屏幕时注视点的位置进行采样,得到所述注视点在当前采样时刻的位置采样值;
获取采样时间在所述当前采样时刻之前的N-1个位置采样值,N为大于2的整数;
根据所述N-1个位置采样值、所述当前采样时刻的位置采样值确定所述注视点在当前采样时刻的目标位置。
11.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-9任一项所述的方法中的步骤的指令。
12.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-9任一项所述的方法。
CN201911195157.3A 2019-11-28 2019-11-28 注视点位置确定方法及相关装置 Active CN110969116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911195157.3A CN110969116B (zh) 2019-11-28 2019-11-28 注视点位置确定方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911195157.3A CN110969116B (zh) 2019-11-28 2019-11-28 注视点位置确定方法及相关装置

Publications (2)

Publication Number Publication Date
CN110969116A true CN110969116A (zh) 2020-04-07
CN110969116B CN110969116B (zh) 2023-06-23

Family

ID=70032039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911195157.3A Active CN110969116B (zh) 2019-11-28 2019-11-28 注视点位置确定方法及相关装置

Country Status (1)

Country Link
CN (1) CN110969116B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399658A (zh) * 2020-04-24 2020-07-10 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN111552389A (zh) * 2020-05-11 2020-08-18 Oppo广东移动通信有限公司 注视点抖动消除方法、装置及存储介质
CN111580667A (zh) * 2020-05-11 2020-08-25 Oppo广东移动通信有限公司 注视点显示方法及相关装置
CN114821180A (zh) * 2022-05-06 2022-07-29 盐城工学院 一种基于软阈值惩罚机制的弱监督细粒度图像分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140180619A1 (en) * 2012-12-21 2014-06-26 Tobii Technology Ab Hardware calibration of eye tracker
WO2016161954A1 (en) * 2015-04-10 2016-10-13 Beijing Zhigu Rui Tuo Tech Co., Ltd. Information acquiring method, information acquiring apparatus, and user equipment
CN106293063A (zh) * 2016-07-26 2017-01-04 深圳天珑无线科技有限公司 一种密码输入方法和装置
CN107422844A (zh) * 2017-03-27 2017-12-01 联想(北京)有限公司 一种信息处理方法及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140180619A1 (en) * 2012-12-21 2014-06-26 Tobii Technology Ab Hardware calibration of eye tracker
WO2016161954A1 (en) * 2015-04-10 2016-10-13 Beijing Zhigu Rui Tuo Tech Co., Ltd. Information acquiring method, information acquiring apparatus, and user equipment
CN106293063A (zh) * 2016-07-26 2017-01-04 深圳天珑无线科技有限公司 一种密码输入方法和装置
CN107422844A (zh) * 2017-03-27 2017-12-01 联想(北京)有限公司 一种信息处理方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵新灿;左洪福;徐兴民;: "基于视线跟踪的增强现实交互" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399658A (zh) * 2020-04-24 2020-07-10 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN111399658B (zh) * 2020-04-24 2022-03-15 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN111552389A (zh) * 2020-05-11 2020-08-18 Oppo广东移动通信有限公司 注视点抖动消除方法、装置及存储介质
CN111580667A (zh) * 2020-05-11 2020-08-25 Oppo广东移动通信有限公司 注视点显示方法及相关装置
CN111552389B (zh) * 2020-05-11 2023-04-28 Oppo广东移动通信有限公司 注视点抖动消除方法、装置及存储介质
CN111580667B (zh) * 2020-05-11 2023-07-14 Oppo广东移动通信有限公司 注视点显示方法及相关装置
CN114821180A (zh) * 2022-05-06 2022-07-29 盐城工学院 一种基于软阈值惩罚机制的弱监督细粒度图像分类方法
CN114821180B (zh) * 2022-05-06 2022-12-06 盐城工学院 一种基于软阈值惩罚机制的弱监督细粒度图像分类方法

Also Published As

Publication number Publication date
CN110969116B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110969116B (zh) 注视点位置确定方法及相关装置
EP3293620B1 (en) Multi-screen control method and system for display screen based on eyeball tracing technology
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
CN108919958B (zh) 一种图像传输方法、装置、终端设备及存储介质
CN109410285B (zh) 一种校准方法、装置、终端设备及存储介质
EP2927634B1 (en) Single-camera ranging method and system
US20150185835A1 (en) Eye tracking method and apparatus
US20190026589A1 (en) Information processing device, information processing method, and program
EP2696262A1 (en) Input device, input method, and computer program
CN107174824B (zh) 特效信息处理方法、装置、电子设备及存储介质
US10488918B2 (en) Analysis of user interface interactions within a virtual reality environment
CN110780742B (zh) 眼球追踪处理方法及相关装置
CN111582090A (zh) 人脸识别方法、装置及电子设备
CN109782913A (zh) 一种控制屏幕内容显示的方法及装置
WO2016110752A1 (en) Control method and control apparatus for electronic equipment and electronic equipment
KR101541061B1 (ko) 휴대용 단말기에서 감각 기관의 운동을 보조하는 장치 및 방법
CN112748798A (zh) 一种眼球追踪校准方法及相关设备
CN111580665B (zh) 注视点预测方法、装置、移动终端及存储介质
CN106371552B (zh) 一种在移动终端进行媒体展示的控制方法及装置
CN112883767B (zh) 眼跳图像的处理方法及相关产品
EP3440532B1 (en) Improving readability of content displayed on a screen
CN112528107A (zh) 内容数据的展示方法、装置和服务器
CN110941344B (zh) 获取注视点数据的方法及相关装置
CN113835804A (zh) 信息的显示方法和电子设备
CN111176501B (zh) 一种显示区域调整方法、用户设备和具有存储功能的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant