CN106569590A - 对象选择方法及装置 - Google Patents

对象选择方法及装置 Download PDF

Info

Publication number
CN106569590A
CN106569590A CN201510655602.5A CN201510655602A CN106569590A CN 106569590 A CN106569590 A CN 106569590A CN 201510655602 A CN201510655602 A CN 201510655602A CN 106569590 A CN106569590 A CN 106569590A
Authority
CN
China
Prior art keywords
target stimulus
movement locus
sequence
user
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510655602.5A
Other languages
English (en)
Other versions
CN106569590B (zh
Inventor
张昀
池哲儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Xian Jiaotong University
Original Assignee
Huawei Technologies Co Ltd
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Xian Jiaotong University filed Critical Huawei Technologies Co Ltd
Priority to CN201510655602.5A priority Critical patent/CN106569590B/zh
Publication of CN106569590A publication Critical patent/CN106569590A/zh
Application granted granted Critical
Publication of CN106569590B publication Critical patent/CN106569590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种对象选择方法及装置,属于计算机技术领域。所述方法包括:接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,所述界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,所述目标刺激物沿所述图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数;从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹;根据查找到的所述运动轨迹确定所述用户所选择的对象。本发明通过采用平滑尾随产生的跟踪眼动序列作为输入信号,解决了输入的形状数据各不相同,在确定与形状数据相匹配的数字时容易出错,导致对象识别的准确性较低的问题,从而提高了对象识别的准确性。

Description

对象选择方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种对象选择方法及装置。
背景技术
眼动跟踪是指通过测量眼睛的注视点的位置或者眼球相对头部的运动实现对眼球运动的追踪。眼动跟踪作为一种新型的人机交互方式,近年来逐渐被广泛应用于密码识别、身份识别等领域。
现有技术中有一种眼动跟踪的应用,电子设备显示数字输入界面,接收用户通过眼睛在输入框中输入的形状数据,获取与该形状数据相匹配的数字串,当该数字串与预设密码相同时,确定密码输入正确。例如,当用户需要输入数字“0”时,在输入框中用眼睛输入椭圆的形状数据;当用户需要输入数字“1”时,在输入框中用眼睛输入一条竖线的形状数据等等。
由于部分形状数据较为相似,以至于电子设备在确定与形状数据相匹配的数字时容易出错。
发明内容
本发明实施例提供了一种对象选择方法及装置,能够提升形状数据识别的正确率。所述技术方案如下:
第一方面,提供了一种对象选择方法,所述方法包括:
接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,所述界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,所述目标刺激物沿所述图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数;
从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹;
根据查找到的所述运动轨迹确定所述用户所选择的对象。
在第一方面的第一种可能的实现方式中,所述接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列之前,还包括:
控制所述界面中的每个目标刺激物处于初始位置且保持静止;
接收所述用户的眼睛识别所述对象所产生的识别眼动序列;
在根据所述识别眼动序列确定所述用户已经识别出所述对象时,控制所述界面中的每个目标刺激物从各自的初始位置开始运动。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述根据查找到的所述运动轨迹确定所述用户所选择的对象之后,还包括:
控制所述目标刺激物恢复到初始位置且保持静止,并指示所述用户继续识别下一个所要选择的对象。
结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述方法,还包括:
读取所述识别眼动序列中的位置参数,所述位置参数用于指示所述用户的注视点所在位置;
检测在预定时长内所述位置参数的变化数值是否小于预定变化阈值;
当在所述预定时长内所述位置参数的变化数值小于所述预定变化阈值时,确定所述用户已经识别出所述对象。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹之前,还包括:
根据所述跟踪眼动序列中的位置参数计算所述跟踪眼动序列的中心位置;
确定与所述跟踪眼动序列的中心位置之间的距离小于第一距离的对象;
将所述对象以及相邻位置的对象上的目标刺激物的运动轨迹确定为所述各个目标刺激物的运动轨迹。
结合第一方面的第四种可能的实现方式,在第一方面的第五种可能的实现方式中,所述从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹,包括:
获取所述各个目标刺激物的第一运动参数,并获取所述跟踪眼动序列中记录的第二运动参数,所述第一运动参数和所述第二运动参数均包括起始位置、运动方向和角速度中的至少一种参数;
筛选所有参数的参数值均与所述第二运动参数中对应的参数值相等的第一运动参数;
将筛选出的所述第一运动参数对应的目标刺激物的运动轨迹确定为与所述跟踪眼动序列相匹配的运动轨迹。
结合第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,所述从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹,还包括:
当筛选出至少两个运动轨迹时,根据每个运动轨迹的中心位置与所述跟踪眼动序列的中心位置之间的距离确定每个对象的权重,所述权重与所述距离呈负相关关系;
将每个运动轨迹与所述跟踪眼动序列之间的综合距离乘以对应的权重,根据计算结果确定与所述跟踪眼动序列距离小于第二距离的一个运动轨迹,所述综合距离是所述运动轨迹上的每个点与所述跟踪眼动序列上的对应的点之间的距离的平均值;
将确定出的所述运动轨迹确定为与所述跟踪眼动序列相匹配的运动轨迹。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式或第一方面的第四种可能的实现方式或第一方面的第五种可能的实现方式或第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,
在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,
在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一行中,相邻位置的对象上的目标刺激物的运动方向相反。
结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式或第一方面的第四种可能的实现方式或第一方面的第五种可能的实现方式或第一方面的第六种可能的实现方式或第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,所述根据查找到的所述运动轨迹确定所述用户所选择的对象之后,还包括:
获取所述用户选择对象的熟练程度,并根据所述熟练程度调整所述目标刺激物的角速度和运动圈数中的至少一种,所述熟练程度与所述角速度呈正相关关系且所述熟练程度与所述运动圈数呈负相关关系;和/或,
接收所述用户触发的调整指令,根据所述调整指令调整所述目标刺激物运动的角速度和运动圈数中的至少一种。
结合第一方面的第八种可能的实现方式,在第一方面的第九种可能的实现方式中,所述获取所述用户选择对象的熟练程度,包括:
统计所述用户选择对象的准确程度,所述准确程度与所述熟练程度呈正相关关系;和/或,
统计跟踪眼动序列与所选择的对象上目标刺激物的运动轨迹的匹配程度,所述匹配程度与所述熟练程度呈正相关关系。
第二方面,提供了一种对象选择装置,所述装置包括:
第一接收模块,用于接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,所述界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,所述目标刺激物沿所述图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数;
轨迹查找模块,用于从各个目标刺激物的运动轨迹中,查找与所述第一接收模块接收到的所述跟踪眼动序列相匹配的运动轨迹;
对象选择模块,用于根据所述轨迹查找模块查找到的所述运动轨迹确定所述用户所选择的对象。
在第二方面的第一种可能的实现方式中,所述装置,还包括:
第一控制模块,用于在所述第一接收模块接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列之前,控制所述界面中的每个目标刺激物处于初始位置且保持静止;
第二接收模块,用于接收所述用户的眼睛识别所述对象所产生的识别眼动序列;
第二控制模块,用于在根据所述第二接收模块接收到的所述识别眼动序列确定所述用户已经识别出所述对象时,控制所述界面中的每个目标刺激物从各自的初始位置开始运动。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述装置,还包括:
操作指示模块,用于在所述对象选择模块根据查找到的所述运动轨迹确定所述用户所选择的对象之后,控制所述目标刺激物恢复到初始位置且保持静止,并指示所述用户继续识别下一个所要选择的对象。
结合第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述装置,还包括:
参数读取模块,用于读取所述识别眼动序列中的位置参数,所述位置参数用于指示所述用户的注视点所在位置;
变化检测模块,用于检测在预定时长内所述参数读取模块读取的所述位置参数的变化数值是否小于预定变化阈值;
对象识别模块,用于当所述变化检测模块检测出在所述预定时长内所述位置参数的变化数值小于所述预定变化阈值时,确定所述用户已经识别出所述对象。
结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,所述装置,还包括:
位置计算模块,用于在所述轨迹查找模块从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹之前,根据所述跟踪眼动序列中的位置参数计算所述跟踪眼动序列的中心位置;
对象确定模块,用于确定与所述位置计算模块得到的所述跟踪眼动序列的中心位置之间的距离小于第一距离的对象;
轨迹确定模块,用于将所述对象确定模块确定的所述对象以及相邻位置的对象上的目标刺激物的运动轨迹确定为所述各个目标刺激物的运动轨迹。
结合第二方面的第四种可能的实现方式,在第二方面的第五种可能的实现方式中,所述轨迹查找模块,具体用于:
获取所述各个目标刺激物的第一运动参数,并获取所述跟踪眼动序列中记录的第二运动参数,所述第一运动参数和所述第二运动参数均包括起始位置、运动方向和角速度中的至少一种参数;
筛选所有参数的参数值均与所述第二运动参数中对应的参数值相等的第一运动参数;
将筛选出的所述第一运动参数对应的目标刺激物的运动轨迹确定为与所述跟踪眼动序列相匹配的运动轨迹。
结合第二方面的第五种可能的实现方式,在第二方面的第六种可能的实现方式中,所述轨迹查找模块,还用于:
当筛选出至少两个运动轨迹时,根据每个运动轨迹的中心位置与所述跟踪眼动序列的中心位置之间的距离确定每个对象的权重,所述权重与所述距离呈负相关关系;
将每个运动轨迹与所述跟踪眼动序列之间的综合距离乘以对应的权重,根据计算结果确定与所述跟踪眼动序列距离小于第二距离的一个运动轨迹,所述综合距离是所述运动轨迹上的每个点与所述跟踪眼动序列上的对应的点之间的距离的平均值;
将确定出的所述运动轨迹确定为与所述跟踪眼动序列相匹配的运动轨迹。
结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式或第二方面的第四种可能的实现方式或第二方面的第五种可能的实现方式或第二方面的第六种可能的实现方式,在第二方面的第七种可能的实现方式中,
在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,
在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一行中,相邻位置的对象上的目标刺激物的运动方向相反。
结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式或第二方面的第四种可能的实现方式或第二方面的第五种可能的实现方式或第二方面的第六种可能的实现方式或第二方面的第七种可能的实现方式,在第二方面的第八种可能的实现方式中,所述装置,还包括:
第一调整模块,用于在所述对象选择模块根据查找到的所述运动轨迹确定所述用户所选择的对象之后,获取所述用户选择对象的熟练程度,并根据所述熟练程度调整所述目标刺激物的角速度和运动圈数中的至少一种,所述熟练程度与所述角速度呈正相关关系且所述熟练程度与所述运动圈数呈负相关关系;和/或,
第二调整模块,用于在所述对象选择模块根据查找到的所述运动轨迹确定所述用户所选择的对象之后,接收所述用户触发的调整指令,根据所述调整指令调整所述目标刺激物运动的角速度和运动圈数中的至少一种。
结合第二方面的第八种可能的实现方式,在第二方面的第九种可能的实现方式中,所述第一调整模块,具体用于:
统计所述用户选择对象的准确程度,所述准确程度与所述熟练程度呈正相关关系;和/或,
统计跟踪眼动序列与所选择的对象上目标刺激物的运动轨迹的匹配程度,所述匹配程度与所述熟练程度呈正相关关系。
本发明实施例提供的技术方案的有益效果是:
通过接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,该界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,该目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同;从各个目标刺激物的运动轨迹中,查找与该跟踪眼动序列相匹配的运动轨迹;根据查找到的运动轨迹确定用户所选择的对象,可以通过目标刺激物刺激眼睛运动,由于此时得到的跟踪眼动序列与目标刺激物的运动轨迹较为相似,因此,能够很容易识别出用户所选择的对象,解决了部分形状数据较为相似,在确定与形状数据相匹配的数字时容易出错的问题,从而提高了对象识别的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明各个实施例所涉及的实施环境示意图;
图2是本发明一个实施例提供的对象选择方法的方法流程图;
图3A是本发明另一实施例提供的对象选择方法的方法流程图;
图3B是本发明另一实施例提供的对象对应的图形的示意图;
图3C是本发明另一实施例提供的界面的第一种显示示意图;
图3D是本发明另一实施例提供的界面的第二种显示示意图;
图3E是本发明另一实施例提供的界面的第三种显示示意图;
图3F是本发明另一实施例提供的目标刺激物的运动轨迹示意图;
图3G是本发明另一实施例提供的眼动序列的示意图;
图3H是本发明另一实施例提供的频域参数的第一种显示示意图;
图3I是本发明另一实施例提供的频域参数的第二种显示示意图;
图4是本发明一个实施例提供的对象选择装置的结构框图;
图5是本发明再一实施例提供的对象选择装置的结构框图;
图6是本发明一个实施例提供的对象选择装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1所示的本发明各个实施例涉及的实施环境示意图,图1中,终端中显示有密码输入界面,密码输入界面包括n个对象,每个对象上设置有一个目标刺激物,每个目标刺激物可以在对象对应的图形上运动,以刺激用户的眼睛跟随目标刺激物运动来输入密码。
其中,终端可以是任何需要输入密码的电子设备,例如,终端可以是司法应用中的司法鉴证设备等;或者,终端可以是公共与社会安全应用中的证照设备、出入境控制设备、黑名单追踪设备、人员背景调查设备、门禁设备等;或者,终端可以是商业应用中的考勤设备、门禁设备、智能卡应用设备等;或者,终端可以是公众项目应用中的医疗设备、教育设备、社会保险设备、自动取款机(英文:Automatic Teller Machine;简称:ATM)等;或者,终端可以是个人应用中的电视、手机、平板电脑、计算机等等,本实施例不作限定。
需要说明的是,终端可以显示界面和采集眼动序列,将眼动序列发送给服务器进行处理,通过服务器来识别密码;或者,终端可以显示界面、采集眼动序列,对眼动序列进行处理来识别密码。
请参考图2,其示出了本发明一个实施例提供的对象选择方法的方法流程图。该对象选择方法,包括:
步骤201,接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,该界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,该目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数。
步骤202,从各个目标刺激物的运动轨迹中,查找与该跟踪眼动序列相匹配的运动轨迹。
步骤203,根据查找到的运动轨迹确定用户所选择的对象。
综上所述,本发明实施例提供的对象选择方法,通过接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,该界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,该目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同;从各个目标刺激物的运动轨迹中,查找与该跟踪眼动序列相匹配的运动轨迹;根据查找到的运动轨迹确定用户所选择的对象,可以通过目标刺激物刺激眼睛运动,由于此时得到的跟踪眼动序列与目标刺激物的运动轨迹较为相似,因此,能够很容易识别出用户所选择的对象,解决了部分形状数据较为相似,在确定与形状数据相匹配的数字时容易出错的问题,从而提高了对象识别的准确性。
请参考图3A,其示出了本发明另一实施例提供的对象选择方法的方法流程图。该对象选择方法,包括:
步骤301,控制界面中的每个目标刺激物处于初始位置且保持静止,该界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,该目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数。
终端显示的界面中包括n个对象,该对象可以是数字、字母、其他符号等,本实施例不作限定。其中,每个对象对应于一个图形,该图形可以是包括对象内容的边框,此时该边框可以是任意形状的边框,例如,可以是圆形边框、椭圆形边框、三角形边框、正多边形边框、不规则图形边框等等,本实施例不作限定。或者,该图形也可以是位于对象内容的附近且独立于对象内容的直线、弧线等等,本实施例不作限定。请参考图3B所示的对象对应的图形的示意图,其中,图3B中包括4个圆形边框、2个椭圆形边框、1个星型边框和2条直线。
一个界面中n个对象对应的图形可以相同,也可以不同。例如,图1中,16个对象对应的图形都是圆形边框;请参考图3C所示的界面的第一种显示示意图,第1-4个对象对应的图形是直线,第5-8个对象和第13-16个对象对应的图形是圆形边框,第9-12个对象对应的图形是椭圆形边框。
本实施例中,终端还可以对界面中显示的对象的数量进行调整。请参考图3D所示的界面的第二种显示示意图,图3D中的3个界面的大小相等,且左侧视图中设置有16个对象、中间视图中设置有36个对象,右侧视图中设置有100个对象。
在相同大小的界面中,对象的数量越多,对象对应的图形越小。相关技术中,若通过注视或跳动产生的眼动序列来选择对象,则当对象对应的图形较小时,无法根据眼动序列准确确定出用户所选择的对象。而本实施例中,由于用户根据平滑尾随产生眼动序列,因此,即使图像对应的图形较小,仍然可以根据眼动序列准确确定出用户所选择的对象,从而保证了对象选择的准确性。另外,当界面中对象的数量较多时,用户利用这些对象进行组合所得到的密码的安全性越高。其中,平滑尾随是指眼睛平滑地追踪运动速度为1°/s~30°/s的目标刺激物的过程。
本实施例中,终端还可以按照预定规则对界面中包括的n个对象进行排序。例如,图1中,终端将16个对象按照数字从大到小的顺序进行排列;图3E所示的界面的第三种显示示意图中,终端将16个对象按照数字从小到大的顺序进行排列。终端还可以按照其它规则对对象进行排序,本实施例不作限定。可选的,终端还可以每次按照不同的规则对n个对象进行排序,通过动态调整对象的显示位置来进一步提高密码输入的安全性。
对象对应的图形上设置有一个目标刺激物,该目标刺激物沿该图形运动,以刺激用户的眼睛平滑尾随目标刺激物的运动来选择对象。此时,目标刺激物的颜色要显眼,以便于用户的眼睛平滑尾随目标刺激物的运动,例如,将目标刺激物的颜色设置为红色、黄色等等。
需要说明的是,当对象对应的图形是圆形时,由于圆形的线条平滑,在目标刺激物沿圆形运动时,运动轨迹较为平滑,使得不同年龄层次的用户的眼睛都可以跟得上目标刺激物的运动,从而提供了较好的人机交互方式,提升了用户的体验,也扩大了对象选择方法的适用范围。
假设对象对应的图形为半径为a的圆形,请参考图3F所示的目标刺激物的运动轨迹示意图,其圆心坐标为C(a,0)(a>0),则其基于极坐标(ρ,θ)的运动轨迹方程可以表示成ρ=2acosθ,θ是当前目标刺激物所在位置相对于原点的极坐标中心角。如果是匀速圆周运动的话,θ可以表示为θ=ωt+σ0,ω是角速度,σ0是初始位置,此时运动轨迹方程为ρ=2acos(ωt+σ0)。
经过反复试验,对两组眼动序列来说,决定其最大差异的不是半径a,而是初始位置σ0和角速度ω。根据上述试验结果,可以将相邻位置上的对象上的目标刺激物的初始位置和角速度中的至少一种设置得不同,从而区分眼动序列。其中,角速度可以包括角速度大小和角速度方向,下文中,角速度表示角速度大小,运动方向表示角速度方向。
当以初始位置和运动方向区分眼动序列时,在第一种可能的实现方式中,在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,在第二种可能的实现方式中,在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一行中,相邻位置的对象上的目标刺激物的运动方向相反。其中,当图形是圆形时,初始位置相反是指初始相位相差π;当图形是直线时,初始位置相反是指初始位置分别位于直线的两端。
请参考图1,图1以第一种实现方式为例进行说明。每一行中,相邻两个对象上的目标刺激物的初始位置相反,运动方向相同;且每一列中,相邻两个对象上的目标刺激物的运动方向相反,初始位置相同。此时,每个对象上的目标刺激物的运动轨迹与其相邻位置上的对象上的目标刺激物的运动轨迹不同。以对象为05为例,其相邻位置上的对象分别是01、04、06和09,01与05的初始位置相同且运动方向相反,04与05的初始位置相反且运动方向相同,06与05的初始位置相反且运动方向相同,09与05的初始位置相同且运动方向相反。
可选的,终端还可以将相邻位置上的对象上的目标刺激物的角速度设置得不同;或者,终端可以将相邻行或相邻列的对象上的目标刺激物的角速度设置得不同。例如,第一行对象上的目标刺激物的角速度为2圈/s,第二行对象上的目标刺激物的角速度为4圈/s,第三行对象上的目标刺激物的角速度为2圈/s等等。
需要补充说明的是,圆心位置C(a,0)也可以决定两组眼动序列的最大差异,终端还可以将相邻位置上的对象的圆心设置得不同。例如,将一个对象对应的图形的圆心设置为C(a,0)+Δd,将其相邻位置的对象对应的图形的圆心设置为C(a,0)-Δd。
需要说明的时,在实现对跟踪眼动序列的识别和系统设计时,通过对相邻位置上的对象设置不同的角速度、运动方向和圆心位置,使得相邻位置上的对象的目标刺激物的运动轨迹完全不同,从而能够很容易地查找到与跟踪眼动序列相匹配的运动轨迹,提高了识别的准确性。
在终端设置完界面后,可以对该界面进行显示。其中,在用户每选择一个对象之前,控制所有的对象上的目标刺激物处于初始位置且保持静止,如图1所示。当用户需要先识别对象,再选择对象时,执行步骤302-305;当用户不需要识别对象,直接选择对象时,执行步骤306。
步骤302,接收用户的眼睛识别对象所产生的识别眼动序列。
当终端中内置有眼动模块时,可以直接采集用户的眼睛产生的识别眼动序列;当终端中未设置眼动模块时,可以接收眼动模块采集并发送的识别眼动序列。其中,识别眼动序列是用户在识别对象的过程中所产生的眼动序列。
具体地,眼动模块包括眼部摄像机和红外模块,红外模块发出的光线到达眼球,眼部摄像机连续的记录从用户的眼角膜和瞳孔反射的红外图像,得到瞳孔--角膜反射图像,再利用眼部特征提取等图像处理技术,得到角膜亮斑和瞳孔的矢量。该矢量为用户通过眼睛与终端交互的输入信号。
步骤303,读取识别眼动序列中的位置参数,该位置参数用于指示用户的注视点所在位置。
识别眼动序列中至少记录有每个时刻注视点的位置参数,位置参数可以利用二维坐标中的横坐标x和纵坐标y表示。
步骤304,检测在预定时长内位置参数的变化数值是否小于预定变化阈值;当在预定时长内位置参数的变化数值小于预定变化阈值时,确定用户已经识别出对象。
在用户识别一个对象时,首先会通过跳跃来寻找对象,找到对象后再注视对象。根据这一识别过程可知,在识别眼动序列中,随着时间的推移,注视点的位置先是跳跃变化,后在小范围内变化。请参考图3G所示的眼动序列的示意图,其中,左侧视图中密集的点为注视点,用户首先看到00,根据00推断出01在00的右侧,注视点从00跳跃到01,之后持续注视01。
可见,当用户持续注视某一个对象时,说明用户已经识别出该对象。在具体实现时,终端可以检测在预定时长内位置参数的变化数值是否小于预定变化阈值;当在预定时长内位置参数的变化数值小于预定变化阈值时,确定用户已经识别出对象,结束识别过程;当在预定时长内位置参数的变化数值大于预定变化阈值时,确定用户未识别出对象,继续接收识别眼动序列来识别对象。其中,预定时长可以由终端进行设置和修改。例如,初始时,终端将预定时长设置为3s,在使用过程中,终端将预定时长修改为2s或1s等,本实施例不作限定。
步骤305,在根据识别眼动序列确定用户已经识别出对象时,控制界面中的每个目标刺激物从各自的初始位置开始运动。
步骤306,接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列。
当终端中内置有眼动模块时,可以直接采集用户的眼睛产生的跟踪眼动序列;当终端中未设置眼动模块时,可以接收眼动模块采集并发送的跟踪眼动序列。
步骤307,根据跟踪眼动序列中的位置参数计算跟踪眼动序列的中心位置。
跟踪眼动序列中至少记录有每个时刻注视点的位置参数,位置参数可以利用二维坐标中的横坐标x和纵坐标y表示。
终端可以根据记录的位置参数计算出跟踪眼动序列在空间上的中心位置。请参考图3G,右侧视图中分布在01的边框附近的密集点为注视点,终端可以计算出这些点所围成的图形的中心位置。
步骤308,确定与跟踪眼动序列的中心位置之间的距离小于第一距离的对象。
其中,终端可以先计算每个对象的中心位置,再计算每个对象的中心位置与跟踪眼动序列的中心位置之间的距离,查找与跟踪眼动序列的中心位置之间的距离小于第一距离的对象,第一距离可以自行设置和修改,本实施例不作限定。例如,第一距离可以是两个对象中心位置之间的距离。
其中,终端可以先计算每个对象的中心位置,再计算每个对象的中心位置与跟踪眼动序列的中心位置之间的距离,将距离最小的对象确定为与跟踪眼动序列的中心位置之间的距离最近的对象。图3G中,与跟踪眼动序列的中心位置之间的距离最近的对象为01。
步骤309,将对象以及相邻位置的对象上的目标刺激物的运动轨迹确定为各个目标刺激物的运动轨迹。
终端可以将所有的目标刺激物的运动轨迹与跟踪眼动序列进行匹配,也可以先筛选出部分运动轨迹,将筛选出的运动轨迹与跟踪眼动序列进行匹配,以提高匹配效率。
图3G中,当步骤308确定的对象为01时,相邻位置的对象为00、02和05,得到00、01、02和05上的目标刺激物的运动轨迹。
步骤310,从各个目标刺激物的运动轨迹中,查找与该跟踪眼动序列相匹配的运动轨迹。
本实施例提供了两种查找与跟踪眼动序列相匹配的运动轨迹的实现方式,下面分别对这两种实现方式进行介绍。
在第一种实现方式中,终端将跟踪眼动序列转换到频域,比较跟踪眼动序列与运动轨迹的频域参数的相似性。请参考图3H所示的频域参数的第一种显示示意图,其中,上图中的两个频域参数相差较大,该运动轨迹与跟踪眼动序列不匹配;请参考图3I所示的频域参数的第二种显示示意图,其中,上图中的两个频域参数相差较小,该运动轨迹与跟踪眼动序列匹配。
在第二种实现方式中,终端剔除与跟踪眼动序列不匹配的运动轨迹。具体地,从各个目标刺激物的运动轨迹中,查找与跟踪眼动序列相匹配的运动轨迹,包括:
1)获取各个目标刺激物的第一运动参数,并获取跟踪眼动序列中记录的第二运动参数,第一运动参数和第二运动参数均包括起始位置、运动方向和角速度中的至少一种参数;
2)筛选所有参数的参数值均与第二运动参数中对应的参数值相等的第一运动参数;
3)将筛选出的第一运动参数对应的目标刺激物的运动轨迹确定为与跟踪眼动序列相匹配的运动轨迹。
第一运动参数与第二运动参数中至少包括同一种参数,且相同参数的种类越多,匹配结果越准确。例如,当第一运动参数包括起始位置、运动方向和角速度,且第二运动参数包括起始位置、运动方向和角速度时,匹配结果最准确。
在实现时,终端先确定每个第一运动参数和第二运动参数中的同种参数,比较同种参数的参数值是否相等,当存在至少一个同种参数的参数值不同,确定该第一运动参数对应的运动轨迹与跟踪眼动序列不匹配。当最终筛选出一个第一运动参数时,将该第一运动参数对应的运动轨迹确定为与跟踪眼动序列相匹配的运动轨迹。
当筛选出至少两个运动轨迹时,从各个目标刺激物的运动轨迹中,查找与跟踪眼动序列相匹配的运动轨迹,还包括:
1)根据每个运动轨迹的中心位置与跟踪眼动序列的中心位置之间的距离确定每个对象的权重,权重与距离呈负相关关系;
2)将每个运动轨迹与跟踪眼动序列之间的综合距离乘以对应的权重,根据计算结果确定与跟踪眼动序列距离小于第二距离的一个运动轨迹,综合距离是运动轨迹上的每个点与跟踪眼动序列上的对应的点之间的距离的平均值;
3)将确定出的运动轨迹确定为与跟踪眼动序列相匹配的运动轨迹。
其中,权重与距离呈负相关关系。即,距离越远,权重越小;距离越近,权重越大,权重的数值可以由终端设置和修改。在实现时,可以为与跟踪眼动序列的中心位置之间的距离最近的对象设置较高权重,为相邻位置上的对象设置相同或不同的较低权重。例如,图3G中,01的权重为0.8,00、02和05的权重为0.2;或者,01的权重为0.8,00和02的权重为0.2,05的权重为0.1。
终端计算运动轨迹与跟踪眼动序列之间的综合距离。在计算时,对于跟踪眼动序列中的每个点,确定对应于该点的时刻,再确定目标刺激物在该时刻所在的点,计算这两个点之间的距离d。当跟踪眼动序列包括m个点时,计算d1、d2、…、dm的平均值,得到综合距离。
终端将每个综合距离乘以对应的权重,根据计算结果筛选出与跟踪眼动序列距离小于第二距离的一个运动轨迹,第二距离可以自行设置和修改,本实施例不作限定。在本发明的另一实施例中,终端将每个综合距离乘以对应的权重,根据计算结果筛选出与跟踪眼动序列距离最近的一个运动轨迹。
步骤311,根据查找到的运动轨迹确定用户所选择的对象。
步骤312,控制目标刺激物恢复到初始位置且保持静止,并指示用户继续识别下一个所要选择的对象。
当用户需要选择多个对象时,控制目标刺激物恢复到初始位置且保持静止,并指示用户继续识别下一个所要选择的对象,继续执行步骤301。
当对象选择方法应用于密码输入时,每个对象对应于密码中的一位字符,在输入完成后,终端将选择的对象所组成的字符串与预设的密码进行比较,以验证输入密码的准确性。
本实施例中,终端还可以对目标刺激物的角速度和运动圈数中的至少一种进行调整,下面分别对两种调整方式进行介绍。
在第一种调整方式中,获取用户选择对象的熟练程度,并根据熟练程度调整目标刺激物的角速度和运动圈数中的至少一种,熟练程度与角速度呈正相关关系且熟练程度与运动圈数呈负相关关系。
在初始使用时,用户可能还不太适应这种对象选择方式,此时,可以将目标刺激物的角速度设置得较小,和/或,将运动圈数设置得较多,以提高对象选择的准确性。在使用多次之后,用户已经能够熟练地选择对象,此时,可以将目标刺激物的角速度设置得较大,和/或,将运动圈数设置得较少,以提高对象选择的效率。其中,初始的角速度和运动圈数可以是对多个用户进行试验统计得到的。
例如,初始时设置角速度为4s/圈,在用户熟练掌握后调整为3s/圈;初始时运动圈数为2圈,在用户熟练掌握后调整为0.5圈等。
其中,获取用户选择对象的熟练程度,包括:统计用户选择对象的准确程度,准确程度与熟练程度呈正相关关系;和/或,统计跟踪眼动序列与所选择的对象上目标刺激物的运动轨迹的匹配程度,匹配程度与熟练程度呈正相关关系。
当对象选择方法应用于密码输入时,每个对象对应于密码中的一位字符,在输入完成后,终端会验证选择的对象是否准确。此时,终端可以得到用户之前所有选择的对象的准确程度,准确程度越高,熟练程度越高。当准确程度超过某一阈值时,终端调整角速度和运动圈数中的至少一种。和/或,
终端还可以比较跟踪眼动序列与运动轨迹的匹配程度,匹配程度越高,熟练程度越高。其中,匹配程度可以根据跟踪眼动序列与运动轨迹的综合距离得到,也可以根据跟踪眼动序列的稳定性得到,本实施例不作限定。
在第二种调整方式中,接收用户触发的调整指令,根据调整指令调整目标刺激物运动的角速度和运动圈数中的至少一种。
界面中显示有调整控件,当用户触发某一个调整控件时,终端接收到调整指令,根据调整指令调整目标刺激物运动的角速度和运动圈数中的至少一种。例如,界面中显示有“慢”、“中速”和“快”这三种调整控件,当用户触发“快”的调整控件时,终端读取“快”的调整控件所对应的角速度和运动圈数,将当前的角速度调整为读取到的角速度,将当前的运动圈数调整为读取到的运动圈数。
综上所述,本发明实施例提供的对象选择方法,通过接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,该界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,该目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同;从各个目标刺激物的运动轨迹中,查找与该跟踪眼动序列相匹配的运动轨迹;根据查找到的运动轨迹确定用户所选择的对象,可以通过目标刺激物刺激眼睛运动,由于此时得到的跟踪眼动序列与目标刺激物的运动轨迹较为相似,因此,能够很容易识别出用户所选择的对象,解决了部分形状数据较为相似,在确定与形状数据相匹配的数字时容易出错的问题,从而提高了对象识别的准确性。
另外,通过获取用户选择对象的熟练程度,并根据熟练程度调整目标刺激物的角速度和运动圈数中的至少一种,可以为熟练程度较低的用户设置较慢的角速度或较多的运动圈数,以提高对象选择的准确性,为熟练程度较高的用户设置较快的角速度或较少的运动圈数,以提高对象选择的效率。
另外,在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一行中,相邻位置的对象上的目标刺激物的运动方向相反,使得相邻位置的对象上的目标刺激物的运动轨迹不同,提高了查找与跟踪眼动序列相匹配的运动轨迹的准确性。
请参考图4,其示出了本发明一个实施例提供的对象选择装置的结构框图。该对象选择装置,包括:
第一接收模块401,用于接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数;
轨迹查找模块402,用于从各个目标刺激物的运动轨迹中,查找与第一接收模块401接收到的跟踪眼动序列相匹配的运动轨迹;
对象选择模块403,用于根据轨迹查找模块402查找到的运动轨迹确定用户所选择的对象。
综上所述,本发明实施例提供的对象选择装置,通过接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,该界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,该目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同;从各个目标刺激物的运动轨迹中,查找与该跟踪眼动序列相匹配的运动轨迹;根据查找到的运动轨迹确定用户所选择的对象,可以通过目标刺激物刺激眼睛运动,由于此时得到的跟踪眼动序列与目标刺激物的运动轨迹较为相似,因此,能够很容易识别出用户所选择的对象,解决了部分形状数据较为相似,在确定与形状数据相匹配的数字时容易出错的问题,从而提高了对象识别的准确性。
请参考图5,其示出了本发明再一实施例提供的对象选择装置的结构框图。该对象选择装置,包括:第一接收模块501、轨迹查找模块502和对象选择模块503。
第一接收模块501,用于接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数;
轨迹查找模块502,用于从各个目标刺激物的运动轨迹中,查找与第一接收模块501接收到的跟踪眼动序列相匹配的运动轨迹;
对象选择模块503,用于根据轨迹查找模块502查找到的运动轨迹确定用户所选择的对象。
在第一种可能的实现方式中,本实施例提供的对象选择装置,还包括:
第一控制模块504,用于在第一接收模块501接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列之前,控制界面中的每个目标刺激物处于初始位置且保持静止;
第二接收模块505,用于接收用户的眼睛识别对象所产生的识别眼动序列;
第二控制模块506,用于在根据第二接收模块505接收到的识别眼动序列确定用户已经识别出对象时,控制界面中的每个目标刺激物从各自的初始位置开始运动。
在第二种可能的实现方式中,本实施例提供的对象选择装置,还包括:
操作指示模块507,用于在对象选择模块503根据查找到的运动轨迹确定用户所选择的对象之后,控制目标刺激物恢复到初始位置且保持静止,并指示用户继续识别下一个所要选择的对象。
在第三种可能的实现方式中,本实施例提供的对象选择装置,还包括:
参数读取模块508,用于读取识别眼动序列中的位置参数,位置参数用于指示用户的注视点所在位置;
变化检测模块509,用于检测在预定时长内参数读取模块508读取的位置参数的变化数值是否小于预定变化阈值;
对象识别模块510,用于当变化检测模块509检测出在预定时长内位置参数的变化数值小于预定变化阈值时,确定用户已经识别出对象。
在第四种可能的实现方式中,本实施例提供的对象选择装置,还包括:
位置计算模块511,用于在轨迹查找模块502从各个目标刺激物的运动轨迹中,查找与跟踪眼动序列相匹配的运动轨迹之前,根据跟踪眼动序列中的位置参数计算跟踪眼动序列的中心位置;
对象确定模块512,用于确定与位置计算模块511得到的跟踪眼动序列的中心位置之间的距离小于第一距离的对象;
轨迹确定模块513,用于将对象确定模块512确定的对象以及相邻位置的对象上的目标刺激物的运动轨迹确定为各个目标刺激物的运动轨迹。
在第五种可能的实现方式中,轨迹查找模块502,具体用于:
获取各个目标刺激物的第一运动参数,并获取跟踪眼动序列中记录的第二运动参数,第一运动参数和第二运动参数均包括起始位置、运动方向和角速度中的至少一种参数;
筛选所有参数的参数值均与第二运动参数中对应的参数值相等的第一运动参数;
将筛选出的第一运动参数对应的目标刺激物的运动轨迹确定为与跟踪眼动序列相匹配的运动轨迹。
在第六种可能的实现方式中,轨迹查找模块502,还用于:
当筛选出至少两个运动轨迹时,根据每个运动轨迹的中心位置与跟踪眼动序列的中心位置之间的距离确定每个对象的权重,权重与距离呈负相关关系;
将每个运动轨迹与跟踪眼动序列之间的综合距离乘以对应的权重,根据计算结果确定与跟踪眼动序列距离小于第二距离的一个运动轨迹,综合距离是运动轨迹上的每个点与跟踪眼动序列上的对应的点之间的距离的平均值;
将确定出的运动轨迹确定为与跟踪眼动序列相匹配的运动轨迹。
在第七种可能的实现方式中,
在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,
在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一行中,相邻位置的对象上的目标刺激物的运动方向相反。
在第八种可能的实现方式中,本实施例提供的对象选择装置,还包括:
第一调整模块514,用于在对象选择模块503根据查找到的运动轨迹确定用户所选择的对象之后,获取用户选择对象的熟练程度,并根据熟练程度调整目标刺激物的角速度和运动圈数中的至少一种,熟练程度与角速度呈正相关关系且熟练程度与运动圈数呈负相关关系;和/或,
第二调整模块515,用于在对象选择模块503根据查找到的运动轨迹确定用户所选择的对象之后,接收用户触发的调整指令,根据调整指令调整目标刺激物运动的角速度和运动圈数中的至少一种。
在第九种可能的实现方式中,第一调整模块514,具体用于:
统计用户选择对象的准确程度,准确程度与熟练程度呈正相关关系;和/或,
统计跟踪眼动序列与所选择的对象上目标刺激物的运动轨迹的匹配程度,匹配程度与熟练程度呈正相关关系。
综上所述,本发明实施例提供的对象选择装置,通过接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,该界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,该目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同;从各个目标刺激物的运动轨迹中,查找与该跟踪眼动序列相匹配的运动轨迹;根据查找到的运动轨迹确定用户所选择的对象,可以通过目标刺激物刺激眼睛运动,由于此时得到的跟踪眼动序列与目标刺激物的运动轨迹较为相似,因此,能够很容易识别出用户所选择的对象,解决了部分形状数据较为相似,在确定与形状数据相匹配的数字时容易出错的问题,从而提高了对象识别的准确性。
另外,通过获取用户选择对象的熟练程度,并根据熟练程度调整目标刺激物的角速度和运动圈数中的至少一种,可以为熟练程度较低的用户设置较慢的角速度或较多的运动圈数,以提高对象选择的准确性,为熟练程度较高的用户设置较快的角速度或较少的运动圈数,以提高对象选择的效率。
另外,在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一行中,相邻位置的对象上的目标刺激物的运动方向相反,使得相邻位置的对象上的目标刺激物的运动轨迹不同,提高了查找与跟踪眼动序列相匹配的运动轨迹的准确性。
请参考图6,其示出了本发明实施例提供的一种对象选择装置的结构示意图。该对象选择装置,可以包括:总线601,以及连接到总线的处理器602、存储器603、发射器604和接收器605。其中,存储器603用于存储若干个指令,指令被配置成由处理器602执行:
接收器605,用于接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数;
处理器602,用于从各个目标刺激物的运动轨迹中,查找与接收器605接收到的跟踪眼动序列相匹配的运动轨迹;根据查找到的运动轨迹确定用户所选择的对象。
综上所述,本发明实施例提供的对象选择装置,通过接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,该界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,该目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同;从各个目标刺激物的运动轨迹中,查找与该跟踪眼动序列相匹配的运动轨迹;根据查找到的运动轨迹确定用户所选择的对象,可以通过目标刺激物刺激眼睛运动,由于此时得到的跟踪眼动序列与目标刺激物的运动轨迹较为相似,因此,能够很容易识别出用户所选择的对象,解决了部分形状数据较为相似,在确定与形状数据相匹配的数字时容易出错的问题,从而提高了对象识别的准确性。
请参考图6,本发明实施例又提供了一种对象选择装置。该对象选择装置,可以包括:总线601,以及连接到总线的处理器602、存储器603、发射器604和接收器605。其中,存储器603用于存储若干个指令,指令被配置成由处理器602执行:
接收器605,用于接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数;
处理器602,用于从各个目标刺激物的运动轨迹中,查找与接收器605接收到的跟踪眼动序列相匹配的运动轨迹;根据查找到的运动轨迹确定用户所选择的对象。
在第一种可能的实现方式中,处理器602,还用于在接收器605接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列之前,控制界面中的每个目标刺激物处于初始位置且保持静止;
接收器605,还用于接收用户的眼睛识别对象所产生的识别眼动序列;
处理器602,还用于在根据接收器605接收到的识别眼动序列确定用户已经识别出对象时,控制界面中的每个目标刺激物从各自的初始位置开始运动。
在第二种可能的实现方式中,处理器602,还用于根据查找到的运动轨迹确定用户所选择的对象之后,控制目标刺激物恢复到初始位置且保持静止,并指示用户继续识别下一个所要选择的对象。
在第三种可能的实现方式中,处理器602,还用于:
读取识别眼动序列中的位置参数,位置参数用于指示用户的注视点所在位置;
检测在预定时长内位置参数的变化数值是否小于预定变化阈值;
当在预定时长内位置参数的变化数值小于预定变化阈值时,确定用户已经识别出对象。
在第四种可能的实现方式中,处理器602,还用于:
从各个目标刺激物的运动轨迹中,查找与跟踪眼动序列相匹配的运动轨迹之前,根据跟踪眼动序列中的位置参数计算跟踪眼动序列的中心位置;
确定与跟踪眼动序列的中心位置之间的距离小于第一距离的对象;
将对象以及相邻位置的对象上的目标刺激物的运动轨迹确定为各个目标刺激物的运动轨迹。
在第五种可能的实现方式中,处理器602,具体用于:
获取各个目标刺激物的第一运动参数,并获取跟踪眼动序列中记录的第二运动参数,第一运动参数和第二运动参数均包括起始位置、运动方向和角速度中的至少一种参数;
筛选所有参数的参数值均与第二运动参数中对应的参数值相等的第一运动参数;
将筛选出的第一运动参数对应的目标刺激物的运动轨迹确定为与跟踪眼动序列相匹配的运动轨迹。
在第六种可能的实现方式中,处理器602,还用于:
当筛选出至少两个运动轨迹时,根据每个运动轨迹的中心位置与跟踪眼动序列的中心位置之间的距离确定每个对象的权重,权重与距离呈负相关关系;
将每个运动轨迹与跟踪眼动序列之间的综合距离乘以对应的权重,根据计算结果确定与跟踪眼动序列距离小于第二距离的一个运动轨迹,综合距离是运动轨迹上的每个点与跟踪眼动序列上的对应的点之间的距离的平均值;
将确定出的运动轨迹确定为与跟踪眼动序列相匹配的运动轨迹。
在第七种可能的实现方式中,在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一行中,相邻位置的对象上的目标刺激物的运动方向相反。
在第八种可能的实现方式中,处理器602,还用于根据查找到的运动轨迹确定用户所选择的对象之后,获取用户选择对象的熟练程度,并根据熟练程度调整目标刺激物的角速度和运动圈数中的至少一种,熟练程度与角速度呈正相关关系且熟练程度与运动圈数呈负相关关系;和/或,
接收器605,还用于根据查找到的运动轨迹确定用户所选择的对象之后,接收用户触发的调整指令,处理器602,还用于根据接收器605接收到的调整指令调整目标刺激物运动的角速度和运动圈数中的至少一种。
在第九种可能的实现方式中,处理器602,具体用于:
统计用户选择对象的准确程度,准确程度与熟练程度呈正相关关系;和/或,
统计跟踪眼动序列与所选择的对象上目标刺激物的运动轨迹的匹配程度,匹配程度与熟练程度呈正相关关系。
综上所述,本发明实施例提供的对象选择装置,通过接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,该界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,该目标刺激物沿图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同;从各个目标刺激物的运动轨迹中,查找与该跟踪眼动序列相匹配的运动轨迹;根据查找到的运动轨迹确定用户所选择的对象,可以通过目标刺激物刺激眼睛运动,由于此时得到的跟踪眼动序列与目标刺激物的运动轨迹较为相似,因此,能够很容易识别出用户所选择的对象,解决了部分形状数据较为相似,在确定与形状数据相匹配的数字时容易出错的问题,从而提高了对象识别的准确性。
另外,通过获取用户选择对象的熟练程度,并根据熟练程度调整目标刺激物的角速度和运动圈数中的至少一种,可以为熟练程度较低的用户设置较慢的角速度或较多的运动圈数,以提高对象选择的准确性,为熟练程度较高的用户设置较快的角速度或较少的运动圈数,以提高对象选择的效率。
另外,在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;在同一行中,相邻位置的对象上的目标刺激物的运动方向相反,使得相邻位置的对象上的目标刺激物的运动轨迹不同,提高了查找与跟踪眼动序列相匹配的运动轨迹的准确性。
需要说明的是:上述实施例提供的对象选择装置在进行对象选择时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将对象选择装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的对象选择装置与对象选择方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (20)

1.一种对象选择方法,其特征在于,所述方法包括:
接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,所述界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,所述目标刺激物沿所述图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数;
从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹;
根据查找到的所述运动轨迹确定所述用户所选择的对象。
2.根据权利要求1所述的方法,其特征在于,所述接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列之前,还包括:
控制所述界面中的每个目标刺激物处于初始位置且保持静止;
接收所述用户的眼睛识别所述对象所产生的识别眼动序列;
在根据所述识别眼动序列确定所述用户已经识别出所述对象时,控制所述界面中的每个目标刺激物从各自的初始位置开始运动。
3.根据权利要求2所述的方法,其特征在于,所述根据查找到的所述运动轨迹确定所述用户所选择的对象之后,还包括:
控制所述目标刺激物恢复到初始位置且保持静止,并指示所述用户继续识别下一个所要选择的对象。
4.根据权利要求2或3所述的方法,其特征在于,所述方法,还包括:
读取所述识别眼动序列中的位置参数,所述位置参数用于指示所述用户的注视点所在位置;
检测在预定时长内所述位置参数的变化数值是否小于预定变化阈值;
当在所述预定时长内所述位置参数的变化数值小于所述预定变化阈值时,确定所述用户已经识别出所述对象。
5.根据权利要求1至4任一所述的方法,其特征在于,所述从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹之前,还包括:
根据所述跟踪眼动序列中的位置参数计算所述跟踪眼动序列的中心位置;
确定与所述跟踪眼动序列的中心位置之间的距离小于第一距离的对象;
将所述对象以及相邻位置的对象上的目标刺激物的运动轨迹确定为所述各个目标刺激物的运动轨迹。
6.根据权利要求5所述的方法,其特征在于,所述从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹,包括:
获取所述各个目标刺激物的第一运动参数,并获取所述跟踪眼动序列中记录的第二运动参数,所述第一运动参数和所述第二运动参数均包括起始位置、运动方向和角速度中的至少一种参数;
筛选所有参数的参数值均与所述第二运动参数中对应的参数值相等的第一运动参数;
将筛选出的所述第一运动参数对应的目标刺激物的运动轨迹确定为与所述跟踪眼动序列相匹配的运动轨迹。
7.根据权利要求6所述的方法,其特征在于,所述从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹,还包括:
当筛选出至少两个运动轨迹时,根据每个运动轨迹的中心位置与所述跟踪眼动序列的中心位置之间的距离确定每个对象的权重,所述权重与所述距离呈负相关关系;
将每个运动轨迹与所述跟踪眼动序列之间的综合距离乘以对应的权重,根据计算结果确定与所述跟踪眼动序列距离小于第二距离的一个运动轨迹,所述综合距离是所述运动轨迹上的每个点与所述跟踪眼动序列上的对应的点之间的距离的平均值;
将确定出的所述运动轨迹确定为与所述跟踪眼动序列相匹配的运动轨迹。
8.根据权利要求1至7任一所述的方法,其特征在于,
在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,
在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一行中,相邻位置的对象上的目标刺激物的运动方向相反。
9.根据权利要求1至8任一所述的方法,其特征在于,所述根据查找到的所述运动轨迹确定所述用户所选择的对象之后,还包括:
获取所述用户选择对象的熟练程度,并根据所述熟练程度调整所述目标刺激物的角速度和运动圈数中的至少一种,所述熟练程度与所述角速度呈正相关关系且所述熟练程度与所述运动圈数呈负相关关系;和/或,
接收所述用户触发的调整指令,根据所述调整指令调整所述目标刺激物运动的角速度和运动圈数中的至少一种。
10.根据权利要求9所述的方法,其特征在于,所述获取所述用户选择对象的熟练程度,包括:
统计所述用户选择对象的准确程度,所述准确程度与所述熟练程度呈正相关关系;和/或,
统计跟踪眼动序列与所选择的对象上目标刺激物的运动轨迹的匹配程度,所述匹配程度与所述熟练程度呈正相关关系。
11.一种对象选择装置,其特征在于,所述装置包括:
第一接收模块,用于接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列,所述界面包括n个对象,每个对象对应的图形上设置有一个目标刺激物,所述目标刺激物沿所述图形运动,且相邻位置的对象上的目标刺激物的运动轨迹不同,n为正整数;
轨迹查找模块,用于从各个目标刺激物的运动轨迹中,查找与所述第一接收模块接收到的所述跟踪眼动序列相匹配的运动轨迹;
对象选择模块,用于根据所述轨迹查找模块查找到的所述运动轨迹确定所述用户所选择的对象。
12.根据权利要求11所述的装置,其特征在于,所述装置,还包括:
第一控制模块,用于在所述第一接收模块接收用户的眼睛跟随界面中的一个目标刺激物运动所产生的跟踪眼动序列之前,控制所述界面中的每个目标刺激物处于初始位置且保持静止;
第二接收模块,用于接收所述用户的眼睛识别所述对象所产生的识别眼动序列;
第二控制模块,用于在根据所述第二接收模块接收到的所述识别眼动序列确定所述用户已经识别出所述对象时,控制所述界面中的每个目标刺激物从各自的初始位置开始运动。
13.根据权利要求12所述的装置,其特征在于,所述装置,还包括:
操作指示模块,用于在所述对象选择模块根据查找到的所述运动轨迹确定所述用户所选择的对象之后,控制所述目标刺激物恢复到初始位置且保持静止,并指示所述用户继续识别下一个所要选择的对象。
14.根据权利要求12或13所述的装置,其特征在于,所述装置,还包括:
参数读取模块,用于读取所述识别眼动序列中的位置参数,所述位置参数用于指示所述用户的注视点所在位置;
变化检测模块,用于检测在预定时长内所述参数读取模块读取的所述位置参数的变化数值是否小于预定变化阈值;
对象识别模块,用于当所述变化检测模块检测出在所述预定时长内所述位置参数的变化数值小于所述预定变化阈值时,确定所述用户已经识别出所述对象。
15.根据权利要求11至14任一所述的装置,其特征在于,所述装置,还包括:
位置计算模块,用于在所述轨迹查找模块从各个目标刺激物的运动轨迹中,查找与所述跟踪眼动序列相匹配的运动轨迹之前,根据所述跟踪眼动序列中的位置参数计算所述跟踪眼动序列的中心位置;
对象确定模块,用于确定与所述位置计算模块得到的所述跟踪眼动序列的中心位置之间的距离小于第一距离的对象;
轨迹确定模块,用于将所述对象确定模块确定的所述对象以及相邻位置的对象上的目标刺激物的运动轨迹确定为所述各个目标刺激物的运动轨迹。
16.根据权利要求15所述的装置,其特征在于,所述轨迹查找模块,具体用于:
获取所述各个目标刺激物的第一运动参数,并获取所述跟踪眼动序列中记录的第二运动参数,所述第一运动参数和所述第二运动参数均包括起始位置、运动方向和角速度中的至少一种参数;
筛选所有参数的参数值均与所述第二运动参数中对应的参数值相等的第一运动参数;
将筛选出的所述第一运动参数对应的目标刺激物的运动轨迹确定为与所述跟踪眼动序列相匹配的运动轨迹。
17.根据权利要求16所述的装置,其特征在于,所述轨迹查找模块,还用于:
当筛选出至少两个运动轨迹时,根据每个运动轨迹的中心位置与所述跟踪眼动序列的中心位置之间的距离确定每个对象的权重,所述权重与所述距离呈负相关关系;
将每个运动轨迹与所述跟踪眼动序列之间的综合距离乘以对应的权重,根据计算结果确定与所述跟踪眼动序列距离小于第二距离的一个运动轨迹,所述综合距离是所述运动轨迹上的每个点与所述跟踪眼动序列上的对应的点之间的距离的平均值;
将确定出的所述运动轨迹确定为与所述跟踪眼动序列相匹配的运动轨迹。
18.根据权利要求11至17任一所述的装置,其特征在于,
在同一行中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一列中,相邻位置的对象上的目标刺激物的运动方向相反;或者,
在同一列中,相邻位置的对象上的目标刺激物的初始位置相反;且在同一行中,相邻位置的对象上的目标刺激物的运动方向相反。
19.根据权利要求11至18任一所述的装置,其特征在于,所述装置,还包括:
第一调整模块,用于在所述对象选择模块根据查找到的所述运动轨迹确定所述用户所选择的对象之后,获取所述用户选择对象的熟练程度,并根据所述熟练程度调整所述目标刺激物的角速度和运动圈数中的至少一种,所述熟练程度与所述角速度呈正相关关系且所述熟练程度与所述运动圈数呈负相关关系;和/或,
第二调整模块,用于在所述对象选择模块根据查找到的所述运动轨迹确定所述用户所选择的对象之后,接收所述用户触发的调整指令,根据所述调整指令调整所述目标刺激物运动的角速度和运动圈数中的至少一种。
20.根据权利要求19所述的装置,其特征在于,所述第一调整模块,具体用于:
统计所述用户选择对象的准确程度,所述准确程度与所述熟练程度呈正相关关系;和/或,
统计跟踪眼动序列与所选择的对象上目标刺激物的运动轨迹的匹配程度,所述匹配程度与所述熟练程度呈正相关关系。
CN201510655602.5A 2015-10-10 2015-10-10 对象选择方法及装置 Active CN106569590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510655602.5A CN106569590B (zh) 2015-10-10 2015-10-10 对象选择方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510655602.5A CN106569590B (zh) 2015-10-10 2015-10-10 对象选择方法及装置

Publications (2)

Publication Number Publication Date
CN106569590A true CN106569590A (zh) 2017-04-19
CN106569590B CN106569590B (zh) 2019-09-03

Family

ID=58507941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510655602.5A Active CN106569590B (zh) 2015-10-10 2015-10-10 对象选择方法及装置

Country Status (1)

Country Link
CN (1) CN106569590B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002169A (zh) * 2018-08-31 2018-12-14 中国农业大学 一种基于眼动识别的交互方法及装置
CN109151320A (zh) * 2018-09-29 2019-01-04 联想(北京)有限公司 一种目标对象选取方法及装置
CN110248091A (zh) * 2019-06-12 2019-09-17 Oppo广东移动通信有限公司 焦距调整方法及相关产品
CN114939272A (zh) * 2022-06-15 2022-08-26 广州汽车集团股份有限公司 一种基于hud的车载互动游戏方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090196460A1 (en) * 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
CN104360751A (zh) * 2014-12-05 2015-02-18 三星电子(中国)研发中心 一种实现智能控制的方法和设备
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
CN104699249A (zh) * 2015-03-27 2015-06-10 联想(北京)有限公司 一种信息处理方法及电子设备
CN104750232A (zh) * 2013-12-28 2015-07-01 华为技术有限公司 一种眼动跟踪方法及装置
CN104778390A (zh) * 2014-01-10 2015-07-15 由田新技股份有限公司 身份认证系统及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090196460A1 (en) * 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
CN104750232A (zh) * 2013-12-28 2015-07-01 华为技术有限公司 一种眼动跟踪方法及装置
CN104778390A (zh) * 2014-01-10 2015-07-15 由田新技股份有限公司 身份认证系统及其方法
CN104360751A (zh) * 2014-12-05 2015-02-18 三星电子(中国)研发中心 一种实现智能控制的方法和设备
CN104699249A (zh) * 2015-03-27 2015-06-10 联想(北京)有限公司 一种信息处理方法及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002169A (zh) * 2018-08-31 2018-12-14 中国农业大学 一种基于眼动识别的交互方法及装置
CN109151320A (zh) * 2018-09-29 2019-01-04 联想(北京)有限公司 一种目标对象选取方法及装置
CN110248091A (zh) * 2019-06-12 2019-09-17 Oppo广东移动通信有限公司 焦距调整方法及相关产品
CN110248091B (zh) * 2019-06-12 2021-06-04 Oppo广东移动通信有限公司 焦距调整方法及相关产品
CN114939272A (zh) * 2022-06-15 2022-08-26 广州汽车集团股份有限公司 一种基于hud的车载互动游戏方法与系统
CN114939272B (zh) * 2022-06-15 2023-08-04 广州汽车集团股份有限公司 一种基于hud的车载互动游戏方法与系统

Also Published As

Publication number Publication date
CN106569590B (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
Rein et al. Big data and tactical analysis in elite soccer: future challenges and opportunities for sports science
CN109375765B (zh) 眼球追踪交互方法和装置
CN111414839B (zh) 基于姿态的情感识别方法及装置
CN106569590A (zh) 对象选择方法及装置
CN104484644B (zh) 一种手势识别方法和装置
EP2982422A1 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
CN107316322A (zh) 视频跟踪方法和装置、以及对象识别方法和装置
CN107122707A (zh) 基于外貌特征紧凑表示的视频行人再识别方法及系统
CN109886080A (zh) 人脸活体检测方法、装置、电子设备及可读存储介质
KR102089002B1 (ko) 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
CN109102859A (zh) 一种运动控制方法及系统
CN107194361A (zh) 二维姿势检测方法及装置
KR20130043366A (ko) 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
CN109700472A (zh) 一种疲劳检测方法、装置、设备和存储介质
CN109063977A (zh) 一种无感式交易风险监测方法及装置
CN109276243A (zh) 脑电心理测试方法及终端设备
CN109583292A (zh) 一种视线区域检测方法
CN109753941A (zh) 一种基于家教设备的学习内容搜索方法及家教设备
Goodrich et al. Reinforcement learning based visual attention with application to face detection
CN109117716A (zh) 一种气质相似度获取方法及装置
CN117762250A (zh) 一种基于交互设备的虚拟现实动作识别方法及系统
CN110180158B (zh) 一种跑步状态识别方法、系统及终端设备
CN108182276A (zh) 一种基于拍摄图片进行搜题的方法及电子设备
Guochen et al. Video analysis method of basketball training assistant based on deep learning theory during COVID-19 spread

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant