CN112114657B - 一种注视点信息采集方法及系统 - Google Patents

一种注视点信息采集方法及系统 Download PDF

Info

Publication number
CN112114657B
CN112114657B CN201910542626.8A CN201910542626A CN112114657B CN 112114657 B CN112114657 B CN 112114657B CN 201910542626 A CN201910542626 A CN 201910542626A CN 112114657 B CN112114657 B CN 112114657B
Authority
CN
China
Prior art keywords
target point
display mode
information
preset display
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910542626.8A
Other languages
English (en)
Other versions
CN112114657A (zh
Inventor
袁红娟
姚涛
聂雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201910542626.8A priority Critical patent/CN112114657B/zh
Publication of CN112114657A publication Critical patent/CN112114657A/zh
Application granted granted Critical
Publication of CN112114657B publication Critical patent/CN112114657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Abstract

本发明公开了一种注视点信息采集方法及系统,控制目标点由第一预设显示方式变化至第二预设显示方式;采集用户的特征数据和注视点位置,所述注视点位置表征用户对所述目标点的注视位置;控制所述目标点由所述第二预设显示方式变化至第三预设显示方式;将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息。在本发明中由于目标点在显示过程中是以变化的方式来引导用户进行注视的,可以缩小用户注视区域,使用户的注视位置更有效,因此可以使得基于采集信息获得的眼图数据更加准确。

Description

一种注视点信息采集方法及系统
技术领域
本发明涉及图像采集技术领域,特别是涉及一种注视点信息采集方法及系统。
背景技术
基于深度学习的眼球追踪的算法依赖于大量的特征数据集(例如眼图、电容值或者肌电流等),因此如何获得大量且有效的特征数据很重要。其中,特征数据是根据采集到的用户的注视点信息生成的。通常注视点信息的采集流程会在显示设备的屏幕指定位置上显示点位,即显示目标点;然后当用户在注视该点位时通过采集当时的用户人脸和眼睛图像;最后根据屏幕上显示的点的位置来标记拍摄到的图像来生成眼图数据。
但是,由于现有技术中目标点的显示方式单一或者布局不合理,容易使得被采集用户无法看清目标点的位置或者无法准确引导用户注视到该目标点。例如现有技术中通常会用一个圆点作为目标点,圆点太大,会使得用户的注视范围较大,采集的图像相对注视点准确位置不够集中;而圆点太小,当距离稍远或对有近视的被采集者无法看清目标点的位置。现有技术中还有一种方式是目标点是一个大圆,靠近中心位置再绘制一个不同颜色的小圆,但是这种方式并不能有效的引导被采集者注视中心圆位置。最终使得获取到的眼图数据不准确或者无效。
发明内容
针对于上述问题,本发明提供一种注视点信息采集方法及系统,保证眼图采集期间采集者有效注视目标点,使得特征数据与注视点信息更加准确,提高注视点信息采集的质量。
为了实现上述目的,本发明提供了如下技术方案:
一种注视点信息采集方法,该方法包括:
控制目标点由第一预设显示方式变化至第二预设显示方式;
采集用户的特征数据和注视点位置,所述注视点位置表征用户对所述目标点的注视位置;
控制所述目标点由所述第二预设显示方式变化至第三预设显示方式;
将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息;其中,所述第一预设显示方式表征所述目标点以第一特征信息进行显示,所述第二预设显示方式表征所述目标点以第二特征信息进行显示,所述第三预设显示方式为所述目标点表征第三特征信息进行显示。
可选地,所述将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息,包括:
获取用户输入的目标点在所述第二预设显示方式下对应的目标点的特征信息和/或由所述第一预设显示方式变化至第二预设显示方式下对应的特征变化信息;
若用户输入的所述目标点的特征信息匹配所述第二特征信息和/或输入的所述特征变化信息匹配所述由所述第一预设显示方式变化至第二预设显示方式下的特征变化信息,则将采集到的所述用户的特征数据和注视点位置,确定为所述目标点在当前位置的采集信息;
若用户输入的所述目标点的特征信息不匹配所述第二特征信息和/或输入的所述特征变化信息不匹配所述由所述第一预设显示方式变化至第二预设显示方式下的特征变化信息,则将所述目标点的显示方式由所述第三预设显示方式恢复至所述第一预设显示方式,并重新采集所述特征数据和注视点位置。
可选地,将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息之后,该方法还包括:
判断所述目标点是否显示完毕,如果是,则停止对所述目标点的采集信息的采集;如果否,则采集所述目标点在下一位置的采集信息。
可选地,所述采集所述目标点在下一位置的采集信息,包括:
控制所述目标点以预设方式由所述当前位置移动至所述下一位置,且所述目标点由所述第三预设显示方式恢复至所述第一预设显示方式进行显示;
采集所述目标点在所述下一位置的用户的特征数据和注视点位置。
可选地,所述目标点由所述当前位置移动至所述下一位置之前,该方法还包括:
判断对所述注视点的采集是否满足预设条件,如果是,则所述目标点由所述当前位置移动至所述下一位置,所述预设条件包括时间阈值条件和/或图像数量阈值条件。
可选地,所述时间阈值条件包括:
基于预设时间间隔,控制所述目标点的特征数据和注视点位置的采集时间。
一种注视点信息采集系统,该系统包括:
第一控制单元,用于控制目标点由第一预设显示方式变化至第二预设显示方式;
采集单元,用于采集用户的特征数据和注视点位置,所述注视点位置表征用户对所述目标点的注视位置;
第二控制单元,用于控制所述目标点由所述第二预设显示方式变化至第三预设显示方式;
确定单元,用于将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息;其中,所述第一预设显示方式表征所述目标点以第一特征信息进行显示,所述第二预设显示方式表征所述目标点以第二特征信息进行显示,所述第三预设显示方式表征所述目标点以第三特征信息进行显示。
可选地,所述确定单元包括:
信息获取子单元,用于获取用户输入的目标点在所述第二预设显示方式下对应的目标点的特征信息和/或由所述第一预设显示方式变化至第二预设显示方式下对应的特征变化信息;
判断子单元,用于判断用户输入的目标点的特征信息是否匹配所述第二特征信息和/或输入的特征变化信息是否匹配所述由所述第一预设显示方式变化至第二预设显示方式下的特征变化信息,若是,则将采集到的所述用户的特征数据和注视点位置,确定为所述目标点在当前位置的采集信息,若否,则将所述目标点的显示方式由所述第三预设显示方式恢复至所述第一预设显示方式,并重新采集所述特征数据和注视点位置。
可选地,该系统还包括:
停止单元,用于停止对所述目标点的采集信息的采集;
第三控制单元,用于控制所述目标点由第三预设显示方式恢复至所述第一预设显示方式;
第四控制单元,用于控制所述目标点以预设方式由所述当前位置移动至所述下一位置;
采集单元,还用于采集所述目标点在下一位置的采集信息,所述采集信息包括用户的特征数据和注视点位置;
显示判断单元,用于判断所述目标点是否显示完毕,如果是,则发送指令给停止单元,停止对所述目标点的采集信息的采集;如果否则发送指令给第三控制单元、第四控制单元和采集单元,采集所述目标点在下一位置的采集信息。
可选地,该系统还包括:
条件判断单元,用于判断对所述注视点的采集是否满足预设条件,如果是,则所述目标点由所述当前位置移动至所述下一位置,所述预设条件包括时间阈值条件和/或图像数量阈值条件;
其中,所述时间阈值条件包括:基于预设时间间隔,控制所述目标点的特征数据和注视点位置的采集时间。
一种设备,包括:
处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一项所述方法的步骤。
一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上任一项所述方法步骤。
相较于现有技术,本发明提供了一种注视点信息采集方法及系统,在对用户的特征数据和注视点位置进行采集时,是通过目标点的不同显示模式来引导用户对目标点进行注视后采集的,由于目标点在显示过程中是以变化的方式来引导用户进行注视的,可以缩小用户注视区域,使用户的注视位置更有效,因此可以使得基于采集信息获得的特征数据更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例一提供的一种注视点信息采集方法的流程示意图;
图2为本发明实施例二提供的一种采集信息确认方法的流程示意图;
图3为本发明实施例三提供的一种采集信息获取方法的流程示意图;
图4为本发明实施例四提供的一种目标点的显示方式的变化示意图;
图5为本发明实施例五提供的一种注视点信息采集系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
实施例一
在本发明实施例一中提供了一种注视点信息采集方法,参见图1,该方法包括:
S101、控制目标点由第一预设显示方式变化至第二预设显示方式;
S102、采集用户的特征数据和注视点位置。
由于眼球追踪装置可以是MEMS微机电系统,例如包括MEMS红外扫描反射镜、红外光源、红外接收器,通过拍摄眼部图像和/或脸部图像检测眼球运动;也可以是电容传感器,其通过眼球与电容极板之间的电容值来检测眼球运动;还可以是肌电流检测器,例如通过在鼻梁、额头、耳朵或耳垂处放置电极,通过检测的肌电流信号模式来检测眼球运动。
因此用户的特征数据可以包括:眼部特征图像和/或脸部特征图像和/或电容值和/或肌电流信号等数据。
眼部特征图像包括:瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置或人脸图像等。
为了能够采集到用户的特征数据和注视点位置,需要在显示屏幕上显示一个目标点,通常是一个圆点。现有技术中通常会采用一个较大的圆点,但是圆点太大,会使得用户的注视范围较大,采集的图像相对注视点准确位置不够集中,而圆点太小,当距离稍远或对有近视的被采集者无法看清目标点的位置。现有技术中还有一种方式是目标点是一个大圆,靠近中心位置再绘制一个不同颜色的小圆,但是这种方式并不能有效的引导被采集者注视中心圆位置。而在该实施例一中是将目标点以预设的方式进行显示来引导用户对目标点进行注视。其中,目标点开始是以第一预设显示方式进行显示的,该第一显示方式为目标点以第一特征信息进行显示,其中,第一特征信息可以为表示显示模式的相关信息,如目标点的尺寸、形状、颜色或动作中的一种或多种,若第一特征信息包括第一尺寸、第一形状、第一颜色和第一动作,则第一预设显示模式为目标点以第一尺寸和、第一颜色和第一动作进行显示,可以更能吸引用户注视到该目标点。在第一预设显示方式中第一尺寸可以根据显示屏幕的大小或者分辨率进行确定,也可以直接预先定义;第一形状可以是预先定义的任一形状;第一颜色可以选择一个较为明显的颜色,即能够吸引到用户的注视;第一动作可以是以旋转的方式进行显示,而动作显示的时长则可以自由定义,这里不做限制。
第二预设显示方式表征目标点以第二特征信息进行显示,第二特征信息可以包括尺寸信息、颜色信息或者形状信息中的一种或多种,若以第二尺寸和第二颜色进行显示,其中,第二尺寸为小于第一尺寸的尺寸参数,而第二颜色为明显不同于第一颜色的颜色。并且在本发明实施例中是当目标点从第一预设显示方式变化至第二预设显示方式后才开始采集用户的特征数据和注视点位置,这样可以引导用户观察目标点的变化,便于集中用户的注意力。若第二特征信息包括形状信息,则表示处于第二预设显示模式下的目标点的显示形状与第一预设显示模式下的目标点的显示形状不同。所述变化可以是突然变化也可以是渐变的方式。
举例说明,目标点在显示位置以旋转方式展现出来,此时以一个较大的第一尺寸同时采用蓝色对目标点进行显示,然后目标点要变化至第二预设显示方式下的显示模式,即目标点尺寸开始逐渐进行缩小到第二尺寸,同时颜色渐变至一个与蓝色不同的随机颜色,例如红色;也可以是目标点尺寸突然缩小到第二尺寸,同时颜色突然变化至一个与蓝色不同的随机颜色,例如红色。第二颜色作为随机颜色可以指定与原来颜色不同的两种颜色,即可以为红色和绿色随机出现,这样便于吸引用户的关注。
当目标点变化至第二预设显示方式时,可以有效吸引到用户的注视,此时会进行对用户的特征数据和注视点位置的采集,其中,注视点是用户注视目标点产生的,注视点位置表征用户对目标点的注视位置,具体的特征数据可以为用户注视目标点的眼部特征图像和/或脸部特征图像和/或电容值和/或肌电流信号等数据。此时,采集的用户的特征数据和注视点位置可以用于判断目标点是否有效的吸引到用户的注视。
S103、控制目标点由第二预设显示方式变化值第三预设显示方式;
S104、将采集到的用户的特征数据和注视点位置确定为目标点在当前位置的采集信息。
对信息的采集是具有采集周期的,避免出现目标点在一个位置时的长时间的采集,这样会使得用户的体验效果较差。因此,可以设置一个采集周期,即在该采集周期内实现对用户的特征数据和注视点位置的采集,在该采集周期内即采集过程中,当目标点由第二预设显示方式变化至第三预设显示方式时,停止采集。第三预设显示方式表征目标点以第三特征信息进行显示,其中第三特征信息为第一特征信息和第二特征信息的关联信息,若第一特征信息包括第一尺寸和第一颜色,第二特征信息包括第二尺寸和第二颜色,则对应的第三特征信息也包括尺寸和颜色信息,在第三预设显示模式下可以表征目标点的尺寸不变,颜色恢复至之前的颜色,即在第三预设显示方式目标点的大小为第二预设显示方式时的大小,颜色为第一预设显示方式时的颜色。并且会在采集过程中,保存采集到的用户的特征数据和注视点位置的相关信息作为目标点在当前位置的采集信息。
本发明实施例一提供了一种注视点信息采集方法,在对用户的特征数据和注视点位置进行采集时,是通过目标点的不同显示模式来引导用户对目标点进行注视后采集的,由于目标点在显示过程中是以变化的方式来引导用户注视的,可以缩小用户注视区域,使用户的注视位置更有效,因此可以使得基于采集信息获得的眼图数据更加准确。
实施例二
在上述实施例一的基础上,在本发明的实施例二中增加了通过采集用户的反馈信息,来确定用户是否形成了对目标点的有效注视。参见图2,为本发明实施例提供的一种采集信息确认的方法,包括:
S201、获取用户输入的目标点在第二预设显示方式下对应的目标点的特征信息和/或由第一预设显示方式变化至第二预设显示方式下对应的特征变化信息;
S202、若用户输入的目标点的特征信息匹配第二特征信息和/或输入的特征变化信息匹配由第一预设显示方式变化至第二预设显示方式下的特征变化信息,则将采集到的用户的特征数据和注视点位置,确定为目标点在当前位置的采集信息;
S203、若用户输入的目标点的特征信息不匹配第二特征信息和/或输入的特征变化信息不匹配由第一预设显示方式变化至第二预设显示方式下的特征变化信息,则将目标点的显示方式由第三预设显示方式恢复至第一预设显示方式,并重新采集特征数据和注视点位置。
在本实施例中在特征数据采集过程中加入了与用户的互动信息的采集,能够保证用户在注视过程中完全是按照屏幕目标点显示位置进行注视的。即用户输入的目标点在第二预设显示模式下的目标点的特征信息或者特征变化信息,如果匹配第二特征信息或者从第一特征信息变化到第二特征信息的特征变化信息,则证明用户形成了有效的注视,即才能证明之前的采集信息有效,否则会重新进行采集,即再次重复实施例一中采集过程,在该实施例中不做赘述。
由于第二特征信息可以包括一个或多个信息,为了便于用户输入特征信息,则在获取用户的输入信息时,可以只获取其中一个最具代表的信息,这样方便了用户的输入的同时也可以进行信息的验证,也不必改变原有的显示设备的输入方式。
例如,若以特征信息中的颜色信息进行匹配,则若目标点在第一预设显示方式下是蓝色,然后变化至第二预设显示方式下的红色,则用户输入的颜色为红色或者输入从蓝色变化至红色时,则证明之前的采集有效,否则需要进行重新采集。即需要将目标点的显示方式恢复至第一预设显示方式,并重现采集目标点在显示方式进行变化过程中的用户的注视图像和注视点位置。
若在第一预设显示方式下目标点的形状为圆形,在第二预设显示方式下目标点的形状为方形,则获取的用户输入的目标点的特征信息为方形或者由圆形变化至方形时,才能证明之前的采集信息有效,否则需要进行重新采集。
实施例三
上述实施例中采集过程为目标点在当前位置的采集,获得了目标点在当前位置的用户特征数据和注视点位置。对应不同的采集需求,目标点的位置会是连续变化的,即采集完目标点在当前位置的信息后,会采集目标点在下一位置的信息,在上述实施例的基础上,本发明的实施例三中将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息之后,参见图3,还提供了一种目标点在不同位置的采集信息获取方法,该方法包括:
S301、判断所述目标点是否显示完毕,如果是,则执行S302;否则执行S303;
S302、将停止对所述目标点的采集信息的采集;
S303、采集所述目标点在下一位置的采集信息。
为了增加图像采集的趣味性,并可以进一步引导用户对目标点进行注视,在本实施例中的采集目标点在下一位置的采集信息包括:
控制所述目标点以预设方式由所述当前位置移动至所述下一位置,且所述目标点由所述第三预设显示方式恢复至所述第一预设显示方式进行显示;
采集所述目标点在所述下一位置的用户的特征数据和注视点位置。
其中,预设方式表征预先设定的目标点的移动方式,如可以为动画移动动作,也可以为渐变式或者突然变化式的移动动作,可根据实际情况进行定义。如,当目标点在第一位置时,并完成在图像采集,可以在目标点的位置切换时加入动画移动动作,从第一位置慢慢移动至第二位置,引导被采集者(用户)有效转移视线方向,快速形成有效注视,进而进行目标点在下一位置的图像采集。
对应的,当目标点由当前位置移动至所述下一位置之前,该方法还包括:
判断对所述注视点的采集是否满足预设条件,如果是,则所述目标点由所述当前位置移动至所述下一位置。
即在停止目标点在当前位置的用户的特征数据和注视点位置的采集之前,还要判断采集是否满足了预设条件,由于该预设条件可以包括时间阈值条件和/或图像数量阈值条件,则可以判断采集的持续时间是否达到指定时间阈值,或者采集获得的图像数量是否达到图像数据阈值。
具体的,所述时间阈值条件包括:
基于预设时间间隔,控制所述特征数据和注视点位置的采集时间。
为了控制采集频率,在采集用户的特征数据时,会按照预设的时间间隔或者预设采集帧数量进行采集,以保证采集的图像清晰,如保持同一位置一定数量的采集帧后再次采集下一图像,直至达到预设图像数量阈值,或者达到预设采集时间阈值。
实施例四
下面以一种具体的应用实例对本发明进行说明,参见图4,为本发明实施例提供的一种目标点的显示方式的变化示意图,当目标点在第一位置时,图4中的(1)表示目标点的第一预设显示方式,其出现方式为旋转方式,且颜色假设为蓝色,然后在(2)处时,大小变为(1)的一半,颜色渐变为红色,开始进行用户特征数据和注视点位置采集,然后在(3)目标点大小不变,颜色开始进行恢复,至(4)时颜色恢复至初始的蓝色,并且等待用户输入反馈,若正确将目标点移动至下一位置,如(5);若错误则重新进行本轮显示。为了便于用户输入反馈信息,可以基于显示装置本身的结构特点来进行。
需要说明的,图4中至(4)时颜色也可以不恢复至初始的蓝色,而是除了蓝色和红色意外的其他任何颜色;(1)、(2)、(3)、(4)表示目标点是在同一个位置进行显示,只是随着时间的推移显示方式不同;(5)表示目标点移动到下一个位置。
目标点的显示基础上加入了缩放和旋转的动作,同时目标点还会在中间变色,在缩小被采集者注视范围的功能上同时丰富了目标点的趣味性,更容易引起被采集者的注意。一般采集目标点位置都是随机显示的,有时跳动范围较大,被采集者不能很快捕捉到目标点的新位置,导致不能很快形成有效注视。在本发明实施例中在目标点位置切换时可以加入动画移动动作,从原来位置慢慢移动至新目标点位置,引导被采集者有效转移视线方向,快速形成有效注视。由于采集的图像和目标点的对应很重要,直接影响算法的准确性。一般采集中很难确保用户在注视过程中完全按照屏幕目标点显示位置进行注视,在本发明实施例中通过引入用户互动方式来提升用户数据采集的准确性。首先目标点在采集过程中会变化颜色,该目标点采集结束会恢复默认色并等待用户输入刚才目标点变化的颜色,如果用户输入正确采集有效,否则重现采集该点的注视图像。若目标点呈现在移动设备上,考虑到移动设备的使用习惯,可以使用音量键来进行用户输入,这样用户单手就可以操作,在操作过程也会避免移动设备的大幅度晃动。
本发明实施例四提出的依据目标点显示方式对应的注视点信息采集方法,目标点切换时可以很好地引导被采集者将视线转移到下一位置,形成有效注视,避免被采集者不能及时捕获到新目标点的位置采集到无效数据;在目标点缩放到较小尺寸时采集,可以缩小被采集者注视区域,使注视位置更有效。同时保持同一位置在预设时间后进行采集,可以避免眼跳和追随过程中眼睛不能形成清晰的像,加入与被采集者的互动方式可以保证采集的图像和注视点位置的一致性。
实施例五
在该实施例中还提供了一种注视点信息采集系统,参见图5,该系统包括:
第一控制单元10,用于控制目标点由第一预设显示方式变化至第二预设显示方式;
采集单元20,用于采集用户的特征数据和注视点位置,所述注视点位置表征用户对所述目标点的注视位置;
第二控制单元30,用于控制所述目标点由所述第二预设显示方式变化至第三预设显示方式;
确定单元40,用于将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息;
其中,所述第一预设显示方式表征所述目标点以第一特征信息进行显示,所述第二预设显示方式表征所述目标点以第二特征信息进行显示,所述第三预设显示方式表征所述目标点以第三特征信息进行显示。
本发明提供了一种注视点信息采集系统,在对用户的特征数据和注视点位置进行采集时,是通过目标点的不同显示模式来引导用户对目标点进行注视后采集的,由于目标点在显示过程中是以变化的方式来引导用户注视的,可以缩小用户注视区域,使用户的注视位置更有效,因此可以使得基于采集信息获得的眼图数据更加准确。
在上述实施例的基础上,所述确定单元包括:
信息获取子单元,用于获取用户输入的目标点在所述第二预设显示方式下对应的目标点的特征信息和/或由所述第一预设显示方式变化至第二预设显示方式下对应的特征变化信息;
判断子单元,用于判断用户输入的目标点的特征信息是否匹配所述第二特征信息和/或输入的特征变化信息是否匹配所述由所述第一预设显示方式变化至第二预设显示方式下的特征变化信息,若是,则将采集到的所述用户的特征数据和注视点位置,确定为所述目标点在当前位置的采集信息,若否,则将所述目标点的显示方式由所述第三预设显示方式恢复至所述第一预设显示方式,并重新采集所述特征数据和注视点位置。
在上述实施例的基础上,该系统还包括:
停止单元,用于停止对所述目标点的采集信息的采集;
第三控制单元,用于控制所述目标点由第三预设显示方式恢复至所述第一预设显示方式;
第四控制单元,用于控制所述目标点以预设方式由所述当前位置移动至所述下一位置;
采集单元,还用于采集所述目标点在下一位置的采集信息,所述采集信息包括用户的特征数据和注视点位置;
显示判断单元,用于判断所述目标点是否显示完毕,如果是,则发送指令给停止单元,停止对所述目标点的采集信息的采集;如果否则发送指令给第三控制单元、第四控制单元和采集单元,采集所述目标点在下一位置的采集信息。
在上述实施例的基础上,该系统还包括:
条件判断单元,用于判断对所述注视点的采集是否满足预设条件,如果是,则所述目标点由所述当前位置移动至所述下一位置,所述预设条件包括时间阈值条件和/或图像数量阈值条件;
其中,所述时间阈值条件包括:基于预设时间间隔,控制所述特征数据和注视点位置的采集时间。
用户的特征数据可以包括:眼部特征图像和/或电容值和/或肌电流信号等数据。
眼部特征图像包括:瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等。
实施例六
本发明实施例六提供了一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现实施例一至四任意一项所述方法的步骤。
实施例七
本发明实施例七提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行实施例一至四任一项所述的注视点信息采集方法。
实施例八
本发明实施例八提供了一种设备,该设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
控制目标点由第一预设显示方式变化至第二预设显示方式;
采集用户的特征数据和注视点位置,所述注视点位置表征用户对所述目标点的注视位置;
控制所述目标点由所述第二预设显示方式变化至第三预设显示方式;
将采集到的用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息;其中,所述第一预设显示方式表征所述目标点以第一特征信息进行显示,所述第二预设显示方式表征所述目标点以第二特征信息进行显示,所述第三预设显示方式表征所述目标点以第三特征信息进行显示。
进一步地,所述将采集到的用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息,包括:
获取用户输入的目标点在所述第二预设显示方式下对应的目标点的特征信息和/或由所述第一预设显示方式变化至第二预设显示方式下对应的特征变化信息;
若用户输入的所述目标点的特征信息匹配所述第二特征信息和/或输入的所述特征变化信息匹配所述由所述第一预设显示方式变化值第二预设显示方式下的特征信息,则将采集到的所述用户的特征数据和注视点位置,确定为所述目标点在当前位置的采集信息;
若用户输入的所述目标点的特征信息不匹配所述第二特征信息和/或输入的所述特征变化信息不匹配所述由所述第一预设显示方式变化值第二预设显示方式下的特征信息,则将所述目标点的显示方式由所述第三预设显示方式恢复至所述第一预设显示方式,并重新采集所述特征数据和注视点位置。
进一步地,所述将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息之后,该方法还包括:
判断所述目标点是否显示完毕,如果是,则停止对所述目标点的采集信息的采集;如果否,则采集所述目标点在下一位置的采集信息。
进一步地,所述采集所述目标点在下一位置的采集信息,包括:
控制所述目标点以预设方式由所述当前位置移动至所述下一位置,且所述目标点由所述第三预设显示方式恢复至所述第一预设显示方式进行显示;
采集所述目标点在所述下一位置的用户的特征数据和注视点位置。
进一步地,所述目标点由所述第二预设显示方式变化至第三预设显示方式之前,该方法还包括:
判断对所述注视点的采集是否满足预设条件,如果是,则所述目标点由所述第二预设显示方式变化至第三预设显示方式,所述预设条件包括时间阈值条件和/或图像数量阈值条件。
进一步地,所述时间阈值条件包括:
基于预设时间间隔,控制所述目标点的特征数据和注视点位置的采集时间。
本文中的设备可以是服务器、PC、PAD、手机等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种注视点信息采集方法,其特征在于,该方法包括:
控制目标点由第一预设显示方式变化至第二预设显示方式;
采集用户的特征数据和注视点位置,所述注视点位置表征用户对所述目标点的注视位置;
控制所述目标点由所述第二预设显示方式变化至第三预设显示方式;
将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息;
其中,所述第一预设显示方式表征所述目标点以第一特征信息进行显示,所述第二预设显示方式表征所述目标点以第二特征信息进行显示,所述第三预设显示方式表征所述目标点以第三特征信息进行显示。
2.根据权利要求1所述的方法,其特征在于,所述将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息,包括:
获取用户输入的目标点在所述第二预设显示方式下对应的目标点的特征信息和/或由所述第一预设显示方式变化至第二预设显示方式下对应的特征变化信息;
若用户输入的所述目标点的特征信息匹配所述第二特征信息和/或输入的所述特征变化信息匹配所述由所述第一预设显示方式变化至第二预设显示方式下的特征变化信息,则将采集到的所述用户的特征数据和注视点位置,确定为所述目标点在当前位置的采集信息;
若用户输入的所述目标点的特征信息不匹配所述第二特征信息和/或输入的所述特征变化信息不匹配所述由所述第一预设显示方式变化至第二预设显示方式下的特征变化信息,则将所述目标点的显示方式由所述第三预设显示方式恢复至所述第一预设显示方式,并重新采集所述特征数据和注视点位置。
3.根据权利要求1或2所述的方法,其特征在于,将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息之后,该方法还包括:
判断所述目标点是否显示完毕,如果是,则停止对所述目标点的采集信息的采集;如果否,则采集所述目标点在下一位置的采集信息。
4.根据权利要求3所述的方法,其特征在于,所述采集所述目标点在下一位置的采集信息,包括:
控制所述目标点以预设方式由所述当前位置移动至所述下一位置,且所述目标点由所述第三预设显示方式恢复至所述第一预设显示方式进行显示;
采集所述目标点在所述下一位置的用户的特征数据和注视点位置。
5.根据权利要求4所述的方法,其特征在于,所述目标点由所述当前位置移动至所述下一位置之前,该方法还包括:
判断对所述注视点的采集是否满足预设条件,如果是,则所述目标点由所述当前位置移动至所述下一位置,所述预设条件包括时间阈值条件和/或图像数量阈值条件。
6.根据权利要求5所述的方法,其特征在于,所述时间阈值条件包括:
基于预设时间间隔,控制所述目标点的特征数据和注视点位置的采集时间。
7.一种注视点信息采集系统,其特征在于,该系统包括:
第一控制单元,用于控制目标点由第一预设显示方式变化至第二预设显示方式;
采集单元,用于采集用户的特征数据和注视点位置,所述注视点位置表征用户对所述目标点的注视位置;
第二控制单元,用于控制所述目标点由所述第二预设显示方式变化至第三预设显示方式;
确定单元,用于将采集到的所述用户的特征数据和注视点位置确定为所述目标点在当前位置的采集信息;其中,所述第一预设显示方式表征所述目标点以第一特征信息进行显示,所述第二预设显示方式表征所述目标点以第二特征信息进行显示,所述第三预设显示方式表征所述目标点以第三特征信息进行显示。
8.根据权利要求7所述的系统,其特征在于,所述确定单元包括:
信息获取子单元,用于获取用户输入的目标点在所述第二预设显示方式下对应的目标点的特征信息和/或由所述第一预设显示方式变化至第二预设显示方式下对应的特征变化信息;
判断子单元,用于判断用户输入的目标点的特征信息是否匹配所述第二特征信息和/或输入的特征变化信息是否匹配所述由所述第一预设显示方式变化至第二预设显示方式下的特征变化信息,若是,则将采集到的所述用户的特征数据和注视点位置,确定为所述目标点在当前位置的采集信息,若否,则将所述目标点的显示方式由所述第三预设显示方式恢复至所述第一预设显示方式,并重新采集所述特征数据和注视点位置。
9.根据权利要求7或8所述的系统,其特征在于,该系统还包括:
停止单元,用于停止对所述目标点的采集信息的采集;
第三控制单元,用于控制所述目标点由第三预设显示方式恢复至所述第一预设显示方式;
第四控制单元,用于控制所述目标点以预设方式由所述当前位置移动至下一位置;
采集单元,还用于采集所述目标点在所述下一位置的采集信息,所述采集信息包括用户的特征数据和注视点位置;
显示判断单元,用于判断所述目标点是否显示完毕,如果是,则发送指令给停止单元,停止对所述目标点的采集信息的采集,如果否则发送指令给第三控制单元、第四控制单元和采集单元,采集所述目标点在所述下一位置的采集信息。
10.根据权利要求7所述的系统,其特征在于,该系统还包括:
条件判断单元,用于判断对所述注视点的采集是否满足预设条件,如果是,则所述目标点由所述当前位置移动至下一位置,所述预设条件包括时间阈值条件和/或图像数量阈值条件;
其中,所述时间阈值条件包括:基于预设时间间隔,控制所述目标点的特征数据和注视点位置的采集时间。
11.一种注视点信息采集设备,其特征在于,包括:
处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。
12.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上权利要求1至6任一项所述方法的步骤。
CN201910542626.8A 2019-06-21 2019-06-21 一种注视点信息采集方法及系统 Active CN112114657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542626.8A CN112114657B (zh) 2019-06-21 2019-06-21 一种注视点信息采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542626.8A CN112114657B (zh) 2019-06-21 2019-06-21 一种注视点信息采集方法及系统

Publications (2)

Publication Number Publication Date
CN112114657A CN112114657A (zh) 2020-12-22
CN112114657B true CN112114657B (zh) 2023-10-17

Family

ID=73796192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542626.8A Active CN112114657B (zh) 2019-06-21 2019-06-21 一种注视点信息采集方法及系统

Country Status (1)

Country Link
CN (1) CN112114657B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
CN104635338A (zh) * 2013-11-07 2015-05-20 柯尼卡美能达株式会社 具有透过型hmd的信息显示系统以及显示控制方法
CN108604116A (zh) * 2015-09-24 2018-09-28 托比股份公司 能够进行眼睛追踪的可穿戴设备
CN108992035A (zh) * 2018-06-08 2018-12-14 云南大学 一种眼动追踪中注视点位置偏移的补偿方法
CN109165646A (zh) * 2018-08-16 2019-01-08 北京七鑫易维信息技术有限公司 一种确定图像中用户的感兴趣区域的方法及装置
CN109600555A (zh) * 2019-02-02 2019-04-09 北京七鑫易维信息技术有限公司 一种对焦控制方法、系统及拍照设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482562B2 (en) * 2009-12-03 2013-07-09 International Business Machines Corporation Vision-based computer control
US9898081B2 (en) * 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US20150138244A1 (en) * 2013-11-18 2015-05-21 Tobii Technology Ab Component determination and gaze provoked interaction
WO2017216118A1 (en) * 2016-06-13 2017-12-21 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and eye tracking system for performing a calibration procedure for calibrating an eye tracking device
EP3709861A1 (en) * 2017-11-14 2020-09-23 Vivid Vision, Inc. Systems and methods for visual field analysis

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
CN104635338A (zh) * 2013-11-07 2015-05-20 柯尼卡美能达株式会社 具有透过型hmd的信息显示系统以及显示控制方法
CN108604116A (zh) * 2015-09-24 2018-09-28 托比股份公司 能够进行眼睛追踪的可穿戴设备
CN108992035A (zh) * 2018-06-08 2018-12-14 云南大学 一种眼动追踪中注视点位置偏移的补偿方法
CN109165646A (zh) * 2018-08-16 2019-01-08 北京七鑫易维信息技术有限公司 一种确定图像中用户的感兴趣区域的方法及装置
CN109600555A (zh) * 2019-02-02 2019-04-09 北京七鑫易维信息技术有限公司 一种对焦控制方法、系统及拍照设备

Also Published As

Publication number Publication date
CN112114657A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
US10488925B2 (en) Display control device, control method thereof, and display control system
KR101741335B1 (ko) 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치
US10043281B2 (en) Apparatus and method for estimating eye gaze location
US9727790B1 (en) Method and apparatus for a wearable computer with natural user interface
US9838597B2 (en) Imaging device, imaging method, and program
DE102018102194A1 (de) Elektronische Einrichtung, Informationsverarbeitungsverfahren und Programm
EP3754459B1 (en) Method and apparatus for controlling camera, device and storage medium
DE112015002673T5 (de) Anzeige zur Informationsverwaltung
US11132544B2 (en) Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium
US9978342B2 (en) Image processing method controlling image display based on gaze point and recording medium therefor
WO2015196918A1 (en) Methods and apparatuses for electrooculogram detection, and corresponding portable devices
Sun et al. Real-time gaze estimation with online calibration
WO2015149611A1 (en) Image presentation control methods and image presentation control apparatuses
CN114585990A (zh) 部分地基于眼睛跟踪的呈现增强
CN109600555A (zh) 一种对焦控制方法、系统及拍照设备
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN107924229B (zh) 一种虚拟现实设备中的图像处理方法和装置
JP2023515205A (ja) 表示方法、装置、端末機器及びコンピュータプログラム
CN113495613B (zh) 眼球追踪校准方法及装置
CN111182280A (zh) 一种投影方法、投影装置、音箱设备及存储介质
CN109144262B (zh) 一种基于眼动的人机交互方法、装置、设备及存储介质
CN112114653A (zh) 终端设备的操控方法、装置、设备及存储介质
CN112114657B (zh) 一种注视点信息采集方法及系统
CN114585991A (zh) 部分地基于眼睛移动的用户接口
CN113495616A (zh) 终端显示控制方法、终端以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant