CN110058693B - 数据采集方法、装置、电子设备及存储介质 - Google Patents

数据采集方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110058693B
CN110058693B CN201910329727.7A CN201910329727A CN110058693B CN 110058693 B CN110058693 B CN 110058693B CN 201910329727 A CN201910329727 A CN 201910329727A CN 110058693 B CN110058693 B CN 110058693B
Authority
CN
China
Prior art keywords
user
information
effective
image
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910329727.7A
Other languages
English (en)
Other versions
CN110058693A (zh
Inventor
姚涛
杨孟
赵志忠
袁红娟
王云飞
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201910329727.7A priority Critical patent/CN110058693B/zh
Publication of CN110058693A publication Critical patent/CN110058693A/zh
Application granted granted Critical
Publication of CN110058693B publication Critical patent/CN110058693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Abstract

本申请提供了一种数据采集方法、装置、电子设备及存储介质,通过获取眼球追踪装置采集的用户的有效注视信息;其中,有效注视信息为用户在显示器的屏幕上形成的注视信息的有效数据;获取图像采集模块采集的用户图像;其中,用户图像中至少包括用户的眼部图像信息;对应存储用户的有效注视信息和用户图像。由于本申请获取的有效注视信息为用户在显示屏幕上形成的注视信息的有效数据,因此本申请不需要用户注视特定显示的目标点后才可进行用户图像采集,进而不会因为采集数据时不满足用户注视目标点这一特定条件而导致采集到的用户图像或与用户图像相对应的注视信息不准确,提高了采集的眼图数据的准确率。

Description

数据采集方法、装置、电子设备及存储介质
技术领域
本发明涉及电子信息技术领域,尤其涉及一种数据采集方法、装置、电子设备及存储介质。
背景技术
注视点指的是眼睛视线对准的对象的某一点,眼球追踪技术中需要对眼睛的注视点进行估计。目前,通常采用有监督学习算法对注视点进行回归估计。即通过建立一个眼图数据集,眼图数据集中包括人眼图像以及与人眼图像相对应的注视信息。眼图数据集中的数据通过有监督学习算法,即可构建出一个模型或者函数。这一模型或者函数可以根据人眼图像计算出与人眼图像相对应的注视信息。而计算出的注视信息的准确率主要取决于眼图数据集中的数据是否准确。
现有技术中,采集眼图数据集中的数据主要通过在移动设备的屏幕上显示目标点,用户注视目标点时使用移动设备上的相机拍摄,即可得到用户的人眼图像。然后将人眼图像以及目标点在移动设备的屏幕上的空间坐标值保存至眼图数据集中,即可完成数据采集。
然而,现有的眼图数据采集方案必须在用户注视目标点时的这一特定条件下,才可完成较为准确的人眼图像采集。但现有的方案中并不能判定是否是处在这一特定条件下进行的采集,因此会导致采集到的眼图数据可能并不准确。
发明内容
基于上述现有技术的不足,本申请提出了一种数据采集方法、装置、电子设备及存储介质,以实现提高采集的眼图数据的准确率。
为了实现上述目的,现提出的方案如下:
本发明第一方面公开了一种数据采集方法,应用于电子设备,所述电子设备包括图像采集模块,其中,所述数据采集方法包括:
获取眼球追踪装置采集的用户的有效注视信息;其中,所述有效注视信息为所述用户在显示器的屏幕上形成的注视信息的有效数据;
获取图像采集模块采集的用户图像;其中,所述用户图像中至少包括用户的眼部图像信息;
对应存储所述用户的有效注视信息和所述用户图像。
可选地,所述用户在所述显示器的屏幕上形成的有效注视信息的标准,包括:
用户视线落在所述显示器的屏幕上的某一标识的时间超过阈值。
可选地,所述获取眼球追踪装置采集的用户的有效注视信息之后,还包括:
根据所述电子设备与所述显示器的映射关系,将所述有效注视信息转换为所述电子设备的有效注视信息;
其中,所述电子设备的有效注视信息作为所述用户的有效注视信息进行存储。
可选地,所述对应存储所述用户的有效注视信息和所述用户图像,包括:
将所述用户的有效注视信息和所述用户图像对应存储于所述电子设备本地;
或者向服务器上传所述用户的有效注视信息和所述用户图像,由所述服务器对应存储所述用户的有效注视信息和所述用户图像。
本发明第二方面公开了一种数据采集装置,包括:
第一获取单元,用于获取眼球追踪装置采集的用户的有效注视信息;其中,所述有效注视信息为所述用户在显示器的屏幕上形成的注视信息的有效数据;
第二获取单元,用于获取图像采集模块采集的用户图像;其中,所述用户图像中至少包括用户的眼部图像信息;
存储单元,用于对应存储所述用户的有效注视信息和所述用户图像。
可选地,所述数据采集装置还包括:
转换单元,用于根据所述电子设备与所述显示器的映射关系,将所述有效注视信息转换为所述电子设备的有效注视信息;
其中,所述电子设备的有效注视信息作为所述用户的有效注视信息进行存储。
可选地,所述存储单元包括:存储子单元,用于将所述用户的有效注视信息和所述用户图像对应存储于所述电子设备本地;
或者,所述存储单元包括:发送单元,用于向服务器上传所述用户的有效注视信息和所述用户图像,由所述服务器对应存储所述用户的有效注视信息和所述用户图像。
本发明第三方面公开了一种电子设备,包括:
图像采集模块,用于采集用户图像;其中,所述用户图像中至少包括用户的眼部图像信息;
控制模块,用于获取眼球追踪装置采集的用户的有效注视信息,以及获取图像采集模块采集的用户图像,并对应存储所述用户的有效注视信息和所述用户图像;其中,所述有效注视信息为所述用户在显示器的屏幕上形成的注视信息的有效数据。
可选地,所述控制模块在获取眼球追踪装置采集的用户的有效注视信息之后,还用于:根据所述电子设备与所述显示器的映射关系,将所述有效注视信息转换为所述电子设备的有效注视信息;
其中,所述电子设备的有效注视信息作为所述用户的有效注视信息进行存储。
本发明第四方面公开了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述第一方面公开的任一数据采集方法。
从上述的技术方案可以看出,本申请提供的数据采集方法应用于电子设备中,通过获取眼球追踪装置采集的用户的有效注视信息,再获取图像采集模块采集的用户图像。最后再对应存储用户的有效注视信息、以及用户图像。其中,有效注视信息为用户在显示屏幕上形成的注视信息的有效数据;用户图像中至少包括用户的眼部图像信息。由于本申请获取的有效注视信息为用户在显示屏幕上形成的注视信息的有效数据,因此本申请不需要用户注视特定显示的目标点后才可进行用户图像采集,进而不会因为采集数据时不满足用户注视目标点这一特定条件而导致采集到的用户图像或与用户图像相对应的注视数据不准确,提高了采集的眼图数据的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种数据采集系统的实体示意图;
图2为本发明实施例公开的一种电子设备的结构示意图;
图3为本发明实施例公开的一种数据采集方法的流程示意图;
图4为本发明实施例公开的一种眼球追踪装置采集用户的有效注视信息的方法的流程示意图;
图5为本发明实施例公开的一种数据采集装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请的一个实施例中,参见图1,显示器101、电子设备102和眼球追踪装置103组成一种系统,其共同配合执行数据采集方法。
其中,显示器101用于提供显示屏幕,电子设备102可以放置于显示器101的显示屏幕上,电子设备102的屏幕可以播放视频信息,用户视线落在显示器101的显示屏幕上或者电子设备102的屏幕上。眼球追踪装置103用于追踪用户眼球,采集用户眼球的注视信息。
并且,如图2所示,电子设备102主要包括:图像采集模块201和控制模块202,图像采集模块201可以采集用户图像,控制模块202主要与眼球追踪装置103进行通信,并完成数据采集方法。
其中,电子设备可以为手机、平板电脑等具有通信功能的移动设备。
基本上述实施例公开的系统,本申请另一实施例公开的数据采集方法,如图3所示,包括:
S301、眼球追踪装置采集用户的有效注视信息。
其中,有效注视信息为用户在显示器的屏幕上形成的注视信息的有效数据。具体地,眼球追踪装置采集用户视线落在显示器的屏幕上的有效注视点的坐标信息。其中,坐标信息可以是有效注视点在显示器的屏幕上的坐标值,还可以是有效注视点在显示器的屏幕上的矢量值等。
需要说明的是,由于电子设备放置在显示器的屏幕上,因此用户看向电子设备的屏幕的某一个点时,用户的视线既落在了显示器的屏幕上,也落在了电子设备的屏幕上。而执行步骤S301时眼球追踪装置采集的是用户在显示器的屏幕上形成的注视信息的有效数据,而不是电子设备的屏幕上形成的注视信息的有效数据。
可选地,参阅图4,在本申请一具体实施例中,步骤S301的一种实施方式,包括:
S401、眼球追踪装置实时采集用户的注视信息。
由于眼球追踪装置具有眼球追踪技术,因此当用户视线落在显示器的显示屏幕上时,眼球追踪装置可以实时采集到用户的注视信息。其中,用户的注视信息指的是用户视线落在显示器的屏幕上的注视信息。
可选地,在本申请一具体实施例中,步骤S401的一种实施方式,包括:眼球追踪装置实时采集用户的瞳孔角膜反射形成的光斑的坐标信息。
具体地,用户注视显示器的屏幕或电子设备的屏幕时,用户的瞳孔角膜反射到显示器的屏幕上形成光斑,眼球追踪装置通过瞳孔角膜反射技术可获取光斑的坐标信息,即可实时采集用户的注视信息。其中,坐标信息可以是一个矢量值,也可以用坐标值表示,坐标信息只需能反映光斑的位置信息即可。
可选地,在本申请另一具体实施例中,步骤S401的另一种实施方式,包括:
眼球追踪装置根据用户眼睛的位置以及用户眼睛的三维视线方向,计算出从用户眼睛的位置出发的三维视线落在显示器的屏幕上的坐标信息。
由于眼球追踪装置是根据用户眼睛位置以及三维视线计算出的坐标信息,因此用户只需视线与显示器的屏幕或者电子设备的屏幕形成交点,即可获得注视信息。
S402、眼球追踪装置判断用户在显示器的屏幕上是否形成有效注视信息;其中,用户在显示器的屏幕上形成的有效注视信息的标准,包括:
用户视线落在显示器的屏幕上的某一标识的时间超过阈值。
执行步骤S401之后得到的注视信息可能为有效注视信息,也可能为无效注视信息。而采集到的无效注视信息可能不够精确,准确率不高。
需要说明的是,用户视线落在显示器的屏幕上的某一标识是用户视线与显示器的屏幕形成的交点,可以是显示器的屏幕上的任意一个点,不具备特定的含义。用户注意某一标识并获取该标识的信息,主要是通过眼睛对某一标识形成有效注视来实现的,即用户眼睛的中央窝对准某一物体上的某一标识的时间超过阈值后,被注视的物体才可在用户眼睛的中央窝上成像,从而形成有效注视,此时眼球追踪装置采集的注视信息才满足了有效标准。
一般说来,要形成有效注视,用户视线落在显示器的屏幕上的某一标识的时间需超过100毫秒。在实际应用中,可根据实际需要设置这一阈值。如果需要采集有效注视信息较为迅速,则可将阈值设置的较小,如果需要采集有效注视信息更为精准,则可将阈值设置的更大一些。
若眼球追踪装置判断出用户在显示器的屏幕上形成有效注视信息,则执行步骤S403,若判断出用户在显示器的屏幕上没有形成有效注视信息,则返回执行眼球追踪装置实时采集用户的注视信息,即返回执行步骤S401。
S403、眼球追踪装置确定用户的注视信息为有效注视信息。
若执行步骤S402时判断出用户在显示器的屏幕上形成有效注视信息,则确定用户的注视信息为有效注视信息。当用户注视信息满足注视信息的有效标准时,眼球追踪装置采集的这一注视信息的准确率较高。由于执行步骤S301时采集的注视信息是有效注视信息,因此也提高了采集的眼图数据的准确率。
由于执行步骤S301时,是通过眼球追踪装置来采集用户的有效注视信息。而在现有技术中则是由设备的屏幕本身生成目标点,由用户配合去注视目标点,并将目标点坐标值当做注视点的有效数据处理的。然而现有技术的方案中缺乏判定用户是否注视目标点的这一特定条件,因此目标点的坐标值不一定是有效注视信息。
本申请在执行步骤S301时由于不需要用户注视特定显示的目标点,而是由眼球追踪装置去采集用户在显示器的屏幕上形成的注视信息的有效数据,进而就不会因为采集数据时不满足用户注视目标点这一特定条件而导致采集到的数据不准确,提高了采集的眼图数据的准确率。
S302、电子设备获取眼球追踪装置采集的用户的有效注视信息。
需要说明的是,眼球追踪装置采集的用户的有效注视信息是由电子设备中的控制模块获取的。由于电子设备中的控制模块可以与眼球追踪装置建立通信连接,因此眼球追踪装置可将采集的用户的有效注视信息发送至电子设备的控制模块中。电子设备将用户的有效注视信息进行存储。
可选地,在本申请的另一实施例中,在执行步骤S302之后,所述数据采集方法还可以包括:
电子设备根据电子设备与显示器的映射关系,将有效注视信息转换为电子设备的有效注视信息。
其中,电子设备的有效注视信息作为用户的有效注视信息进行存储。
眼球追踪装置执行步骤S301时,可以给出以显示器的屏幕建立的坐标系下的用户的有效注视信息,其中,用户的有效注视信息为用户在显示器的屏幕上形成的注视点的坐标信息。例如,可以以显示器的屏幕左上角为显示器的屏幕的局部坐标系的原点,此时眼球追踪装置可得到用户在显示器的屏幕上形成的注视点p相对于显示器屏幕左上角原点的坐标值
Figure BDA0002037306730000081
而电子设备若固定放置在显示器的屏幕上时,就能确定显示器屏幕坐标系中用户的注视点p在电子设备的屏幕的坐标系下的映射关系[R,t]。因此,用户的注视点p相对于显示器屏幕左上角原点的坐标值
Figure BDA0002037306730000082
就可根据映射关系转换为电子设备的屏幕下的坐标值
Figure BDA0002037306730000083
具体公式为:
Figure BDA0002037306730000084
其中,注视点在电子设备的屏幕或在显示器的屏幕上的位置不一定用坐标值去表示,也可以采用极坐标、向量等方式去表示,只要能体现注视点的位置关系即可。
需要说明的是,将有效注视信息转换为电子设备的有效注视信息这一步骤是由电子设备中的控制模块执行的。电子设备的屏幕与显示器的屏幕具有一定的映射关系。这一映射关系指的是,由于电子设备放置于显示器的屏幕上,用户在电子设备上形成的注视点可以映射到显示器的屏幕上。需要说明的是,电子设备与显示器的位置关系可以是将电子设备放置在显示器之上,也可以不需要电子设备与显示器接触,而是将电子设备与显示器的屏幕平行放置,只要用户的视线与电子设备形成的交点可映射至显示器的屏幕上即可。
需要说明的是,之所以将显示器屏幕上的有效注视信息转换为电子设备上的有效注视信息,是因为电子设备内具有图像采集模块,用户的图像是由电子设备内的图像采集模块去采集的,因此需要将显示器的屏幕上的有效注视信息转换成与采集的用户图像相对应的注视信息,即转换成电子设备的有效注视信息。
由于在实际应用中,眼球追踪装置不具备图像采集模块,因此需要结合具有图像采集模块的电子设备配合执行数据采集方法。其中,电子设备为手机、平板电脑等移动设备,当用户在浏览电子设备屏幕上的内容时,还可根据转换的电子设备的有效注视信息反映出用户浏览信息的行为,例如用户对于电子设备的屏幕上哪一部分的内容更为关注等。
还需要说明的是,执行完步骤S302之后,也可以不将有效注视信息转换为电子设备的有效注视信息,当需要使用用户的图像以及相对应的有效注视信息时,再根据电子设备与显示器的映射关系进行转换即可。
可选地,也可以不用根据电子设备与显示器的映射关系,只需电子设备获取眼球追踪装置根据用户眼睛以及用户眼睛的三维视线得到视线落在电子设备上的有效注视信息。
S303、电子设备的图像采集模块采集用户图像。
需要说明的是,用户图像中至少包括用户的眼部图像信息,以便于从获取的用户图像中得到或拟合出用户眼部图像。
可选地,电子设备的图像采集模块可以直接采集用户的眼部图像,不需要进行进一步拟合或提取用户的眼部图像信息。其中,图像采集模块可以是摄像头,用于拍摄用户的图像。
需要说明的是,执行步骤S303时电子设备的图像采集模块采集的用户图像,是与步骤S302中显示器的屏幕形成的有效注视信息相对应的用户图像。当用户注视某一标识且形成了有效注视时,眼球追踪装置执行步骤S301采集用户注视该标识时的有效注视信息,电子设备获取了有效注视信息之后,再通过电子设备的图像采集模块采集用户注视该标识时的用户图像,这一用户图像就与有效注视信息就具有了对应关系。
S304、电子设备获取图像采集模块采集的用户图像。
其中,获取图像采集模块采集的用户图像的是电子设备中的控制模块。电子设备中的控制模块与图像采集模块建立通信连接,将图像采集模块采集的用户图像传输至控制模块中。
S305、电子设备对应存储所述用户的有效注视信息和所述用户图像。
需要说明的是,若在执行步骤S302之后,电子设备没有执行根据电子设备与显示器的映射关系,将有效注视信息转换为电子设备的有效注视信息步骤,那么执行步骤S305时,存储的用户的有效注视信息是在显示器的屏幕上形成的有效注视信息,若在执行步骤S302之后,电子设备执行了根据电子设备与显示器的映射关系,将有效注视信息转换为电子设备的有效注视信息步骤,则执行步骤S305时,存储的用户有效信息为电子设备的有效注视信息。
可选地,在本申请一具体实施例中,执行步骤S305的一种实施方式,包括:
将用户的有效注视信息和用户图像对应存储于电子设备本地;或者向服务器上传用户的有效注视信息和用户图像,由服务器对应存储用户的有效注视信息和用户图像。
其中,用户图像中至少包括用户的眼部图像信息。电子设备可以将用户的有效注视信息和用户图像存储于电子设备本地。也可以通过电子设备中的控制模块与服务器建立通信连接,将用户的有效注视信息和用户的图像上传至服务器,由服务器对应存储。其中,可将对应存储地有效注视信息与用户图像全部集中在眼图数据集中,而眼图数据集可保存在电子设备本地或服务器中。眼图数据集中的数据通过有监督学习算法,即可构建出一个模型或者函数。这一模型或者函数可以根据用户图像计算出与用户图像相对应的注视信息。
本申请提供的数据采集方法中,对于电子设备来说,通过获取眼球追踪装置采集的用户的有效注视信息,再获取图像采集模块采集的用户图像。最后再对应存储用户的有效注视信息、以及用户图像。其中,有效注视信息为用户在显示屏幕上形成的注视信息的有效数据;用户图像中至少包括用户的眼部图像信息。由于本申请获取的有效注视信息为用户在显示屏幕上形成的注视信息的有效数据,因此本申请不需要用户注视特定显示的目标点后才可进行用户图像采集,进而不会因为采集数据时不满足用户注视目标点这一特定条件而导致采集到的用户图像或与用户图像相对应的注视数据不准确,提高了采集的眼图数据的准确率。
基于上述本申请实施例公开的数据采集方法,本申请实施例还对应公开了一种数据采集装置。参阅图5,该数据采集装置主要包括:第一获取单元501、第二获取单元502以及存储单元503。
第一获取单元501,用于获取眼球追踪装置采集的用户的有效注视信息。其中,有效注视信息为用户在显示器的屏幕上形成的注视信息的有效数据。
第二获取单元502,用于获取图像采集模块采集的用户图像。其中,用户图像中至少包括用户的眼部图像信息。
存储单元503,用于对应存储用户的有效注视信息和用户图像。
可选地,在本申请一具体实施例中,存储单元503,包括:
存储子单元,用于将用户的有效注视信息和用户图像对应存储于电子设备本地。
或者,存储单元503包括:发送单元,用于向服务器上传用户的有效注视信息和用户图像,由服务器对应存储用户的有效注视信息和用户图像。
可选地,在本申请一具体实施例中,数据采集装置还可以包括:
转换单元,用于根据电子设备与显示器的映射关系,将有效注视信息转换为电子设备的有效注视信息。其中,电子设备的有效注视信息作为用户的有效注视信息进行存储。
上述本发明实施例公开的数据采集装置中的各个单元具体的原理和执行过程,与上述本发明实施例公开的数据采集方法相同,可参见上述本发明实施例公开的数据采集方法中相应的部分,这里不再进行赘述。
本申请提供的数据采集装置中,通过第一获取单元501获取眼球追踪装置采集的用户的有效注视信息,再通过第二获取单元502获取图像采集模块采集的用户图像。最后再通过存储单元503对应存储用户的有效注视信息、以及用户图像。其中,有效注视信息为用户在显示屏幕上形成的注视信息的有效数据;用户图像中至少包括用户的眼部图像信息。由于本申请中第一获取单元501获取的有效注视信息为用户在显示屏幕上形成的注视信息的有效数据,因此本申请不需要用户注视特定显示的目标点后才可进行用户图像采集,进而不会因为采集数据时不满足用户注视目标点这一特定条件而导致采集到的用户图像或与用户图像相对应的注视数据不准确,提高了采集的眼图数据的准确率。
参阅图2,本申请公开了一种电子设备,主要包括:图像采集模块201和控制模块202。
图像采集模块201用于采集用户图像。其中,用户图像中至少包括用户的眼部图像信息。
控制模块202,用于获取眼球追踪装置采集的用户的有效注视信息,以及获取图像采集模块采集的用户图像,并对应存储所述用户的有效注视信息和所述用户图像。其中,有效注视信息为用户在显示器的屏幕上形成的注视信息的有效数据。
可选地,在本申请一具体实施例中,控制模块202在获取眼球追踪装置采集的用户的有效注视信息之后,还用于:根据电子设备与显示器的映射关系,将有效注视信息转换为所述电子设备的有效注视信息。
其中,电子设备的有效注视信息作为用户的有效注视信息进行存储。
需要说明的是,控制模块202的具体执行原理与过程与上述实施例示出的数据采集方法相同。控制模块202主要与眼球追踪装置进行通信,并完成上述实施例示出的数据采集方法,控制模块202的具体执行原理与过程可参见上述实施例示出的数据采集方法中相应的部分,可参见,这里不再赘述。
本申请实施例还公开了一种存储介质,存储介质包括存储的指令,其中,在指令运行时控制存储介质所在的设备执行上述实施例示出的数据采集方法。其中,存储介质所在的设备为电子设备,电子设备可以为手机、平板电脑等移动设备。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据采集方法,其特征在于,应用于电子设备,所述电子设备包括图像采集模块,其中,所述数据采集方法包括:
获取眼球追踪装置采集的用户的有效注视信息;其中,所述有效注视信息为所述用户在显示器的屏幕上形成的注视信息的有效数据;所述注视信息表征所述用户的视线落在显示器屏幕上的信息;
获取图像采集模块采集的用户图像;其中,所述用户图像中至少包括用户的眼部图像信息;
对应存储所述用户的有效注视信息和所述用户图像。
2.根据权利要求1所述的数据采集方法,其特征在于,所述用户在所述显示器的屏幕上形成的有效注视信息的标准,包括:
用户视线落在所述显示器的屏幕上的某一标识的时间超过阈值。
3.根据权利要求1所述的数据采集方法,其特征在于,所述获取眼球追踪装置采集的用户的有效注视信息之后,还包括:
根据所述电子设备与所述显示器的映射关系,将所述有效注视信息转换为所述电子设备的有效注视信息;
其中,所述电子设备的有效注视信息作为所述用户的有效注视信息进行存储。
4.根据权利要求1至3中任意一项所述的数据采集方法,其特征在于,所述对应存储所述用户的有效注视信息和所述用户图像,包括:
将所述用户的有效注视信息和所述用户图像对应存储于所述电子设备本地;
或者向服务器上传所述用户的有效注视信息和所述用户图像,由所述服务器对应存储所述用户的有效注视信息和所述用户图像。
5.一种数据采集装置,其特征在于,应用于电子设备,所述电子设备包括图像采集模块,其中,所述数据采集装置包括:
第一获取单元,用于获取眼球追踪装置采集的用户的有效注视信息;其中,所述有效注视信息为所述用户在显示器的屏幕上形成的注视信息的有效数据;所述注视信息表征所述用户的视线落在显示器屏幕上的信息;
第二获取单元,用于获取图像采集模块采集的用户图像;其中,所述用户图像中至少包括用户的眼部图像信息;
存储单元,用于对应存储所述用户的有效注视信息和所述用户图像。
6.根据权利要求5所述的数据采集装置,其特征在于,还包括:
转换单元,用于根据所述电子设备与所述显示器的映射关系,将所述有效注视信息转换为所述电子设备的有效注视信息;
其中,所述电子设备的有效注视信息作为所述用户的有效注视信息进行存储。
7.根据权利要求5或6所述的数据采集装置,其特征在于,所述存储单元包括:存储子单元,用于将所述用户的有效注视信息和所述用户图像对应存储于所述电子设备本地;
或者,所述存储单元包括:发送单元,用于向服务器上传所述用户的有效注视信息和所述用户图像,由所述服务器对应存储所述用户的有效注视信息和所述用户图像。
8.一种电子设备,其特征在于,包括:
图像采集模块,用于采集用户图像;其中,所述用户图像中至少包括用户的眼部图像信息;
控制模块,用于获取眼球追踪装置采集的用户的有效注视信息,以及获取图像采集模块采集的用户图像,并对应存储所述用户的有效注视信息和所述用户图像;其中,所述有效注视信息为所述用户在显示器的屏幕上形成的注视信息的有效数据。
9.根据权利要求8所述的电子设备,其特征在于,所述控制模块在获取眼球追踪装置采集的用户的有效注视信息之后,还用于:根据所述电子设备与所述显示器的映射关系,将所述有效注视信息转换为所述电子设备的有效注视信息;
其中,所述电子设备的有效注视信息作为所述用户的有效注视信息进行存储。
10.一种存储介质,其特征在于,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如权利要求1至4中任意一项所述的数据采集方法。
CN201910329727.7A 2019-04-23 2019-04-23 数据采集方法、装置、电子设备及存储介质 Active CN110058693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910329727.7A CN110058693B (zh) 2019-04-23 2019-04-23 数据采集方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910329727.7A CN110058693B (zh) 2019-04-23 2019-04-23 数据采集方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110058693A CN110058693A (zh) 2019-07-26
CN110058693B true CN110058693B (zh) 2022-07-15

Family

ID=67320350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910329727.7A Active CN110058693B (zh) 2019-04-23 2019-04-23 数据采集方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110058693B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709398A (zh) * 2015-07-29 2017-05-24 财团法人资讯工业策进会 凝视分析方法与装置
CN107533634A (zh) * 2015-03-23 2018-01-02 控制辐射系统有限公司 眼睛跟踪系统
US10082865B1 (en) * 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
KR20190030140A (ko) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN109522789A (zh) * 2018-09-30 2019-03-26 北京七鑫易维信息技术有限公司 应用于终端设备的眼球追踪方法、装置以及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10310597B2 (en) * 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
AU2018277842A1 (en) * 2017-05-31 2019-12-19 Magic Leap, Inc. Eye tracking calibration techniques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533634A (zh) * 2015-03-23 2018-01-02 控制辐射系统有限公司 眼睛跟踪系统
CN106709398A (zh) * 2015-07-29 2017-05-24 财团法人资讯工业策进会 凝视分析方法与装置
US10082865B1 (en) * 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
KR20190030140A (ko) * 2017-09-13 2019-03-21 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN109522789A (zh) * 2018-09-30 2019-03-26 北京七鑫易维信息技术有限公司 应用于终端设备的眼球追踪方法、装置以及系统

Also Published As

Publication number Publication date
CN110058693A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN108919958B (zh) 一种图像传输方法、装置、终端设备及存储介质
KR101868597B1 (ko) 올바른 기기사용자세 유도 장치 및 방법
JP5881136B2 (ja) 情報処理装置及び方法、並びにプログラム
CN108681399B (zh) 一种设备控制方法、装置、控制设备及存储介质
CN108334191B (zh) 基于眼动分析设备的确定注视点的方法和装置
CN109343700B (zh) 眼动控制校准数据获取方法和装置
EP2991027B1 (en) Image processing program, image processing method and information terminal
CN110780742B (zh) 眼球追踪处理方法及相关装置
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
WO2020020022A1 (zh) 视觉识别方法及其系统
US10146306B2 (en) Gaze position detection apparatus and gaze position detection method
CN105068646A (zh) 终端的控制方法和系统
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
CN110546596A (zh) 一种视线跟踪方法及用于执行所述方法的终端
CN112987910A (zh) 眼球追踪设备的测试方法、装置、设备及存储介质
CN110058693B (zh) 数据采集方法、装置、电子设备及存储介质
JPWO2018220963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110262663B (zh) 基于眼球追踪技术的日程生成方法及相关产品
CN111610886A (zh) 触控屏幕亮度的调整方法、设备及计算机可读存储介质
CN112651270A (zh) 一种注视信息确定方法、装置、终端设备及展示对象
CN113093907B (zh) 人机交互方法、系统、设备及存储介质
CN113132642B (zh) 图像显示的方法及装置、电子设备
CN113342157B (zh) 眼球追踪处理方法及相关装置
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备
CN110377158B (zh) 基于变化视场范围的眼球追踪的校准方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant