CN112666705A - 一种眼动追踪设备及眼动追踪方法 - Google Patents
一种眼动追踪设备及眼动追踪方法 Download PDFInfo
- Publication number
- CN112666705A CN112666705A CN201910977871.1A CN201910977871A CN112666705A CN 112666705 A CN112666705 A CN 112666705A CN 201910977871 A CN201910977871 A CN 201910977871A CN 112666705 A CN112666705 A CN 112666705A
- Authority
- CN
- China
- Prior art keywords
- foreground
- user
- eye
- adjustable
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims abstract description 56
- 239000011521 glass Substances 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims description 14
- 239000004984 smart glass Substances 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 description 92
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 241001522301 Apogonichthyoides nigripinnis Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 244000309464 bull Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种眼动追踪设备和眼动追踪方法,该眼动追踪设备包括头戴式设备,该头戴式设备包括智能眼镜,且在该智能眼镜的左右两个镜框中间设置有可调节前景摄像头,所述可调节前景摄像头用于拍摄前景图像,通过调节该可调节前景摄像头,能够使得目标位于前景图像的目标区域,并且能够基于眼动传感器采集用户的眼动数据,最后根据前景图像和眼动数据进行用户眼动追踪,获得分析数据。通过对可调节前景摄像头的调节,可以实现对非正常视角的前景图像的采集,满足了场景多样性的需求。
Description
技术领域
本发明涉及眼动追踪技术领域,特别是涉及一种眼动追踪设备及眼动追踪方法。
背景技术
眼动追踪技术是研究和利用眼球动作的一种重要手段,通过该技术可以找到人眼关注的焦点,进而可以分析人的行为和意识。目前眼动追踪技术已应用于多个领域之中,如人机交互、体育运动、购物场景等。
在对用户的眼球进行追踪时,通常会采用眼动追踪设备来采集用户注视的场景图像和用户的眼动数据来完成对用户的注视信息的分析。但是,现有的眼动追踪设备对于某些非正常视角的前景图像的追踪效果较差,无法满足使用需求。
发明内容
针对于上述问题,本发明提供一种眼动追踪设备及眼动追踪方法,实现了对非正常视角的图像和用户眼动图像信息的采集,满足了场景多样性的需求。
为了实现上述目的,本发明提供了如下技术方案:
一种眼动追踪设备,包括:
头戴式设备,设置在所述头戴式设备上的可调节前景摄像头和眼动传感器以及与所述头戴式设备进行连接的处理器;
所述可调节前景摄像头,用于拍摄前景图像,其中,通过调节所述可调节前景摄像头,使得目标位于所述前景图像的目标区域;
所述眼动传感器,用于采集用户的眼动数据;
所述处理器,用于根据所述前景图像和所述眼动数据进行用户的眼动追踪分析,获得分析数据。
优选的,所述头戴式设备包括智能眼镜,所述智能眼镜的左右两个眼镜框中间设置有可调节前景摄像头,所述智能眼镜的左右两个眼镜框上设置有眼动传感器,所述智能眼镜与所述处理器连接。
可选地,所述可调节前景摄像头包括:手动调节机构和自动调节组件;
其中,所述智能眼镜的佩戴者可以通过所述手动调节机构调整所述可调节前景摄像头位置;
所述自动调节组件与所述处理器连接,用于接收所述处理器的调整指令,并依据所述调整指令调整所述可调节前景摄像头的位置。
可选地,所述手动调节机构包括旋转轴组件。
一种眼动追踪方法,应用于如上述中任意一项所述的眼动追踪设备,该方法包括:
获取所述可调节前景摄像头的角度参数;
根据所述角度参数,采集用户的前景图像;
获取用户的眼动数据;
根据所述眼动数据和所述前景图像进行用户的眼动追踪分析,获得分析数据。
可选地,所述获取所述可调节前景摄像头的角度参数,包括:
根据用户对所述可调节前景摄像头的调整,获得所述可调节前景摄像头的调整后的位置信息;
基于所述调整后的位置信息与所述可调节前景摄像头的基准位置信息,获得所述可调节前景摄像头的角度参数。
可选地,所述获取所述可调节前景摄像头的角度参数,包括:
通过所述眼动传感器采集用户的眼睛图像;
对所述眼睛图像进行分析,获得眼睛偏转角度;
根据所述眼睛偏转角度,计算所述可调节前景摄像头的角度参数。
可选地,所述根据所述眼睛偏转角度,计算所述可调节前景摄像头的角度参数,包括:
判断所述眼睛偏转角度是否大于预设调整阈值;
如果是,根据所述眼睛偏转角度,获取用户的注视方向;
根据用户的注视方向,计算所述可调节前景摄像头的角度参数。
可选地,所述根据所述角度参数,采集用户的前景图像,包括:
判断基于所述角度参数采集到的前景图像中预设目标点是否位于所述前景图像的目标区域,如果是,则获取所述前景图像;
如果否,则调整所述角度参数,使得根据调整后的角度参数采集到的前景图像中的预设目标位于所述目标区域。
可选地,所述根据所述眼动数据和所述前景图像进行用户的眼动追踪分析,获得分析数据,包括:
对所述眼动数据进行分析,获得用户的注视数据;
将所述用户的注视数据还原至所述前景图像,获得用户的眼动追踪分析数据。
可选地,所述将所述用户的注视数据还原至所述前景图像,获得用户的眼动追踪分析数据,包括:
根据用户的注视数据,生成可视化图像;
将所述可视化图像还原至所述前景图像,获得用户的眼动追踪分析数据。
相较于现有技术,本发明提供了一种眼动追踪设备和眼动追踪方法,该眼动追踪设备包括头戴式设备,该头戴式设备包括智能眼镜,且在该智能眼镜的左右两个镜框中间设置有可调节前景摄像头,所述可调节前景摄像头用于拍摄前景图像,通过调节该可调节前景摄像头,能够使得目标位于前景图像的目标区域,并且能够基于眼动传感器采集用户的眼动数据,最后根据前景图像和眼动数据进行用户的眼动追踪分析,获得分析数据。通过对可调节前景摄像头的调节,可以实现对非正常视角的前景图像的采集,即前景图像随人眼注视方向而变化,满足了场景多样性的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例一供的一种眼动追踪设备的结构示意图;
图2为本发明实施例一提供的一种智能眼镜的结构示意图的结构示意图;
图3为本发明实施例二提供的一种眼动追踪方法的流程示意图;
图4为本发明实施例二提供的一种前景摄像头与眼动追踪设备的采集平面的关系示意图;
图5为本发明实施例三提供的一种可调节前景摄像头的角度参数的方法的流程示意图;
图6本发明实施例三提供的另一种获取角度参数的方法的流程示意图;
图7为本发明实施例四提供的一种眼动追踪装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
眼动追踪,也可称为视线追踪,是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。其中,视线可以理解为是一个三维矢量,注视点可以理解为上述三维矢量投影在某个平面上的二维坐标。目前广泛应用的是光学记录法:用照相机或摄像机记录被试者的眼睛运动情况,即获取反映眼睛运动的眼部图像,然后从获取到的眼部图像中提取眼部特征,用于建立估计视线/注视点的模型。目前,在许多应用场景中,如人机交互、体育运动、购物场景中,为了能够基于眼动追踪结果对相关数据进行分析,眼动追踪设备除了能够采集到用户的眼动数据外,还需要采集用户的前景图像,即用户通过该眼动追踪设备注视到的前景画面,这样的眼动追踪设备可以为VR眼镜等,但是现有的VR眼镜通常采用基于陀螺仪的头动感知方式来锁定目标,对于用户的某些非正常视角进行前景图像的采集效果较差。
本发明涉及的一种眼动追踪设备,其中包括的头戴式设备可以以多种形式表示,所述头戴式设备可以是一种智能眼镜或者在头上固定的智能帽子等设备。
实施例一
参见图1,为本发明实施例一提供的一种眼动追踪设备,包括:智能眼镜101,设置在智能眼镜101的左右两个眼镜框中间的可调节前景摄像头102、分别设置在所述左右两个眼镜框上的眼动传感器103以及与智能眼镜101进行连接的处理器104;
其中,可调节前景摄像头102,用于拍摄前景图像,其中,通过调节可调节前景摄像头102,使得目标位于所述前景图像的目标区域。其中,位于前景图像中的目标可以表征在进行前景图像拍摄时的参照物,该参照物在进行图像拍摄时,需要位于拍摄画面中。例如,在对某一景物场景进行拍摄时,该目标可以为具有特定识别特征的树木,这样可以通过调节前景摄像头,将该树木位于前景图像的目标区域,其中,目标区域可以是根据图像拍摄目的设置的拍摄画面中的任一区域,如,画面的中央区域,右上角区域等等。
眼动传感器103,用于采集用户的眼动数据。
可以理解的是,眼动传感器103可以根据实际眼动数据采集的需求,设置对应的零部件。例如,眼动数据是基于采集到的人眼特征图像得到的,则所述眼动传感器103会包括图像采集模块,对应的,为了能够清晰的进行采集还可以包括辅助光源模块等。该眼动传感器还可以包括电容传感模块,即采集到的用户的眼动数据是通过眼球与电容传感模块的电容极板之间的电容值来获得的。又例如,若通过采集的肌电信号获得眼动数据,则该眼动传感器还可以包括肌电流检测模块。同时,便于眼动数据的传输,该眼动传感器还包括数据传输模块。即通过该数据传输模块将眼动数据传输给处理器。
处理器104,用于根据所述前景图像和所述眼动数据进行用户的眼动追踪分析,获得分析数据。
需要说明的是,可调节前景摄像头102除了包括采集图像的图像采集单元,如摄像头等,还包括调节机构,该调节机构可以调节该图像采集单元的拍摄角度。并且该调节机构可以为机械式调节结构,也可以为电动式调节结构。对应的,机械式调节结构对应手动调节机构,电动式调节结构可以对应自动调节组件。其中,所述智能眼镜的佩戴者可以通过所述手动调节机构调整所述可调节前景摄像头位置;所述自动调节组件与所述处理器连接,用于接收所述处理器的调整指令,并依据所述调整指令调整所述可调节前景摄像头的位置。
参见图2,为本发明实施例提供的一种智能眼镜的结构示意图,其中,可调节摄像头102采用了手动调节机构,即通过该智能眼镜用户手动调节该摄像头的前景图像的采集角度,该手动调节机构可以包括旋转轴组件,即通过该旋转轴组件来调节该可调节摄像头的角度,并且能够将该可调节摄像头的固定在目标位置。
对应的,自动调节组件可以包括调节控制结构和摄像头,即该调节控制结构与处理器连接,调节控制结构通过处理器生成的调整指令来调节摄像头的位置。
需要说明的是,在用户对可调节摄像头进行手动调节时,是依据的用户通过用户对目标点的注视结果,进行主观判断获得的调节角度,即该调节可以是一个反复的过程,依据用户的感官进行反复调节,最终使得该可调节摄像头的调节角度,达到用户的预期角度。其中,目标点可以是用户注视的一个参照点,或者一个参照目标。例如,在射击的应用场景中,该目标点可以是靶心,当用户对该可调节摄像头进行手动调节时,其最终实现的是使得靶心位于画面中央。
在自动调节组件中,由于是根据处理器的调整指令进行调节的。那么处理器是根据前景摄像头采集到的前景图像和用户的注视数据生成该调整指令的。当根据用户的注视数据识别到用户的注视点为一个非正常方向的注视点,即能够计算得到用户眼睛的偏转角度,当该偏转角度达到一定阈值时,会根据该偏转角度生成控制指令,用于控制可调节摄像头进行拍摄角度调整。
需要说明的是,在图1中处理器设置在了智能眼镜上,对应的,该智能眼镜上也可以不包括该处理器,而包括通讯数据传输接口,可以通过该结构与手机终端或者计算机连接,将眼动传感器采集到的数据发送到相应的设备上,此时手机终端或者计算机作为了处理器。
需要说明的是,如果将本实施例的智能眼镜更换为在头上固定的智能帽子,则一样可以完成眼动追踪的功能。在智能帽子靠近脸部前方中间的位置设置可调节前景摄像头,在用户眼部位置前方设置眼动传感器,并且该智能帽子可以连接处理器。
在本发明实施例一种提供了一种眼动追踪设备,由于该眼动追踪设备包括智能眼镜,且在该智能眼镜的左右两个镜框中间设置有可调节前景摄像头,所述可调节前景摄像头用于拍摄前景图像,通过调节该可调节前景摄像头,能够使得目标位于前景图像的目标区域,并且能够基于眼动传感器采集用户的眼动数据,最后根据前景图像和眼动数据进行用户的眼动追踪分析,获得分析数据。通过对可调节前景摄像头的调节,可以实现对非正常视角的前景图像的采集,即前景图像随人眼注视方向而变化,满足了场景多样性的需求。
实施例二
在本发明实施例二中提供了一种眼动追踪方法,该方法应用于上述实施例一中所描述的眼动追踪设备中,参见图3,该方法可以包括以下步骤:
S101、获取可调节前景摄像头的角度参数。
由于该眼动追踪方法应用于本发明提供的眼动追踪设备中,且该眼动追踪设备中包括可调节前景摄像头,即该摄像头的位置并不是固定的,而是可以调节的,所以要首先采集该可调节前景摄像头的角度参数,该角度参数可以直接为该可调节前景摄像头的拍摄角度参数,也可以为该前景摄像头相对于所述眼动追踪设备的采集平面的位置参数,然后根据该位置参数计算获得前景摄像头的拍摄角度参数。
参见图4,其示出了前景摄像头与眼动追踪设备的采集平面的关系示意图,其中,前景摄像头A与眼动追踪设备的采集平面S的角度为45度,则可以根据前景摄像头拍摄范围计算获得前景摄像头的拍摄角度范围,如,拍摄范围表征根据前景摄像头A与眼动追踪设备的采集平面S的角度生成的范围,如在该角度的正负45度为其拍摄范围,则对应的前景摄像头的拍摄角度范围为(45°-45°,45°+45°)=(0°,90°),需要说明的是该拍摄角度范围也是相对于眼动追踪设备的采集平面的。则,计算获得的前景摄像头的拍摄角度参数是相对于眼动追踪设备的采集平面的角度范围参数。
S102、根据所述角度参数,采集用户的前景图像。
在获得了角度参数之后,需要根据当前的可调节前景摄像头的角度参数来拍摄用户的前景图像,这样可以使得拍摄获得的前景图像更加满足用户真实看到的前景图像。例如,若在正常的视角下,摄像头采集的前景图像记为第一图像,而若在非正常的视角下,如用户进行瞄准靶心的视角下,摄像头拍摄的前景图像为第二图像,需要说明的是,如果在拍摄第二图像时该摄像头的位置与在拍摄第一图像时摄像头的位置是一样的,这样可能造成第二图像拍摄不完整等现象。因此需要将该可调节摄像头进行位置调整,使得其能够拍摄到的前景图像包括预设目标,且预设目标处于目标区域,这时可以基于调整后的摄像头的角度参数再次进行拍摄,这样得到的前景图像将与用户当前视角相匹配,且能够保持完整。
S103、获取用户的眼动数据。
在获取用户的眼动数据时,可以通过眼动传感器来采集包括用户眼部特征的眼睛图像等,同时可以直接采集能够进行视线追踪的用户的眼动数据,如用户的瞳孔图像、光斑位置图像等特征。
S104、根据所述眼动数据和所述前景图像进行用户的眼动追踪分析,获得分析数据。
在获得了用户的眼动数据后,若该眼动数据为眼部图像,可以通过识别该眼部图像获得用户的瞳孔中心,光斑位置等特征,随着用户的眼球转动,瞳孔中心与光斑的相对位置关系随之发生变化,相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系;根据所述位置变化关系进行视线/注视点估计。然后,可以将得到的视线/注视点估计结果映射到前景图像中,形成最终的分析数据,便于对相应场景下的眼动追踪分析和利用。
具体的,根据眼动数据和前景图像进行用户的眼动追踪分析,获得分析数据,该分析数据是表征用户的注视相关的数据。例如,在射击场景中该分析数据主要表现为运动员的注视点的相关数据,即运动员的注视点坐标,该注视点坐标可以为运动员位于靶心所在平面的坐标,使得可以根据获得的运动员的注视点坐标来辅助设置针对该运动员的训练计划。对应的,该分析数据还可以表征用户的注视角度、注视时长和注视轨迹等相关数据。例如,在对用户的消费行为进行分析的场景中,可以通过得到的分析数据进而得到用户对某个商品的注视时长,这样可以分析获得用户感兴趣的商品。也可以获得用户对该场景中各个商品的浏览轨迹,从而可以指导对商品的摆放布局。
在本发明实施例二提供的眼动追踪方法中,首先获取可调节前景摄像头的角度参数,然后基于该角度参数来采集对应的前景图像,这样采集到的前景图像更加符合用户的注视视角,最后将前景图像与眼动数据进行分析,得到分析数据,更能符合当前眼动追踪场景下的分析需求,实现了对非正常视角的前景图像的采集,即前景图像随人眼注视方向而变化,满足了场景多样性的需求。
实施例三
在实施例三中将对实施例二中各个步骤进行详细说明。
参见图5,其示出了本发明实施例三中提供的一种获取可调节前景摄像头的角度参数的方法,该方法包括以下步骤:
S201、根据用户对所述可调节前景摄像头的调整,获得所述可调节前景摄像头的调整后的位置信息;
S202、基于所述调整后的位置信息与所述可调节前景摄像头的基准位置信息,获得所述可调节前景摄像头的角度参数。
该可调节摄像头有一个基准位置,该基准位置可以是该可调节摄像头的初始位置,或者是默认位置,也可以是该可调节摄像头上一次调整时确定的最终位置。对应的基准位置信息可以是该可调节摄像头的角度参数,也可以是该可调节摄像头的基准点的坐标参数,如,该坐标参数,可以表征摄像头水平方向的偏转角度和竖直方向的偏转角度。
然后,响应于用户手动对该可调节前景摄像头的调节,记录调整后的位置信息,然后根据调整后的位置信息与基准位置信息进行计算,来获得前景摄像头的角度参数。
在本发明实施例三中还提供了另一种获取角度参数的方法,该方法对应于自动调节式的可调节前景摄像头,参见图6,该方法包括:
S301、通过所述眼动传感器采集用户的眼睛图像;
S302、对所述眼睛图像进行分析,获得眼睛偏转角度;
S303、根据所述眼睛偏转角度,计算所述可调节前景摄像头的角度参数。
在该方法中是通过处理器生成控制指令,并且将控制指令作用于可调节前景摄像头上实现的对其的自动调节。其中,处理器是根据眼动传感器采集的参数进行分析,生成的控制指令。具体的,通过眼动传感器采集用户的眼睛图像,并可通过识别瞳孔中心、光斑位置等特征,从而计算眼睛偏转角度,当该偏转角度达到一定的阈值,即大于预设调整阈值时,根据眼睛偏转角度,获取用户注视方向,然后基于用户的注视方向,计算获得可调节前景摄像头的角度参数,即该可调节前景摄像头的旋转角度。
具体的,假设阈值设定为5°,若计算得到的用户的眼睛偏转角度为10°,则眼睛偏转角度10°>阈值5°,即满足对前景摄像头进行调整的条件。然后,根据计算得到的用户的眼睛偏转角度,计算可调节前景摄像头的角度参数,为了便于计算,可以将用户的眼睛偏转角度确定为可调节摄像头的角度参数。也可以根据设定的幅度阈值范围,来确定可调节摄像头的角度参数,如可以为10°的正负2°,即,可调节摄像头的角度参数可以为(8°,12°)之间的任意角度值。
需要说明的是,之所以设置调整阈值是为了避免当计算得到眼睛存在偏转角度后就立即调整可调节摄像头的角度,带来的调整频繁的问题。即当用户的眼睛的偏转角度较小时,若采用正常的拍摄角度可能并不会影响采集到的前景画面,或者影响程度不足以造成对后续分析的较大误差。此时,若进行角度调整,一方面会对造成该眼动追踪设备的调整过程的高功耗,另一方面也会造成频繁调整对用户的体验效果较差。
在本实施例三中还提供了一种采集用户的前景图像的方法,该方法包括:
判断基于所述角度参数采集到的前景图像中预设目标点是否位于所述前景图像的目标区域,如果是,则获取所述前景图像;
如果否,则调整所述角度参数,使得根据调整后的角度参数采集到的前景图像中的预设目标位于所述目标区域。
对前景摄像头进行位置调整后,需要判断调整后的前景摄像头采集到的前景图像是否满足预设标准,即预设目标是否位于目标区域。该目标可以表征用户的注视点所落在的物体,即通过眼动传感器采集的数据分析得到的用户的注视点所集中的物体,也可以是用户根据初始拍摄画面确定的拍摄画面中的目标,例如,用户通过佩戴眼动追踪设备获得一个拍摄的初始前景图像,然后在该前景图像中确定一个参考物,该参考物即为预设目标,例如,在射击场景中,目标可以是靶心。然后会根据分析的最佳范围,处理器自行计算该预设目标的目标区域。然后基于对可调节前景摄像头的调节,来判断预设目标是否处于该目标区域,如果是,则采集前景图像,如果不是,则继续调整,直至满足上述条件,采集前景图像。
需要说明的是,对眼动数据进行分析,获得用户的注视数据后,可以将用户的注视数据还原至前景图像中,获得用户的眼动追踪分析数据。即能够生成包括用户注视点或者注视方向的前景图像。
具体的,根据用户的注视数据,生成可视化图像;将所述可视化图像还原至所述前景图像,获得用户的眼动追踪分析数据。其中,可以根据前景摄像头采集到的前景图像与用户的注视点数据形成注视点估计、注视热图,并进行相关统计分析。
需要说明的是,前景摄像头采集到的前景图像,可以是前景摄像头采集到的前景视频中的一帧或多帧的视频图像。
例如,该眼动追踪方法应用于体育竞技场景下,具体的,可以是根据运动员在射击训练过程中的眼动追踪分析结果,来指导运动员的相关瞄准训练,或者分析运动员的训练数据等。则对应于射击运动员在训练过程中,其按照正常训练姿势站立并注视靶心,运动员可以通过手动调节该可调节的前景摄像头位置,使得靶心位于前景摄像头拍摄的画面中央,也可以基于对运动员的眼动数据的采集,自动调节该前景摄像头的位置,然后采集运动员的眼动数据,并将其还原至当前采集到的前景图像中,得到眼动追踪的分析结果,使得相关指导人员可以根据该分析结果,指导运动员的后期训练,在该方式下获得的分析结果,相对于位置固定的前景摄像头下的分析结果将更加准确,也更能反映训练的实际情况。
实施例四
在本发明实施例四种还提供了一种眼动追踪装置,应用于所述的眼动追踪设备,参见图7,该装置包括:
参数获取单元10用于获取所述可调节前景摄像头的角度参数;
图像采集单元20用于根据所述角度参数,采集用户的前景图像;
眼动数据获取单元30用于获取用户的眼动数据;
分析单元40用于根据所述眼动数据和所述前景图像进行用户的眼动追踪分析,获得分析数据。
在上述实施例的基础上,所述参数获取单元10包括:
第一获取子单元,用于根据用户对所述可调节前景摄像头的调整,获得所述可调节前景摄像头的调整后的位置信息;
第二获取子单元,用于基于所述调整后的位置信息与所述可调节前景摄像头的基准位置信息,获得所述可调节前景摄像头的角度参数。
在上述实施例的基础上,所述参数获取单元10还包括:
第一图像采集子单元,用于通过所述眼动传感器采集用户的眼睛图像;
第一分析子单元,用于对所述眼睛图像进行分析,获得眼睛偏转角度;
第一计算子单元,用于根据所述眼睛偏转角度,计算所述可调节前景摄像头的角度参数。
在上述实施例的基础上,所述第一计算子单元具体用于:
判断所述眼睛偏转角度是否大于预设调整阈值;
如果是,则根据所述眼睛偏转角度,获取用户的注视方向;
根据用户的注视方向,计算所述可调节前景摄像头的角度参数。
在上述实施例的基础上,所述图像采集单元,包括:
判断子单元,用于判断基于所述角度参数采集到的前景图像中预设目标点是否位于所述前景图像的目标区域,如果是,则获取所述前景图像;
调整子单元,用于如果否,则调整所述角度参数,使得根据调整后的角度参数采集到的前景图像中的预设目标位于所述目标区域。
在上述实施例的基础上,所述分析单元包括:
第二分析子单元,用于对所述眼动数据进行分析,获得用户的注视数据;
还原子单元,用于将所述用户的注视数据还原至所述前景图像,获得用户的眼动追踪分析数据。
在上述实施例的基础上,所述还原子单元具体用于:
根据用户的注视数据,生成可视化图像;
将所述可视化图像还原至所述前景图像,获得用户的眼动追踪分析数据。
在本发明实施例四提供的眼动追踪装置中,首先参数获取单元获取可调节前景摄像头的角度参数,然后图像采集单元基于该角度参数来采集对应的前景图像,这样采集到的前景图像更加符合用户的注视视角,最后分析单元将前景图像与眼动数据获取单元得到的眼动数据进行分析,得到分析数据,更能符合当前眼动追踪场景下的分析需求,实现了对非正常视角的前景图像的采集,即前景图像随人眼注视方向而变化,满足了场景多样性的需求。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种眼动追踪设备,其特征在于,包括:头戴式设备,设置在所述头戴式设备上的可调节前景摄像头和眼动传感器以及与所述头戴式设备进行连接的处理器;
所述可调节前景摄像头,用于拍摄前景图像,其中,通过调节所述可调节前景摄像头,使得目标位于所述前景图像的目标区域;
所述眼动传感器,用于采集用户的眼动数据;
所述处理器,用于根据所述前景图像和所述眼动数据进行用户眼动追踪,获得分析数据。
2.根据权利要求1所述的眼动追踪设备,其特征在于,所述头戴式设备包括智能眼镜,所述智能眼镜的左右两个眼镜框中间设置有可调节前景摄像头,所述智能眼镜的左右两个眼镜框上设置有眼动传感器,所述智能眼镜与所述处理器连接。
3.根据权利要求1所述的眼动追踪设备,其特征在于,所述可调节前景摄像头包括:手动调节机构和自动调节组件;
其中,所述智能眼镜的佩戴者可以通过所述手动调节机构调整所述可调节前景摄像头位置;
所述自动调节组件与所述处理器连接,用于接收所述处理器的调整指令,并依据所述调整指令调整所述可调节前景摄像头的位置。
4.根据权利要求3所述的眼动追踪设备,其特征在于,所述手动调节机构包括旋转轴组件。
5.一种眼动追踪方法,其特征在于,应用于如权利要求1-3中任意一项所述的眼动追踪设备,该方法包括:
获取所述可调节前景摄像头的角度参数;
根据所述角度参数,采集用户的前景图像;
获取用户的眼动数据;
根据所述眼动数据和所述前景图像进行用户眼动追踪,获得分析数据。
6.根据权利要求5所述的方法,其特征在于,所述获取所述可调节前景摄像头的角度参数,包括:
根据用户对所述可调节前景摄像头的调整,获得所述可调节前景摄像头的调整后的位置信息;
基于所述调整后的位置信息与所述可调节前景摄像头的基准位置信息,获得所述可调节前景摄像头的角度参数。
7.根据权利要求5所述的方法,其特征在于,所述获取所述可调节前景摄像头的角度参数,包括:
通过所述眼动传感器采集用户的眼睛图像;
对所述眼睛图像进行分析,获得眼睛偏转角度;
根据所述眼睛偏转角度,计算所述可调节前景摄像头的角度参数。
8.根据权利要求7所述的方法,其特征在于,所述根据所述眼睛偏转角度,计算所述可调节前景摄像头的角度参数,包括:
判断所述眼睛偏转角度是否大于预设调整阈值;
如果是,根据所述眼睛偏转角度,获取用户的注视方向;
根据用户的注视方向,计算所述可调节前景摄像头的角度参数。
9.根据权利要求5所述的方法,其特征在于,所述根据所述角度参数,采集用户的前景图像,包括:
判断基于所述角度参数采集到的前景图像中预设目标点是否位于所述前景图像的目标区域,如果是,则获取所述前景图像;
如果否,则调整所述角度参数,使得根据调整后的角度参数采集到的前景图像中的预设目标位于所述目标区域。
10.根据权利要求5所述的方法,其特征在于,所述根据所述眼动数据和所述前景图像进行用户的眼动追踪分析,获得分析数据,包括:
对所述眼动数据进行分析,获得用户的注视数据;
将所述用户的注视数据还原至所述前景图像,获得用户的眼动追踪分析数据。
11.根据权利要求10所述的方法,其特征在于,所述将所述用户的注视数据还原至所述前景图像,获得用户的眼动追踪分析数据,包括:
根据用户的注视数据,生成可视化图像;
将所述可视化图像还原至所述前景图像,获得用户的眼动追踪分析数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910977871.1A CN112666705A (zh) | 2019-10-15 | 2019-10-15 | 一种眼动追踪设备及眼动追踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910977871.1A CN112666705A (zh) | 2019-10-15 | 2019-10-15 | 一种眼动追踪设备及眼动追踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112666705A true CN112666705A (zh) | 2021-04-16 |
Family
ID=75399943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910977871.1A Pending CN112666705A (zh) | 2019-10-15 | 2019-10-15 | 一种眼动追踪设备及眼动追踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112666705A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113253846A (zh) * | 2021-06-02 | 2021-08-13 | 樊天放 | 一种基于目光偏转趋势的hid交互系统及方法 |
CN113633257A (zh) * | 2021-07-29 | 2021-11-12 | 佛山市第一人民医院(中山大学附属佛山医院) | 基于虚拟现实的前庭功能检查方法、系统、设备及介质 |
CN113891062A (zh) * | 2021-09-27 | 2022-01-04 | 歌尔光学科技有限公司 | 视频显示方法、vr头戴设备、视频显示系统及存储介质 |
CN114280781A (zh) * | 2021-12-17 | 2022-04-05 | 歌尔光学科技有限公司 | 智能眼镜、智能眼镜的控制方法及装置 |
CN114363513A (zh) * | 2021-12-24 | 2022-04-15 | 歌尔光学科技有限公司 | 头戴显示设备及其摄像追踪方法、装置、系统和存储介质 |
CN114815257A (zh) * | 2022-04-25 | 2022-07-29 | 歌尔股份有限公司 | 一种xr眼镜及摄像头调整方法、系统、设备、介质 |
CN115103094A (zh) * | 2022-06-16 | 2022-09-23 | 深圳市天趣星空科技有限公司 | 一种基于注视点的摄像头模组远视角调节方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105554384A (zh) * | 2015-12-17 | 2016-05-04 | 上海青橙实业有限公司 | 可穿戴设备及拍摄方法 |
CN105827960A (zh) * | 2016-03-21 | 2016-08-03 | 乐视网信息技术(北京)股份有限公司 | 一种成像方法及装置 |
US20170006217A1 (en) * | 2015-06-30 | 2017-01-05 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Shooting control method, shooting control apparatus and user equipment |
CN107092346A (zh) * | 2017-03-01 | 2017-08-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN108732746A (zh) * | 2018-05-29 | 2018-11-02 | 北京理工大学 | 一种头戴式目视瞄准控制系统 |
CN209044219U (zh) * | 2018-10-25 | 2019-06-28 | 上海麦士信息技术有限公司 | 一种基于眼球追踪技术的放大式眼镜 |
-
2019
- 2019-10-15 CN CN201910977871.1A patent/CN112666705A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170006217A1 (en) * | 2015-06-30 | 2017-01-05 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Shooting control method, shooting control apparatus and user equipment |
CN105554384A (zh) * | 2015-12-17 | 2016-05-04 | 上海青橙实业有限公司 | 可穿戴设备及拍摄方法 |
CN105827960A (zh) * | 2016-03-21 | 2016-08-03 | 乐视网信息技术(北京)股份有限公司 | 一种成像方法及装置 |
CN107092346A (zh) * | 2017-03-01 | 2017-08-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN108732746A (zh) * | 2018-05-29 | 2018-11-02 | 北京理工大学 | 一种头戴式目视瞄准控制系统 |
CN209044219U (zh) * | 2018-10-25 | 2019-06-28 | 上海麦士信息技术有限公司 | 一种基于眼球追踪技术的放大式眼镜 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113253846A (zh) * | 2021-06-02 | 2021-08-13 | 樊天放 | 一种基于目光偏转趋势的hid交互系统及方法 |
CN113253846B (zh) * | 2021-06-02 | 2024-04-12 | 樊天放 | 一种基于目光偏转趋势的hid交互系统及方法 |
CN113633257A (zh) * | 2021-07-29 | 2021-11-12 | 佛山市第一人民医院(中山大学附属佛山医院) | 基于虚拟现实的前庭功能检查方法、系统、设备及介质 |
CN113633257B (zh) * | 2021-07-29 | 2023-12-05 | 佛山市第一人民医院(中山大学附属佛山医院) | 基于虚拟现实的前庭功能检查方法、系统、设备及介质 |
CN113891062A (zh) * | 2021-09-27 | 2022-01-04 | 歌尔光学科技有限公司 | 视频显示方法、vr头戴设备、视频显示系统及存储介质 |
CN114280781A (zh) * | 2021-12-17 | 2022-04-05 | 歌尔光学科技有限公司 | 智能眼镜、智能眼镜的控制方法及装置 |
CN114363513A (zh) * | 2021-12-24 | 2022-04-15 | 歌尔光学科技有限公司 | 头戴显示设备及其摄像追踪方法、装置、系统和存储介质 |
CN114815257A (zh) * | 2022-04-25 | 2022-07-29 | 歌尔股份有限公司 | 一种xr眼镜及摄像头调整方法、系统、设备、介质 |
CN115103094A (zh) * | 2022-06-16 | 2022-09-23 | 深圳市天趣星空科技有限公司 | 一种基于注视点的摄像头模组远视角调节方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112666705A (zh) | 一种眼动追踪设备及眼动追踪方法 | |
CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
CN109086726B (zh) | 一种基于ar智能眼镜的局部图像识别方法及系统 | |
US10650533B2 (en) | Apparatus and method for estimating eye gaze location | |
CN106873778B (zh) | 一种应用的运行控制方法、装置和虚拟现实设备 | |
US10182720B2 (en) | System and method for interacting with and analyzing media on a display using eye gaze tracking | |
CN107392120B (zh) | 一种基于视线估计的注意力智能监督方法 | |
US10165176B2 (en) | Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems | |
CN107390863B (zh) | 设备的控制方法及装置、电子设备、存储介质 | |
US20120133754A1 (en) | Gaze tracking system and method for controlling internet protocol tv at a distance | |
US20170223261A1 (en) | Image pickup device and method of tracking subject thereof | |
CN111552076A (zh) | 一种图像显示方法、ar眼镜及存储介质 | |
CN101587542A (zh) | 基于眼动轨迹跟踪的景深融合增强显示方法及系统 | |
CN103338331A (zh) | 一种采用眼球控制对焦的图像采集系统 | |
CN110780742B (zh) | 眼球追踪处理方法及相关装置 | |
CN109725423B (zh) | 单眼ar眼镜亮度自动调节的方法、存储介质 | |
US20150304625A1 (en) | Image processing device, method, and recording medium | |
CN113903078A (zh) | 人眼注视检测方法、控制方法及相关设备 | |
KR20140037730A (ko) | 착용형 정보 제공 시스템 | |
CN111642939A (zh) | 一种智能镜 | |
CN108140124B (zh) | 提示信息确定方法、装置、电子设备 | |
CN103512547B (zh) | 一种实现视力保护的方法及应用该方法的电子装置 | |
CN112782854A (zh) | 头戴式显示设备以及距离测量器 | |
GB2597917A (en) | Gaze tracking method and apparatus | |
CN112651270A (zh) | 一种注视信息确定方法、装置、终端设备及展示对象 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210416 |