CN117280303A - 眼球跟踪装置、方法以及显示设备 - Google Patents

眼球跟踪装置、方法以及显示设备 Download PDF

Info

Publication number
CN117280303A
CN117280303A CN202280000578.XA CN202280000578A CN117280303A CN 117280303 A CN117280303 A CN 117280303A CN 202280000578 A CN202280000578 A CN 202280000578A CN 117280303 A CN117280303 A CN 117280303A
Authority
CN
China
Prior art keywords
eye tracking
eyeball
eye
cameras
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280000578.XA
Other languages
English (en)
Inventor
薛亚冲
董学
吴仲远
孙建康
闫桂新
邵继洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shiyan Technology Co ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Technology Development Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN117280303A publication Critical patent/CN117280303A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请提供了一种眼球跟踪装置、方法以及显示设备，属于眼球跟踪技术领域，该眼球跟踪装置(10)包括：支架(11)、控制组件(12)、补光组件(13)以及至少两个眼球跟踪相机(14)；至少两个眼球跟踪相机(14)位于支架的至少两个不同的位置，且至少两个眼球跟踪相机(14)的拍摄范围至少具有部分拍摄范围不重叠；控制组件(12)与至少两个眼球跟踪相机(14)电连接。该眼球跟踪装置(10)中包括至少两个眼球跟踪相机(14)，且这至少两个眼球跟踪相机(14)的拍摄范围至少具有部分拍摄范围不重叠，进而这至少两个眼球跟踪相机(14)可以构成一个较大的跟踪范围，控制组件可以确认位于这较大的跟踪范围内进行眼球的注视位置，解决了相关技术中眼球跟踪装置的跟踪范围较小的问题，实现了增大眼球跟踪装置的跟踪范围的效果。

Description

眼球跟踪装置、方法以及显示设备 技术领域
本申请涉及眼球跟踪技术领域，特别涉及一种眼球跟踪装置、方法以及显示设备。
背景技术
眼球跟踪装置是一种能够确定眼球注视位置的装置。
目前的眼球跟踪装置通常包括眼球跟踪相机以及补光灯，该眼球跟踪相机能够拍摄到一定范围内的图像，眼球跟踪装置能够根据该图像中眼球的瞳孔位置以及补光灯在眼球上的光斑位置确定得到眼球的注视位置。其中，眼球跟踪相机所能够拍摄到的范围即为眼球跟踪装置的跟踪范围，当眼球位于该跟踪范围时，该眼球跟踪装置能够确定眼球的注视位置。
但是，上述眼球跟踪装置的跟踪范围较小。
发明内容
本申请实施例提供了一种眼球跟踪装置、方法以及显示设备。所述技术方案如下：
根据本申请实施例的一方面，提供一种眼球跟踪装置，所述眼球跟踪装置包括：支架、控制组件、补光组件以及至少两个眼球跟踪相机；
所述至少两个眼球跟踪相机位于所述支架的至少两个不同的位置，且所述至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠；
所述补光组件位于所述支架上；
所述控制组件与所述至少两个眼球跟踪相机电连接，用于确定所述至少两个眼球跟踪相机的拍摄范围内的眼球的注视位置。
可选地，所述至少两个眼球跟踪相机中，两个相邻的眼球跟踪相机的拍摄范围具有重叠区域。
可选地，所述重叠区域的尺寸大于预设眼球的尺寸。
可选地，所述眼球跟踪装置还包括：图像采集组件；
所述图像采集组件位于所述支架上，且与所述控制组件电连接，所述至少两个眼球跟踪相机的拍摄范围位于图像采集组件的拍摄范围内。
可选地，所述至少两个眼球跟踪相机的拍摄范围的边缘与所述图像采集组件的拍摄范围的边缘之间具有间隔区域，所述间隔区域的尺寸大于预设人脸的尺寸。
可选地，所述支架位于待观察面外，所述支架包括了用于设置待观察面的安装部，所述控制组件用于确定所述至少两个眼球跟踪相机的拍摄范围内的眼球在所述待观察面上的注视位置。
可选地，所述控制组件用于确定所述至少两个眼球跟踪相机的拍摄范围内，与所述待观察面之间的距离满足预设距离范围的眼球在所述待观察面上的注视位置；
所述至少两个眼球跟踪相机的光轴相互平行且共面，所述至少两个眼球跟踪相机的光轴确定的第一平面与经过所述待观察面的中心的垂线相交，且交点位于所述预设距离范围内。
可选地，所述交点位于所述预设距离范围内的中心。
可选地，所述待观察面为显示面板的显示面，所述支架包括用于安装所述显示面板的安装部；
所述至少两个眼球跟踪相机位于所述安装部的下方。
可选地，所述至少两个眼球跟踪相机在所述支架上沿水平方向排布。
可选地，所述待观察面为显示面板的显示面，所述支架包括用于安装所述显示面板的安装部；
所述眼球跟踪装置还包括：图像采集组件；
所述图像采集组件位于所述支架上，且位于所述安装部的下方，所述图像采集组件与所述控制组件电连接，所述至少两个眼球跟踪相机的拍摄范围位于图像采集组件的拍摄范围内。
可选地，所述补光组件包括至少两个补光灯，所述至少两个补光灯位于所述支架上的不同位置。
可选地，所述至少两个补光灯在所述支架上沿水平方向排布。
可选地，所述图像采集组件包括彩色相机，所述眼球跟踪相机包括红外相机，所述彩色相机的分辨率小于所述红外相机的分辨率。
根据本申请实施例的另一方面，提供一种眼球跟踪方法，所述方法用于眼 球跟踪装置的控制组件中，所述眼球跟踪装置还包括：支架、补光组件以及至少两个眼球跟踪相机；所述至少两个眼球跟踪相机位于所述支架的至少两个不同的位置，且所述至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠；所述补光组件位于所述支架上；所述控制组件与所述至少两个眼球跟踪相机电连接，
所述方法包括：
开启所述补光组件；
获取所述至少两个眼球跟踪相机获取的第一图像；
基于所述第一图像确定眼球的注视位置。
可选地，所述眼球跟踪装置还包括：图像采集组件；所述图像采集组件位于所述支架上，且与所述控制组件电连接，
所述基于所述第一图像确定眼球的注视位置之前，所述方法还包括：
获取所述图像采集组件采集的第二图像；
基于所述第二图像获取人脸信息；
基于所述人脸信息确定眼球在所述第二图像中的位置；
所述基于所述第一图像确定眼球的注视位置，包括：
基于所述眼球在所述第二图像中的位置，确定所述眼球在所述第一图像中的位置；
基于所述眼球在所述第一图像中的位置以及所述第一图像，确定所述眼球的注视位置。
可选地，所述第一图像为所述至少两个眼球跟踪相机中的第一眼球跟踪相机采集的图像，
所述基于所述眼球在所述第一图像中的位置以及所述第一图像，确定所述眼球的注视位置，包括：
基于所述眼球在所述第一图像中的位置以及所述第一图像，获取所述眼球的瞳孔的位置，以及所述补光组件发出的光线在所述眼球上的光斑的位置；
获取所述至少两个眼球跟踪相机的视线模型，所述眼球跟踪相机的视线模型用于根据所述眼球跟踪相机采集得到的第一图像中，所述眼球的瞳孔的位置以及所述光斑的位置，确定所述眼球的注视位置；
基于所述至少两个眼球跟踪相机的视线模型，以及所述眼球的瞳孔位置和光斑的位置，确定所述眼球的注视位置。
可选地，所述基于所述至少两个眼球跟踪相机的视线模型，以及所述眼球的瞳孔位置和光斑的位置，确定所述眼球的注视位置，包括：
分别通过所述至少两个眼球跟踪相机的视线模型确定得到所述眼球的至少一个注视位置；
基于所述至少一个注视位置，确定一个目标注视位置。
可选地，所述第一图像为所述至少两个眼球跟踪相机中第一眼球跟踪相机采集的图像，
所述补光组件包括至少两个补光灯，所述至少两个补光灯位于所述支架上的不同位置，所述第一图像中包括两个眼球，
所述基于所述眼球在所述第一图像中的位置以及所述第一图像，获取所述眼球的瞳孔的位置，以及所述补光组件发出的光线在所述眼球上的光斑的位置，包括：
基于所述两个眼球在所述第一图像中的位置以及所述第一图像，获取所述两个眼球的瞳孔的位置，以及所述至少两个补光组件发出的光线在所述两个眼球上光斑的位置；
所述获取所述至少两个眼球跟踪相机的视线模型，包括：
基于每个样本数据，确定至少一个所述样本数据对应的视线模型，所述样本数据包括所述两个眼球中一个眼球的瞳孔的位置，以及所述一个眼球上的一个光斑的位置，至少一个所述样本数据对应的视线模型为所述至少两个眼球跟踪相机中所述第一眼球跟踪相机的视线模型。
根据本申请实施例的另一方面，提供一种显示设备，所述显示设备包括显示面板、外壳以及眼球跟踪装置；
所述眼球跟踪装置包括：控制组件、补光组件、图像采集组件以及至少两个眼球跟踪相机；
所述补光组件、图像采集组件以及所述至少两个眼球跟踪相机位于所述外壳上，且均朝向所述显示面板的出光方向，所述至少两个眼球跟踪相机位于所述外壳的至少两个不同的位置；
所述控制组件与所述至少两个眼球跟踪相机电连接。
可选地，所述至少两个眼球跟踪相机在所述外壳上位于所述显示面板的下方，且沿水平方向排布。
可选地，所述显示面板的显示面呈矩形，且所述显示面的一条边与水平方 向平行；
所述至少两个眼球跟踪相机中，任意两个相邻的眼球跟踪相机之间的距离相等。
可选地，所述眼球跟踪相机与所述显示面板的显示面共面，所述眼球跟踪相机的数量为3，3个所述眼球跟踪相机中两个相邻的眼球跟踪相机之间的间距满足：
其中，L用于确定所述间距，p由眼球宽度决定，e由两个眼球之间的间距决定，α为所述眼球跟踪相机的水平视场角，D1和D2分别为预设的所述眼球跟踪相机进行眼球跟踪的目标区域在垂直于所述显示面的方向上，与所述显示面之间的最小距离以及最大距离；
θ为预设的3个所述眼球跟踪相机的整体视场角。
可选地，3个所述眼球跟踪相机的光轴相互平行且共面，3个所述眼球跟踪相机的光轴确定的第一平面与经过所述显示面的中心的垂线相交，且交点位于所述目标区域内。
可选地，所述交点位于所述目标区域在垂直于所述显示面的方向上的中心，所述眼球跟踪相机满足：
其中，所述b用于确定所述眼球跟踪相机的光轴与所述显示面之间的夹角，所述k为所述显示面的中心与所述眼球跟踪相机在垂直方向上之间的距离。
可选地，所述图像采集组件在所述外壳上位于所述显示面板的下方，且与所述显示面的下边缘的两端的距离相等。
可选地，所述外壳包括底座以及位于所述底座上的框体；
所述补光组件、所述图像采集组件以及所述至少两个眼球跟踪相机均安装于所述框体上。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过在眼球跟踪装置中设置至少两个眼球跟踪相机，且这至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠，进而这至少两个眼球跟踪相 机可以构成一个较大的跟踪范围，控制组件可以确认位于这较大的跟踪范围内进行眼球的注视位置，解决了相关技术中眼球跟踪装置的跟踪范围较小的问题，实现了增大眼球跟踪装置的跟踪范围的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种眼球跟踪装置的结构示意图；
图2是本申请实施例提供的另一种眼球跟踪装置的结构示意图；
图3是图2所示的眼球跟踪装置的仰视图；
图4是图3所示的眼球跟踪装置的左视图；
图5是本申请实施例中一种眼球观察显示面的示意图；
图6是本申请实施例提供的一种眼球跟踪方法的流程图；
图7是本申请实施例提供的另一种眼球跟踪方法的流程图；
图8是本申请实施例提供的一种显示设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中，眼球跟踪装置通常仅包括一个眼球跟踪相机。而眼球跟踪相机由于其功能的特殊性，常规的眼球跟踪相机的拍摄范围(拍摄范围可以由眼球跟踪相机的视场角以及进行眼球跟踪的预设距离范围来衡量，对于同样的跟踪距离的范围，视场角越大，则拍摄范围越大，视场角越小，则拍摄范围越小)通常较小，例如视场角(Field of View，FOV)通常在30度以下，这就导致眼球跟踪装置的跟踪范围(跟踪范围可以与眼球跟踪相机的拍摄范围相同)较小，眼球非常容易脱离眼球跟踪装置的跟踪范围，导致眼球跟踪装置的用户体验较差。其中，预设距离是指眼球与眼球跟踪相机之间的距离，预设距离范围为该距离的范围，眼球跟踪相机可以对该范围内，且位于视场角中的眼球进行跟踪。
目前的眼球跟踪相机通常为红外相机，而视场角较大的红外相机，制造难度较大，通常需要定制，且成本较高。示例性的，以32寸屏幕为例，观看距离设定为400-700mm，观看范围为60°(也即是观看视线与屏幕的最小夹角大于30度)，瞳孔定位误差为0个像素(p)，视线计算精度<±1°；利用这些参数可求得，眼球跟踪相机在1°范围内拍摄的图像包含的像素数至少需要达到45.2p，即红外相机所采集的到的图像的角分辨率(Pixels Per Degree，PPD)(角分辨率指视场角中的平均每1°夹角内填充的像素点的数量)至少为45.2，才能保证视线计算精度达到<±1°；即，如果眼球追踪水平范围为60°，那么对应的横向分辨率需要达到60*45.2＝2712p；当前市面上如此高分辨率的红外相机且达到120fps(每秒帧数)(眼球跟踪相机通常要求较高fps)的相机的制造难度通常较大，且成本较高。
本申请实施例提供了一种眼跟踪装置、方法以及显示设备，可以解决该问题。
图1是本申请实施例提供的一种眼球跟踪装置的结构示意图，该眼球跟踪装置10可以部分或者全部结合于显示设备中。该眼球跟踪装置10包括：支架11、控制组件12、补光组件13以及至少两个眼球跟踪相机14。
至少两个眼球跟踪相机14位于支架11的至少两个不同的位置，且至少两个眼球跟踪相机14的拍摄范围(f1和f2)至少具有部分拍摄范围不重叠。
补光组件13位于支架11上。
控制组件12与至少两个眼球跟踪相机14电连接，用于确定至少两个眼球跟踪相机14的拍摄范围内的眼球的注视位置。
图1示出了眼球跟踪装置包括两个眼球跟踪相机的结构，但眼球跟踪相机的数量还可以为更多，如3、4、5、6、7、8等，本申请实施例对此不进行限制。
由图1可以看出，两个眼球跟踪相机14的拍摄范围f1和f2存在部分重叠区域，还存在部分不重叠的区域，两个眼球跟踪相机14共同的构成了一个较大的拍摄范围。
综上所述，本申请实施例提供的眼球跟踪装置，通过设置至少两个眼球跟踪相机，且这至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠，进而这至少两个眼球跟踪相机可以构成一个较大的跟踪范围，控制组件可以确认位于这较大的跟踪范围内进行眼球的注视位置，解决了相关技术中眼球跟踪 装置的跟踪范围较小的问题，实现了增大眼球跟踪装置的跟踪范围的效果。
另外，该眼球跟踪装置可以通过多个拍摄范围较小的眼球跟踪相机，来实现一个较大的眼球的跟踪范围，而无需使用拍摄范围较大的眼球跟踪相机，如此便降低了眼球跟踪装置的制造难度以及成本。
图2是本申请实施例提供的另一种眼球跟踪装置的结构示意图，该眼球跟踪装置在图1所示的眼球跟踪装置的基础上进行了一些调整。
其中，可选地，至少两个眼球跟踪相机14中，两个相邻的眼球跟踪相机14的拍摄范围具有重叠区域q1。如此可以使这至少两个眼球跟踪相机14的拍摄范围所构成的合并拍摄范围是一个连续的范围，避免了眼球位于两个相邻的眼球跟踪相机14的拍摄范围之间时，无法进行眼球跟踪的问题。
其中，重叠区域q1的尺寸可以大于预设眼球的尺寸，具体的，重叠区域q1的最小位置处尺寸可以大于或等于预设眼球的最大位置处尺寸。也即是相邻的眼球跟踪相机14的拍摄范围的重叠区域q1，至少可以容纳一个眼球，如此可以保证相邻的眼球跟踪相机14中，任意一个眼球跟踪相机14都可以采集的得到完整的眼球的图像，可以便于对眼球的图像进行分析，避免出现眼球跟踪相机14仅能够采集得到部分眼球的图像，难以对眼球的图像进行分析的问题的发生。其中，预设眼球的尺寸可以参考眼球的常规尺寸例如可以大于或等于眼球常规的最大尺寸。
图2示出的是眼球跟踪相机的数量为3的结构，但本申请实施例对此不进行限制。
图3是图2所示的眼球跟踪装置的仰视图(图3中未示出控制组件)。其中，支架11包括用于设置待观察面m1的安装部111，控制组件用于确定至少两个眼球跟踪相机的拍摄范围内的眼球在待观察面m1上的注视位置。在一种示例性的实施例中，该待观察面m1可以为显示面板的显示面，进而安装部111可以为用于安装显示面板的安装部。
在一种示例性的实施例中，控制组件用于确定至少两个眼球跟踪相机14的拍摄范围内，与待观察面m1之间的距离满足预设距离范围的眼球在待观察面m1上的注视位置。如图3所示，该预设距离范围可以为与待观察面m1的垂直距离大于D1且小于D2的范围。需要说明的是，由于此种结构下，眼球跟踪相机相对于待观察面m1倾斜设置，因而该预设距离范围可以是基于倾斜角度所转 换得到的预设距离范围，转换后的预设距离范围是指垂直于待观察面m1的方向上的距离的范围。
至少两个眼球跟踪相机14的光轴相互平行且共面，至少两个眼球跟踪相机14的光轴确定的第一平面m2与经过待观察面的中心的垂线c1相交，且交点j位于预设距离范围内。也即是该交点j与待观察面m1的垂直距离大于D1且小于D2。
在一种示例性的实施例中，至少两个眼球跟踪相机14位于安装部111的下方，进而该眼球跟踪相机14位于待观察面m1的下方。这里的下方可以是指待观察面m1朝向地面的一侧。由于眼球具有睫毛以及眼皮等结构，因而当眼球跟踪相机14位于较高的位置时，可能会被睫毛以及眼皮等结构阻挡，进而难以获取较为完整清晰的眼球的图像，而本申请实施例提供的眼球跟踪装置中，眼球跟踪相机14位于安装部111的下方，处于一个较低的位置，当眼球观察待观察面m1时，眼球跟踪相机14被睫毛以及眼皮等结构阻挡的概率较小，获取较为完整清晰的眼球的图像的概率较大，便于确定眼球的注视位置。其中，交点j位于预设距离范围内的中心。也即是，交点j与待观察面m1的垂直距离为：
(D1+D2)/2。眼球位置该位置处的概率较大，交点j位置该位置时，可以进一步提升获取的眼球图像的清晰度(眼球越靠近眼球跟踪相机的光轴，则获取的眼球的图像就会越清晰)。
在一种示例性的实施例中，至少两个眼球跟踪相机14在支架11上沿水平方向排布。也即是这至少两个眼球跟踪相机14沿平行于水平面的方向在支架11上排布。由于眼球在观察待观察面(如显示器的显示面时)时，通常仅在平行于水平面的方向上移动，即便在垂直与水平面的方向上移动，移动距离也会较小，难以脱离眼球跟踪相机14在竖直方向上的拍摄范围，因而在本申请实施例中，将至少两个眼球跟踪相机14在支架11上沿水平方向排布，可以最大化利用每个眼球跟踪相机14，进一步增大这至少两个眼球跟踪相机14的拍摄范围所构成的跟踪范围。
图4是图3所示的眼球跟踪装置的左视图。其中，眼球跟踪装置还包括：图像采集组件15；图像采集组件15位于支架11上，且与控制组件12电连接，至少两个眼球跟踪相机14的拍摄范围位于图像采集组件15的拍摄范围内。也即是该图像采集组件15的拍摄范围大于至少两个眼球跟踪相机14的拍摄范围，且包括了该至少两个眼球跟踪相机14的拍摄范围。在眼球跟踪装置的预设距离 范围确定后，该图像采集组件15的视场角大于任意一个眼球跟踪相机14的视场角，具体的，请参考图2，图像采集组件15的视场角v大于眼球跟踪相机14的视场角a，且在预设距离范围的最近距离处(与待观察面m1的垂直距离为D1的位置处)，以及最远距离D2处(与待观察面m1的垂直距离为D2的位置处)，该图像采集组件15所能拍摄到区域均大于该至少两个眼球跟踪相机14所能拍摄到的区域。
该图像采集组件15并非是眼球跟踪相机，具有较大的视场角时，制造难度以及成本也不会太高。如此便可以在眼球跟踪装置的中设置一个视场角较大的图像采集组件15，以与至少两个眼球跟踪相机14配合，来确定眼球的注视位置。示例性的，由于眼球跟踪相机的视场角较小，所采集的图像中，可能难以包括整个人脸的图像，进而基于人脸的图像来确定眼球的位置也会较为困难。而图像采集组件15的视场角较大，采集得到的图像仅包括整个人脸的图像的概率较大，进而降低了基于人脸的图像来确定眼球的位置的难度，提升了确定的眼球位置精确程度，有利于眼球跟踪装置进行眼球注视位置的确定。
在一种示例性的实施例中，至少两个眼球跟踪相机14的拍摄范围的边缘与图像采集组件15的拍摄范围的边缘之间具有间隔区域g1，间隔区域g1的尺寸大于预设人脸的尺寸。如此便可以确保在眼球跟踪相机14的拍摄范围的边缘处，图像采集组件15也能够采集得到完整人脸的图像。该预设人脸的尺寸可以参考预设的标准人脸模型，例如在水平方向上的尺寸可以为135毫米或更大。
其中，间隔区域g1尺寸可以在眼球跟踪装置的预设距离范围的最小距离处(也即是图2所示的s1处)大于预设人脸的尺寸。这是由于眼球跟踪相机14以及图像采集组件15的拍摄范围在水平方向上均为扇形，且图像采集组件15的视场角大于眼球跟踪相机14的视场角，进而该间隔区域g1(即图2中的阴影区域)的尺寸(在平行于待观察面m1方向上的尺寸)会沿远离待观察面m1的方向上，逐渐增大，如图2中该间隔区域g1的在在眼球跟踪装置的预设距离范围的最小距离处s1的尺寸x1，小于在最大距离处s2的尺寸x2。基于此，当间隔区域g1尺寸在眼球跟踪装置的预设距离范围的最小距离处大于预设人脸的尺寸时，则在预设距离范围的各个位置，图像采集组件15的拍摄范围的边缘与眼球跟踪相机14的拍摄范围的边缘之间的间隔区域g1的尺寸均会大于预设人脸的尺寸。
在一种示例性的实施例中，请参考图4，图像采集组件15位于支架11上， 且位于安装部111的下方，图像采集组件15与控制组件12电连接。这里的下方可以是指待观察面m1朝向地面的一侧。由于眼球具有睫毛以及眼皮等结构，因而当图像采集组件15位于较高的位置时，可能会被睫毛以及眼皮等结构阻挡，进而难以获取较为完整清晰的眼球的图像，而本申请实施例提供的眼球跟踪装置中，图像采集组件15位于安装部111的下方，处于一个较低的位置，当眼球观察待观察面m1时，图像采集组件15被睫毛以及眼皮等结构阻挡的概率较小，获取较为完整清晰的眼球的图像的概率较大，便于确定眼球的注视位置。
在一种示例性的实施例中，图像采集组件15包括彩色相机，眼球跟踪相机14包括红外相机，彩色相机的分辨率小于红外相机的分辨率。由于彩色相机用于确定眼球的位置，但可以不进行瞳孔以及光斑的位置的确定，因而对于分辨率的要求较低，进而图像采集组件15中便可以设置分辨率较低的彩色相机来实现功能，另外，彩色相机为常规的相机，制造难度较低，在分辨率也较低时，其成本也会较低，如此便可以降低眼球跟踪装置的成本。示例性的，彩色相机的分辨率为640*480，帧率为120fps，水平视场角为90°。
请参考图4，补光组件13包括至少两个补光灯131，至少两个补光灯131位于支架11上的不同位置。补光灯发出的光线可以在眼球上形成光斑，由于补光灯的位置以及眼球跟踪相机的位置是已知的，进而一种方法是根据眼球跟踪相机采集的图像中，眼球的瞳孔的位置以及补光灯发出的光线在眼球中的光斑的位置，以及补光灯和眼球跟踪相机的位置来确定眼球的注视位置。但是，由于眼球所处位置以及角度等一些原因，导致眼球跟踪相机所采集得到的图像并不包括完整的眼球的图像，进而可能会存在光斑丢失的情况发生，此时就无法确定眼球的注视位置。
而本申请实施例中，设置了多个补光灯，也这多个补光灯位于不同的位置，进而这多个补光灯发出的光线在眼球上产生的多个光斑也会位于不同的位置，而多个光斑同时丢失的概率较小，进而便提升了能够成功确定眼球的注视位置的概率。
需要说明的是，当眼球跟踪相机包括红外相机时，该补光灯可以为红外补光灯。
可选地，该至少两个补光灯131在支架11上沿水平方向排布。由上述内容可知，眼球通常相对于待观察面m1，在水平方向上移动，继而当该至少两个补光灯131在支架11上沿水平方向排布时，可以使补光灯131覆盖更大的眼球活 动范围，进而提升该眼球跟踪装置的跟踪范围。
综上所述，本申请实施例提供的眼球跟踪装置，通过设置至少两个眼球跟踪相机，且这至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠，进而这至少两个眼球跟踪相机可以构成一个较大的跟踪范围，控制组件可以确认位于这较大的跟踪范围内进行眼球的注视位置，解决了相关技术中眼球跟踪装置的跟踪范围较小的问题，实现了增大眼球跟踪装置的跟踪范围的效果。
另外，该眼球跟踪装置可以通过多个拍摄范围较小的眼球跟踪相机，来实现一个较大的眼球的跟踪范围，而无需使用拍摄范围较大的眼球跟踪相机，如此便降低了眼球跟踪装置的制造难度以及成本。
本申请实施例示出的是眼球跟踪装置与显示面板均位于支架上构成了一个整体的装置，但眼球跟踪装置与显示面板也可以为分离的结构，本申请实施例对此不进行限制。
在一个具体的例子中，本申请实施例提供的眼球跟踪装置包含3个红外相机，2个红外LED灯，1个彩色相机，和控制组件；其中彩色相机分辨率较低，用于采集人脸图像，参数如下：分辨率640*480，帧率120fps，水平视场角90°；另外3个红外相机分辨率较高，用于采集瞳孔图像，3个红外相机可以简称：IR1、IR2以及IR3，参数如下：分辨率1280*720，帧率120fps，水平视场角30°；相邻红外相机之间设置一个波长为850纳米的红外LED灯，用于红外补光；整体硬件结构布局可以参考图4。
眼球跟踪相机的理论参数的确定过程可以包括：
请参考图5，图5是本申请实施例中一种眼球观察显示面的示意图，其中，屏幕的显示面m1的尺寸为P(该尺寸为屏幕的显示面的对角线的长度，本示例以长宽比为16:9的屏幕进行说明)，眼球的水平观察范围为H°，纵向观察范围为V°，眼球与屏幕的显示面m1的预设距离为(D1，D2)，眼球半径为r；
则在距离屏幕d处，屏幕的在眼球中所成张角为：θ_H*θ_V，如图2所示；
则，屏幕宽*高为：
屏幕在眼球中所成张角：
下面以横向分辨率计算为例，保持头部不动，眼球从注视屏幕左侧移动至 注视屏幕右侧，瞳孔横向运动弧长为C：
瞳孔定位误差为n个像素，需求的视线计算精度为e°，则上述瞳孔在从注视屏幕左侧移动至注视屏幕右侧后，瞳孔转动的度数为θ H，当瞳孔的注视位置在水平方向上移动时，其移动的像素数为m：
瞳孔运动弧长C在相机中所成张角为α，公式如下：
设相机横向分辨率为M，根据相机拍摄到的眼球运动像素数m、眼球运动在相机中所成张角α、相机本身的横向视场角H之间的等比关系可得：
本示例性实施例中，以32寸屏幕为例，观看距离即为设定为400-700mm，该观看距离可以与眼球跟踪装置进行眼球跟踪的预设距离相等，观看角度范围为60°，瞳孔定位误差为0pixel，视线计算精度<±1°；基于这些已知参数以及上述内容可知，眼球跟踪相机在1°范围内拍摄的图像包含的像素数至少需要达到45.2个，即，眼球跟踪相机的PPD至少为45.2，才能保证视线计算精度达到<±1°；即，如果眼球追踪横向使用范围60°，那么对应的横向分辨率需要达到60*45.2＝2712；当前市面上如此高分辨率且帧率达到120fps的红外相机较少，且成本较高。
而本申请实施例通过至少两个视场角较小的眼球跟踪相机以及一个彩色相机即可以实现该功能。
对于横向布局，如图2、图3和图4所示，图像采集组件15(包括彩色相机)以及三个眼球跟踪相机(红外相机)的光轴指向正前方，彩色相机视场角大，其拍摄范围覆盖所有红外的拍摄范围。
可以预先设置眼球跟踪装置进行眼球跟踪的预设距离为400-700mm，眼球追踪需求范围是±30°，即眼球跟踪装置的参数要求为：在最近使用距离400mm处，人头部运动达到±30°，也能够进行视线计算；同样在700mm处也要确保人头部运动达到±30°的情况下，能够进行视线计算。则在400mm处，要求相邻的眼球跟踪相机的拍摄范围存在重叠区域，且重叠区域的宽度大于单眼宽度，重 叠区域的高度大于单眼的高度；对于标准人脸(本领域确定的一个标准人脸，其具有较为标准的参数，用于进行人脸相关的各种计算)，单眼宽度约为30mm，单眼高度约为20mm；则可得相邻眼球跟踪相机横向交叠区域至少为30mm，纵向交叠区域至少为20mm。
设相邻眼球跟踪相机横向间距为L，在眼球跟踪装置的预设距离范围的最小距离s1处的交叠区域q1宽度为p(单眼宽度)，眼球跟踪相机横向FOV为α，眼球跟踪装置的整体的视场角为θ，在眼球跟踪装置的预设距离范围的最小距离s1处，横向跟踪宽度≥W1，最大距离s2处，横向跟踪宽度≥W2，其中，跟踪宽度是指眼球跟踪相机可以在该距离处进行眼球跟踪的宽度(水平方向上的尺寸)，则可得：
在s1处，要满足视场角为θ，横向追踪宽度W1至少为：
在s2处，横向追踪宽度W2至少为：
为减少对眼球跟踪相机的视场角的需求(降低相机FOV可减小相机分辨率需求)，在s2处，进行如下设定：在水平方向上的左侧边界，使用右眼追踪，在水平方向上的右侧边界，使用左眼追踪，这样设定可以当头部移动到边界时，眼球跟踪相机拍摄无需覆盖两只眼，只需要单眼即可。
三个眼球跟踪相机在s1处横向拍摄覆盖的宽度需要≥W1，在s2处横向拍摄覆盖的宽度需要≥W2，如图2所示；则：
e为两个眼球之间的间距，示例性的，可以为65，由此可得：α≥28°，取α＝28°，则L＝166mm。
也即是相邻的眼球跟踪相机14在水平方向上的间距为166mm，如图2所示；在s1处，重叠区域q1在水平方向上的尺寸为30mm；若相机横纵比为16:9，纵向视场角为16°；由上述可知，眼球跟踪相机需求的PPD为45.2，则横向分辨率为1265，纵向分辨率为723。进而眼球跟踪相机的分辨率大于1265*723即可，相较于相关技术中眼球跟踪相机的分辨率需要大于2712，本申请实施例提供的 眼球跟踪相机大大缩小了对于横向分辨率的要求(对于纵向分辨率的要求，本申请实施例提供的眼球跟踪相机可以与相关技术中眼球跟踪相机的纵向分辨率相同)。示例性的，本申请实施例提供的眼球跟踪装置中的一个眼球跟踪相机的分辨率可以为1280*800。
3个眼球跟踪相机14和图像采集组件15的摆放角度和位置如图3所示。
其中，相机角度确定方式：至少两个眼球跟踪相机14的光轴相互平行且共面，至少两个眼球跟踪相机14的光轴确定的第一平面m2与经过待观察面的中心的垂线c1相交，且交点j位于预设距离D1-D2之间，例如在中间距离(D1+D2)/2处。若显示面m1的中心到底边的眼球跟踪相机之间的距离为k，则相机光轴的摆放角度b为：
对于彩色相机，其拍摄范围，需要覆盖所有红外相机的拍摄范围；依据标准人脸模型，人脸平均宽度为136mm，为确保眼球跟踪相机拍摄区域的边界处，RGB相机能采集到完整人脸，可以在眼球跟踪相机拍摄区域左右各增加一个人脸宽度的缓冲区域，基于上述公开内容可以求得三个眼球跟踪相机在600mm处的水平拍摄宽度为952mm，因此彩色相机的水平拍摄宽度为：
952+136*2＝1224mm；
由此，彩色相机在600mm处的水平FOV至少为：
arctan(1224/2/600)*2≈90°；
在硬件方面，本申请实施例提供的眼球跟踪装置，可以仅使用3个常规的红外相机和1个常规的彩色相机，即可实现水平范围超过60°的眼球追踪，远超相关技术中的眼球跟踪装置在水平方向的跟踪角度只有32°左右的水平；并且3个常规的红外相机和1个常规的彩色相机的总成本较低，一般不超过千元。
需要说明的是，上述示例性的例子给出了一种眼球跟踪装置的具体参数，但本申请实施例对此并不进行限制，也即是眼球跟踪装置还可以具有其他的参数，例如眼球跟踪相机的数量，眼球跟踪相机的视场角以及眼球跟踪相机进行眼球跟踪的预设距离范围等参数还可以为其他值。
图6是本申请实施例提供的一种眼球跟踪方法的流程图，该眼球跟踪方法可以应用于上述实施例提供的眼球跟踪装置的控制组件中，该方法包括下面几个步骤：
步骤601、开启补光组件。
步骤602、获取至少两个眼球跟踪相机获取的第一图像。
步骤603、基于第一图像确定眼球的注视位置。
综上所述，本申请实施例提供的眼球跟踪方法，通过至少两个眼球跟踪相机获取第一图像，并基于该第一图像确定眼球的注视位置，由于这至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠，进而这至少两个眼球跟踪相机可以构成一个较大的跟踪范围，如此控制组件便可以确认位于这较大的跟踪范围内进行眼球的注视位置，解决了相关技术中对于眼球的注视位置的跟踪范围较小的问题，实现了增大眼球跟踪装置的跟踪范围的效果。
图7是本申请实施例提供的一种眼球跟踪方法的流程图，该眼球跟踪方法可以应用于上述实施例提供的眼球跟踪装置的控制组件中，该方法包括下面几个步骤：
步骤701、开启补光组件。
补光组件，补光组件发出的光线可以在眼球上形成光斑，由于补光组件的位置以及眼球跟踪相机的位置是已知的，进而一种方法是根据眼球跟踪相机采集的图像中，眼球的瞳孔的位置以及补光组件发出的光线在眼球中的光斑的位置，以及补光组件和眼球跟踪相机的位置来确定眼球的注视位置。
在一种示例性的实施例中，补光组件包括至少两个补光灯，至少两个补光灯位于支架上的不同位置。补光灯发出的光线可以在眼球上形成光斑，由于补光灯的位置以及眼球跟踪相机的位置是已知的，进而一种方法是根据眼球跟踪相机采集的图像中，眼球的瞳孔的位置以及补光灯发出的光线在眼球中的光斑的位置，以及补光灯和眼球跟踪相机的位置来确定眼球的注视位置。但是，由于眼球所处位置以及角度等一些原因，导致眼球跟踪相机所采集得到的图像并不包括完整的眼球的图像，进而可能会存在光斑丢失的情况发生，此时就无法确定眼球的注视位置。
而本申请实施例中，设置了多个补光灯，也这多个补光灯位于不同的位置，进而这多个补光灯发出的光线在眼球上产生的多个光斑也会位于不同的位置，而多个光斑同时丢失的概率较小，进而便提升了能够成功确定眼球的注视位置的概率。
步骤702、获取图像采集组件采集的第二图像。
该图像采集组件具有一个较大的拍摄范围，每个眼球跟踪相机的拍摄范围均位于该图像采集组件的拍摄范围内。
步骤703、基于第二图像获取人脸信息。
由于该图像采集组件的拍摄范围较大，进而该图像采集组件采集的得到的第二图像包括完整的人脸的概率较大，基于第二图像获取人脸信息也会更为精确。该人脸信息可以包括人脸在第二图像中的区域的位置。
示例性的，可以采用人脸检测算法来得到第二图像中的人脸信息。
步骤704、基于人脸信息确定眼球在第二图像中的位置。
确定了人脸信息后，即可以进一步基于人脸信息确定眼球在第二图像中的位置，该位置可以以眼球区域坐标的形式标识。此外，还可以基于人脸信息确定确定人脸位姿坐标。
步骤705、基于眼球在第二图像中的位置，确定眼球在第一图像中的位置。
由于眼球在第二图像中的位置等信息是在图像采集组件的坐标系下确定的参数，而第一图像为眼球跟踪相机获取的图像，进而要先进行坐标系的转换，该转换过程可以包括：
上式中，相机A(相机A可以指图像采集组件)和相机B(相机B可以指眼球跟踪相机)的内部参数矩阵如下：
z表示眼球到待观察面的距离，s表示相机A和相机B在水平方向的间距，t表示相机A和相机B在竖直方向上的间距；(u A,v A)表示相机A中的眼球区域坐标，(u B,v B)表示相机B中的眼球区域坐标，fxA表示与相机A水平焦距相关的一个参数，可以认为是在单位为一个像素的情况下，相机A的水平焦距，类似的，fxB可以认为是在单位为一个像素时，相机B的水平焦距，fyA可以认为是在单位为一个像素时，相机A的垂直焦距，fyB可以认为是在单位为一个像素时，相机B的垂直焦距，U A为和相机A的水平分辨率相关的参数，可以约为相机A的水平分辨率的一半，V A为和相机A的垂直分辨率相关的参数，可以约为 相机A的垂直分辨率的一半，U B为和相机B的水平分辨率相关的参数，可以约为相机B的水平分辨率的一半，V B为和相机B的垂直分辨率相关的参数，可以约为相机B的垂直分辨率的一半。
如此便可以确定眼球在第一图像中的位置。
步骤706、基于眼球在第一图像中的位置以及第一图像，获取眼球的瞳孔的位置，以及补光组件发出的光线在眼球上的光斑的位置。
该步骤可以包括：
1)瞳孔检测。
示例性的，可以采用基于累积灰度直方图的自适应阈值检测方法来进行瞳孔检测，以获取瞳孔的位置。该方法包括：
1.1获取当前眼球区域的灰度直方图；
1.2将所得的灰度直方图按照从小到大进行累加，由于瞳孔区域灰度值较小，因此在累加后的灰度直方图中，瞳孔区域的灰度值和非瞳孔区域灰度值之间会出现一个拐点，这个拐点记为当前瞳孔区域的阈值；
1.3得到瞳孔区域的阈值后，对眼球区域进行二值化处理，以及椭圆拟合，即可以得到瞳孔中心坐标。该瞳孔中心坐标即可以作为瞳孔的坐标。
当然，也可以通过其他方式来得到瞳孔中心坐标，本申请实施例对此不进行限制。
2)进行光斑检测。
2.1在上述瞳孔坐标周围m*m的像素区域(该像素区域包括瞳孔坐标，且以瞳孔坐标为中心，m的取值可以依据瞳孔的直径来确定，例如瞳孔直径范围为20～50个像素时，则m可以为80)内进行光斑检测，对于眼球跟踪装置，光斑一般位于瞳孔附近，因此在瞳孔周围一定范围内进性光斑检测，可以提高光斑检测精度和速度。
2.2设定光斑检测阈值为200，该值为经验值，依据该阈值二值化得到光斑图像，并椭圆拟合得到光斑中心坐标，该光斑中心坐标可以作为光斑的位置。
由于眼球的数量通常为2，进而第一图像中包括两个眼球。若补光组件包括多个补光灯，每个补光灯也会在眼球上形成一个光斑，在此基础上，步骤706包括：
基于两个眼球在第一图像中的位置以及第一图像，获取两个眼球的瞳孔的位置，以及至少两个补光组件发出的光线在两个眼球上光斑的位置。
步骤707、获取至少两个眼球跟踪相机的视线模型。
在当前时刻之前，若已经确定了两个眼球跟踪相机的视线模型，则可以直接获取之前确定的视线模型，若当前时刻之前未确定了至少两个眼球跟踪相机的视线模型，则可以在本步骤确定至少两个眼球跟踪相机的视线模型。
其中，眼球跟踪相机的视线模型用于根据眼球跟踪相机采集得到的第一图像中，眼球的瞳孔的位置以及光斑的位置，确定眼球的注视位置。
由于眼球的数量通常为2，进而第一图像中包括两个眼球。若补光组件包括多个补光灯，则对于每一个眼球跟踪相机，每一个眼球的瞳孔，与每一个补光灯产生的光斑均可以对应一个视线模型。例如，补光灯的数量为n，则对于每一个眼球跟踪相机，包括2n个视线模型。
进而步骤707可以包括：
基于每个样本数据，确定至少一个样本数据对应的视线模型。
其中，样本数据包括两个眼球中一个眼球的瞳孔的位置，以及一个眼球上的一个光斑的位置，至少一个样本数据对应的视线模型为第一眼球跟踪相机的视线模型。
其中，基于每个样本数据，确定至少一个样本数据对应的视线模型具体可以包括：
1)确定第一眼球跟踪相机的视线模型。
在确定第一眼球跟踪相机的视线模型时，显示面板的显示面可以显示预设的内容，示例性的，显示面板可以依次出现9个标定点，当第一个标定点出现时，眼球注视该点一定时间(如2秒)；第一个标定点消失，出现第二个标定点，执行与第一个标定点相同的操作，直到9个标定点全部显示完成；对于每个眼球跟踪相机，两个补光灯中的一个补光灯的第一光斑与瞳孔的相对坐标生成9个标定数据，同时另一个补光灯的第二光斑与瞳孔的相对坐标也会生成9个标定数据，即：每个眼球跟踪相机会生成四组标定数据(左眼第一光斑-瞳孔，左眼第二光斑-瞳孔，右眼第一光斑-瞳孔，右眼第二光斑-瞳孔)。
通过第一眼球跟踪相机得到的四组标定数据为第一眼球跟踪相机的坐标系中的坐标，可以将这些坐标转换为世界坐标系中的坐标，示例性的，一种转换公式可以为：
其中，u B、v B表示第一眼球跟踪相机的坐标系中的光斑坐标，R B表示第一眼球跟踪相机的光轴相对于世界坐标轴的旋转角度，T B表示第一眼球跟踪相机的坐标原点相对世界坐标系原点的坐标差(世界坐标系原点可以位于显示面的中心位置，正上方为+Y轴，正右方为+X轴，正前方为+Z轴)；x w、y w、z w表示世界坐标系下的光斑坐标；
为第一眼球跟踪相机的内参矩阵，其他眼球跟踪相机进行世界坐标系的转换时，可以将该部分内参矩阵替换为对应的眼球跟踪相机的内参矩阵。瞳孔的坐标转换方式可以与该方式类似，本申请实施例在此不再赘述。
得到了世界坐标系下的四组标定数据后，可以先通过这四组标定数据来确定第一眼球跟踪相机的视线模型。
在一种示例性的实施例中，视线模型采用多项式回归模型，如下所示
其中，X G和Y G为眼球注视位置在世界坐标系的坐标，a 0、a 1、a 2、a 3、a 4、a 5，b 0、b 1、b 2、b 3、b 4、b 5，为未知的参数，通过上述四组标定数据求得，x和y为斑与瞳孔的相对坐标。
将眼球跟踪相机对应的四组标定数据代入视线模型中，可以得到第一眼球跟踪相机的四个视线模型。
2)基于第一眼球跟踪相机的视线模型与其他眼球跟踪相机的相对位置，确定其他眼球跟踪相机的视线模型。
可以通过坐标转换来将第一眼球跟踪相机的视线模型转换为其他确定其他眼球跟踪相机的视线模型。示例性的，首先可以确定第一眼球跟踪相机的坐标系中的坐标与第二眼球跟踪相机(第二眼球跟踪相机可以为至少两个眼球跟踪相机中，除第一眼球跟踪相机外的任一眼球跟踪相机)的坐标系中的坐标的转换关系，一种坐标转换公式如下：
其中，u Bn、v Bn表示第二眼球跟踪相机的坐标系中的光斑的坐标，u B2、v B2表示第一眼球跟踪相机中的图像坐标，与上述实施例类似，fxBn可以表示第二 眼球跟踪相机的水平焦距，fyBn可以表示第二眼球跟踪相机的垂直焦距，fyB2可以表示第一眼球跟踪相机的垂直焦距，fxB2可以表示第一眼球跟踪相机的水平焦距，U B2为和第一眼球跟踪相机的水平分辨率相关的参数，可以约为第一眼球跟踪相机的水平分辨率的一半，V B2为和第一眼球跟踪相机的垂直分辨率相关的参数，可以约为第一眼球跟踪相机的垂直分辨率的一半，s表示第一眼球跟踪相机和第二眼球跟踪相机在水平方向的间距，t表示第一眼球跟踪相机和第二眼球跟踪相机在竖直方向上的间距；第一眼球跟踪相机B2和第二眼球跟踪相机Bn的内参矩阵可以如下：
通过该内参矩阵以及上述转换世界坐标系的方法，即可以确定第二眼球跟踪相机的坐标与世界坐标系的坐标的转换关系。之后便可以基于这些转换关系，通过上述的四组标定数据来确定每个眼球跟踪相机的视线模型。
。
步骤708、基于至少两个眼球跟踪相机的视线模型，以及眼球的瞳孔位置和光斑的位置，确定眼球的注视位置。
步骤708可以包括：
1)分别通过至少两个眼球跟踪相机的视线模型确定得到眼球的至少一个注视位置。
由于获取光斑可能失败，进而可能无法通过每一个视线模型均得到注视位置，进而本申请实施例中，可以分别通过至少两个眼球跟踪相机的视线模型确定得到眼球的至少一个注视位置。
2)基于至少一个注视位置，确定一个目标注视位置。
当得到的注视位置的数量为1时，则可以将这一个注视位置确定为目标注视位置；
当得到的注视位置的数量大于或等于2个时，则可以基于这多个注视位置的坐标的平均值，确定目标注视位置。
如此可以提升确定的目标注视位置的准确性。
在一种示例性的实施例中，由于本申请实施例提供的眼球跟踪方法所应用 的眼球跟踪装置中，眼球相机的数量为多个，进而在实现眼球跟踪方法时，可以开启其中的至少两个眼球跟踪相机。例如，当眼球位于某一个眼球跟踪相机的拍摄范围内时，则可以开启该眼球跟踪相机，以及该眼球跟踪相机相邻的眼球跟踪相机，其他眼球跟踪相机则不开启，如此可以在保证眼球跟踪的功能正常实现的情况下，节省眼球跟踪装置的功耗。
示例性的，眼球跟踪装置包括水平排布的5个眼球跟踪相机，则当眼球位于中央的眼球跟踪相机的拍摄范围内时，则可以开启该中央的眼球跟踪相机，以及相邻的两个眼球跟踪相机，最边缘的两个眼球跟踪相机则不开启，如此便节省了两个眼球跟踪相机的功耗，且不会影响眼球跟踪的功能正常实现。
综上所述，本申请实施例提供的眼球跟踪方法，通过至少两个眼球跟踪相机获取第一图像，并基于该第一图像确定眼球的注视位置，由于这至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠，进而这至少两个眼球跟踪相机可以构成一个较大的跟踪范围，如此控制组件便可以确认位于这较大的跟踪范围内进行眼球的注视位置，解决了相关技术中对于眼球的注视位置的跟踪范围较小的问题，实现了增大眼球跟踪装置的跟踪范围的效果。
根据本申请实施例的另一方面，如图8所示，本申请实施例还提供一种显示设备20，该显示设备20包括显示面板21、外壳22以及眼球跟踪装置23。
眼球跟踪装置23包括：控制组件231、补光组件232、图像采集组件233以及至少两个眼球跟踪相机234。
补光组件232、图像采集组件233以及至少两个眼球跟踪相机234位于外壳22上，且均朝向显示面板21的出光方向，至少两个眼球跟踪相机234位于外壳22的至少两个不同的位置。
控制组件231与至少两个眼球跟踪相机234电连接。
其中，上述实施例中提供的眼球跟踪装置中的支架可以结合与该显示设备的外壳上，例如可以与该外壳为一体件，或者，可以安装于该外壳上。
可选地，至少两个眼球跟踪相机234在外壳22上位于显示面板21的下方，且沿水平方向f1排布。
可选地，显示面板21的显示面m1呈矩形，且显示面m1的一条边与水平方向f1平行.
至少两个眼球跟踪相机中234，任意两个相邻的眼球跟踪相机234之间的距 离相等。
可选地，眼球跟踪相机234与显示面板21的显示面m1共面，眼球跟踪相机234的数量为3，3个眼球跟踪相机234中两个相邻的眼球跟踪相机234之间的间距满足：
其中，L用于确定间距，p由眼球宽度决定，e由两个眼球之间的间距决定，α为眼球跟踪相机234的水平视场角，D1和D2分别为预设的眼球跟踪相机234进行眼球跟踪的目标区域在垂直于显示面m1的方向上，与显示面m1之间的最小距离以及最大距离；
θ为预设的3个眼球跟踪相机的整体视场角。
可选地，3个眼球跟踪相机234的光轴相互平行且共面，3个眼球跟踪相机的光轴确定的第一平面与经过显示面m1的中心的垂线相交，且交点位于目标区域内。
可选地，交点位于目标区域在垂直于显示面的方向上的中心，眼球跟踪相机满足：
其中，b用于确定眼球跟踪相机234的光轴与显示面m1之间的夹角，k为显示面m1的中心与眼球跟踪相机234在垂直方向上之间的距离。
可选地，图像采集组件233在外壳22上位于显示面板21的下方，且与显示面m1的下边缘的两端的距离相等。也即是该图像采集组件233可以位于显示面m1的下边缘的中间位置处，如此可以便于图像采集组件233的拍摄范围覆盖眼球跟踪相机234的拍摄范围。
可选地，外壳22包括底座221以及位于底座221上的框体222；补光组件232、图像采集组件233以及至少两个眼球跟踪相机234均安装于框体222上。
控制组件231可以包括显示设备中的处理器，例如该显示设备为台式显示设备时，则该控制组件231可以位于台式显示设备的主机中。
该显示面板可以为液晶显示面板或者有机发光二极管显示面板等各种显示面板。
该显示设备可以位于桌上的显示器，或者可以为立式显示器等，可以在显示图像时，确定眼球的注视位置。
另外，关于该显示设备中眼球跟踪装置的内容，可以参考上述实施例，本申请实施例在此不再赘述。
综上所述，本申请实施例提供的显示设备，该显示设备通过设置至少两个眼球跟踪相机，且这至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠，进而这至少两个眼球跟踪相机可以构成一个较大的跟踪范围，控制组件可以确认位于这较大的跟踪范围内进行眼球的注视位置，解决了相关技术中眼球跟踪装置的跟踪范围较小的问题，实现了增大眼球跟踪装置的跟踪范围的效果。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (27)

  1. 一种眼球跟踪装置，其特征在于，所述眼球跟踪装置包括：支架、控制组件、补光组件以及至少两个眼球跟踪相机；
    所述至少两个眼球跟踪相机位于所述支架的至少两个不同的位置，且所述至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠；
    所述补光组件位于所述支架上；
    所述控制组件与所述至少两个眼球跟踪相机电连接，用于确定所述至少两个眼球跟踪相机的拍摄范围内的眼球的注视位置。
  2. 根据权利要求1所述的眼球跟踪装置，其特征在于，所述至少两个眼球跟踪相机中，两个相邻的眼球跟踪相机的拍摄范围具有重叠区域。
  3. 根据权利要求2所述的眼球跟踪装置，其特征在于，所述重叠区域的尺寸大于预设眼球的尺寸。
  4. 根据权利要求1所述的眼球跟踪装置，其特征在于，所述眼球跟踪装置还包括：图像采集组件；
    所述图像采集组件位于所述支架上，且与所述控制组件电连接，所述至少两个眼球跟踪相机的拍摄范围位于图像采集组件的拍摄范围内。
  5. 根据权利要求3所述的眼球跟踪装置，其特征在于，所述至少两个眼球跟踪相机的拍摄范围的边缘与所述图像采集组件的拍摄范围的边缘之间具有间隔区域，所述间隔区域的尺寸大于预设人脸的尺寸。
  6. 根据权利要求1所述的眼球跟踪装置，其特征在于，所述支架包括了用于设置待观察面的安装部，所述控制组件用于确定所述至少两个眼球跟踪相机的拍摄范围内的眼球在所述待观察面上的注视位置。
  7. 根据权利要求6所述的眼球跟踪装置，其特征在于，所述控制组件用于确定所述至少两个眼球跟踪相机的拍摄范围内，与所述待观察面之间的距离满足 预设距离范围的眼球在所述待观察面上的注视位置；
    所述至少两个眼球跟踪相机的光轴相互平行且共面，所述至少两个眼球跟踪相机的光轴确定的第一平面与经过所述待观察面的中心的垂线相交，且交点位于所述预设距离范围内。
  8. 根据权利要求7所述的眼球跟踪装置，其特征在于，所述交点位于所述预设距离范围内的中心。
  9. 根据权利要求7所述的眼球跟踪装置，其特征在于，所述待观察面为显示面板的显示面，所述支架包括用于安装所述显示面板的安装部；
    所述至少两个眼球跟踪相机位于所述安装部的下方。
  10. 根据权利要求7所述的眼球跟踪装置，其特征在于，所述至少两个眼球跟踪相机在所述支架上沿水平方向排布。
  11. 根据权利要求6所述的眼球跟踪装置，其特征在于，所述待观察面为显示面板的显示面，所述支架包括用于安装所述显示面板的安装部；
    所述眼球跟踪装置还包括：图像采集组件；
    所述图像采集组件位于所述支架上，且位于所述安装部的下方，所述图像采集组件与所述控制组件电连接，所述至少两个眼球跟踪相机的拍摄范围位于图像采集组件的拍摄范围内。
  12. 根据权利要求1-11任一所述的眼球跟踪装置，其特征在于，所述补光组件包括至少两个补光灯，所述至少两个补光灯位于所述支架上的不同位置。
  13. 根据权利要求12所述的眼球跟踪装置，其特征在于，所述至少两个补光灯在所述支架上沿水平方向排布。
  14. 根据权利要求4所述的眼球跟踪装置，其特征在于，所述图像采集组件包括彩色相机，所述眼球跟踪相机包括红外相机，所述彩色相机的分辨率小于 所述红外相机的分辨率。
  15. 一种眼球跟踪方法，其特征在于，所述方法用于眼球跟踪装置的控制组件中，所述眼球跟踪装置还包括：支架、补光组件以及至少两个眼球跟踪相机；所述至少两个眼球跟踪相机位于所述支架的至少两个不同的位置，且所述至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠；所述补光组件位于所述支架上；所述控制组件与所述至少两个眼球跟踪相机电连接，
    所述方法包括：
    开启所述补光组件；
    获取所述至少两个眼球跟踪相机获取的第一图像；
    基于所述第一图像确定眼球的注视位置。
  16. 根据权利要求15所述的方法，其特征在于，所述眼球跟踪装置还包括：图像采集组件；所述图像采集组件位于所述支架上，且与所述控制组件电连接，
    所述基于所述第一图像确定眼球的注视位置之前，所述方法还包括：
    获取所述图像采集组件采集的第二图像；
    基于所述第二图像获取人脸信息；
    基于所述人脸信息确定眼球在所述第二图像中的位置；
    所述基于所述第一图像确定眼球的注视位置，包括：
    基于所述眼球在所述第二图像中的位置，确定所述眼球在所述第一图像中的位置；
    基于所述眼球在所述第一图像中的位置以及所述第一图像，确定所述眼球的注视位置。
  17. 根据权利要求15所述的方法，其特征在于，所述基于所述眼球在所述第一图像中的位置以及所述第一图像，确定所述眼球的注视位置，包括：
    基于所述眼球在所述第一图像中的位置以及所述第一图像，获取所述眼球的瞳孔的位置，以及所述补光组件发出的光线在所述眼球上的光斑的位置；
    获取所述至少两个眼球跟踪相机的视线模型，所述眼球跟踪相机的视线模型用于根据所述眼球跟踪相机采集得到的第一图像中，所述眼球的瞳孔的位置 以及所述光斑的位置，确定所述眼球的注视位置；
    基于所述至少两个眼球跟踪相机的视线模型，以及所述眼球的瞳孔位置和光斑的位置，确定所述眼球的注视位置。
  18. 根据权利要求17所述的方法，其特征在于，所述基于所述至少两个眼球跟踪相机的视线模型，以及所述眼球的瞳孔位置和光斑的位置，确定所述眼球的注视位置，包括：
    分别通过所述至少两个眼球跟踪相机的视线模型确定得到所述眼球的至少一个注视位置；
    基于所述至少一个注视位置，确定一个目标注视位置。
  19. 根据权利要求17所述的方法，其特征在于，所述第一图像为所述至少两个眼球跟踪相机中第一眼球跟踪相机采集的图像，所述补光组件包括至少两个补光灯，所述至少两个补光灯位于所述支架上的不同位置，所述第一图像中包括两个眼球，
    所述基于所述眼球在所述第一图像中的位置以及所述第一图像，获取所述眼球的瞳孔的位置，以及所述补光组件发出的光线在所述眼球上的光斑的位置，包括：
    基于所述两个眼球在所述第一图像中的位置以及所述第一图像，获取所述两个眼球的瞳孔的位置，以及所述至少两个补光组件发出的光线在所述两个眼球上光斑的位置；
    所述获取所述至少两个眼球跟踪相机的视线模型，包括：
    基于每个样本数据，确定至少一个所述样本数据对应的视线模型，所述样本数据包括所述两个眼球中一个眼球的瞳孔的位置，以及所述一个眼球上的一个光斑的位置，至少一个所述样本数据对应的视线模型为所述至少两个眼球跟踪相机中所述第一眼球跟踪相机的视线模型。
  20. 一种显示设备，其特征在于，所述显示设备包括显示面板、外壳以及眼球跟踪装置；
    所述眼球跟踪装置包括：控制组件、补光组件、图像采集组件以及至少两 个眼球跟踪相机；
    所述补光组件、图像采集组件以及所述至少两个眼球跟踪相机位于所述外壳上，且均朝向所述显示面板的出光方向，所述至少两个眼球跟踪相机位于所述外壳的至少两个不同的位置；
    所述控制组件与所述至少两个眼球跟踪相机电连接。
  21. 根据权利要求20所述的显示设备，其特征在于，所述至少两个眼球跟踪相机在所述外壳上位于所述显示面板的下方，且沿水平方向排布。
  22. 根据权利要求21所述的显示设备，其特征在于，所述显示面板的显示面呈矩形，且所述显示面的一条边与水平方向平行；
    所述至少两个眼球跟踪相机中，任意两个相邻的眼球跟踪相机之间的距离相等。
  23. 根据权利要求22所述的显示设备，其特征在于，所述眼球跟踪相机与所述显示面板的显示面共面，所述眼球跟踪相机的数量为3，3个所述眼球跟踪相机中两个相邻的眼球跟踪相机之间的间距满足：
    其中，L用于确定所述间距，p由眼球宽度决定，e由两个眼球之间的间距决定，α为所述眼球跟踪相机的水平视场角，D1和D2分别为预设的所述眼球跟踪相机进行眼球跟踪的目标区域在垂直于所述显示面的方向上，与所述显示面之间的最小距离以及最大距离；
    θ为预设的3个所述眼球跟踪相机的整体视场角。
  24. 根据权利要求23所述的显示设备，其特征在于，3个所述眼球跟踪相机的光轴相互平行且共面，3个所述眼球跟踪相机的光轴确定的第一平面与经过所述显示面的中心的垂线相交，且交点位于所述目标区域内。
  25. 根据权利要求24所述的显示设备，其特征在于，所述交点位于所述目标区域在垂直于所述显示面的方向上的中心，所述眼球跟踪相机满足：
    其中，所述b用于确定所述眼球跟踪相机的光轴与所述显示面之间的夹角，所述k为所述显示面的中心与所述眼球跟踪相机在垂直方向上之间的距离。
  26. 根据权利要求20-25任一所述的显示设备，其特征在于，所述图像采集组件在所述外壳上位于所述显示面板的下方，且与所述显示面的下边缘的两端的距离相等。
  27. 根据权利要求20-25任一所述的显示设备，其特征在于，所述外壳包括底座以及位于所述底座上的框体；
    所述补光组件、所述图像采集组件以及所述至少两个眼球跟踪相机均安装于所述框体上。
CN202280000578.XA 2022-03-28 2022-03-28 眼球跟踪装置、方法以及显示设备 Pending CN117280303A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/083482 WO2023184109A1 (zh) 2022-03-28 2022-03-28 眼球跟踪装置、方法以及显示设备

Publications (1)

Publication Number Publication Date
CN117280303A true CN117280303A (zh) 2023-12-22

Family

ID=88198592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280000578.XA Pending CN117280303A (zh) 2022-03-28 2022-03-28 眼球跟踪装置、方法以及显示设备

Country Status (2)

Country Link
CN (1) CN117280303A (zh)
WO (1) WO2023184109A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2528446B (en) * 2014-07-21 2021-08-04 Tobii Tech Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
CN108399001A (zh) * 2017-02-06 2018-08-14 上海青研科技有限公司 一种vr/ar中双目立体视觉眼动分析方法及装置
US10466779B1 (en) * 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
US10698481B1 (en) * 2017-09-28 2020-06-30 Apple Inc. Glint-assisted gaze tracker
CN110083251A (zh) * 2019-06-03 2019-08-02 北京七鑫易维科技有限公司 眼球追踪装置及眼球追踪设备
CN113190115B (zh) * 2021-04-25 2022-11-22 歌尔股份有限公司 眼球追踪方法及虚拟现实设备

Also Published As

Publication number Publication date
WO2023184109A1 (zh) 2023-10-05

Similar Documents

Publication Publication Date Title
JP6036065B2 (ja) 注視位置検出装置及び注視位置検出方法
US9373023B2 (en) Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor
JP4926766B2 (ja) 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム
WO2018030515A1 (ja) 視線検出装置
KR102471370B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JPWO2019171522A1 (ja) ヘッドマウントディスプレイ、注視点検出器、および画素データ読み出し方法
US11093034B2 (en) Eye tracking method and system and integration of the same with wearable heads-up displays
CN106773080B (zh) 立体显示装置及显示方法
WO2020150191A1 (en) Dynamic render time targeting based on eye tracking
JP6596678B2 (ja) 視線測定装置および視線測定方法
US11116395B1 (en) Compact retinal scanning device for tracking movement of the eye&#39;s pupil and applications thereof
US20220100268A1 (en) Eye tracking device and a method thereof
JP5583980B2 (ja) 画像処理方法および画像処理装置
WO2011136213A1 (ja) 表示装置
JP6767482B2 (ja) 視線検出方法
TW201814356A (zh) 頭戴顯示裝置與其鏡片位置調整方法
JP7046347B2 (ja) 画像処理装置及び画像処理方法
US10754474B2 (en) Projector system
CN117280303A (zh) 眼球跟踪装置、方法以及显示设备
JP2016095584A (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
JP2000201289A (ja) 映像入出力装置及び映像取得方法
US10848753B1 (en) Eye-tracking system using a scanning laser assembly
EP3859429B1 (en) Display apparatus and method of compensating for visual artifacts
JP2022012829A (ja) ドライバモニタ装置及びドライバモニタ方法
JP2017102731A (ja) 視線検出装置及び視線検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240524

Address after: Room 1-1, 1st Floor, Block C, Building 2, No. 8 West Ring Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100176

Applicant after: Beijing Shiyan Technology Co.,Ltd.

Country or region after: China

Address before: 100015 No. 10, Jiuxianqiao Road, Beijing, Chaoyang District

Applicant before: BOE TECHNOLOGY GROUP Co.,Ltd.

Country or region before: China

Applicant before: BEIJING BOE TECHNOLOGY DEVELOPMENT Co.,Ltd.