CN112051920B - 视线落点确定方法和装置 - Google Patents

Abstract

本发明提供一种视线落点确定方法和装置，其中，方法包括获取用户瞳孔的N个边界点的坐标，所述N为≥6的整数；基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标；基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点，其中，所述N个映射点位于所述映射图形的轮廓。本发明提供的视线落点确定方法和装置，能够提高视线落点的计算精度。

Description

视线落点确定方法和装置

技术领域

本发明涉及显示技术领域，尤其涉及一种视线落点确定方法和装置。

背景技术

随着虚拟现实(Virtual Reality，简称VR)技术的迅速发展，越来越多VR产品也出现在消费者的生活中，目前，VR产品与用户之间的交互还是采用触控交互、语音交互等方式，这需要在VR产品的基础上额外增加其他的感应设备，交互方式繁琐且成本较高。因此VR产品迫切需要一种方便、准确且鲁棒性好的人机交互技术。目前，视线追踪技术是应用于VR产品的人机交互技术的研究热点。

相关的视线追踪技术中，视线落点的位置坐标均是直接利用瞳孔中心坐标进行映射计算来确定的。由于视线落点的位置坐标没有利用瞳孔的其他特征信息，导致定位误差大进而导致视线落点的位置计算精度较低的问题。

发明内容

本发明实施例提供一种视线落点确定方法和装置，以解决相关技术中仅利用瞳孔的中心映射视线落点，而导致的视线落点的位置计算精度较低的问题。

为了解决上述技术问题，本发明提供技术方案如下：

第一方面，本发明实施例提供一种视线落点确定方法，用于确定用户在显示画面上的视线落点，包括：

获取用户瞳孔的N个边界点的坐标，所述N为≥6的整数；

基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标；

基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点，其中，所述N个映射点位于所述映射图形的轮廓。

进一步地，所述获取用户瞳孔的N个边界点的坐标的步骤，包括：

获取用户的眼部图像；

在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓；

选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标。

进一步地，所述在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓的步骤，包括：

在所述眼部图像中定位瞳孔所处的区域，并拟合出瞳孔的椭圆形轮廓；

所述选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标的步骤，包括：

以所述椭圆形轮廓的圆心为中心选取N个边界点，并计算每个边界点的坐标，其中，所述N个边界点中相邻两个边界点与所述中心连线形成的夹角均相等。

进一步地，所述N为≥7的整数；

所述获取用户瞳孔的N个边界点的坐标的步骤，包括：

获取用户瞳孔的N个边界点的坐标和用户瞳孔的特征信息；

所述基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点的步骤，包括：

基于N组映射点集合拟合得到N个待选预设图形，每组映射点集合包括N-1个映射点，N组映射点集合互不相同；

筛选所述N个待选映射图形中与所述用户瞳孔的特征信息差异值最低的目标映射图形，并将所述目标映射图形的中心坐标作为视线落点。

进一步地，在所述基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标的步骤之前，还包括：

在显示画面中依次显示供用户注视的M个标定点，其中，在显示每个标定点的过程中获取用户瞳孔的N个边界点的坐标和与所述N个边界点的坐标对应的N个标记点的坐标，得到N组标记点坐标集合，其中，每组映射坐标集合包括对应同一边界点的M个标记点的坐标，所述M为≥7的整数；

基于非线性回归模型和所述N组标记点坐标集合建立边界点映射模型，所述边界点映射模型包括N个边界点映射关系，每个边界点映射关系用于确定对应的边界点的映射点的坐标。

第二方面，本发明实施例还提供一种视线落点确定装置，用于确定用户在显示画面上的视线落点，包括：

第一获取模块，用于获取用户瞳孔的N个边界点的坐标，所述N为≥6的整数；

计算模块，用于基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标；

确定模块，用于基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点，其中，所述N个映射点位于所述映射图形的轮廓。

进一步地，所述获取模块，包括：

获取单元，用于获取用户的眼部图像；

第一确定单元，用于在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓；

计算单元，用于选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标。

进一步地，所述第一确定单元，还用于在所述眼部图像中定位瞳孔所处的区域，并拟合出瞳孔的椭圆形轮廓；

计算单元，还用于以所述椭圆形轮廓的圆心为中心选取N个边界点，并计算每个边界点的坐标，其中，所述N个边界点中相邻两个边界点与所述中心连线形成的夹角均相等。

进一步地，所述N为≥7的整数；

所述获取模块，还用于获取用户瞳孔的N个边界点的坐标和用户瞳孔的特征信息；

所述确定模块，包括：

拟合单元，用于基于N组映射点集合拟合得到N个待选预设图形，每组映射点集合包括N-1个映射点，N组映射点集合互不相同；

第二确定单元，用于筛选所述N个待选映射图形中与所述用户瞳孔的特征信息差异值最低的目标映射图形，并将所述目标映射图形的中心坐标作为视线落点。

进一步地，所述视线落点确定装置还包括：

第二获取模块，在显示画面中依次显示供用户注视的M个标定点，其中，在显示每个标定点的过程中获取用户瞳孔的N个边界点的坐标和与所述N个边界点的坐标对应的N个标记点的坐标，得到N组标记点坐标集合，其中，每组映射坐标集合包括对应同一边界点的M个标记点的坐标，所述M为≥7的整数；

建立模块，用于基于非线性回归模型和所述N组标记点坐标集合建立边界点映射模型，所述边界点映射模型包括N个边界点映射关系，每个边界点映射关系用于确定对应的边界点的映射点的坐标。

第三方面，本发明实施例还提供一种显示装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的视线落点确定方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的视线落点确定方法的步骤。

本发明提供的技术方案中，通过将用户瞳孔的N个边界点逐一映射到显示画面，使得在显示画面上的N个映射点能够拟合得到与瞳孔特征相同的映射图形，再以映射图形的中心坐标作为视线落点。这样，可以充分的利用瞳孔的特征信息，降低视线落点的误差，提高视线落点的计算精度。因此，本发明提供的技术方案能够提高视线落点的计算精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的视线落点确定方法的流程图；

图2为本发明一实施例提供的视线落点确定方法的图像采集设备的结构示意图；

图3a为图2所示的图像采集设备采集到的眼部图像；

图3b为图3a中瞳孔区域的图像；

图3c为图3b经过二值化后得到的瞳孔图像；

图3d为图3c的瞳孔的轮廓图像；

图3e为图3c经过拟合后得到的瞳孔的轮廓图像；

图4为本发明一实施例提供的视线落点确定方法中椭圆无偏转时各边界点的位置示意图；

图5a为本发明一实施例提供的视线落点确定方法中椭圆偏转时矫正前的示意图；

图5b为图5a中椭圆矫正后的示意图；

图6a为本发明一实施例提供的视线落点确定方法中M个标定点的位置示意图；

图6b为人眼注视图6a中各标定点对应的瞳孔区域的图像；

图7为本发明一实施例提供的视线落点确定装置的结构示意图；

图8为本发明另一实施例提供的视线落点确定装置的结构示意图；

图9为本发明另一实施例提供的视线落点确定装置的结构示意图；

图10为本发明另一实施例提供的视线落点确定装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关的视线追踪技术中，视线落点的位置坐标均是直接利用瞳孔中心坐标进行映射计算来确定的，即获取用户的瞳孔中心的坐标后，基于映射关系计算得到位于显示画面的映射点，并以该映射点作为用户的视线落点。由于视线落点的位置坐标没有利用瞳孔的其他特征信息，导致视线落点定位误差大进而导致视线落点的位置计算精度较低的问题。

本发明实施例针对上述问题，提供一种视线落点确定方法和装置，以解决相关技术中仅利用瞳孔的中心映射视线落点，而导致的视线落点的位置计算精度较低的问题。

本发明实施例提供一种视线落点确定方法，用于确定用户在显示画面上的视线落点，如图1所示，包括：

步骤101：获取用户瞳孔的N个边界点的坐标，所述N为≥6的整数；

步骤102：基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标；

步骤103：基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点，其中，所述N个映射点位于所述映射图形的轮廓。

本发明实施例中，通过将用户瞳孔的N个边界点逐一映射到显示画面，使得在显示画面上的N个映射点能够拟合得到与瞳孔特征相同的映射图形，再以映射图形的中心坐标作为视线落点。这样，可以充分的利用瞳孔的特征信息，降低视线落点的误差，提高视线落点的计算精度。因此，本发明提供的技术方案能够提高视线落点的计算精度。

上述瞳孔的N个边界点的坐标是指每个边界点相对于瞳孔中心的坐标，例如：位置确定的瞳孔中心和边界点1，在瞳孔中心坐标为坐标原点(0，0)时，边界点1的坐标为(3，2)；在瞳孔中心坐标为(2，3)时，边界点1的坐标为(5，5)。

瞳孔图形拟合所需的边界点需要大于或等于6个，因此，获取的瞳孔的边界点的数量同样需要大于或等于6个。边界点的数量越多，拟合得到的图形越精确，同时计算量也越大。结合拟合精确度和计算量，获取的瞳孔的边界点的数量优选为12个。

N个边界点可以是均匀分布在瞳孔的轮廓上，也可以是不均匀分布在瞳孔的轮廓上，本发明实施例对此不作限定。

本发明实施例中，每个边界点能够通过预设的边界点映射模型计算出位于显示画面上的映射点，从而N个边界点能够计算出N个位于显示画面上的映射点，N个边界点与N个映射点一一对应。

具体的，将边界点的坐标作为边界点映射模型的输入数据，边界点映射模型输出的坐标即为位于显示画面上的映射点的坐标。需要说明的是，映射点的坐标是相对于映射图形的中心的坐标。

在得到位于显示画面上的N个映射点的坐标后，通过拟合的方式得到一个连接N个映射点的闭合曲线，该闭合曲线即为映射图形的轮廓。由于该映射图形是通过N个映射点拟合得到的，而N个映射点与瞳孔轮廓上的N个边界点一一对应，因此拟合得到的映射图形与瞳孔图形具有相同的特征信息，例如：中心坐标信息、偏转角度信息、形状信息和半径信息等。因此，本发明实施例结合瞳孔的各种特征信息确定的视线落点，能够降低视线落点的计算误差，提高计算得到的视线落点的精确性。

在一可选的实施例中，所述获取用户瞳孔的N个边界点的坐标的步骤，可以包括：

获取用户的眼部图像；

在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓；

选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标。

本实施方式中，通过在显示装置上增设图像采集设备，用于实施采集眼部的图像。请参阅图2，为图像采集设备的结构示意图，通过6个近红外发光二极管(Light EmittingDiode，简称LED)光源210、两个透镜220和位于一个透镜220下的红外照相机230，其中，近红外LED光源210的长度可以为800-900纳米，两个透镜220可以为菲涅尔透镜，红外照相机230的帧速可以处于80-120赫兹的范围内。

在通过图像采集设备获取到用户的眼部图像后，可以进行滤波、去噪等处理提高图像的质量，其中，滤波的过程可以采用高斯滤波，滤波完成后可以通过开运算的方式去噪，以消除图像中的部分白斑。

在眼部图像中定位瞳孔所处区域，并确定所述瞳孔的轮廓的具体实现过程，可以是：得到眼部图像(如图3a所示)后，先通过人脸特征检测算法(例如：Haar特征中的中心特征)对瞳孔进行粗定位，定位瞳孔所处的区域，得到瞳孔所处区域的图像，如图3b所示；再对瞳孔所处区域的图像进行二值化，得到图3c所示的瞳孔图像，二值化可以通过阈值法对图像进行处理，具体的阈值可以为40；二值化后使用形态学闭运算，消除部分黑色斑点，并通过边缘检测算法(例如：Canny边缘检测算子)检测出瞳孔的轮廓，得到如图3d所示的轮廓；最后，使用最小二乘法拟合出瞳孔的轮廓，得到如图3e所示的轮廓。

在得到瞳孔的完整轮廓之后，即可以在轮廓上选取N个边界点，并计算每个边界点相对于瞳孔中心的坐标。

其中，在一可选的实施方式中，在拟合出的瞳孔轮廓为椭圆形轮廓的情况下，所述选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标的步骤，包括：

以所述椭圆形轮廓的圆心为中心选取N个边界点，并计算每个边界点的坐标，其中，所述N个边界点中相邻两个边界点与所述中心连线形成的夹角均相等。

以N＝12为例，如图4所示，假设拟合出的椭圆形瞳孔的中心坐标为(Xc，Yc)、长轴长度为a，短轴长度为b，边界上选取的每个边界点的坐标为(x_i，y_i)(i＝1，2，…，12)，此时坐标(x_i，y_i)表示边界点与瞳孔中心的相对坐标，其中第一个边界点位于X轴正半轴上，之后每隔弧度(即相邻两个边界点与所述中心连线形成的夹角)ρ(ρ＝30°)逆时针方向选取一个边界点，选满12个边界点。

在椭圆无偏转的情况下，各边界点的坐标计算方法如下：

对于相对坐标(x_i，y_i)，其中，x_i＝L*cos(ρ)，y_i＝L*sin(ρ)；标准椭圆方程为：

将(x_i，y_i)代入椭圆方程可得：

则在图像绝对坐标系下，各点坐标为：

x_i＝L*cos(ρ)+X_c；

y_i＝L*sin(ρ)+Y_c。

上式中L表示当前边界点与椭圆中心连线的径长，x_i为边界点的横坐标，y_i为边界点的纵坐标。对于第一个边界点的ρ等于0，第二个边界点ρ等于30°，后面几个边界点的ρ依次为：60°、90°、120°、150°、180°、210°、240°、270°、300°和330°。

在椭圆存在偏转的情况下，

在计算其边界上的12个点之前，如图5a所示，需要先将其矫正到偏转角度为0的情况下进行计算，如图5b所示。经分析，当椭圆偏转角度为θ时，将相应的边界点的角度ρ与θ相减，即：ρ-θ，所得结果即为在矫正后的椭圆对应边界点的角度。

此时，

x_i＝L*cos(ρ-θ)+X_c；

y_i＝L*sin(ρ-θ)+Y_c。

以上只是以N＝12为例进行说明，N还可以为8、9、10等任意大于或等于6的整数，相应的相邻两个边界点与所述中心连线形成的夹角ρ进行调整。

本实施方式中，N个边界点均匀分布在椭圆形瞳孔轮廓上，能够提高后续通过N个映射点拟合得到的映射图形与瞳孔图形的相似度，进而提高视线落点的计算精度。

本实施例中，通过图像采集设备实时获取眼部图像，进而能够实时获取用户瞳孔的N个边界点的坐标，以便于实时确定用户的视线落点。

在另一可选的实施例中，所述N为≥7的整数；

所述获取用户瞳孔的N个边界点的坐标的步骤，可以包括：

获取用户瞳孔的N个边界点的坐标和用户瞳孔的特征信息；

所述基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点的步骤，可以包括：

基于N组映射点集合拟合得到N个待选预设图形，每组映射点集合包括N-1个映射点，N组映射点集合互不相同；

筛选所述N个待选映射图形中与所述用户瞳孔的特征信息差异值最低的目标映射图形，并将所述目标映射图形的中心坐标作为视线落点。

上述用户瞳孔的特征信息包括但不限于瞳孔的长短轴信息及偏转角度信息。

在通过N个边界点代入边界点映射模型得到N个对应的映射点后，选取N-1个映射点拟合映射图形，得到N个映射图形。将这N个映射图形的特征信息与瞳孔的特征信息进行比对，计算每个映射图形的特征信息与瞳孔的特征信息的差异值，将差异值最小的映射图形对应的N-1个映射点保留，而去除剩余的那1个映射点，上述过程即为去除误差较大映射点的过程。

具体的，计算每个映射图形的特征信息与瞳孔的特征信息的差异值的计算方法可以是借助映射图形的长短轴比例与瞳孔图形的长短轴比例进行计算，例如：

其中，所述k1和k2为固定值，可以均等于0.5；所述a_瞳表示瞳孔的长轴；所述b_瞳表示瞳孔的短轴；所述ρ_瞳表示瞳孔的偏转角度；所述a_映表示映射图形的长轴；所述b_映表示映射图形的短轴；所述ρ_映表示映射图形的偏转角度；所述w表示映射图形的特征信息与瞳孔的特征信息的差异值。

上述去除误差较大映射点的过程可以进行X次，所述X为≥1的整数，只需保证N-X≥6即可。例如:N＝8、X＝1时，最终保留的7个映射点拟合得到的目标映射图形的中心坐标即为用户的视线落点在显示画面上的坐标；或者，N＝12、X＝3时，最终保留的9个映射点拟合得到的目标映射图形的中心坐标即为用户的视线落点在显示画面上的坐标。

本实施例中，能够筛选出误差较大映射点并进行去除，通过精确的映射点来确定用户的视线落点，提高视线落点确定方法的容错率，确保用户的实现落点精确。

在另一可选的实施例中，在所述基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标的步骤之前，还可以包括：

在显示画面中依次显示供用户注视的M个标定点，其中，在显示每个标定点的过程中获取用户瞳孔的N个边界点的坐标和与所述N个边界点的坐标对应的N个标记点的坐标，得到N组标记坐标集合，其中，每组标记坐标集合包括对应同一边界点的M个标记点的坐标，所述M为≥7的整数；

基于非线性回归模型和所述N组标记坐标集合建立边界点映射模型，所述边界点映射模型包括N个边界点映射关系，每个边界点映射关系用于确定对应的边界点的映射点的坐标。

在设定边界点映射模型之前，可以预先让用户注视在显示画面上显示的M个标定点。M个标定点均匀分布在显示画面中，以M＝9为例，用户注视图6a中的9个标定点时，对应每个标定点瞳孔对应有不同的偏转角度，如图6b所示。

在用户注视每一个标定点时，将用户的瞳孔图形经过比例变换(不改变瞳孔的特征信息)后得到的图形的中心坐标为基准标记到显示画面上的标定点的周围，再基于上述获取用户瞳孔的N个边界点的坐标相同的方式确定与N个边界点对应的N个标记点的坐标。

用户注视M个标定点后，对应同一个边界点的M个标记点的坐标作为一组标记点坐标集合，从而得到N组标记点坐标集合。

将N组标记点坐标集合分别带入非线性回归模型中，即可求解模型得到N个边界点的映射模型，上述非线性回归模型如下：

G_x＝a₀+a₁x+a₂x²+a₃x³+a₄xy+a₅x²y+a₆x³y；

G_y＝b₀+b₁y+b₂y²+b₃y³+b₄xy+b₅y²x+b₆y³x；

其中，上述Gx为标定点周围对应的标记点的横坐标；Gy为标定点周围对应的标记点的纵坐标；x为瞳孔图形对应的边界点的横坐标；y为瞳孔图形对应的边界点的纵坐标。

每个方程中的未知数(a₀至a₆或b₀至b₆)有7个，在M＝7的情况下一组标记点坐标集合有7个标记点的坐标，能够计算求得唯一的a₀至a₆，同样的，也能求得唯一的b₀至b₆，从而能够得到对应每个边界点的映射模型；在M＞7的情况下，非线性回归模型为超定方程组，可以利用最小二乘法求得的a₀至a₆(最小二乘解)，同样的，也能求得唯一的b₀至b₆，从而能够得到对应每个边界点的映射模型。

对N组标记坐标集合进行上述计算后，即可得到N个边界点的边界点映射模型，后续确定用户的瞳孔图形中的N个边界点后，即可利用N个边界点的边界点映射模型分别计算出N个边界点对应的N个映射点的坐标。

本实施例中，用户预先注视M个标定点，能够结合用户看向不同标定点时瞳孔的偏转角度信息和形状信息建立边界点映射模型，提高边界点映射模型确定映射点的精度，进而提高用户视线落点的计算精度。

请参阅图7，为本发明实施例提供的一种视线落点确定装置的结构示意图，如图7所示，视线落点确定装置包括相互连接的第一获取模块710、计算模块720和确定模块730，其中，

第一获取模块710，用于获取用户瞳孔的N个边界点的坐标，所述N为≥6的整数；

计算模块720，用于基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标；

确定模块730，用于基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点，其中，所述N个映射点位于所述映射图形的轮廓。

如图8所示，所述第一获取模块710，包括：

获取单元711，用于获取用户的眼部图像；

第一确定单元712，用于在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓；

计算单元713，用于选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标。

进一步地，所述第一确定单元712，还用于在所述眼部图像中定位瞳孔所处的区域，并拟合出瞳孔的椭圆形轮廓；

计算单元713，还用于以所述椭圆形轮廓的圆心为中心选取N个边界点，并计算每个边界点的坐标，其中，所述N个边界点中相邻两个边界点与所述中心连线形成的夹角均相等。

如图9所示，所述N为≥7的整数；所述第一获取模块710，还用于获取用户瞳孔的N个边界点的坐标和用户瞳孔的特征信息；

所述确定模块730，包括：

拟合单元731，用于基于N组映射点集合拟合得到N个待选预设图形，每组映射点集合包括N-1个映射点，N组映射点集合互不相同；

第二确定单元732，用于筛选所述N个待选映射图形中与所述用户瞳孔的特征信息差异值最低的目标映射图形，并将所述目标映射图形的中心坐标作为视线落点。

如图10所示，所述视线落点确定装置700还包括：

第二获取模块740，在显示画面中依次显示供用户注视的M个标定点，其中，在显示每个标定点的过程中获取用户瞳孔的N个边界点的坐标和与所述N个边界点的坐标对应的N个标记点的坐标，得到N组标记点坐标集合，其中，每组映射坐标集合包括对应同一边界点的M个标记点的坐标，所述M为≥7的整数；

建立模块750，用于基于非线性回归模型和所述N组标记点坐标集合建立边界点映射模型，所述边界点映射模型包括N个边界点映射关系，每个边界点映射关系用于确定对应的边界点的映射点的坐标。

本发明实施例的视线落点确定装置700能够实现图1-图6的方法实施例中视线落点确定装置的各个过程，为避免重复，这里不再赘述。

本发明实施例的视线落点确定装置700，通过将用户瞳孔的N个边界点逐一映射到显示画面，使得在显示画面上的N个映射点能够拟合得到与瞳孔特征相同的映射图形，再以映射图形的中心坐标作为视线落点。这样，可以充分的利用瞳孔的特征信息，降低视线落点的误差，提高视线落点的计算精度。

本发明实施例还提供一种显示装置，包括如上所述的视线落点确定装置。

该显示装置包括但不限于：射频单元、网络模块、音频输出单元、输入单元、传感器、显示单元、用户输入单元、接口单元、存储器、处理器、以及电源等部件。本领域技术人员可以理解，上述显示装置的结构并不构成对显示装置的限定，显示装置可以包括上述更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，显示装置包括但不限于显示器、手机、平板电脑、电视机、可穿戴电子设备、导航显示设备、虚拟现实眼镜等。

其中，处理器用于：获取用户瞳孔的N个边界点的坐标，所述N为≥6的整数；基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标；基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点，其中，所述N个映射点位于所述映射图形的轮廓。

可选的，处理器在执行所述获取用户瞳孔的N个边界点的坐标的步骤中，可以包括：获取用户的眼部图像；在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓；选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标。

可选的，处理器在执行所述在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓的步骤中，可以包括：在所述眼部图像中定位瞳孔所处的区域，并拟合出瞳孔的椭圆形轮廓；在执行所述选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标的步骤中，可以包括：以所述椭圆形轮廓的圆心为中心选取N个边界点，并计算每个边界点的坐标，其中，所述N个边界点中相邻两个边界点与所述中心连线形成的夹角均相等。

可选的，所述N为≥7的整数；所述处理器在执行所述获取用户瞳孔的N个边界点的坐标的步骤中，可以包括：获取用户瞳孔的N个边界点的坐标和用户瞳孔的特征信息；在执行所述基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点的步骤中，可以包括：基于N组映射点集合拟合得到N个待选预设图形，每组映射点集合包括N-1个映射点，N组映射点集合互不相同；筛选所述N个待选映射图形中与所述用户瞳孔的特征信息差异值最低的目标映射图形，并将所述目标映射图形的中心坐标作为视线落点。

可选的，处理器还用于在显示画面中依次显示供用户注视的M个标定点，其中，在显示每个标定点的过程中获取用户瞳孔的N个边界点的坐标和与所述N个边界点的坐标对应的N个标记点的坐标，得到N组标记点坐标集合，其中，每组映射坐标集合包括对应同一边界点的M个标记点的坐标，所述M为≥7的整数；基于非线性回归模型和所述N组标记点坐标集合建立边界点映射模型，所述边界点映射模型包括N个边界点映射关系，每个边界点映射关系用于确定对应的边界点的映射点的坐标

显示装置能够实现前述实施例中视线落点确定装置实现的各个过程，为避免重复，这里不再赘述。

本发明实施例的显示装置，通过将用户瞳孔的N个边界点逐一映射到显示画面，使得在显示画面上的N个映射点能够拟合得到与瞳孔特征相同的映射图形，再以映射图形的中心坐标作为视线落点。这样，可以充分的利用瞳孔的特征信息，降低视线落点的误差，提高视线落点的计算精度。

优选的，本发明实施例还提供一种显示装置，包括上述处理器，上述存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述视线落点确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述视线落点确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”，或者可以存在中间元件。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种视线落点确定方法，用于确定用户在显示画面上的视线落点，其特征在于，包括：

获取用户瞳孔的N个边界点的坐标，所述N为≥6的整数；

基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标；

基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点，其中，所述N个映射点位于所述映射图形的轮廓；

所述N为≥7的整数；

所述获取用户瞳孔的N个边界点的坐标的步骤，包括：

获取用户瞳孔的N个边界点的坐标和用户瞳孔的特征信息；

所述基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点的步骤，包括：

基于N组映射点集合拟合得到N个待选预设图形，每组映射点集合包括N-1个映射点，N组映射点集合互不相同；

筛选所述N个待选映射图形中与所述用户瞳孔的特征信息差异值最低的目标映射图形，并将所述目标映射图形的中心坐标作为视线落点。

2.根据权利要求1所述的方法，其特征在于，所述获取用户瞳孔的N个边界点的坐标的步骤，包括：

获取用户的眼部图像；

在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓；

选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标。

3.根据权利要求2所述的方法，其特征在于，所述在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓的步骤，包括：

在所述眼部图像中定位瞳孔所处的区域，并拟合出瞳孔的椭圆形轮廓；

所述选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标的步骤，包括：

以所述椭圆形轮廓的圆心为中心选取N个边界点，并计算每个边界点的坐标，其中，所述N个边界点中相邻两个边界点与所述中心连线形成的夹角均相等。

4.根据权利要求1所述的方法，其特征在于，在所述基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标的步骤之前，还包括：

在显示画面中依次显示供用户注视的M个标定点，其中，在显示每个标定点的过程中获取用户瞳孔的N个边界点的坐标和与所述N个边界点的坐标对应的N个标记点的坐标，得到N组标记点坐标集合，其中，每组映射坐标集合包括对应同一边界点的M个标记点的坐标，所述M为≥7的整数；

基于非线性回归模型和所述N组标记点坐标集合建立边界点映射模型，所述边界点映射模型包括N个边界点映射关系，每个边界点映射关系用于确定对应的边界点的映射点的坐标。

5.一种视线落点确定装置，用于确定用户在显示画面上的视线落点，其特征在于，包括：

第一获取模块，用于获取用户瞳孔的N个边界点的坐标，所述N为≥6的整数；

计算模块，用于基于预设的边界点映射模型计算每个边界点的坐标对应于显示画面上的映射点的坐标；

确定模块，用于基于N个映射点的坐标拟合得到映射图形，并将所述映射图形的中心坐标作为视线落点，其中，所述N个映射点位于所述映射图形的轮廓；

所述N为≥7的整数；

所述第一获取模块，还用于获取用户瞳孔的N个边界点的坐标和用户瞳孔的特征信息；

所述确定模块，包括：

拟合单元，用于基于N组映射点集合拟合得到N个待选预设图形，每组映射点集合包括N-1个映射点，N组映射点集合互不相同；

第二确定单元，用于筛选所述N个待选映射图形中与所述用户瞳孔的特征信息差异值最低的目标映射图形，并将所述目标映射图形的中心坐标作为视线落点。

6.根据权利要求5所述的视线落点确定装置，其特征在于，所述第一获取模块，包括：

获取单元，用于获取用户的眼部图像；

第一确定单元，用于在所述眼部图像中定位瞳孔所处的区域，并确定所述瞳孔的轮廓；

计算单元，用于选取位于所述瞳孔的轮廓上的N个边界点，并计算每个边界点的坐标。

7.根据权利要求6所述的视线落点确定装置，其特征在于，所述第一确定单元，还用于在所述眼部图像中定位瞳孔所处的区域，并拟合出瞳孔的椭圆形轮廓；

计算单元，还用于以所述椭圆形轮廓的圆心为中心选取N个边界点，并计算每个边界点的坐标，其中，所述N个边界点中相邻两个边界点与所述中心连线形成的夹角均相等。

8.根据权利要求5所述的视线落点确定装置，其特征在于，所述视线落点确定装置还包括：

第二获取模块，在显示画面中依次显示供用户注视的M个标定点，其中，在显示每个标定点的过程中获取用户瞳孔的N个边界点的坐标和与所述N个边界点的坐标对应的N个标记点的坐标，得到N组标记点坐标集合，其中，每组映射坐标集合包括对应同一边界点的M个标记点的坐标，所述M为≥7的整数；

建立模块，用于基于非线性回归模型和所述N组标记点坐标集合建立边界点映射模型，所述边界点映射模型包括N个边界点映射关系，每个边界点映射关系用于确定对应的边界点的映射点的坐标。

9.一种显示装置，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的视线落点确定方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的视线落点确定方法的步骤。