CN110705504A - 视线定位方法、显示装置、电子设备以及存储介质 - Google Patents

视线定位方法、显示装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN110705504A
CN110705504A CN201910974055.5A CN201910974055A CN110705504A CN 110705504 A CN110705504 A CN 110705504A CN 201910974055 A CN201910974055 A CN 201910974055A CN 110705504 A CN110705504 A CN 110705504A
Authority
CN
China
Prior art keywords
coordinates
calibration
target
light spot
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910974055.5A
Other languages
English (en)
Other versions
CN110705504B (zh
Inventor
薛亚冲
张�浩
陈丽莉
孙建康
崔利阳
李纲
吕耀宇
张硕
赵晨曦
彭项君
何惠东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910974055.5A priority Critical patent/CN110705504B/zh
Publication of CN110705504A publication Critical patent/CN110705504A/zh
Application granted granted Critical
Publication of CN110705504B publication Critical patent/CN110705504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视线定位方法、显示装置、电子设备以及存储介质，包括：对用户注视各个标定点时采集到的标定图像进行处理，分别得到各个标定点对应的标定信息，并根据标定信息进行标定；根据各组标定信息中各个光斑的坐标构建多边形并根据多边形构建第二坐标系，计算第二坐标系下各个光斑的坐标和标号；对当前图像进行处理，得到当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标；对目标瞳孔中心的坐标进行补偿。本发明则利用滑动前后光斑的坐标变化对标定后的非线性视线映射模型进行补偿，从而避免了因滑动而导致重新标定的麻烦，大大提高了VR/AR的使用体验。

Description

视线定位方法、显示装置、电子设备以及存储介质
技术领域
本发明涉及虚拟现实技术领域，特别是指一种视线定位方法、显示装置、电子设备以及存储介质。
背景技术
随着VR(Virtual Reality，虚拟现实技术)/AR(Augmented Reality，增强现实技术)的快速发展，人们对交互方式的要求越来越高，非侵入式的视线追踪系统成为本领域交互方法中的研究热点。
目前，在视线追踪系统中普遍采用的是基于非线性视线映射模型的方法，在计算该模型前，需要获得瞳孔中心与屏幕之间的映射关系，该过程称为标定过程。由于后续的视线计算都依赖于标定过程计算得到的视线映射模型，若用户头部与VR/AR设备发生相对滑动，则当前眼球与VR/AR设备的相对位置状态与标定时状态不一致，会导致视线计算失败。若要继续使用视线追踪系统，就需要再次重新标定才能正常使用，这给用户来了极大的不便，也大大降低了视线追踪系统的使用体验。
发明内容
有鉴于此，本发明的目的在于提出一种视线定位方法、显示装置、电子设备以及存储介质，以解决现有技术中存在的技术问题。
根据本发明第一方面，其提供了一种视线定位方法，包括：
对用户注视各个标定点时采集到的标定图像进行处理，分别得到各个标定点对应的标定信息，并根据所述标定信息进行标定；其中，每个标定点对应的一组标定信息包括第一坐标系下瞳孔中心的坐标和光斑的坐标；
根据各组标定信息中各个光斑的坐标构建多边形并根据所述多边形构建第二坐标系，计算第二坐标系下所述各个光斑的坐标和标号；
对当前图像进行处理，得到所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标；
根据每组标定信息中第二坐标系下所述各个光斑的坐标和标号，以及，所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标，对所述目标瞳孔中心的坐标进行补偿。
在本发明的一些实施例中，对于任意一个标定点，对用户注视该标定点时采集到的标定图像进行处理，得到该标定点对应的标定信息，包括：
从用户注视该标定点时采集到的标定图像中分别提取出瞳孔区域和光斑区域；
根据所述瞳孔区域和所述光斑区域，分别计算所述瞳孔区域中瞳孔中心的坐标以及所述光斑区域中至少三个光斑的坐标；
其中，在若干个红外光源照射下形成的若干个光斑中，所述至少三个光斑与所述瞳孔中心的距离最近。
在本发明的一些实施例中，根据所述标定信息进行标定，包括：
将各组标定信息中的瞳孔中心的坐标分别代入非线性映射模型中，并计算得到所述非线性映射模型中各个系数的值，从而得到瞳孔中心与屏幕之间的映射关系。
在本发明的一些实施例中，根据各组标定信息中各个光斑的坐标构建多边形，包括：
根据光斑的坐标计算每组标定信息中相邻两个光斑之间的距离，得到多个光斑距离值；
计算所述多个光斑距离值的平均值，以所述平均值作为边长构建正多边形。
在本发明的一些实施例中，计算所述多个光斑距离值的平均值，包括：
从所述多个光斑距离值中剔除最大值和最小值；
计算剔除最大值和最小值后的所述多个光斑距离值的平均值。
在本发明的一些实施例中，根据所述多边形构建第二坐标系，包括：
以所述正多边形的中心作为原点构建第二坐标系，从而确定所述正多边形的各个顶点在所述第二坐标系下的坐标；
其中，所述正多边形的每个顶点对应一个标号。
在本发明的一些实施例中，对于每组标定信息，计算第二坐标系下所述各个光斑的坐标和标号：
根据第一坐标系下所述各个光斑的坐标计算相邻两个光斑连线的中垂线的交点坐标；
以所述中垂线的交点为所述正多边形的中心，将所述各个光斑的坐标转换至第二坐标系下，从而得到第二坐标系下所述各个光斑的坐标；
根据第二坐标系下所述各个光斑距离所述正多边形最近的顶点的标号，确定所述各个光斑的标号。
在本发明的一些实施例中，根据每组标定信息中第二坐标系下所述各个光斑的坐标和标号，以及，所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标，对所述目标瞳孔中心的坐标进行补偿，包括：
根据所述当前图像中第一坐标系下目标光斑的坐标和所述正多边形，计算所述当前图像中第二坐标系下各个目标光斑的坐标和标号；其中，所述目标光斑的数量为至少三个，且所述目标光斑距离目标瞳孔中心最近；
遍历所述每组标定信息中第二坐标系下各个光斑的坐标和标号，判断是否存在与所述当前图像中目标光斑匹配的补偿标定信息；
若是，则根据所述补偿标定信息和所述当前图像中目标瞳孔中心的坐标，对所述目标瞳孔中心的坐标进行补偿；
若否，则不对所述目标瞳孔中心的坐标进行补偿。
在本发明的一些实施例中，判断是否存在与所述当前图像中目标光斑匹配的标定信息，包括：
判断是否存在同时满足以下条件的标定信息：
该组标定信息中的各个光斑的标号与所述当前图像中各个目标光斑的标号相同；
该组标定信息中的光斑数量与所述当前图像中的目标光斑数量相同。
在本发明的一些实施例中，根据所述补偿标定信息和所述当前图像中目标瞳孔中心的坐标，对所述目标瞳孔中心的坐标进行补偿，包括：
将所述当前图像中相邻两个目标光斑连线的中垂线的交点坐标减去所述补偿标定信息中相邻两个光斑连线的中垂线的交点坐标，得到滑动位移；
将所述当前图像中目标瞳孔中心的坐标减去所述滑动位移，得到矫正后的瞳孔中心坐标；
将所述矫正后的瞳孔中心坐标代入标定后的非线性映射模型中，计算得到视线落点坐标。
根据本发明第二方面，其提供了一种显示装置，包括：
若干个红外光源、红外相机、显示设备和处理器；其中：
所述显示设备用于点亮标定点；
所述红外光源用于形成光斑；
所述红外相机被配置为采集在所述红外光源照射下的标定图像和当前图像，并将所述标定图像和所述当前图像发送至所述处理器；
所述处理器被配置为执行上述任一实施例中所述的视线定位方法。
根据本发明第三方面，其提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机指令，其中，所述计算机指令被所述处理器运行时执行上述任一实施例中所述的视线定位方法。
根据本发明第四方面，其提供了一种存储介质，存储有适于由处理器运行的计算机指令，所述计算机指令被处理器运行时执行根据上述任一实施例中所述的视线定位方法。
本发明实施例提供的视线定位方法和显示装置利用光斑信息判断用户头部与VR/AR设备是否发生了相对滑动，若发生滑动，则利用滑动前后光斑的坐标变化对标定后的非线性视线映射模型进行补偿，实时计算视线落点坐标，使其在发生滑动后依然可以准确地计算出视线落点坐标，从而避免了因滑动而导致重新标定的麻烦，大大提高了VR/AR的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中视线定位方法的流程图；
图2为本发明实施例的VR/AR设备的结构示意图；
图3为本发明实施例的9个标定点的位置示意图；
图4为本发明另一个实施例中计算标定信息的流程图；
图5为本发明实施例的处理瞳孔图像的示意图；
图6为本发明再一个实施例中计算光斑在正八边形坐标系中的坐标和标号的流程图；
图7为本发明实施例的正八边形的结构示意图；
图8为本发明实施例的将光斑转换至正八边形坐标系中的示意图；
图9为本发明实施例中电子设备的内部结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在一个本发明的实施例中，如图1所示，本发明实施例提供了一种视线定位方法，该方法包括：
步骤101，对用户注视各个标定点时采集到的标定图像进行处理，分别得到各个标定点对应的标定信息，并根据所述标定信息进行标定。
由于后续的视线计算都依赖于标定过程计算得到的非线性视线映射模型，因此需要先对瞳孔中心和屏幕之间映射关系进行标定。在标定过程中，使用户依次注视每一个标定点，依次采集用户注视每一个标定点时的标定图像，然后对这些标定图像进行处理，从而得到每一个标定点对应的标定信息。其中，每个标定点对应的一组标定信息包括第一坐标系下瞳孔中心的坐标和光斑的坐标。
如图2所示，其为本发明实施例的VR/AR设备的结构示意图。所述VR/AR设备可以包括VR/AR壳体1，高速红外相机2，两个菲涅尔透镜3、4，以及若干个红外光源5、6、7、8、9、10、11、12等。可选地，在本发明的实施例中，红外光源的数量可以是6个、8个、10个、12等，红外光源波长为850nm。可选地，这些红外光源以正多边形的形式均匀地分布在菲涅尔透镜4(或者菲涅尔透镜3)的周围，为眼部提供均匀的补光，利于将瞳孔从虹膜区域分割出来，获得较为清晰的瞳孔图像，同时在人眼区域形成光斑，从而获得光斑图像。可选地，高速红外相机2设置于菲涅尔透镜4(或者菲涅尔透镜3)的正下方，高速红外相机2的中心轴线指向人眼区域中心位置，高速红外相机2的采样频率为100Hz。高速红外相机2采集用户佩戴VR/AR眼镜时，在红外光源照射下的人眼区域图像。
在本发明的实施例中，标定点的数量大于等于7个，可以是7个、8个、9个、10个或11个等，本发明实施例对此不作限制，增加标定点的数量有利于提高标定准确性。在标定过程中，屏幕上依次点亮这些标定点(每次只点亮一个标定点)，当某一个标定点点亮时，用户注视该标定点，高速红外相机2采集用户注视该标定点时的标定图像。然后，对该标定图像进行处理，就可以得到用户注视该标定点时的瞳孔中心的坐标和光斑的坐标。
可选地，对于任意一个标定点，采用如下方法对用户注视该标定点时采集到的标定图像进行处理，得到该标定点对应的标定信息：从用户注视该标定点时采集到的标定图像中分别提取出瞳孔区域和光斑区域；根据所述瞳孔区域和所述光斑区域，分别计算所述瞳孔区域中瞳孔中心的坐标以及所述光斑区域中至少三个光斑的坐标；其中，在若干个红外光源照射下形成的若干个光斑中，所述至少三个光斑与所述瞳孔中心的距离最近。在本发明的实施例中，选取距瞳孔中心最近的至少三个光斑的理由为：瞳孔在注视屏幕的外围区域时，所有红外光源无法同时在眼球上形成光斑，即光斑数量小于红外光源的总数量，但经过实际测试发现，即使瞳孔注视屏幕的外围区域，所形成的光斑数量一般都大于3个。因此，本发明实施例利用距离瞳孔中心最近的至少三个光斑来计算所有光斑所形成的正多边形结构的中心，这样计算得到的正多边形中心的误差最小。
可选地，从用户注视该标定点时采集到的标定图像中分别提取出瞳孔区域和光斑区域，包括：对用户注视该标定点时采集到的标定图像进行二值化处理，得到二值化标定图像；分别根据预设的第一灰度值阈值和第二灰度值阈值，对所述二值化标定图像进行阈值分割，分别提取出瞳孔区域和光斑区域。通过预设限定的阈值对二值化图像进行阈值分割，其中第一灰度值阈值和第二灰度值阈值均为预先设定的经验值。比如在提取瞳孔区域时，可以设定第一灰度值阈值为30、40、50或60等，从而提取出灰度值小于等于第一灰度值阈值的瞳孔区域。在提取光斑区域时，可以设定第二灰度值阈值为180、200、210或220等，从而提取出灰度值大于等于第二灰度值阈值的光斑区域。
可选地，根据所述瞳孔区域和所述光斑区域，分别计算所述瞳孔区域中瞳孔中心的坐标以及所述光斑区域中至少三个光斑的坐标，包括：采用边缘检测算法分别识别所述瞳孔区域和所述光斑区域，得到所述瞳孔区域中瞳孔的轮廓和所述光斑区域中各个光斑的轮廓；分别对所述瞳孔的轮廓和所述各个光斑的轮廓进行拟合，根据拟合结果定位出所述瞳孔中心的坐标和至少三个光斑的坐标。可选地，所述边缘检测算法可以是Canny边缘检测算子，以准确地识别出标定图像中的瞳孔轮廓和各个光斑的轮廓。可选地，对瞳孔轮廓进行拟合的过程可以包括：对瞳孔轮廓进行椭圆拟合，以面积最大的圆形轮廓作为拟合得到的瞳孔轮廓，该圆形中心即为瞳孔中心，记录下瞳孔中心的坐标。同理，对于每个光斑轮廓，可以采用同样的方法进行拟合，不再赘述。因此，经过拟合可以得到瞳孔中心的坐标以及每个光斑中心的坐标。最后，从这些光斑中筛选出与瞳孔中心最近的至少三个光斑，并记录下光斑中心的坐标。由于光斑的直径远小于瞳孔的直径，为了便于描述，在本发明的实施例中，光斑坐标也就是光斑中心的坐标。
重复上述步骤，完成所有标定图像的处理，就可以得到每个标定点对应的瞳孔中心的坐标以及与所述瞳孔中心最近的至少三个光斑的坐标。接着，基于瞳孔中心的坐标进行标定，可以具体包括：将各组标定信息中的瞳孔中心的坐标分别代入非线性映射模型中，计算得到所述非线性映射模型中各个系数的值，从而得到瞳孔中心与屏幕之间的映射关系。比如，可以基于最小二乘法计算得到所述非线性映射模型中各个系数的值。
可选地，本发明实施例采用的非线性视线映射模型如下：
Figure BDA0002233036710000071
其中，x为瞳孔中心的横坐标，y为瞳孔中心的纵坐标，XG为视线落点的横坐标，YG为视线落点的纵坐标。
因此，通过将各组标定信息中的瞳孔中心的坐标分别代入非线性映射模型，就可以计算得到系数a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4和b5的值，从而完成标定过程。
步骤102，根据各组标定信息中各个光斑的坐标构建多边形并根据所述多边形构建第二坐标系，计算第二坐标系下所述各个光斑的坐标和标号。
在完成标定后，需要计算构建正多边形，并基于所述多边形构建第二坐标系，从而计算第二坐标系下每组标定信息中各个光斑的坐标和标号。可选地，根据各组标定信息中各个光斑的坐标构建多边形，包括：根据光斑的坐标计算每组标定信息中相邻两个光斑之间的距离，得到多个光斑距离值；计算所述多个光斑距离值的平均值，以所述平均值作为边长构建正多边形。举例来说，以每组标定信息包括三个光斑的坐标为例，计算每组标定信息中相邻两个光斑之间的距离，得到每组标定信息可以得到两个光斑距离值。依次计算其他组标定信息对应的光斑距离值，然后对计算得到的所有光斑距离值取平均值，以平均值作为边长构建正多边形。
可选地，对于计算得到的所有光斑距离值，可以先剔除最大值和最小值，然后对剔除最大值和最小值后的光斑距离值取平均值，这样可以准确地计算得到边长，减少误差。
需要指出的是，在本发明的实施例中，正多边形的边数量与红外光源的数量相同，如果红外光源的数量为6，则在步骤102构建正六边形，如果红外光源的数量为8个，则在步骤102构建正八边形，如果红外光源的数量为10，则在步骤102构建正十边形，以此类推，不再赘述。
可选地，根据所述多边形构建第二坐标系，包括：以所述正多边形的中心作为原点构建第二坐标系，从而确定所述正多边形的各个顶点在所述第二坐标系下的坐标；其中，所述正多边形的每个顶点对应一个标号。在完成正多边形的构建后，基于所述正多边形构建第二坐标系，计算第二坐标系下每组标定信息中各个光斑的坐标和标号。可选地，对于每组标定信息，采用如下方法计算第二坐标系下所述各个光斑的坐标和标号：根据第一坐标系下所述各个光斑的坐标计算相邻两个光斑连线的中垂线的交点坐标；以所述中垂线的交点为所述正多边形的中心，将所述各个光斑的坐标转换至第二坐标系下，从而得到第二坐标系下所述各个光斑的坐标；根据第二坐标系下所述各个光斑距离所述正多边形最近的顶点的标号，确定所述各个光斑的标号。
举例来说，以每组标定信息包括三个光斑为例，计算三个光斑中任意两个相邻光斑连线的中垂线的交点坐标；然后以正多边形的中心为原点，将这三个光斑转换至第二坐标系中，并使中垂线的交点与正多边形中心重合，由此得到这三个光斑在第二坐标系中的坐标。最后，根据这三个光斑在第二坐标系中的坐标以及正多边形顶点的坐标，分别匹配出与这三个光斑最近的三个顶点，这三个顶点对应的标号依次为这三个光斑的标号。
重复上述步骤就可以得到每组标定信息中第二坐标系下各个光斑的坐标和标号。因此，每个标定点对应一组标定信息，每组标定信息包含瞳孔中心坐标和至少三个光斑的坐标，每个光斑还对应有在第二坐标系中的坐标和标号。
步骤103，对当前图像进行处理，得到所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标。
高速红外相机2按照采样频率实时采集用户的图像，每次采集到用户的当前图像后，对当前图像进行处理，得到当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标，用于判断是否进行补偿。其中，所述目标光斑的数量为至少三个，且所述目标光斑距离瞳孔中心最近。
需要指出的是，步骤103对当前图像进行处理的过程与步骤101类似，具体地，可以包括：当前图像进行二值化处理，得到二值化当前图像；分别根据预设的第一灰度值阈值和第二灰度值阈值，对所述二值化当前图像进行阈值分割，分别提取出目标瞳孔区域和目标光斑区域。通过预设限定的阈值对二值化图像进行阈值分割，其中第一灰度值阈值和第二灰度值阈值均为预先设定的经验值。比如在提取目标瞳孔区域时，可以设定第一灰度值阈值为30、40、50或60等，从而提取出灰度值小于等于第一灰度值阈值的目标瞳孔区域。在提取目标光斑区域时，可以设定第二灰度值阈值为180、200、210或220等，从而提取出灰度值大于等于第二灰度值阈值的目标光斑区域。
可选地，根据所述目标瞳孔区域和所述目标光斑区域，分别计算所述目标瞳孔区域中瞳孔中心的坐标以及所述目标光斑区域中至少三个目标光斑的坐标，包括：采用边缘检测算法分别识别所述目标瞳孔区域和所述目标光斑区域，得到所述目标瞳孔区域中瞳孔的轮廓和所述目标光斑区域中各个目标光斑的轮廓；分别对所述目标瞳孔的轮廓和所述各个目标光斑的轮廓进行拟合，根据拟合结果定位出所述目标瞳孔中心的坐标和至少三个目标光斑的坐标。可选地，所述边缘检测算法可以是Canny边缘检测算子，以准确地识别出当前图像中的目标瞳孔轮廓和各个，目标光斑的轮廓。可选地，对目标瞳孔轮廓进行拟合的过程可以包括：对目标瞳孔轮廓进行椭圆拟合，以面积最大的圆形轮廓作为拟合得到的目标瞳孔轮廓，该圆形中心即为目标瞳孔的中心。同理，对于每个目标光斑轮廓，可以采用同样的方法进行拟合，不再赘述。因此，经过拟合可以得到目标瞳孔中心的坐标以及每个目标光斑的坐标。最后，从这些目标光斑中筛选出与目标瞳孔中心最近的至少三个目标光斑。
因此，经过上述处理，每张当前图像对应目标瞳孔中心的坐标和至少三个目标光斑的坐标。
步骤104，根据每组标定信息中第二坐标系下所述各个光斑的坐标和标号，以及，所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标，对所述目标瞳孔中心的坐标进行补偿。
在完成对当前图像的计算后，将当前图像对应的目标瞳孔中心的坐标和目标光斑的坐标与每组标定信息进行匹配，判断是否需要进行补偿。可选地，步骤104包括：根据所述当前图像中第一坐标系下目标光斑的坐标和所述正多边形，计算所述当前图像中第二坐标系下各个目标光斑的坐标和标号；其中，所述目标光斑的数量为至少三个，且所述目标光斑距离目标瞳孔中心最近；遍历所述每组标定信息中第二坐标系下各个光斑的坐标和标号，判断是否存在与所述当前图像中目标光斑匹配的补偿标定信息；若是，则根据所述补偿标定信息和所述当前图像中目标瞳孔中心的坐标，对所述目标瞳孔中心的坐标进行补偿；若否，则不对所述目标瞳孔中心的坐标进行补偿。
需要指出的是，计算所述当前图像中第二坐标系下各个目标光斑的坐标和标号的步骤与步骤102类似，不再赘述。
由于在步骤102中得到每组标定信息中至少三个光斑在第二坐标系中的坐标和标号，因此可以遍历每组标定信息，匹配出与所述当前图像中目标光斑匹配的补偿标定信息。可选地，可以采用以下方式进行判断：
判断是否存在同时满足以下条件的标定信息：该组标定信息中的各个光斑的标号与所述当前图像中各个目标光斑的标号相同；并且，该组标定信息中的光斑数量与所述当前图像中的目标光斑数量相同。如果同时满足上述条件，则将该标定信息作为补偿标定信息，用于后续的补偿计算。如果不存在同时满足上述条件的标定信息，则不进行补偿计算，即结束。
可选地，如果匹配到补偿标定信息，则根据所述补偿标定信息和所述当前图像中目标瞳孔中心的坐标，对所述目标瞳孔中心的坐标进行补偿，包括：将所述当前图像中相邻两个目标光斑连线的中垂线的交点坐标减去所述补偿标定信息中相邻两个光斑连线的中垂线的交点坐标，得到滑动位移；将所述当前图像中目标瞳孔中心的坐标减去所述滑动位移，得到矫正后的瞳孔中心坐标；将所述矫正后的瞳孔中心坐标代入标定后的非线性映射模型中，计算得到视线落点坐标。因此，本发明实施例可以利用当前图像中的目标光斑和标定信息中的光斑判断用户头部与VR/AR设备是否发生了相对滑动，若发生滑动，则对非线性视线映射模型进行补偿，实时计算视线落点坐标。因此，即使用户头部与VR/AR设备发生了相对滑动，不需要再次标定也可准确地计算出视线落点坐标，大大提高了VR/AR的使用体验。
当红外光源照射至人眼时，会在眼球上形成光斑，并且当发生滑动时，光斑的位置变化与眼球的位置变化相同，本发明实施例提供的视线定位方法利用光斑信息判断用户头部与VR/AR设备是否发生了相对滑动，若发生滑动，则利用滑动前后光斑的坐标变化对标定后的非线性视线映射模型进行补偿，实时计算视线落点坐标，使其在发生滑动后依然可以准确地计算出视线落点坐标，从而避免了因滑动而导致重新标定的麻烦，大大提高了VR/AR的使用体验。
以下以9点标定法为例，对标定过程进行详细说明。在屏幕上设定9个标定点，9个标定点的分布如图3所示，用户按照1-2-3-4-5-6-7-8-9的顺序依次注视9个标定点。
首先，屏幕只点亮第一个标定点，用户注视第一个标定点，高速红外相机2采集用户注视该标定点时的标定图像；然后，屏幕只点亮第二个标定点，用户注视第二个标定点，高速红外相机2采集用户注视该标定点时的标定图像；接着，屏幕只点亮第三个标定点，用户注视第三个标定点，高速红外相机2采集用户注视该标定点时的标定图像；依次类推，完成9个标定点的图像采集。
在完成图像采集后，对9张标定图像进行处理，分别得到各个标定点对应的标定信息。如图4所示，对于每个注视点对应的标定图像，可以采用如下方法得到标定信息：
步骤401，对用户注视该标定点时采集到的标定图像进行二值化处理，得到二值化标定图像。
步骤402，根据预设的第一灰度值阈值，对所述二值化标定图像进行阈值分割，提取出瞳孔区域。
如图5所示，对二值化标定图像进行阈值分割，提取瞳孔区域，阈值设定为40(经验值)。
步骤403，采用边缘检测算法识别所述瞳孔区域，得到所述瞳孔区域中瞳孔的轮廓。
可选地，如图5所示，可以采用Canny边缘检测算子识别瞳孔区域的轮廓，得到标定图像中的瞳孔轮廓。
步骤404，对所述瞳孔的轮廓进行拟合，根据拟合结果定位出所述瞳孔中心的坐标。
如图5所示，对瞳孔轮廓进行椭圆拟合，以面积最大的圆形轮廓作为拟合得到的瞳孔轮廓，该圆形中心即为瞳孔中心，记录瞳孔中心的坐标。
步骤405，根据预设的第二灰度值阈值，对所述二值化标定图像进行阈值分割，提取出光斑区域。
对二值化标定图像进行阈值分割，提取光斑区域，阈值设定为200(经验值)。
步骤406，采用边缘检测算法识别所述光斑区域，得到所述光斑区域中各个光斑的轮廓。
可以采用Canny边缘检测算子识别光斑区域的轮廓，得到标定图像中的每一个光斑轮廓。
步骤407，对所述各个光斑的轮廓进行拟合，根据拟合结果定位出所述各个光斑的坐标。
对每个光斑的轮廓进行椭圆拟合，以面积最大的圆形轮廓作为拟合得到的光斑轮廓，该圆形中心即为光斑中心，记录每一个光斑中心的坐标。
步骤408，根据各个光斑到瞳孔中心的距离，筛选出与所述瞳孔中心的距离最近的至少三个光斑的坐标。
计算瞳孔中心到每一个光斑中心的距离，筛选出距瞳孔最近的三个光斑，记录这三个光斑的坐标。
距离计算公式如下：
Figure BDA0002233036710000121
其中，(xi,yi)表示第i个光斑的坐标，(x0,y0)表示瞳孔中心的坐标，di表示瞳孔中心到第i个光斑的距离。
重复执行步骤401-408，得到9组标定信息，每组标定信息包含瞳孔中心的坐标和三个光斑的坐标。
接着，将各组标定信息中的瞳孔中心的坐标分别代入非线性映射模型中，并基于最小二乘法计算得到所述非线性映射模型中各个系数的值，从而得到瞳孔中心与屏幕之间的映射关系。
需要指出的是，在本发明的实施例中，步骤402与步骤405可以同时执行，步骤403与步骤406也可以同时执行，步骤404与步骤407也可以同时执行，这样可以提高计算速度，同步得到瞳孔中心坐标和光斑坐标，本发明实施例对此不作限制。
以下以构建正八边形为例，对计算光斑在正八边形坐标系(即第二坐标系)中的坐标和标号的步骤进行详细说明。
作为本发明的再一个实施例，如图6所示，所述计算光斑在正八边形坐标系中的坐标和标号的步骤可以包括以下步骤：
步骤601，计算每组标定信息中相邻两个光斑之间的距离，得到多个光斑距离值。
如果每组标定信息包括三个光斑的坐标，则每组标定信息可以计算得到两个光斑距离值，最终得到2N个光斑距离值。其中，N为标定点的数量。
步骤602，计算所述多个光斑距离值的平均值，以所述平均值作为边长构建正八边形。
可选地，可以对计算得到的2N个光斑距离值进行筛选，先剔除几个最大值和几个最小值，然后对剔除最大值和最小值后的光斑距离值取平均值，这样可以准确地计算得到边长，减少误差。
将平均值作为正八边形的边长，构建正八边形，如图7所示。假设平均距离为l，则正八边形外接圆半径为：
Figure BDA0002233036710000131
那么，可得每个顶点的坐标分别为：顶点1(0,1.3l)，顶点2(-0.92l,0.92l)，顶点3(-1.3l，0)，顶点4(-0.92l，-0.92l)，顶点5(0，-1.3l)，顶点6(0.92l，-0.92l)，顶点7(1.3l，0)，顶点8(0.92l，0.92l)；正八边形的中心坐标为(0，0)。
步骤603，根据所述正八边形构建坐标系，并基于正八边形坐标系计算每组标定信息中各个光斑在所述正八边形坐标系中的坐标和标号。
完成正八边形的构建后，以所述正八边形的中心作为原点构建坐标系，从而确定所述正八边形的各个顶点在所述坐标系下的坐标；其中，所述正八边形的每个顶点对应一个标号(标号范围为1-8)，然后需要计算正八边形坐标系下各个光斑的标号(标号范围为1-8)和坐标。
可选地，如图8所示，对于每组标定信息(假设每组标定信息包括三个光斑的坐标)，计算光斑坐标的方法如下：
首先，计算三个光斑(a、b、c)中相邻两光斑连线的中垂线交点，计算公式如下：
光斑a、b所在线段斜率：
Figure BDA0002233036710000141
光斑b、c所在线段斜率：
光斑a、b所在线段的中垂线：
Figure BDA0002233036710000143
光斑b、c所在线段的中垂线：
Figure BDA0002233036710000144
对这两个中垂线方程求解，可得中垂线交点坐标g(xg,yg)。
以所述中垂线交点g(xg,yg)为所述正八边形的中心，将光斑(a、b、c)的坐标转换至正八边形坐标系中，从而得到光斑(a、b、c)在正八边形坐标系中的坐标。
因此，三个光斑(a、b、c)坐标转换至正八边形坐标系后，光斑a在正八边形坐标系中的坐标为(xa-xg,ya-xg)，光斑b在正八边形坐标系中的坐标为(xb-xg,yb-yg),光斑c在正八边形坐标系中的坐标为(xc-xg,yc-yg)。
可选地，计算光斑标号的方法如下：
计算光斑a到正八边形每个顶点的距离，距离最近的顶点所对应的标号即为光斑a标号，对于光斑b、c采取相同的操作，由此得到三个光斑(a、b、c)在正八边形坐标系中的标号。
作为本发明的又一个实施例，在步骤104中，如果匹配出了多组标定信息，则分别计算每组补偿标定信息中的各个光斑位置与所述当前图像中各个目标光斑位置之间的相似度，取相似度最高的那组作为补偿标定信息。可以采用计算向量相似度的方式来计算光斑位置的相似度，比如，将中垂线交点g作为起点，将某一个光斑b作为终点，得到平面向量，计算标定信息的平面向量与当前图像的平面向量的相似度，取相似度最高的标定信息作为补充标定信息，用于后续的补偿计算。
根据本发明实施例，还提供了一种显示装置，包括：若干个红外光源、红外相机、显示设备和处理器；其中：所述显示设备用于点亮标定点；所述红外光源用于形成光斑；所述红外相机被配置为采集在所述红外光源照射下的标定图像和当前图像，并将所述标定图像和所述当前图像发送至所述处理器；所述处理器被配置为执行上述任一实施例中所述的视线定位方法。
根据本发明实施例，还提供了一种电子设备，如图9所示，该电子设备包括处理器901以及存储器902，该存储器902配置为存储计算机程序指令，计算机程序指令适于由处理器901加载并执行如下方法：对用户注视各个标定点时采集到的标定图像进行处理，分别得到各个标定点对应的标定信息，并根据所述标定信息进行标定；其中，每个标定点对应的一组标定信息包括第一坐标系下瞳孔中心的坐标和光斑的坐标；根据各组标定信息中各个光斑的坐标构建多边形并根据所述多边形构建第二坐标系，计算第二坐标系下所述各个光斑的坐标和标号；对当前图像进行处理，得到所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标；根据每组标定信息中第二坐标系下所述各个光斑的坐标和标号，以及，所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标，对所述目标瞳孔中心的坐标进行补偿。
该处理器可以为各种适用的处理器，例如实现为中央处理器、微处理器、嵌入处理器等形式，可以采用X86、ARM等架构；存储器902可以为各种适用的存储装置，包括但不限于磁存储装置、半导体存储装置、光存储装置等，本发明的实施例对这些不作限制。
本发明所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM，Read-Only Memory)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
此外，根据本发明的一个实施例，处理器901还可以加载并执行：从用户注视该标定点时采集到的标定图像中分别提取出瞳孔区域和光斑区域；根据所述瞳孔区域和所述光斑区域，分别计算所述瞳孔区域中瞳孔中心的坐标以及所述光斑区域中至少三个光斑的坐标；其中，在若干个红外光源照射下形成的若干个光斑中，所述至少三个光斑与所述瞳孔中心的距离最近。
此外，根据本发明的一个实施例，处理器901还可以加载并执行：将各组标定信息中的瞳孔中心的坐标分别代入非线性映射模型中，并计算得到所述非线性映射模型中各个系数的值，从而得到瞳孔中心与屏幕之间的映射关系。
此外，根据本发明的一个实施例，处理器901还可以加载并执行：根据光斑的坐标计算每组标定信息中相邻两个光斑之间的距离，得到多个光斑距离值；
计算所述多个光斑距离值的平均值，以所述平均值作为边长构建正多边形。
此外，根据本发明的一个实施例，处理器901还可以加载并执行：从所述多个光斑距离值中剔除最大值和最小值；计算剔除最大值和最小值后的所述多个光斑距离值的平均值。
此外，根据本发明的一个实施例，处理器901还可以加载并执行：以所述正多边形的中心作为原点构建第二坐标系，从而确定所述正多边形的各个顶点在所述第二坐标系下的坐标；其中，所述正多边形的每个顶点对应一个标号。
此外，根据本发明的一个实施例，处理器901还可以加载并执行：根据第一坐标系下所述各个光斑的坐标计算相邻两个光斑连线的中垂线的交点坐标；以所述中垂线的交点为所述正多边形的中心，将所述各个光斑的坐标转换至第二坐标系下，从而得到第二坐标系下所述各个光斑的坐标；根据第二坐标系下所述各个光斑距离所述正多边形最近的顶点的标号，确定所述各个光斑的标号。
此外，根据本发明的一个实施例，处理器901还可以加载并执行：根据所述当前图像中第一坐标系下目标光斑的坐标和所述正多边形，计算所述当前图像中第二坐标系下各个目标光斑的坐标和标号；其中，所述目标光斑的数量为至少三个，且所述目标光斑距离目标瞳孔中心最近；遍历所述每组标定信息中第二坐标系下各个光斑的坐标和标号，判断是否存在与所述当前图像中目标光斑匹配的补偿标定信息；若是，则根据所述补偿标定信息和所述当前图像中目标瞳孔中心的坐标，对所述目标瞳孔中心的坐标进行补偿；若否，则不对所述目标瞳孔中心的坐标进行补偿。
此外，根据本发明的一个实施例，处理器901还可以加载并执行：判断是否存在同时满足以下条件的标定信息：该组标定信息中的各个光斑的标号与所述当前图像中各个目标光斑的标号相同；该组标定信息中的光斑数量与所述当前图像中的目标光斑数量相同。
此外，根据本发明的一个实施例，处理器901还可以加载并执行：将所述当前图像中相邻两个目标光斑连线的中垂线的交点坐标减去所述补偿标定信息中相邻两个光斑连线的中垂线的交点坐标，得到滑动位移；将所述当前图像中目标瞳孔中心的坐标减去所述滑动位移，得到矫正后的瞳孔中心坐标；将所述矫正后的瞳孔中心坐标代入标定后的非线性映射模型中，计算得到视线落点坐标。
由此可见，本发明实施例利用光斑信息判断用户头部与VR/AR设备是否发生了相对滑动，若发生滑动，则利用滑动前后光斑的坐标变化对标定后的非线性视线映射模型进行补偿，实时计算视线落点坐标，使其在发生滑动后依然可以准确地计算出视线落点坐标，从而避免了因滑动而导致重新标定的麻烦，大大提高了VR/AR的使用体验。
需要说明的是，对于上述的系统、方法和电子设备实施例，为了简单描述，故将其都表述为一系列的动作或模块组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序或模块连接的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行，某些模块可以采用其他连接方式。
本领域技术人员也应该知悉，说明书中所描述的实施例均属于一种实施例，上述实施例序号仅仅为了描述，所涉及的动作和模块并不一定是本发明所必须的。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括易失性存储介质或非易失性存储介质，例如U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种视线定位方法，其特征在于，包括：
对用户注视各个标定点时采集到的标定图像进行处理，分别得到各个标定点对应的标定信息，并根据所述标定信息进行标定；其中，每个标定点对应的一组标定信息包括第一坐标系下瞳孔中心的坐标和光斑的坐标；
根据各组标定信息中各个光斑的坐标构建多边形并根据所述多边形构建第二坐标系，计算第二坐标系下所述各个光斑的坐标和标号；
对当前图像进行处理，得到所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标；
根据每组标定信息中第二坐标系下所述各个光斑的坐标和标号，以及，所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标，对所述目标瞳孔中心的坐标进行补偿。
2.根据权利要求1所述的视线定位方法，其特征在于，对于任意一个标定点，对用户注视该标定点时采集到的标定图像进行处理，得到该标定点对应的标定信息，包括：
从用户注视该标定点时采集到的标定图像中分别提取出瞳孔区域和光斑区域；
根据所述瞳孔区域和所述光斑区域，分别计算所述瞳孔区域中瞳孔中心的坐标以及所述光斑区域中至少三个光斑的坐标；
其中，在若干个红外光源照射下形成的若干个光斑中，所述至少三个光斑与所述瞳孔中心的距离最近。
3.根据权利要求1所述的视线定位方法，其特征在于，根据所述标定信息进行标定，包括：
将各组标定信息中的瞳孔中心的坐标分别代入非线性映射模型中，并计算得到所述非线性映射模型中各个系数的值，从而得到瞳孔中心与屏幕之间的映射关系。
4.根据权利要求1所述的视线定位方法，其特征在于，根据各组标定信息中各个光斑的坐标构建多边形，包括：
根据光斑的坐标计算每组标定信息中相邻两个光斑之间的距离，得到多个光斑距离值；
计算所述多个光斑距离值的平均值，以所述平均值作为边长构建正多边形。
5.根据权利要求4所述的视线定位方法，其特征在于，计算所述多个光斑距离值的平均值，包括：
从所述多个光斑距离值中剔除最大值和最小值；
计算剔除最大值和最小值后的所述多个光斑距离值的平均值。
6.根据权利要求4所述的视线定位方法，其特征在于，根据所述多边形构建第二坐标系，包括：
以所述正多边形的中心作为原点构建第二坐标系，从而确定所述正多边形的各个顶点在所述第二坐标系下的坐标；
其中，所述正多边形的每个顶点对应一个标号。
7.根据权利要求6所述的视线定位方法，其特征在于，对于每组标定信息，计算第二坐标系下所述各个光斑的坐标和标号：
根据第一坐标系下所述各个光斑的坐标计算相邻两个光斑连线的中垂线的交点坐标；
以所述中垂线的交点为所述正多边形的中心，将所述各个光斑的坐标转换至第二坐标系下，从而得到第二坐标系下所述各个光斑的坐标；
根据第二坐标系下所述各个光斑距离所述正多边形最近的顶点的标号，确定所述各个光斑的标号。
8.根据权利要求7所述的视线定位方法，其特征在于，根据每组标定信息中第二坐标系下所述各个光斑的坐标和标号，以及，所述当前图像中第一坐标系下目标瞳孔中心的坐标和目标光斑的坐标，对所述目标瞳孔中心的坐标进行补偿，包括：
根据所述当前图像中第一坐标系下目标光斑的坐标和所述正多边形，计算所述当前图像中第二坐标系下各个目标光斑的坐标和标号；其中，所述目标光斑的数量为至少三个，且所述目标光斑距离目标瞳孔中心最近；
遍历所述每组标定信息中第二坐标系下各个光斑的坐标和标号，判断是否存在与所述当前图像中目标光斑匹配的补偿标定信息；
若是，则根据所述补偿标定信息和所述当前图像中目标瞳孔中心的坐标，对所述目标瞳孔中心的坐标进行补偿；
若否，则不对所述目标瞳孔中心的坐标进行补偿。
9.根据权利要求8所述的视线定位方法，其特征在于，判断是否存在与所述当前图像中目标光斑匹配的标定信息，包括：
判断是否存在同时满足以下条件的标定信息：
该组标定信息中的各个光斑的标号与所述当前图像中各个目标光斑的标号相同；
该组标定信息中的光斑数量与所述当前图像中的目标光斑数量相同。
10.根据权利要求8所述的视线定位方法，其特征在于，根据所述补偿标定信息和所述当前图像中目标瞳孔中心的坐标，对所述目标瞳孔中心的坐标进行补偿，包括：
将所述当前图像中相邻两个目标光斑连线的中垂线的交点坐标减去所述补偿标定信息中相邻两个光斑连线的中垂线的交点坐标，得到滑动位移；
将所述当前图像中目标瞳孔中心的坐标减去所述滑动位移，得到矫正后的瞳孔中心坐标；
将所述矫正后的瞳孔中心坐标代入标定后的非线性映射模型中，计算得到视线落点坐标。
11.一种显示装置，其特征在于，包括：
若干个红外光源、红外相机、显示设备和处理器；其中：
所述显示设备用于点亮标定点；
所述红外光源用于形成光斑；
所述红外相机被配置为采集在所述红外光源照射下的标定图像和当前图像，并将所述标定图像和所述当前图像发送至所述处理器；
所述处理器被配置为执行根据权利要求1-10中任一项所述的视线定位方法。
12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机指令，其中，所述计算机指令被所述处理器运行时执行1-10中任一项权利要求所述的视线定位方法。
13.一种存储介质，存储有适于由处理器运行的计算机指令，所述计算机指令被处理器运行时执行根据权利要求1-10中任一项所述的视线定位方法。
CN201910974055.5A 2019-10-14 2019-10-14 视线定位方法、显示装置、电子设备以及存储介质 Active CN110705504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910974055.5A CN110705504B (zh) 2019-10-14 2019-10-14 视线定位方法、显示装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910974055.5A CN110705504B (zh) 2019-10-14 2019-10-14 视线定位方法、显示装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110705504A true CN110705504A (zh) 2020-01-17
CN110705504B CN110705504B (zh) 2022-07-08

Family

ID=69200217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910974055.5A Active CN110705504B (zh) 2019-10-14 2019-10-14 视线定位方法、显示装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110705504B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816073A (zh) * 2020-07-06 2020-10-23 京东方科技集团股份有限公司 显示模组、显示装置以及显示模组的校准方法
WO2021249187A1 (zh) * 2020-06-09 2021-12-16 京东方科技集团股份有限公司 视线追踪方法、视线追踪装置、计算设备和介质
WO2022225734A1 (en) * 2021-04-19 2022-10-27 Microsoft Technology Licensing, Llc Systems and methods of capturing eye-gaze data
US11619993B2 (en) 2021-04-19 2023-04-04 Microsoft Technology Licensing, Llc Systems and methods for gaze-tracking
WO2023226034A1 (zh) * 2022-05-27 2023-11-30 京东方科技集团股份有限公司 视线标定系统、方法、设备和非瞬态计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150061476A (ko) * 2013-11-27 2015-06-04 주식회사 케이티 비주시 영역의 영상을 제공하는 방법
US20150248788A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Method and system for retrieving data in response to user activity
CN107358217A (zh) * 2017-07-21 2017-11-17 北京七鑫易维信息技术有限公司 一种视线估计方法及装置
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN107633240A (zh) * 2017-10-19 2018-01-26 京东方科技集团股份有限公司 视线追踪方法和装置、智能眼镜
JP2018205886A (ja) * 2017-05-31 2018-12-27 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
CN109656373A (zh) * 2019-01-02 2019-04-19 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248788A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Method and system for retrieving data in response to user activity
KR20150061476A (ko) * 2013-11-27 2015-06-04 주식회사 케이티 비주시 영역의 영상을 제공하는 방법
JP2018205886A (ja) * 2017-05-31 2018-12-27 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
CN107358217A (zh) * 2017-07-21 2017-11-17 北京七鑫易维信息技术有限公司 一种视线估计方法及装置
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN107633240A (zh) * 2017-10-19 2018-01-26 京东方科技集团股份有限公司 视线追踪方法和装置、智能眼镜
CN109656373A (zh) * 2019-01-02 2019-04-19 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LAURABISHOP 等: "Eye gaze as a means of giving and seeking information during musical interaction", 《CONSCIOUSNESS AND COGNITION》 *
余罗 等: "用于精神分裂症检测的眼动仪研制", 《北京生物医学工程》 *
张文强: "操控员视线跟踪技术研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249187A1 (zh) * 2020-06-09 2021-12-16 京东方科技集团股份有限公司 视线追踪方法、视线追踪装置、计算设备和介质
CN111816073A (zh) * 2020-07-06 2020-10-23 京东方科技集团股份有限公司 显示模组、显示装置以及显示模组的校准方法
CN111816073B (zh) * 2020-07-06 2023-04-25 京东方科技集团股份有限公司 显示模组、显示装置以及显示模组的校准方法
WO2022225734A1 (en) * 2021-04-19 2022-10-27 Microsoft Technology Licensing, Llc Systems and methods of capturing eye-gaze data
US11619993B2 (en) 2021-04-19 2023-04-04 Microsoft Technology Licensing, Llc Systems and methods for gaze-tracking
US11998335B2 (en) 2021-04-19 2024-06-04 Microsoft Technology Licensing, Llc Systems and methods of capturing eye-gaze data
WO2023226034A1 (zh) * 2022-05-27 2023-11-30 京东方科技集团股份有限公司 视线标定系统、方法、设备和非瞬态计算机可读存储介质

Also Published As

Publication number Publication date
CN110705504B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN110705504B (zh) 视线定位方法、显示装置、电子设备以及存储介质
US10564446B2 (en) Method, apparatus, and computer program for establishing a representation of a spectacle lens edge
KR20200004841A (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
US9842255B2 (en) Calculation device and calculation method
CN110807427B (zh) 一种视线追踪方法、装置、计算机设备和存储介质
CN113678055B (zh) 眼镜镜片的至少一个光学参数的确定
WO2023011339A1 (zh) 视线方向追踪方法和装置
CA2834176A1 (en) Method of normalizing a digital image of an iris of an eye
KR102195268B1 (ko) 근거리 시력 지점을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램
CN113692527B (zh) 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置
EP4264627A1 (en) System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset
CN113283271A (zh) 虹膜自动捕捉方法、装置、计算机可读存储介质及设备
US11982878B2 (en) Method and device for measuring the local refractive power and/or refractive power distribution of a spectacle lens
US10036902B2 (en) Method of determining at least one behavioural parameter
CN114830015A (zh) 用于确定配戴着眼睛配戴物的受试者的至少一个几何形态参数的值的方法
US11397339B2 (en) Computer-implemented method for determining centring parameters
JP2003079577A (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体
CN112086193A (zh) 一种基于物联网的人脸识别健康预测系统及方法
US20220390771A1 (en) System and method for fitting eye wear
US20230206598A1 (en) Interpupillary distance estimation method
EP3978895A1 (en) Method and system for determining at least one optical parameter of an optical lens
EP4300172A1 (en) Method for determining lens fitting parameters
CN116830152A (zh) 用于检测和跟踪视频流中戴着一副眼镜的个体的面部的方法
CN116434317A (zh) 眼部图像处理方法、装置、眼动跟踪系统和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant