CN111061373A - 一种眼球追踪校准方法、装置及可佩戴式设备 - Google Patents

一种眼球追踪校准方法、装置及可佩戴式设备 Download PDF

Info

Publication number
CN111061373A
CN111061373A CN201911313032.6A CN201911313032A CN111061373A CN 111061373 A CN111061373 A CN 111061373A CN 201911313032 A CN201911313032 A CN 201911313032A CN 111061373 A CN111061373 A CN 111061373A
Authority
CN
China
Prior art keywords
pupil
parameter
determining
eyeball image
ellipse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911313032.6A
Other languages
English (en)
Other versions
CN111061373B (zh
Inventor
孙建康
张�浩
陈丽莉
薛亚冲
董泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201911313032.6A priority Critical patent/CN111061373B/zh
Publication of CN111061373A publication Critical patent/CN111061373A/zh
Application granted granted Critical
Publication of CN111061373B publication Critical patent/CN111061373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种眼球追踪校准方法、装置及可佩戴式设备，涉及眼球追踪技术领域。其中，该方法包括：获取第一眼球图像；第一眼球图像为左眼/右眼眼球图像；确定第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；根据第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；确定第二瞳孔椭圆参数与第一瞳孔椭圆参数之间的差值；根据该差值，对注视点坐标进行校准。本发明实施例中，第一瞳孔椭圆参数也即当前瞳孔的实际参数，第二瞳孔椭圆参数也即当前瞳孔对应的理论参数，设备可以确定当前瞳孔相对于设备与人眼未发生相对滑动的初始情况的变化量，进而根据该变化量校准注视点坐标，使得眼球追踪精度不会随设备的使用而降低。

Description

一种眼球追踪校准方法、装置及可佩戴式设备
技术领域
本发明涉及眼球追踪技术领域，特别是涉及一种眼球追踪校准方法、装置及可佩戴式设备。
背景技术
眼球追踪技术在虚拟现实(Virtual Reality，VR)、增强现实(AugmentedReality，AR)、混合现实(Mixed Reality，MR)等领域的应用十分广泛。目前，在使用眼球追踪设备播放视频之前，眼球追踪系统首先会对用户进行5点标定或9点标定，即利用已知的瞳孔中心位置和注视点位置，建立起瞳孔中心位置与注视点位置之间的映射关系。后续使用眼球追踪设备播放视频时，便能够根据当前的瞳孔中心位置和建立起的映射关系，确定用户当前的注视点位置，从而实现眼球追踪。
但是，随着用户的使用，眼球追踪设备可能会因为与人眼发生相对滑动等原因，逐渐脱离原始的标定位置，使得原先建立的瞳孔中心位置与注视点位置之间的映射关系无法继续适用，进而造成眼球追踪的精度急剧下降。
发明内容
本发明提供一种眼球追踪校准方法、装置及可佩戴式设备，以解决眼球追踪精度会随设备的使用而降低的问题。
为了解决上述问题，本发明公开了一种眼球追踪校准方法，包括：
获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；
确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；
根据所述第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；
确定所述第二瞳孔椭圆参数与所述第一瞳孔椭圆参数之间的差值；
根据所述差值，对注视点坐标进行校准。
可选地，所述获取第一眼球图像之前，还包括：
获取多个第二眼球图像；所述第二眼球图像与所述第一眼球图像属性相同；
确定每个所述第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数；
根据每个所述第二瞳孔中心坐标和每个所述第三瞳孔椭圆参数，确定所述预设矩阵参数。
可选地，所述第一瞳孔椭圆参数包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的至少一种；所述第二瞳孔椭圆参数和所述第三瞳孔椭圆参数均与所述第一瞳孔椭圆参数的属性相同。
可选地，所述根据所述差值，对注视点坐标进行校准，包括：
确定所述预设矩阵参数对应的逆矩阵参数；
根据所述差值和所述逆矩阵参数，确定瞳孔中心坐标的变化量；
根据所述瞳孔中心坐标的变化量，确定所述注视点坐标的补偿值；
将所述注视点坐标的补偿值与所述注视点坐标的坐标值相加，得到校准后的所述注视点坐标。
为了解决上述问题，本发明还公开了一种眼球追踪校准装置，包括：
第一获取模块，用于获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；
第一确定模块，用于确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；
第二确定模块，用于根据所述第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；
第三确定模块，用于确定所述第二瞳孔椭圆参数与所述第一瞳孔椭圆参数之间的差值；
校准模块，用于根据所述差值，对注视点坐标进行校准。
可选地，所述装置还包括：
第二获取模块，用于获取多个第二眼球图像；所述第二眼球图像与所述第一眼球图像属性相同；
第四确定模块，用于确定每个所述第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数；
第五确定模块，用于根据每个所述第二瞳孔中心坐标和每个所述第三瞳孔椭圆参数，确定所述预设矩阵参数。
可选地，所述第一瞳孔椭圆参数包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的至少一种；所述第二瞳孔椭圆参数和所述第三瞳孔椭圆参数均与所述第一瞳孔椭圆参数的属性相同。
可选地，所述校准模块包括：
第一确定子模块，用于确定所述预设矩阵参数对应的逆矩阵参数；
第二确定子模块，用于根据所述差值和所述逆矩阵参数，确定瞳孔中心坐标的变化量；
第三确定子模块，用于根据所述瞳孔中心坐标的变化量，确定所述注视点坐标的补偿值；
校准子模块，用于将所述注视点坐标的补偿值与所述注视点坐标的坐标值相加，得到校准后的所述注视点坐标。
为了解决上述问题，本发明还公开了一种可佩戴式设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的眼球追踪校准方法的步骤。
为了解决上述问题，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的眼球追踪校准方法的步骤。
与现有技术相比，本发明包括以下优点：
在本发明实施例中，可佩戴式设备可以获取第一眼球图像，然后确定第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数，第一瞳孔椭圆参数也即当前瞳孔椭圆的实际参数值，之后可以根据第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数，第二瞳孔椭圆参数也即当前瞳孔椭圆对应的理论参数值，进而可以确定第二瞳孔椭圆参数与第一瞳孔椭圆参数之间的差值，得到当前瞳孔椭圆的理论参数值与实际参数值之间的偏差，并可根据该差值，对注视点坐标进行校准。在本发明实施例中，可佩戴式设备可以确定当前瞳孔相对于可佩戴式设备与人眼之间未发生相对滑动的初始情况的变化量，进而可以根据该变化量对注视点坐标进行校准，保证了眼球追踪的精度，使得眼球追踪精度不会随设备的使用而降低。
附图说明
图1示出了本发明实施例一的一种眼球追踪校准方法的流程图；
图2示出了本发明实施例一的一种瞳孔椭圆相对于预设方向的旋转角的示意图；
图3示出了本发明实施例二的一种眼球追踪校准装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
参照图1，示出了本发明实施例一的一种眼球追踪校准方法的步骤流程图，该方法包括以下步骤：
步骤101：获取第一眼球图像；第一眼球图像为左眼眼球图像或右眼眼球图像。
在本发明实施例中，该方法可以应用于具有眼球追踪功能的可佩戴式设备，可选地，该可佩戴式设备具体可以是可佩戴式VR设备、可佩戴式AR设备以及可佩戴式MR设备中的任一种。在此类具有眼球追踪功能的可佩戴式设备中，由于左右眼距相对于观看距离来说较大，因此，可佩戴式设备通常包括两个显示屏，左眼可以对应一个屏幕，右眼可以对应另一个屏幕，两个屏幕同时进行显示时，用户可以通过左右眼观察到完整的画面。
在具体应用时，可以在可佩戴式设备的两个显示屏附近各设置一个摄像头，从而左眼对应的摄像头可以拍摄到用户观看画面时的左眼眼球图像，右眼对应的摄像头可以拍摄到用户观看画面时的右眼眼球图像。可佩戴式设备可以在播放VR、AR等视频的过程中，通过摄像头拍摄第一眼球图像。
在一种可选的实现方式中，可以是根据左眼眼球图像，校准左眼的注视点坐标，并根据右眼眼球图像，校准右眼的注视点坐标，也即是左眼和右眼的注视点坐标可以分别通过本方法进行校准。
在另一种可选的实现方式中，对于同一用户来说，左右眼距是固定不变的，也即使左右眼的位置始终存在一定的映射关系，因此，可以在根据左眼眼球图像，校准左眼的注视点坐标之后，根据左右眼距，直接确定右眼的校准后的注视点坐标。当然，也可以先根据右眼眼球图像，校准右眼的注视点坐标，然后再根据左右眼距，直接确定左眼的校准后的注视点坐标。
步骤102：确定第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数。
在本步骤中，可佩戴式设备首先可以通过眼球追踪技术，从第一眼球图像中识别出用户的瞳孔，并定位出瞳孔的几何中心位置，该几何中心位置在预设坐标系中的坐标即为第一瞳孔中心坐标。其中，预设坐标系为摄像头内构建的坐标系，随着瞳孔的移动，也即用户观察视角的移动，瞳孔中心在预设坐标系中的坐标会有所不同。
另外，可佩戴式设备还可以从第一眼球图像中确定第一瞳孔椭圆参数。可选地，第一瞳孔椭圆参数可以包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的至少一种。
具体地，瞳孔通常为近似椭圆的形状，因此，具有椭圆的长轴和短轴，参照图2，L为瞳孔椭圆Q的长轴，瞳孔椭圆长轴长度也即L的长度，S为瞳孔椭圆Q的短轴，瞳孔椭圆短轴长度也即S的长度。此外，随着用户观察视角的移动，瞳孔椭圆相对于固定的预设方向会发生一定的旋转。具体地，参照图2，当预设方向为D1时，相应地，瞳孔椭圆相对于D1的旋转角即为α，α也即瞳孔椭圆长轴L的方向相对于D1的旋转角；当预设方向为D2时，相应地，瞳孔椭圆相对于D2的旋转角即为β，β也即瞳孔椭圆短轴S的方向相对于D2的旋转角。其中，α与β相等，只是旋转角的旋转基准不同。
可佩戴式设备可以确定第一眼球图像中的第一瞳孔中心坐标为(px,py)，瞳孔椭圆相对于预设方向的旋转角为θr，瞳孔椭圆长轴长度为lr，瞳孔椭圆短轴长度为sr。
步骤103：根据第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数。
在本步骤中，第二瞳孔椭圆参数与第一瞳孔椭圆参数的属性相同，也即是第一瞳孔椭圆参数包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的哪几个参数，第二瞳孔椭圆参数便也对应包括哪几个参数。
具体地，可佩戴式设备可以根据第一瞳孔中心坐标和预设矩阵参数，通过下述公式(1)确定第二瞳孔椭圆参数。
Figure BDA0002325043970000061
其中，θ0为第二瞳孔椭圆参数中的瞳孔椭圆相对于预设方向的旋转角，l0为第二瞳孔椭圆参数中的瞳孔椭圆长轴长度，s0为第二瞳孔椭圆参数中的瞳孔椭圆短轴长度，A为预设矩阵参数，A具体是一个9×9的矩阵，px和py分别为第一瞳孔中心坐标中的横坐标和纵坐标。
由于第二瞳孔椭圆参数需要基于预设矩阵参数A确定，因此，在获取第一眼球图像之前，可佩戴式设备还可以通过下述步骤确定预设矩阵参数A，包括：获取多个第二眼球图像；第二眼球图像与第一眼球图像属性相同；确定每个第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数；根据每个第二瞳孔中心坐标和每个第三瞳孔椭圆参数，确定预设矩阵参数。其中，第三瞳孔椭圆参数与第一瞳孔椭圆参数的属性相同。
其中，第二眼球图像与第一眼球图像属性相同的含义是：若第一眼球图像为左眼眼球图像，则第二眼球图像也为左眼眼球图像，若第一眼球图像为右眼眼球图像，则第二眼球图像也为右眼眼球图像。
在一种可选的实现方式中，可佩戴式设备可以在播放VR等视频之前，先显示多张校准图像，或者一段校准视频，校准图像/视频可以使用户观察屏幕上的定点内容，用户在观看校准图像/视频的过程中，每观看一个定点画面，可佩戴式设备则可以拍摄到一个第二眼球图像。
在另一种可选的实现方式中，可佩戴式设备可以在播放VR等视频的过程中，也即用户实际使用可佩戴式设备的过程中，拍摄用户观看前N帧图像时对应的N个第二眼球图像。
确定每个第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数的实现方式与步骤102的实现方式相同，在此不再详述。
之后，可佩戴式设备可以根据每个第二瞳孔中心坐标和每个第三瞳孔椭圆参数，通过下述公式(2)确定预设矩阵参数。
Figure BDA0002325043970000071
其中，θi为第i个第二眼球图像的第三瞳孔椭圆参数中的瞳孔椭圆相对于预设方向的旋转角，li为第i个第二眼球图像的第三瞳孔椭圆参数中的瞳孔椭圆长轴长度，si为第i个第二眼球图像的第三瞳孔椭圆参数中的瞳孔椭圆短轴长度，
Figure BDA0002325043970000072
和
Figure BDA0002325043970000073
分别为第i个第二眼球图像中的第二瞳孔中心坐标中的横坐标和纵坐标。
由于预设矩阵参数A是一个9×9的矩阵，包括a1、a2、a3、a4、a5、a6、a7、a8和a9共9个未知参数，因此，第二眼球图像的数量应大于或等于9，从而可佩戴式设备可以代入至少9组已知的第二瞳孔中心坐标和第三瞳孔椭圆参数，从而确定出预设矩阵参数A中的9个参数。
需要说明的是，在获取第二眼球图像时，需要保证可佩戴式设备与人眼未发生相对滑动，因此，上述公式(2)表示了用户刚使用可佩戴式设备(即未发生相对滑动)时，瞳孔中心和瞳孔椭圆参数之间的对应关系。
步骤104：确定第二瞳孔椭圆参数与第一瞳孔椭圆参数之间的差值。
在本发明实施例中，可佩戴式设备可以通过下述公式(3)，确定第二瞳孔椭圆参数与第一瞳孔椭圆参数之间的差值。第一瞳孔椭圆参数也即当前瞳孔的实际参数，第二瞳孔椭圆参数也即当前瞳孔对应的理论参数，因此，该差值表征了当前瞳孔相对于初始化(即可佩戴式设备与人眼未发生相对滑动的情况)时的滑动情况。
Figure BDA0002325043970000081
其中，Δθ为瞳孔椭圆相对于预设方向的旋转角差值，Δl瞳孔椭圆长轴长度差值，Δs瞳孔椭圆短轴长度差值。
步骤105：根据该差值，对注视点坐标进行校准。
在本发明实施例中，本步骤具体可以通过下述步骤实现，包括：确定预设矩阵参数对应的逆矩阵参数；根据该差值和逆矩阵参数，确定瞳孔中心坐标的变化量；根据瞳孔中心坐标的变化量，确定注视点坐标的补偿值；将注视点坐标的补偿值与注视点坐标的坐标值相加，得到校准后的注视点坐标。
具体地，可佩戴式设备首先可以确定预设矩阵参数A对应的逆矩阵参数A-1，然后可以根据第二瞳孔椭圆参数与第一瞳孔椭圆参数之间的差值，以及逆矩阵参数A-1，通过下述公式(4)确定瞳孔中心坐标的变化量(Δpx,Δpy)，也即是瞳孔中心的滑动值。
Figure BDA0002325043970000082
在眼球追踪技术中，瞳孔中心坐标和注视点坐标满足下述公式(5)，因此，可佩戴式设备可以将瞳孔中心坐标的变化量(Δpx,Δpy)代入下述公式(5)中，也即是将公式(5)中的px和py分别替换为Δpx和Δpy，从而可以得到注视点坐标的补偿值(ΔGx,ΔGy)，该公式(5)表征了瞳孔中心和注视点的映射关系。
Figure BDA0002325043970000083
其中，公式(5)中的参数b0、b1、b2、b3、b4、c0、c1、c2、c3和c4，可以通过典型的眼球追踪5点或9点标定(即5组或9组已知的px,py和Gx,Gy)，采用最小二乘法等方法求取，本发明实施例对此不作具体限定。
得到注视点坐标的补偿值(ΔGx,ΔGy)之后，在后续的眼球追踪过程中个，每得到一个注视点坐标，便可以将注视点坐标的补偿值(ΔGx,ΔGy)与该注视点坐标的坐标值相加，从而得到校准后的注视点坐标(Gx+ΔGx,Gy+ΔGy)，实现了眼球追踪的校准。
在本发明实施例中，可佩戴式设备可以获取第一眼球图像，然后确定第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数，第一瞳孔椭圆参数也即当前瞳孔椭圆的实际参数值，之后可以根据第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数，第二瞳孔椭圆参数也即当前瞳孔椭圆对应的理论参数值，进而可以确定第二瞳孔椭圆参数与第一瞳孔椭圆参数之间的差值，得到当前瞳孔椭圆的理论参数值与实际参数值之间的偏差，并可根据该差值，对注视点坐标进行校准。在本发明实施例中，可佩戴式设备可以确定当前瞳孔相对于可佩戴式设备与人眼之间未发生相对滑动的初始情况的变化量，进而可以根据该变化量对注视点坐标进行校准，保证了眼球追踪的精度，使得眼球追踪精度不会随设备的使用而降低。
实施例二
参照图3，示出了本发明实施例二的一种眼球追踪校准装置的结构框图，该装置300包括：
第一获取模块301，用于获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；
第一确定模块302，用于确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；
第二确定模块303，用于根据所述第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；
第三确定模块304，用于确定所述第二瞳孔椭圆参数与所述第一瞳孔椭圆参数之间的差值；
校准模块305，用于根据所述差值，对注视点坐标进行校准。
可选地，所述装置300还包括：
第二获取模块306，用于获取多个第二眼球图像；所述第二眼球图像与所述第一眼球图像属性相同；
第四确定模块307，用于确定每个所述第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数；
第五确定模块308，用于根据每个所述第二瞳孔中心坐标和每个所述第三瞳孔椭圆参数，确定所述预设矩阵参数。
可选地，所述第一瞳孔椭圆参数包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的至少一种；所述第二瞳孔椭圆参数和所述第三瞳孔椭圆参数均与所述第一瞳孔椭圆参数的属性相同。
可选地，所述校准模块305包括：
第一确定子模块3051，用于确定所述预设矩阵参数对应的逆矩阵参数；
第二确定子模块3052，用于根据所述差值和所述逆矩阵参数，确定瞳孔中心坐标的变化量；
第三确定子模块3053，用于根据所述瞳孔中心坐标的变化量，确定所述注视点坐标的补偿值；
校准子模块3054，用于将所述注视点坐标的补偿值与所述注视点坐标的坐标值相加，得到校准后的所述注视点坐标。
在本发明实施例中，可佩戴式设备可以通过第一获取模块，获取第一眼球图像，然后通过第一确定模块，确定第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数，第一瞳孔椭圆参数也即当前瞳孔椭圆的实际参数值，之后可以通过第二确定模块，根据第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数，第二瞳孔椭圆参数也即当前瞳孔椭圆对应的理论参数值，进而可以通过第三确定模块，确定第二瞳孔椭圆参数与第一瞳孔椭圆参数之间的差值，得到当前瞳孔椭圆的理论参数值与实际参数值之间的偏差，并可通过校准模块，根据该差值，对注视点坐标进行校准。在本发明实施例中，可佩戴式设备可以确定当前瞳孔相对于可佩戴式设备与人眼之间未发生相对滑动的初始情况的变化量，进而可以根据该变化量对注视点坐标进行校准，保证了眼球追踪的精度，使得眼球追踪精度不会随设备的使用而降低。
本发明实施例还公开了一种可佩戴式设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的眼球追踪校准方法的步骤。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的眼球追踪校准方法的步骤。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种眼球追踪校准方法、装置及可佩戴式设备，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种眼球追踪校准方法，其特征在于，所述方法包括：
获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；
确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；
根据所述第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；
确定所述第二瞳孔椭圆参数与所述第一瞳孔椭圆参数之间的差值；
根据所述差值，对注视点坐标进行校准。
2.根据权利要求1所述的方法，其特征在于，所述获取第一眼球图像之前，还包括：
获取多个第二眼球图像；所述第二眼球图像与所述第一眼球图像属性相同；
确定每个所述第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数；
根据每个所述第二瞳孔中心坐标和每个所述第三瞳孔椭圆参数，确定所述预设矩阵参数。
3.根据权利要求2所述的方法，其特征在于，所述第一瞳孔椭圆参数包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的至少一种；所述第二瞳孔椭圆参数和所述第三瞳孔椭圆参数均与所述第一瞳孔椭圆参数的属性相同。
4.根据权利要求1所述的方法，其特征在于，所述根据所述差值，对注视点坐标进行校准，包括：
确定所述预设矩阵参数对应的逆矩阵参数；
根据所述差值和所述逆矩阵参数，确定瞳孔中心坐标的变化量；
根据所述瞳孔中心坐标的变化量，确定所述注视点坐标的补偿值；
将所述注视点坐标的补偿值与所述注视点坐标的坐标值相加，得到校准后的所述注视点坐标。
5.一种眼球追踪校准装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一眼球图像；所述第一眼球图像为左眼眼球图像或右眼眼球图像；
第一确定模块，用于确定所述第一眼球图像中的第一瞳孔中心坐标和第一瞳孔椭圆参数；
第二确定模块，用于根据所述第一瞳孔中心坐标和预设矩阵参数，确定第二瞳孔椭圆参数；
第三确定模块，用于确定所述第二瞳孔椭圆参数与所述第一瞳孔椭圆参数之间的差值；
校准模块，用于根据所述差值，对注视点坐标进行校准。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取多个第二眼球图像；所述第二眼球图像与所述第一眼球图像属性相同；
第四确定模块，用于确定每个所述第二眼球图像中的第二瞳孔中心坐标和第三瞳孔椭圆参数；
第五确定模块，用于根据每个所述第二瞳孔中心坐标和每个所述第三瞳孔椭圆参数，确定所述预设矩阵参数。
7.根据权利要求6所述的装置，其特征在于，所述第一瞳孔椭圆参数包括瞳孔椭圆相对于预设方向的旋转角、瞳孔椭圆长轴长度和瞳孔椭圆短轴长度中的至少一种；所述第二瞳孔椭圆参数和所述第三瞳孔椭圆参数均与所述第一瞳孔椭圆参数的属性相同。
8.根据权利要求5所述的装置，其特征在于，所述校准模块包括：
第一确定子模块，用于确定所述预设矩阵参数对应的逆矩阵参数；
第二确定子模块，用于根据所述差值和所述逆矩阵参数，确定瞳孔中心坐标的变化量；
第三确定子模块，用于根据所述瞳孔中心坐标的变化量，确定所述注视点坐标的补偿值；
校准子模块，用于将所述注视点坐标的补偿值与所述注视点坐标的坐标值相加，得到校准后的所述注视点坐标。
9.一种可佩戴式设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的眼球追踪校准方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的眼球追踪校准方法的步骤。
CN201911313032.6A 2019-12-18 2019-12-18 一种眼球追踪校准方法、装置及可佩戴式设备 Active CN111061373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911313032.6A CN111061373B (zh) 2019-12-18 2019-12-18 一种眼球追踪校准方法、装置及可佩戴式设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911313032.6A CN111061373B (zh) 2019-12-18 2019-12-18 一种眼球追踪校准方法、装置及可佩戴式设备

Publications (2)

Publication Number Publication Date
CN111061373A true CN111061373A (zh) 2020-04-24
CN111061373B CN111061373B (zh) 2024-04-16

Family

ID=70302406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911313032.6A Active CN111061373B (zh) 2019-12-18 2019-12-18 一种眼球追踪校准方法、装置及可佩戴式设备

Country Status (1)

Country Link
CN (1) CN111061373B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031269A (zh) * 2021-03-08 2021-06-25 北京正远展览展示有限公司 一种vr显示防眩晕调节系统
CN113283329A (zh) * 2021-05-19 2021-08-20 北京京东方光电科技有限公司 视线追踪系统、眼动仪、视线追踪方法、设备及介质
CN113870639A (zh) * 2021-09-13 2021-12-31 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的训练评估方法及系统
CN113992907A (zh) * 2021-10-29 2022-01-28 南昌虚拟现实研究院股份有限公司 眼球参数校验方法、系统、计算机及可读存储介质
CN114099129A (zh) * 2021-11-23 2022-03-01 杭州叁伟医疗科技有限公司 一种用于高压氧眼部治疗仪的自动控制方法及设备
WO2022227264A1 (zh) * 2021-04-27 2022-11-03 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761519A (zh) * 2013-12-20 2014-04-30 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法
JP2019000136A (ja) * 2017-06-09 2019-01-10 株式会社豊田中央研究所 視線計測装置及びプログラム
CN109656373A (zh) * 2019-01-02 2019-04-19 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质
CN110209277A (zh) * 2019-05-29 2019-09-06 华南理工大学 一种仅基于瞳孔特征的头戴式视线跟踪方法
CN110263745A (zh) * 2019-06-26 2019-09-20 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761519A (zh) * 2013-12-20 2014-04-30 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法
JP2019000136A (ja) * 2017-06-09 2019-01-10 株式会社豊田中央研究所 視線計測装置及びプログラム
CN109656373A (zh) * 2019-01-02 2019-04-19 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质
CN110209277A (zh) * 2019-05-29 2019-09-06 华南理工大学 一种仅基于瞳孔特征的头戴式视线跟踪方法
CN110263745A (zh) * 2019-06-26 2019-09-20 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031269A (zh) * 2021-03-08 2021-06-25 北京正远展览展示有限公司 一种vr显示防眩晕调节系统
WO2022227264A1 (zh) * 2021-04-27 2022-11-03 广州市保伦电子有限公司 一种基于眼球追踪的视频交互操作方法
CN113283329A (zh) * 2021-05-19 2021-08-20 北京京东方光电科技有限公司 视线追踪系统、眼动仪、视线追踪方法、设备及介质
CN113283329B (zh) * 2021-05-19 2024-06-07 北京京东方光电科技有限公司 视线追踪系统、眼动仪、视线追踪方法、设备及介质
CN113870639A (zh) * 2021-09-13 2021-12-31 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的训练评估方法及系统
CN113992907A (zh) * 2021-10-29 2022-01-28 南昌虚拟现实研究院股份有限公司 眼球参数校验方法、系统、计算机及可读存储介质
WO2023071952A1 (zh) * 2021-10-29 2023-05-04 南昌虚拟现实研究院股份有限公司 眼球参数校验方法、系统、计算机及可读存储介质
CN113992907B (zh) * 2021-10-29 2023-11-07 南昌虚拟现实研究院股份有限公司 眼球参数校验方法、系统、计算机及可读存储介质
CN114099129A (zh) * 2021-11-23 2022-03-01 杭州叁伟医疗科技有限公司 一种用于高压氧眼部治疗仪的自动控制方法及设备
CN114099129B (zh) * 2021-11-23 2024-03-19 杭州叁伟医疗科技有限公司 一种用于高压氧眼部治疗仪的自动控制方法及设备

Also Published As

Publication number Publication date
CN111061373B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN111061373B (zh) 一种眼球追踪校准方法、装置及可佩戴式设备
KR102118613B1 (ko) Mura 현상 보상방법
CN110764613B (zh) 基于头戴式眼动模组的眼动追踪校准方法
CN107396075B (zh) 一种投影图像校正信息的生成方法及生成装置
KR100918294B1 (ko) 입체 시화상(視畵像) 표시장치, 입체 시화상 표시방법 및컴퓨터 프로그램
CN108174240B (zh) 基于用户位置的全景视频播放方法和系统
WO2016115874A1 (zh) 能自动调节景深的双目ar头戴设备及景深调节方法
WO2016131217A1 (zh) 一种图像校正的方法和装置
CN107038722A (zh) 一种设备定位方法及装置
JP6393254B2 (ja) 立体視ディスプレイにおける調節効果による歪み誤差を補正する方法および装置
US10901213B2 (en) Image display apparatus and image display method
WO2014139728A1 (en) Automatic stereoscopic camera calibration
JP7093043B2 (ja) 表示装置及び表示方法
JP6324119B2 (ja) 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム
CN111694158A (zh) 近眼显示装置的校准方法、校准设备及校准系统
US11533469B2 (en) Panoramic video picture quality display method and device
US10834380B2 (en) Information processing apparatus, information processing method, and storage medium
US10634891B2 (en) Medical observation device, lens driving control device, lens driving control method, and video microscope device
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
CN112532964B (zh) 图像处理方法、设备、装置及可读存储介质
US10242491B2 (en) Image processing apparatus for determining image clip position, method thereof, and storage medium
CN114354136A (zh) 一种基于液体透镜的虚像距测试装置、方法及存储介质
TW201239644A (en) System and method for dynamically adjusting font size on screen
CN116309854A (zh) 标定增强现实设备的方法、装置、设备、系统及存储介质
JP2014155635A (ja) 視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant