CN110051319A - 眼球追踪传感器的调节方法、装置、设备及存储介质 - Google Patents

眼球追踪传感器的调节方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110051319A
CN110051319A CN201910327200.0A CN201910327200A CN110051319A CN 110051319 A CN110051319 A CN 110051319A CN 201910327200 A CN201910327200 A CN 201910327200A CN 110051319 A CN110051319 A CN 110051319A
Authority
CN
China
Prior art keywords
variable quantity
eyeball tracking
user
distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910327200.0A
Other languages
English (en)
Inventor
黄通兵
袁红娟
姚涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qixin Yiwei (shenzhen) Technology Co Ltd
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Qixin Yiwei (shenzhen) Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qixin Yiwei (shenzhen) Technology Co Ltd, Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Qixin Yiwei (shenzhen) Technology Co Ltd
Priority to CN201910327200.0A priority Critical patent/CN110051319A/zh
Publication of CN110051319A publication Critical patent/CN110051319A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例公开了一种眼球追踪传感器的调节方法、装置、设备及存储介质。该方法包括：采集图像，提取所述图像中的用户距离信息；根据所述用户距离信息确定眼球追踪传感器参数的变化量；根据所述参数的变化量调节眼球追踪传感器。本发明实施例提供的眼球追踪传感器的调节方法，根据图像中的用户距离信息自动调节眼球追踪传感器中的参数，从而提高眼球追踪系统的工作性能。

Description

眼球追踪传感器的调节方法、装置、设备及存储介质
技术领域
本发明实施例涉及眼球追踪技术领域，尤其涉及一种眼球追踪传感器的调节方法、装置、系统及存储介质。
背景技术
眼球追踪传感器是眼球追踪系统中关键的设备，包括红外光源及采集眼部图像的摄像头。眼球追踪传感器的工作参数(包括红外光源的亮度及采集眼部图像的摄像头的曝光时间)对眼球追踪系统的性能起着决定性的作用。通常情况下，眼球追踪传感器的工作参数是系统默认设置，使得眼球追踪系统无法以最佳的性能工作，因此，提出一种对眼球追踪传感器的工作参数的调节方法显得尤为重要。
现有技术中，对传统的传感器的参数的调整是基于整张图像，而眼球追踪系统的工作非常依赖眼部区域的图像，采用现有的方案，无法解决眼球追踪传感器的调节问题。
发明内容
本发明实施例提供一种眼球追踪传感器的调节方法、装置、设备及存储介质，以实现对眼球追踪传感器的工作参数的调节，提高眼球追踪系统工作的性能。
第一方面，本发明实施例提供了一种眼球追踪传感器的调节方法，该方法包括：
采集图像，提取所述图像中的用户距离信息；
根据所述用户距离信息确定眼球追踪传感器参数的变化量；
根据所述参数的变化量调节眼球追踪传感器。
进一步地，所述用户距离信息包括用户眼部与相机之间的距离或瞳孔间的距离。
进一步地，提取所述图像中的用户距离信息，包括：
获取所述图像中的人脸姿态信息和瞳孔中心位置；
根据所述人脸姿态信息和瞳孔中心位置确定瞳孔间的距离。
进一步地，提取所述图像中的用户距离信息，包括：
根据所述瞳孔间的距离确定眼部与相机之间的距离；
或者，
获取所述图像中的人脸缩放比例；
根据所述人脸缩放比例确定眼部与相机之间的距离。
进一步地，获取所述图像中的人脸姿态信息，包括：
获取人脸多个关键点在第一参照坐标系中的三维坐标以及所述多个关键点在图像中的二维坐标；
计算所述三维坐标和所述二维坐标间的变化关系矩阵，获得人脸姿态信息。
进一步地，根据所述用户距离信息确定眼球追踪传感器参数的变化量，包括：
根据所述用户距离信息确定用户距离的变化量；
根据所述用户距离的变化量确定眼球追踪传感器参数的变化量。
进一步地，所述眼球追踪传感器参数包括：光源亮度参数和相机曝光时间；根据所述用户距离的变化量确定眼球追踪传感器参数的变化量，包括：
当用户眼部与相机之间的距离增大时，增加所述光源亮度和/或增大所述相机曝光时间；
当用户眼部与相机之间的距离减小时，降低所述光源亮度参数和/或减小所述相机曝光时间；
进一步地，所述眼球追踪传感器参数包括：光源亮度参数和相机曝光时间；根据所述用户距离的变化量确定眼球追踪传感器参数的变化量，包括：，
当瞳孔间的距离变大时，降低所述光源亮度参数和/或减小所述相机曝光时间；
当瞳孔间的距离变小时，增加所述光源亮度参数和/或增大所述相机曝光时间。
进一步地，根据所述用户距离的变化量确定眼球追踪传感器参数的变化量，包括：
根据用户眼部与相机之间的距离变化量确定第一眼球追踪传感器参数的变化量；
根据瞳孔间的距离变化量确定第二眼球追踪传感器参数的变化量；
根据第一眼球追踪传感器参数的变化量和/或所述第二眼球追踪传感器参数的变化量确定最终眼球追踪传感器参数的变化量。
进一步地，根据所述用户距离信息确定用户距离的变化量，包括：
当所述用户距离信息为瞳孔距离时，根据人脸姿态信息对瞳孔距离的变化量进行修正，获得最终的左右瞳孔距离的变化量。
第二方面，本发明实施例还提供了一种眼球追踪传感器的调节装置，该装置包括：
用户距离信息提取模块，用于采集图像，提取所述图像中的用户距离信息；
传感器参数的变化量确定模块，用于根据所述用户距离信息确定眼球追踪传感器参数的变化量；
眼球追踪传感器调节模块，用于根据所述参数的变化量调节眼球追踪传感器。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器、眼球追踪系统以及存储在存储器上并可在处理器上运行的计算机程序，所述眼球追踪系统包括近红外光源及红外相机；所述红外相机采集用户的眼部图像；所述处理器根据所述眼部图像执行所述程序时实现如本发明实施例所述的眼球追踪传感器的调节方法。
进一步地，还包括：深度相机；所述深度相机用于采集人脸深度信息，根据所述人脸深度信息获得人脸缩放比例。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的眼球追踪传感器的调节方法。
本发明实施例，首先采集图像，提取图像中的用户距离信息，然后根据用户距离信息确定眼球追踪传感器参数的变化量，最后根据参数的变化量调节眼球追踪传感器。本发明实施例提供的眼球追踪传感器的调节方法，根据图像中的用户距离信息自动调节眼球追踪传感器中的参数，从而提高眼球追踪系统的工作性能。
附图说明
图1是本发明实施例一中的一种眼球追踪传感器的调节方法的流程图；
图2是本发明实施例二中的一种眼球追踪传感器的调节方法的流程图；
图3是本发明实施例三中的一种眼球追踪传感器的调节方法的流程图；
图4是本发明实施例四中的一种眼球追踪传感器的调节装置的结构示意图；
图5a是本发明实施例五中的一种计算机设备的结构示意图。
图5b是本发明实施例五中的另一种计算机设备的结构示意图；
图5c是本发明实施例五中的又一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
眼球追踪也可以称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。其中，视线可以理解为一个三维矢量，注视点可以理解为三维矢量投影在某个平面上的二维坐标。
眼球追踪传感器包括红外相机和近红外光源。对眼球进行追踪可以采用光学记录法实现。光学记录法的原理是，利用红外相机记录被测试者的眼睛运动情况，即获取能够反映眼睛运动的眼部图像，从获取到的眼部图像中提取眼部特征用于建立视线/注视点的估计模型。其中，眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置(或者普尔钦斑)等。
光学记录法包括瞳孔-角膜反射法。瞳孔-角膜反射法的原理是，近红外光源照向眼睛，由红外相机对眼部进行拍摄，同时拍摄到光源在角膜上的反射点即光斑，由此获取到带有光斑的眼部图像。
随着眼球的转动，瞳孔中心与光斑的相对位置关系发生变化。采集到多张带有光斑的眼部图像都可以反映位置变化关系，根据位置变化关系进行视线/注视点的估计。
实施例一
图1为本发明实施例一提供的一种眼球追踪传感器的调节方法的流程图，本实施例可适用于对眼球追踪传感器的参数进行调节的情况，该方法可以由眼球追踪传感器的调节装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有眼球追踪传感器的调节功能的设备中，该设备可以是服务器、移动终端或服务器集群等电子设备。如图1所示，该方法具体包括如下步骤：
步骤110，采集图像，提取图像中的用户距离信息。
其中，采集的图像可以包括深度相机采集的用户的人脸图像和眼球追踪传感器中的红外相机采集的用户的眼部图像。用户距离信息可以包括用户眼部与相机之间的距离或者瞳孔间的距离。
可选的，获取瞳孔间的距离的方式可以是，获取图像中的人脸姿态信息和瞳孔中心位置；根据人脸姿态信息和瞳孔中心位置确定瞳孔间的距离。
可选的，获取用户眼部与相机之间的距离的方式可以是，根据瞳孔间的距离确定眼部与相机之间的距离；或者，获取图像中的人脸缩放比例。根据人脸缩放比例确定眼部与相机之间的距离。
其中，人脸缩放比例可以通过深度相机采集的人脸深度信息获得。瞳孔中心位置可以对红外相机采集的用户眼部图像进行分析获得。人脸姿态信息可以用人脸相对于相机的平移向量和旋转矩阵来表征，可以从采集的红外图像中获得。本实施例中，瞳孔间的距离和眼部与相机之间的距离存在一定的对应关系，根据瞳孔间的距离可以获得眼部与相机之间的距离。
本实施例中，获取所述图像的人脸姿态信息的方式可以是：获取人脸多个关键点在第一参照坐标系中的三维坐标以及多个关键点在图像中的二维坐标；计算三维坐标和二维坐标间的变化关系矩阵，获得人脸姿态信息。
其中，第一参照坐标系可以是世界坐标系。关键点可以包括鼻尖、下巴、左眼左眼角、左眼右眼角、右眼左眼角、右眼右眼角、左嘴角和右嘴角等。世界坐标系中的三维坐标和图像中的二维坐标的关系是，世界坐标系中的三维坐标点通过旋转矩阵和平移向量映射到相机坐标系中的三维坐标点，相机坐标系中的三维坐标点通过相机的内参数矩阵映射至图像的二维坐标点。最后世界坐标系中的三维坐标和图像中的二维坐标的关系，获得二者之间的关系变化矩阵。
本实施例中，深度相机和红外相机的位置保持不变，当用户脸部的位置发生变化时，深度相机可以获得人脸缩放比例的变化，红外相机采集的图像中的人脸姿态信息及瞳孔中心位置发生变化，从而根据人脸缩放比例确定用户眼部与相机之间的距离，根据人脸姿态信息和瞳孔中心位置确定瞳孔间的距离。示例性的，若图像中的人脸缩放比例变小，可初步确定用户远离相机。
步骤120，根据用户距离信息确定眼球追踪传感器参数的变化量。
其中，眼球追踪传感器参数可以包括光源亮度参数和相机曝光时间。光源可以是红外光源，相机曝光参数可以是采集眼部图像的红外相机曝光参数。具体的，根据用户距离信息确定眼球追踪传感器参数的变化量的方式可以是，根据用户距离信息确定用户距离的变化量；根据用户距离的变化量确定眼球追踪传感器参数的变化量。
本实施例中，眼球追踪传感器参数的变化量和用户眼部与相机之间的距离的变化量成正相关的关系，和瞳孔间的距离的变化量成负相关的关系。深度相机和红外相机在实时的获取用户的人脸图像和眼部图像，根据设定时长内的人脸图像和眼部图像对应的用户距离信息，可以获得在该设定时长内用户距离信息的变化量，然后根据用户距离的变化量确定眼球追踪传感器参数的变化量。
可选的，当用户距离信息为瞳孔间的距离时，根据人脸姿态信息对瞳孔间的距离的变化量进行修正，获得最终的瞳孔间的距离的变化量。
本应用场景下，若用户只是转动脸部，左右瞳孔距离也会变化，然而用户与相机之间的距离却没有发生变化，此时需要人脸姿态信息对瞳孔距离的变化量进行修正，得到最终的瞳孔间的距离的变化量。
具体的，当用户眼部与相机之间的距离增大时，增加光源亮度参数和/或增大相机曝光时间；当用户眼部与相机之间的距离减小时，降低光源亮度参数和/或减小相机曝光时间。
具体的，当瞳孔间的距离变大时，降低光源亮度参数和/或减小相机曝光时间；当瞳孔间的距离变小时，增加光源亮度参数和/或增大相机曝光时间。
可选的，根据用户距离的变化量确定眼球追踪传感器参数的变化量，还可通过下述方式实施：根据用户眼部与相机之间的距离变化量确定第一眼球追踪传感器参数的变化量；根据用户左右瞳孔间的距离变化量确定第二眼球追踪传感器参数的变化量；根据第一眼球追踪传感器参数的变化量和/或第二眼球追踪传感器参数的变化量确定最终眼球追踪传感器参数的变化量。
具体的，可以将第一眼球追踪传感器参数的变化量确定为最终眼球追踪传感器参数的变化量，或者将第二眼球追踪传感器参数的变化量确定为最终眼球追踪传感器参数的变化量，或者对第一眼球追踪传感器参数的变化量和第二眼球追踪传感器参数的变化量进行加权求和获得最终眼球追踪传感器参数的变化量。第一眼球追踪传感器参数可包括第一光源亮度参数或者第一相机曝光时间；第二眼球追踪传感器参数可包括第二光源亮度参数或者第二相机曝光时间。本实施例中，第一眼球追踪传感器参数的变化量的权重大于第二眼球追踪传感器参数的变化量的权重。
步骤130，根据参数的变化量调节眼球追踪传感器。
具体的，在获得眼球追踪传感器参数的变化量后，根据参数的变化量调节眼球追踪传感器。如，调高光源亮度参数或者减小相机曝光时间等。
本实施例的技术方案，首先采集图像，提取图像中的用户距离信息，然后根据用户距离信息确定眼球追踪传感器参数的变化量，最后根据参数的变化量调节眼球追踪传感器。本发明实施例提供的眼球追踪传感器的调节方法，根据图像中的用户距离信息自动调节眼球追踪传感器中的参数，从而提高眼球追踪系统的工作性能。
实施例二
图2为本发明实施例二提供的一种眼球追踪传感器的调节方法的流程图。以上述实施例为基础，根据用户眼部与相机之间的距离调节传感器参数的过程包括如下步骤：
步骤210，当用户眼部与相机之间的距离增大时，增加光源亮度参数和/或增大相机曝光时间。
具体的，首先启动眼球追踪系统，眼球追踪传感器进入工作模式，然后打开深度相机，深度相机获得与用户的距离信息，再然后根据用户和深度相机的距离的变化量分析得到传感器参数的变化量。当用户和移动终端设备间距离增加时，改变传感器参数的方式可以是：根据距离增量增加光源亮度参数；或者增大相机曝光时间；或者同时增大红外相机的曝光时间及光源亮度参数。
步骤220，当用户眼部与相机之间的距离减小时，降低光源亮度参数和/或减小相机曝光时间。
具体的，当用户和移动终端设备间距离减少时，改变参数的方式可以是：根据距离变化量降低外光源亮度参数；或者减小相机曝光时间；或者减少相机曝光时间和光源亮度参数。
本实施例的技术方案，根据眼球追踪传感器参数的变化量和用户眼部与相机之间的距离的变化量成正相关的关系，对眼球追踪传感器的参数进行调节，不仅可以提高眼球追踪装置的工作性能，还可以降低功耗。
实施例三
图3为本发明实施例三提供的一种眼球追踪传感器的调节方法的流程图。以上述实施例为基础，根据瞳孔间的距离调节传感器参数的过程包括如下步骤：
步骤310，当瞳孔间的距离变大时，降低光源亮度参数和/或减小相机曝光时间。
启动眼球追踪系统，眼球追踪传感器进入工作模式，相机获得用户使用设备时的眼部图像，对眼部图像进行分析得到人脸姿态信息和眼睛左右瞳孔半径及瞳距，最后基于左右瞳孔距离的变化量计算得到传感器参数的变化量。当瞳孔距离变大时，表明用户和设备间距离变小，降低外光源亮度参数，或者减小相机曝光时间，或者减少相机曝光时间和光源亮度参数。
步骤320，当瞳孔间的距离变小时，增加光源亮度参数和/或增大相机曝光时间。
当瞳孔距离变小时，用户和设备间距离变大，增加光源亮度参数；或者同时增大红外相机的曝光时间及光源亮度参数。
本实施例的技术方案，眼球追踪传感器参数的变化量和瞳孔间的距离的变化量成负相关的关系，对眼球追踪传感器的参数进行调节，不仅可以提高眼球追踪装置的工作性能，还可以降低功耗。
实施例四
图4为本发明实施例四提供的一种眼球追踪传感器的调节装置的结构示意图。如图4所示，该装置包括：用户距离信息提取模块410，传感器参数的变化量确定模块420和眼球追踪传感器调节模块430。
用户距离信息提取模块410，用于采集图像，提取图像中的用户距离信息；
传感器参数的变化量确定模块420，用于根据用户距离信息确定眼球追踪传感器参数的变化量；
眼球追踪传感器调节模块430，用于根据参数的变化量调节眼球追踪传感器。
可选的，用户距离信息包括用户眼部与相机之间的距离或瞳孔间的距离；用户距离信息提取模块410，还用于：
获取所述图像中的人脸姿态信息和瞳孔中心位置；
根据所述人脸姿态信息和瞳孔中心位置确定瞳孔间的距离。
可选的，用户距离信息提取模块410，还用于：
根据所述瞳孔间的距离确定用户眼部与相机之间的距离；
或者，获取所述图像中的人脸缩放比例；
根据所述人脸缩放比例确定用户眼部与相机之间的距离。
可选的，获取图像中的人脸姿态信息，包括：
获取人脸多个关键点在第一参照坐标系中的三维坐标以及多个关键点在图像中的二维坐标；
计算三维坐标和二维坐标间的变化关系矩阵，获得人脸姿态信息。
可选的，传感器参数的变化量确定模块420，还用于：
根据用户距离信息确定用户距离的变化量；
根据用户距离的变化量确定眼球追踪传感器参数的变化量。
可选的，眼球追踪传感器参数包括：光源亮度参数和相机曝光时间；传感器参数的变化量确定模块420，还用于：
当用户眼部与相机之间的距离增大时，增加光源亮度参数和/或增大相机曝光时间；
当用户眼部与相机之间的距离减小时，降低光源亮度参数和/或减小相机曝光时间；
可选的，传感器参数的变化量确定模块420，还用于：
当用户左右瞳孔间的距离变大时，降低光源亮度参数和/或减小相机曝光时间；
当用户左右瞳孔间的距离变小时，增加光源亮度参数和/或增大相机曝光时间。
可选的，传感器参数的变化量确定模块420：
根据用户眼部与相机之间的距离变化量确定第一眼球追踪传感器参数的变化量；
根据用户左右瞳孔间的距离变化量确定第二眼球追踪传感器参数的变化量；
根据第一眼球追踪传感器参数的变化量和/或第二眼球追踪传感器参数的变化量确定最终眼球追踪传感器参数的变化量。
可选的，传感器参数的变化量确定模块420，还用于：
当用户距离信息为用户左右瞳孔距离时，根据人脸姿态信息对用户左右瞳孔距离的变化量进行修正，获得最终的左右瞳孔距离的变化量。
上述装置可执行本发明前述所有实施例所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明前述所有实施例所提供的方法。
实施例五
图5a是本发明实施例五提供的一种计算机设备的结构示意图，如图5a所示，该设备包括存储器、处理器、眼球追踪系统、深度相机以及存储在存储器上并可在处理器上运行的计算机程序，所述眼球追踪系统包括近红外光源及红外相机；所述深度相机采集人脸深度信息，所述红外相机采集用户的眼部图像；所述处理器根据所述人脸深度信息和所述眼部图像执行所述程序时实现如上述实施例所述的眼球追踪传感器的调节方法。
图5b是本发明实施例三提供的另一种计算机设备的结构示意图，如图5b所示，该设备包括存储器、处理器、眼球追踪系统以及存储在存储器上并可在处理器上运行的计算机程序，眼球追踪系统包括近红外光源及红外相机；红外相机采集用户的眼部图像；处理器根据眼部图像执行程序时实现如上述实施例的眼球追踪传感器的调节方法。
图5c为本发明实施例三提供的又一种计算机设备的结构示意图。图5c示出了适于用来实现本发明实施方式的计算机设备512的框图。图5c显示的计算机设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备512典型的是承担眼球追踪传感器的调节功能的计算设备。
如图5c所示，计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于：一个或者多个处理器516，存储装置528，连接不同系统组件(包括存储装置528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、多媒体电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图5c未显示，通常称为“硬盘驱动器”)。尽管图5c中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储装置528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块526的程序536，可以存储在例如存储装置528中，这样的程序模块526包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块526通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、摄像头、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器516通过运行存储在存储装置528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的眼球追踪传感器的调节方法。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的眼球追踪传感器的调节方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的眼球追踪传感器的调节方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种眼球追踪传感器的调节方法，其特征在于，包括：
采集图像，提取所述图像中的用户距离信息；
根据所述用户距离信息确定眼球追踪传感器参数的变化量；
根据所述参数的变化量调节眼球追踪传感器。
2.根据权利要求1所述的方法，其特征在于，所述用户距离信息包括用户眼部与相机之间的距离或瞳孔间的距离。
3.根据权利要求2所述的方法，其特征在于，提取所述图像中的用户距离信息，包括：
获取所述图像中的人脸姿态信息和瞳孔中心位置信息；
根据所述人脸姿态信息和瞳孔中心位置信息确定瞳孔间的距离。
4.根据权利要求3所述的方法，其特征在于，提取所述图像中的用户距离信息，包括：
根据所述瞳孔间的距离确定用户眼部与相机之间的距离；
或者，
获取所述图像中的人脸缩放比例；
根据所述人脸缩放比例确定用户眼部与相机之间的距离。
5.根据权利要求3所述的方法，其特征在于，获取所述图像中的人脸姿态信息，包括：
获取人脸多个关键点在第一参照坐标系的三维坐标以及所述多个关键点在图像中的二维坐标；
基于所述三维坐标和所述二维坐标间的变化关系矩阵，获得人脸姿态信息。
6.根据权利要求1-2任一所述的方法，其特征在于，根据所述用户距离信息确定眼球追踪传感器参数的变化量，包括：
根据所述用户距离信息确定用户距离的变化量；
根据所述用户距离的变化量确定眼球追踪传感器参数的变化量。
7.根据权利要求6所述的方法，其特征在于，所述眼球追踪传感器参数包括：光源亮度参数和相机曝光时间；根据所述用户距离的变化量确定眼球追踪传感器参数的变化量，包括：
当用户眼部与相机之间的距离增大时，增加所述光源亮度参数和/或增大所述相机的曝光时间；
当用户眼部与相机之间的距离减小时，降低所述光源亮度参数和/或减小所述相机曝光时间。
8.根据权利要求7所述的方法，其特征在于，根据所述用户距离的变化量确定眼球追踪传感器参数的变化量，包括：
当所述瞳孔间的距离变大时，降低所述光源亮度参数和/或减小所述相机曝光时间；
当所述瞳孔间的距离变小时，增加所述光源亮度参数和/或增大所述相机曝光时间。
9.根据权利要求6所述的方法，其特征在于，根据所述用户距离的变化量确定眼球追踪传感器参数的变化量，包括：
根据用户眼部与相机之间的距离变化量确定第一眼球追踪传感器参数的变化量；
根据所述瞳孔间的距离变化量确定第二眼球追踪传感器参数的变化量；
根据第一眼球追踪传感器参数的变化量和/或所述第二眼球追踪传感器参数的变化量确定最终眼球追踪传感器参数的变化量。
10.根据权利要求6所述的方法，其特征在于，根据所述用户距离信息确定用户距离的变化量，包括：
当所述用户距离信息为所述瞳孔距离时，根据人脸姿态信息对所述瞳孔距离的变化量进行修正，获得最终的瞳孔距离的变化量。
11.一种眼球追踪传感器的调节装置，其特征在于，包括：
用户距离信息提取模块，用于采集图像，提取所述图像中的用户距离信息；
传感器参数的变化量确定模块，用于根据所述用户距离信息确定眼球追踪传感器参数的变化量；
眼球追踪传感器调节模块，用于根据所述参数的变化量调节眼球追踪传感器。
12.一种计算机设备，包括存储器、处理器、眼球追踪系统以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述眼球追踪系统包括近红外光源及红外相机；所述红外相机采集用户的眼部图像；所述处理器根据所述眼部图像执行所述程序时实现如权利要求1-10中任一所述的眼球追踪传感器的调节方法。
13.根据权利要求12所述的设备，其特征在于，还包括深度相机；
所述深度相机用于采集人脸深度信息，根据所述人脸深度信息获得人脸缩放比例。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的眼球追踪传感器的调节方法。
CN201910327200.0A 2019-04-23 2019-04-23 眼球追踪传感器的调节方法、装置、设备及存储介质 Pending CN110051319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910327200.0A CN110051319A (zh) 2019-04-23 2019-04-23 眼球追踪传感器的调节方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910327200.0A CN110051319A (zh) 2019-04-23 2019-04-23 眼球追踪传感器的调节方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110051319A true CN110051319A (zh) 2019-07-26

Family

ID=67320151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910327200.0A Pending CN110051319A (zh) 2019-04-23 2019-04-23 眼球追踪传感器的调节方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110051319A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225157A (zh) * 2020-03-03 2020-06-02 Oppo广东移动通信有限公司 追焦方法及相关设备
CN111267865A (zh) * 2020-02-11 2020-06-12 矩阵元技术（深圳）有限公司 基于视觉的安全驾驶预警方法、系统及存储介质
CN112926521A (zh) * 2021-03-30 2021-06-08 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
CN114422686A (zh) * 2020-10-13 2022-04-29 Oppo广东移动通信有限公司 参数调整方法及相关装置
CN115965653A (zh) * 2022-12-14 2023-04-14 北京字跳网络技术有限公司 一种光斑追踪方法、装置、电子设备及存储介质
CN114422686B (zh) * 2020-10-13 2024-05-31 Oppo广东移动通信有限公司 参数调整方法及相关装置

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1686051A (zh) * 2005-05-08 2005-10-26 上海交通大学 基于vpf和改进的susan的眼角和瞳孔的定位方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置
CN104302226A (zh) * 2012-05-25 2015-01-21 索尼电脑娱乐公司 视频分析设备、视频分析方法和注视点显示系统
CN104333709A (zh) * 2014-12-01 2015-02-04 京东方科技集团股份有限公司 对闪光灯进行控制的方法、装置及电子设备
CN105431078A (zh) * 2013-03-18 2016-03-23 视译公司 用于同轴眼睛凝视跟踪的系统和方法
CN105530854A (zh) * 2013-09-24 2016-04-27 视乐有限公司 响应于眼睛的改变调整激光处理
CN106019589A (zh) * 2016-06-25 2016-10-12 深圳市虚拟现实科技有限公司 一种自动调整光学系统的近眼显示装置
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
CN103793045B (zh) * 2012-10-31 2016-12-28 原相科技股份有限公司 瞳孔追踪装置
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN106547341A (zh) * 2015-09-21 2017-03-29 现代自动车株式会社 注视跟踪器及其跟踪注视的方法
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置
CN108714020A (zh) * 2018-05-18 2018-10-30 中国人民解放军陆军军医大学第三附属医院（野战外科研究所） 便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质
CN109155053A (zh) * 2016-05-27 2019-01-04 索尼公司 信息处理设备、信息处理方法和记录介质
CN109213324A (zh) * 2018-09-06 2019-01-15 京东方科技集团股份有限公司 显示参数调节方法及装置、显示装置
CN109344714A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种基于关键点匹配的视线估计方法
CN109359512A (zh) * 2018-08-28 2019-02-19 深圳壹账通智能科技有限公司 眼球位置追踪方法、装置、终端及计算机可读存储介质
CN109389069A (zh) * 2018-09-28 2019-02-26 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪
CN109558012A (zh) * 2018-12-26 2019-04-02 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1686051A (zh) * 2005-05-08 2005-10-26 上海交通大学 基于vpf和改进的susan的眼角和瞳孔的定位方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备
CN104302226A (zh) * 2012-05-25 2015-01-21 索尼电脑娱乐公司 视频分析设备、视频分析方法和注视点显示系统
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
CN103793045B (zh) * 2012-10-31 2016-12-28 原相科技股份有限公司 瞳孔追踪装置
CN105431078A (zh) * 2013-03-18 2016-03-23 视译公司 用于同轴眼睛凝视跟踪的系统和方法
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置
CN105530854A (zh) * 2013-09-24 2016-04-27 视乐有限公司 响应于眼睛的改变调整激光处理
CN106030660A (zh) * 2014-03-28 2016-10-12 英特尔公司 具有动态光照以用于眼睛追踪的计算阵列相机
CN104333709A (zh) * 2014-12-01 2015-02-04 京东方科技集团股份有限公司 对闪光灯进行控制的方法、装置及电子设备
CN106547341A (zh) * 2015-09-21 2017-03-29 现代自动车株式会社 注视跟踪器及其跟踪注视的方法
CN109155053A (zh) * 2016-05-27 2019-01-04 索尼公司 信息处理设备、信息处理方法和记录介质
CN106019589A (zh) * 2016-06-25 2016-10-12 深圳市虚拟现实科技有限公司 一种自动调整光学系统的近眼显示装置
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN109471523A (zh) * 2017-09-08 2019-03-15 托比股份公司 使用眼球中心位置的眼睛追踪
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置
CN108714020A (zh) * 2018-05-18 2018-10-30 中国人民解放军陆军军医大学第三附属医院（野战外科研究所） 便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质
CN109359512A (zh) * 2018-08-28 2019-02-19 深圳壹账通智能科技有限公司 眼球位置追踪方法、装置、终端及计算机可读存储介质
CN109344714A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种基于关键点匹配的视线估计方法
CN109213324A (zh) * 2018-09-06 2019-01-15 京东方科技集团股份有限公司 显示参数调节方法及装置、显示装置
CN109389069A (zh) * 2018-09-28 2019-02-26 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
CN109558012A (zh) * 2018-12-26 2019-04-02 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111267865A (zh) * 2020-02-11 2020-06-12 矩阵元技术（深圳）有限公司 基于视觉的安全驾驶预警方法、系统及存储介质
CN111267865B (zh) * 2020-02-11 2021-07-16 矩阵元技术（深圳）有限公司 基于视觉的安全驾驶预警方法、系统及存储介质
CN111225157A (zh) * 2020-03-03 2020-06-02 Oppo广东移动通信有限公司 追焦方法及相关设备
CN114422686A (zh) * 2020-10-13 2022-04-29 Oppo广东移动通信有限公司 参数调整方法及相关装置
CN114422686B (zh) * 2020-10-13 2024-05-31 Oppo广东移动通信有限公司 参数调整方法及相关装置
CN112926521A (zh) * 2021-03-30 2021-06-08 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
CN112926521B (zh) * 2021-03-30 2023-01-24 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
US11863875B2 (en) 2021-03-30 2024-01-02 Qingdao Pico Technology Co., Ltd Eyeball tracking method and system based on on-off of light sources
CN115965653A (zh) * 2022-12-14 2023-04-14 北京字跳网络技术有限公司 一种光斑追踪方法、装置、电子设备及存储介质
CN115965653B (zh) * 2022-12-14 2023-11-07 北京字跳网络技术有限公司 一种光斑追踪方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10739849B2 (en) Selective peripheral vision filtering in a foveated rendering system
CN110051319A (zh) 眼球追踪传感器的调节方法、装置、设备及存储介质
US11755106B1 (en) Glint-assisted gaze tracker
Itoh et al. Interaction-free calibration for optical see-through head-mounted displays based on 3d eye localization
CN104978548B (zh) 一种基于三维主动形状模型的视线估计方法与装置
US20190392640A1 (en) Presentation of augmented reality images at display locations that do not obstruct user's view
CN105992965B (zh) 响应于焦点移位的立体显示
US9165381B2 (en) Augmented books in a mixed reality environment
US20170287446A1 (en) Real-time user adaptive foveated rendering
IL257485A (en) Evaluating eyelid shape by measuring eye position
TW201814572A (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
KR20180057668A (ko) 눈 추적 가능한 웨어러블 디바이스들
WO2015026645A1 (en) Automatic calibration of scene camera for optical see-through head mounted display
TWI680743B (zh) 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
CN108881724A (zh) 一种图像获取方法、装置、设备及存储介质
CN109144250B (zh) 一种位置调节的方法、装置、设备及存储介质
US20140240339A1 (en) Personal visualization of health conditions
CN106199066A (zh) 智能终端的方向校准方法、装置
Perra et al. Adaptive eye-camera calibration for head-worn devices
US9265415B1 (en) Input detection
Deligianni et al. Patient-specific bronchoscope simulation with pq-space-based 2D/3D registration
US20210011551A1 (en) Method, Eyetracker and Computer Program for Determining Eye Positions in Digital Image Data
CN108009532A (zh) 基于3d成像的身份识别方法及终端
Nitschke Image-based eye pose and reflection analysis for advanced interaction techniques and scene understanding
CN109284002B (zh) 一种用户距离估算方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726