CN112926521A - 基于光源亮灭的眼球追踪方法、系统 - Google Patents

基于光源亮灭的眼球追踪方法、系统 Download PDF

Info

Publication number
CN112926521A
CN112926521A CN202110339663.6A CN202110339663A CN112926521A CN 112926521 A CN112926521 A CN 112926521A CN 202110339663 A CN202110339663 A CN 202110339663A CN 112926521 A CN112926521 A CN 112926521A
Authority
CN
China
Prior art keywords
light source
tracking
infrared light
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110339663.6A
Other languages
English (en)
Other versions
CN112926521B (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110339663.6A priority Critical patent/CN112926521B/zh
Publication of CN112926521A publication Critical patent/CN112926521A/zh
Priority to PCT/CN2021/118284 priority patent/WO2022205788A1/zh
Priority to US17/819,536 priority patent/US11863875B2/en
Application granted granted Critical
Publication of CN112926521B publication Critical patent/CN112926521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明提供一种基于光源亮灭的眼球追踪方法使左红外光源与右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；再根据点亮奇数帧追踪图像与点亮偶数帧追踪图像获取左红外光源与右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像，再将点亮奇数帧追踪图像与熄灭偶数帧图像相结合形成单眼的追踪图像，将点亮偶数帧追踪图像与熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据，从而解决了传统追踪方法中两个光源的光线相互干扰的问题，从而减少计算误差，提高追踪精度，为用户提供更完美的虚拟现实沉浸体验。

Description

基于光源亮灭的眼球追踪方法、系统
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于光源亮灭的眼球追踪方法、系统。
背景技术
由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。
目前眼球追踪的主流技术是基于图像处理的眼球追踪与眼球视线检测技术，该技术可以实时计算并记录眼睛所看的位置。通过现有的技术，在虚拟现实一体机设备中内置眼球追踪模块，主流的虚拟现实一体机设备的眼球追踪模块包括左，右眼的眼球红外追踪相机，在红外追踪相机附近按照一定规则，一定数量分布的红外主动式发光光源，通过暗瞳技术，并以角膜反光点作为参考点计算瞳孔-角膜反光点矢量对人眼视线进行追踪。
上述的方案主要是通过在虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。
因此，亟需一种能够有效避免光源容易相互干扰的问题，而且能够实时对用户双眼位置区域进行高精度、高稳定性追踪的一种基于光源亮灭的眼球追踪方法、系统。
发明内容
鉴于上述问题，本发明的目的是提供一种基于光源亮灭的眼球追踪方法、系统，以解决光源发出的光线容易相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度的问题。
本发明提供的一种基于光源亮灭的眼球追踪方法，包括：
将左追踪相机和右追踪相机分别与左红外光源和右红外光源相对应；
使所述左红外光源与所述右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；
根据所述点亮奇数帧追踪图像与所述点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取所述左红外光源与所述右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像；
将所述点亮奇数帧追踪图像与所述熄灭偶数帧图像相结合形成单眼的追踪图像，将所述点亮偶数帧追踪图像与所述熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据。
优选地，在将左追踪相机和右追踪相机分别与左红外光源和右红外光源相对应的过程中，
所述左追踪相机的拍摄帧率与所述左红外光源的点亮频率相同步；
所述右追踪相机的拍摄频率与所述右红外光源的点亮频率相同步。
优选地，在使所述左红外光源与所述右红外光源按照奇偶数依次交替点亮之前，还包括：
将所述左红外光源与所述右红外光源同时点亮，通过左追踪相机追踪所述左红外光源，通过右追踪相机追踪所述右红外光源以形成初始帧追踪图像。
优选地，通过左追踪相机追踪所述左红外光源，通过右追踪相机追踪所述右红外光源以形成初始帧追踪图像的过程包括：
使所述左、右追踪相机分别同时拍摄用户的左、右眼以获取角膜反光点；
以所述角膜反光点为参考点计算视线矢量；其中，所述视线矢量为所述左、右眼中的瞳孔至所述角膜反光点的矢量；
根据所述视线矢量计算所述左、右眼的特征信息以形成所述初始帧追踪图像。
优选地，将所述左红外光源与所述右红外光源同时点亮，通过左追踪相机追踪所述左红外光源，通过右追踪相机追踪所述右红外光源以形成初始帧追踪图像的过程中，所述左、右追踪相机为低曝光相机；
在使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像的过程中所述左、右追踪相机为高曝光相机；
所述低曝光相机的曝光参数小于所述高曝光相机的曝光参数。
优选地，所述左红外光源与所述右红外光源为850nm的红外光源。
优选地，根据所述点亮奇数帧追踪图像与所述点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取所述左红外光源与所述右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像的过程包括：
基于所述计算机视觉技术获取眼球在所述点亮奇数帧追踪图像或所述点亮偶数帧追踪图像上的位置坐标；
基于所述神经网路技术预估眼球的移动方向和移动速度，基于所述移动速度估算眼球在两帧中的移动距离，并以所述位置坐标为原点沿所述移动方向构建移动向量，且所述移动向量的长度等于所述移动距离。
本发明还提供一种基于光源亮灭的眼球追踪系统，用于实现前述的基于光源亮灭的眼球追踪方法，包括内置在虚拟现实一体机中的眼球追踪模块、红外光源、追踪控制器和数据处理器，其中，
所述眼球追踪模块包括左追踪相机和右追踪相机；
所述红外光源包括左红外光源和右红外光源；其中，所述左追踪相机与所述左红外光源相对应，所述右追踪相机与所述右红外光源相对应；
所述追踪控制器用于控制所述左红外光源与所述右红外光源的亮灭，以使所述左红外光源与所述右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；
所述数据处理器包括图像生成模块和数据拟合模块，其中，
所述图像生成模块用于根据所述点亮奇数帧追踪图像与所述点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取所述左红外光源与所述右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像；
所述数据拟合模块用于将所述点亮奇数帧追踪图像与所述熄灭偶数帧图像相结合形成单眼的追踪图像，将所述点亮偶数帧追踪图像与所述熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据。
优选地，所述红外光源排布在所述眼球追踪模块的周围。
优选地，所述追踪控制器还用于在使所述左红外光源与所述右红外光源按照奇偶数依次交替点亮之前，将所述左红外光源与所述右红外光源同时点亮，通过左追踪相机追踪所述左红外光源，通过右追踪相机追踪所述右红外光源以形成初始帧追踪图像。
从上面的技术方案可知，本发明提供的基于光源亮灭的眼球追踪方法、系统，首先将左追踪相机和右追踪相机分别与左红外光源和右红外光源相对应；再使左红外光源与右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；再根据点亮奇数帧追踪图像与点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取左红外光源与右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像，再将点亮奇数帧追踪图像与熄灭偶数帧图像相结合形成单眼的追踪图像，将点亮偶数帧追踪图像与熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据，从而解决了传统追踪方法中两个光源的光线相互干扰的问题，从而减少计算误差，提高追踪精度，为用户提供更完美的虚拟现实沉浸体验。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于光源亮灭的眼球追踪方法的流程图；
图2为根据本发明实施例的基于光源亮灭的眼球追踪系统的示意图。
具体实施方式
传统眼球追踪方法主要通过在虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。
针对上述问题，本发明提供一种基于光源亮灭的眼球追踪方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于光源亮灭的眼球追踪方法、系统，图1对本发明实施例的基于光源亮灭的眼球追踪方法进行了示例性标示；图2对本发明实施例的基于光源亮灭的眼球追踪系统进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的本发明实施例的基于光源亮灭的眼球追踪方法，包括：
S110：将左追踪相机和右追踪相机分别与左红外光源和右红外光源相对应；
S120：使左红外光源与右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；
S130：根据点亮奇数帧追踪图像与点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取左红外光源与右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像；
S140：将点亮奇数帧追踪图像与熄灭偶数帧图像相结合形成单眼的追踪图像，将点亮偶数帧追踪图像与熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据。
如图1所示，在步骤S110中，该左追踪相机的拍摄帧率与该左红外光源的点亮频率相同步；该右追踪相机的拍摄频率与该右红外光源的点亮频率相同步；换句话说当左红外光源点亮时，与左红外光源对应的左追踪相机的快门必须打开，当右红外光源点亮时，与右红外光源对应的右追踪相机的快门必须打开；但不限于如此，当左红外光源点亮，右红外光源熄灭时左追踪相机必须打开，此时右追踪相机打开也可以，不打开也可以，该左红外光源与右红外光源的具体规格不作具体限制，在本实施例中，该左红外光源与该右红外光源为850nm的红外光源。
如图1所示，在步骤S120之前，还包括将左红外光源与右红外光源同时点亮，通过左追踪相机追踪左红外光源，通过右追踪相机追踪右红外光源以形成初始帧追踪图像，即刚开始时首先第一帧中两个红外光源(左红外光源和右红外光源)需同时亮，此时通过左追踪相机追踪左红外光源，通过右追踪相机追踪右红外光源以形成初始帧追踪图像的过程包括：
S120-1：使左、右追踪相机分别同时拍摄用户的左、右眼以获取角膜反光点；
S120-2：以角膜反光点为参考点计算视线矢量；其中，视线矢量为左、右眼中的瞳孔至角膜反光点的矢量；
S120-3：根据视线矢量计算左、右眼的特征信息以形成初始帧追踪图像。
此时，由于两个光源同时亮起，相机曝光参数可以设置稍微低一点，以减少外界环境光干扰，因而在步骤S130中，依次仅开启一个红外光源(左红外光源或右红外光源)时不存在光线干扰问题，故可以将相机的曝光参数调高一点，以使相机清晰拍摄到眼球及眼球周围区域图像数据；也就是在使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像的过程中左、右追踪相机为高曝光相机；将左红外光源与右红外光源同时点亮，通过左追踪相机追踪左红外光源，通过右追踪相机追踪右红外光源以形成初始帧追踪图像的过程中，该左、右追踪相机为低曝光相机；并且，低曝光相机的曝光参数小于高曝光相机的曝光参数。
如图1所示，步骤S120为使左红外光源与右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；
具体的，其为左红外光源与右红外光源按照奇偶数依次交替点亮，即在拍摄完初始帧追踪图像后，第一帧可以为左红外光源点亮也可以为右红外光源点亮，在本实施例中以第一帧图形中左红外光源点亮为例，首先拍摄第一帧时左追踪相机对应的左红外光源点亮，同时右追踪相机对应的右红外光源熄灭，拍摄第二帧时右追踪相机对应的右红外光源亮，同时左追踪相机对应的左红外光源灭，拍摄第三帧时左追踪相机对应的左红外光源点亮，右追踪相机对应的右红外光源灭，以此类推左、右红外光源依次进行交替亮灭，即在本实施例中奇数帧左亮右灭，偶数帧右亮左灭，当然具体实施时也可以与之相反在此不作赘述。如此每一帧只开启一个红外光源可避免两组光源相互干扰问题，提高眼球追踪稳定性；并且此时每一帧红外光源灭的相机曝光参数值可以设置为一个比较大的参数值，以使其相机清晰拍摄到眼球及眼球周围区域图像数据。
如图1所示，在步骤S130中，根据点亮奇数帧追踪图像与点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取左红外光源与右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像的过程包括：
基于计算机视觉技术获取眼球在点亮奇数帧追踪图像或点亮偶数帧追踪图像上的位置坐标；
基于神经网路技术预估眼球的移动方向和移动速度，基于移动速度估算眼球在两帧中的移动距离，并以位置坐标为原点沿移动方向构建移动向量，且移动向量的长度等于移动距离；仍以第一帧左红外光源点亮、第二帧左红外光源熄灭为例，此时第二帧的追踪图像上没有拍摄到关于左眼的痕迹，故可以通过计算机视觉技术与神经网络技术相结合估算出拍摄第二帧时左眼的运动痕迹(移动向量)以完成第二帧对左眼的追踪。
如图1所示，步骤S140为将点亮奇数帧追踪图像与熄灭偶数帧图像相结合形成单眼的追踪图像，将点亮偶数帧追踪图像与熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据；仍以第一帧左红外光源点亮、第二帧左红外光源熄灭为例，用户的左眼在第一帧、第三帧等奇数帧均被左追踪相机所追踪，第二帧、第四帧等偶数帧均通过计算机视觉技术与神经网络技术相结合估算出左眼的运动痕迹，因此将点亮奇数帧追踪图像与熄灭偶数帧图像相结合即形成左的追踪图像，右眼同理，将点亮偶数帧追踪图像与熄灭奇数帧图像相结合形成右眼的追踪图像以形成双眼眼球追踪数据完成眼球追踪。
如上所述，本发明提供的基于光源亮灭的眼球追踪方法首先将左追踪相机和右追踪相机分别与左红外光源和右红外光源相对应；再使左红外光源与右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；再根据点亮奇数帧追踪图像与点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取左红外光源与右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像，再将点亮奇数帧追踪图像与熄灭偶数帧图像相结合形成单眼的追踪图像，将点亮偶数帧追踪图像与熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据，从而解决了传统追踪方法中两个光源的光线相互干扰的问题，从而减少计算误差，提高追踪精度，为用户提供更完美的虚拟现实沉浸体验。
如图2所示，本发明还提供一种基于光源亮灭的眼球追踪系统100，用于实现如前所述的基于光源亮灭的眼球追踪方法，包括内置在虚拟现实一体机中的眼球追踪模块110、红外光源120、追踪控制器130和数据处理器140，其中，
该眼球追踪模块110包括左追踪相机111和右追踪相机112；
该红外光源120包括左红外光源121和右红外光源122；其中，该左追踪相机111与该左红外光源121相对应，该右追踪相机112与该右红外光源122相对应；并且该红外光源120排布在该眼球追踪模块110的周围；
该追踪控制器130用于控制该左红外光源121与右红外光源122的亮灭，以使该左红外光源121与该右红外光源122按照奇偶数依次交替点亮，并使左追踪相机111与右追踪相机112对应拍摄点亮的左红外光源121或右红外光源122以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；该追踪控制器130还用于在使左红外光源121与右红外光源122按照奇偶数依次交替点亮之前，将左红外光源121与右红外光源122同时点亮，通过左追踪相机111追踪左红外光源121，通过右追踪相机112追踪右红外光源122以形成初始帧追踪图像。
该数据处理器140包括图像生成模块141和数据拟合模块142，其中，
该图像生成模块141用于根据点亮奇数帧追踪图像与点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取左红外光源与右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像；
该数据拟合模块142用于将点亮奇数帧追踪图像与熄灭偶数帧图像相结合形成单眼的追踪图像，将点亮偶数帧追踪图像与熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据。
通过上述实施方式可以看出，本发明提供的基于光源亮灭的眼球追踪系统通过眼球追踪模块、红外光源、追踪控制器和数据处理器首先将左追踪相机和右追踪相机分别与左红外光源和右红外光源相对应；再使左红外光源与右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；再根据点亮奇数帧追踪图像与点亮偶数帧追踪图像获取左红外光源与右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像，从而将二者结合形成单眼的追踪图像，进而解决了传统技术中在两个眼球追踪模块中分别各自采用一组光源，导致在标定或者使用时，两组光源发出的光线容易相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度的问题，进而减小误差、提高追踪精度，为用户提供更完美的虚拟现实沉浸体验。
如上参照附图以示例的方式描述了根据本发明提出的基于光源亮灭的眼球追踪方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于光源亮灭的眼球追踪方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于光源亮灭的眼球追踪方法，其特征在于，包括：
将左追踪相机和右追踪相机分别与左红外光源和右红外光源相对应；
使所述左红外光源与所述右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；
根据所述点亮奇数帧追踪图像与所述点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取所述左红外光源与所述右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像；
将所述点亮奇数帧追踪图像与所述熄灭偶数帧图像相结合形成单眼的追踪图像，将所述点亮偶数帧追踪图像与所述熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据。
2.如权利要求1所述的基于光源亮灭的眼球追踪方法，其特征在于，在将左追踪相机和右追踪相机分别与左红外光源和右红外光源相对应的过程中，
所述左追踪相机的拍摄帧率与所述左红外光源的点亮频率相同步；
所述右追踪相机的拍摄频率与所述右红外光源的点亮频率相同步。
3.如权利要求1所述的基于光源亮灭的眼球追踪方法，其特征在于，在使所述左红外光源与所述右红外光源按照奇偶数依次交替点亮之前，还包括：
将所述左红外光源与所述右红外光源同时点亮，通过左追踪相机追踪所述左红外光源，通过右追踪相机追踪所述右红外光源以形成初始帧追踪图像。
4.如权利要求3所述的基于光源亮灭的眼球追踪方法，其特征在于，通过左追踪相机追踪所述左红外光源，通过右追踪相机追踪所述右红外光源以形成初始帧追踪图像的过程包括：
使所述左、右追踪相机分别同时拍摄用户的左、右眼以获取角膜反光点；
以所述角膜反光点为参考点计算视线矢量；其中，所述视线矢量为所述左、右眼中的瞳孔至所述角膜反光点的矢量；
根据所述视线矢量计算所述左、右眼的特征信息以形成所述初始帧追踪图像。
5.如权利要求4所述的基于光源亮灭的眼球追踪方法，其特征在于，
将所述左红外光源与所述右红外光源同时点亮，通过左追踪相机追踪所述左红外光源，通过右追踪相机追踪所述右红外光源以形成初始帧追踪图像的过程中，所述左、右追踪相机为低曝光相机；
在使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像的过程中所述左、右追踪相机为高曝光相机；
所述低曝光相机的曝光参数小于所述高曝光相机的曝光参数。
6.如权利要求5所述的基于光源亮灭的眼球追踪方法，其特征在于，
所述左红外光源与所述右红外光源为850nm的红外光源。
7.如权利要求6所述的基于光源亮灭的眼球追踪方法，其特征在于，根据所述点亮奇数帧追踪图像与所述点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取所述左红外光源与所述右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像的过程包括：
基于所述计算机视觉技术获取眼球在所述点亮奇数帧追踪图像或所述点亮偶数帧追踪图像上的位置坐标；
基于所述神经网路技术预估眼球的移动方向和移动速度，基于所述移动速度估算眼球在两帧中的移动距离，并以所述位置坐标为原点沿所述移动方向构建移动向量，且所述移动向量的长度等于所述移动距离。
8.一种基于光源亮灭的眼球追踪系统，其特征在于，用于实现如权利要求1-7任一项所述的基于光源亮灭的眼球追踪方法，包括内置在虚拟现实一体机中的眼球追踪模块、红外光源、追踪控制器和数据处理器，其中，
所述眼球追踪模块包括左追踪相机和右追踪相机；
所述红外光源包括左红外光源和右红外光源；其中，所述左追踪相机与所述左红外光源相对应，所述右追踪相机与所述右红外光源相对应；
所述追踪控制器用于控制所述左红外光源与所述右红外光源的亮灭，以使所述左红外光源与所述右红外光源按照奇偶数依次交替点亮，并使左追踪相机与右追踪相机对应拍摄点亮的左红外光源或右红外光源以形成点亮奇数帧追踪图像和点亮偶数帧追踪图像；
所述数据处理器包括图像生成模块和数据拟合模块，其中，
所述图像生成模块用于根据所述点亮奇数帧追踪图像与所述点亮偶数帧追踪图像，基于计算机视觉技术与神经网络技术获取所述左红外光源与所述右红外光源依次交替熄灭时的熄灭偶数帧追踪图像和熄灭奇数帧追踪图像；
所述数据拟合模块用于将所述点亮奇数帧追踪图像与所述熄灭偶数帧图像相结合形成单眼的追踪图像，将所述点亮偶数帧追踪图像与所述熄灭奇数帧图像相结合形成另一单眼的追踪图像以形成双眼眼球追踪数据。
9.如权利要求8所述的基于光源亮灭的眼球追踪系统，其特征在于，
所述红外光源排布在所述眼球追踪模块的周围。
10.如权利要求9所述的基于光源亮灭的眼球追踪系统，其特征在于，
所述追踪控制器还用于在使所述左红外光源与所述右红外光源按照奇偶数依次交替点亮之前，将所述左红外光源与所述右红外光源同时点亮，通过左追踪相机追踪所述左红外光源，通过右追踪相机追踪所述右红外光源以形成初始帧追踪图像。
CN202110339663.6A 2021-03-30 2021-03-30 基于光源亮灭的眼球追踪方法、系统 Active CN112926521B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110339663.6A CN112926521B (zh) 2021-03-30 2021-03-30 基于光源亮灭的眼球追踪方法、系统
PCT/CN2021/118284 WO2022205788A1 (zh) 2021-03-30 2021-09-14 基于光源亮灭的眼球追踪方法、系统
US17/819,536 US11863875B2 (en) 2021-03-30 2022-08-12 Eyeball tracking method and system based on on-off of light sources

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110339663.6A CN112926521B (zh) 2021-03-30 2021-03-30 基于光源亮灭的眼球追踪方法、系统

Publications (2)

Publication Number Publication Date
CN112926521A true CN112926521A (zh) 2021-06-08
CN112926521B CN112926521B (zh) 2023-01-24

Family

ID=76176597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110339663.6A Active CN112926521B (zh) 2021-03-30 2021-03-30 基于光源亮灭的眼球追踪方法、系统

Country Status (3)

Country Link
US (1) US11863875B2 (zh)
CN (1) CN112926521B (zh)
WO (1) WO2022205788A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022205788A1 (zh) * 2021-03-30 2022-10-06 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
WO2022205789A1 (zh) * 2021-03-30 2022-10-06 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269412A (ja) * 1993-03-19 1994-09-27 Canon Inc 視線検出装置及びそれを有した光学装置
JP2005198743A (ja) * 2004-01-14 2005-07-28 National Univ Corp Shizuoka Univ 三次元視点計測装置
CN105520713A (zh) * 2015-11-30 2016-04-27 中国科学院苏州生物医学工程技术研究所 双目瞳孔对光反射测量设备
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
CN107145086A (zh) * 2017-05-17 2017-09-08 上海青研科技有限公司 一种免定标的视线追踪装置及方法
CN107633196A (zh) * 2017-06-14 2018-01-26 电子科技大学 一种基于卷积神经网络的眼球移动预测方案
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN107991775A (zh) * 2016-10-26 2018-05-04 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
JP2018197974A (ja) * 2017-05-24 2018-12-13 富士通株式会社 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN112527102A (zh) * 2020-11-16 2021-03-19 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205594581U (zh) * 2016-04-06 2016-09-21 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
CN106768361B (zh) * 2016-12-19 2019-10-22 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统
CN112926521B (zh) * 2021-03-30 2023-01-24 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269412A (ja) * 1993-03-19 1994-09-27 Canon Inc 視線検出装置及びそれを有した光学装置
JP2005198743A (ja) * 2004-01-14 2005-07-28 National Univ Corp Shizuoka Univ 三次元視点計測装置
CN105520713A (zh) * 2015-11-30 2016-04-27 中国科学院苏州生物医学工程技术研究所 双目瞳孔对光反射测量设备
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN107991775A (zh) * 2016-10-26 2018-05-04 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
CN107145086A (zh) * 2017-05-17 2017-09-08 上海青研科技有限公司 一种免定标的视线追踪装置及方法
JP2018197974A (ja) * 2017-05-24 2018-12-13 富士通株式会社 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
CN107633196A (zh) * 2017-06-14 2018-01-26 电子科技大学 一种基于卷积神经网络的眼球移动预测方案
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN112527102A (zh) * 2020-11-16 2021-03-19 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAIRAT KRAICHAN等: "Face and Eye Tracking For Controlling Computer Functions", 《2014 11TH INTERNATIONAL CONFERENCE ON ELECTRICAL ENGINEERING/ELECTRONICS, COMPUTER, TELECOMMUNICATIONS AND INFORMATION TECHNOLOGY (ECTI-CON)》 *
STEVEN HICKSON: "Eyemotion: Classifying Facial Expressions in VR Using Eye-Tracking Cameras", 《2019 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 *
刘硕硕: "头盔式视线跟踪技术研究", 《万方数据》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022205788A1 (zh) * 2021-03-30 2022-10-06 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
WO2022205789A1 (zh) * 2021-03-30 2022-10-06 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统
US11640201B2 (en) 2021-03-30 2023-05-02 Qingdao Pico Technology Co., Ltd. Virtual reality-based eyeball tracking method and system
US11863875B2 (en) 2021-03-30 2024-01-02 Qingdao Pico Technology Co., Ltd Eyeball tracking method and system based on on-off of light sources

Also Published As

Publication number Publication date
US11863875B2 (en) 2024-01-02
WO2022205788A1 (zh) 2022-10-06
US20220394168A1 (en) 2022-12-08
CN112926521B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
EP3368170B1 (en) Adjusting image frames based on tracking motion of eyes
Yao et al. Oculus vr best practices guide
CN110187855A (zh) 近眼显示设备的避免全息影像阻挡视线的智能调节方法
CN112926521B (zh) 基于光源亮灭的眼球追踪方法、系统
EP3368963A1 (en) Tracking of wearer's eyes relative to wearable device
JP2023507867A (ja) 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム
US11380072B2 (en) Neutral avatars
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
US11640201B2 (en) Virtual reality-based eyeball tracking method and system
US11715176B2 (en) Foveated rendering method and system of virtual reality system based on monocular eyeball tracking
CN113272765A (zh) Ar/vr环境中用户注意力的视觉指示器
Plopski et al. Automated spatial calibration of HMD systems with unconstrained eye-cameras
WO2022205770A1 (zh) 基于光场感知的眼球追踪系统、方法
CN113589533A (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
JP7367689B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2023509823A (ja) 遠近調節型倍率補正光学システム
CN106773054A (zh) 一种实现增强现实互动的装置及方法
Sherstyuk et al. Dynamic eye convergence for head-mounted displays
Helbig et al. Haptic perception in interaction with other senses
WO2019138515A1 (ja) 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
US11823343B1 (en) Method and device for modifying content according to various simulation characteristics
Lin Lightweight and Sufficient Two Viewpoint Connections for Augmented Reality
WO2024064015A1 (en) Representations of participants in real-time communication sessions
WO2024064380A1 (en) User interfaces for gaze tracking enrollment
WO2024054433A2 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant