CN113971834A - 基于虚拟现实的眼球追踪方法和系统 - Google Patents

基于虚拟现实的眼球追踪方法和系统 Download PDF

Info

Publication number
CN113971834A
CN113971834A CN202111236669.7A CN202111236669A CN113971834A CN 113971834 A CN113971834 A CN 113971834A CN 202111236669 A CN202111236669 A CN 202111236669A CN 113971834 A CN113971834 A CN 113971834A
Authority
CN
China
Prior art keywords
eye
eyeball
sight direction
point coordinate
description matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111236669.7A
Other languages
English (en)
Inventor
王瑞娟
陈慧民
王灏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202111236669.7A priority Critical patent/CN113971834A/zh
Publication of CN113971834A publication Critical patent/CN113971834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及人工智能和虚拟现实设备技术领域，具体涉及一种基于虚拟现实的眼球追踪方法和系统。该方法包括：构建扇形LBP算子，获得眼部周围细节特征描述矩阵；获取睑缘关键像素点坐标序列和瞳孔中心点坐标；预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；根据预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获得预测帧的眼球视线方向类别；根据预测帧的眼球视线方向类别获得用户指令信息，同时在虚拟设备中执行相应的操作。本发明能够提高计算效率及眼部周围细节特征的表征能力，提高眼球视线方向追踪的准确率以及提高虚拟现实设备的泛化能力及用户指令生成的准确率。

Description

基于虚拟现实的眼球追踪方法和系统
技术领域
本发明涉及人工智能和虚拟现实设备技术领域，具体涉及一种基于虚拟现实的眼球追踪方法和系统。
背景技术
随着计算机视觉、人工智能技术和数字化技术的迅速发展、眼球追踪技术已成为当前热点研究领域，能够应用于现实中的各个场景之下。随着虚拟现实技术的发展，在虚拟现实应用场景中，眼球追踪技术多方面、多层次的应用已经成为一种趋势。现有技术通常采用红外相机利用光学技术进行眼球视线的追踪，然而此类方法通常难以实现实时追踪，会导致虚拟现实设备的渲染操作延缓，因此有其他技术方案提出通过眼部周围细节特征变化信息对眼球视线进行追踪。
现有通过眼部周围细节特征变化信息来实现眼球视线追踪的技术方案存在的问题在于：较为准确的眼部周围细节特征获取过程的计算量过大，且会提取到较多冗余无关信息，计算效率较低，无法提高眼球追踪的速度；而快速的眼部周围细节特征获取过程准确率较低，导致眼球视线追踪的效果变差。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于虚拟现实的眼球追踪方法和系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于虚拟现实的眼球追踪方法：
构建扇形LBP算子在眼部周围区域移动提取眼部周围特征，其中扇形LBP算子圆心在眼球感兴趣区域边缘线上移动，扇形LBP算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形LBP算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个LBP码，每个扇形的所有半径线段对应的LBP码构成一组LBP码；所有LBP码构成眼部周围细节特征描述矩阵；获取睑缘关键像素点坐标序列和瞳孔中心点坐标；
根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；
将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
优选地，获取眼球感兴趣区域的外眼角点和内眼角点，外眼角点和内眼角点的连线为眼球感兴趣区域的基准线段；扇形LBP算子在眼球感兴趣区域上边缘线移动时，其圆心位置为过基准线段上像素点的垂线与眼球感兴趣区域上边缘线的交点。
优选地，根据预测帧的眼球视线方向类别确定提取预测帧实际眼部周围细节特征描述矩阵时扇形LBP算子的半径。
优选地，眼部周围细节特征描述矩阵的一行为一组LBP码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度；根据相同眼球视线方向类别训练样本、指定行置零前后眼球视线方向类别置信度的变化量调整该眼球视线方向类别指定行对应扇形LBP算子的半径。
优选地，训练用户指令信息分类网络，输入预测帧的眼球视线方向类别，输出用户指令信息；根据用户指令信息虚拟现实设备执行对应操作。
第二方面，本发明另一个实施例提供了一种基于虚拟现实的眼球追踪系统。系统包括：
眼部周围细节特征描述矩阵获取模块，用于构建扇形LBP算子在眼周区域移动提取眼部周围特征，其中扇形LBP算子圆心在眼球感兴趣区域边缘线上移动，扇形LBP算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形LBP算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个LBP码，每个扇形的所有半径线段对应的LBP码构成一组LBP码；所有LBP码构成眼部周围细节特征描述矩阵；
预测帧眼部信息获取模块，用于获取睑缘关键像素点坐标序列和瞳孔中心点坐标；根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；
眼球视线方向类别获取模块，用于将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
优选地，眼部周围细节特征描述矩阵获取模块，还用于获取眼球感兴趣区域的外眼角点和内眼角点，外眼角点和内眼角点的连线为眼球感兴趣区域的基准线段；扇形LBP算子在眼球感兴趣区域上边缘线移动时，其圆心位置为过基准线段上像素点的吹线与眼球感兴趣区域上边缘线的交点。
优选地，眼球视线方向类别获取模块，还用于根据预测帧的眼球视线方向类别确定提取预测帧实际眼部周围细节特征描述矩阵时扇形LBP算子的半径。
优选地，眼球视线方向类别获取模块，还用于眼部周围细节特征描述矩阵的一行为一组LBP码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度；根据相同眼球视线方向类别训练样本、指定行置零前后眼球视线方向类别置信度的变化量调整该眼球视线方向类别指定行对应扇形LBP算子的半径。
优选地，所述眼球视线方向类别获取模块还用于训练用户指令信息分类网络，输入预测帧的眼球视线方向类别，输出用户指令信息；根据用户指令信息虚拟现实设备执行对应操作。
本发明实施例至少具有如下有益效果：本发明通过改进LBP算子，构建扇形LBP算子获得眼部周围细节特征描述矩阵；获得睑缘关键像素点坐标序列和瞳孔中心点坐标；预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，同时，获得预测帧的眼球视线方向类别；将预测帧的眼球视线方向类别输入用户指令信息分类网络获得用户指令信息，同时在虚拟设备中执行相应的操作。本发明在保证准确率的情况下，提高计算效率、眼部周围细节特征的表征能力以及眼球视线方向追踪的准确率；考虑用户反馈信息对用户指令生成过程进行修正，提高虚拟现实设备的泛化能力及用户指令生成的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于虚拟现实的眼球追踪方法和系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于虚拟现实的眼球追踪方法的具体方案。
实施例1
本发明的主要应用场景为：应用于虚拟现实场景下，一般用于VR头显设备中，用户需要在使用前对VR头显设备进行校准，通常采用多个位置固定十字的方式进行校准，校准后VR头显设备即可适应不同用户的眼睛大小等属性；本实施例主要对眼球追踪算法进行设计，对眼球追踪后的视差校正、虚拟场景渲染等操作均采用现有公知技术。
请参阅图1，其示出了本发明一个实施例提供的一种基于虚拟现实的眼球追踪方法流程图，该方法包括以下步骤：
首先，构建扇形LBP算子在眼部周围区域移动提取眼部周围特征，其中扇形LBP算子圆心在眼球感兴趣区域边缘线上移动，扇形LBP算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形LBP算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个LBP码，每个扇形的所有半径线段对应的LBP码构成一组LBP码；所有LBP码构成眼部周围细节特征描述矩阵；获取睑缘关键像素点坐标序列和瞳孔中心点坐标。
获取用户的眼部IR图像，通过IR光照射眼睛，并结合IR反射敏感的相机进行用户眼部IR图像采集处理，从而得到用户眼部的IR图像。获取待处理的用户眼部IR图像，便于后续基于用户眼部图像进行瞳孔识别和眼部周围细节特征提取。
眼部周围细节特征提取具体为：
1.首先构建眼睛ROI区域提取网络，该网络采用类似于语义分割网络的架构，即架构为编码器-解码器，输入为眼部IR图像，输出为眼部ROI区域图像；眼部ROI区域提取网络训练方式为，采用多个用户的眼部IR图像作为训练数据集，采用人为像素级标注的ROI区域图像作为标签数据，其中，眼部ROI区域包括眼球区域和眼部周围细节区域，眼球ROI区域像素点像素值标注为1，眼部周围细节区域像素点像素值标注为0。
2.获取眼部ROI区域图像，为二值图像，基于像素坐标系取像素值为1的像素点中umin和umax对应两像素点，设为外眼角点A(umin，va)和内眼角点B(umax，vb)，连接外眼角点A和内眼角点B作为眼球ROI区域基准线段lAB。
3.构建扇形LBP算子在眼部IR图像中进行特征提取，所述扇形LBP算子具体为：设置扇形角度为θ，考虑某位置的眼部周围组织的运动通常仅跟其附近的眼部组织协同，因此为避免其他位置组织对特征描述造成干扰，将特征提取算子设置为扇形，优选地，在本实施例中θ取45°，实施者可根据实际需要对θ值进行调整，该调整主要与计算速度相关，若需要较快的计算速度，则θ设置较大，同理，若不太关注计算速度，则θ设置较小以提高特征描述的精度，θ取值范围设置为(30°，90°)；选择距离基准线段lAB最远的像素值为1的像素点，并设该距离为dmax，取扇形的预设半径r＝0.5dmax，即默认眼部周围细节特征不会超过该区域；扇形LBP算子的圆心初始位于外眼角点A，且扇形区域刚好被基准线段lAB的延长线切分，则扇形LBP算子移动路径为由外眼角点A沿眼球感兴趣区域边缘线移动至内眼角点B，再由内眼角点B沿另一条眼球感兴趣区域边缘线返回外眼角点A；移动以基准线段lAB作为参考，即扇形LBP算子圆心每次移动位置为过基准线段lAB单个像素点的垂线与眼球感兴趣区域边缘线的交点，则移动参考路径长度为2DAB，DAB为由外眼角点A到内眼角点B基准线段上的像素点个数，其扇形区域总旋转角度应为360°以确保眼部周围细节特征均被提取，即扇形LBP算子每移动一个位置，对应的预设单次旋转角度为π/DAB。
4.利用LBP算子提取的特征本质上是纹理特征，即以中心像素点的灰度值为阈值，范围内周围像素的灰度值与中心的灰度值进行比较，若周围像素大于中心像素值，则该像素点的位置被标记为1，否则为0，进而构成了LBP码，LBP码为二进制编码，可反映眼部周围细节区域的局部纹理信息；将扇形LBP算子移动时获取的多组LBP码作为矩阵的行信息，即可获取眼部周围细节特征描述矩阵，矩阵尺寸为(2DAB－2)×k，其中，(2DAB－2)为行数，k为列数，列数由实施者自行设置，为获取扇形圆心到扇形弧度边缘线的若干条半径线段的个数，优选地，本实施例中k条半径线段均匀分布在扇形区域内，将扇形区域等分为k-1个子区域，半径线段与扇形弧度边缘线的交点即为用于描述的像素点，需要说明的是，对于交点不在整数位置上的情况，进行插值运算即可；获取眼部周围细节特征描述矩阵，矩阵的某行元素为对应位置的扇形LBP算子获取的一组LBP码；同时，获得睑缘关键像素点坐标序列和瞳孔中心点坐标，与眼部周围细节特征描述矩阵作为识别眼球视线方向的信息；其中，睑缘关键像素点坐标序列包括内、外眼角点和过瞳孔中心点的基准线段lAB的垂线与上下睑缘的交点的坐标。
进一步地，根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标。
将连续时序上的多帧眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标作为输入，送入TCN网络进行预测，滑窗长度等参数由实施者自行设置，优选地，本实施例设置滑窗长度为3；输出为预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；该TCN网络的训练采用多个连续时序上的多帧眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标作为训练数据集，采用预测帧的真实眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标作为标签数据，采用均方误差损失函数进行训练监督；此处采用TCN网络的目的在于，由于预测帧，即下一帧的眼球运动可通过连续时序上多帧眼部周围细节特征变化情况进行预测，而采用预测的方式可以一定程度上解决VR渲染速度难以匹配用户眼动运动速度的问题，对场景进行提前渲染。
最后，将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
在TCN网络后添加眼球视线方向分类网络以获取眼球视线方向类别信息，眼球视线方向分类网络采用全连接层结合softmax函数进行分类即可；将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
为确保基于上述预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行眼球视线方向类别信息分类和预测的准确率，以眼球视线方向的分类结果作为额外的监督损失对上述TCN网络和眼球视线方向分类网络进行训练，采用交叉熵损失函数即可。
眼部周围细节特征描述矩阵的一行为一组LBP码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别的置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度，其中指定行为眼部周围细节特征描述矩阵的任意一行，其他数据包括睑缘关键像素点坐标序列和瞳孔中心点坐标；将训练样本的眼部周围细节特征描述矩阵的指定行置零前和置零后的眼球视线方向类别置信度进行对比，仅对比置零前后相同眼球视线方向类别的置信度变化，变化量设为
Figure BDA0003317864400000061
对于同一眼球视线方向类别，采用多个训练样本的眼部周围细节特征描述矩阵进行上述操作，对各个眼部细节特征描述矩阵在同一行置零时对应变化量均值设为
Figure BDA0003317864400000062
将变化量均值
Figure BDA0003317864400000063
通过函数
Figure BDA0003317864400000064
进行映射；即若置信度变小，
Figure BDA0003317864400000065
为正，在函数映射时为大于1的映射值；反之，若置信度变大，
Figure BDA0003317864400000066
为负，在函数映射时为小于1的映射值；根据眼球视线方向类别将眼部周围细节特征描述矩阵各行对应的扇形LBP算子的半径调整为
Figure BDA0003317864400000067
即对眼球视线方向类别分类影像大的眼部周围组织，获取较大范围的眼部周围特征，对眼球视线方向类别分类影像小的眼部周围组织，获取较小范围的眼部周围特征。
在实际使用过程中，利用半径调整后的扇形LBP算子，提取预测帧实际眼部周围细节特征，获得预测帧实际眼部周围细节特征描述矩阵，结合预测帧之前连续时序上多帧眼部周围细节特征描述矩阵进行后续帧的预测。
将预测帧眼球视线方向类别输入用户指令信息分类网络，输出用户指令信息，虚拟现实设备根据用户指令信息执行对应操作。
用户指令信息分类网络训练过程具体为：以用户反馈信息作为用户指令信息分类网络的额外监督，将用户反馈信息分为积极反馈和消极反馈，当用户指令信息符合用户想要发出的指令时，用户给予积极反馈，反之，当用户指令信息不符合用户想要发出的指令时，用户给予积极反馈；而用户指令除自身具体类别外，也隶属于积极指令和消极指令两类，采用二值交叉熵作为损失函数对分类网络进行监督，则分类网络的损失函数为L＝L1+L2，L1为标签类别损失，采用交叉熵损失函数；L2为反馈信息损失，采用二值交叉熵损失函数。基于用户习惯进行修正获取用户指令信息，便于虚拟现实设备基于用户指令信息执行对应操作。
实施例2
本实施例提供了一种系统实施例。一种基于虚拟现实的眼球追踪系统，该系统包括：眼部周围细节特征描述矩阵获取模块，用于构建扇形LBP算子在眼周区域移动提取眼部周围特征，其中扇形LBP算子圆心在眼球感兴趣区域边缘线上移动，扇形LBP算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形LBP算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个LBP码，每个扇形的所有半径线段对应的LBP码构成一组LBP码；所有LBP码构成眼部周围细节特征描述矩阵；
预测帧眼部信息获取模块，用于获取睑缘关键像素点坐标序列和瞳孔中心点坐标；根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；
眼球视线方向类别获取模块，用于将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于虚拟现实的眼球追踪方法，其特征在于，该方法包括：构建扇形LBP算子在眼部周围区域移动提取眼部周围特征，其中扇形LBP算子圆心在眼球感兴趣区域边缘线上移动，扇形LBP算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形LBP算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个LBP码，每个扇形的所有半径线段对应的LBP码构成一组LBP码；所有LBP码构成眼部周围细节特征描述矩阵；获取睑缘关键像素点坐标序列和瞳孔中心点坐标；
根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；
将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取眼球感兴趣区域的外眼角点和内眼角点，外眼角点和内眼角点的连线为眼球感兴趣区域的基准线段；扇形LBP算子在眼球感兴趣区域上边缘线移动时，其圆心位置为过基准线段上像素点的垂线与眼球感兴趣区域上边缘线的交点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预测帧的眼球视线方向类别确定提取预测帧实际眼部周围细节特征描述矩阵时扇形LBP算子的半径。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：眼部周围细节特征描述矩阵的一行为一组LBP码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度；根据相同眼球视线方向类别训练样本、指定行置零前后眼球视线方向类别置信度的变化量调整该眼球视线方向类别指定行对应扇形LBP算子的半径。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：训练用户指令信息分类网络，输入预测帧的眼球视线方向类别，输出用户指令信息；根据用户指令信息虚拟现实设备执行对应操作。
6.一种基于虚拟现实的眼球追踪系统，其特征在于，该系统包括：眼部周围细节特征描述矩阵获取模块，用于构建扇形LBP算子在眼周区域移动提取眼部周围特征，其中扇形LBP算子圆心在眼球感兴趣区域边缘线上移动，扇形LBP算子移动时同步旋转预设角度；获取扇形圆心到扇形弧线的若干条半径线段，扇形LBP算子每移动一次，根据每条半径线段与扇形弧度边缘线相交的像素点与扇形圆心像素点的像素值生成一个LBP码，每个扇形的所有半径线段对应的LBP码构成一组LBP码；所有LBP码构成眼部周围细节特征描述矩阵；
预测帧眼部信息获取模块，用于获取睑缘关键像素点坐标序列和瞳孔中心点坐标；根据连续时序上的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标进行预测获得预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标；
眼球视线方向类别获取模块，用于将预测帧的眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标输入眼球视线方向分类网络，输出为眼球视线方向类别。
7.根据权利要求6所述的系统，其特征在于，所述眼部周围细节特征描述矩阵获取模块，还用于获取眼球感兴趣区域的外眼角点和内眼角点，外眼角点和内眼角点的连线为眼球感兴趣区域的基准线段；扇形LBP算子在眼球感兴趣区域上边缘线移动时，其圆心位置为过基准线段上像素点的垂线与眼球感兴趣区域上边缘线的交点。
8.根据权利要求6所述的系统，其特征在于，所述眼球视线方向类别获取模块，还用于根据预测帧的眼球视线方向类别确定提取预测帧实际眼部周围细节特征描述矩阵时扇形LBP算子的半径。
9.根据权利要求6所述的系统，其特征在于，所述眼球视线方向类别获取模块，还用于眼部周围细节特征描述矩阵的一行为一组LBP码；构建训练样本集，每个训练样本包括眼部周围细节特征描述矩阵、睑缘关键像素点坐标序列和瞳孔中心点坐标，获取每个训练样本的眼球视线方向类别置信度；将训练样本的眼部周围细节特征描述矩阵的指定行置零并联合训练样本的其他数据获取指定行置零后眼球视线类别置信度；根据相同眼球视线方向类别训练样本、指定行置前零后眼球视线方向类别置信度的变化量调整该眼球视线方向类别指定行对应扇形LBP算子的半径。
10.根据权利要求6所述的系统，其特征在于，所述眼球视线方向类别获取模块还用于训练用户指令信息分类网络，输入预测帧的眼球视线方向类别，输出用户指令信息；根据用户指令信息虚拟现实设备执行对应操作。
CN202111236669.7A 2021-10-23 2021-10-23 基于虚拟现实的眼球追踪方法和系统 Pending CN113971834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111236669.7A CN113971834A (zh) 2021-10-23 2021-10-23 基于虚拟现实的眼球追踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111236669.7A CN113971834A (zh) 2021-10-23 2021-10-23 基于虚拟现实的眼球追踪方法和系统

Publications (1)

Publication Number Publication Date
CN113971834A true CN113971834A (zh) 2022-01-25

Family

ID=79588078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111236669.7A Pending CN113971834A (zh) 2021-10-23 2021-10-23 基于虚拟现实的眼球追踪方法和系统

Country Status (1)

Country Link
CN (1) CN113971834A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523650A (zh) * 2024-01-04 2024-02-06 山东大学 基于旋转目标检测的眼球运动追踪方法及系统
CN117727087A (zh) * 2024-02-07 2024-03-19 浙江环玛信息科技有限公司 基于虚拟现实的视点校准方法、装置及认知推断系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523650A (zh) * 2024-01-04 2024-02-06 山东大学 基于旋转目标检测的眼球运动追踪方法及系统
CN117523650B (zh) * 2024-01-04 2024-04-02 山东大学 基于旋转目标检测的眼球运动追踪方法及系统
CN117727087A (zh) * 2024-02-07 2024-03-19 浙江环玛信息科技有限公司 基于虚拟现实的视点校准方法、装置及认知推断系统
CN117727087B (zh) * 2024-02-07 2024-05-03 浙江环玛信息科技有限公司 基于虚拟现实的视点校准方法、装置及认知推断系统

Similar Documents

Publication Publication Date Title
US20210073953A1 (en) Method for applying bokeh effect to image and recording medium
US11436437B2 (en) Three-dimension (3D) assisted personalized home object detection
CN111797716A (zh) 一种基于Siamese网络的单目标跟踪方法
CN109241910B (zh) 一种基于深度多特征融合级联回归的人脸关键点定位方法
CN110363116B (zh) 基于gld-gan的不规则人脸矫正方法、系统及介质
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
US20030146901A1 (en) Eye tracking using image data
CN113971834A (zh) 基于虚拟现实的眼球追踪方法和系统
WO2020125499A9 (zh) 一种操作提示方法及眼镜
CN109857254A (zh) 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质
Gupta et al. Real-time stereo matching using adaptive binary window
CN111489394B (zh) 物体姿态估计模型训练方法、系统、装置及介质
CN113592911B (zh) 表观增强深度目标跟踪方法
KR20220043847A (ko) 객체 포즈 추정 방법, 장치, 전자 장치 및 저장 매체
CN113705371B (zh) 一种水上视觉场景分割方法及装置
US20220270215A1 (en) Method for applying bokeh effect to video image and recording medium
US11321960B2 (en) Deep learning-based three-dimensional facial reconstruction system
CN117115210B (zh) 基于物联网的智慧农业监控调节方法
Xi et al. Anti-distractor active object tracking in 3D environments
CN115880720A (zh) 一种基于置信度分享的无标注场景自适应人体姿态和外形估计方法
CN116648733A (zh) 用于从面部图像提取颜色的方法和系统
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN114627272A (zh) 一种具有自适应透光性的门窗ar方法及系统
CN116805353B (zh) 跨行业通用的智能机器视觉感知方法
CN111080754B (zh) 一种头部肢体特征点连线的人物动画制作方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination