CN115100727A - 数据驱动的戴镜视线估计方法及装置 - Google Patents

数据驱动的戴镜视线估计方法及装置 Download PDF

Info

Publication number
CN115100727A
CN115100727A CN202210494729.3A CN202210494729A CN115100727A CN 115100727 A CN115100727 A CN 115100727A CN 202210494729 A CN202210494729 A CN 202210494729A CN 115100727 A CN115100727 A CN 115100727A
Authority
CN
China
Prior art keywords
glasses
user
actual
wearing
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210494729.3A
Other languages
English (en)
Inventor
徐枫
吕军锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210494729.3A priority Critical patent/CN115100727A/zh
Publication of CN115100727A publication Critical patent/CN115100727A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种数据驱动的戴镜视线估计方法及装置，其中，方法包括：检测用户是否满足戴镜条件；在检测到用户满足戴镜条件时，获取用户的实际眼镜度数；根据实际眼镜度数计算对应的戴镜视线误差，并根据戴镜视线误差修正用户的视线估计值，得到用户的实际视线估计值。由此，解决了相关技术基于外观的视线估计法，不适用于戴镜条件，易受镜片干扰，导致视线估计结果存在误差的技术问题。

Description

数据驱动的戴镜视线估计方法及装置
技术领域
本申请涉及计算机视觉、计算机图形学技术领域，特别涉及一种数据驱动的戴镜视线估计方法及装置。
背景技术
视线估计在虚拟现实和增强现实等领域有诸多应用。例如，可以让用户通过视线的变化与应用进行交互，省去了外接控制设备的不便，另外，还可以根据用户的视线方向动态地分配计算资源，对用户视野内的场景进行精细渲染，对视野外的场景进行模糊渲染，从而提高计算资源的利用率，以便于降低相关应用的硬件门槛。
相关技术中，如基于外观的视线估计法，通过将人脸眼部区域的图像信息和头部姿态输入至计算机，计算得到其相机坐标系下的视线方向，以人脸眼部区域的外观为线索，利用其中的眼球特征进行眼球旋转估计，再结合头部姿态得到最终的视线估计结果。
然而，相关技术中，在戴镜条件下，人眼注视相同方向的旋转量会因为镜片的折射效应产生变化，进而“欺骗”计算机，使得视线估计结果存在误差，造成视线估计始终存在一定偏差，有待改善。
发明内容
本申请提供一种数据驱动的戴镜视线估计方法及装置，以解决相关技术基于外观的视线估计法，不适用于戴镜条件，易受镜片干扰，导致视线估计结果存在误差的技术问题。
本申请第一方面实施例提供一种数据驱动的戴镜视线估计方法，包括以下步骤：检测用户是否满足戴镜条件；在检测到所述用户满足所述戴镜条件时，获取所述用户的实际眼镜度数；根据所述实际眼镜度数计算对应的戴镜视线误差，并根据所述戴镜视线误差修正所述用户的视线估计值，得到所述用户的实际视线估计值。
可选地，在本申请的一个实施例中，在根据所述戴镜视线误差修正所述用户的视线估计值之前，还包括：采集所述用户的当前眼部区域图像；获取所述用户的实际头部姿态。
可选地，在本申请的一个实施例中，所述根据所述实际眼镜度数计算对应的戴镜视线误差，并根据所述戴镜视线误差修正所述用户的视线估计值，得到所述用户的实际视线估计值，包括：基于预先构建的视线估计模型，根据眼镜度数与眼部区域图像及头部姿态之间的映射关系，得到所述实际眼镜度数对应的实际视线估计值。
可选地，在本申请的一个实施例中，在得到所述用户的实际视线估计值之前，还包括：获取学习用户的戴镜图像与不戴镜图像，并获取对应的头部姿态、视线方向、眼镜度数的真实标签，生成数据集；基于所述戴镜图像与所述不戴镜图像进行人脸图像裁剪，分别得到第一人脸眼部区域图像和第二人脸眼部区域图像；利用所述第一人脸眼部区域图像和第二人脸眼部区域图像和所述数据集，得到所述映射关系。
可选地，在本申请的一个实施例中，还包括：在检测到所述用户未满足所述戴镜条件时，根据所述当前眼部区域图像和所述实际头部姿态计算所述实际视线估计值。
本申请第二方面实施例提供一种数据驱动的戴镜视线估计装置，包括：检测模块，用于检测用户是否满足戴镜条件；度数获取模块，用于在检测到所述用户满足所述戴镜条件时，获取所述用户的实际眼镜度数；估计模块，用于根据所述实际眼镜度数计算对应的戴镜视线误差，并根据所述戴镜视线误差修正所述用户的视线估计值，得到所述用户的实际视线估计值。
可选地，在本申请的一个实施例中，还包括：采集模块，用于采集所述用户的当前眼部区域图像；姿态获取模块，用于获取所述用户的实际头部姿态。
可选地，在本申请的一个实施例中，所述估计模块进一步用于，基于预先构建的视线估计模型，根据眼镜度数与眼部区域图像及头部姿态之间的映射关系，得到所述实际眼镜度数对应的实际视线估计值。
可选地，在本申请的一个实施例中，还包括：生成模块，用于获取学习用户的戴镜图像与不戴镜图像，并获取对应的头部姿态、视线方向、眼镜度数的真实标签，生成数据集；裁剪模块，用于基于所述戴镜图像与所述不戴镜图像进行人脸图像裁剪，分别得到第一人脸眼部区域图像和第二人脸眼部区域图像；映射模块，用于利用所述第一人脸眼部区域图像和第二人脸眼部区域图像和所述数据集，得到所述映射关系。
可选地，在本申请的一个实施例中，还包括：计算模块，用于在检测到所述用户未满足所述戴镜条件时，根据所述当前眼部区域图像和所述实际头部姿态计算所述实际视线估计值。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的数据驱动的戴镜视线估计方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的数据驱动的戴镜视线估计方法。
本申请实施例可以在用户佩戴眼镜时，根据用户的实际眼镜度数，对用户的视线估计值进行修正，得到用户佩戴眼镜时的实际视线估计值，可以提高戴镜条件下视线估计的准确度，且只需额外输入眼镜度数，简单易实现，便于推广。由此，解决了相关技术基于外观的视线估计法，不适用于戴镜条件，易受镜片干扰，导致视线估计结果存在误差的技术问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种数据驱动的戴镜视线估计方法的流程图；
图2为根据本申请一个实施例的数据驱动的戴镜视线估计方法的流程图；
图3为根据本申请实施例提供的一种数据驱动的戴镜视线估计装置的结构示意图；
图4为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的数据驱动的戴镜视线估计方法及装置。针对上述背景技术中心提到的相关技术基于外观的视线估计法，不适用于戴镜条件，易受镜片干扰，导致视线估计结果存在误差的技术问题，本申请提供了一种数据驱动的戴镜视线估计方法，在该方法中，可以在用户佩戴眼镜时，根据用户的实际眼镜度数，对用户的视线估计值进行修正，得到用户佩戴眼镜时的实际视线估计值，可以提高戴镜条件下视线估计的准确度，且只需额外输入眼镜度数，简单易实现，便于推广。由此，解决了相关技术基于外观的视线估计法，不适用于戴镜条件，易受镜片干扰，导致视线估计结果存在误差的技术问题。
具体而言，图1为本申请实施例所提供的一种数据驱动的戴镜视线估计方法的流程示意图。
如图1所示，该数据驱动的戴镜视线估计方法包括以下步骤：
在步骤S101中，检测用户是否满足戴镜条件。
在实际执行过程中，检测用户是否佩戴眼镜的方式可以有很多种，例如本申请实施例可以获取用户的人脸图像，并根据人脸图像判断用户是否满足戴镜条件，也可以通过用户自行选择是否佩戴眼镜，判断用户是否满足戴镜条件，便于后续对戴镜视线估计进行修正，从而获得用户实际的视线估计值。
在步骤S102中，在检测到用户满足戴镜条件时，获取用户的实际眼镜度数。
作为一种可能实现的方式，本申请实施例在检测到用户满足戴镜条件时，可以进一步获取用户的实际眼镜度数，其中，用户的实际眼镜度数可以由用户根据自己的实际情况进行输入，也可以通过外接镜片度数检测装置进行检测，并将数值导入至本申请实施例中，便于后续根据镜片度数计算视线误差，进而对戴镜视线估计值进行修正，以获得用户实际的视线估计值。
在步骤S103中，根据实际眼镜度数计算对应的戴镜视线误差，并根据戴镜视线误差修正用户的视线估计值，得到用户的实际视线估计值。
在实际执行过程中，本申请实施例可以对满足戴镜条件的用户进行初步的视线估计，获得初始视线估计值，并根据获取的实际眼镜度数，计算出对应的戴镜视线误差，进而根据戴镜视线误差对用户的初始视线估计值进行修正，以获得用户的实际视线估计值，可以提高戴镜条件下视线估计的准确度，且只需额外输入眼镜度数，额外成本较低，便于推广。
可选地，在本申请的一个实施例中，在根据戴镜视线误差修正用户的视线估计值之前，还包括：采集用户的当前眼部区域图像；获取用户的实际头部姿态。
可以理解的是，用户实际头部姿态的不同，对视线估计的影响不同，因此，本申请实施例在采集用户人脸图像后，在对人脸图像进行剪裁获取人脸眼部区域图像外，还需获取用户对应的实际头部姿态，进而保证用户实际视线估计值的准确性。
可选地，在本申请的一个实施例中，根据实际眼镜度数计算对应的戴镜视线误差，并根据戴镜视线误差修正用户的视线估计值，得到用户的实际视线估计值，包括：基于预先构建的视线估计模型，根据眼镜度数与眼部区域图像及头部姿态之间的映射关系，得到实际眼镜度数对应的实际视线估计值。
在实际执行过程中，本申请实施例可以基于预先构建的视线估计模型，根据输入的人脸眼部区域图像和头部姿态信息，获得初始视线估计值，进而根据输入的眼镜度数和眼部区域图像及头部姿态之间的映射关系，获得实际眼镜度数对应的实际视线估计值。获取用户的实际眼镜度数，进而计算对应的视线误差，从而对用户的视线估计值进行修正，得到用户的实际视线估计值，可以提高戴镜条件下视线估计的准确度。
需要注意的是，预先构建的视线估计模型会在下文进行详细阐述。
可选地，在本申请的一个实施例中，在得到用户的实际视线估计值之前，还包括：获取学习用户的戴镜图像与不戴镜图像，并获取对应的头部姿态、视线方向、眼镜度数的真实标签，生成数据集；基于戴镜图像与不戴镜图像进行人脸图像裁剪，分别得到第一人脸眼部区域图像和第二人脸眼部区域图像；利用第一人脸眼部区域图像和第二人脸眼部区域图像和数据集，得到映射关系。
在此，对视线估计模型进行详细阐述。
具体而言，本申请实施例可以采集同一学习用户的戴镜和不戴镜图像，以及对应的头部姿态、实现方向和眼镜度数的真实标签，以生产数据集，排除不同人之前的个体差异，保证变量只有眼镜，利于神经网络准确地学习到眼镜带来的影响，并分别对戴镜图像和不戴镜图像进行人脸图像剪裁，分别得到第一人脸眼部区域图像和第二人脸眼部区域图像，进一步利用神经网络，得到映射关系，使通过第一人脸眼部区域图像、第二人脸眼部区域图像、头部姿态和对应的眼镜度数，输出的视线估计与视线方向的真实标签相接近。其中，对应的眼镜度数标签能够让神经网络学习到误差影响与眼镜度数间的映射关系。
可以理解的是，相关技术中视线估计需要输入眼部区域图像和头部姿态信息，本申请实施例可以在此基础上输入眼镜度数，通过神经网络学习到的映射关系，自动修正因眼镜产生的视线估计偏差，从而获得准确度更高的视线估计值，由于眼镜对光的折射效果非常复杂，直接建模比较困难，通过神经网络就可以用数据驱动的方式学习到眼镜的影响与各项变量之间的映射关系。
可选地，在本申请的一个实施例中，还包括：在检测到用户未满足戴镜条件时，根据当前眼部区域图像和实际头部姿态计算实际视线估计值。
在实际执行过程中，本申请实施例可以通过人脸图像检测或用户选择是否佩戴眼镜进行检测，并在检测到用户未满足戴镜条件时，可以直接根据当前眼部区域图像和实际头部姿态，计算获得实际的视线估计值，无需进行修正，使得本申请实施例在可以进行戴镜估计的同时，兼容不戴镜的视线估计，泛用性更高。
下面结合图2所示，以一个具体实施例对本申请实施例的数据驱动的戴镜视线估计方法的工作原理进行详细阐述。
如图2所示，本申请实施例包括以下步骤：
步骤S201：训练视线估计模型。具体地，训练视线估计模型可以包括以下步骤：
1、准备数据集，其中，数据集可以包含同一个人戴镜与不戴镜的图像，以及对应的头部姿态、视线方向、眼镜度数的真实标签。
2、对人脸图像进行裁剪，得到人脸眼部区域的图像。
3、输入眼部区域图像、头部姿态、眼镜度数，并要求视线估计模型输出结果与视线方向的真实标签相接近，形成映射关系。
步骤S202：输入用户信息。本申请实施例可以采集用户图像，并在用户戴镜的前提下，获取用户的眼镜度数，进而获得并输入用户的人脸眼部区域图像、头部姿态和眼镜度数。
步骤S203：获得初始视线估计值。本申请实施例可以利用用户眼部区域的图像和头部姿态信息得到一个粗略的视线结果，即初始实现估计值。
步骤S204：利用视线估计模型获得实际视线估计值。进一步地，本申请实施例可以在上述步骤的基础上，根据输入的眼镜度数和学习到的映射关系，得到实际的视线估计值。
在实际执行过程中，本申请实施例可以在检测到用户未满足戴镜条件时，根据当前眼部区域图像和实际头部姿态计算实际视线估计值。
根据本申请实施例提出的数据驱动的戴镜视线估计方法，可以在用户佩戴眼镜时，根据用户的实际眼镜度数，对用户的视线估计值进行修正，得到用户佩戴眼镜时的实际视线估计值，可以提高戴镜条件下视线估计的准确度，且只需额外输入眼镜度数，简单易实现，便于推广。由此，解决了相关技术基于外观的视线估计法，不适用于戴镜条件，易受镜片干扰，导致视线估计结果存在误差的技术问题。
其次参照附图描述根据本申请实施例提出的数据驱动的戴镜视线估计装置。
图3是本申请实施例的数据驱动的戴镜视线估计装置的方框示意图。
如图3所示，该数据驱动的戴镜视线估计装置10包括：检测模块100、度数获取模块200和估计模块300。
具体地，检测模块100，用于检测用户是否满足戴镜条件。
度数获取模块200，用于在检测到用户满足戴镜条件时，获取用户的实际眼镜度数。
估计模块300，用于根据实际眼镜度数计算对应的戴镜视线误差，并根据戴镜视线误差修正用户的视线估计值，得到用户的实际视线估计值。
可选地，在本申请的一个实施例中，数据驱动的戴镜视线估计装置10还包括：采集模块。
其中，采集模块，用于采集用户的当前眼部区域图像；姿态获取模块，用于获取用户的实际头部姿态。
可选地，在本申请的一个实施例中，估计模块300进一步用于，基于预先构建的视线估计模型，根据眼镜度数与眼部区域图像及头部姿态之间的映射关系，得到实际眼镜度数对应的实际视线估计值。
可选地，在本申请的一个实施例中，数据驱动的戴镜视线估计装置10还包括：生成模块、裁剪模块和映射模块。
其中，生成模块，用于获取学习用户的戴镜图像与不戴镜图像，并获取对应的头部姿态、视线方向、眼镜度数的真实标签，生成数据集。
裁剪模块，用于基于戴镜图像与不戴镜图像进行人脸图像裁剪，分别得到第一人脸眼部区域图像和第二人脸眼部区域图像。
映射模块，用于利用第一人脸眼部区域图像和第二人脸眼部区域图像和数据集，得到映射关系。
可选地，在本申请的一个实施例中，数据驱动的戴镜视线估计装置10还包括：计算模块。
其中，计算模块，用于在检测到用户未满足戴镜条件时，根据当前眼部区域图像和实际头部姿态计算实际视线估计值。
需要说明的是，前述对数据驱动的戴镜视线估计方法实施例的解释说明也适用于该实施例的数据驱动的戴镜视线估计装置，此处不再赘述。
根据本申请实施例提出的数据驱动的戴镜视线估计装置，可以在用户佩戴眼镜时，根据用户的实际眼镜度数，对用户的视线估计值进行修正，得到用户佩戴眼镜时的实际视线估计值，可以提高戴镜条件下视线估计的准确度，且只需额外输入眼镜度数，简单易实现，便于推广。由此，解决了相关技术基于外观的视线估计法，不适用于戴镜条件，易受镜片干扰，导致视线估计结果存在误差的技术问题。
图4为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
处理器402执行程序时实现上述实施例中提供的数据驱动的戴镜视线估计方法。
进一步地，电子设备还包括：
通信接口403，用于存储器401和处理器402之间的通信。
存储器401，用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的数据驱动的戴镜视线估计方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种数据驱动的戴镜视线估计方法，其特征在于，包括以下步骤：
检测用户是否满足戴镜条件；
在检测到所述用户满足所述戴镜条件时，获取所述用户的实际眼镜度数；
根据所述实际眼镜度数计算对应的戴镜视线误差，并根据所述戴镜视线误差修正所述用户的视线估计值，得到所述用户的实际视线估计值。
2.根据权利要求1所述的方法，其特征在于，在根据所述戴镜视线误差修正所述用户的视线估计值之前，还包括：
采集所述用户的当前眼部区域图像；
获取所述用户的实际头部姿态。
3.根据权利要求2所述的方法，其特征在于，所述根据所述实际眼镜度数计算对应的戴镜视线误差，并根据所述戴镜视线误差修正所述用户的视线估计值，得到所述用户的实际视线估计值，包括：
基于预先构建的视线估计模型，根据眼镜度数与眼部区域图像及头部姿态之间的映射关系，得到所述实际眼镜度数对应的实际视线估计值。
4.根据权利要求3所述的方法，其特征在于，在得到所述用户的实际视线估计值之前，还包括：
获取学习用户的戴镜图像与不戴镜图像，并获取对应的头部姿态、视线方向、眼镜度数的真实标签，生成数据集；
基于所述戴镜图像与所述不戴镜图像进行人脸图像裁剪，分别得到第一人脸眼部区域图像和第二人脸眼部区域图像；
利用所述第一人脸眼部区域图像和第二人脸眼部区域图像和所述数据集，得到所述映射关系。
5.根据权利要求2所述的方法，其特征在于，还包括：
在检测到所述用户未满足所述戴镜条件时，根据所述当前眼部区域图像和所述实际头部姿态计算所述实际视线估计值。
6.一种数据驱动的戴镜视线估计装置，其特征在于，包括：
检测模块，用于检测用户是否满足戴镜条件；
度数获取模块，用于在检测到所述用户满足所述戴镜条件时，获取所述用户的实际眼镜度数；
估计模块，用于根据所述实际眼镜度数计算对应的戴镜视线误差，并根据所述戴镜视线误差修正所述用户的视线估计值，得到所述用户的实际视线估计值。
7.根据权利要求6所述的装置，其特征在于，还包括：
采集模块，用于采集所述用户的当前眼部区域图像；
姿态获取模块，用于获取所述用户的实际头部姿态。
8.根据权利要求7所述的装置，其特征在于，所述估计模块进一步用于，基于预先构建的视线估计模型，根据眼镜度数与眼部区域图像及头部姿态之间的映射关系，得到所述实际眼镜度数对应的实际视线估计值。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的数据驱动的戴镜视线估计方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的数据驱动的戴镜视线估计方法。
CN202210494729.3A 2022-05-07 2022-05-07 数据驱动的戴镜视线估计方法及装置 Pending CN115100727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210494729.3A CN115100727A (zh) 2022-05-07 2022-05-07 数据驱动的戴镜视线估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210494729.3A CN115100727A (zh) 2022-05-07 2022-05-07 数据驱动的戴镜视线估计方法及装置

Publications (1)

Publication Number Publication Date
CN115100727A true CN115100727A (zh) 2022-09-23

Family

ID=83287708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210494729.3A Pending CN115100727A (zh) 2022-05-07 2022-05-07 数据驱动的戴镜视线估计方法及装置

Country Status (1)

Country Link
CN (1) CN115100727A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150293381A1 (en) * 2012-09-19 2015-10-15 Nikon Corporation Line of sight information correction device, line of sight information correction method, line of sight information detection device, line of sight information detection method, spectacle lens design method, spectacle lens manufacturing method, spectacle lens selection device, spectacle lens selection method, line of sight tracking result evaluation device, visual ability notification method, program, recording medium, spectacle lens, measuring system and measurng method
US20190025912A1 (en) * 2016-04-12 2019-01-24 Panasonic Intellectual Property Management Co., Ltd. Eye tracking device and eye tracking method
CN112183160A (zh) * 2019-07-04 2021-01-05 北京七鑫易维科技有限公司 视线估计方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150293381A1 (en) * 2012-09-19 2015-10-15 Nikon Corporation Line of sight information correction device, line of sight information correction method, line of sight information detection device, line of sight information detection method, spectacle lens design method, spectacle lens manufacturing method, spectacle lens selection device, spectacle lens selection method, line of sight tracking result evaluation device, visual ability notification method, program, recording medium, spectacle lens, measuring system and measurng method
US20190025912A1 (en) * 2016-04-12 2019-01-24 Panasonic Intellectual Property Management Co., Ltd. Eye tracking device and eye tracking method
CN112183160A (zh) * 2019-07-04 2021-01-05 北京七鑫易维科技有限公司 视线估计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THOMAS C. KUBLER等: "Rendering refraction and reflection of eyeglasses for synthetic eye tracker images", ARXIV:1511.07299V2, HTTPS://ARXIV.ORG/ABS/1511.07299, 24 November 2015 (2015-11-24) *

Similar Documents

Publication Publication Date Title
US9291834B2 (en) System for the measurement of the interpupillary distance using a device equipped with a display and a camera
Nitschke et al. Corneal imaging revisited: An overview of corneal reflection analysis and applications
CN110913751B (zh) 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
WO2015105689A1 (en) Mapping glints to light sources
CN110619303A (zh) 注视点追踪方法、装置、终端及计算机可读存储介质
CN109840019A (zh) 虚拟人物的控制方法、装置及存储介质
Sun et al. Real-time gaze estimation with online calibration
US20220269341A1 (en) Sight positioning method, head-mounted display device, computer device and computer-readable storage medium
CN107833263A (zh) 面部跟踪方法及装置
CN113743254B (zh) 视线估计方法、装置、电子设备及存储介质
CN109710371A (zh) 字体调节方法、装置及系统
CN115100727A (zh) 数据驱动的戴镜视线估计方法及装置
CN113822174B (zh) 视线估计的方法、电子设备及存储介质
CN112181128A (zh) 具有计算资源自适应的视线估计方法及装置
US12008711B2 (en) Determining display gazability and placement of virtual try-on glasses using optometric measurements
CN112051920A (zh) 视线落点确定方法和装置
CN113413134B (zh) 疲劳识别方法、装置、电子设备及存储介质
CN113132642B (zh) 图像显示的方法及装置、电子设备
CN111401223B (zh) 一种脸型对比方法、装置及设备
CN111308697B (zh) 适应性视线追踪的校正方法
EP3739376A1 (en) Image forming device, eyeglass lens selection system, image forming method, and program
CN111198611A (zh) 确定视线落点的方法、终端以及计算机可读存储介质
CN117873309A (zh) 眼动追踪方法、装置、头戴显示设备及存储介质
WO2019074868A1 (en) SYSTEMS AND METHODS FOR CALIBRATING AN EYE MONITORING SYSTEM
CN117809358B (zh) 一种眼球自转角度的确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination