CN112306226A - 眼动跟踪方法、头戴式显示器以及计算机可读存储介质 - Google Patents

眼动跟踪方法、头戴式显示器以及计算机可读存储介质 Download PDF

Info

Publication number
CN112306226A
CN112306226A CN202010742399.6A CN202010742399A CN112306226A CN 112306226 A CN112306226 A CN 112306226A CN 202010742399 A CN202010742399 A CN 202010742399A CN 112306226 A CN112306226 A CN 112306226A
Authority
CN
China
Prior art keywords
eye
image
camera
specific
wearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010742399.6A
Other languages
English (en)
Other versions
CN112306226B (zh
Inventor
林咏真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN112306226A publication Critical patent/CN112306226A/zh
Application granted granted Critical
Publication of CN112306226B publication Critical patent/CN112306226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种眼动跟踪方法、一种头戴式显示器(HMD)以及一种计算机可读存储介质。方法包含：由第一摄像机捕获头戴式显示器的佩戴者的第一眼睛的第一眼睛图像；由第二摄像机捕获佩戴者的第一眼睛的第二眼睛图像；基于第一眼睛图像和第二眼睛图像构建第一眼睛的第一眼睛模型；由第一摄像机捕获佩戴者的第一眼睛的第一特定眼睛图像；获得第一特定眼睛图像中的多个第一特定眼睛特征点；基于第一眼睛模型和第一特定眼睛特征点识别佩戴者的第一眼睛的第一眼睛姿势。借此，本公开能够以新颖且低成本的方式执行眼动跟踪。

Description

眼动跟踪方法、头戴式显示器以及计算机可读存储介质
技术领域
本发明大体上涉及一种跟踪机制，具体地说，涉及一种眼动跟踪方法、一种头戴式显示器(head-mounted display，HMD)以及一种计算机可读存储介质。
背景技术
在诸多情形中(例如HMD)或在需要免持式控制的技术中，跟踪眼睛移动是有助益的。然而，大多数常规眼动跟踪技术需要通过使用深度摄像机取得深度信息来实施，这增加了实施方案的成本。
发明内容
因此，本发明涉及可用于解决以上技术问题的眼动跟踪方法、头戴式显示器(HMD)以及计算机可读存储介质。
在一个实施例中，本公开提供一种眼动跟踪方法，适用于具有第一摄像机和第二摄像机的头戴式显示器(HMD)，所述眼动跟踪方法包含：由第一摄像机捕获HMD的佩戴者的第一眼睛的第一眼睛图像；由第二摄像机捕获佩戴者的第一眼睛的第二眼睛图像；基于第一眼睛图像和第二眼睛图像构建第一眼睛的第一眼睛模型；由第一摄像机捕获佩戴者的第一眼睛的第一特定眼睛图像；获得第一特定眼睛图像中的多个第一特定眼睛特征点(landmark)；基于第一眼睛模型和第一特定眼睛特征点识别佩戴者的第一眼睛的第一眼睛姿势。
在一个实施例中，本公开提供一种眼动跟踪方法，适用于具有第一摄像机、第二摄像机以及第三摄像机的头戴式显示器(HMD)，所述眼动跟踪方法包含：由第一摄像机捕获HMD的佩戴者的第一眼睛的第一眼睛图像；由第二摄像机捕获佩戴者的第一眼睛的第二眼睛图像，其中第一摄像机和第二摄像机为HMD的前置摄像机，且在佩戴者佩戴HMD之前捕获第一眼睛图像和第二眼睛图像；基于第一眼睛图像和第二眼睛图像构建第一眼睛的第一眼睛模型；由第三摄像机捕获佩戴者的第一眼睛的第一特定眼睛图像，其中第三摄像机为HMD内部的眼睛摄像机以用于捕获第一眼睛的眼睛图像，且在佩戴者佩戴HMD之后捕获第一特定眼睛图像；获得第一特定眼睛图像中的多个第一特定眼睛特征点；基于第一眼睛模型和第一特定眼睛特征点识别佩戴者的第一眼睛的第一眼睛姿势。
在一个实施例中，本公开提供一种头戴式显示器(HMD)，所述头戴式显示器包含第一摄像机、第二摄像机、存储电路以及处理器。存储电路存储多个模块。处理器耦合到第一摄像机、第二摄像机以及存储电路，且对模块进行存取以执行以下步骤：控制第一摄像机捕获HMD的佩戴者的第一眼睛的第一眼睛图像；控制第二摄像机捕获佩戴者的第一眼睛的第二眼睛图像；基于第一眼睛图像和第二眼睛图像构建第一眼睛的第一眼睛模型；控制第一摄像机捕获佩戴者的第一眼睛的第一特定眼睛图像；获得第一特定眼睛图像中的多个第一特定眼睛特征点；基于第一眼睛模型和第一特定眼睛特征点识别佩戴者的第一眼睛的第一眼睛姿势。
在一个实施例中，本公开提供一种非暂时性计算机可读存储介质，记录待由包含第一摄像机和第二摄像机的头戴式显示器(HMD)加载的可执行计算机程序以执行以下步骤：由第一摄像机捕获HMD的佩戴者的第一眼睛的第一眼睛图像；由第二摄像机捕获佩戴者的第一眼睛的第二眼睛图像；基于第一眼睛图像和第二眼睛图像构建第一眼睛的第一眼睛模型；由第一摄像机捕获佩戴者的第一眼睛的第一特定眼睛图像；获得第一特定眼睛图像中的多个第一特定眼睛特征点；基于第一眼睛模型和第一特定眼睛特征点识别佩戴者的第一眼睛的第一眼睛姿势。
附图说明
包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。图式示出本发明的实施例，且与描述一起用于解释本发明的原理。
图1绘示根据本公开的一实施例的HMD的示意图。
图2绘示根据本公开的一实施例的眼动跟踪方法的流程图。
图3为示出根据本公开的第一实施例的眼动跟踪情形的示意图。
图4绘示根据本公开的一实施例的第一眼睛的第一眼睛特征点。
图5绘示根据本公开的一实施例的捕获第一特定眼睛图像的示意图。
图6为示出根据本公开的第二实施例的眼动跟踪情形的示意图。
附图标号说明
100：头戴式显示器；
102：存储电路；
104：处理器；
199：佩戴者；
311：第一眼睛；
312：第二眼睛；
EM1：第一眼睛图像；
EM2：第二眼睛图像；
S210、S220、S230、S240、S250、S260：步骤；
SM1：第一特定眼睛图像；
c1：第一摄像机；
c2：第二摄像机；
c3、c4：摄像机。
具体实施方式
现将详细地参考本发明的目前优选实施例，所述实施例的实例说明于附图中。只要有可能，相同附图标号在图式和描述中用以指代相同或相似部分。
参见图1，其绘示示出根据本公开的一实施例的HMD的示意图。在图1中，HMD 100包含第一摄像机c1、第二摄像机c2、存储电路102以及处理器104。
存储电路102为静止或移动随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存存储器、硬盘或任何其它类似装置中的一个或组合，且其记录可由处理器104执行的多个模块。
在一个实施例中，第一摄像机c1和第二摄像机c2可以是位于HMD 100内部的眼睛摄像机以用于捕获HMD的佩戴者的眼睛图像。为易于进行以下论述，可假定第一摄像机c1经设计为用于在HMD 100由佩戴者佩戴时捕获佩戴者的第一眼睛(例如右眼)的图像，且可假定第二摄像机c2经设计为用于在HMD 100由佩戴者佩戴时捕获佩戴者的第二眼睛(例如左眼)的图像，但本公开不限于此。
在各种实施例中，第一摄像机c1和第二摄像机c2可以是具有电荷耦合装置(chargecoupled device，CCD)透镜、互补金属氧化物半导体晶体管(complementary metal oxidesemiconductor transistor，CMOS)透镜或类似物的任何摄像机。
处理器104可与存储电路102、第一摄像机c1以及第二摄像机c2耦接，且处理器104可以是例如通用处理器、专用处理器、常规处理器、数字信号处理器(digital signalprocessor，DSP)、多个微处理器、与DSP核心相关联的一或多个微处理器、控制器、微控制器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)电路、任何其它类型的集成电路(integratedcircuit，IC)、状态机、基于ARM的处理器以及类似物。
在本公开的实施例中，处理器104可对存储在存储电路102中的模块进行存取以实施本公开中提供的眼动跟踪方法，在下文中将进一步论述所述眼动跟踪方法。
参见图2，其绘示根据本公开的一实施例的眼动跟踪方法的流程图。本实施例的方法可由图1中的HMD 100执行，且以下将辅以图1中绘示的组件描述图2中各步骤的细节。另外，为了更好地理解本公开的概念，将使用图3作为实例，其中图3为示出根据本公开的第一实施例的眼动跟踪情形的示意图。
在以下论述中，将阐述用于对第一眼睛执行眼动跟踪的机制，且可基于相同教示内容理解用于对第二眼睛执行眼动跟踪的机制。
具体来说，在步骤S210中，处理器104可控制第一摄像机c1捕获HMD100的佩戴者199的第一眼睛311的第一眼睛图像EM1。在步骤S220中，处理器104可控制第二摄像机c2捕获佩戴者199的第一眼睛311的第二眼睛图像EM2。也就是说，第一摄像机c1和第二摄像机c2均用于捕获同一眼睛(即，第一眼睛311)的眼睛图像。为了实施步骤S210和步骤S220，可在佩戴者199佩戴HMD 100之前捕获第一眼睛图像EM1和第二眼睛图像EM2。举例来说，佩戴者199可使HMD 100保持在他/她的脸部的前方，以使第一摄像机c1和第二摄像机c2分别捕获第一眼睛311的第一眼睛图像EM1和第二眼睛图像EM2，但本公开不限于此。
在一些其它实施例中，可利用可作为HMD 100的前置摄像机的摄像机c3和摄像机c4捕获第一眼睛图像EM1和第二眼睛图像EM2，而相关细节将在本公开的第二实施例中说明。
在取得第一眼睛图像EM1和第二眼睛图像EM2之后，处理器104可执行步骤S230以基于第一眼睛图像EM1和第二眼睛图像EM2构建第一眼睛311的第一眼睛模型。
在一个实施例中，处理器104可将第一眼睛图像EM1输入到2D眼睛特征点检测模型，其中2D眼睛特征点检测模型可响应于第一眼睛图像EM1而输出第一张量(tensor)，且第一张量可指示多个第一特征点中的每一个在第一眼睛图像EM1中的2D位置。在一个实施例中，2D眼睛特征点检测模型可以是针对获得所接收图像(例如第一眼睛图像EM1)中的眼睛特征点而预训练的卷积神经网络(convolutional neural network，CNN)。
在一个实施例中，第一张量可以是维度为WxHxC的矩阵，其中W可以是第一眼睛图像EM1的宽度，且H可以是第一眼睛图像EM1的高度。在一个实施例中，C可以是第一眼睛图像EM1中的第一特征点的预定数目，也可将其视为第一眼睛图像EM1中的通道的数目。也就是说，第一张量可视为包含C个通道，其中所述C个通道一对一地对应于上述第一特征点，且每一通道为WxH矩阵。
在一个实施例中，每一通道指示第一眼睛图像EM1中的对应第一特征点的概率分布。举例来说，对于第i个第一特征点，对应通道将包括具有最大值的某一矩阵元素，其中此矩阵元素在通道中的位置指示所述第i个第一特征点在第一眼睛图像EM1中的位置。
类似地，处理器104可将第二眼睛图像EM2输入到2D眼睛特征点检测模型，其中2D眼睛特征点检测模型响应于第二眼睛图像EM2而输出第二张量，第二张量指示多个第二特征点中的每一个在第二眼睛图像EM2中的2D位置。第二张量的细节可参考第一张量的论述，在此将不再重复。
在一个实施例中，前述第二特征点可一对一地对应于前述第一特征点。具体来说，第i个第二特征点和第i个第一特征点对应于第一眼睛311中的同一特征点。因此，第一张量中的第i个通道和第二张量中的第i个通道对应于第一眼睛311中的同一特征点。
在此情况下，处理器104可基于第一特征点、第二特征点以及第一摄像机c1和第二摄像机c2的多个摄像机几何参数而获得佩戴者199的第一眼睛311的多个第一眼睛特征点中的每一个的3D位置，且相应地构建第一眼睛311的第一眼睛模型。
在一个实施例中，第一摄像机c1和第二摄像机c2的摄像机几何参数可包含第一摄像机c1和第二摄像机c2的各种外部参数和内部参数，但本公开不限于此。
利用摄像机几何参数，可通过多视图几何中的三角测量方法获得第一眼睛311的多个第一眼睛特征点中的每一个的3D位置，且其细节可参考“Richard Hartley andAndrew Zisserman(2003).Multiple View Geometry in computer vision.CambridgeUniversity Press.ISBN 978-0-521-54051-3”，在此将不再重复。
参见图4，其绘示根据本公开的一实施例的第一眼睛的第一眼睛特征点。在图4中，第一眼睛311可标记有第一眼睛特征点(示出为空心圆圈)的预定数目(即，C)，且可使用每一第一眼睛特征点的3D位置，从而构建第一眼睛311的第一眼睛模型。在一个实施例中，第一眼睛模型可包含第一眼睛311的虹膜、瞳孔以及眼睑的物理尺寸，但本公开不限于此。
在获得第一眼睛311的第一眼睛模型之后，处理器104可执行步骤S240以控制第一摄像机c1捕获佩戴者199的第一眼睛311的第一特定眼睛图像。在一个实施例中，可在佩戴者199佩戴HMD 100之后捕获第一特定眼睛图像。
参见图5，其绘示根据本公开的一实施例的捕获第一特定眼睛图像的示意图。在图4中，假定佩戴者199已佩戴HMD 100，且因此第一摄像机c1可用于捕获第一眼睛311的第一特定眼睛图像SM1(正如第一摄像机c1的设计用途)。
接着，在步骤S250中，处理器104可获得第一特定眼睛图像SM1中的多个第一特定眼睛特征点(其可以是2D眼睛特征点)。在一个实施例中，处理器104可将第一特定眼睛图像SM1输入到2D眼睛特征点检测模型，其中2D眼睛特征点检测模型可响应于第一特定眼睛图像SM1而输出第一特定张量，且第一特定张量可指示第一特定眼睛特征点中的每一个在第一特定眼睛图像SM1中的2D位置。第一特定张量的细节可参考第一张量和第二张量的论述，在此将不再重复。
随后，在步骤S260中，处理器104可基于第一眼睛模型和第一特定眼睛特征点识别佩戴者199的第一眼睛311的第一眼睛姿势。在一个实施例中，处理器104可基于第一眼睛模型和第一特定眼睛特征点通过使用N点投影(Project N point，PNP)算法来取得每一第一特定眼睛特征点的3D位置。PNP算法的细节可参考相关技术文件，在此将不再重复。
接着，处理器104可基于各第一特定眼睛特征点的3D位置识别第一眼睛姿势。具体来说，处理器104可使用PNP算法来估计第一特定眼睛特征点(包含瞳孔、虹膜、眼睑)的位置、定向。在各种实施例中，瞳孔大小将在虹膜和眼睑保持不变的同时实时地变化，因此根据不变的大小特征估计距离，随后可根据第一特定眼睛图像SM1中捕获的椭圆形估计瞳孔大小，但本公开不限于此。
简单来说，本公开中提供的方法可视为包含两个阶段，其中第一阶段包含步骤S210到步骤S230，而第二阶段包含步骤S240到步骤S260。在第一阶段中，可基于在佩戴者199佩戴HMD 100之前捕获的第一眼睛图像EM1和第二眼睛图像EM2来构建第一眼睛311的第一眼睛模型。在第二阶段中，可基于第一眼睛模型以及在佩戴者199已佩戴HMD 100之后捕获的第一特定眼睛图像中找到第一特定眼睛特征点来识别第一眼睛311的第一眼睛姿势。在此情况下，可在没有任何深度信息的情况下构建第一眼睛311的第一眼睛模型，且因此不需要安装用于为执行眼动跟踪提供深度信息的任何深度摄像机。因此，本公开已提供一种执行眼动跟踪的新颖方式，且可减少实施眼动跟踪的成本。
在一个实施例中，为了对佩戴者199的第二眼睛312执行眼动跟踪，处理器104可经配置以：控制第一摄像机c1捕获HMD 100的佩戴者199的第二眼睛312的第三眼睛图像；控制第二摄像机c2捕获佩戴者199的第二眼睛312的第四眼睛图像。类似于第一眼睛图像EM1和第二眼睛图像EM2，第三眼睛图像和第四眼睛图像可在佩戴者199佩戴HMD 100之前所捕获。接着，处理器104可基于第三眼睛图像和第四眼睛图像构建第二眼睛312的第二眼睛模型，且其细节可参考与先前实施例中的第一阶段相关的教示内容，在此将不再重复。
随后，处理器104可控制第二摄像机c2捕获佩戴者199的第二眼睛312的第二特定眼睛图像，其中第二特定眼睛图像可在佩戴者199佩戴HMD 100之后所捕获。利用第二特定眼睛图像，处理器104可获得第二特定眼睛图像中的多个第二特定眼睛特征点，且基于第二眼睛模型和第二特定眼睛特征点识别佩戴者199的第二眼睛312的第二眼睛姿势。这些步骤的细节可参考与先前实施例中的第二阶段相关的教示内容，在此将不再重复。
在一些实施例中，由于第一眼睛图像EM1和第二眼睛图像EM2可在佩戴者199佩戴HMD 100之前所捕获，因此第一眼睛图像EM1和第二眼睛图像EM2可由HMD 100的前置摄像机捕获。
参见图6，其为示出根据本公开的第二实施例的眼动跟踪情形的示意图。具体来说，在第二实施例中，处理器104可经配置以：控制摄像机c3捕获HMD100的佩戴者199的第一眼睛311的第一眼睛图像EM1；以及控制摄像机c4捕获佩戴者199的第一眼睛311的第二眼睛图像EM2。类似于第一实施例，第一眼睛图像EM1和第二眼睛图像EM2可在佩戴者199佩戴HMD100之前所捕获。举例来说，佩戴者199可使HMD 100保持在他/她的脸部的前方，以使摄像机c3和摄像机c4分别捕获第一眼睛311的第一眼睛图像EM1和第二眼睛图像EM2，但本公开不限于此。利用第一眼睛图像EM1和第二眼睛图像EM2，处理器104可基于第一眼睛图像EM1和第二眼睛图像EM2构建第一眼睛311的第一眼睛模型，且其细节可参考与第一实施例中的第一阶段相关的教示内容，在此将不再重复。
在第二实施例中，在佩戴者199佩戴HMD 100之后，处理器104可控制第一摄像机c1捕获佩戴者的第一眼睛311的第一特定眼睛图像SM1，如图5所示。接着，处理器104可经配置以：获得第一特定眼睛图像SM1中的第一特定眼睛特征点；以及基于第一眼睛模型和第一特定眼睛特征点识别佩戴者199的第一眼睛311的第一眼睛姿势。相关细节可参考第一实施例中的第二阶段的教示内容，在此将不再重复。
另外，可基于上述教示内容识别第二眼睛312的第二眼睛姿势，在此将不再重复。
本公开进一步提供一种用于执行眼动跟踪方法的计算机可读存储介质。计算机可读存储介质由本文中实施的多个程序指令(例如设置程序指令和部署程序指令)构成。这些程序指令可加载到HMD 100中且由其执行以执行上文所描述的眼动跟踪方法和HMD 100的功能。
综上所述，在所提供方法的第一阶段中，可基于在佩戴者佩戴HMD之前捕获的眼睛图像构建所考虑的眼睛的眼睛模型。在所提供方法的第二阶段中，可基于眼睛模型以及在佩戴者已佩戴HMD之后捕获的特定眼睛图像中找到的特定眼睛特征点来识别所考虑的眼睛的眼睛姿势。利用上述两个阶段，可在没有任何深度信息的情况下构建所考虑的眼睛的眼睛模型，且因此不需要安装用于为执行眼动跟踪提供深度信息的任何深度摄像机。因此，本公开已提供一种执行眼动跟踪的新颖方式，且实施眼动跟踪的成本可减小。
将对本领域的技术人员显而易见的是，在不脱离本发明的范围或精神的情况下，可对本发明的结构作出各种修改和变化。鉴于前述内容，希望本发明涵盖对本发明的修改和变化，只要所述修改和变化落在所附权利要求书及其等效物的范围内。

Claims (16)

1.一种眼动跟踪方法，适用于具有第一摄像机和第二摄像机的头戴式显示器，包括：
由所述第一摄像机捕获所述头戴式显示器的佩戴者的第一眼睛的第一眼睛图像；
由所述第二摄像机捕获所述佩戴者的所述第一眼睛的第二眼睛图像；
基于所述第一眼睛图像和所述第二眼睛图像构建所述第一眼睛的第一眼睛模型；
由所述第一摄像机捕获所述佩戴者的所述第一眼睛的第一特定眼睛图像；
获得所述第一特定眼睛图像中的多个第一特定眼睛特征点；以及
基于所述第一眼睛模型和所述第一特定眼睛特征点识别所述佩戴者的所述第一眼睛的第一眼睛姿势。
2.根据权利要求1所述的眼动跟踪方法，其中所述第一眼睛图像和所述第二眼睛图像是在所述佩戴者佩戴所述头戴式显示器之前所捕获。
3.根据权利要求1所述的眼动跟踪方法，其中所述第一特定眼睛图像是在所述佩戴者佩戴所述头戴式显示器之后所捕获。
4.根据权利要求1所述的眼动跟踪方法，其中基于所述第一眼睛图像和所述第二眼睛图像构建所述第一眼睛的所述第一眼睛模型的步骤包括：
将所述第一眼睛图像输入到二维眼睛特征点检测模型，其中所述二维眼睛特征点检测模型响应于所述第一眼睛图像而输出第一张量，且所述第一张量指示多个第一特征点中的每一个在所述第一眼睛图像中的二维位置；
将所述第二眼睛图像输入到所述二维眼睛特征点检测模型，其中所述二维眼睛特征点检测模型响应于所述第二眼睛图像而输出第二张量，所述第二张量指示多个第二特征点中的每一个在所述第二眼睛图像中的二维位置，其中所述多个第二特征点一对一地对应于所述多个第一特征点；
基于所述多个第一特征点、所述多个第二特征点以及所述第一摄像机和所述第二摄像机的多个摄像机几何参数而获得所述佩戴者的所述第一眼睛的多个第一眼睛特征点中的每一个的三维位置，并据以构建所述第一眼睛的所述第一眼睛模型。
5.根据权利要求4所述的眼动跟踪方法，其中获得所述第一特定眼睛图像中的所述第一特定眼睛特征点的步骤包括：
将所述第一特定眼睛图像输入到所述二维眼睛特征点检测模型，其中所述二维眼睛特征点检测模型响应于所述第一特定眼睛图像而输出第一特定张量，且所述第一特定张量指示所述多个第一特定眼睛特征点中的每一个在所述第一特定眼睛图像中的二维位置。
6.根据权利要求1所述的眼动跟踪方法，其中所述第一特定眼睛图像中的各所述第一特定眼睛特征点为二维眼睛特征点。
7.根据权利要求1所述的眼动跟踪方法，其中基于所述第一眼睛模型和所述第一特定眼睛特征点识别所述佩戴者的所述第一眼睛的所述第一眼睛姿势的步骤包括：
基于所述第一眼睛模型和所述第一特定眼睛特征点通过使用N点投影(PNP)算法来取得各所述第一特定眼睛特征点的三维位置；
基于各所述第一特定眼睛特征点的所述三维位置识别所述第一眼睛姿势。
8.根据权利要求1所述的眼动跟踪方法，进一步包括：
由所述第一摄像机捕获所述头戴式显示器的所述佩戴者的第二眼睛的第三眼睛图像；
由所述第二摄像机捕获所述佩戴者的所述第二眼睛的第四眼睛图像，其中所述第三眼睛图像和所述第四眼睛图像是在所述佩戴者佩戴所述头戴式显示器之前所捕获；
基于所述第三眼睛图像和所述第四眼睛图像构建所述第二眼睛的第二眼睛模型；
由所述第二摄像机捕获所述佩戴者的所述第二眼睛的第二特定眼睛图像，其中所述第二特定眼睛图像是在所述佩戴者佩戴所述头戴式显示器之后所捕获；
获得所述第二特定眼睛图像中的多个第二特定眼睛特征点；
基于所述第二眼睛模型和所述第二特定眼睛特征点识别所述佩戴者的所述第二眼睛的第二眼睛姿势。
9.根据权利要求1所述的眼动跟踪方法，其中所述第一摄像机和所述第二摄像机为所述头戴式显示器内部的眼睛摄像机，所述第一摄像机用于捕获所述第一眼睛的眼睛图像，且所述第二摄像机用于捕获所述第二眼睛的眼睛图像。
10.一种眼动跟踪方法，适用于具有第一摄像机、第二摄像机以及第三摄像机的头戴式显示器，包括：
由所述第一摄像机捕获所述头戴式显示器的佩戴者的第一眼睛的第一眼睛图像；
由所述第二摄像机捕获所述佩戴者的所述第一眼睛的第二眼睛图像，其中所述第一摄像机和所述第二摄像机为所述头戴式显示器的前置摄像机，且所述第一眼睛图像和所述第二眼睛图像是在所述佩戴者佩戴所述头戴式显示器之前所捕获；
基于所述第一眼睛图像和所述第二眼睛图像构建所述第一眼睛的第一眼睛模型；
由所述第三摄像机捕获所述佩戴者的所述第一眼睛的第一特定眼睛图像，其中所述第三摄像机为所述头戴式显示器内部的眼睛摄像机以用于捕获所述第一眼睛的眼睛图像，且所述第一特定眼睛图像是在所述佩戴者佩戴所述头戴式显示器之后所捕获；
获得所述第一特定眼睛图像中的多个第一特定眼睛特征点；以及
基于所述第一眼睛模型和所述第一特定眼睛特征点识别所述佩戴者的所述第一眼睛的第一眼睛姿势。
11.一种头戴式显示器，包括：
第一摄像机；
第二摄像机；
存储电路，存储多个模块；以及
处理器，耦接到所述第一摄像机、所述第二摄像机以及所述存储电路，且对所述多个模块进行存取以执行以下步骤：
控制所述第一摄像机捕获所述头戴式显示器的佩戴者的第一眼睛的第一眼睛图像；
控制所述第二摄像机捕获所述佩戴者的所述第一眼睛的第二眼睛图像；
基于所述第一眼睛图像和所述第二眼睛图像构建所述第一眼睛的第一眼睛模型；
控制所述第一摄像机捕获所述佩戴者的所述第一眼睛的第一特定眼睛图像；
获得所述第一特定眼睛图像中的多个第一特定眼睛特征点；以及
基于所述第一眼睛模型和所述第一特定眼睛特征点识别所述佩戴者的所述第一眼睛的第一眼睛姿势。
12.根据权利要求11所述的头戴式显示器，其中所述处理器经配置以：
将所述第一眼睛图像输入到二维眼睛特征点检测模型，其中所述二维眼睛特征点检测模型响应于所述第一眼睛图像而输出第一张量，且所述第一张量指示多个第一特征点中的每一个在所述第一眼睛图像中的二维位置；
将所述第二眼睛图像输入到所述二维眼睛特征点检测模型，其中所述二维眼睛特征点检测模型响应于所述第二眼睛图像而输出第二张量，所述第二张量指示多个第二特征点中的每一个在所述第二眼睛图像中的二维位置，其中所述多个第二特征点一对一地对应于所述多个第一特征点；
基于所述多个第一特征点、所述多个第二特征点以及所述第一摄像机和所述第二摄像机的多个摄像机几何参数而获得所述佩戴者的所述第一眼睛的多个第一眼睛特征点中的每一个的三维位置，且据以构建所述第一眼睛的所述第一眼睛模型。
13.根据权利要求12所述的头戴式显示器，其中所述处理器经配置以：
将所述第一特定眼睛图像输入到所述二维眼睛特征点检测模型，其中所述二维眼睛特征点检测模型响应于所述第一特定眼睛图像而输出第一特定张量，且所述第一特定张量指示所述第一特定眼睛特征点中的每一个在所述第一特定眼睛图像中的二维位置。
14.根据权利要求11所述的头戴式显示器，其中处理器配置成：
基于所述第一眼睛模型和所述第一特定眼睛特征点通过使用N点投影(PNP)算法来取得各所述第一特定眼睛特征点的三维位置；
基于各所述第一特定眼睛特征点的所述三维位置识别所述第一眼睛姿势。
15.根据权利要求11所述的头戴式显示器，其中所述第一摄像机和所述第二摄像机为所述头戴式显示器内部的眼睛摄像机，所述第一摄像机用于捕获所述第一眼睛的眼睛图像，且所述第二摄像机用于捕获所述第二眼睛的眼睛图像。
16.一种计算机可读存储介质，记录待由包括第一摄像机和第二摄像机的头戴式显示器(HMD)加载的可执行计算机程序以执行以下步骤：
由所述第一摄像机捕获所述头戴式显示器的佩戴者的第一眼睛的第一眼睛图像；
由所述第二摄像机捕获所述佩戴者的所述第一眼睛的第二眼睛图像；
基于所述第一眼睛图像和所述第二眼睛图像构建所述第一眼睛的第一眼睛模型；
由所述第一摄像机捕获所述佩戴者的所述第一眼睛的第一特定眼睛图像；
获得所述第一特定眼睛图像中的多个第一特定眼睛特征点；以及
基于所述第一眼睛模型和所述第一特定眼睛特征点识别所述佩戴者的所述第一眼睛的第一眼睛姿势。
CN202010742399.6A 2019-07-29 2020-07-29 眼动跟踪方法、头戴式显示器以及计算机可读存储介质 Active CN112306226B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962879639P 2019-07-29 2019-07-29
US62/879,639 2019-07-29

Publications (2)

Publication Number Publication Date
CN112306226A true CN112306226A (zh) 2021-02-02
CN112306226B CN112306226B (zh) 2024-02-23

Family

ID=71842562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010742399.6A Active CN112306226B (zh) 2019-07-29 2020-07-29 眼动跟踪方法、头戴式显示器以及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11372477B2 (zh)
EP (1) EP3786767B1 (zh)
CN (1) CN112306226B (zh)
TW (1) TWI739531B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2628387A1 (en) * 1999-10-21 2001-04-26 Technolas Gmbh Ophthalmologische Systeme Iris recognition and tracking for optical treatment
US20130154918A1 (en) * 2011-12-20 2013-06-20 Benjamin Isaac Vaught Enhanced user eye gaze estimation
CN103748599A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于测量头部、眼睛、眼睑和瞳孔的反应的系统和方法
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US20140289808A1 (en) * 2013-03-22 2014-09-25 William J. Blanke System and method for collecting and utilizing client data for risk assessment during authentication
CN106793942A (zh) * 2014-02-10 2017-05-31 华柏恩视觉诊断公司 用于测量眼球运动和瞳孔反应的系统、方法和设备
US20180096503A1 (en) * 2016-10-05 2018-04-05 Magic Leap, Inc. Periocular test for mixed reality calibration
US20180157045A1 (en) * 2016-12-06 2018-06-07 Google Llc Ocular Video Stabilization
CN108345844A (zh) * 2018-01-26 2018-07-31 上海歌尔泰克机器人有限公司 控制无人机拍摄的方法及装置、虚拟现实设备及系统
CN108475109A (zh) * 2015-12-28 2018-08-31 奥特逻科集团 眼睛姿态跟踪
CN108476311A (zh) * 2015-11-04 2018-08-31 奇跃公司 基于眼睛追踪的动态显示校准
CN108960937A (zh) * 2018-08-10 2018-12-07 陈涛 Ar智能眼镜的应用基于眼动追踪技术的广告推送方法
DE102018123048A1 (de) * 2017-10-19 2019-04-25 Intel Corporation Dreidimensionale brillenfreie Lichtfeldanzeigevorrichtung mit Augenposition
CN109816013A (zh) * 2019-01-17 2019-05-28 陆宇佳 基于眼动追踪进行图像样本快速获取装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3414929A4 (en) 2016-02-10 2019-12-25 Mefon Ventures Inc. AUTHENTICATION OR REGISTRATION OF WEARABLE DEVICE USERS USING BIOMETRICS

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2628387A1 (en) * 1999-10-21 2001-04-26 Technolas Gmbh Ophthalmologische Systeme Iris recognition and tracking for optical treatment
CN103748599A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于测量头部、眼睛、眼睑和瞳孔的反应的系统和方法
US20130154918A1 (en) * 2011-12-20 2013-06-20 Benjamin Isaac Vaught Enhanced user eye gaze estimation
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US20140289808A1 (en) * 2013-03-22 2014-09-25 William J. Blanke System and method for collecting and utilizing client data for risk assessment during authentication
CN106793942A (zh) * 2014-02-10 2017-05-31 华柏恩视觉诊断公司 用于测量眼球运动和瞳孔反应的系统、方法和设备
CN108476311A (zh) * 2015-11-04 2018-08-31 奇跃公司 基于眼睛追踪的动态显示校准
CN108475109A (zh) * 2015-12-28 2018-08-31 奥特逻科集团 眼睛姿态跟踪
US20180096503A1 (en) * 2016-10-05 2018-04-05 Magic Leap, Inc. Periocular test for mixed reality calibration
US20180157045A1 (en) * 2016-12-06 2018-06-07 Google Llc Ocular Video Stabilization
DE102018123048A1 (de) * 2017-10-19 2019-04-25 Intel Corporation Dreidimensionale brillenfreie Lichtfeldanzeigevorrichtung mit Augenposition
CN108345844A (zh) * 2018-01-26 2018-07-31 上海歌尔泰克机器人有限公司 控制无人机拍摄的方法及装置、虚拟现实设备及系统
CN108960937A (zh) * 2018-08-10 2018-12-07 陈涛 Ar智能眼镜的应用基于眼动追踪技术的广告推送方法
CN109816013A (zh) * 2019-01-17 2019-05-28 陆宇佳 基于眼动追踪进行图像样本快速获取装置及方法

Also Published As

Publication number Publication date
US20210034149A1 (en) 2021-02-04
TW202104979A (zh) 2021-02-01
EP3786767B1 (en) 2023-11-08
US11372477B2 (en) 2022-06-28
TWI739531B (zh) 2021-09-11
EP3786767A1 (en) 2021-03-03
CN112306226B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
US10455141B2 (en) Auto-focus method and apparatus and electronic device
US10269130B2 (en) Methods and apparatus for control of light field capture object distance adjustment range via adjusting bending degree of sensor imaging zone
JP6844038B2 (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
US10872420B2 (en) Electronic device and method for automatic human segmentation in image
US10516877B2 (en) Light field collection control methods and apparatuses, light field collection devices
WO2016065991A1 (en) Methods and apparatus for controlling light field capture
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
CN104363377B (zh) 对焦框的显示方法、装置及终端
CN112529951A (zh) 扩展景深图像的获取方法、装置及电子设备
CN104363378A (zh) 相机对焦方法、装置及终端
CN105933589A (zh) 一种图像处理方法及终端
CN108702457B (zh) 用于自动图像校正的方法、装置和计算机可读存储媒体
CN105812649B (zh) 一种摄像方法和装置
US10298835B2 (en) Image control methods and apparatuses, and imaging devices with control of deformation of image sensor
CN111563924B (zh) 图像深度确定方法及活体识别方法、电路、设备和介质
US8929685B2 (en) Device having image reconstructing function, method, and recording medium
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
WO2014008320A1 (en) Systems and methods for capture and display of flex-focus panoramas
CN110731076A (zh) 一种拍摄处理方法、设备及存储介质
CN112306226B (zh) 眼动跟踪方法、头戴式显示器以及计算机可读存储介质
JP5900017B2 (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
JP2013195577A (ja) 撮像装置、撮像方法及びプログラム
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
JP2017198996A (ja) 撮像装置、撮像方法及びプログラム
CN109196851B (zh) 基于光流的自动聚焦

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant