CN106575162B - 促成计算设备上基于动态眼睛扭转的眼睛跟踪 - Google Patents

促成计算设备上基于动态眼睛扭转的眼睛跟踪 Download PDF

Info

Publication number
CN106575162B
CN106575162B CN201580044229.8A CN201580044229A CN106575162B CN 106575162 B CN106575162 B CN 106575162B CN 201580044229 A CN201580044229 A CN 201580044229A CN 106575162 B CN106575162 B CN 106575162B
Authority
CN
China
Prior art keywords
eye
torsion
vector
image
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580044229.8A
Other languages
English (en)
Other versions
CN106575162A (zh
Inventor
N.霍尔什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106575162A publication Critical patent/CN106575162A/zh
Application granted granted Critical
Publication of CN106575162B publication Critical patent/CN106575162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

描述根据一个实施例用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的机构。如本文描述的，实施例的方法包括确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态。图像可图示人的一个或多个眼睛。方法可进一步包括基于涉及图像并且由一个或多个捕捉/感测设备的感测设备感测的数据估计涉及一个或多个眼睛中的眼睛的重力矢量、基于头部姿态和重力矢量中的一个或多个来计算总扭转角以及估计与眼睛关联的凝视矢量来促成眼睛的跟踪。跟踪包括基于凝视矢量的眼睛的定位或移动。

Description

促成计算设备上基于动态眼睛扭转的眼睛跟踪
技术领域
本文描述的实施例大体上涉及计算机。更具体地，实施例涉及促成计算设备上基于动态眼睛扭转的眼睛跟踪。
背景技术
随着例如移动计算设备等计算设备的使用增加，跟踪眼动对于用于各种应用和过程（例如用户识别、用户注意力检测等）变得日益重要。例如，常规的眼睛跟踪技术对于检测与眼睛跟踪有关的所有可能自由度是低效的且装备不良，并且此外这样的技术未能估计用户眼睛的扭转。
附图说明
在附图（其中类似的标号指相似元件）的图中通过示例而非限制的方式图示实施例。
图1图示根据一个实施例采用基于动态扭转的眼睛跟踪机构的计算设备。
图2A图示根据一个实施例的基于动态扭转的眼睛跟踪机构。
图2B图示根据一个实施例的眼睛。
图2C图示根据一个实施例被捕捉和处理的图像。
图2D图示根据一个实施例被捕捉和处理的图像。
图2E图示根据一个实施例为了改进且准确的眼睛跟踪要用于眼睛扭转的高效估计的一个或多个捕捉和感测设备。
图3图示根据一个实施例用于根据一个实施例促成基于眼睛扭转的准确眼睛跟踪的方法。
图4图示根据一个实施例适合于实现本公开的实施例的计算机系统。
具体实施例
在下列描述中，阐述许多具体细节。然而，如本文描述的实施例可以在没有这些具体细节的情况下实践。在其它实例中，未详细示出众所周知的电路、结构和技术以便不混淆对该描述的理解。
考虑到人的视觉是最强大的感知之一并且人眼一直在凝视，它们的移动可以揭示关于人的大脑的大量信息，例如人在思考、感受、观看、预期什么，等。实施例通过使用任意数量的数据感测和捕捉设备来获得凝视矢量（例如通过眼睛的扭转运动，等）而提供智能、高效且准确的眼睛跟踪来更好反映前面提到的状况以及从跟踪人眼可以解密的更多内容。预想眼睛跟踪可以称为获得凝视矢量或凝视点的过程，其中凝视矢量指凝视方向，并且其中凝视点指用户观看的点，其通常是凝视矢量和屏幕的相交。
预想对应于眼睛凝视方向的每个凝视矢量则可以用于任意数量的软件程序/应用，例如（而没有限制地）：医疗设备和/或研究、激光屈光术、车辆仿真器和/或传感器、体育训练、商业眼睛跟踪（例如，广告、Web应用、市场营销、汽车、电影院/电视、图像和/或视频压缩、用户活动识别、大脑响应、计算机视觉等。
实施例提供与眼睛跟踪拍摄装置有关的头部取向的动态和高效估计并且进一步提供拍摄装置在世界上取向的估计（例如，使用惯性传感器等），并且相应地，实施例提供促成在世界参考系中用户头部取向的估计。该头部取向估计然后可以用于估计用户眼睛的扭转。
预想人眼可以具有三个机械自由度，例如左右取向（也称为“偏转（yaw）”）、上下取向（也称为“俯仰（pitch）”）和扭转旋转，例如围绕眼轴（也称为“滚动”）。另外，有意识地管理或控制三个自由度中的两个，例如左右取向（例如偏转）和上下取向（例如俯仰）。如前面提到的，第三个自由度可以包括扭转旋转，例如围绕眼轴，例如滚动。该扭转旋转可以涉及下列两个情况，其中扭转旋转可以（而没有限制地）：1）在眼睛凝视点改变时被自发控制，这可以遵循一个或多个已知定律，例如Donders定律、Listing定律等（也称为“第一情况”或“第二运动”）；以及2）因头部倾斜而得到补偿，其中眼睛保持它与地球的重力地平线（horizon）有关的取向（也称为“第二情况”或“第二运动”）。
实施例提供估计前面提到的涉及扭转旋转的第一和第二运动。预想为了避免任何不准确，第二运动可另外在涉及采用移动眼睛跟踪器的移动计算设备（例如，智能电话、平板计算机，等）时是显著的，该移动眼睛跟踪器可以嵌入这样的移动计算设备中，其中用户的头部可以向上倾斜到特定角度（例如直角，90度），例如在移动设备由用户用于在床上阅读时等。
图1图示根据一个实施例采用基于动态扭转的眼睛跟踪机构110的计算设备100。计算设备100起到主机的作用，用于托管基于动态扭转的眼睛跟踪机构（“眼睛跟踪机构”）110，其包括任意数量和类型的部件（如在图2中图示的），以为了改进且准确的眼睛跟踪来高效执行眼睛扭转的动态、智能和高效估计，如将在该整个文献中进一步描述的。
计算设备100可以包括任意数量和类型的通信设备，例如大型计算系统，例如服务器计算机、台式计算机等，并且可以进一步包括机顶盒（例如，基于因特网的电缆电视机顶盒，等）、基于全球定位系统（“GPS”）的设备等。计算设备100可以包括移动计算设备，其起到通信设备的作用，例如包括智能电话的蜂窝电话（例如，Apple®的iPhone®，Research inMotion®的BlackBerry®，等）、个人数字助理（“PDA”）、平板计算机（例如，Apple®的iPad®，Samsung®的Galaxy 3®，等）、便携式计算机（例如，笔记本、上网本、UltrabookTM系统，等）、电子阅读器（例如，Amazon®的Kindle®，Barnes and Nobles®的Nook®，等）、媒体互联网设备（“MID”）、智能电视、电视平台、智能设备、计算粉尘（computing dust）、媒体播放器、可佩戴设备（例如，可佩戴眼镜（例如，Google®的Google ®Glass®）、智能手表、手镯、智能卡、首饰、衣物等））、媒体播放器等。
计算设备100可以包括操作系统（“OS”）106，其在计算设备100的硬件和/或物理资源与用户之间起到接口的作用。计算设备100进一步包括一个或多个处理器102、存储器设备104、网络设备、驱动器或类似物，以及输入/输出（“I/O”）源108，例如触屏、触控面板、触控板、虚拟或常规键盘、虚拟或常规鼠标等。
要注意像“节点”、“计算节点”、“服务器”、“服务器设备”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机”、“设备”、“计算设备”、“计算机”、“计算系统”及类似物的术语在该整个文献中可以能互换地使用。要进一步注意像“应用”、“软件应用”、“程序”、“软件程序”、“组件（package）”、“软件组件”、“代码”、“软件代码”及类似物的术语在该整个文献中可以能互换地使用。同样，像“工作”、“输入”、“请求”、“消息”及类似物的术语在该整个文献中可以能互换地使用。预想术语“用户”可以指使用或访问计算设备100的个体或一群个体。
图2A图示根据一个实施例的基于动态扭转的眼睛跟踪机构110。在一个实施例中，基于动态扭转的眼睛跟踪机构110可以包括任意数量和类型的部件，例如（而没有限制地）：检测/接收逻辑201；特征提取和评估逻辑203；头部姿态估计逻辑205；重力矢量估计逻辑207；扭转估计逻辑209；眼睛跟踪计算逻辑211；凝视矢量计算逻辑213；和通信/兼容性逻辑215。
除托管眼睛跟踪机构110外，计算设备100可以进一步包括一个或多个捕捉/感测设备221，其包括一个或多个捕捉设备（例如，拍摄装置、麦克风、传感器、加速计、照明器，等），这些设备可以用于捕捉任意数量和类型的数据，例如图像（例如，照片、视频、电影、音频/视频流，等）、音频流、生物计量读数、环境/天气状况、地图等，其中捕捉/感测设备221中的一个或多个（例如拍摄装置）可以与眼睛跟踪机构110的一个或多个部件（例如接收/检测逻辑201）通信，来检测和接收拍摄装置所捕捉的图像。这样的图像然后可以用于眼睛跟踪机构110所执行的各种任务，例如眼睛跟踪、扭转估计等。进一步预想一个或多个捕捉/感测设备221可以进一步包括用于数据捕捉和/或感测的一个或多个支持或补充设备，例如照明器（例如，图2E的红外（“IR”）照明器）；灯具、发生器、声音拦截器等。
进一步预想在一个实施例中，捕捉/感测设备221可以进一步包括任意数量和类型的感测设备或传感器（例如，线性加速计），用于感测或检测任意数量和类型的场景（例如，涉及移动计算设备等的估计地平线、线性加速等），其然后可以由眼睛跟踪机构110用于执行涉及扭转估计的一个或多个任务并且这样做以用于准确的眼睛跟踪，如将在该整个文献中进一步描述的。例如，捕捉/感测设备221可以包括任意数量和类型的传感器，例如（而没有限制地）：加速计（例如，线性加速计，用于测量线性加速度，等）；惯性设备（例如，惯性加速计、惯性陀螺仪、微机电系统（“MEMS”）陀螺仪、惯性导航仪，等）；重力梯度仪，用于研究和测量由于重力引起的重力加速度中的变化，等。例如，捕捉/感测设备221可以进一步包括（而没有限制地）：音频/视觉设备（例如，拍摄装置、麦克风、扬声器，等）；场景感知传感器（例如，温度传感器、与音频/视觉设备的一个或多个拍摄装置一起工作的面部表情和特征测量传感器、环境传感器（例如用于感测背景颜色、光，等）、生物计量传感器（例如用于检测指纹，等）、日程表维护和读取设备）等；全球定位系统（“GPS”）传感器；资源请求方；和可信执行环境（“TEE”）逻辑。TEE逻辑可以单独被采用或可以是资源请求方和/或I/O子系统等的一部分。
计算设备100可以进一步包括一个或多个显示设备223，例如显示设备、显示屏等，其还可以保持与眼睛跟踪机构110的一个或多个部件（例如通信/兼容性逻辑221）通信，来促成图像的显示等。
计算设备100可以包括移动计算设备（例如，智能电话、平板计算机、可佩戴眼镜，例如Google® Glass®，等），其可以与一个或多个仓库或数据库（例如数据库230）通信，其中可以存储和维持任意数量和类型的数据（例如，扭转估计、眼睛跟踪数据，等）连同可以存储任意数量和类型的其他信息和数据源，例如资源、策略等。此外，计算设备100可以通过一个或多个网络（例如云网络、因特网、内联网、万物联网（“IoT”）、近距离网络、Bluetooth等）与任意数量和类型的其他计算设备（例如台式计算机、便携式计算机、移动计算设备（例如智能电话）、平板计算机、可佩戴眼镜等）通信。
在图示的实施例中，计算设备100示出为托管眼睛跟踪机构110；然而，预想实施例不限于此并且在另一个实施例中，眼睛跟踪机构110可以完全或部分由多个设备所托管，例如多个客户端计算机或服务器和客户端计算机的组合，等。然而，在该整个文献中，为了简洁清楚起见并且便于理解，眼睛跟踪机构110示出为由计算设备100托管。
预想计算设备100可以包括与眼睛跟踪机构110通信的一个或多个软件应用（例如，网站、商业应用、移动设备应用，等），其中软件应用可以提供一个或多个用户界面（例如，web用户界面（WUI）、图形用户界面（GUI）、触屏，等）来与眼睛跟踪机构110的一个或多个操作或功能性一起工作和/或促成这些操作或功能性。
在一个实施例中，捕捉/感测设备221的拍摄装置（例如，IR拍摄装置）可以用于捕捉眼睛（例如，人眼）的图像。例如，图像可以包括两个眼，但在一个实施例中，可以对每个眼估计不同的凝视矢量。拍摄装置所拍摄的图像然后可以传达给接收/检测201并且由其接收或检测。然后可以提取图像的某些特征并且初始通过特征提取和评估逻辑203来处理它们，其中例如可以从图像提取眼睛的瞳孔轮廓连同IR源的任何反射（例如，闪光）。预想凝视矢量（例如，对于每个眼的独立凝视矢量）可以指示眼睛的凝视点并且可以视为眼睛跟踪过程的主要输出。预想凝视跟踪仪的输出可以是凝视点（例如，屏幕上的点）、凝视矢量等。
例如并且在一个实施例中，特征提取和评估逻辑203可以用于提取涉及眼睛的图像的各种图像特征的任意数量和类型的数据以用于进一步处理。该提取的特征数据可以被处理并且然后由凝视矢量估计逻辑213用于计算或获得与每个眼关联的凝视矢量，其中提取的数据可以包括（而没有限制地）：瞳孔、闪光的高度准确的位置，等。
在一个实施例中，图像特征的该处理和凝视矢量的最终估计可以通过执行下列任务（而没有限制地）中的一个或多个而实现：1）经由眼睛跟踪计算逻辑211估计眼睛的光轴，图像，例如图2B的眼睛240的光轴241，其中眼睛的光轴指经过眼角膜 249的曲率中心并且与对称轴平行延伸的线。预想眼睛240可以包含眼角膜 249和晶状体（其可以用于聚焦），其中可以从眼角膜 249获得反射。此外，球面镜可以视为眼角膜 249的数学模型，而并不是眼睛240的物理特征。如将在下文进一步描述的，使用眼睛跟踪计算逻辑211，可以基于图像特征、眼角膜的曲率半径以及眼角膜曲率中心与瞳孔平面的距离（如由特征提取和评估逻辑203提取）中的一个或多个来计算光轴的任何参数；以及2）经由凝视矢量估计逻辑213估计图像中眼睛的视轴，例如图2B的眼睛240的视轴243，其中眼睛的视轴指经过视觉中心（例如通过图2B的中央凹）和眼睛的（光）节点的线。
此外，如在图2B中图示的，视轴243与光轴241可以偏离一定角度，其称为kappa（“κ”）215，其中κ可以包括两个分量，例如水平角α（alpha）和外侧角β（beta）。例如，α的平均值可以是5°并且β可以是1.5°。预想角度κ对于每个人可以不同，例如因人而异，以及对于每个眼睛是不同的，例如对左眼和右眼是不同的。此外，对每个个体可以通过校准过程来测量κ。
在一个实施例中，视轴可以基于光轴通过计算κ和眼睛的三轴姿态而获得。相似地，眼睛的俯仰和偏转角也可以从光轴获得或已知，而滚动角可以从一个或多个经验定律得到，例如（而没有限制地）Donders定律（其规定在特定方向上看时眼睛的取向总是相同的）、Listing定律（其规定眼睛的旋转轴位于共同平面（“无扭”）中并且该平面垂直于光轴）等。在一些实施例中，前面提到的定律在一个或多个条件下可以有效，例如在头部竖起（与重力有关）时定律有效。例如，在头部倾斜（例如图像261A的头部263A倾斜成图像261B的倾斜头部263B，如在图2C中图示的）时，眼睛可以进行扭转动作以便补偿旋转（例如头部263A的无扭眼265A在它变成倾斜头部265B的倾斜眼265B时进行扭转动作，如在图2C中图示的）。因此，在一些实施例中，获得或知道头部倾斜在准确估计视轴方面可以是有用的，准确估计视轴则可以用于准确估计扭转角ψ，例如图2D的扭转角273。
在一个实施例中，在通过特征提取和评估逻辑203提取和评估图像特征时，可以触发头部姿态估计逻辑205以基于如由提取和评估逻辑203从图像获得的眼睛的眼定位来进行头部姿态的估计，其中图像可以由图2A的捕捉/感测设备221（例如，IR拍摄装置，等）中的一个或多个捕捉。在一个实施例中，头部的全三维（“3D”）姿态（例如包括三个机械自由度（例如，滚动、俯仰和偏转）中的一个或多个）可以通过使用如头部姿态估计逻辑205所促成的一个或多个基于图像的头部姿态估计技术来实现。在另一个实施例中，眼睛跟踪仪可以安装在智能设备上，例如在可佩戴眼镜（例如，Google® Glass®，等）上，使得由于用户头部上智能设备的对准而可以直接从重力矢量和固定旋转来估计头部姿态。此外，在一个实施例中，图像中两个眼睛的3D定位可以用于使用一个或多个基于3D的估计技术估计图像中人头部的头部倾斜以进一步改进基于图像的姿态估计，如头部姿态估计逻辑205所促成的。
在一个实施例中，一旦估计了头部姿态，可以触发重力矢量估计逻辑207以进行重力矢量估计。例如，可以基于由图2A的一个或多个捕捉/感测设备221（例如，线性加速计）获得并且从其处接收的传感器获得的数据（例如，加速计数据）使用如重力矢量估计逻辑207所促成的一个或多个重力矢量估计技术来进行重力矢量估计。
在一个实施例中，扭转估计逻辑209可以用于执行扭转估计过程来获得最后的扭转值。例如并且在一个实施例中，可以基于涉及如由头部姿态估计逻辑205估计并且从其处接收的头部姿态的数据来进行对Listing扭转角ψListing的估计。相似地，使用扭转估计逻辑209，可以使用涉及如由重力矢量逻辑207获得的重力矢量的数据进行对倾斜扭转角ψtilt的估计。在一个实施例中，扭转角可以计算为左眼对右眼矢量与垂直平面中的重力矢量之间的角度（如在图2C-2D中图示的），其中垂直平面可以指包含重力矢量和眼睛的平面。
此外，在一个实施例中，在应用Donders和Listing定律时，Listing扭转角可以由扭转估计逻辑209使用下列方程得到：
Figure DEST_PATH_IMAGE002A
，其中θ、φ分别代表光轴关于眼睛的静息定位的水平旋转角和垂直旋转角。此外，θ、φ可以计算且视为头部正面方向与眼睛的光轴的角度差异。在一个实施例中，可以通过将倾斜扭转角添加到Listing扭转角（如通过Donders和Listing定律所预测的）来获得最后的/总扭转角ψ，例如：总扭转角
Figure DEST_PATH_IMAGE004A
。
在一个实施例中，使用眼睛跟踪计算逻辑211并且如参考图2A-2B论述的，可以对每个眼估计光轴并且估计的光轴则可以用作一个或多个过程（例如扭转估计、凝视矢量估计等）的输入。
此外，在一个实施例中并且如参考图2A-2B论述的，可以基于光轴使用新近估计的扭转参数（如从前面提到的扭转估计获得的）以及一个或多个图像取向（例如偏转和俯仰等）计算视轴。在一个实施例中，使用凝视矢量估计逻辑212，视轴可以估计如下：
Figure DEST_PATH_IMAGE006A
其中
Figure DEST_PATH_IMAGE008AA
指眼睛处于其静息定位（例如，向前看）的光轴，其中
Figure DEST_PATH_IMAGE010A
指旋转（α，β）的变换（例如，围绕眼睛节点的旋转），并且其中
Figure DEST_PATH_IMAGE012A
和
Figure DEST_PATH_IMAGE014A
指光轴的变换，如由眼睛跟踪仪所估计的（例如，偏转、俯仰）。此外，静息光轴可以旋转（α，β）并且然后旋转总扭转角ψ，并且然后进一步按照俯仰和偏转取向来旋转。
如前面提到的，
Figure DEST_PATH_IMAGE008AAA
可以基于头部姿态估计以及图像中眼睛中每个的眼定位而得到。此外，
Figure DEST_PATH_IMAGE015A
可以指（α，β）的结果，其从不同方面陈述可以是扭转估计的结果并且在应用于眼睛坐标系时是使用下列方程先验地测量：
Figure DEST_PATH_IMAGE017A
。
相似地，在一个实施例中，
Figure DEST_PATH_IMAGE018A
可以指眼睛跟踪计算的结果，如眼睛跟踪计算逻辑211所促成的，例如：
Figure DEST_PATH_IMAGE020A
，其中θ指水平旋转并且其中φ指垂直旋转角。因此，
Figure DEST_PATH_IMAGE022A
Figure DEST_PATH_IMAGE024A
例如并且在一个实施例中，可以使用坐标系，其中x指水平方向，y指垂直方向，并且z是前向方向并且从而，
Figure DEST_PATH_IMAGE026A
假设α=5°，β=0°，其意味着
Figure DEST_PATH_IMAGE028A
，并且假设90°的头部倾斜，其意味着
Figure DEST_PATH_IMAGE030A
，并且光轴方向向前（0俯仰，0偏转），其意味着
Figure DEST_PATH_IMAGE032A
。因此，结果可以是
Figure DEST_PATH_IMAGE034A
，其中例如忽略头部倾斜，
Figure DEST_PATH_IMAGE036A
，其可以导致5°偏差，其中一个或多个眼睛跟踪应用（例如，商业眼睛跟踪应用）可需要<1°的准确性。
在一个实施例中，如关于图3图示的，总扭转角和涉及眼睛的一个或多个轴（例如，光轴、视轴，等）以及任何其他相关信息可以用于对每个眼估计凝视矢量，如由凝视矢量估计逻辑330所促成的。预想每个凝视矢量可以对应于一个眼睛并且可以用于确定该眼的凝视模式。这样的凝视模式可以用于眼睛的准确跟踪，其然后可以用于任意数量的应用，例如（而没有限制地）：医疗设备和/或研究、激光屈光术、车辆仿真器和/或传感器、体育训练、商业眼睛跟踪（例如，广告、Web应用、市场营销、汽车、电影院/电势、图像和/或视频压缩、用户活动识别、大脑响应、计算机视觉等。
在一个实施例中，图像可以由捕捉/感测设备221所捕捉、经由眼睛跟踪机构110来处理并且经由显示设备223来显示。预想眼睛跟踪机构110可以与一个或多个软件应用一起使用并且与之通信，例如一个或多个电子邮件应用（例如，Gmail®、Outlook®、基于公司的电子邮件，等）、使用一个或多个电信应用的文本或电话（例如，Skype®、Tango®、Viber®、默认文本应用）、社交/商业联网网站（例如，Facebook®、Twitter®、LinkedIn®，等）或类似物。
在确保与变化的技术、参数、协议、标准等的兼容性的同时，通信/兼容性逻辑213可以用于促成计算设备100与以下各项之间的动态通信和兼容性：任意数量和类型的其他计算设备（例如，移动计算设备、台式计算机、服务器计算设备，等）、处理设备（例如中央处理单元（CPU）、图形处理单元（GPU），等）、捕捉/感测设备213（例如，数据捕捉和/或感测仪器，例如拍摄装置、传感器、照明器，等）、显示设备223（例如显示设备、显示屏、显示仪器，等）、用户/场景感知部件和/或识别/验证传感器/设备（例如生物计量传感器/检测器、扫描仪，等）、存储器或存储设备、数据库和/或数据源（例如数据存储设备、硬驱动器、固态驱动器、硬盘、存储卡或设备、存储器电路，等）、网络（例如，云网络、因特网、内联网、蜂窝网络、近距离网络，例如Bluetooth、低能量Bluetooth（BLF）、Bluetooth Smart、近距离Wi-Fi、射频识别（RFID）、近场通信（NFC）、体域网（BAN），等）、无线或有线通信和相关协议（例如，Wi-Fi®、WiMAX、以太网，等）、连接性和位置管理技术、软件应用/网站（例如，例如Facebook®、LinkedIn®、Google+®、Twitter®等社交和/或商业联网网站、商业应用、游戏和其他娱乐应用，等）、编程语言等。
在该整个文献中，可以能互换地引用像“逻辑”、“部件”、“模块”、“框架”、“引擎”、“点”、“工具”及类似物的术语并且它们通过示例包括软件、硬件和/或软件和硬件的组合，例如固件。此外，例如“图像”、“切割”、“视觉技术”、“姿势”、“手前臂”、“比率”、“阈值”、“轴”、“垂直”、“水平”、“迭代”、“计算”、“极点”、“滞后点”、“假设切割”、“文本”或“文本的”、“照片”或“图像”、“视频”、“社交联网网站”、“逻辑”、“引擎”、“模块”等特定品牌、词、术语、短语、名称和/或首字母缩略词的任何使用不应解读成将实施例限制在该文献以外著作中或者产品中携带该标签的软件或设备。
预想任意数量和类型的部件可以添加到眼睛跟踪机构110和/或从其中去除以促成各种实施例，其包括添加、去除和/或增强某些特征。为了简洁、清楚起见并且便于理解眼睛跟踪机构110，这里未示出或论述标准和/或已知部件中的许多，例如计算设备中的那些。预想如本文描述的实施例不限于任何特定技术、拓扑、系统、架构和/或标准并且动态性足以采用和适应任何未来改变。
现在参考图2B，图示根据一个实施例的眼睛240。在图示的实施例中，提供眼球245和眼角膜249的正确位置，其然后可以用于确定中央凹247和光轴241，它们然后可以用于计算视轴243和kappa角251，如将参考后续图进一步论述的。
图2C图示根据一个实施例被捕捉和处理的图像261A、261B。在图示的实施例，图像261A示出具有两个眼睛、其中眼睛265A待跟踪的人的面部的图像。图像261A进一步图示并且包括头部263A，其示出为直的并且相对于地球是垂直的，其中地球是万有引力（或简单地称为“重力”）的来源。因此，如图示的，重力矢量271示出为指向下并且眼对眼矢量269A示出为相对于地球是横向或是水平的并且关于重力矢量271垂直。
如在后续图像（例如图像261B）中图示的，图像261A的向上且直起头部263A示出为倾斜为头部263B，其现在相对于头部263A垂直或90°。预想如图示的，头部263B还使眼对眼矢量269A倾斜为现在的眼对眼矢量269B，其现在与重力矢量271平行。该倾斜还使眼睛的定位移动，例如连同头部263B一起倾斜的眼睛265A现在示出为在新的定位（为眼睛265B），这促使它进行扭转运动267。
图2D图示根据一个实施例被捕捉和处理的图像261C。如图示的，图像261C可以是图2C的图像261A、261B的延续，其中在与头部263B的倾斜角相比和/或相对于地球和重力矢量271时，现在头部263C示出为从头部263A以较小角度往一边倾斜。在图示的实施例中，利用该倾斜头部263C，眼睛265C现在处于新的倾斜定位，如相对于例如重力矢量271的眼对眼矢量269C。在一个实施例中并且如图示的，该头部倾斜（例如从头部263A到头部263C）以及对应的引起扭转运动267的从眼睛265A到眼睛265C的倾斜在初始眼对眼矢量269A与相对于恒定的重力矢量271的新的眼对眼矢量269C之间产生一定角度。该角度（由扭转运动267引起）要估计为扭转角273。
图2E图示根据一个实施例待用于基于眼睛扭转的准确眼睛跟踪的一个或多个捕捉和感测设备281-285。如前面提到的，任意数量和类型的部件（例如，拍摄装置、传感器、显示设备，等）可以连同图2A的眼睛跟踪机构110一起使用来执行涉及眼睛扭转的估计和眼睛跟踪的一个或多个任务。例如，图示的实施例显示用于图像捕捉的一组281-285捕捉/感测设备221，例如捕捉人287的面部289的一个或多个图像。预想面部289的任何图像还可以包括人287的眼睛的图像，其然后可以用于确定待用于各种估计和计算的对应于面部289的头部的姿态和倾斜，如在该整个文献中描述的。预想图像可以是视频流或静止图像或类似物的部分或从其中获得。
在一个实施例中，捕捉/感测设备221的图示部件281-285包括要连同一个或多个惯性传感器283（例如，惯性加速计、线性加速计，等）和一个或多个照明器285（例如，IR照明器，等）一起或与之通信地使用来提供必要和/或期望的照明的一个或多个拍摄装置281（例如，IR拍摄装置，等）。此外，如图示的，这些部件281-285可以与一个或多个处理单元（例如图1的处理器102）通信地使用来促成图2A的眼睛跟踪机构110的各种任务。例如并且在一个实施例中，惯性传感器283和拍摄装置281使用照明器285所捕捉的人287的头部姿态的组合可以用于获得和/或估计相关值来确定用于眼睛跟踪的眼睛扭转，如参考图3以及在该整个文献中描述的。
图3图示根据一个实施例用于促成根据一个实施例的眼睛的基于眼睛扭转的准确跟踪的方法300。方法300可以由处理逻辑执行，该处理逻辑可以包括硬件（例如，电路、专用逻辑、可编程逻辑，等）、软件（例如在处理设备上运行的指令）或其组合。在一个实施例中，方法300可以由图1的眼睛跟踪机构110执行。在呈现方面为了简洁和清楚起见，方法300的过程以线性序列图示；然而，预想可以并行、异步或按不同顺序执行任意数量的过程。为了简洁起见，参考图1和2A-E论述的细节中的许多在下文可不论述或重复。
如前面提到的，实施例提供眼睛跟踪系统，其基于使用图2A的各种捕捉/感测设备221，例如IR拍摄装置、IR照明器、线性加速计等，其中例如并且IR拍摄装置可以捕捉眼睛的图像。然后可以处理该图像，例如可以提取涉及眼睛的轮廓以及从任何IR源（例如，IR光源，等）的反射（例如，闪光）。在一个实施例中，可以准确估计涉及眼睛的凝视矢量并且将其视为眼睛跟踪的主要输出使得这些凝视矢量可以用于智能和准确眼睛跟踪。预想凝视矢量指示凝视模式并且对于每个眼以及对于每个个体及类似物可以不同，并且用于各种目的和软件程序。
方法300在框305开始，其中使用图像中人眼睛的3D定位（如在图2C-2D中示出的）来估计图像的头部姿态（例如，头部倾斜）。例如并且在一个实施例中，头部的全3D姿态（其可以包括滚动、俯仰和偏转中的一个或多个）可以通过使用如由图2A的头部姿态估计逻辑205所促成的一个或多个基于图像的头部姿态估计技术而实现。此外，图像的两个眼的3D定位可以用于使用一个或多个基于3D的估计技术来估计图像中人的头部的头部倾斜以进一步改进基于图像的姿态估计。此外，关于头部姿态估计的过程，在框305，为了使眼睛的3D定位与基于图像的姿态估计合并，眼睛的3D定位可以帮助确定滚动和偏转自由度，俯仰仍然不确定。例如，在一个实施例中，两个估计器可以用于1）估计（或假设）如从眼睛的3D定位估计的滚动、偏转的噪声，以及如由基于图像的姿态估计所估计的噪声；以及2）计算两个测量（例如，从3D眼睛测量，和基于图像的测量）的最大似然混合。
在框310，触发图2A的重力矢量估计逻辑207以基于从图2A的捕捉/感测设备221（例如，线性加速计，等）中的一个或多个接收的检测/感测数据（例如，加速计数据，等）并且使用一个或多个重力矢量估计技术来进行重力矢量估计。在一个实施例中，在框315，Listing扭转由图2A的扭转估计逻辑209使用从前面提到的框305的头部姿态估计获得的头部姿态数据来估计。如参考图2A进一步论述的，应用Donders和Listing定律，使用下列方程得到Listing扭转角ψListing：
Figure DEST_PATH_IMAGE038A
，其中θ、φ分别代表光轴相对于眼睛的静息定位的水平旋转角和垂直旋转角。
相似地，在框320，图2A的扭转估计逻辑209基于从前面提到的框310的重力矢量估计获得的重力矢量数据促成倾斜扭转估计。如参考图2A进一步论述的，倾斜相关的扭转角ψtilt可以计算为如在图2C-2D中图示的垂直平面中左眼对右眼矢量与重力矢量之间的角度，其中该垂直平面可指包含重力矢量和眼睛的平面。使用倾斜和Listing扭转角，可以获得总扭转角，例如通过简单地将倾斜扭转角添加到Listing扭转角（如由Donders和Listing定律所预测的），例如：总扭转角
Figure DEST_PATH_IMAGE040A
。
此外，关于头部倾斜相关扭转计算，在框320，使用从加速计（例如，加速计数据，等）获得的信息，线性加速计可以用于在各种轴/坐标中产生加速度的测量，例如x、y、z轴、AX、AY、AZ（在自身的坐标系中）。此外，假设此刻的加速度是重力加速度，则重力加速度可以是AX、AY、AZ。如果通过查看加速度矢量的大小（例如
Figure DEST_PATH_IMAGE042A
）检测到系统不受额外加速度的影响，如果该大小与已知的加速度重力（~9.8米/secˆ2）可以没有明显不同，我们可以假设唯一加速度可以是重力加速度。
在一个实施例中，在框325，使用眼睛的图像，可以对每个眼估计光轴，如由图2A的眼睛跟踪计算逻辑211所促成并且如参考图2A-2B进一步图示的。该估计的光轴然后可以用作框320处的扭转估计和框330处的凝视矢量估计等中的一个或多个的输入。在进一步解释框325处的过程中，可以发现若干角膜反射（例如，闪光）并且使用系统（例如，灯、拍摄装置，等）几何形状的光学几何形状和事先了解以及眼角膜曲率半径可以计算眼角膜曲率中心。然后，可以发现瞳孔轮廓并且使用光学几何形状以及瞳孔平面与眼角膜曲率中心之间的（先验已知的）距离，可以计算3D瞳孔中心。3D眼角膜曲率中心与3D瞳孔中心之间的矢量可以视为光轴。此外，在框330处，通过凝视估计过程基于光轴并且进行校准变换来生成视轴。
在框330，在一个实施例中，如参考图2A-2B论述的，凝视矢量估计逻辑212可以用于基于对应的光轴并且使用如在框315、320中获得的新的扭转参数或角度以及图像的偏转和俯仰取向来对每个眼估计视轴。该视轴可以估计如下：
Figure DEST_PATH_IMAGE043A
其中
Figure DEST_PATH_IMAGE044AA
指眼睛处于其静息定位（例如，向前看）的光轴，其中
Figure DEST_PATH_IMAGE045A
指旋转（α，β）的变换（例如，围绕眼睛节点的旋转），并且其中
Figure DEST_PATH_IMAGE046A
和
Figure DEST_PATH_IMAGE047A
指光轴的变换，如由眼睛跟踪仪所估计的（例如，偏转、俯仰）。此外，静息光轴可以旋转（α，β）并且然后旋转总扭转角ψ，并且然后进一步按照俯仰和偏转来旋转。相似地，在一个实施例中，
Figure DEST_PATH_IMAGE044AAA
可以使用图像中眼睛的定位从头部姿态估计得到，如参考框305论述的。
此外，在一个实施例中，如上文描述的对每个眼估计视轴，视轴连同眼睛的光轴以及总扭转角则可以由图2A的凝视矢量估计逻辑212用于估计每个眼的凝视矢量。预想每个凝视矢量可以对应于一个眼睛并且可以用于确定该眼的凝视模式，其中这样的凝视模式可以用于眼睛的准确跟踪，其然后可以用于任意数量的商业和非商业软件程序或应用。预想准确的眼睛跟踪可以从采用眼睛跟踪的任何软件应用促成更好且更准确的性能。
此外，关于框330的凝视矢量估计，眼睛跟踪可以同义地称为凝视跟踪，其中凝视矢量和凝视点（例如凝视矢量和屏幕的相交）基本上是眼睛跟踪过程的最后输出，例如使用框325的眼睛跟踪算法。如参考框330描述的，光轴到视轴的变换，例如：
Figure DEST_PATH_IMAGE049A
光轴（没有校准）可表现为：
Figure DEST_PATH_IMAGE051A
，其中如果忽略倾斜相关扭转，视轴可以如下：如前面提到的，
Figure DEST_PATH_IMAGE053A
图4图示计算系统400的实施例。计算系统400代表一系列计算和电子设备（有线或无线），其包括例如台式计算系统、便携式计算系统、蜂窝电话、个人数字助理（PDA）（其包括启用蜂窝的PDA）、机顶盒、智能电话、平板、可佩戴设备等。备选的计算系统可以包括更多、更少和/或不同的部件。计算设备400可以与参考图1描述的计算设备100相同或相似或包括该计算设备100。
计算系统400包括总线405（或例如链路、互连或用于传达信息的另一个类型的通信设备或接口）和耦合于总线405、可以处理信息的处理器410。尽管计算系统400图示有单个处理器，它可以包括多个处理器和/或协处理器，例如中央处理器、图像信号处理器、图形处理器和视觉处理器等中的一个或多个。计算系统400可以进一步包括随机存取存储器（RAM）或其他动态存储设备420（称为主存储器），其耦合于总线405，并且可以存储可以由处理器410执行的信息和指令。主存储器420也可以用于存储在处理器110执行指令期间的临时变量或其他中间信息。
计算系统400还可以包括只读存储器（ROM）和/或耦合于总线405、可以对处理器410存储静态信息和指令的其他存储设备430。数据存储设备440可以耦合于总线405来存储信息和指令。数据存储设备440（例如磁盘或光盘和对应的驱动器）可以耦合于计算系统400。
计算系统400还可以经由总线405耦合于显示设备450，例如阴极射线管（CRT）、液晶显示器（LCD）或有机发光二极管（OLED）阵列，来向用户显示信息。用户输入设备460（其包括字母数字和其他键）可以耦合于总线405来向处理器410传达信息和命令选择。另一个类型的用户输入设备460是光标控制470，例如鼠标、轨迹球、触屏、触控板或光标方向键，用于向处理器410传达方向信息和命令选择并且控制光标在显示器450上的移动。计算机系统400的拍摄装置和麦克风阵列490可以耦合于总线405来观察姿势、记录音频和视频并且接收和传送视觉和音频命令。
计算系统400可以进一步包括网络接口480，用于提供对例如局域网（LAN）、广域网（WAN）、城域网（MAN）、个人区域网（PAN）、Bluetooth、云网络、移动网络（例如，第三代（3G）等）、内联网、因特网等网络的接入。网络接口480可以包括例如无线网络接口，其具有天线485，该天线485可以代表一个或多个天线。网络接口480还可以包括例如有线网络接口，用于经由网络缆线487（其可以是例如以太网缆线、同轴缆线、光纤缆线、串行缆线或并行缆线）与远程设备通信。
网络接口480可以例如通过遵循IEEE 802.11b和/或IEEE 802.11g标准来提供对LAN的接入，并且/或无线网络接口可例如通过遵循Bluetooth标准来提供对个人区域网的接入。还可支持其他无线网络接口和/或协议，其包括这些标准的之前和后续版本。
除经由无线LAN标准通信之外或代替该通信，网络接口480可以使用例如时分多址（TDMA）协议、全球移动通信系统（GSM）协议、码分多址（CDMA）协议和/或任何其他类型的无线通信协议来提供无线通信。
网络接口480可以包括一个或多个通信接口，例如调制解调器、网络接口卡或其他众所周知的接口设备，例如用于耦合于以太网的那些、令牌环，或为了提供通信链路来支持例如LAN或WAN的其他类型的物理有线或无线附件。采用该方式，计算机系统还可以经由常规网络基础设施（其包括例如内联网或因特网）耦合于许多外围设备、客户端、控制表面、控制台或服务器。
要意识到比上文描述的示例更少或更多配备的系统对于某些实现可以是优选的。因此，计算系统400的配置可因实现而异，这取决于许多因素，例如价格约束、性能要求、技术改进或其他情况。电子设备或计算机系统400的示例可以无限制地包括移动设备、个人数字助理、移动计算设备、智能电话、蜂窝电话、手持机、单向寻呼机、双向寻呼机、消息传递设备、计算机、个人计算机（PC）、台式计算机、便携式计算机、笔记本计算机、手持计算机、平板计算机、服务器、服务器阵列或服务器场、web服务器、网络服务器、因特网服务器、工作站、微型计算机、大型计算机、超型计算机、网络电器、web电器、分布式计算系统、多处理器系统、基于处理器的系统、消费者电子器件、可编程消费者电子器件、电视、数字电视、机顶盒、无线接入点、基站、订户站、移动订户中心、无线电网络控制器、路由器、集线器、网关、网桥、交换机、机器或其组合。
实施例可以实现为以下中的任一个或组合：使用母板而互连的一个或多个微芯片或集成电路、硬接线逻辑、存储器设备存储并且由微处理器执行的软件、固件、专用集成电路（ASIC）和/或现场可编程门阵列（FPGA）。术语“逻辑”通过示例可以包括软件或硬件和/或软件和硬件的组合。
实施例可例如作为计算机程序产品而提供，该计算机程序产品可以包括一个或多个机器可读介质，其具有存储在其上的机器可执行指令，该机器可执行指令在由例如计算机、计算机的网络或其他电子设备等一个或多个机器执行时可以产生根据本文描述的实施例实施操作的一个或多个机器。机器可读介质可以包括但不限于软盘、光盘、CD-ROM（压缩盘-只读存储器）和磁光盘、ROM、RAM、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、磁或光卡、闪速存储器或适合于存储机器可执行指令的其他类型的介质/机器可读介质。
此外，实施例可以作为计算机程序产品被下载，其中程序可通过载波或其他传播介质中包含和/或由其调制的一个或多个数据信号经由通信链路（例如，调制解调器和/或网络连接）从远程计算机（例如，服务器）传输到请求计算机（例如，客户端）。
对“一个实施例”、“实施例”、 “示例实施例”、“各种实施例”等的引用指示这样描述的实施例可以包括特定特征、结构或特性，但不是每一个实施例都一定包括这些特定特征、结构或特性。此外，一些实施例可以具有对其他实施例所描述的特征中的一些、全部或可以不具有对其他实施例所描述的特征。
在下列说明书和权利要求中，可以使用术语“耦合”连同它的派生词。“耦合”用于指示两个或以上要素彼此协同操作或交互，但在它们之间它们可以具有或可以没有介入的物理或电部件。
如在权利要求中使用的，除非另外规定，用于描述公共要素的序数词“第一”、“第二”、“第三”等的使用仅仅指示类似要素的不同实例被提及，并且不意在暗指这样描述的要素必须在时间上、空间上采用排序或采用任何其它方式处于给定序列中。
下列条款和/或示例关于另外的实施例或示例。在一个或多个实施例中，示例中的细节可以在任何地方使用。不同实施例或示例的各种特征可以多方面地与所包括的一些特征组合，其他特征被去除来适应多种不同应用。示例可以包括例如方法、用于执行方法的动作的部件、至少一个机器可读介质等主旨，该至少一个机器可读介质包括指令，其在由机器执行时促使该机器执行方法或装置或系统的动作以用于促成根据本文描述的实施例和示例的混合通信。
一些实施例关于示例1，其包括促成计算设备上基于眼睛扭转的准确眼睛跟踪的装置，该装置包括：头部姿态估计逻辑，用于确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态，其中图像图示人的一个或多个眼睛；重力矢量估计逻辑，用于基于涉及图像并且由一个或多个捕捉/感测设备的感测设备感测的数据估计涉及一个或多个眼睛中的眼睛的重力矢量；扭转估计逻辑，用于基于头部姿态和重力矢量中的一个或多个来计算总扭转角；和凝视矢量估计逻辑，用于估计与眼睛关联的凝视矢量来促成眼睛的跟踪，其中跟踪包括基于凝视矢量的眼睛的定位或移动。
示例2包括示例1的主旨，其进一步包括接收/检测逻辑，用于分别从捕捉设备和感测设备接收图像和感测的数据，其中捕捉设备包括拍摄装置，并且其中感测设备包括加速计。
示例3包括示例1的主旨，其进一步包括眼睛跟踪计算逻辑，用于计算眼睛的一个或多个轴，其中该一个或多个轴包括涉及眼睛的光轴，其中光轴用于计算涉及眼睛的视轴。
示例4包括示例1的主旨，其中基于光轴、视轴和总扭转角中的一个或多个来估计凝视矢量。
示例5包括示例1的主旨，其中扭转角的估计进一步基于第一扭转角和第二扭转角，其中该第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。
示例6包括示例5的主旨，其中倾斜扭转角对应于代表图像中人的头部的倾斜的头部姿态，其中头部的倾斜对应于与头部的一个或多个取向关联的一个或多个自由度，其中该一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中图像包括三维（“3D”）图像。
示例7包括示例5的主旨，其中倾斜扭转角至少部分基于第一扭转角与第二扭转角之间的关系来测量，其中第一扭转角包括恒定的重力矢量，并且第二扭转矢量包括动态改变的眼对眼矢量。
示例8包括示例1的主旨，其进一步包括特征提取和评估逻辑，用于提取涉及眼睛的一个或多个特征，其中该一个或多个特征包括眼球、眼角膜、中央凹和眼睛中心中的一个或多个的位置，其中基于该一个或多个特征确定光轴。
一些实施例关于示例9，其包括用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的方法，该方法包括：确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态，其中图像图示人的一个或多个眼睛；基于涉及图像并且由一个或多个捕捉/感测设备的感测设备感测的数据估计涉及一个或多个眼睛中的眼睛的重力矢量；基于头部姿态和重力矢量中的一个或多个来计算总扭转角；以及估计与眼睛关联的凝视矢量来促成眼睛的跟踪，其中跟踪包括基于凝视矢量的眼睛的定位或移动。
示例10包括示例9的主旨，其进一步包括分别从捕捉设备和感测设备接收图像和感测的数据，其中捕捉设备包括拍摄装置，并且其中感测设备包括加速计。
示例11包括示例9的主旨，其进一步包括计算眼睛的一个或多个轴，其中该一个或多个轴包括涉及眼睛的光轴，其中光轴用于计算涉及眼睛的视轴。
示例12包括示例9的主旨，其中基于光轴、视轴和总扭转角中的一个或多个来估计凝视矢量。
示例13包括示例9的主旨，其中扭转角的计算进一步基于第一扭转角和第二扭转角，其中该第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。
示例14包括示例13的主旨，其中倾斜扭转角对应于代表图像中人的头部的倾斜的头部姿态，其中头部的倾斜对应于与头部的一个或多个取向关联的一个或多个自由度，其中该一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中图像包括三维（“3D”）图像。
示例15包括示例13的主旨，其中倾斜扭转角至少部分基于第一扭转角与第二扭转角之间的关系来测量，其中第一扭转角包括恒定的重力矢量，并且第二扭转矢量包括动态改变的眼对眼矢量。
示例16包括示例9的主旨，其进一步包括提取涉及眼睛的一个或多个特征，其中该一个或多个特征包括眼球、眼角膜、中央凹和眼睛中心中的一个或多个的位置，其中基于该一个或多个特征确定光轴。
示例17包括至少一个机器可读介质，其包括多个指令，这些指令在计算设备上执行时实现或执行方法或实现如在之前的权利要求中要求保护的装置。
示例18包括至少一个非暂时性或有形的机器可读介质，其包括多个指令，这些指令在计算设备上执行时实现或执行方法或实现如在之前的权利要求中要求保护的装置。
示例19包括一种系统，其包括用于实现或执行方法或实现如在之前的权利要求中要求保护的装置的机构。
示例20包括一种装置，其包括用于执行如在之前的权利要求中要求保护的方法的部件。
示例21包括一种计算设备，其设置成实现或执行方法或实现如在之前的权利要求中要求保护的装置。
示例22包括一种通信设备，其设置成实现或执行方法或实现如在之前的权利要求中要求保护的装置。
一些实施例关于示例23，其包括一种系统，该系统包括：具有指令的存储设备；和处理器，用于执行指令以促成机构执行一个或多个操作，其包括：确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态，其中图像图示人的一个或多个眼睛；基于涉及图像并且由一个或多个捕捉/感测设备的感测设备感测的数据估计涉及一个或多个眼睛中的眼睛的重力矢量；基于头部姿态和重力矢量中的一个或多个来计算总扭转角；以及估计与眼睛关联的凝视矢量来促成眼睛的跟踪，其中跟踪包括基于凝视矢量的眼睛的定位或移动。
示例24包括示例23的主旨，其中一个或多个操作包括分别从捕捉设备和感测设备接收图像和感测的数据，其中捕捉设备包括拍摄装置，并且其中感测设备包括加速计。
示例25包括示例23的主旨，其中一个或多个操作包括计算眼睛的一个或多个轴，其中该一个或多个轴包括涉及眼睛的光轴，其中光轴用于计算涉及眼睛的视轴。
示例26包括示例23的主旨，其中基于光轴、视轴和总扭转角中的一个或多个来估计凝视矢量。
示例27包括示例23的主旨，其中扭转角的计算进一步基于第一扭转角和第二扭转角，其中该第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。
示例28包括示例27的主旨，其中倾斜扭转角对应于代表图像中人的头部的倾斜的头部姿态，其中头部的倾斜对应于与头部的一个或多个取向关联的一个或多个自由度，其中该一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中图像包括三维（“3D”）图像。
示例29包括示例27的主旨，其中倾斜扭转角至少部分基于第一扭转角与第二扭转角之间的关系来测量，其中第一扭转角包括恒定的重力矢量，并且第二扭转矢量包括动态改变的眼对眼矢量。
示例30包括示例23的主旨，其中一个或多个操作包括提取涉及眼睛的一个或多个特征，其中该一个或多个特征包括眼球、眼角膜、中央凹和眼睛中心中的一个或多个的位置，其中基于一个或多个特征确定光轴。
一些实施例关于示例31，其包括一种装置，该装置包括：用于确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态的部件，其中图像图示人的一个或多个眼睛；用于基于涉及图像并且由一个或多个捕捉/感测设备的感测设备感测的数据估计涉及一个或多个眼睛中的眼睛的重力矢量的部件；用于基于头部姿态和重力矢量中的一个或多个来计算总扭转角的部件；以及用于估计与眼睛关联的凝视矢量来促成眼睛的跟踪的部件，其中跟踪包括基于凝视矢量的眼睛的定位或移动。
示例32包括示例31的主旨，其进一步包括用于分别从捕捉设备和感测设备接收图像和感测的数据的部件，其中捕捉设备包括拍摄装置，并且其中感测设备包括加速计。
示例33包括示例31的主旨，其进一步包括用于计算眼睛的一个或多个轴的部件，其中该一个或多个轴包括涉及眼睛的光轴，其中光轴用于计算涉及眼睛的视轴。
示例34包括示例31的主旨，其中基于光轴、视轴和总扭转角中的一个或多个来估计凝视矢量。
示例35包括示例31的主旨，其中扭转角的计算进一步基于第一扭转角和第二扭转角，其中该第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。
示例36包括示例35的主旨，其中倾斜扭转角对应于代表图像中人的头部的倾斜的头部姿态，其中头部的倾斜对应于与头部的一个或多个取向关联的一个或多个自由度，其中该一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中图像包括三维（“3D”）图像。
示例37包括示例35的主旨，其中倾斜扭转角至少部分基于第一扭转角与第二扭转角之间的关系来测量，其中第一扭转角包括恒定的重力矢量，并且第二扭转矢量包括动态改变的眼对眼矢量。
示例38包括示例31的主旨，其中一个或多个操作包括提取涉及眼睛的一个或多个特征，其中该一个或多个特征包括眼球、眼角膜、中央凹和眼睛中心中的一个或多个的位置，其中基于该一个或多个特征确定光轴。
附图和前面的描述给出实施例的示例。本领域内技术人员将意识到描述的要素中的一个或多个可以很好地组合成单个功能要素。备选地，某些要素可分成多个功能要素。来自一个实施例的要素可添加到另一个实施例。例如，本文描述的过程的顺序可改变并且不限于本文描述的方式。此外，任何流程图的动作不必按示出的顺序实现；也不必执行动作中的全部。而且，不依赖于其他动作的那些动作可与其他动作并行执行。实施例的范围绝不由这些特定示例限制。例如结构、尺寸和材料使用中的差异等许多改动，无论是否在说明书中明确给出，都是可能的。实施例的范围至少与由随附的权利要求给出的范围那样广。

Claims (32)

1.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的装置，其包括：
头部姿态估计逻辑，用于确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态，其中所述图像图示所述人的一个或多个眼睛；
重力矢量估计逻辑，用于基于涉及所述图像并且由所述一个或多个捕捉/感测设备的感测设备感测的数据估计涉及所述一个或多个眼睛中的眼睛的重力矢量；
扭转估计逻辑，用于基于所述头部姿态和所述重力矢量中的一个或多个来计算总扭转角；以及
凝视矢量估计逻辑，用于估计与眼睛关联的凝视矢量来促成所述眼睛的跟踪，其中跟踪包括基于所述凝视矢量的眼睛的定位或移动。
2.如权利要求1所述的装置，其进一步包括接收/检测逻辑，用于分别从所述捕捉设备和所述感测设备接收所述图像和感测的数据，其中所述捕捉设备包括拍摄装置，并且其中所述感测设备包括加速计。
3.如权利要求1所述的装置，其进一步包括眼睛跟踪计算逻辑，用于计算所述眼睛的一个或多个轴，其中所述一个或多个轴包括涉及所述眼睛的光轴，其中所述光轴用于计算涉及所述眼睛的视轴。
4.如权利要求3所述的装置，其中基于所述光轴、视轴和总扭转角中的一个或多个来估计所述凝视矢量。
5.如权利要求1所述的装置，其中所述总扭转角的估计进一步基于第一扭转角和第二扭转角，其中所述第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。
6.如权利要求5所述的装置，其中所述倾斜扭转角对应于代表所述图像中所述人的头部的倾斜的头部姿态。
7.如权利要求1或5所述的装置，其中所述头部的倾斜对应于与所述头部的一个或多个取向关联的一个或多个自由度，其中所述一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中所述图像包括三维（“3D”）图像。
8.如权利要求5所述的装置，其中所述倾斜扭转角至少部分基于第一扭转矢量与第二扭转矢量之间的关系来测量，其中所述第一扭转矢量包括恒定的重力矢量，并且所述第二扭转矢量包括动态改变的眼对眼矢量。
9.如权利要求3所述的装置，其进一步包括特征提取和评估逻辑，用于提取涉及所述眼睛的一个或多个特征，其中所述一个或多个特征包括眼球、眼角膜、中央凹和所述眼睛中心中的一个或多个的位置，其中基于所述一个或多个特征确定所述光轴。
10.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的方法，其包括：
确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态，其中所述图像图示所述人的一个或多个眼睛；
基于涉及所述图像并且由所述一个或多个捕捉/感测设备的感测设备感测的数据估计涉及所述一个或多个眼睛中的眼睛的重力矢量；
基于所述头部姿态和所述重力矢量中的一个或多个来计算总扭转角；以及
估计与眼睛关联的凝视矢量来促成眼睛的跟踪，其中跟踪包括基于所述凝视矢量的眼睛的定位或移动。
11.如权利要求10所述的方法，其进一步包括分别从所述捕捉设备和所述感测设备接收所述图像和感测的数据，其中所述捕捉设备包括拍摄装置，并且其中所述感测设备包括加速计。
12.如权利要求10所述的方法，其进一步包括计算所述眼睛的一个或多个轴，其中所述一个或多个轴包括涉及所述眼睛的光轴，其中所述光轴用于计算涉及所述眼睛的视轴。
13.如权利要求12所述的方法，其中基于所述光轴、视轴和总扭转角中的一个或多个来估计所述凝视矢量。
14.如权利要求10所述的方法，其中所述总扭转角的计算进一步基于第一扭转角和第二扭转角，其中所述第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。
15.如权利要求14所述的方法，其中所述倾斜扭转角对应于代表所述图像中人的头部的倾斜的头部姿态。
16.如权利要求14所述的方法，其中所述头部的倾斜对应于与所述头部的一个或多个取向关联的一个或多个自由度，其中所述一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中所述图像包括三维（“3D”）图像。
17.如权利要求14所述的方法，其中所述倾斜扭转角至少部分基于第一扭转矢量与第二扭转矢量之间的关系来测量，其中所述第一扭转矢量包括恒定的重力矢量，并且所述第二扭转矢量包括动态改变的眼对眼矢量。
18.如权利要求12所述的方法，其进一步包括提取涉及所述眼睛的一个或多个特征，其中所述一个或多个特征包括眼球、眼角膜、中央凹和所述眼睛中心中的一个或多个的位置，其中基于所述一个或多个特征确定所述光轴。
19.至少一个机器可读介质，其包括多个指令，所述指令在计算设备上执行时实现或执行如权利要求10-18中任一项中所述的方法。
20.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的系统，其包括用于实现或执行如权利要求10-18中任一项中所述的方法的机构。
21.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的装置，其包括用于执行如权利要求10-18中任一项中所述的方法的部件。
22.一种计算设备，其设置成实现或执行如权利要求10-18中任一项中所述的方法。
23.一种通信设备，其设置成实现或执行如权利要求10-18中任一项中所述的方法。
24.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的装置，其包括：
用于确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态的部件，其中所述图像图示所述人的一个或多个眼睛；
用于基于涉及所述图像并且由所述一个或多个捕捉/感测设备的感测设备感测的数据估计涉及所述一个或多个眼睛中的眼睛的重力矢量的部件；
用于基于所述头部姿态和所述重力矢量中的一个或多个来计算总扭转角的部件；以及
用于估计与眼睛关联的凝视矢量来促成眼睛的跟踪，其中跟踪包括基于所述凝视矢量的眼睛的定位或移动的部件。
25.如权利要求24所述的装置，其进一步包括用于分别从所述捕捉设备和所述感测设备接收所述图像和感测的数据的部件，其中所述捕捉设备包括拍摄装置，并且其中所述感测设备包括加速计。
26.如权利要求24所述的装置，其进一步包括用于计算所述眼睛的一个或多个轴的部件，其中所述一个或多个轴包括涉及所述眼睛的光轴，其中所述光轴用于计算涉及所述眼睛的视轴。
27.如权利要求26所述的装置，其中基于所述光轴、视轴和总扭转角中的一个或多个来估计所述凝视矢量。
28.如权利要求24所述的装置，其中所述总扭转角的计算进一步基于第一扭转角和第二扭转角，其中所述第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。
29.如权利要求28所述的装置，其中所述倾斜扭转角对应于代表所述图像中人的头部的倾斜的头部姿态。
30.如权利要求28所述的装置，其中所述头部的倾斜对应于与所述头部的一个或多个取向关联的一个或多个自由度，其中所述一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中所述图像包括三维（“3D”）图像。
31.如权利要求28所述的装置，其中所述倾斜扭转角至少部分基于第一扭转矢量与第二扭转矢量之间的关系来测量，其中所述第一扭转矢量包括恒定的重力矢量，并且所述第二扭转矢量包括动态改变的眼对眼矢量。
32.如权利要求26所述的装置，其进一步包括用于提取涉及所述眼睛的一个或多个特征的部件，其中所述一个或多个特征包括眼球、眼角膜、中央凹和所述眼睛中心中的一个或多个的位置，其中基于所述一个或多个特征确定所述光轴。
CN201580044229.8A 2014-09-19 2015-07-16 促成计算设备上基于动态眼睛扭转的眼睛跟踪 Active CN106575162B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/491680 2014-09-19
US14/491,680 US9798383B2 (en) 2014-09-19 2014-09-19 Facilitating dynamic eye torsion-based eye tracking on computing devices
PCT/US2015/040768 WO2016043835A1 (en) 2014-09-19 2015-07-16 Facilitating dynamic eye torsion-based eye tracking on computing devices

Publications (2)

Publication Number Publication Date
CN106575162A CN106575162A (zh) 2017-04-19
CN106575162B true CN106575162B (zh) 2020-04-07

Family

ID=55525700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580044229.8A Active CN106575162B (zh) 2014-09-19 2015-07-16 促成计算设备上基于动态眼睛扭转的眼睛跟踪

Country Status (4)

Country Link
US (1) US9798383B2 (zh)
EP (1) EP3195092A4 (zh)
CN (1) CN106575162B (zh)
WO (1) WO2016043835A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10157313B1 (en) 2014-09-19 2018-12-18 Colorado School Of Mines 3D gaze control of robot for navigation and object manipulation
IN2015CH01313A (zh) * 2015-03-17 2015-04-10 Wipro Ltd
US10438215B2 (en) * 2015-04-10 2019-10-08 International Business Machines Corporation System for observing and analyzing customer opinion
KR20230150397A (ko) 2015-08-21 2023-10-30 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
KR20180044346A (ko) 2015-08-21 2018-05-02 매직 립, 인코포레이티드 눈꺼풀 형상 추정
CN108369653B (zh) 2015-10-16 2021-12-14 奇跃公司 使用眼睛特征的眼睛姿态识别
JP2019533209A (ja) * 2016-07-01 2019-11-14 アイサイト モバイル テクノロジーズ リミテッド 運転者監視のためのシステム及び方法
CN107665040A (zh) * 2016-07-27 2018-02-06 Fove股份有限公司 视线检测系统、偏移检测方法、偏移检测程序
WO2018035312A1 (en) * 2016-08-18 2018-02-22 Northwestern University Systems and methods for assessment of ocular cyclotorsion
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
US10993613B2 (en) * 2018-12-21 2021-05-04 Welch Allyn, Inc. Fundus image capturing
US10860098B1 (en) * 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking
CN112952838B (zh) * 2021-01-29 2023-08-11 中国电力科学研究院有限公司 一种基于眼动设备的潮流智能分析方法及装置
DE102022203677A1 (de) * 2022-04-12 2023-10-12 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Bestimmung einer momentanen Blickrichtung eines Nutzers einer Datenbrille mit einer virtuellen Netzhautanzeige und Datenbrille

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760980A (zh) * 2014-01-21 2014-04-30 Tcl集团股份有限公司 根据双眼位置进行动态调整的显示方法、系统及显示设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3166179B2 (ja) * 1991-01-22 2001-05-14 キヤノン株式会社 視線検出装置
US6578962B1 (en) 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US8317325B2 (en) 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US10045729B2 (en) * 2010-10-06 2018-08-14 Laboratorio De Otoneurologia Head tilt response
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
WO2012166803A2 (en) * 2011-05-31 2012-12-06 Mayo Foundation For Medical Education And Research Quantifying ocular counter roll
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
KR101977638B1 (ko) * 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
EP2928357A4 (en) * 2012-12-10 2016-07-20 Tracey Technologies Corp METHODS FOR OBJECTIVELY DETERMINING THE VISUAL AXIS OF THE EYE AND MEASURING THE REFRACTION
US9244529B2 (en) * 2013-01-27 2016-01-26 Dmitri Model Point-of-gaze estimation robust to head rotations and/or device rotations
US20140247232A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US9424467B2 (en) * 2013-03-14 2016-08-23 Disney Enterprises, Inc. Gaze tracking and recognition with image location
EP2805671B1 (en) * 2013-05-23 2019-03-20 Stiftung caesar - center of advanced european studies and research assoziiert mit der Max-Planck-Gesellschaft Ocular videography system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760980A (zh) * 2014-01-21 2014-04-30 Tcl集团股份有限公司 根据双眼位置进行动态调整的显示方法、系统及显示设备

Also Published As

Publication number Publication date
WO2016043835A1 (en) 2016-03-24
CN106575162A (zh) 2017-04-19
EP3195092A4 (en) 2018-05-02
US9798383B2 (en) 2017-10-24
EP3195092A1 (en) 2017-07-26
US20160085299A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
CN106575162B (zh) 促成计算设备上基于动态眼睛扭转的眼睛跟踪
US11573607B2 (en) Facilitating dynamic detection and intelligent use of segmentation on flexible display screens
US20210157149A1 (en) Virtual wearables
US20230013680A1 (en) Neural network system for gesture, wear, activity, or carry detection on a wearable or mobile device
US9852495B2 (en) Morphological and geometric edge filters for edge enhancement in depth images
US20170344107A1 (en) Automatic view adjustments for computing devices based on interpupillary distances associated with their users
US20200351551A1 (en) User interest-based enhancement of media quality
US20160372083A1 (en) Facilitating increased user experience and efficient power performance using intelligent segmentation on flexible display screens
US10715468B2 (en) Facilitating tracking of targets and generating and communicating of messages at computing devices
US20160195849A1 (en) Facilitating interactive floating virtual representations of images at computing devices
US9792673B2 (en) Facilitating projection pre-shaping of digital images at computing devices
US10045001B2 (en) Powering unpowered objects for tracking, augmented reality, and other experiences
US11570425B2 (en) Vanishing point stereoscopic image correction
US20170090582A1 (en) Facilitating dynamic and intelligent geographical interpretation of human expressions and gestures
US20240031678A1 (en) Pose tracking for rolling shutter camera
US9792671B2 (en) Code filters for coded light depth acquisition in depth images
US11949582B2 (en) Device clustering
US20220377306A1 (en) Misaligned vantage point mitigation for computer stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant