CN108156441B - 头戴式设备及在其中的计算机实现的方法 - Google Patents

头戴式设备及在其中的计算机实现的方法 Download PDF

Info

Publication number
CN108156441B
CN108156441B CN201711275264.8A CN201711275264A CN108156441B CN 108156441 B CN108156441 B CN 108156441B CN 201711275264 A CN201711275264 A CN 201711275264A CN 108156441 B CN108156441 B CN 108156441B
Authority
CN
China
Prior art keywords
user
video
time
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711275264.8A
Other languages
English (en)
Other versions
CN108156441A (zh
Inventor
E.达瓦米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108156441A publication Critical patent/CN108156441A/zh
Application granted granted Critical
Publication of CN108156441B publication Critical patent/CN108156441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于视频图像的视觉稳定的系统和方法。当利用可穿戴头戴式设备(HMD)的面向前的视频摄像机捕获前向视场中的视频图像时，可以使用HMD的眼睛跟踪设备获得HMD的用户的左眼和右眼的双眼注视方向。基于HMD的用户的左眼和右眼的所获得的双眼注视方向，可以在与视频图像的捕获同时的时间间隔期间确定用户的会聚注视方向作为时间的函数。然后可以通过利用用户的会聚注视方向与面向前的视频摄像机的图像平面的交点补偿面向前的视频摄像机的运动，来稳定捕获的视频图像。

Description

头戴式设备及在其中的计算机实现的方法
技术领域
本发明涉及一种可穿戴头戴式设备(HMD)以及在可穿戴头戴式设备(HMD)中计算机实现的方法。
背景技术
除非本文另外指出，否则本部分中描述的材料不是本申请中的权利要求的现有技术，并且并不因为包含在本部分中而被承认是现有技术。
可以利用各种技术来向用户提供对通信网络中的数据和服务的电子访问，以及支持用户之间的通信。例如，诸如计算机、电话和个人数字助理(personal digitalassistant，PDA)的设备可以用于通过包括互联网的通信网络来交换信息。通信网络反过来可以提供到服务器的通信路径和链接，该服务器可以托管(host)可以经由通信设备被用户访问或使用的应用、内容和服务。内容可以包括文本、视频数据、音频数据和/或其它类型的数据。
发明内容
在一个方面，本文中呈现的示例实施例在可穿戴头戴式设备(head-mountabledevice，HMD)中提供了一种计算机实现的方法，该方法包括：利用HMD的以及附接到HMD的面向前的视频摄像机，在前向视场(field of view，FOV)中捕获视频图像的同时，利用HMD的以及附接到HMD的面向左眼和右眼的视频摄像机获得HMD的用户的左眼和右眼的立体视频图像；基于HMD的用户的左眼和右眼的所获得的立体视频图像，在与视频图像的捕获同时的时间间隔期间，确定用户的会聚(convergent)注视(gaze)方向作为时间的函数；以及通过利用用户的会聚注视方向与面向前的视频摄像机的图像平面的交点补偿面向前的视频摄像机相对于会聚注视方向的运动，来稳定捕获的视频图像。
在另一方面，本文中呈现的示例实施例在可穿戴头戴式设备(HMD)中提供了一种计算机实现的方法，该方法包括：利用HMD的以及附接到HMD的面向前的视频摄像机在前向视场(FOV)中捕获视频图像的同时，利用HMD的以及附接到HMD的眼睛跟踪设备来获得HMD的用户的左眼和右眼中的至少一个的眼睛注视方向；基于所获得的眼睛注视方向，在与视频图像的捕获同时的时间间隔期间确定用户的注视方向作为时间的函数；以及通过利用用户的注视方向与面向前的视频摄像机的图像平面的交点补偿面向前的视频摄像机相对于注视方向的运动，来稳定所捕获的视频图像。
在另一方面，本文中呈现的示例实施例提供了可穿戴头戴式设备(HMD)，其包括：面向前的视频摄像机；眼睛跟踪设备；处理器；以及存储指令的存储器，指令在由处理器运行时使HMD执行操作，该操作包括：在利用面向前的视频摄像机在前向视场(FOV)中捕获视频图像的同时，利用眼睛跟踪设备获得HMD的用户的左眼和右眼的双眼注视方向；基于所获得的HMD的用户的左眼和右眼的双眼注视方向，在与视频图像的捕获同时的时间间隔期间，确定用户的会聚注视方向作为时间的函数；以及通过利用用户的会聚注视方向与面向前的视频摄像机的图像平面的交点补偿面向前的视频摄像机相对于会聚注视方向的运动，来稳定所捕获的视频图像。
通过阅读下面的详细描述、适当参考附图，这些以及其它方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外，应该理解，本文提供的发明内容和其它描述和附图仅通过示例的方式意图是说明性实施例，这样，许多变化都是可能的。例如，可以重新排列、组合、分配、消除或以其它方式改变结构元件和处理步骤，同时保持在所要求保护的实施例的范围内。
附图说明
图1A是根据示例实施例的示例可穿戴头戴式设备的第一视图。
图1B是根据示例实施例的图1A的示例可穿戴头戴式设备的第二视图。
图1C示出了根据示例实施例的另一示例可穿戴头戴式设备。
图1D图示了根据示例实施例的另一示例可穿戴头戴式设备。
图2是根据示例实施例的可穿戴头戴式设备的框图。
图3是根据示例实施例的通信网络的简化框图。
图4A是根据示例实施例的计算设备的框图。
图4B描绘了根据示例实施例的具有图4A中所示类型的计算设备的集群(cluster)的网络。
图5是根据示例实施例的基于眼睛移动的视频稳定的示例的概念图。
图6是示出根据示例实施例的基于眼睛移动的视频稳定的示例方法的流程图。
具体实施方式
1.概览
头戴式设备(HMD)可以包括面向前的视频摄像机，被配置为用于在HMD的用户或穿戴者的前向视场(FOV)中捕获视频图像或视频数据(或者仅“视频”)。由头戴式设备(HMD)的面向前的视频摄像机捕获到的视频可能不稳定且抖动，特别是如果用户四处移动时。用于稳定抖动和/或不稳定视频图像的已知技术通常涉及指示在捕获期间视频摄像机的运动的辅助测量，诸如从运动传感器等获得的测量。其它技术可以涉及一些形式的运动分析建模以近似纠正抖动和/或不稳定的视频图像。然而，这些技术在计算上(computationally)可能是昂贵的，并且缺乏视频捕获期间视频摄像机的实际运动的可靠指标。
与视频摄像机运动的基于传感器的测量或基于模型的近似相比，用户的眼睛运动和注视方向可以为纠正固定到由用户穿戴的HMD的视频摄像机的运动提供自然的基础。通常，用户的眼睛或双眼被固定在FOV内的特定物体或点处，并且大脑将眼睛逆着头部移动以保持对周围物体的聚焦。因此，在视频捕获期间用户的眼睛移动和注视方向可以提供前向视场(FOV)中的一个或多个感兴趣点的指示，其反过来可以用于确定对于面向前视频摄像机运动的可靠和精确的补偿，使得视频稳定自然并且在计算上便宜。
在示例实施例中，通过跟踪眼睛提取的注视信息可以被“碰撞(collie)”以确定用户的前向FOV中注视会聚的点。然后可以将会聚点映射到面向前的视频摄像机的图像平面。例如，映射可以识别对应于用户的会聚注视方向的像素或像素组。这样做会在用户的会聚注视方向的视频帧上提供即时坐标。作为时间的函数，因此该技术提供跨面向前的视频摄像机的图像平面中的像素的轨迹，其表示面向前的视频摄像机相对于用户的基本上固定的注视方向的运动。因此轨迹对应于补偿视频摄像机运动的运动路径。施加该轨迹作为对面向前的摄像机的指示方向的纠正，能够使由面向前的视频摄像机捕获的视频图像稳定。
在示例实施例中，可穿戴HMD可以包括用于捕获HMD的穿戴者(用户)的前向FOV的视频图像的面向前的摄像机，并且还可以包括用于获得穿戴者的左眼和右眼的眼睛移动以及注视方向的两个面向眼睛的摄像机。更具体地说，面向左眼的摄像机能够捕获穿戴者左眼的视频图像，以及面向右眼的摄像机能够捕获穿戴者右眼的视频图像。左眼和右眼的视频捕获可以与通过面向前的视频摄像机的前向FOV的视频捕获同时执行。左视频图像和右视频图像可以被组合以产生或生成穿戴者眼睛的立体视频图像。如上所述，将在立体视频图像中捕获的左眼和右眼的相应注视方向融合提供了穿戴者的会聚注视方向，然后可以将其映射到面向前的视频摄像机的图像平面以用于图像稳定。
在示例性实施例中，可以实时施加对于面向前的视频摄像机的运动的纠正或补偿，因为FOV的面向前的视频图像和穿戴者的眼睛的立体视频图像被同时捕获。在附加的或可选的示例实施例中，可以在视频图像捕获的同时之后的时间施加对于面向前的视频摄像机的运动的纠正或补偿。
在示例实施例中，以上技术可以被施加于仅跟踪HMD的穿戴者的一只眼睛。在这种情况下，所确定的注视方向可能不一定对应于会聚注视方向。然而，它仍然可以提供在面向前的视频摄像机的图像平面中的轨迹，其可以用于对面向前的视频摄像机的运动进行纠正。当注视方向朝着非常远的点(例如，“无限焦距”)时，将该技术应用于一只眼睛或两只眼睛之间的差别可能变得微不足道。
2.示例系统和网络
一般来说，示例实施例可以以可穿戴计算机的形式、或者可以采取可穿戴计算机的形式来实现，并且将在本文通过示例的方式这样示出。具体地，示例实施例可以与头戴式设备(HMD)相关联或采取头戴式设备(HMD)的形式来实现，该头戴式设备(HMD)可通信地连接到从HMD交换数据的计算系统(诸如可能是网络的一部分或连接到网络的基于云的服务器)。
然而，示例实施例还可以以其它设备(诸如移动电话等)的形式、或者采取其它设备(诸如移动电话等)的形式来实现。示例实施例还可以包括非暂时性计算机可读介质(或多个非暂时性计算机可读介质)和/或可以采取非暂时性计算机可读介质(或多个非暂时性计算机可读介质)的形式，该非暂时性计算机可读介质(或多个非暂时性计算机可读介质)具有存储在其上的、可由一个或多个处理器运行以提供本文描述的功能的程序指令。另外，示例实施例还可以进一步包括诸如可穿戴计算机或移动电话的设备、或者这种设备的子系统，和/或采取诸如可穿戴计算机或移动电话的设备、或者这种设备的子系统的形式，该设备包括具有在其上存储了这种程序指令的这种非暂时性计算机可读介质。
a.示例可穿戴计算系统
根据示例实施例，可穿戴计算系统可以包括各种组件，该组件包括一个或多个处理器、一种或多种形式的存储器、一个或多个传感器设备、一个或多个I/O设备、一个或多个通信设备和接口、以及头戴式设备(HMD)，所有以使用户可穿戴的方式共同布置。可穿戴计算系统还可以包括存储在一种或另一种形式的存储器中并且可由系统的一个或另一个处理器运行的机器语言逻辑(例如，软件、固件和/或硬件指令)，以便实现一个或多个程序、任务、应用等。可穿戴计算系统可以以各种形式因素(form factor)被配置，该各种形式因素包括但不限于，集成在HMD中作为统一的数据包，或分布式的、具有集成在HMD中的一个或多个元件以及分离可穿戴的一个或多个其它元件(例如，作为服装、在服装口袋中、作为饰品等)。
虽然以上被描述为可穿戴计算系统的组件，但是有时候将HMD考虑为是(或至少表示)可穿戴计算系统是方便的。因此，除非另外指明，否则术语“可穿戴头戴式设备”(或“可穿戴HMD”)或仅“头戴式设备”(或“HMD”)将在本文中用于指代可穿戴计算系统，其具有集成(统一的数据包)形式、分布式(或部分分布式)形式或其它可穿戴形式。
图1A示出了用于接收、传输和显示数据的示例性可穿戴计算系统100。根据示例性实施例，可穿戴计算系统100被描绘为采取眼镜102的形式的可穿戴HMD，在图1A中面向外部的视图中示出。然而，将会理解，可以附加地或可选地使用其它类型的可穿戴计算设备，包括仅具有一个透镜显示元件的单眼显示配置。
如图1A所示，眼镜102包括框架元件、透镜元件110和112、以及延伸侧臂114和116，该框架元件包括透镜框架104和106、以及中心框架支撑108。中心框架支撑108、以及延伸侧臂114和116被分别配置为经由用户的鼻子和耳朵将眼镜102固定到用户的脸部。框架元件104、106和108以及延伸侧臂114和116中的每一个可以由塑料或金属的实心结构形成，或者可以由具有类似材料的中空结构形成以允许线路和组件互连以通过眼镜102内部布线。透镜元件110和112中的每一个可以包括能够直接或通过反射表面来显示图像或图形的材料。另外，透镜元件110和112中的每个的至少一部分可以是足够透明的以允许用户透视透镜元件。镜头元件的这两个特征可以组合；例如提供增强现实或平视显示器，其中投影的图像或图形可以叠加在用户通过透镜元件感知的现实世界视图之上或与用户通过透镜元件感知的现实世界视图一起被提供。
延伸侧臂114和116每个是分别从框架元件104和106延伸出的突出，并且定位在用户的耳朵后面以将眼镜102固定到用户。延伸侧臂114和116可通过围绕用户头部的后部延伸而进一步将眼镜102固定到用户。另外地或替代地，可穿戴计算系统100可以连接到头戴式头盔结构或者与头戴式头盔结构成一体。其它可能性也存在。
可穿戴计算系统100还可以包括机载计算系统118、面向前的视频摄像机120、传感器122、手指可操作触摸板124以及通信接口126。示出机载计算系统118定位在眼镜102的延伸侧臂114上；然而，机载计算系统118可以被提供在眼镜102的其它部分上。机载计算系统118可以包括例如，一个或多个处理器和一种或多种形式的存储器。机载计算系统118可以被配置为接收和分析来自摄像机120、传感器122、手指可操作触摸板124和无线通信接口126(以及可能来自其它传感设备和/或用户接口)的数据并且生成图像用于输出到透镜元件110和112。
示出面向前的视频摄像机120定位在眼镜102的延伸侧臂114上；然而，面向前的视频摄像机120可以被提供在眼镜102的其它部分上。面向前的视频摄像机120可以被配置成以各种分辨率或以不同的帧率在HMD的穿戴者的前向FOV中捕获视频图像。小型视频摄像机，诸如在蜂窝电话或网络摄像机中使用的那些，可以被合并到可穿戴系统100的示例中。尽管图1A示出了一个面向前的摄像机120，但是可以使用更多的摄像机，并且每个可以被配置为捕获相同的视图，或捕获不同的视图。例如，面向前的视频摄像机120可以捕获用户所感知的真实世界视图的至少一部分。由面向前的视频摄像机120捕获的这个面向前的图像然后可以被用于生成增强的现实，其中计算机生成的图像显得与用户所感知的真实世界的视图交互。
例如，传感器122可以用于测量和/或确定位置、朝向和运动信息。尽管表示为安装在眼镜102的延伸侧臂116上的单个组件，但是传感器122实际上可以包括被提供在眼镜102的一个或多个不同部分上的多于一种类型的传感器设备或元件。
以示例的方式而非限制，传感器122可以包括一个或多个运动检测器(例如，一个或多个陀螺仪和/或加速度计)、一个或多个磁强计以及位置确定设备(例如，GPS设备)。陀螺仪、加速度计和磁力计可以集成到通常所说的“惯性测量单元”(inertial measurementunit，IMU)中。IMU反过来可以是可能与位置信息(例如，来自GPS设备)一起从IMU传感器数据计算(例如，使用机载计算系统118)HMD的指向方向的“姿态航向参考系统”(attitudeheading reference system，AHRS)的一部分。相应地，传感器122可以包括或者是AHRS的一部分。其它感测设备或元件可以被包括在传感器122内并且其它感测功能可以由传感器122执行。
示出为安装在眼镜102的延伸侧臂114上的手指可操作触摸板124可以被用户用来输入命令。然而，手指可操作触摸板124可以被定位在眼镜102的其它部分上。而且，在眼镜102上可以存在多于一个手指可操作触摸板。手指可操作触摸板124可以被用户使用以输入命令。除了其它可能性之外，手指可操作触摸板124可以经由电容感测、电阻感测或表面声波处理来感测手指的位置和移动中的至少一个。手指可操作触摸板124可以能够在平行于衬垫表面的方向上、在垂直于衬垫表面的方向上或在这两者上感测手指移动，并且还可以能够感测施加的压力水平。手指可操作触摸板124可以由一个或多个半透明或透明绝缘层以及一个或多个半透明或透明导电层形成。手指可操作触摸板124的边缘可以形成为具有凸起的、凹陷的或粗糙的表面，从而当用户的手指到达手指可操作触摸板124的边缘时向用户提供触觉反馈。虽然在图1A中未示出，但眼镜102可以包括一个或多个附加的手指可操作触摸板，例如附接到延伸侧臂116，其可以独立于手指可操作触摸板124来操作以提供复制和/或不同的功能。
通信接口126可以包括用于支持可穿戴计算系统100与远程设备或通信网络之间的有线和/或无线通信的天线和收发器设备。例如，通信接口126可以支持与3G和/或4G蜂窝无线电技术(例如CDMA、EVDO、GSM、UMTS、LTE、WiMAX)，以及诸如蓝牙、Zigbee和WiFi(例如，802.11A、802.11B、802.11g)的无线局域或个人区域网络技术中的任何一个或全部的无线通信。其它类型的无线接入技术也可以被支持。通信接口126可以使能可穿戴计算系统100与诸如另一无线通信设备(例如，蜂窝电话或另一可穿戴计算设备)、通信网络中的计算机的用户、或通信网络中的服务器或服务器系统的一个或多个终端设备之间的通信。例如，通信接口126也可以支持与以太网或USB连接的有线接入通信。
图1B示出了图1A的可穿戴计算系统100的面向内部的视图，表示呈现在HMD的穿戴者的前向FOV中的HMD的视图。除了图1A中所示的多个组件之外，图1B还将眼镜102描绘为包括被耦合到中心框架支撑108的内表面并且被配置为捕获HMD 102的穿戴者的左眼的实时视频和/或快速静止图像的第一面向眼睛的视频摄像机128。另外，第二面向眼睛的视频摄像机130被示出为被耦合到中心框架支撑108的内表面并且被配置为捕获HMD 102的穿戴者的左眼的实时视频和/或快速静止图像。如下所述，穿戴者的左眼和右眼的实时图像可以组合地产生可以被处理和分析以提供HMD102的穿戴者的准确的注视方向的实时立体视频图像和/或快速静止图像。该处理和分析可以实时完成以产生实时的注视和眼睛移动信息，和/或在事后的随后的时间产生相同或相似的信息。在其它示例实施例中，可以通过能够跟踪眼睛移动和/或获取眼睛跟踪数据的其它形式的设备来替换或增强面向眼睛的视频摄像机128和130，该眼睛跟踪数据可以被分析以确定用户的注视方向作为时间的函数。
尽管不必要在图1A或图1B中示出，但HMD 102可包括被配置为用于在穿戴者的前向FOV中显示静止和/或视频(移动)图像的一个或多个显示元件和/或组件。显示元件和/或组件可以包括诸如光学波导等的投影元件，用于将虚拟图像引导到HMD的穿戴者可以看到它们的前向FOV中。当HMD102被用户或穿戴者穿戴时，然后可以通过具有投影的或显示的图像(诸如显示图像132和134)的透镜元件110和112同时看到前向视场。这在图1B中通过左透镜元件112中的视场(FOV)物体136-L和右透镜元件110中的相同FOV物体136-R来表示。所显示的图像和在FOV中观察到的真实物体的组合可能是上面提到的增强现实的一个方面。另外，当右侧和左侧图像由HMD的穿戴者合成在一起时，可以为右侧和左侧透镜元件生成的图像产生虚拟三维空间。然后可以使虚拟物体看起来位于并占据通过透镜透明地观看的实际三维空间。
在替代实施例中，也可以使用其它类型的显示元件。例如，透镜元件110、112可以包括：诸如电致发光显示器或液晶显示器的透明或半透明矩阵显示器；用于将图像传递给用户的眼睛的一个或多个波导；和/或能够将焦点对准的接近眼睛的图像传递给用户的其它光学元件。相应的显示驱动器可以布置在框架元件104和106内用于驱动这种矩阵显示器。可选地或附加地，诸如低功率激光器或LED源和伴随的扫描系统的扫描激光设备可以将光栅显示直接绘制到用户的一个或多个眼睛的视网膜上。然后用户可以基于到达视网膜的光来感知光栅显示。
尽管在图1A和图1B中未示出，但是可穿戴系统100还可以包括用于音频输出的一个或多个组件。例如，可穿戴计算系统100可以配备有(多个)扬声器、(多个)耳机和/或(多个)耳机插孔。也存在其它可能性。
尽管图1A和图1B中示出的示例实施例的可穿戴计算系统100被配置为集成在HMD组件中的统一的数据包，但是其它配置也是可能的。例如，尽管在图1A和图1B中没有明确地示出，但是可穿戴计算系统100可以以其中机载计算系统118的全部或部分被配置为远离眼镜102的分布式架构来实现。例如，一些或者所有的机载计算系统118可以作为附件被制成可穿戴在服装中或服装上，诸如，在衣服口袋中或皮带夹上。类似地，图1A和/或图1B中所描绘的集成在眼镜102中的其它组件也可以从HMD组件远程配置。在这种分布式架构中，某些组件可能仍然集成在HMD组件中。例如，一个或多个传感器(例如，磁强计、陀螺仪等)可以被集成在眼镜102中。
在示例分布式配置中，HMD组件(包括其它集成组件)可以经由通信接口126(或者经由与通信接口126不同的专用连接)与远程组件通信。举例来说，有线(例如USB或以太网)或无线(例如WiFi或蓝牙)连接可支持远程计算系统与HMD组件之间的通信。另外，例如，这样的通信链路可以在HMD组件和诸如膝上型计算机或移动电话的其它远程设备之间实现。
图1C示出了根据示例性实施例的另一可穿戴计算系统，其采取HMD152的形式。HMD152可包括框架元件和侧臂，诸如针对图1A和图1B描述的那些。HMD 152可另外地包括机载计算系统154和面向前的视频摄像机156，诸如针对图1A和图1B所描述的那些。视频摄像机156被示出为安装在HMD 152的框架上。然而，摄像机156也可以安装在其它位置。虽然未明确示出，但是图1C和图1D中的每一个中的HMD可以包括被配置为面向眼睛的视频摄像机和/或用于跟踪HMD的穿戴者的眼睛移动的其它设备或元件。
如图1C所示，HMD 152可以包括可以耦合到设备的单个显示器158。显示器158可以形成在HMD 152的透镜元件中的一个上，诸如针对图1A和图1B描述的透镜元件，并且可以被配置为在用户的物理世界的视场中覆盖计算机生成的图形。示出了显示器158被提供在HMD152的透镜的中心，然而，显示器158可以被提供在其它位置。显示器158可经由通过光学波导160耦合到显示器158的计算系统154控制。
图1D示出根据示例性实施例的另一可穿戴计算系统，其采取HMD 172的形式。HMD172可包括侧臂173、中心框架支撑174和具有鼻托175的桥接(bridge)部分。在图1D所示的示例中，中心框架支撑174连接侧臂173。HMD 172不包括包含透镜元件的透镜框架。HMD 172可以附加地包括机载计算系统176和视频摄像机178，诸如针对图1A和图1B所描述的那些。
HMD 172可以包括可以耦合到侧臂173或中心框架支撑174中的一个的单个透镜元件180。透镜元件180可以包括诸如针对图1A和图1B描述的显示器的显示器，并且可以被配置为在用户的物理世界的视图上覆盖计算机生成的图形。在一个示例中，单个透镜元件180可以被耦合到延伸侧臂173的内侧(即，当被用户穿戴时暴露于用户头部的一部分的侧面)。单透镜元件180可以当HMD 172被用户穿戴时被定位在用户的眼睛的前面或附近。例如，如图1D所示，单个透镜元件180可以定位在中心框架支撑174的下方。
图2是描绘根据示例实施例的示例可穿戴计算系统202的功能组件的框图。如图2所示，示例可穿戴计算系统202包括一个或多个处理单元204、数据装置206、收发器212、通信接口214、用户输入/输出(I/O)设备216以及传感器设备228，其全部可以通过系统总线238或其它通信互连设备耦合在一起。这些组件可以被布置为支持根据可穿戴计算系统(诸如图1A和1B中所示的系统100，或其它可穿戴HMD)的示例实施例的操作。
一个或多个处理单元204可以包括一个或多个通用处理器(例如，INTEL微处理器)和/或一个或多个专用处理器(例如专用数字信号处理器、专用集成电路等)。反过来，数据存储装置206可以包括一个或多个易失性和/或非易失性存储组件，诸如磁存储器或光存储器或磁盘存储装置。数据存储装置206可以整体地或部分地与处理单元204集成例如作为高速缓冲存储器或寄存器。如进一步所示，数据存储装置206被配备为保存程序逻辑208和程序数据210。
程序逻辑208可以包括定义可由一个或多个处理单元204运行以执行本文描述的各种功能的例程的机器语言指令(例如，软件代码、固件代码等)。程序数据210可以包含由一个或多个处理器可运行的一个或多个应用或程序使用或操纵的数据。除其它形式的数据外，这样的数据可以包括特定于程序的数据、用户数据、输入/输出数据、传感器数据或在一个或多个程序或应用的运行过程中接收、存储、检索、传输、分析或修改其它数据和信息。
收发器212和通信接口214可以被配置为支持可穿戴计算系统202与诸如另一无线通信设备(例如，蜂窝电话或另一可穿戴计算设备)、用户通信网络中的计算机、或通信网络中的服务器或服务器系统的一个或多个终端设备之间的通信。收发器212可以与一个或多个天线耦合以使能无线通信，例如，如上文针对图1A中所示的无线通信接口126所描述的。收发器212还可以与用于有线通信的一个或多个有线连接器(诸如以太网或USB)耦合。收发器212和通信接口214也可以用于支持分布式架构内的通信，在该分布式架构中可穿戴计算系统202的各个组件位于与彼此远离。在这个意义上，系统总线238可以包括支持这种分布式组件之间的通信的元件和/或部分。
如图所示，用户I/O设备216包括摄像机218、显示器220、扬声器222、麦克风224和触摸板226。摄像机218可以对应于面向前的摄像机120和/或在上面图1A和图1B的讨论中描述的面向眼睛的视频摄像机128和130。类似地，显示器220可以对应于图像处理和显示系统，其用于使HMD的用户(穿戴者)可以看到图像。除了其它元件外，显示器220还可以包括分别与透镜元件112和110耦合的第一投影仪128和第二投影仪130，用于生成如上针对图1B所描述的图像显示。触摸板226可以对应于如针对图1A所描述的手指可操作触摸板124。扬声器422和麦克风224可以类似地对应于参考图1A和图1B的以上讨论中的组件。用户I/O设备216中的每一个还可以包括设备控制器和存储的可运行的逻辑指令，以及用于经由系统总线238通信的接口。
可以对应于上面针对图1A所描述的传感器122的传感器设备228包括位置传感器230、运动传感器232、一个或多个磁强计234以及方位传感器236。位置传感器230可以对应于全球定位系统(GPS)设备、或其它位置确定设备(例如，移动电话系统三角测量设备等)。运动传感器232可以对应于一个或多个加速度计和/或一个或多个陀螺仪。例如，典型的配置可以包括沿着三个相互正交的轴定向(orient)的三个加速度计。也可以使用三个磁力计的类似配置。
方位传感器236可以包括AHRS或者是AHRS的一部分，AHRS用于提供用于确定HMD相对于局部地面坐标系统的参考指向方向的角度朝向的类似经纬仪的功能。例如，方位传感器可以确定HMD的前向指向方向相对于水平的高度角和相对于诸如地理的(或大地测量学的)北方的参考方向的方位角。其它角度和坐标系统也可以用来确定朝向。
传感器设备228中的每一个还可以包括设备控制器和存储的可运行的逻辑指令，以及用于经由系统总线238通信的接口。
应该理解的是，可以存在可穿戴计算系统或可穿戴HMD(诸如图2中示出的可穿戴计算系统202)的许多具体实施方式。此外，本领域的技术人员将理解如何设计和构建这样的实施方式。
b.示例网络
在示例实施例中，HMD可以支持与网络的通信、以及与网络中的或者与网络通信地连接的设备的通信。这种通信可以包括HMD与诸如另一个连接的HMD的另一个设备、移动计算设备(例如，移动电话或智能电话)或服务器之间的信息交换。信息交换可以支持服务和/或应用、或者是服务和/或应用的一部分，其包括但不限于上传和/或下载内容(例如，音乐、视频等)以及客户端-服务器通信等等。
图3示出了其中一个或多个HMD可参与通信的网络300的一个视图。如所描绘的，网络300包括连接到无线电接入网络(RAN)304、无线接入网络306和有线接入网络308中的每一个的数据网络302。数据网络302可以表示诸如互联网或包括互联网的一个或多个互连的通信网络。无线电接入网络304可以表示支持例如3G和/或4G蜂窝无线电技术(例如CDMA、EVDO、GSM、UMTS、LTE、WiMAX)的服务提供商的蜂窝无线电网络。无线接入网络306可以表示支持诸如蓝牙、ZigBee和WiFi(例如，802.11A、802.11B、802.11g)的住宅或热点无线区域网络。有线接入网络308可以表示支持例如以太网的住宅或商业局域网。
网络300还包括连接到数据网络302的服务器系统310。服务器系统310可以表示用于向用户提供一种或另一种类型的服务的网站或其它基于网络的设施。例如，根据示例实施例，服务器系统310可以托管在线社交网络服务或网站。作为另一个示例，服务器系统310可以提供基于网络的信息搜索服务。作为又一个示例，服务器系统310可以从HMD接收眼睛跟踪数据，并且将分析结果返回给HMD。
图3还示出经由三个接入网络中的一个连接到网络300的各种终端用户和/或客户端设备。举例来说，HMD 312经由空中接口313(例如，3G或4G技术)连接到RAN 304，并且HMD314经由空中接口315(例如，3G或4G技术)连接到RAN 304。还举例来说，HMD 316经由空中接口317(例如，WiFi技术)连接到无线接入网络306。另外并且作为示例，示出了移动电话318经由空中接口319连接到RAN 304，示出了智能电话320经由空中接口321连接到无线接入网络306，并且示出了膝上型计算机322经由有线接口323连接到有线接入网络308。终端用户设备中的每一个可以经由其与网络的各自连接来与一个或另一个联网设备进行通信。这些终端用户设备中的一些设备也可以直接与彼此(或其它未示出的终端用户设备)通信。
HMD 312、314和316中的每一个被描绘为由不同用户(每个用户由卡通脸部表示)穿戴以便表明可能与每个HMD相关联的可能的与用户有关的变量、情况和应用。例如，HMD312可以一次将内容上传到在线社交网络服务，而HMD 314可以在相同时间或另一时间向基于网络的信息搜索服务发送请求。用户可以经由他们相应的HMD与彼此和/或与网络交互。其它示例也是可能的。为了本文的大部分讨论的目的，通常仅参考HMD而不参考HMD的用户(或穿戴者)就足够了。将根据需要做出对HMD的用户(或穿戴者)的明确参考或HMD的用户(或穿戴者)的讨论。
c.示例服务器系统
诸如图3中的服务器系统310的网络服务器可以采取各种形式并且以一种或多种不同的方式来实现。图4A和图4B示出了服务器系统的两个示例实施例：包括代表性计算设备(图4A)的集成系统，和包括通信地连接在一起的多个代表性计算设备以及另外的系统元件的分布式系统(图4B)。
图4A是根据示例实施例的计算设备400的框图。计算设备400可以包括用户接口模块401、网络通信接口模块402、一个或多个处理器403和数据存储装置404，所有这些都可以经由系统总线、网络或其它连接机构405链接到一起。计算设备400可以是能够接收数据并提供用于与接收的数据相关联地显示的信息的任何类型的设备。例如，设备400可以采取可穿戴计算设备的形式，或被包括为可穿戴计算设备的一部分，诸如参考图1A至图1D所描述的HMD 102、HMD 152或HMD 172。此外，如上所述，计算设备400也可以采取集成服务器系统的形式或被包括在集成服务器系统中。计算设备400也可以采取其它系统的其它形式和/或被包括作为其它系统的一部分。
用户接口模块401可操作用于向外部用户输入/输出设备发送数据和/或从外部用户输入/输出设备接收数据。例如，用户接口模块401可以被配置为向/从诸如键盘、小键盘、触摸屏、计算机鼠标、跟踪球、操纵杆和/或其它类似的设备的现在已知或以后开发的用户输入设备发送/接收数据。用户接口模块401还可以被配置为向诸如一个或多个阴极射线管(cathode ray tube，CRT)、液晶显示器(liquid crystal display，LCD)、发光二极管(light emitting diode，LED)、使用数字光处理(digital light processing，DLP)技术的显示器、打印机、灯泡、和/或其它类似的设备的现在已知或以后开发的用户显示设备提供输出。用户接口模块401还可以被配置为生成可听输出，诸如扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机和/或现在已知或以后开发的其它类似设备。
网络通信接口模块402可以包括被配置为经由诸如图3所示的网络302的网络进行通信的一个或多个无线接口407和/或有线接口408。无线接口407可以包括一个或多个的无线收发器，诸如蓝牙收发器、或许根据IEEE802.11标准(例如，802.11A、802.11B、802.11g)操作的Wi-Fi收发器、或许根据IEEE 802.16标准操作的WiMAX收发器、和/或可配置为经由无线网络进行通信的其它类型的无线收发器。有线接口408可以包括一个或多个有线收发器，诸如以太网收发器、通用串行总线(Universal Serial Bus，USB)收发器或可被配置为经由导线、双绞线、同轴电缆、光链路、光纤链路或其它物理连接与有线网络通信的类似的收发器。
在一些实施例中，网络通信接口模块402可以被配置为提供可靠的、安全的、压缩的和/或认证的通信。对于本文描述的每个通信，可以提供用于确保可靠通信(例如，有保证的消息传递)的信息或许作为消息报头和/或页脚的一部分(例如，分组/消息排序信息、(多个)封装报头和/或页脚、大小/时间信息、以及诸如循环冗余校验(cyclic redundancycheck，CRC)和/或奇偶校验值的传输验证信息)。通信可以使用一个或多个压缩算法和/或协议、和/或解压缩算法和/或协议(诸如但不限于一个或多个无损(lossless)数据压缩算法和/或一个或多个有损(lossy)数据压缩算法)来压缩和解压缩。可以使用一个或多个密码协议和/或算法(例如但不限于DES、AES、RSA、Diffie-Hellman和/或DSA)使通信变得安全(例如，被编码或被加密)和/或被解密/或被解码。也可以使用其它密码协议和/或算法，或除本文列出的密码协议和/或算法之外，以保护(然后解密/解码)通信。
一个或多个处理器403可以包括一个或多个通用处理器和/或一个或多个专用处理器(例如，数字信号处理器、专用集成电路等)。一个或多个处理器403可被配置为运行包含在数据存储装置404中的计算机可读程序指令406和/或如本文所述的其它指令。
数据存储装置404可以包括可以由处理器403中的至少一个读取或访问的一个或多个计算机可读存储介质。一个或多个计算机可读存储介质可以包括易失性和/或非易失性存储组件，诸如光学、磁性、有机或其它存储器或盘存储装置，该数据存储装置404可以整体地或部分地与一个或多个处理器403中的至少一个集成。在一些实施例中，数据存储装置404可以使用单个物理设备(例如，一个光学、磁性、有机或其它存储器或磁盘存储单元)来实现，而在其它实施例中，数据存储装置404可以使用两个或更多个物理设备来实现。
与本文描述的数据存储装置404和/或其它计算机可读介质相关联的计算机可读存储介质还可以包括非暂时性计算机可读介质，诸如像寄存器存储器、处理器缓存和随机存取存储器(RAM)一样短时间段存储数据的计算机可读介质。与本文描述的数据存储装置404和/或其它计算机可读介质相关联的计算机可读存储介质还可以包括存储更长时间段的程序代码和/或数据的非暂时性计算机可读介质，诸如次要的或持续的长期存储器，例如像只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。与本文描述的数据存储器404和/或其它计算机可读介质关联的计算机可读存储介质也可以是任何其它易失性或非易失性存储系统。与这里描述的数据存储设备404和/或其它计算机可读介质关联的计算机可读存储介质可以被认为是例如计算机可读存储介质或者有形存储设备。
数据存储装置404可以包括计算机可读程序指令406以及或许包括附加数据。在一些实施例中，数据存储装置404可以附加地包括执行本文描述的技术、方法的至少一部分和/或本文描述的设备和网络的功能的至少一部分所要求的存储装置。
图4B描绘了根据示例实施例的具有计算集群409a、409b和409c的网络406。在图4B中，诸如图3中的服务器系统310的网络服务器的功能可以分布在三个计算集群409a、409b和408c之间。计算集群409a可以包括由局域集群网络412a连接在一起的一个或多个计算设备400a、集群存储阵列410a和集群路由器411a。类似地，计算集群409b可以包括由局域集群网络412b连接在一起的一个或多个计算设备400b、集群存储阵列410b和集群路由器411b。类似地，计算集群409c可以包括由局域集群网络412c连接在一起的一个或多个计算设备400c、集群存储阵列410c和集群路由器411c。
在一些实施例中，计算集群409a、409b和409c中的每一个可具有相同数量的计算设备、相同数量的集群存储阵列以及相同数量的集群路由器。然而，在其它实施例中，计算集群409a、409b和409c中的一些或全部可以具有不同数量的计算设备、不同数量的集群存储阵列和/或不同数量的集群路由器。每个计算集群中的计算设备、集群存储阵列和集群路由器的数量可以取决于分配给每个计算集群的计算任务或多个任务。
计算集群409a、409b和409c的集群存储阵列410a、410b和410c可以是包括被配置为管理对硬盘驱动器组的读取和写入访问的磁盘阵列控制器的数据存储阵列。磁盘阵列控制器单独或与其各自的计算设备结合也可以被配置为管理存储在集群存储阵列中的数据的备份或冗余副本以防止磁盘驱动器或其它集群存储阵列故障和/或网络故障，该故障和/或网络故障阻止一个或多个计算设备访问一个或多个集群存储阵列。
计算集群409a、409b和409c中的集群路由器411a、411b和411c可以包括被配置为为计算集群提供内部和外部通信的网络设备。例如，计算集群409a中的集群路由器411a可以包括一个或多个互联网交换和/或路由设备，该一个或多个互联网交换和/或路由设备被配置为提供(i)计算设备400a和集群存储阵列410a之间经由局域集群网络412a的局域网通信、和/或(ii)计算集群409a与计算集群409b和409c之间经由广域网络连接413a到网络406的广域网通信。集群路由器411b和411c可以包括类似于集群路由器411a的网络设备，并且集群路由器411b和411c可以为计算集群409b和409b执行集群路由器411a为计算集群409a执行的类似的网络功能。
3.基于眼动和注视方向的视频稳定
HMD的用户可以在穿戴HMD的同时利用前向摄像机获取视频数据。对于诸如图1A和图1B所示的配置，面向前的视频摄像机(例如面向前的摄像机120)具有相对于HMD固定的FOV方向，HMD本身将通常相对于穿戴者保持固定朝向。这样，面向前的视频摄像机的FOV方向将与HMD一起移动，HMD相反随着穿戴者移动。因此所捕获的视频图像将包括穿戴者的运动。被传递到视频图像中的穿戴者的运动可以使得视频图像在回放期间被观看时看起来不连贯或其它形式的不稳定。
一般来说，当人们相对于给定点或给定方向移动时，人们的眼睛注视方向将倾向于跟踪其FOV中的给定点或给定方向。至少在与人的移动发生的持续时间相当的持续时间上，并且对于不大到超过在其中眼睛注视方向可以保持固定在给定点的眼睛运动的范围的头部和/或身体运动，这通常保持为真。这种能够有效补偿身体运动的相对固定注视的能力和趋势是大脑在处理视觉数据和控制眼睛运动时的一个自然功能。它可能包括有意识的和潜意识的成分——例如，保持固定注视以及非自主注视固定的意识到的决定。对于大多数实际的目的，当讨论固定到HMD的视频摄像机的前向FOV和HMD的穿戴者的注视方向之间的相对运动和/或朝向时，仅考虑穿戴者的面部的运动就足够了。除非另外指出，否则HMD的穿戴者的移动和穿戴者的面部的移动(例如，平移和/或朝向的改变)将在本文中可互换地引用。
根据示例实施例，诸如图1A至图1D中所示的可穿戴计算系统的头戴式设备可以利用HMD穿戴者的眼睛注视跟踪在使用面向前的视频摄像机进行视频捕获的过程中来确定眼睛注视方向作为时间的函数，以稳定捕获的视频图像。眼睛注视跟踪可以使用HMD的一个或多个眼睛跟踪组件或设备(诸如面向眼睛的视频摄像机128和130)来实现以跟踪和测量眼睛运动。尽管眼睛跟踪测量和数据的获取和分析可以使用HMD的物理资源(例如，面向眼睛的摄像机操作、处理能力等)，但注视方向测量本身表示对任何HMD组件无代价提供的信息，更确切地说是凭借HMD穿戴者的自然大脑功能“免费”提供的。注视方向测量值也可以被认为是“自我参考的”，因为它们直接指前向FOV中的兴趣点或兴趣区域。
在HMD穿戴者的面部的面向前的方向相对于前向FOV中的初始方向移动的典型情况下，当穿戴者的眼睛通过逆着穿戴者的脸部运动移动以在初始方向上保持固定(或几乎如此)时，可以将穿戴者的眼睛运动施加于捕获的视频数据以补偿视频图像平面相对于初始方向的运动。更具体地，视频图像数据通常在与FOV方向正交(即，垂直)的图像平面中被检测和捕获。因此，面向前的视频摄像机相对于初始方向的运动将导致FOV根据该运动跨该图像平面移动。当视频数据被检测和捕获时，特别是如果面向前的视频摄像机的运动是无意的或者另外仅仅伴随于穿戴者的运动，则跨该图像平面的这种运动可以产生跳动、起伏或另外不稳定的视频图像。
根据示例实施例，可以将穿戴者的眼睛运动映射到图像平面以补偿跨该图像平面的FOV的运动。更具体地说，当捕获的视频数据被处理时，可以使用映射的眼睛运动来有效地将视频图像重新定位到在没有穿戴者的运动的情况下它们将在图像平面中出现的位置。这种重新定位可以实时完成或在捕获后处理中完成。无论哪种情况，结果都是稳定的视频。由于运动补偿使用眼睛注视方向作为时间的函数，所以这种技术被称为视觉视频稳定。
图5是根据示例实施例的视觉视频稳定的概念图示。作为示例，图5示出了在使用面向前的视频摄像机502的视频捕获期间的三个连续的时间实例；三个时间从左到右布置在图中的三个面板上，分别标记为1、2和3。每个面板显示从上方观看的一对无实体的眼睛501-L(左眼)和501-R(右眼)。眼睛具有固定在前向FOV中的点507的双眼注视。示出了每个面板中的无实体的卡通鼻子505以指示相关联的(但是不可见的)脸部相对于点507的指向方向以及眼睛相对于脸部的角度朝向。跨面板之间的不同的“鼻子指向”方向可以被用来表示脸部从一个面板到另一个面板的移动(例如，改变朝向)。同样在每个面板中，面向眼睛的视频摄像机504-L跟踪左眼501-L的运动，面向眼睛的视频摄像机504-R跟踪右眼501-R的运动。如所示，面向前的视频摄像机502与面向眼睛的视频摄像机504-L和505-R的角度朝向利用“鼻子指向”方向跟踪。这对应于HMD相对于穿戴者头部的大致固定的朝向。为了简洁起见，这些数字标签只出现在第一个面板中。
显而易见地并且通过示例的方式，鼻子505(以及不可见的脸部)的朝向，以及与面向前的视频摄像机502和面向眼睛的视频摄像机504-L和505-R一起，在图5中按从左到右的顺序从一个面板变化到下一个面板。同时，左眼和右眼的注视方向保持固定在点507上。这由面板1中的左和右注视方向503-L-1和503-R-1、面板2中的503-L-2和503-R-2、以及面板3中的503-L-3和503-R-1表示。
点507不一定对应于实际物理物体的空间位置(尽管可能)，而是对应于左眼和右眼的注视的会聚点。这样，它可以被认为是可以根据三角法的一般原理确定的几何构造，其中例如两眼之间的距离形成基线，并且穿戴者的每只眼睛的注视方向可以被认为是相对于包含基线的平面的角度。然后可以确定到会聚点的视线距离。为了计算的实际目的，定义HMD的穿戴者的每只眼睛相对于HMD上的一个或多个固定位置的注视方向更为方便。例如，从左眼501-L到面向眼睛的视频摄像机504-L的图像平面中的中心点的视线可以定义用于测量左眼的朝向的参考方向，并且类似地针对右眼504-R与面向眼睛的视频摄像机504-R。请注意，对于非常远的点，注视方向可能不会会聚或相交。在任何情况下，HMD的穿戴者的双眼注视方向可以被认为是穿戴者的FOV的中心。因此，跟踪双眼注视方向可以提供可以用于对面向前的摄像机的FOV远离穿戴者的FOV的运动进行纠正的参考方向(例如，穿戴者的FOV的中心)。
图5还描绘了用于面板1、2和3中的每一个的面向前的视频摄像机502的图像平面中的点507的位置，以及根据示例实施例如如何补偿图像平面中的位置的运动。具体而言，在面板1中，图像平面506-1被直接显示在示例性眼睛501-L和501-R的下方。图像平面被描绘为二维网格，意在表示像素阵列；如所示出的网格的大小(每个维度中的像素的数量)是任意的，仅意图传达概念性图示。在网格中心附近的像素中的黑点表示点507的图像位置。即，图像平面506-1的中心的黑点表示被映射到图像平面中的像素位置的穿戴者的双眼注视方向。
相同的图像平面显示在面板2中，但被重新标记的506-2以指明其相对于点507的朝向已经随着面向前的视频摄像机502的改变的朝向而改变。由于朝向改变的结果，再次显示为黑点的点507的图像位置已经移动到与面板1不同的像素。灰点表示点507的先前的像素位置，以及从灰点到黑点的曲线的箭头表示图像平面中的点507的图像的运动轨迹。
在面板3中，再次显示相同的图像平面，但是现在重新标记的506-3以指明随着面向前的视频摄像机502的进一步改变的朝向，相对于点507的朝向的进一步改变。作为朝向进一步改变的结果，点507的图像位置(仍然显示为黑点)已经移动到与面板2不同的像素。两个灰点显示点507的先前像素位置，并且从灰点到黑点的曲线箭头表示图像平面中的点507的图像的运动的另一轨迹。因此，面板2和3中的轨迹表示在捕获面向前的视频数据时由穿戴者面部的运动引起的跨图像平面的点507的运动。也就是说，轨迹跟踪面向前的视频摄像机的FOV相对于作为从穿戴者的双眼注视方向确定的穿戴者的FOV的中心的运动。
跨图像平面的点507的图像的运动的补偿在图像平面表示506-1、506-2和506-3中的每一个之下分别描绘的重新定位的图像平面508-1、508-2和508-3中概念性地示出。举例来说，面板1被用来表示穿戴者的面部的和面向前的视频摄像机502相对于点507的初始FOV朝向。因此，相对于图像平面506-1，重新定位的图像平面508-1具有零(无)偏移。
然而，在面板2中，重新定位的图像平面508-2相对于与点507的图像平面506-2中的轨迹相对应的图像平面506-2被偏移。如所示，所示运动开始时，该偏移使得点507出现在重新定位的图像平面508-2中的中心像素位置中，其与在图像平面506-1中的初始像素位置相同。面板2中的虚线矩形表示图像平面的原始(未偏移的)位置。
在面板3中，重新定位的图像平面508-3相对于与点507的图像平面506-3中的轨迹相对应的图像平面506-3被偏移。如所示，所示运动开始时，该偏移使得点507出现在重新定位的图像平面508-3中的中心像素位置中，其再次与图像平面506-1中的初始像素位置相同。平面3中的虚线矩形表示图像平面的原始(未偏移的)位置。
根据示例实施例，如在重新定位的图像平面508-2、508-2和508-3中表示的图像的偏移被施加于每个图像平面506-2、506-2和506-3的所有像素。如此，视频图像数据中捕获的整个FOV可被重新定位以与作为在视频捕获期间确定的穿戴者的FOV的中心对齐。在前向FOV视频被捕获的同时跟踪穿戴者的眼睛移动可被用于确定左眼和右眼的眼睛注视方向，并且眼睛注视方向的分析(几何)会聚产生双眼或立体注视方向为时间的函数。图5中的图像平面实例中所示的轨迹表示图像平面实例上的双眼眼睛注视方向的映射。因此，偏移所捕获的面向前的视频图像有效地将作为通过移动面向前的视频摄像机502捕获的视频图像转换为作为已经被同时进行眼睛移动跟踪的面向前的摄像机捕获的视频图像。结果是视觉稳定的视频。
在示例实施例中，可以使用面向眼睛的摄像机504-L和505-R来跟踪眼睛移动作为时间的函数。也可以利用其它眼睛跟踪设备和技术。例如，可以处理左眼和右眼的连续静止图像的快速获取以确定单独和立体眼睛注视方向作为时间的函数。另外的技术可以涉及跟踪眼睛的受控点照明的反射。这些和其它技术可以用于在由HMD的面向前的视频摄像机捕获视频图像期间确定眼睛注视方向作为时间的函数。
根据示例性实施例，捕获的视频图像数据的偏移或重新定位可以与视频捕获同时地实时执行。另外或替代地，所确定的立体注视方向可以被记录并且施加在视频捕获之后的时间的偏移操作中。在实时的情况下，同时偏移、重新定位操作可以由HMD的一个或多个处理器(诸如图1A中的车载计算系统118或图2中的(多个)处理器204)执行。对于事后偏移，处理可以由HMD的一个或多个处理器和/或通过远程处理系统(诸如网络中的这种服务器)来执行。
如上所述，跟踪物体的人的眼睛注视方向的自然倾向是对注视方向和物体之间的相对运动的响应。因此，HMD的面向前的视频摄像机的FOV中的物体的运动可以由以下产生：穿戴者的脸部相对于固定在空间中的物体的FOV位置的移动、通过其中穿戴者的面部运动/朝向被固定的参照系的运动、或者在物理和穿戴者的脸部两者的共同参考系中的运动的一些组合。上面的示例性实施例是根据穿戴者面部相对于固定位置处的物体或点的运动来描述的。这在一定程度上是方便的，部分是因为这些技术可能与穿戴者的脸部的运动有一定的相关性，因为这种运动类型将被直接转移到前向摄像机，并因此到可能明显地注意到的FOV运动。然而，所描述的原理可以施加到出于上述任何原因而出现的相对运动。
举例来说，图5中的点507可以(在相对于HMD的穿戴者移动的物体上)是相对于HMD的穿戴者移动的物体，诸如汽车或飞机。如果穿戴者通过(主要)移动她/他的眼睛而不是她/他的头部来跟踪物体，则图5的图示仍然成立。也就是说，图像平面的FOV保持固定，而物体的运动转换为跨图像平面的运动，并且眼睛注视方向跟踪移动物体，将其在眼睛的双眼FOV方向上保持(至少近似地)固定。
进一步根据示例实施例，诸如图像平面506-1、506-2、506-3的图像平面中的物体的运动可以被区分为源自穿戴者的脸部的运动或空间中的物体的运动(或至少主要是一个或另一个)。具体而言，上述技术可以在感兴趣的时间段内应用于两个或更多个不同的被跟踪物体。在图5的上下文中，这可以对应于点507的两个或更多个实例，每个实例与不同的跟踪实例相关联。确定不同跟踪之间的相关系数然后可被用来确定如图像平面506-1、506-2、506-3中所示的在图像平面中跨像素的移动是否是由于HMD在空间中的朝向的改变，或由于一个或多个所注视的物体在空间中的运动。
进一步根据示例实施例，作为时间的函数的注视方向和像素位置的相关性可以用于推测HMD的穿戴者正在注视穿戴者特定感兴趣的物体，而不是更随机的注视。例如，正在驾驶汽车的穿戴者可以作为常规驾驶惯例而环顾观察相邻的车道、迎面而来的车辆等。然而，在驾驶过程中，穿戴者也可以注意到特定的感兴趣物体，诸如广告牌或地标。各种注视的持续时间及其与图像平面中的像素位置的相关性可用于将包含HMD穿戴者感兴趣的物体的像素与穿戴者的更常规行为或注意力相关的像素区分开。
虽然以上技术特别适用于双眼注视方向，包括确定到空间中的物体或点的视线距离的能力，但是该原理可适用于仅跟踪一只眼睛的注视方向的实施例。在这样的实施例中，距离确定是不可能的，但是通过将面向前的视频摄像机配置为非常接近面向单眼的摄像机，如由面向眼睛的摄像机所确定的，面向前的摄像机的图像平面的中心(或者图像平面的参考位置)可以对齐为任意接近(或几乎如此)单眼的参考注视方向。例如，参考注视方向可以是与眼睛摄像机的图像平面的中心正交(垂直)的方向。以此作为校准，由面向眼睛的视频摄像机测量的单眼注视方向可以被直接映射到面向前的视频摄像机的FOV中的注视方向。尽管不一定像双眼技术一样精确，但是至少在所涉及的硬件和功耗方面，使用单眼跟踪的图像稳定可能比双眼技术代价更低。
图6是示出诸如可穿戴HMD的可穿戴计算系统中用于视觉视频稳定性的方法600的示例实施例的流程图，诸如以概念性操作术语描述的那样。示例方法600可以在配备有面向前的视频摄像机、面向左眼和面向右眼的视频摄像机、一个或多个处理器以及存储指令的存储器的可穿戴HMD上实现，该指令可以由一个或多个处理器运行以使得HMD执行该方法的各种操作，如下所述。存储器可以是某种形式的非暂时性有形计算机可读存储介质，诸如磁盘或光盘等，并且在制造、配置、或用于准备可穿戴头戴式设备和/或用于操作的服务器的其它过程期间，可以提供该指令用于传递到可穿戴头戴式设备的存储器、服务器的存储器或这两者。该方法的各个部分也可以在HMD外部的服务器(或其它计算设备或平台)上实现。下面描述这种方法的示例实施例。
如所示的，在步骤602处，当HMD的面向前的视频摄像机在面向前的视频的前向视场(FOV)中捕获视频图像的同时，HMD的用户的左眼和右眼的立体视频图像可以用HMD的面向左眼和右眼摄像机获得。
在步骤604处，HMD的用户的左眼和右眼的所获得的立体视频图像在与视频图像捕获的同时的时间间隔期间被用来确定用户的会聚注视方向作为时间的函数。
在步骤606处，通过利用用户的会聚注视方向与面向前的视频摄像机的图像平面的交点补偿面向前的视频摄像机的相对于会聚注视方向的运动，来稳定所捕获的视频图像。
根据示例性实施例，在与捕获视频图像同时的时间间隔期间确定用户的会聚注视方向作为时间的函数,可能需要从所获得的左眼和右眼的立体视频图像,确定用户的左眼和右眼的相应注视角度为时间的函数，并且然后确定投影到前向FOV上的相应注视角的相交点。
还根据示例实施例，利用用户的会聚注视方向与面向前的视频摄像机的图像平面的交点补偿面向前的视屏摄像机的相对于会聚注视方向的运动来稳定所捕获的视频图像，可能需要在一系列的两个或更多时间中的每一时间处(诸如，在两个或更多个所捕获的视频帧的时间处)确定用户的会聚注视方向与图像平面的交点。然后可以确定序列的每个交点的图像平面中的平面坐标，并且可以将该序列的一个交点指定为图像平面中的参考点。然后可以偏移在一个或多个序列时间的每个相应时间处捕获的视频图像，以将相应时间处的交点的平面坐标与参考点的平面坐标对齐。
进一步根据示例实施例，图像平面可以包括规则的像素阵列，使得确定序列的每个交点的图像平面中的平面坐标需要确定对于序列的每个交点的像素坐标。在该配置中，偏移在一个或多个序列时间的每个相应时间处捕获的视频图像可以使相应时间处的交点的平面坐标与参考点的平面坐标对齐，可能需要偏移在相应时间捕获的视频图像以将相应时间的交点的像素坐标与参考点的像素坐标对齐。
在示例实施例中，利用用户的会聚注视方向与面向前的摄像机的图像平面的交点补偿面向前的摄像机的相对于会聚注视方向的运动可能需要，在时间间隔期间确定会聚注视方向与图像平面的交点轨迹作为时间的函数然后沿着轨迹偏移在时间间隔期间捕获的视频图像以在时间间隔期间的每个时刻将视频图像与图像平面中的交点对齐。
还根据示例实施例，沿着轨迹偏移在时间间隔期间捕获的视频图像可能需要，正在确定会聚注视方向时实时地沿着轨迹偏移在时间间隔期间捕获的视频图像。另外地或替代地，沿着轨迹偏移在时间间隔期间捕获的视频图像可能需要在确定会聚注视方向之后的时间沿着轨迹偏移在时间间隔期间捕获的视频图像。
还将理解，图6中所示的步骤旨在示出示例实施例的操作。因此，可以改变或修改各种步骤，可以改变某些步骤的顺序，并且可以增加额外的步骤，同时仍然实现整体期望的操作。
结论
已经通过本文中的示例描述了说明性实施例。然而，本领域的技术人员将会理解，可以对本实施例进行改变和修改，而不背离由权利要求限定的实施例针对的元件、产品和方法的真实范围和精神。

Claims (14)

1.一种在头戴式设备(HMD)中的计算机实现的方法，所述方法包括：
在利用所述头戴式设备上的面向前的视频摄像机在前向视场(FOV)中捕获视频图像的同时，利用所述头戴式设备上的面向左眼和右眼的视频摄像机获得包括所述头戴式设备的用户的左眼和右眼两者的立体视频图像，其中，所述前向视场为所述头戴式设备的用户所看到的视场；
基于所获得的包括所述头戴式设备的用户的左眼和右眼两者的立体视频图像，确定在所述视频图像的捕获期间所述用户的会聚注视方向，其中，所述用户的会聚注视方向是时间的函数；
确定在所述视频图像的捕获期间所述会聚注视方向与面向前的视频摄像机的图像平面的交点的轨迹；以及
沿着所述轨迹偏移捕获的所述视频图像，以在所述视频图像的捕获期间的每个时刻处将所述捕获的所述视频图像与所述图像平面中的公共点对齐，
其中，确定在所述视频图像的捕获期间所述会聚注视方向与面向前的视频摄像机的所述图像平面的交点的轨迹包括：
在包括多个时间的时间序列中的每个时间处，确定所述用户的会聚注视方向与所述图像平面的交点；
确定所述序列的每个交点在图像平面中的平面坐标；以及
将所述序列的一个交点指定为所述图像平面中的参考点；
并且其中，沿着所述轨迹偏移捕获的所述视频图像，以在所述视频图像的捕获期间的每个时刻处将所述捕获的所述视频图像与所述图像平面中的公共点对齐包括：
偏移在一个或多个时间序列的每个相应时间处捕获的所述视频图像以将在所述相应时间处的所述交点的平面坐标与所述参考点的平面坐标对齐。
2.如权利要求1所述的方法，其中，确定在所述视频图像的捕获期间所述用户的会聚注视方向包括：
从所获得的包括所述左眼和右眼两者的立体视频图像确定所述用户的左眼和右眼的相应注视角度，其中，所述相应注视角度是时间的函数；以及
确定所述相应注视角度在所述前向视场上对应的点。
3.如权利要求1所述的方法，其中，所述图像平面包括像素的规则阵列，
其中，确定所述序列的每个交点在图像平面中的平面坐标包括确定所述序列的每个交点在图像平面中的像素坐标；
并且其中，偏移在所述一个或多个时间序列的每个相应时间处捕获的所述视频图像以将在所述相应时间处的所述交点的平面坐标与所述参考点的平面坐标对齐包括：偏移在所述一个或多个时间序列的每个相应时间处捕获的视频图像以将在所述相应时间处的所述交点的像素坐标与所述参考点的像素坐标对齐。
4.如权利要求1所述的方法，其中，沿着所述轨迹偏移捕获的所述视频图像，以在所述视频图像的捕获期间的每个时刻处将所述捕获的所述视频图像与所述图像平面中的公共点对齐还包括：在处理时间期间沿着所述轨迹偏移捕获的所述视频图像，所述处理时间为：(i)正在确定所述会聚注视方向的时间，和/或(ii)确定所述会聚注视方向之后的时间。
5.一种在头戴式设备(HMD)中的计算机实现的方法，所述方法包括：
在利用所述头戴式设备上的面向前的视频摄像机在前向视场(FOV)中捕获视频图像的同时，利用所述头戴式设备上的眼睛跟踪设备获得所述头戴式设备的用户的左眼和右眼中的至少一个的眼睛注视方向，其中，所述前向视场为所述头戴式设备的用户所看到的视场；
基于所获得的眼睛注视方向，确定在所述视频图像的捕获期间所述用户的注视方向，其中，所述用户的注视方向是时间的函数；
确定在所述视频图像的捕获期间所述用户的注视方向与面向前的视频摄像机的图像平面的交点轨迹；以及
沿着所述轨迹偏移捕获的所述视频图像，以在所述视频图像的捕获期间的每个时刻处将所述视频图像与所述图像平面中的公共点对齐，
其中，确定在所述视频图像的捕获期间所述用户的注视方向与面向前的视频摄像机的所述图像平面的交点轨迹包括：
在包括多个时间的时间序列中的每个时间处，确定所述用户的注视方向与所述图像平面的交点；
确定所述序列的每个交点在图像平面中的平面坐标；以及
将所述序列的一个交点指定为所述图像平面中的参考点；
并且其中，沿着所述轨迹偏移捕获的所述视频图像，以在所述视频图像的捕获期间的每个时刻处将所述视频图像与所述图像平面中的公共点对齐包括：
偏移在一个或多个时间序列的每个相应时间处捕获的所述视频图像，以将在所述相应时间处的所述交点的平面坐标与所述参考点的平面坐标对齐。
6.如权利要求5所述的方法，其中，利用所述眼睛跟踪设备获得所述头戴式设备的用户的左眼和右眼中的至少一个的眼睛注视方向包括：利用所述眼睛跟踪设备获得所述头戴式设备的用户的左眼和右眼的双眼注视方向；
并且其中，确定在所述视频图像的捕获期间所述用户的注视方向包括：
从所述左眼和右眼的双眼注视方向确定所述用户的左眼和右眼的相应注视角度，其中，所述相应注视角度是时间的函数；以及
确定所述相应注视角度在所述前向视场上对应的点。
7.如权利要求5所述的方法，其中，所述图像平面包括像素的规则阵列，
其中，确定所述序列的每个交点在图像平面中的平面坐标包括确定所述序列的每个交点在图像平面中的像素坐标；
并且其中，偏移在所述一个或多个时间序列的每个相应时间处捕获的所述视频图像，以将在所述相应时间处的所述交点的平面坐标与所述参考点的平面坐标对齐包括：偏移在所述一个或多个时间序列的每个相应时间处捕获的视频图像以将在所述相应时间处的所述交点的像素坐标与所述参考点的像素坐标对齐。
8.如权利要求5所述的方法，其中，沿着所述轨迹偏移捕获的所述视频图像，以在所述视频图像的捕获期间的每个时刻处将所述视频图像与所述图像平面中的公共点对齐还包括：在处理时间期间沿着所述轨迹偏移捕获的所述视频图像，所述处理时间为：(i)正在确定所述用户的注视方向的时间，和/或(ii)确定所述用户的注视方向之后的时间。
9.如权利要求6所述的方法，其中，所述眼睛跟踪设备包括面向左眼和右眼的视频摄像机，
并且其中，利用所述眼睛跟踪设备获得所述头戴式设备的用户的左眼和右眼的双眼注视方向包括：利用面向左眼和右眼的视频摄像机获得包括所述头戴式设备的用户的左眼和右眼两者的立体视频图像。
10.一种头戴式设备(HMD)，包括：
面向前的视频摄像机；
眼睛跟踪设备；
处理器；以及
存储器，存储指令，所述指令在由所述处理器运行时使所述头戴式设备执行包括以下的操作：
在利用所述面向前的视频摄像机在前向视场(FOV)中捕获视频图像的同时，利用所述眼睛跟踪设备获得所述头戴式设备的用户的左眼和右眼的双眼注视方向，其中，所述前向视场为所述头戴式设备的用户所看到的视场；
基于所获得的所述头戴式设备的用户的左眼和右眼的双眼注视方向，确定在所述视频图像的捕获期间所述用户的会聚注视方向，其中所述用户的会聚注视方向是时间的函数；
确定在所述视频图像的捕获期间所述会聚注视方向与面向前的视频摄像机的图像平面的交点的轨迹；以及
沿着所述轨迹偏移捕获的所述视频图像，以在所述视频图像的捕获期间的每个时刻处将所述视频图像与所述图像平面中的公共点对齐，
其中，确定所述视频图像的捕获期间所述会聚注视方向与面向前的视频摄像机的所述图像平面的交点的轨迹包括：
在包括多个时间的时间序列中的每个时间处，确定所述用户的会聚注视方向与所述图像平面的交点；
确定所述序列的每个交点在图像平面中的平面坐标；
指定所述序列的一个交点为所述图像平面中的参考点，
并且其中，沿着所述轨迹偏移捕获的所述视频图像，以在所述视频图像的捕获期间的每个时刻处将所述视频图像与所述图像平面中的公共点对齐包括：
偏移在一个或多个时间序列的每个相应时间处捕获的所述视频图像，以将在所述相应时间处的所述交点的平面坐标与所述参考点的平面坐标对齐。
11.如权利要求10所述的头戴式设备，其中，确定在所述视频图像的捕获期间所述用户的会聚注视方向包括：
基于所获得的所述左眼和右眼双眼的注视方向，确定所述用户的左眼和右眼的相应注视角度，其中，所述相应注视角度是时间的函数；以及
确定所述相应注视角度在所述前向视场上对应的点。
12.如权利要求10所述的头戴式设备，其中，所述图像平面包括像素的规则阵列，
其中，确定所述序列的每个交点在图像平面中的平面坐标包括确定所述序列的每个交点在图像平面中的像素坐标；
并且其中，偏移在所述一个或多个时间序列的每个相应时间处捕获的所述视频图像，以将在所述相应时间处的所述交点的平面坐标与所述参考点的平面坐标对齐包括：偏移在所述一个或多个时间序列的每个相应时间处捕获的视频图像以将在所述相应时间处的所述交点的像素坐标与所述参考点的像素坐标对齐。
13.如权利要求10所述的头戴式设备，其中，沿着所述轨迹偏移捕获的所述视频图像包括：在处理时间期间沿着所述轨迹偏移捕获的所述视频图像，所述处理时间为：(i)正在确定所述会聚注视方向的时间，和/或(ii)确定所述会聚注视方向之后的时间。
14.如权利要求10所述的头戴式设备，其中，所述眼睛跟踪设备包括面向左眼和右眼的视频摄像机，
并且其中，利用所述眼睛跟踪设备获得所述头戴式设备的用户的左眼和右眼的双眼注视方向包括：利用所述面向左眼和右眼的视频摄像机获得包括所述头戴式设备的用户的左眼和右眼两者的立体视频图像。
CN201711275264.8A 2016-12-06 2017-12-06 头戴式设备及在其中的计算机实现的方法 Active CN108156441B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662430595P 2016-12-06 2016-12-06
US62/430,595 2016-12-06

Publications (2)

Publication Number Publication Date
CN108156441A CN108156441A (zh) 2018-06-12
CN108156441B true CN108156441B (zh) 2021-07-30

Family

ID=60382036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711275264.8A Active CN108156441B (zh) 2016-12-06 2017-12-06 头戴式设备及在其中的计算机实现的方法

Country Status (6)

Country Link
US (1) US10591731B2 (zh)
EP (1) EP3334148A1 (zh)
CN (1) CN108156441B (zh)
DE (2) DE102017126116A1 (zh)
GB (1) GB2559237B (zh)
WO (1) WO2018106390A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
WO2019154511A1 (en) * 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) * 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
EP3620844B1 (en) * 2018-04-23 2023-07-26 Sony Group Corporation Eyepiece optical system, medical viewer, and medical viewer system
US10750092B2 (en) * 2018-09-19 2020-08-18 Gopro, Inc. Systems and methods for stabilizing videos
US10833945B2 (en) * 2018-11-13 2020-11-10 International Business Machines Corporation Managing downloading of content
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
EP3786767B1 (en) * 2019-07-29 2023-11-08 HTC Corporation Eye tracking method, head-mounted display, and computer readable storage medium
US11320667B2 (en) * 2019-09-27 2022-05-03 Snap Inc. Automated video capture and composition system
CN112949370A (zh) * 2019-12-10 2021-06-11 托比股份公司 眼睛事件检测
US11720170B2 (en) * 2019-12-26 2023-08-08 Stmicroelectronics, Inc. Method, device, and system of measuring eye convergence angle
US20220269896A1 (en) * 2020-04-13 2022-08-25 Google Llc Systems and methods for image data management
WO2022072097A1 (en) * 2020-09-30 2022-04-07 Snap Inc. Multi-purpose cameras for augmented reality and computer vision applications
EP4189463A1 (en) * 2020-12-18 2023-06-07 Google LLC Steerable camera array for head-mounted display devices
CN114721144A (zh) * 2021-01-04 2022-07-08 宏碁股份有限公司 裸视立体显示器及其控制方法
US11567569B2 (en) 2021-04-08 2023-01-31 Google Llc Object selection based on eye tracking in wearable device
WO2023009853A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc User interface to select field of view of a camera in smart glasses
US20230031871A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc User interface to select field of view of a camera in a smart glass
US20230293008A1 (en) * 2022-03-21 2023-09-21 Headvantage Corporation Body worn camera, sensor and content delivery system
US11822736B1 (en) * 2022-05-18 2023-11-21 Google Llc Passive-accessory mediated gesture interaction with a head-mounted device
US11699050B1 (en) * 2022-05-26 2023-07-11 Datalogic Ip Tech S.R.L. Control of capture and decoding of encoded data markings via touchscreen and haptic feedback

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101238486A (zh) * 2005-07-05 2008-08-06 汉特罗产品有限公司 用于数字图像处理的设备、计算机程序产品和方法
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
CN104170370A (zh) * 2012-01-16 2014-11-26 谷歌公司 为了稳定而使用动态裁切对视频进行处理的方法和系统
CN105052129A (zh) * 2013-03-15 2015-11-11 谷歌公司 级联相机运动估计、滚动快门检测和用于视频稳定性的相机抖动检测
CN105718036A (zh) * 2014-12-04 2016-06-29 中芯国际集成电路制造(上海)有限公司 可穿戴式设备的信息交互方法和系统
CN105830427A (zh) * 2013-10-11 2016-08-03 脸谱公司 应用视频稳定化至多媒体剪辑

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
US8888287B2 (en) 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
JP5998863B2 (ja) 2012-11-09 2016-09-28 株式会社Ｊｖｃケンウッド 視線検出装置および視線検出方法
WO2015048839A1 (en) 2013-10-03 2015-04-09 Neuroscience Research Australia (Neura) Improved systems and methods for diagnosis and therapy of vision stability dysfunction
WO2015103444A1 (en) 2013-12-31 2015-07-09 Eyefluence, Inc. Systems and methods for gaze-based media selection and editing
US9773349B2 (en) * 2014-02-19 2017-09-26 Daqri, Llc Active parallax correction
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101238486A (zh) * 2005-07-05 2008-08-06 汉特罗产品有限公司 用于数字图像处理的设备、计算机程序产品和方法
CN104170370A (zh) * 2012-01-16 2014-11-26 谷歌公司 为了稳定而使用动态裁切对视频进行处理的方法和系统
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
CN105052129A (zh) * 2013-03-15 2015-11-11 谷歌公司 级联相机运动估计、滚动快门检测和用于视频稳定性的相机抖动检测
CN105830427A (zh) * 2013-10-11 2016-08-03 脸谱公司 应用视频稳定化至多媒体剪辑
CN105718036A (zh) * 2014-12-04 2016-06-29 中芯国际集成电路制造(上海)有限公司 可穿戴式设备的信息交互方法和系统

Also Published As

Publication number Publication date
DE202017106773U1 (de) 2018-03-07
US20180157045A1 (en) 2018-06-07
WO2018106390A1 (en) 2018-06-14
US10591731B2 (en) 2020-03-17
GB2559237B (en) 2021-03-10
DE102017126116A1 (de) 2018-06-07
GB2559237A (en) 2018-08-01
CN108156441A (zh) 2018-06-12
EP3334148A1 (en) 2018-06-13
GB201719623D0 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
CN108156441B (zh) 头戴式设备及在其中的计算机实现的方法
US8970495B1 (en) Image stabilization for color-sequential displays
US8179604B1 (en) Wearable marker for passive interaction
CA2913650C (en) Virtual object orientation and visualization
US8736692B1 (en) Using involuntary orbital movements to stabilize a video
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
US8854282B1 (en) Measurement method
US11314323B2 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
US9268136B1 (en) Use of comparative sensor data to determine orientation of head relative to body
US20150169070A1 (en) Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs)
US20150170422A1 (en) Information Display System With See-Through HMD, Display Control Program and Display Control Method
US20130007672A1 (en) Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
US20170099482A1 (en) Method and apparatus for individualized three dimensional display calibration
KR20150084200A (ko) 헤드 마운트 디스플레이 및 제어 방법
US9265415B1 (en) Input detection
US20180182124A1 (en) Estimation system, estimation method, and estimation program
US20240005536A1 (en) Perspective Correction of User Input Objects
US11675200B1 (en) Antenna methods and systems for wearable devices
US11902107B2 (en) Eyewear experience hub for network resource optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant