CN106164744A - 头戴式显示器相对运动补偿 - Google Patents

头戴式显示器相对运动补偿 Download PDF

Info

Publication number
CN106164744A
CN106164744A CN201580016804.3A CN201580016804A CN106164744A CN 106164744 A CN106164744 A CN 106164744A CN 201580016804 A CN201580016804 A CN 201580016804A CN 106164744 A CN106164744 A CN 106164744A
Authority
CN
China
Prior art keywords
image
display device
user
relative
relative motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580016804.3A
Other languages
English (en)
Other versions
CN106164744B (zh
Inventor
R·G·弗莱克
M·T·德普伊
D·D·博恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106164744A publication Critical patent/CN106164744A/zh
Application granted granted Critical
Publication of CN106164744B publication Critical patent/CN106164744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/016—Exploded view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了涉及通过佩戴在用户的头部上的显示设备来显示图像的各个实施例。在一个示例中，在相对于用户的眼睛的初始登记位置处显示图像。从一个或多个传感器接收合成运动数据，且所述合成运动数据包括头部运动分量和相对运动分量，所述相对运动分量是在头部和显示设备之间的相对运动。对合成运动数据进行过滤以移除头部运动分量并生成相对运动分量。使用相对运动分量，图像的初始登记位置被调整到对相对运动分量进行补偿的经调整登记位置。随后在经调整登记位置处显示图像。

Description

头戴式显示器相对运动补偿
背景
头戴式显示(HMD)设备可以生成由用户的眼睛观看的图像。当HMD设备和/或设备的显示组件相对于用户的头部移动时，所显示的图像的位置将位移。例如，当佩戴HMD设备的用户走路或跑步时，用户的头部的振动和其它移动将导致HMD设备相对于用户的头部和眼睛移动。这样的相对移动可通过图像模糊、图像抖动和其它运动引起的伪像而破坏图像的显示，因此破坏观看的舒适度。除了其它问题外，这还可损害用户辨别小对象、读取小文本的能力，并且可以以其他方式使观看体验降级。
为了减少这种不想要的相对移动，一些HMD设备利用了紧密贴合头盔、耳机、完全头部包裹解决方案或其它将设备受约束地耦合到用户的头部的方案。然而，更轻重量和更小形状因素的HMD设备，例如利用眼镜或类似框架的设备，对于这样的大体积和紧密耦合的方案来说是不适用的。而且，由于出于舒适度的考虑，眼镜和其它可佩戴显示设备通常在某种程度上是松弛的，可能会更加频繁遇到这样的设备相对于用户的头部的不期望的移动。
概述
此处公开了涉及通过佩戴在用户的头部上的显示设备来显示图像的各个实施例。例如，一种公开的实施例提供了一种方法，包括在相对于用户的眼睛的初始登记位置处显示图像。从显示设备的一个或多个传感器接收合成运动数据，其中所述合成运动数据包括头部运动分量和相对运动分量，所述相对运动分量是在头部和显示设备之间的相对运动。
对合成运动数据进行过滤以移除头部运动分量并生成相对运动分量。使用相对运动分量，图像的初始登记位置被调整到相对于用户的眼睛对相对运动分量进行补偿的经调整登记位置。随后在经调整登记位置处显示图像。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1是根据本公开的一实施例的被配置为佩戴在头部上的显示设备的示意图。
图2是根据本公开的一实施例的示例显示设备的示意透视图。
图3是佩戴了图2的显示设备的用户的示意侧视图。
图4是根据本公开的一实施例的图2的显示设备的显示系统的示意顶视图。
图5是从用户眼球角度对图4的显示系统的示意图。
图6是图2的显示设备的示例显示系统的示意分解图。
图7是在其上投影了图像的用户的角膜的一部分、描述如用户观察到的图像的对应的观看区域以及在初始和后续位置中的图2的显示设备的一部分的示意图。
图8是用户的角膜的所述部分、对应的观看区域以及图7的显示设备的所述部分的示意图，示出了在后续位置中的显示设备的所述部分以及对所显示的图像的登记位置的调整。
图9是用户的角膜和对应的观看区域的示意图，示出了根据本公开的另一实施例的对所显示的图像的登记位置的调整。
图10A和10B是根据本公开的一实施例的用于显示图像的方法的流程图。
图11是计算设备的一实施例的简化示意解说。
详细描述
图1是被配置为佩戴在用户18的头部16上的显示设备14的一个实施例的示意图。在图2和3所示并将在下面更加详细描述的示例中，显示设备14可以采用眼镜200的形式。显示设备14包括被配置为显示由用户18观看的图像26的显示系统22。
显示设备14操作上连接到计算设备30，计算设备30包括用于控制显示系统22的显示程序36。另外且如在下面更加详细描述的，计算设备30包括图像稳定程序38，该图像稳定程序与显示程序36对接以相对于用户的眼睛调整图像26的登记位置以补偿用户的头部16和显示设备之间的相对运动。显示程序36和图像稳定程序38可被存储到计算设备30的大容量存储40中、加载到存储器44中并由计算设备30的处理器48执行以执行下文更为详细地描述的方法和过程中的一个或多个。
图1中示出的示例将计算设备30合并到显示设备14中。可以理解，在其他示例中，计算设备30可以是与显示设备14分开的组件或设备。在这些示例中，计算设备30可以采用例如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备、桌面计算设备、网络计算机、家庭娱乐计算机、交互式电视、游戏系统或其他合适类型的计算设备的形式。
计算设备30可使用有线连接，或可采用经由WiFi、蓝牙或任何其他合适的无线通信协议的无线连接来与显示设备14在操作上连接。关于计算设备30的组件和计算方面的附加细节在下文中参考图11更详细地描述。
现在也参考图2和3中所示的示例，显示设备14可以包括眼镜200形式的生成创建虚拟现实或混合现实体验的图像的头戴式显示(HMD)设备。在该示例中，眼镜200包括在用户的眼睛前面由支撑臂220和显示梁214所支撑的微显示器210。将明白，在其他示例中，眼镜200可以采取其他合适的形式，其中微显示器或其它类型的透明、半透明或不透明显示器被支撑在观看者的一只或两只眼睛前方。也将认识到也可以在本公开的范围内使用具有各种形状因子的许多其他类型和配置的可佩戴显示设备。
参考在图2和3中所示的眼镜200，在本示例中，微显示器210可被配置成向用户的眼睛投射一个或多个图像。通过这种方式，该用户物理环境的外观可以由经由微显示器210呈现的图形内容(例如，一个或多个图像，每一图像具有相应色彩和亮度)来增强。在这个示例中，且也参考图4和5，微显示器210包括投影仪部件400和从投影仪部件的发光侧408延伸的管道部分404。支撑臂220从投影仪部件400的底侧412延伸并将微显示器210连接到显示梁214。
如在图4中示意示出的，从投影仪部件400投射的光线420可以沿管道部分404发送并由例如一个或多个镜子424引导。一个或多个光学元件(例如透镜430)收集被反射的光线并将光线从管道部分404向外引导入用户的眼睛。通过这种方式，图像可以被显示给用户18。在这种示例中，微显示器210的管道部分404的外表面428是不透明的，这样，用户18不能透视外表面。在一些示例中，微显示器210可以提供宽VGA(WVGA)显示分辨率，例如诸如720x480像素、800x480像素或854x480像素(全宽VGA分辨率)。还应理解，在其它示例中，微显示器210可以提供其它显示分辨率。
在一些示例中，透镜430可以设定虚拟图像的位置在大约0.5米(m)和3.5m之间、或在大约1.0m和3.0m之间、或在离开透镜大约2.0m处、或在人类眼睛的近点(臂长)处或甚至无限远处。通过这种方式，由微显示器210所显示的图像26可以被用户18感知到漂浮在用户的前面。再次参考图2和3并如下面详细描述地，在一些示例中，图像26可以被用户18感知到为显示在观看区域300中，所述观看区域可位于眼睛的近点(大约离眼睛一英尺)直至无限远之间的任何点处。
继续图2和3，微显示器210的小型因素允许用户18通过容易地向上、向下和向四周看微显示器来用面对微显示器的眼睛观看物理环境。例如，在一个示例实施例中，微显示器210可以具有大约10mm的长度和具有大约6mm每侧的方形横截面。其它尺寸和横截面轮廓也可以被使用。还将理解，通过针对用户的右眼使用一个微显示器210，眼镜200也允许用户18用用户的左眼自由观看物理环境。
在一个示例中且现在参考图6，微显示器210的投影仪部件400可以包括硅基液晶(LCOS)显示技术和各种光学组件。在这个示例中，投影仪部件400包括光源602和镜子606，该镜子将发射的光引导到单个反射型LCOS面板610。光源602可以顺序用红、绿和蓝光照亮LCOS面板610。LCOS面板610可以随后反射光到出口光学器件624，它将光引入管道部分404。在其它示例中，投影仪部件400可以利用接收发射自光源的白色光的具有RGB滤波器的单个LCOS面板。在其它示例中，投影仪部件400可以利用单个RBG有机发光二极管(OLED)面板。
投影仪部件400的一个或多个光学组件可通过一个或多个电机或致动器来移动。在一个示例中，镜子606可以被耦合到压电电机630，该压电电机可以被致动以调整镜子的位置或朝向。在另一个示例中，LCOS面板610可以被耦合到压电电机630，该压电电机可以被致动以横向位移面板。在其它示例中，整个投影仪部件400可以被耦合到压电电机630，该压电电机可以被致动以调整该组件的位置或朝向。在其它示例中，微显示器210的出口光学器件624可以类似地被耦合到电机630，该电机可以调整出口光学器件的位置或朝向。在前述示例中，投影仪部件400可以在尺寸上适合于接纳组件的移动，并且可以相应地调整一个眼睛窗口(eyebox)的位置和尺寸。
通过这种方式且如下更加详细描述的，图像26的登记位置可以被调整以补偿在眼镜200和用户18的头部16之间的相对运动。将理解，除了压电电机之外的电机也可以被使用，例如诸如超声波电机、音圈等。还将理解，被耦合到一个或多个光学元件的电机的任何合适的组合和配置都可以被用于调整图像26的登记位置。
在其它示例中，微显示器210可以利用其它配置和/或显示技术，包括但不局限于，可透射LCOS显示器、光调制器和透明光导、发光二极管(LED)阵列、有机发光二极管(OLED)显示器以及非对称投影和相关联的光学器件。
眼镜200可以进一步包括一个或多个检测眼镜的移动的传感器，眼镜的移动例如加速、位置跟踪和/或眼镜的朝向感测。再次参考图1和2，在一个示例中，眼镜可以包括第一运动传感器52以及第二运动传感器56。第一运动传感器52以及第二运动传感器56每个可以包括例如双轴或双自由度加速度计以指示或测量在沿两个正交轴(例如x和y)的二维空间内的眼镜200的位置中的改变。例如，每个加速度计可以测量沿两个轴的平移。
现在参考图2，在一个示例中，第一运动传感器52可以包括第一双轴加速度计222，并且第二运动传感器56可以包括第二双轴加速度计226。第一双轴加速度计222和第二双轴加速度计226可以被集成到眼镜200的左镜腿臂230中。使用由第一加速度计222和第二加速度计226所生成的信号的差分测量，眼镜200和/或头16的运动可以被确定。例如，眼镜200关于Y轴的倾角θ可以通过使用下述公式的差分测量来确定：
dθ＝Constant*(VA1–VA2)*L (dθ＝常数*(VA1–VA2)*L)；
其中，常数的值取决于正被使用的特定加速度计的制造商和工作条件；VA1＝来自第一加速度计222的电压信号；VA2＝来自第二加速度计226的电压信号；而L＝所述两个加速度计之间的线性距离。作为示例，模拟设备ADXL322是在移动电话中使用的小的且薄的加速度计，具有+/-2g的全量程，通常为750mV/g(在5V电轨处)的输出灵敏度，其中g＝由重力导致的加速度＝9.8m/s^2。当ADXL322垂直于重力取向时，其输出变化为每度17.5mg。
这两个加速度计配置的角灵敏度可以通过改变加速度计之间的距离L来调节。如下更加详细描述的，dθ值可以被用作在将图像显示给用户18之前相对于眼镜200调节图像26的登记位置的误差信号。
将理解，加速度计的上述示例配置是出于描述的目的提供的，并且一个或多个运动传感器的其它配置也可被用于检测眼镜200的移动。例如，一对加速度计可以被集成到眼镜200的右镜腿臂234中。在其它示例中，一个或多个三轴加速度计可以被用于测量眼镜200在沿三个正交轴(例如x、y和z)的三维空间内的位置的变化。在其它示例中，一个或多个陀螺仪可以被用于确定围绕x、y和z轴的三轴加速度。
如下更加详细描述的且参考图1，可以从第一运动传感器52和第二运动传感器56接收合成的运动数据60。这样的合成运动数据60可以包括表示与头部移动相对应的相对低频率运动的头部运动分量64，以及表示可能由眼镜200的快速移动、摇动或抖动所引起的相对高频率的运动的相对运动分量68。如下更加详细描述的，这样的高频率运动可以对应于在眼镜200和用户18的头部16之间的不期望的移动，这可能使所显示的图像26模糊和以其它方式使其降级。有利地且如下更加详细描述的，图像稳定程序38可以过滤合成运动数据60以移除头部运动分量64并生成相对运动分量68随后，相对运动分量可以被用于调整图像26的登记位置以补偿在眼镜200和用户18的头部16之间的相对运动。
在其它示例中，眼镜200还可以包括其它合适的定位组件，例如罗盘、全球定位系统(GPS)或其他导航系统。眼镜200还可以包括一个或多个耳机以确定声音方向数据，该数据可以被用于增强对眼镜的相对运动的确定。
在一些示例中，眼镜200还可以包括各种其他传感器和相关系统。例如，眼镜200可以包括一个或多个光学传感器70，它可以捕捉图像数据以检测眼镜和/或用户18的头部16的移动。在一个示例中且参考图2，眼镜200可以包括面向内CMOS检测器240，该检测器对用户的头部的皮肤和/或头发成像表面细节以确定左镜腿臂230相对于该皮肤和/或头发的运动。这样的运动可以对应于在眼镜200和用户头部16之间的相对移动。在一些示例中，CMOS检测器240可以包括LED光源和单个透镜或微透镜阵列之一以引导所发射的且反射的光线。还将理解面向内CMOS检测器可以被定位在眼镜200上的任何合适的位置处。而且，任何合适的光学传感器技术和配置可以被用于面向内光学检测器。例如，在光学鼠标中找到的激光器或LED、透镜和CMOS传感器可以被用作在眼镜和头部之间的相对运动检测器。
在其它示例中，一个或多个光学传感器70可以包括面向外传感器，例如背向用户的头部16且位于显示梁214的鼻梁部分250处的相机(未示出)。相机可以从物理环境和用户18的环境内的物理对象捕捉二维图像信息和/或深度信息。例如，相机可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。
在一个示例中，相机可包括深度相机，该深度相机包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。可以理解，在本发明的范围内可使用任意其他合适的深度相机。
如上所述，眼镜200可以包括具有与眼镜的各传感器和系统通信的逻辑子系统和存储子系统的集成计算设备30，如在下文参考图11更详细地讨论的。在其中眼镜200与分开的计算设备通信连接的其他示例中，所述存储子系统可包括可由逻辑子系统执行的指令，用以接收来自传感器的信号输入并将此类输入转发到计算设备(以未经处理或经处理的形式)并且经由显示系统22向用户呈现图像。
要领会，眼镜200和相关的传感器以及上面描述的并在图1-6中解说的其他组件是作为示例来提供的。这些示例不旨在以任何方式进行限制，因为任何其他合适的传感器、组件，和/或传感器和组件的组合可被使用。因此，将理解，眼镜200可以包括未偏离本公开文本范畴的附加和/或替代的传感器、相机、话筒、输入设备、输出设备等。
现在将提供显示设备14的示例实施例和使用情况的描述。图7和8提供了通过微显示器210被投影到用户眼睛的角膜710上的信封图像700的示意图，以及从观看区域300的用户的眼睛的视角的对应的示意图，在该区域中信封的图像被用户18感知到。出于本开的目的且还参考图2和3，观看区域300可以在空间上被定义为在其中用户18感知到要定位的图像26的二维区域。在图7和8中还示意示出眼镜200的显示梁214的一部分。
如下更加详细描述的，图7和8通过示出显示梁214的移动和当被投影到用户眼睛的角膜710上时的信封图像700的对应移位来示出了眼镜200相对于用户18的头部16的相对移动。图7和8还示出如将在观看区域300中被用户18感知到的信封图像700的对应移位。
将理解，通过位于用户的鼻子和头部16上的眼镜200，头部的许多日常移动，例如回头和/或转头以在不同方向查看，或通过用户移动引起的头部平移将通常导致眼镜200经历相同的移动。换言之，在用户的头部16移动期间(在期间眼镜200保持固定因而在头部和眼镜之间没有出现相对移动)，信封图像700在初始登记位置720处相对于眼睛和角膜710保持固定。相应地，在这样的移动期间，如用户所感知到的信封图像700仍旧在初始感知位置730处相对于观看区域300保持固定。
而且，眼镜200的这些日常移动中的许多移动将对应于眼镜的相对低加速度，进而对应于来自第一加速度计222和第二加速度计226的相对低频率的输出信号。作为眼镜200的上述日常移动的示例，考虑用户跑步或走路的情况。这些活动提供了具有频率内容的输出信号，该频率内容指示了用户的总的运动并依据活动程度而变化。快速跑步(对于最快10K个的跑步者以每分钟240步)产生峰值接近大约4Hz的频谱，而走路(以每分钟20步)是具有频率内容～1/3Hz的周期性信号。在图1中，这样的移动在合成运动数据60中由头部运动分量64表示。
相对地，在头部16和眼镜200之间的相对移动引起角膜710上的信封图像700的对应和不期望的移动。如上所述，这样的相对移动导致图像模糊、抖动和其它图像质量问题。另外，眼镜200和头部16之间的相对移动通常对应于眼镜的相对快的加速度，进而对应于来自加速度计的相对高频率的输出信号。在头部和眼镜之间的相对运动还可以以频率传播出现，而不是周期性或准周期性信号。例如，如果眼镜在时间deltaT秒中快速滑动或在头部上移动，来自加速度计的输出信号频谱将包含频率内容deltaFrequency＝1/deltaT(增量频率＝1/deltaT)。这样的运动可以由例如一阵风产生。
在在其中用户18在沥青路上跑步同时佩戴眼镜200的示例中，合成运动数据60将包括与眼镜200和用户头部16的同步移动相对应的头部运动分量64。眼镜200还可经历由用户的脚步所引起的摇动或振动。这样的摇动或振动将经常对应于眼镜的相对快的加速度。另外，这样的摇动或振动还将经常对应于如上所述的不期望的相对移动。在图1中，这样的相对移动在合成运动数据60中由相对运动分量68表示。
有利地且如下更加详细描述的，图像稳定程序38可以过滤合成运动数据60以移除头部运动分量64并生成相对运动分量68。随后，相对运动分量68可以被用于调整图像26的登记位置以补偿在眼镜200和用户18的头部16之间的相对运动。随后在经调整的登记位置处可显示图像26。
在一些示例中，图像稳定程序38可以将自适应滤波器74应用于合成运动数据60以移除头部运动分量64并生成相对运动分量68。例如，可以使用卡尔曼(Kalman)滤波器、最小均方滤波器、递归最小平方滤波器或其它合适的根据来自加速度计的输出信号所驱动的优化算法来自调节其传递函数的自适应滤波器。在其它示例中，图像稳定程序38可以将非自适应、高通滤波器78应用于合成运动数据60以移除头部运动分量64并生成相对运动分量68。
在一些示例中且除了滤波器之外或取代滤波器，图像稳定程序38可以利用一个或多个机器学习过程来分析合成的运动数据60。这样的机器学习过程可以随时间生成机器学习数据82，所述数据被图像稳定程序38用于调整图像26的登记位置以补偿眼镜200和头部16之间的相对运动。机器学习过程可以包括但不限于贝叶斯结构搜索、支持向量机、高斯过程、逻辑回归、以及对考虑了各实体或属性之间的关系的约束或模式的对关系变型的扩展。
回到图7和8且如上所述，这些附图通过示出显示梁214的移动和当被投影到用户眼睛的角膜710上时的信封图像700的对应移位来示出了眼镜200相对于用户18的头部16的相对移动。在图7中，眼镜200的显示梁214的所述部分在初始位置714和后续位置718中被示出，后续位置在垂直方向上沿Z轴相对于用户18的眼睛被移位。
在显示梁214的初始位置714处，信封图像700被显示在角膜710上的初始登记位置720处。这一初始登记位置720对应于在观看区域300中的初始感知位置730。在显示梁214的后续位置718处且由于显示系统22已经在Z轴方向上移位，如果被显示，则信封图像700将定位在角膜710上的移位的登记位置722处和在观看区域300中的移位的感知位置732处。如果在这些位置中被显示，信封图像700将被用户感知到跳跃到移位的感知位置，并且另外地，重复的相对移动可能对用户来说变得模糊。
现在参考图8，在如上所述过滤合成运动数据60以移除头部运动分量64并生成相对运动分量68之后，并代替在移位的登记位置722处显示信封图像700，图像稳定程序38可以使用相对运动分量68来将所显示的信封图像700的位置调整到对相对运动分量68进行补偿的经调整的登记位置740。
在一个示例中，图像稳定程序38可以利用相对运动分量68来估计显示梁214已经在Z轴方向上移位的距离D。使用所述距离D和显示系统22的光学配置，图像稳定程序38可以确定在Z轴方向中通过其将移位的登记位置722调整到经调整的登记位置740的调整A。以这种方式，在眼镜200相对于用户18的头部16移动之后，图像稳定程序38将信封图像700的显示调整到经调整的登记位置740，该位置比这样的相对移动之前更加紧密匹配初始登记位置720。与观看区域300中的移位的感知位置732相比较而言，经调整的登记位置740还对应于经调整的感知位置750。有利地，通过这些校正，在这种相对移动期间当观看信封图像700时用户体验到较少的抖动和模糊。
图8还示出在眼镜200和用户18的头部16之间的后续相对移动，在其中眼镜在Z轴和Y轴方向上相对于头部移动。根据该后续相对移动，如果被显示，信封图像700将被定位在角膜710上的第二移位的登记位置742处和相对于观看区域300的第二移位的感知位置752。图像稳定程序38可以类似地将信封图像700的显示调整到第二经调整的登记位置746，该位置比这样的相对移动之前更加紧密匹配初始登记位置740。第二经调整登记位置746还对应于在观看区域300中的第二经调整的感知位置756。
如上所述，在一些示例中，图像稳定程序38可以通过移动显示设备14的一个或多个光学组件来调整图像26的登记位置。在其它示例中，微显示器210的整个投影仪部件400可以被移动以调整图像26的登记位置。在其它示例中，图像稳定程序38可以通过平移图像的一个或多个像素来调整图像26的登记位置。例如且再次参考图6，在反射型LCOS面板606、610和614中的个体液晶可以被选择性地开启和关闭以平移所生成的图像的对应的像素。将理解，通过其它显示技术，可以使用其它平移图像的像素的方法。
在一些示例中，图像稳定程序38可以如上所述以稳定频率调整图像26的登记位置。可以使用的稳定频率的示例包括但不局限于30Hz.、60Hz.、120Hz.或任何其它合适的频率。可以选择例如在1Hz到30Hz之间的较低频率来优化电池寿命和计算对比用户感知的折衷。还将理解，在一些示例中，由于图像26的登记位置随时间被连续调整，图像的位置可以接近显示系统的可用的成像区域的边缘或边界。因此且现在参考图9，在一些示例中，图像稳定程序38可以以比稳定频率更慢的中心频率来在不断靠近角膜710上的参考位置760的位置处渐进地显示图像26。
在一些示例中，中心频率可以是比稳定频率慢5、10、20倍或其它多倍。参考位置可以例如是用户的眼睛的视网膜的中央凹的大致位置，或提供足够周围显示区域的其它合适的参考位置。
如在图9的示例中所示，信封图像700可以被显示在角膜710上的登记位置906处，其对应于在观看区域300中的感知位置926。随后，图像稳定程序38可以将信封图像700的位置调整到更靠近参考位置760的经调整的登记位置910。经调整的登记位置910对应于在观看区域300中的经调整的感知位置930。如上所述，这样的调整可以以比稳定频率更慢的中心频率来执行。另外，这样的中心调整的幅度可以是相对小的以最小化用户18对这样的调整的视觉感知。在一些示例中，每个这样的中心调整可以包括图像的一个像素的平移。
在其它示例中且再次参考图1，诸如移动计算设备86的同伴设备可以向显示设备14提供同伴传感器数据，该数据也可以被用于调整图像26的登记位置以补偿相对运动。以这种方式，可以改进这样的调整的精度。例如，当移动计算设备86是包括一个或多个加速度计的智能电话时，来自智能电话的合成运动数据也可以被提供给显示设备。显示设备14还可以确定智能电话到显示设备的邻近度。
如果该邻近度小于预定阈值，诸如1m，例如，显示设备14可以确定来自智能电话的合成运动数据对应于佩戴显示设备14的用户18所经历的运动事件。这种情形的一个示例是当用户18在驾驶汽车时且将智能电话放置在用户的口袋中。在这种情况中，显示设备14确定来自智能电话的合成运动数据对应于佩戴显示设备14的用户18所经历的运动事件。随后，显示设备14可以利用来自智能电话的合成运动数据以更加精确地调整图像26的登记位置来补偿显示设备14和用户18之间的相对运动。可以被用作如上所述的同伴设备的计算设备的其它示例包括但不局限于导航系统、娱乐系统和其它被集成到车辆中的计算设备或传感器，以及腕表和其它可穿戴的计算设备。
图10A和10B示出根据本公开的一实施例的用于通过佩戴在用户头部上的显示设备显示图像的方法1000的流程图。参考以上描述并在图1-9中示出的显示设备14的软件和硬件组件来提供方法1000的以下描述。可以理解，方法1000还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图10A，在1002，方法1000可包括在相对于用户的眼睛的初始登记位置处显示图像。在1006，方法1000可以包括从显示设备的一个或多个传感器接收合成运动数据，其中所述合成运动数据包括头部运动分量和相对运动分量，所述相对运动分量是在头部和显示设备之间的相对运动。在1010，一个或多个传感器包括两个加速度计。在1014，一个或多个传感器包括一个光学传感器。
在1018，方法1000可包括对合成运动数据进行过滤以移除头部运动分量并生成相对运动分量。在1022，过滤合成运动数据还可包括将自适应滤波器或高通滤波器应用于合成运动数据。在1026，方法1000可包括使用相对运动分量将图像的初始登记位置调整到相对于用户的眼睛的对相对运动分量进行补偿的经调整登记位置。
在1030，方法1000可包括使用机器学习来调整图像的初始登记位置。在1034，方法1000可包括通过平移图像的一个或多个像素来进一步调整图像的初始登记位置。在1038，方法1000可包括通过移动显示设备的一个或多个光学组件来调整图像的初始登记位置。在1042，方法1000可包括通过移动显示设备的投影仪部件来调整图像的初始登记位置。
现在参考图10B，在1046，方法1000可包括在经调整的登记位置处显示图像。在1050，方法1000可包括以稳定频率执行图像登记位置的后续调整并在对应的经调整登记位置处显示所述图像。在1054，方法1000可包括以比稳定频率更慢的中心频率来在不断靠近角膜上的参考位置的各位置处渐进地显示所述图像。在1058，方法1000可以包括从同伴设备接收同伴传感器数据。在1062，方法1000可包括使用同伴传感器数据来调整图像的初始登记位置以补偿相对运动分量。
能够理解，方法1000是以举例方式提供的，并且不旨在为限制性的。因此，可以理解，方法1000可包括相比于图10A和10B中示出的那些步骤而言附加的和/或替换的步骤。并且，可以理解，方法1000可用任何适当的次序执行。而且，可以理解，一个或多个步骤可从方法1000中省略，而不背离本发明的范围。
图11示意性示出了可以执行上述方法和过程之中的一个或更多个的计算系统1100的非限制性实施例。计算设备30和移动计算设备86可以采取计算系统1100的形式。计算系统1100被以简化形式示出，并且可以表示任何类型的计算设备或组件。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算设备1100可以并集成到显示设备14中，或采用例如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备、桌面计算设备、网络计算机、家庭娱乐计算机、交互式电视、游戏系统、便携式媒体播放器、游戏设备等形式。
如图11所示，计算系统1100包括逻辑子系统1104和存储子系统1108。计算系统1100可任选地包括显示子系统1112、传感器子系统1116、通信子系统1120、输入子系统1122和/或在图11中未示出的其他子系统和组件。计算系统1100还可包括计算机可读介质，其中该计算机可读介质包括计算机可读存储介质和计算机可读通信介质。此外，在某些实施例中，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库，和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
逻辑子系统1104可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统1104可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统1104可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备分布的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
存储子系统1108可包括被配置为保持可由逻辑子系统1104执行以实现此处所述的方法和过程的数据和/或指令的一个或多个物理持久设备。在实现此类方法和过程时，存储子系统1108的状态可以被变换(例如，以保持不同的数据)。
存储子系统1108可以包括可移动介质和/或内置设备。存储子系统1108可包括光学存储设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统1108可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址，以及内容可寻址。
在一些实施例中，可以将逻辑子系统1104和存储子系统1108的各方面集成在一个或多个共同设备中，通过该一个或多个共同设备，可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
图11还示出以可移动计算机可读存储介质1124形式的存储子系统1108的一方面，该介质可以用于存储可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质1124尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
将明白，存储子系统1108包括一个或多个物理持久设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以经由计算机可读通信介质通过纯信号来传播。
显示子系统1112可用于呈现由存储子系统1108所保持的数据的可视表示。由于以上所描述的方法和过程改变了由存储子系统1108保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统1112的状态以在视觉上表示底层数据的改变。显示子系统1112可包括利用几乎任何类型的技术的一个或多个显示设备。可以将此类显示设备与逻辑子系统1104和/或存储子系统1108一起组合在共享封装(例如眼镜200)中，或者此类显示设备可以是外围显示设备。显示子系统1112可包括例如显示设备14的显示系统22。
传感器子系统416可包括被配置成感测不同的物理现象(例如，加速度、取向、位置、可见光、红外线、声音、触摸、压力等)的一个或多个传感器。传感器子系统1116例如可以被配置为向逻辑子系统1104提供传感器数据。如上所述，在一些示例中，传感器子系统1116可以包括被配置为感测加速度并跟踪运动的一个或多个加速度计。在其他示例中，传感器子系统1116可包括被配置为获取朝向显示设备和/或背对显示设备的图像的图像传感器、和/或任何其他合适的可被用于执行如上所述的方法和过程的传感器。
通信子系统1120可以被配置成将计算设备1100与一个或多个网络和/或一个或多个其他计算设备可通信地耦合。通信子系统1120可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统1120可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统1100经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。
输入子系统1122可包括一个或多个传感器或用户输入设备(诸如游戏控制器、姿势输入检测设备、语音识别器、惯性测量单元、键盘、鼠标、或触摸屏)或与它们对接。在某些实施例中，输入子系统1122可以包括所选的自然用户输入(NUI)部件或与其结合。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
术语“程序”可用于描述本公开的被实现来执行一个或多个特定功能的一个方面。在某些情况下，可以经由执行存储子系统1108所保持的指令的逻辑子系统1104来实例化这样的程序。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序。类似地，相同的模块可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“程序”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行，或者在某些情况下被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其它特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.一种用于通过佩戴在用户的头部上的显示设备来显示图像的方法，所述显示设备包括一个或多个传感器，所述方法包括：
在相对于所述用户的眼睛的初始登记位置处显示所述图像；
从一个或多个传感器接收合成运动数据，所述合成运动数据包括头部运动分量和相对运动分量，所述相对运动分量是在所述头部和所述显示设备之间的相对运动；
对所述合成运动数据进行过滤以移除所述头部运动分量并生成所述相对运动分量；
使用所述相对运动分量，将所述图像的初始登记位置调整到相对于用户的眼睛的对所述相对运动分量进行补偿的经调整的登记位置；以及
在所述经调整的登记位置处显示所述图像。
2.如权利要求1所述的方法，其特征在于，过滤所述合成运动数据还包括将自适应滤波器或高通滤波器应用于所述合成运动数据。
3.如权利要求1所述的方法，其特征在于，还包括使用机器学习来调整所述图像的所述初始登记位置。
4.如权利要求1所述的方法，其特征在于，调整所述图像的初始登记位置还包括平移所述图像的一个或多个像素。
5.如权利要求1所述的方法，其特征在于，调整所述图像的初始登记位置还包括移动所述显示设备的一个或多个光学组件。
6.一种被配置为佩戴在用户的头部上并显示图像的显示设备，所述显示设备包括：
计算设备；
与所述计算设备通信耦合的一个或多个传感器；
被配置为在相对于所述用户的眼睛的初始登记位置处显示所述图像的显示系统；以及
存储在所述计算设备的大容量存储中的图像稳定程序，所述图像稳定程序被配置为：
从所述一个或多个传感器接收合成运动数据，所述合成运动数据包括头部运动分量和相对运动分量，所述相对运动分量是在所述头部和所述显示设备之间的相对运动；
对所述合成运动数据进行过滤以移除所述头部运动分量并生成所述相对运动分量；
使用所述相对运动分量，将所述图像的初始登记位置调整到相对于用户的眼睛的对所述相对运动分量进行补偿的经调整的登记位置；以及
在所述经调整的登记位置处显示所述图像。
7.如权利要求6所述的显示设备，其特征在于，所述一个或多个传感器包括两个加速度计。
8.如权利要求6所述的显示设备，其特征在于，所述一个或多个传感器包括光学传感器。
9.如权利要求6所述的显示设备，其特征在于，所述图像稳定程序进一步被配置为通过移动所述显示设备的投影仪部件来调整所述图像的所述初始登记位置。
10.如权利要求6所述的显示设备，其特征在于，通过将所述图像投影到所述眼睛的角膜上来显示所述图像，并且所述图像稳定程序还被配置为：
以稳定频率执行图像登记位置的后续调整并在对应的经调整的登记位置处显示所述图像；以及
以比所述稳定频率更慢的中心频率来在不断靠近所述角膜上的参考位置的各位置处渐进地显示所述图像。
CN201580016804.3A 2014-03-27 2015-03-20 头戴式显示器相对运动补偿 Active CN106164744B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/228,147 2014-03-27
US14/228,147 US9754415B2 (en) 2014-03-27 2014-03-27 Display relative motion compensation
PCT/US2015/021625 WO2015148282A1 (en) 2014-03-27 2015-03-20 Head-mounted display relative motion compensation

Publications (2)

Publication Number Publication Date
CN106164744A true CN106164744A (zh) 2016-11-23
CN106164744B CN106164744B (zh) 2019-02-05

Family

ID=52824565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580016804.3A Active CN106164744B (zh) 2014-03-27 2015-03-20 头戴式显示器相对运动补偿

Country Status (4)

Country Link
US (1) US9754415B2 (zh)
EP (1) EP3123282B1 (zh)
CN (1) CN106164744B (zh)
WO (1) WO2015148282A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019095090A1 (zh) * 2017-11-14 2019-05-23 深圳市柔宇科技有限公司 数据处理方法及装置
CN109886323A (zh) * 2019-01-31 2019-06-14 中国地质大学（武汉） 一种用于测试运动轨迹滤波算法的装置
CN111066081A (zh) * 2017-09-08 2020-04-24 微软技术许可有限责任公司 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN113164040A (zh) * 2018-12-10 2021-07-23 三星电子株式会社 补偿附着在用户身体上的传感器的移动
CN115509017A (zh) * 2022-11-21 2022-12-23 蔚来汽车科技(安徽)有限公司 增强现实眼镜和利用增强现实眼镜来实现显示增强的方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
CN107431778B (zh) * 2015-04-22 2021-06-22 索尼公司 信息处理装置、信息处理方法和程序
US10438410B2 (en) * 2015-12-22 2019-10-08 Intel Corporation Text enhancements for head-mounted displays
US10359806B2 (en) * 2016-03-28 2019-07-23 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset
CN105898275A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 虚拟现实图像校准方法及装置
CN107462989A (zh) * 2016-06-06 2017-12-12 华硕电脑股份有限公司 影像稳定方法与电子装置
US11102467B2 (en) * 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
KR102402467B1 (ko) * 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
CN106547352A (zh) * 2016-10-18 2017-03-29 小派科技（上海）有限责任公司 一种虚拟现实画面的显示方法、头戴显示设备及其系统
US10835809B2 (en) 2017-08-26 2020-11-17 Kristina Contreras Auditorium efficient tracking in auditory augmented reality
GB201714349D0 (en) 2017-09-06 2017-10-18 Xyz Reality Ltd A method and equipment for setting out a construction site
US20190079288A1 (en) * 2017-09-13 2019-03-14 Htc Corporation Head mounted display system and image display method thereof
US10488917B2 (en) * 2018-02-17 2019-11-26 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze using reflective element
WO2020023542A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
JP7262973B2 (ja) * 2018-10-31 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing
CN113490873A (zh) * 2018-12-28 2021-10-08 奇跃公司 带有机械致动图像投影仪的可变像素密度显示系统
KR20210052091A (ko) * 2019-10-31 2021-05-10 삼성전자주식회사 다중 깊이 표현이 가능한 디스플레이 장치
US11409114B2 (en) * 2020-03-02 2022-08-09 Samsung Electronics Co., Ltd. Image display device capable of multi-depth expression
GB2603496A (en) 2021-02-05 2022-08-10 Xyz Reality Ltd Aligning multiple coordinate systems for information model rendering
GB2605442B (en) 2021-04-01 2023-03-22 Xyz Reality Ltd Configuration method for the display of a building information model
GB2613155A (en) 2021-11-24 2023-05-31 Xyz Reality Ltd Matching a building information model
GB2619966A (en) 2022-06-24 2023-12-27 Xyz Reality Ltd Augmented reality for a construction site with multiple devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739567A (zh) * 2008-11-19 2010-06-16 索尼爱立信移动通信日本株式会社 终端装置、显示控制方法和显示控制程序
US20120050140A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display control
US20120083312A1 (en) * 2010-10-05 2012-04-05 Kim Jonghwan Mobile terminal and operation control method thereof
US20130235169A1 (en) * 2011-06-16 2013-09-12 Panasonic Corporation Head-mounted display and position gap adjustment method
US20130293447A1 (en) * 2012-05-04 2013-11-07 Sony Computer Entertainment Europe Limited Head-mountable display system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154829A (ja) 1993-11-25 1995-06-16 Matsushita Electric Ind Co Ltd 眼鏡型映像表示装置
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
JP2002014300A (ja) 2000-06-28 2002-01-18 Seiko Epson Corp 頭部装着型表示装置
JP3467017B2 (ja) 2000-11-30 2003-11-17 キヤノン株式会社 位置姿勢の決定方法及び装置並びに記憶媒体
US7474335B2 (en) 2001-01-31 2009-01-06 International Business Machines Corporation Method, apparatus and program storage device for image position stabilizer
US7580540B2 (en) 2004-12-29 2009-08-25 Motorola, Inc. Apparatus and method for receiving inputs from a user
US8336777B1 (en) 2008-12-22 2012-12-25 Pantuso Francis P Covert aiming and imaging devices
JP2010232718A (ja) 2009-03-25 2010-10-14 Olympus Corp 頭部装着型画像表示装置
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP5821464B2 (ja) 2011-09-22 2015-11-24 セイコーエプソン株式会社 頭部装着型表示装置
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739567A (zh) * 2008-11-19 2010-06-16 索尼爱立信移动通信日本株式会社 终端装置、显示控制方法和显示控制程序
US20120050140A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display control
US20120083312A1 (en) * 2010-10-05 2012-04-05 Kim Jonghwan Mobile terminal and operation control method thereof
US20130235169A1 (en) * 2011-06-16 2013-09-12 Panasonic Corporation Head-mounted display and position gap adjustment method
US20130293447A1 (en) * 2012-05-04 2013-11-07 Sony Computer Entertainment Europe Limited Head-mountable display system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111066081A (zh) * 2017-09-08 2020-04-24 微软技术许可有限责任公司 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
WO2019095090A1 (zh) * 2017-11-14 2019-05-23 深圳市柔宇科技有限公司 数据处理方法及装置
CN113164040A (zh) * 2018-12-10 2021-07-23 三星电子株式会社 补偿附着在用户身体上的传感器的移动
CN109886323A (zh) * 2019-01-31 2019-06-14 中国地质大学（武汉） 一种用于测试运动轨迹滤波算法的装置
CN109886323B (zh) * 2019-01-31 2020-10-30 中国地质大学（武汉） 一种用于测试运动轨迹滤波算法的装置
CN115509017A (zh) * 2022-11-21 2022-12-23 蔚来汽车科技(安徽)有限公司 增强现实眼镜和利用增强现实眼镜来实现显示增强的方法

Also Published As

Publication number Publication date
EP3123282A1 (en) 2017-02-01
US20150279102A1 (en) 2015-10-01
CN106164744B (zh) 2019-02-05
WO2015148282A1 (en) 2015-10-01
US9754415B2 (en) 2017-09-05
EP3123282B1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
CN106164744B (zh) 头戴式显示器相对运动补偿
US9910513B2 (en) Stabilizing motion of an interaction ray
US9288468B2 (en) Viewing windows for video streams
TWI597623B (zh) 可穿戴基於行爲的視覺系統
KR102599889B1 (ko) 가상 포커스 피드백
US20160131902A1 (en) System for automatic eye tracking calibration of head mounted display device
CN107209386A (zh) 增强现实视野对象跟随器
US20130293468A1 (en) Collaboration environment using see through displays
US20140247286A1 (en) Active Stabilization for Heads-Up Displays
US20200211512A1 (en) Headset adjustment for optimal viewing
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
US11506902B2 (en) Digital glasses having display vision enhancement
CN113330506A (zh) 用于在亮度受控环境中进行局部调光的装置、系统和方法
US11830494B2 (en) Wearable speech input-based vision to audio interpreter
KR20230017837A (ko) 분화를 포함하는 안경류
US20180158390A1 (en) Digital image modification
US20190204910A1 (en) Saccadic breakthrough mitigation for near-eye display
US11455796B1 (en) Blindness assist glasses
US20230185090A1 (en) Eyewear including a non-uniform push-pull lens set
US11792371B2 (en) Projector with field lens
US20230196621A1 (en) Sparse rgb filter hardware accelerator
KR20240005959A (ko) 다수의 틴트 영역들을 갖는 아이웨어 전기 변색 렌즈
KR20240051196A (ko) 디스플레이 상의 중첩을 위해 음성 신호들을 움직일 수 있는 입술들의 이미지들로 트랜슬레이션하는 안경류
KR20220157992A (ko) 콘텍스트-기반 이미지 상태 선택

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant