CN112136152A - 由观看设备的部件变形导致的图像校正 - Google Patents

由观看设备的部件变形导致的图像校正 Download PDF

Info

Publication number
CN112136152A
CN112136152A CN201980032005.3A CN201980032005A CN112136152A CN 112136152 A CN112136152 A CN 112136152A CN 201980032005 A CN201980032005 A CN 201980032005A CN 112136152 A CN112136152 A CN 112136152A
Authority
CN
China
Prior art keywords
gaze direction
virtual object
deformation
eye
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980032005.3A
Other languages
English (en)
Inventor
A·纽斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN112136152A publication Critical patent/CN112136152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

一种显示组件在选择位置处显示虚拟对象，其中，观看虚拟对象的眼睛具有预期的注视方向。检测该显示组件的变形。该变形使虚拟对象可在改变后的位置是可观看的，其中，眼睛具有改变后的注视方向。可以在校正后的位置处显示虚拟对象，其中，观看在校正后的位置处的虚拟对象的眼睛具有校正后的注视方向，该校正后的注视方向与改变后的注视方向相比更靠近预期的注视方向地移动。

Description

由观看设备的部件变形导致的图像校正
相关申请的交叉引用
本申请主张2018年3月15日提交的序列号为62/643,672美国临时专利申请的优先权，该申请的全部内容通过引用并入此文。
技术领域
本发明一般地涉及观看设备以及显示渲染内容的方法，更具体地，涉及检测和校正观看设备的部件的变形。
背景技术
提供渲染图像的观看设备已广泛用于计算、娱乐和其他目的。观看设备通常是具有用于渲染图像的显示器的可穿戴设备，并且可以包括各种特征，诸如使用户看到三维图像，在真实世界环境内固定用户位置的情况下使用户看到真实世界环境内的渲染或使用户看到真实世界环境内的渲染而无需在真实世界环境内固定用户位置的能力，以及向用户显示视频或其他移动的渲染。
观看设备具有各种部件，这些部件在使用一段时间之后会发生变形。当这些部件变形时，渲染的虚拟对象在观看设备仍是新的时可能不在其原始位置。例如，后台应用可以在相对于观看设备的固定位置或相对于用户周围的真实世界对象的固定位置显示虚拟对象。在一些情况下，观看设备可以具有透视显示器，使得用户可以看到真实世界的对象，并且可以在相对于真实世界对象的固定位置感知渲染对象。例如，用户可以感知真实世界桌子上渲染的咖啡杯。当观看设备的部件发生变形时，咖啡杯可能不再被渲染为位于桌子上，而是漂浮在桌子上方某一距离处。因此，咖啡杯不会以对现实真实的方式向用户显示。另外，如果将咖啡杯用作用户与后台应用交互的界面元素，则在后台应用期望咖啡杯所在的位置与用户与咖啡杯交互的位置之间可能存在失配。
发明内容
本发明提供了一种用于显示渲染内容的观看设备，包括：显示组件，其被配置为在所述显示组件上的选择位置处显示虚拟对象，其中，观看所述虚拟对象的眼睛具有预期的注视方向；以及变形检测系统，其被连接到所述显示组件，并被配置为检测观看所述显示组件上的所述虚拟对象的眼睛的所测量的注视方向，并基于所测量的注视方向是不同于所述预期的注视方向的改变后的注视方向来计算所述显示组件的变形。
本发明还提供了一种显示渲染内容的方法，包括：借助显示组件在所述显示组件上的选择位置处显示虚拟对象，其中，观看所述虚拟对象的眼睛具有预期的注视方向；以及检测所述显示组件的变形，其中，所述变形使所述虚拟对象在改变后的位置处是可见的，其中，所述眼睛具有改变后的注视方向。
附图说明
通过示例进一步描述本发明，其中：
图1是示出了根据本发明的实施例的观看设备的框图，该观看设备向用户的眼睛显示渲染内容；
图2A是眼睛和观看设备的光学显示器的透视图，其中，光学显示器未变形；
图2B是类似于图2A的视图，其中，光学显示器已变形；
图3A是示出了如何建立渲染对象的位置的透视图；
图3B和3C是示出了如何移动渲染对象的正视图；
图3D是示出了能够如何使用激光投影仪提供的不同插入角度来移动渲染对象的位置的俯视平面图；
图4是示出了可能的注视矢量误差的透视图；
图5A至图5D示出了用于确定虚拟对象的可能位置和虚拟对象的增量移动以校正其位移的统计方法；
图6A至6C示出了由于显示器变形导致的虚拟对象的运动以及虚拟对象的移动的校正；
图7A至7E示出了由于显示器变形导致的虚拟对象的移动以及注视角的对应的变化(图7A至7B)，眼睛跟踪相机的变形对所计算的注视角的影响(图7C和7D)，以及注视角的校正(图7E)；
图8A至8D示出了虚拟对象的移动以及注视矢量的对应变化(图8A和8B)，以及眼睛跟踪相机的变形对所计算的注视角的影响(图8C和8D)；
图9示出了一种矫正图8D所示的注视角的合成(resultant)变化的解决方案；
图10A至10C示出了与图9不同的矫正图8D中的合成注视角的解决方案；
图11是类似于图1的视图，进一步示出了用于集成图10A至10C所示过程的观看设备的参考系统；
图12是示出观看设备的功能的流程图；以及
图13是根据本发明的一个实施例的可以在本发明的系统中找到应用的计算机形式的机器的框图。
具体实施方式
附图中的图1示出了根据本发明的实施例的观看设备20，该观看设备用于向用户的眼睛22显示渲染内容。观看设备20包括显示组件24、变形检测系统26、用户输入设备28和校正系统30。
显示组件24包括彼此直接或间接连接的视频数据接收器32、投影仪34和光学显示器36。显示组件24包括可固定到用户的头部的结构(未示出)，其中光学显示器36位于用户的眼睛22前方。光学显示器36是透明部件，其允许眼睛22看到光学显示器36后面的真实世界中的对象，并且可以同时向用户投射虚拟图像，以使得与真实和虚拟对象相关联的光对于用户是可见的。
视频数据接收器32被连接到或可被连接到承载像素的颜色和强度值的视频数据通道。投影仪34具有能够基于视频数据创建二维图案的激光器和扫描仪。光学显示器36位于投影仪34的激光器的位置处，以将激光耦入光学显示器36内。然后，激光传播通过光学显示器36，并通过光学显示器36的光瞳朝着眼睛22从光学显示器36射出。眼睛22因此接收来自光学显示器36后面的真实世界对象的光和由投影仪34生成的光。然后在眼睛22的视网膜38上创建增强现实视图，该增强现实该视图包括与由投影仪34创建的表示虚拟内容的光结合的来自用户通过光学显示器36可见的真实世界场景的光。
变形检测系统26包括注意力生成单元40、输入触发器42、眼睛跟踪相机44、注视角计算模块46、统计系统48和校正计算单元50。
注意生成单元40被连接到视频数据接收器32。注意生成单元40被配置为向视频数据接收器32提供超驰功能。注意生成单元40例如可以将虚拟对象插入由视频数据接收器32接收到的数据流内，改变虚拟对象的颜色和/或减小虚拟对象的尺寸，目的是使眼睛22将其注视角朝向虚拟对象并聚焦在虚拟对象上。尽管描述了注意力生成单元40，但是可以用作校准增强现实系统的基础的虚拟内容通常由渲染系统或模块提供。
输入触发器42被连接到用户输入设备28并检测通过用户输入设备28的用户输入。用户输入设备28例如可以是操纵杆、识别杆(wand)、跟踪用户身体部位的相机、按钮、触摸板、配备传感器的手套、鼠标、键盘等中的一者或多者。用户输入设备28向输入触发器42提供输入。
眼睛跟踪相机44被安装在显示组件24中捕获眼睛22的图像的位置。在一些实施例中，每只眼睛一个或多个相机用于对用户的眼睛进行成像。或者，可以使用具有足够宽的角度以捕获包括用户的双眼的图像的单个相机。
注视角计算模块46被连接到眼睛跟踪相机44和输入触发器42。注视角计算模块46基于由眼睛跟踪相机44捕获的图像来计算眼睛22的注视角。注视角计算模块46被连接到输入触发器42，并由输入触发器42激活，以使得当检测到用户输入时，由注视角计算模块46计算注视角。尽管使用所计算的注视角来描述了系统，但是也可以使用任何其他眼睛注视取向特性，例如注视矢量、注视坐标、视轴取向或角膜中心位置。此外，来自左眼和右眼的注视数据可以组合使用，以收集有关用户的眼睛聚焦的位置的信息。
统计系统48被连接到注视角计算模块46，并接收大量的注视角计算测量。每当输入触发器42激活注视角计算模块46时，统计系统48记录从注视角计算模块46接收的注视角。因此，统计系统48在一段时间内收集多个注视角。然后，统计系统48计算统计上相关的注视角，例如来自由统计系统48记录的注视角的中间注视角。可以选择或计算代表性的注视角，并且可以将其用于与相关联于虚拟内容的显示的预期的注视角进行比较。如果代表性的注视角与预期的注视角基本不同，则可以推断出系统内已经发生了变形。
校正计算单元50被连接到统计系统48。校正计算单元50计算由注意力生成单元40创建或修改的渲染的虚拟对象的位置处的期望校正。
校正系统30被连接到校正计算单元50。校正系统30从校正计算单元50接收校正数据。视频数据接收器32被连接到校正系统30。校正系统30修改由注意力生成单元40创建或修改的虚拟对象的位置。校正系统30还以与由注意力生成单元40创建或修改的虚拟对象的位置被校正的相同的量和方向来修改视频流中所有其他对象的位置。
在使用中，用户将观看设备20附接到他们的头部，其中光学显示器36位于眼睛22前方。然后，用户可以通过透射光学显示器36看见真实世界对象，并且可以同时观看渲染的虚拟内容。
视频数据接收器32从后台应用接收视频数据。后台应用例如可以是用于显示电影的电影应用、游戏、网络浏览器、菜单、启动程序、二维内容、三维内容或任何其他类型的虚拟内容。视频数据包括表示以视频数据速率接收的图像帧的数据。视频数据包括具有强度和颜色值的像素。视频数据接收器32将视频数据提供给投影仪34。投影仪34创建用于每个帧的二维图案。图案可以包括激光束，其中每个束表示相应的像素，并且其强度和颜色被调制。投影仪34通过透镜、反射镜、光栅等直接或间接地将图案耦入光学显示器36内。图案通过光学显示器36透射并且朝着眼睛22从光学显示器36射出。光束54表示从光学显示器36朝着眼睛22透射的光。然而，应当理解，许多表示虚拟对象的光束从光学显示器36被投射，以使得视网膜38接收的图像与由投影仪34创建的图案类似。在一些实施例中，由于应用于表示虚拟对象的光的一种或多种波阵面整形技术，用户可以将虚拟对象感知为三维的。在图案随视频数据接收器32提供给投影仪34的每一帧数据连续变化的实施例中，用户可以看到动态图像。
由视频数据接收器32接收的视频数据包括表示将在眼睛22的视网膜38上显示的一个或多个对象的数据。在以视频数据接收器32接收的数据表示的虚拟对象实际上可以在光学显示器36上显示。但是，这种虚拟对象可能在光学显示器36的表面上是不可见的或不容易辨别的，这是由许多因素造成的，该许多因素包括光学显示器36是透视显示器和/或光学显示器36主要用作在投影仪34和眼睛22之间引导光的波导。即使虚拟对象在光学显示器36的表面上是不可见的，但是由视频数据接收器32向投影仪34提供的视频数据仍然包括表示对象的数据。出于讨论的目的，将假设一个或多个虚拟对象在光学显示器36的表面上是可见的。然而，应当理解，为了便于说明，在光学显示器36的表面上示出了对象。本发明主要涉及一种校准方法论，无论对象在光学显示器36的表面上实际上是可见的还是不可见的，该校准方法论都是相同的。
在观看设备的正常操作期间，注意力生成单元40不向视频数据接收器32的正常操作提供超驰功能。所有视频数据均以视频刷新率呈现给用户，不会受到变形检测系统26的任何干扰。变形检测系统26每天仅对视频数据接收器32的执行几次超过正常的功能(例如，连续使用期间每天50至100次)以进行测量，而视频数据接收器32在其余时间继续不间断地操作。用户输入设备28和眼睛跟踪相机44被连接到后台应用。在视频数据接收器32的正常操作期间，用户可以使用用户输入设备28向后台应用提供指令或以其他方式与光学显示器36上渲染的虚拟内容进行交互，同时一个或多个眼睛跟踪相机44继续监视眼睛22。用户例如可以使用用户输入设备28与经由光学显示器36向用户显示的虚拟对象进行交互，同时后台应用依靠眼睛跟踪相机44来了解用户何时看向虚拟对象。
在对观看设备20进行工厂校准之后，显示组件24具有极小的变形或几乎未变形。使用光学显示器36显示的对象相对于眼睛22的注视角在其预期的位置处。在使用观看设备20期间，包括或被连接到显示组件24的观看设备20的部件开始变形。该变形可以表现为光学显示器36的变形、铰链的变形、以及将观看设备20安装到用户头部的结构中使用的材料的变形。变形通常是由施加在显示组件24的部件上的较小或较大的应力与显示组件24的部件的材料的组合导致的。例如，在以下情况下会产生应力：当与光学显示器36连接的缆线牵拉光学显示器36时，当用户将观看设备20安装到其头部上或从其头部移除时，以及当用户操纵铰链、弹簧或其他动态部件以拆开或存放观看设备20时。当应力循环时，显示组件24的部件的材料特性可能会经受疲劳，并且已知当塑料材料在一段时间内受到应力时，塑料材料会经受“蠕变”。观看设备20的一些材料也可能经受热负荷，并且这种温度变化可能导致一个或多个部件的变形。变形的结果是在变形的观看设备20上向用户呈现虚拟对象的实际位置不是这些虚拟对象的期望的渲染位置。因此，用户的实际注视不同于用户要在期望的渲染位置处看到渲染的虚拟内容情况下的将被预期的注视。此外，变形是连续的，因此可以预期被用户感知到的虚拟对象的渲染位置将在一段时间内相对于期望的渲染位置继续移动。显示组件24首先在选择位置处显示虚拟对象，其中，眼睛22具有预期的注视方向。显示组件24的变形使虚拟对象在改变后的位置处是可观看的，其中，眼睛22具有改变后的注视方向。
变形检测系统26的一个或多个部件可以在功能上和结构上被连接到显示组件24，以检测显示组件的变形。校正系统30被连接到变形检测系统26。校正系统30与显示组件24一起在校正后的位置处显示虚拟对象。当在校正后的位置处显示虚拟对象时，观看在校正后的位置处的虚拟对象的眼睛22具有校正后的注视方向，该校正后的注视方向与改变后的注视方向相比更靠近预期的注视方向移动。变形检测系统26向上述观看设备20的正常操作提供超驰或增强功能。在连续操作期间，变形检测系统26被间歇地激活，例如每小时10至20次。另外，变形检测系统26仅被激活几秒钟，例如三到七秒，这与进行测量和调整所需的时间一样长。在剩余时间中，观看设备20正常操作。
变形检测系统26的功能通过在用户输入设备28被连接到输入触发器42并且眼睛跟踪相机44持续监视眼睛22的同时激活注意力生成单元40来启动。对于用户而言，主要需要与视频数据接收器32从后台应用接收的渲染对象进行交互，该渲染对象足够小以最小化注视矢量误差。注意生成单元40还可以修改虚拟对象的颜色或减小其尺寸以吸引用户的注意力，并帮助将眼睛22吸引到虚拟对象所处的小点。视频数据接收器32将表示虚拟对象的数据提供给投影仪34。投影仪34然后生成光并将表示虚拟对象的光朝着光学显示器36投射以供用户观看。
由注意力生成单元40放置或修改的虚拟对象是要求用户使用用户输入设备28与渲染的虚拟对象进行交互的类型。这种虚拟对象例如可以是播放按钮、目标、应用启动图标等。当用户使用用户输入设备28与渲染的虚拟对象进行交互时，假设用户的眼睛22看着光学显示器36上的渲染的虚拟对象。眼睛跟踪相机44捕获眼睛22的图像，并将图像数据提供给注视角计算模块46。用户输入设备28激活输入触发器42，输入触发器指示注视角计算模块46使用从眼睛跟踪相机44接收的数据来计算眼睛的注视角。注视角计算模块46计算的注视角表示用户感知到的渲染的虚拟对象在光学显示器36上的实际位置。
注视角计算模块46将注视角提供给统计系统48。统计系统48存储注视角。当变形检测系统26第二次被激活时，该过程被重复并且统计系统48存储第二注视角。该过程一直被重复，直到统计系统48已经存储了足够多的注视角以允许统计系统48来计算统计上相关的改变后的注视角。统计系统48例如可以根据所收集的注视角计算注视角的平均值、均值或中值。统计系统可以根据所有测量计算统计上相关的注视角，尽管优选地，统计系统仅使用预定误差范围(例如，90弧分)之外的注视角作为用于计算统计上相关的注视角的数据点。替代地，在一些实施例中，不是在执行增量校正之前累积多个测量以计算在统计上确定的注视角，而是被确定为位于预期的注视角的公差误差之外的每个测量的注视角可以导致对虚拟内容的渲染位置的增量校正。
统计系统48将改变后的注视角提供给校正计算单元50。校正计算单元50确定使注视角从改变后的注视角返回到预期的注视角所需的注视角的校正量。校正计算单元50计算所需的校正方向和校正量两者，然后计算仅为所需校正的一小部分的实际校正。然后，校正计算单元50将实际校正提供给校正系统30。校正系统30将校正提供给视频数据接收器32。然后，视频数据接收器32根据从校正系统30接收到的实际校正的方向和大小来移动由注意力生成单元40生成的虚拟对象以及所有其他对象。
在向校正计算单元50提供改变后的注视角之前，统计系统48可能需要大量测量，例如50至100次测量。此外，所做的任何校正都仅仅是由显示组件24的变形导致的注视角的实际变化的一小部分。因此，累积校正是一个缓慢的过程。举例来说，在一天内的八小时的连续操作期间，仅可以进行单次校正，并且在预期的注视角的公差范围内校正注视角可能需要几天或几周的时间。或者，可以在使用设备期间进行几次小的校正。校正的次数可以取决于用户与虚拟内容交互的次数，其中该次数被认为对于注视角计算和渲染位置校准是可靠的。这种缓慢的过程允许在发生错误的情况下进行重新计算，并允许显示组件24的变形持续加速和减速，降低了超过在显示组件24持续变形的情况下必须做出的所需校正的风险。
在图2A中，未变形的形状60表示变形之前的光学显示器36。将渲染对象62放置在光学显示器36中以吸引用户的注意力。当用户看着
渲染对象62时，可以定义实际注视矢量64。实际注视矢量64是为了观看虚拟对象眼睛22被引导所沿的方向或轴。实际注视矢量从眼睛22的中心点22通过眼睛的瞳孔的中心延伸。为了计算实际注视矢量64，一种方法是首先计算眼睛22的实际中心点22。也可能计算实际注视矢量64，而无需计算眼睛22的实际中心点22，但是使用眼睛的其他解剖信息实现此目的。预期的注视矢量64通过光学显示器36延伸，并且用户将渲染对象62感知为增强对象68。增强对象68位于由未变形形状70表示的平面中。因为未变形形状70的平面比光学显示器36的平面更远，所以用户感知到增强对象68大于渲染对象62，并且由未变形形状70定义的场大于由未变形形状60定义的场。用户还感知到桌子72。用户还感知到桌子72通过图2A中由增强对象68表示的渲染的虚拟内容得到增强。
多个红外发光二极管(LED)74可被包括在眼睛跟踪系统中。每个LED 74透射红外光，该红外光在眼睛22的表面上形成相应的红外光斑(“闪光”)76。参考标号78表示从光斑76朝着眼睛跟踪相机44反射的红外光。眼睛跟踪相机44捕获由LED 74在眼睛22的表面上产生的所有光斑的位置。光斑76的位置被注视角计算模块46用来计算眼睛22的注视角或注视矢量。在一些实施例中，眼睛跟踪相机还可捕获瞳孔的位置。可以将瞳孔位置数据与红外闪光结合使用来确定眼睛的位置。可以基于眼睛位置信息来计算或以其他方式确定注视角或注视矢量。
图2A示出了预期的注视矢量64，其传播通过渲染对象62和增强对象68的中心。参考标号82表示由眼睛跟踪相机44捕获的从眼睛22反射的光。因此，在一些实施例中，眼睛跟踪相机44捕获眼睛的取向和瞳孔80的位置。注视角计算模块46至少使用可交互的渲染虚拟内容的位置来计算实际注视矢量(在图2A中与预期的注视矢量64重合)。在一些实施例中，还可以使用眼睛22相对于光学显示器36的位置。
为了确定变形前的注视角而进行测量可能不一直是必要的。例如，当观看设备20是新设备时，可以假设显示组件24未变形，并且当渲染对象62按照图示定位时，眼睛22的注视角如预期的注视矢量64所表示的。因此，渲染对象62可以按照图示定位，并且可以确定预期的初始注视矢量64，而无需执行任何附加测量。预期的注视角和实际的注视角将基于渲染内容的位置而变化。虽然可以计算“初始”注视角或“变形前”注视角，但可以从后台应用或先前的计算中假设预期的注视矢量。然后可以计算假设的预期的注视角和新近计算的实际的注视角之间的差异。
在图2B中，形状86表示光学显示器36的变形。光学显示器36的变形由在形状86与未变形形状60相比时的差异来表示。渲染对象62仍然被渲染在显示器上的相同(x,y)位置处，但显示器相对于用户的变形使用户感知到内容在与预期位置不同的位置处。由于该变形，渲染对象62不再在图2A所示的位置，而是已经移动了矢量88表示的距离和方向。因此，渲染对象62已经沿着由光学显示器36在渲染对象62的区域中的变形导致的方向发生了移动。在眼睛22与渲染对象62之间定义了改变后的注视矢量90。在由形状92表示的平面内，用户将渲染对象62看成增强对象68。形状92以与形状86和未变形形状60之间的变形类似的方式相对于未变形形状70发生变形。
当用户看着增强对象68时，实际的注视矢量90从眼睛22传到变形形状92中的增强对象68的位置。在该示例中，实际的注视矢量90不同于预期的注视矢量64。眼睛跟踪相机44继续捕获眼睛位置信息，该眼睛位置信息可以是基于图像内的瞳孔位置和/或闪光反射图案的，以使得注视角度计算模块46可以计算实际的注视矢量90并将其与预期的注视矢量64进行比较，以推断是否发生了显示组件变形。
图3A示出了如何校正渲染对象62的位置。投影仪34以预定角度朝着光学显示器36投射与虚拟图像或对象相关联的图像光94。图像光94可以遇到一个或多个衍射光学元件，诸如耦入光栅95、正交光瞳扩展器97、以及出射光瞳扩展器99，该一个或多个衍射性光学元件作为光学显示器36的一部分被设置在波导101之中或之上。当图像光94传播通过波导101时，衍射光学元件以不同方式重定向光，最终导致图像光94通过出射光瞳扩展器99朝着用户的眼睛22从波导射出。用户的眼睛22可以将图像光94聚焦在视网膜上的位置处，以使用户感知渲染对象62。
参考图3B和3C，示出了投射为图像光94的图像的两个示例。在图3B中，图像94a的中心示出了虚拟内容对象115。当图像94a被朝向未变形的光学显示器36投射并行进通过其部件时，用户将看到位于视场中心的虚拟内容对象115。然而，如果图像94a朝着变形的显示器投射，则虚拟内容对象115可以被用户感知为已向右移位，例如以使得其不再位于视场的中心。为了校正由变形引起的并且通过比较预期的注视矢量和实际的注视矢量而检测到的位移，可以投射图像94b来代替图像94a。在图像94b中，虚拟内容对象115向图像左侧移位，以便当光以向右移移的方式从变形的显示器射出时，显示器的右位移抵消内容的左位移，并且虚拟内容对象115向用户呈现为位于视场的中心。像素移位可以通过使用LED或其他类似光源点亮投影仪34内的空间光调制器(SLM)的不同像素来实现。在这种调整方法中，将实际的注视角或注视矢量与预期的注视角或注视矢量变换为显示坐标系可能是有用的。例如，系统可能希望用户的注视位于坐标(x1,y1)上的像素的中心，但发现用户的注视实际上位于显示坐标系中的坐标(x2,y2)上的像素的中心。通过这种方法，可以以与由用户的注视矢量所确定的预期的观看坐标与实际的观看坐标之间的差相等但是方向相反的量来调整像素移位。也可以使用用于调整虚拟内容的渲染位置的替代手段。
在一些实施例中，如图3D所示，可以通过调整投影仪34本身来完成校正。为实现完全校正，渲染对象62的渲染位置必须从位置100沿着矢量102表示的方向移动到校正后的位置104。为实现完全校正，投影仪34可以以调整后的角度将光106插入光学显示器36的衍射光学元件内，以使得渲染对象62在视场内更靠近预期位置是可观看的。用户将感知到渲染对象62已从位置100沿着矢量102向位置104移动。但是，未做出完全校正。相反，渲染对象62沿着矢量102表示的方向以在位置100与位置104距离的一小部分移动。为做出部分校正，投影仪34因此以比图像光94稍陡但不如光106陡的角度插入光。
图4示出了两个用户交互事件处的潜在注视矢量误差120和122。从解剖学上讲，当眼睛聚焦在静态图像，诸如增强对象68，上时，眼睛会持续移动。自然的眼睛运动通常导致相对于中心注视矢量的约60弧分的误差或偏差，该中心注视矢量对应于从眼睛的选择解剖标记，例如眼睛22的中心点66，到增强对象68的直线路径。在一些实施例中，注视矢量可以被定义为从眼睛的角膜的中心到增强对象68的直线路径，或者可以被定义为眼睛的视轴的延伸。如果用户看着增强对象68，则可以认为具有相对于注视矢量90的60弧分半径的预期的注视矢量范围内的注视矢量指向增强对象68的位置。图1中的注视角度计算模块46对于给定的眼睛尺寸、形状等还有一些误差，并且这种额外的误差会给预期的注视矢量范围半径增加约30弧分。当确定用户正在看着增强对象68并且所计算的注视矢量在注视矢量90的90弧分半径内时，则认为系统已被很好地校准。
一个挑战是，注视矢量中相对较大的90弧分误差半径使得难以确定增强对象68的实际的感知位置的确切位置。为了解决潜在误差，图1中的统计系统48将收集多个数据点以发现趋势。累积所确定的注视矢量中的趋势以发现如由具有一定变形量的系统所显示的增强对象68的实际的感知位置的可能位置。由于仍然不确定多少位置差异是由于眼球运动或算法错误导致的噪声，以及多少位置差异是由图1中的显示组件24的实际的变形导致，因此无法执行注视矢量的完全校正。举例来说，校正增量可以在0.01至0.5弧分之间，例如0.1弧分。替代地，校正增量可以是基于检测到的变形量的，较大的变形需要较大的增量。举例来说，校正增量可以比检测到的变形量小两个数量级。
图5A至5D示出了可能展开的许多场景之一。在图5A中，进行了许多注视矢量测量，这些注视矢量测量指向位置124A至124C。位置124A至124C的空心圆表示已经计算出的所测量的注视角。位置126的黑圈指示它是系统预期的虚拟对象所在的位置。系统使用所测量的注视矢量位置124A至124C来计算虚拟对象现在可能位于的统计上相关的位置130。位置124A至124C处的所测量的注视矢量指示虚拟对象可能已从初始预期的位置126沿着矢量128表示的方向移动到在统计上所确定的改变后的位置130。在图5B中，虚拟对象渲染位置为沿着矢量132表示的方向移动，矢量132与矢量128表示的方向相反，并且大小较小。假设虚拟对象位于位置130，并且已经沿着矢量132的方向朝着预期的渲染位置126移动到新位置134。
在图5C中，收集了其他数据点124D至124G，这些数据点在统计上确定虚拟对象位于改变后的位置136处。与位置130相比，位置136位于位置126的另一侧。对象位置的变化是显示系统的持续变形的结果。当确定虚拟对象在位置130处和/或虚拟对象已沿相反方向移动时，也可能由于图5A中的噪声数据而导致错误。当如图5B所示以矢量132调整渲染位置时，如果如图5C所示，虚拟对象实际上被感知为位于位置136处，则可以看到，通过图5B中的不正确的重新校准，虚拟对象可能已经被移动到新位置138。因此，图5B中矢量132的位置表示系统如何“相信”其在图5B时正在移动虚拟对象，尽管现在可以看到，矢量132在图5C中在不同的位置处，以表示在图5B时虚拟对象如何更有可能移动，因为现在更多数据可用于分析虚拟对象的位置。在图5B和5C中，矢量132具有相同的大小和方向。矢量132在图5B和5C之间的唯一区别是矢量132的位置不同，图5B中矢量132的位置表示系统如何相信其正在移动虚拟对象，而图5C中的矢量132的位置表示当虚拟对象在图5C中被移动时可能发生的情况。在图5C中可以看出，虚拟对象从位置136沿着矢量132表示的方向到位置138的移动，可以回溯到图5B，是错误的，因为虚拟对象被移动得距离预期的位置126更远，而不是更靠近。在这样的示例中，进行增量调整而不是完全调整是有利的。
在图5D中，还收集了其他数据点124H至124L，这些数据点指示虚拟对象可能在新位置140处。矢量132在图5D与图5C中处于相同位置，以表示在图5B时做出的误差。位置140已经经过位置138，并且由此消除了通过将虚拟对象沿着矢量132表示的方向移动到位置138而造成的错误。
图5A至图5D并未示出可能展开的每种可能的场景，而仅示出，与尝试校正由于显示组件24的变形导致的虚拟对象的所有移动的单个大幅移动相反，通过以较小的增量移动虚拟对象来防止用户注意到基于噪声数据可能做出的不正确的调整。
图6A示出了用户看到的视图，包括真实世界桌子72和咖啡杯形式的渲染对象，其例如可以是在图2B中的形状70和92的平面中的增强对象68。如矢量150所示，咖啡杯已在用户视图中被移动。矢量150处的标记“显示器”指示未变形形状，虚拟对象的移动(如矢量150所示)是由图1中的显示组件24的变形导致的的。
图6B示出了由图1中的注视角计算模块46基于图1中的眼睛跟踪相机44的视图来计算的注视角的移动。图1中的显示组件24的变形导致由眼睛跟踪相机44所测量的注视角沿着矢量152指示的方向的移动。图6A和6B中的矢量150和152彼此相等。因此，图6B中所计算的注视角的移动与图6A所示的虚拟对象在用户视觉范围内的移动相同，这取决于眼睛的公差和参考图4描述的跟踪算法。
在图6C中，虚拟对象沿着矢量154所示的方向进行增量移动。矢量154在方向上与矢量152相反，但是每个矢量仅是矢量152的长度的一部分。矢量154的总和等于矢量152，但是方向相反。如果虚拟对象移动了所有矢量154的整个距离，则随着时间的推移，虚拟对象将返回到其在显示组件24变形之前的位置，如图6A所示，并且解释了由于显示器变形导致的虚拟对象的早期移动。
图6A至6C示出了图1中的眼睛跟踪相机44未变形的场景。由于眼睛跟踪相机44未变形，因此由眼睛跟踪相机44进行的测量导致了与用户的眼睛22相对于显示器的实际的注视角匹配的注视角的测量，这些测量值取决于上述公差。
图7A至7E共同示出了图1中的眼睛跟踪相机44的变形与显示器的变形相结合能具有的效果。图7A示出了在不考虑相机的变形的情况下，由图1中的显示组件24的变形导致的虚拟对象在用户视野内的哟定。因此，图7A与图6A相同。应当注意，眼睛跟踪相机44的任何变形都不会影响虚拟对象在用户视野内的定位，如图7A所示，而是影响相对于显示器所计算的注视矢量。因此，即使存在相机变形并且考虑了相机变形的影响，图7A仍表示虚拟对象在用户视野内的移动
图7B示出了由图1中的注视角计算模块46基于从眼睛跟踪相机44接收的图像数据来计算的注视角的移动，如果像图7A所示，我们不考虑相机变形的影响。因此，图7B假设眼睛跟踪相机44未变形，因此与图6B相同。
图7C示出了在考虑眼睛跟踪相机44的变形的影响但不考虑显示器变形的影响的时的所计算的注视角的影响。参考图2A，眼睛跟踪相机44的变形引起了眼睛22在眼睛跟踪相机44的视野内的位置测量的误差。这种眼睛跟踪相机44的误差导致眼睛跟踪相机44提供给图1中的注视角计算模块46的图像数据发生变化。因此，由注视角计算模块46所计算的注视角受到眼睛跟踪相机44的变形的影响。图7C示出了由于眼睛跟踪相机44的变形导致所计算的注视角的移动，该移动由矢量156表示。由相机变形引起的注视角精度的误差相对于显示器通常是相对小的。由相机变形导致的注视角的移动通常为由显示器变形导致的注视角的移动的大约1/20的数量级。
图7D示出了矢量152和156的合成矢量158。在本示例中，表示相机变形的影响的矢量156与表示显示器变形的矢量152的夹角小于90°。因此，合成矢量158比表示显示器变形的影响的矢量152长。
在图7E中，如矢量160所示，虚拟对象在用户的视野内被移动。每个矢量160的方向都与图7D中的合成矢量158相反。每当用户与符合条件的虚拟对象进行交互时，虚拟对象都会进行增量移动。经过几天或几周的时间段，校正矢量160在解剖学上的眼睛公差加上跟踪算法所需的任何公差之内累加到合成矢量158。如前所述，相机变形的影响是相对小的。因此，与图7E所示的位置相比，虚拟对象被从更接近图7A所示的其位置移动。在虚拟咖啡杯旨在呈现给坐在桌子72旁的用户的情况下，咖啡杯将因此返回到桌子的顶部或非常接近桌子的顶部。
图8A和8B与图7A和7B类似。在图8C中，相机变形的影响导致注视角的移动，如矢量164所示。矢量164与矢量152之间的角度大于90°。
图8D示出了合成矢量166。合成矢量166表示由于显示器变形和相机变形导致的所计算的注视角的变化。合成矢量166小于表示显示器变形的影响的矢量152。可以说，显示器变形与相机变形的影响在图8D中处于“相反”方向，而在图7D中处于“相同”方向。
图9示出了当对于所计算的注视角的显示器变形的影响和相机变形的影响处于相反方向时的一种可能的解决方案。图1中的校正系统30不修改虚拟对象的位置。例如，用户可能不关心“播放”按钮是位于桌子上还是漂浮在桌子上方的一定距离处。此外，播放按钮应作为后台应用的界面元素正常地工作。
图10A至10C示出了作为图9中解决方案的替代的解决方案。在图10A中，在观看设备仍是新的，也称为“开箱即用”状态，时开始计算由于相机的变形导致的注视角变化。由于相机变形导致的所计算的眼睛位置相对于眼睛跟踪相机的变化被使用眼睛跟踪相机44和所生成的眼睛跟踪图像的数据分析周期性地确定。用于在任何特定时间计算眼睛位置或眼睛中心的方法论类似于参考图2A描述的方法论。眼睛22的图像继续用作计算每只眼睛相对于一个或多个眼睛跟踪相机的眼睛中心位置的基础。所收集的图像帧内的眼睛中心位置的变化可以归因于眼睛跟踪相机的位置相对于眼睛的变化。尽管存在一些与设备适合度以及用户使用设备的一致性相关联的误差，但在数据分析中使用多个图像帧提高了确定眼睛跟踪相机变形的准确性。例如，根据设备安装阶段拍摄的眼睛跟踪图像而计算出的眼中心被确定为在某个坐标位置(x,y,z)处。随着时间的推移，可能发生眼睛跟踪相机变形，从而使得相机稍微向下倾斜。通过变形的眼睛跟踪相机捕获的图像中眼睛的位置将发生变化，从而使得眼睛中心被显示为在更高的y轴位置处，例如眼睛跟踪图像内的坐标位置(x,y+1,z)处。这两个坐标位置之间的变化与眼睛跟踪相机的变化相关，并且该差异可用于校正虚拟内容在显示器上的渲染位置。眼睛跟踪相机的变形在图10A中表示为矢量170，并且可以以一维、二维或三维形式发生。
眼睛跟踪相机44例如以每秒30帧的速率连续运行。在确定眼睛跟踪相机44的变形时，不必等待用户与特定的虚拟内容渲染交互以进行数据收集。图像数据流在任何给定时间可用于与基线进行比较。使用来自眼睛跟踪相机44的一组数据点与基线数据进行比较提供了鲁棒的系统。例如，与仅使用一个或两个图像相比，使用来自眼睛跟踪相机44的至少最后10个图像可以提高准确性。
图10B示出了矢量166是矢量152和170的总和。可以通过从矢量166中减去相机变形矢量170来计算矢量152。由于矢量152表示对虚拟对象的位置的显示器变形的影响，因此虚拟对象可以沿着与矢量152相反的方向被移动。
在图10C中，虚拟对象进行增量移动，如矢量172所示。矢量172的总和等于矢量152，但方向相反。
如图11所示，观看设备20还可包括参考系统180，以进行如图10A至10C所示的计算。参考系统180可以包括许多基线计算、图像和/或测量，诸如瞳孔间距离、眼睛中心位置、设备适合度信息、眼睛形状信息、视轴位置等。参考系统180包括开箱即用的参考注视角182，该开箱即用的参考注视角182是在观看设备20仍是新的时计算的。开箱即用的参考注视角182被存储在存储器中。参考系统180还具有存储在存储器中的更新的注视角184。更新的注视角184定期地计算，并表示最新近计算的注视角。参考系统180还包括由于相机变形导致的注视角的变化186。变化186是更新的注视角度184与开箱即用的参考注视角182之间的差。变化186在图10A中由矢量170之和表示。校正计算单元50用于计算图10B中的矢量152。图11中的观看设备20的其他方面与图1中的观看设备相同，并且相同的参考标号指示相同的部件。尽管将开箱即用的参考注视角被描述为用于比较的基线，但是也可以使用任何其他眼睛特征、测量、计算或图像作为开箱即用的参考注视角的替代或补充。
图12示出了如上所述的方法。在200处，在选择位置处显示虚拟对象，其中，观看虚拟对象的眼睛具有预期的注视方向。在202处，基于选择位置确定预期的注视矢量范围。在204处，检测用户交互事件，其中，用户与虚拟对象进行交互。在206处，通过眼睛跟踪相机捕获从眼睛反射的光。在208处，基于由眼睛跟踪相机捕获的光来计算改变后的注视矢量。在210处，在所确定的改变后的注视矢量与预期的注视矢量范围之间进行比较。元素200至210可以被组合为元素212，即，用于检测显示组件的变形，其中，该变形使得虚拟对象在改变后的位置处是可观看的，其中，眼睛具有改变后的注视方向。可以执行元素212，而无需将特定元素列为元素200至210。此外，尽管计算了注视矢量，但是也可以使用需要计算注视矢量之外的方法来确定注视矢量。
在214处，确定实际注视矢量是否在注视矢量范围之外。如果在214处的确定是否定的，则处理返回到200。如果214处的确定是肯定的，则计算虚拟内容渲染位置校正量和方向量。在220处，将虚拟内容渲染位置调整所计算的校正量和方向。元素218和220可以被组合为元素222，即用于在校正后的位置处显示虚拟对象，其中，观看在校正后的位置处的虚拟对象的眼睛具有校正后的注视方向该校正后的注视方向与改变后的注视方向相比更靠近预期的注视方向地移动。
图13示出了采取计算机系统900的示例性形式的机器的示意图，其中具有可以执行用于使该机器执行本文所讨论的方法论中的任何一者或多者的一组指令。在替代实施例中，该机器作为独立设备运行，或者可以被连接(例如，联网)到其他机器。此外，尽管仅示出了单个机器，但是术语“机器”也应被理解为包括任何机器的集合，这些机器单独地或共同地执行一组(或多组)指令以执行本文讨论的方法论中的任何一者或多者。
示例性计算机系统900包括处理器902(例如，中央处理器(CPU)和/或图形处理单元(GPU))、主存储器904(例如，只读存储器(ROM)、闪存、诸如同步DRAM(SDRAM)或RambusDRAM(RDRAM)等之类的动态随机存取存储器(DRAM))、以及静态存储器906(例如，闪存、静态随机存取存储器(SRAM)等)，这些组件经由总线908与激光驱动器芯片12或其他光源驱动器彼此通信。
计算机系统900还可以包括磁盘驱动器单元916和网络接口设备920。
磁盘驱动器单元916包括机器可读介质922，其上存储着体现本文所述的方法论或功能中的任何一者或多者的一组或多组指令924(例如，软件)。在计算机系统900执行软件期间，软件还可以全部或至少部分地驻留在主存储器904内和/或处理器902内，主存储器904和处理器902也构成机器可读介质。
该软件还可以经由网络接口设备920在网络928上被发送或接收。
尽管机器可读介质924在示例性实施例中被示出为单一介质，但是术语“机器可读介质”应被认为包括存储一组或多组指令的单个介质或多种介质(例如，集中式或分布式数据库、和/或关联的缓存和服务器)。术语“机器可读介质”也应被认为包括能够存储、编码或承载由机器执行的一组指令，以及使机器执行本发明的方法论中的任何一者或多者的任何介质。因此，术语“机器可读介质”应被认为包括但不限于固态存储器、光和磁媒介以及载波信号。
激光驱动器芯片12包括数据存储区161和它自己的处理器162。数据存储区161用于存储特定于激光源操作的指令和数据结构。处理器162从数据存储区中检索指令，并访问数据结构以执行驱动激光源的例程，从而使激光源生成激光。激光源构成了接收诸如视频数据的投影仪的一部分。扫描仪构成投影仪的一部分，以使投影仪可以以基于视频数据中的值的投影仪创建的任何图案、颜色、饱和度和其他光质量，在二维区域中，有时在三维空间中，显示激光。
尽管已经示出和讨论了激光源和激光驱动器芯片12，但是也可以使用其他显示系统。其他显示系统例如可以包括利用发光二极管(LED)技术、有机发光二极管(OLED)技术、超辐射发光二极管(SLED)等的显示器。
尽管已经描述并在附图中示出了某些示例性实施例，但是应当理解，这些实施例仅是示例性的，并不限制本发明，并且本发明不限于所示和所描述的特定构造和布置，因为本领域普通技术人员可以理解各种修改。

Claims (18)

1.一种用于显示渲染内容的观看设备，包括：
显示组件，其被配置为在所述显示组件上的选择位置处显示虚拟对象，其中，观看所述虚拟对象的眼睛具有预期的注视方向；以及
变形检测系统，其被连接到所述显示组件，并被配置为检测观看在所述显示组件上的所述虚拟对象的所述眼睛的所测量的注视方向，并基于所测量的注视方向是不同于所述预期的注视方向的改变后的注视方向来计算所述显示组件的变形。
2.根据权利要求1所述的系统，进一步包括：
校正系统，其被连接到所述变形检测系统，以与所述显示组件一起在校正后的位置处显示所述虚拟对象，其中，观看所述校正后的位置处的所述虚拟对象的所述眼睛的所测量的注视方向是校正后的注视方向，其中，所述预期的注视方向与所述校正后的注视方向之间的差小于所述预期的注视方向与所述改变后的注视方向之间的差。
3.根据权利要求1所述的系统，其中，所述显示组件包括：
光学显示器，所述变形是所述光学显示器的变形。
4.根据权利要求3所述的系统，其中，所述光学显示器在显示器变形方向上被变形，并且所述改变后的注视方向在所述显示器变形方向上相对于所述预期的注视方向移动。
5.根据权利要求4所述的系统，其中，所述光学显示器是透明的，并且所述虚拟对象是所述眼睛在所述光学显示器的与所述眼睛相对的侧面上的位置处可观看的。
6.根据权利要求3所述的系统，其中，所述变形检测系统包括：
眼睛跟踪相机，其被配置为捕获从所述眼睛反射的光；以及
注视角计算模块，其被配置为基于由所述眼睛跟踪相机所捕获的光来计算所述眼睛的所测量的注视方向。
7.根据权利要求6所述的系统，其中，由所述注视角计算模块计算的所测量的注视方向是由于所述眼睛跟踪相机和所述光学显示器中的至少一者的变形导致的所述改变后的注视方向。
8.根据权利要求7所述的系统，其中：
所述预期的注视方向与所述改变后的注视方向之间的差在第一方向上，并且由于所述眼睛跟踪相机的变形导致的所测量的注视方向的变化在第二方向上，并且所述第一方向和所述第二方向相对于彼此的角度小于90度，所述系统进一步包括：
校正系统，其被连接到所述变形检测系统以与所述显示组件一起在校正后的位置处显示所述虚拟对象，其中，观看在所述校正后的位置处的所述虚拟对象的所述眼睛具有校正后的注视方向，所述校正后的注视方向从所述改变后的注视方向朝着所述预期的注视方向移动。
9.根据权利要求7所述的系统，其中：
从所述预期的注视方向到所述改变后的注视方向的变化在第一方向上，并且由于所述眼睛跟踪相机的变形导致的所测量的注视方向的变化在第二方向上，并且所述第一方向和所述第二方向相对于彼此分隔大于90度。
10.根据权利要求9所述的系统，进一步包括：
校正系统，其被连接到所述变形检测系统以与所述显示组件一起显示所述虚拟对象，而无需将所述虚拟对象从所述改变后的位置移开。
11.根据权利要求9所述的系统，进一步包括：
校正系统，其被连接到所述变形检测系统以与所述显示组件一起在校正后的位置处显示所述虚拟对象，其中，观看在所述校正后的位置处的所述虚拟对象的所述眼睛具有所测量的注视方向，所述所测量的注视方向是校正后的注视方向，其中，所述校正后的注视方向从所述改变后的注视方向朝着所述预期的注视方向移动。
12.根据权利要求11所述的系统，进一步包括：
参考系统，其检测由于所述眼睛跟踪相机的变形导致的所测量的注视方向的变化；
校正计算单元，其通过从由所述变形检测系统检测到的所述注视角的变化中减去由于所述眼睛跟踪相机的变形导致的所测量的注视方向的变化，来确定由于所述显示组件的变形导致的所测量的注视方向的变化；以及
校正系统，其被连接到所述变形检测系统以与所述显示组件一起在校正后的位置处显示所述虚拟对象，其中，观看在所述校正后的位置处的所述虚拟对象的所述眼睛具有校正后的注视方向，所述校正后的注视方向在与由于所述显示组件的变形导致的所述注视角的变化相反的方向上移动。
13.根据权利要求1所述的系统，其中，所述变形检测系统包括：
统计系统，其被配置为接收并分析多个所测量的注视方向测量；
注视角计算单元，其计算多个注视方向，每个注视方向针对相应的测量；以及
校正计算单元，其基于所述多个实际的注视方向测量来确定所述改变后的注视方向。
14.根据权利要求1所述的系统，其中，所述变形检测系统包括注意力生成单元，其被配置为在检测所述变形之前，改变所述虚拟对象的显示并吸引用户对所述虚拟对象的注意力。
15.根据权利要求14所述的系统，其中，所述注意力生成单元被配置为通过改变所述虚拟对象的颜色来吸引所述用户的注意力。
16.根据权利要求14所述的系统，其中，所述注意力生成单元被配置为通过减小所述虚拟对象的尺寸来吸引所述用户对所述虚拟对象的注意力。
17.一种显示渲染内容的方法，包括：
借助显示组件来在所述显示组件上的选择位置处显示虚拟对象，其中，观看所述虚拟对象的眼睛具有预期的注视方向；以及
检测所述显示组件的变形，其中，所述变形使所述虚拟对象在改变后的位置处是可观看的，其中，所述眼睛具有改变后的注视方向。
18.根据权利要求17所述的方法，进一步包括：
借助所述显示组件在校正后的位置处显示所述虚拟对象，其中，观看在所述校正后的位置处的所述虚拟对象的所述眼睛具有校正后的注视方向，所述校正后的注视方向从所述改变后的注视方向朝着所述预期的注视方向移动。
CN201980032005.3A 2018-03-15 2019-03-15 由观看设备的部件变形导致的图像校正 Pending CN112136152A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862643672P 2018-03-15 2018-03-15
US62/643,672 2018-03-15
PCT/US2019/022620 WO2019178567A1 (en) 2018-03-15 2019-03-15 Image correction due to deformation of components of a viewing device

Publications (1)

Publication Number Publication Date
CN112136152A true CN112136152A (zh) 2020-12-25

Family

ID=67905982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032005.3A Pending CN112136152A (zh) 2018-03-15 2019-03-15 由观看设备的部件变形导致的图像校正

Country Status (5)

Country Link
US (4) US10755676B2 (zh)
EP (1) EP3766039A4 (zh)
JP (2) JP7344896B2 (zh)
CN (1) CN112136152A (zh)
WO (1) WO2019178567A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7123554B2 (ja) * 2017-12-25 2022-08-23 グリー株式会社 ゲーム装置、制御方法及び制御プログラム
US10802585B2 (en) * 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
WO2020122083A1 (ja) 2018-12-11 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法および画像処理システム
US20200234401A1 (en) * 2019-01-22 2020-07-23 Varjo Technologies Oy Display apparatus and method of producing images using rotatable optical element
US10871823B1 (en) * 2019-05-23 2020-12-22 Facebook Technologies, Llc Systems and methods for using scene understanding for calibrating eye tracking
JP7163950B2 (ja) * 2020-11-27 2022-11-01 カシオ計算機株式会社 網膜走査型投影装置、映像光出射方法およびコンバイナー
US11379957B1 (en) * 2021-02-23 2022-07-05 Qualcomm Incorporated Head wearable display device calibrated for distortion correction using inter-pupillary distance
WO2023031633A1 (en) * 2021-09-06 2023-03-09 Facebook Technologies, Llc Online calibration based on deformable body mechanics
US20230119633A1 (en) * 2021-10-20 2023-04-20 Microsoft Technology Licensing, Llc Enhanced eye tracking systems utilizing joint biological and hardware estimations

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050161580A1 (en) * 2001-12-12 2005-07-28 Isabelle Sebbag Method of estimating the attitude of a space device with improved precision
KR20080051664A (ko) * 2006-12-06 2008-06-11 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
US20120235893A1 (en) * 2011-03-18 2012-09-20 Research In Motion Limited System and method for bendable display
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
US20140232619A1 (en) * 2013-02-19 2014-08-21 Seiko Epson Corporation Virtual image display device
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
CN105938426A (zh) * 2015-03-05 2016-09-14 三星显示有限公司 显示装置
CN106293014A (zh) * 2015-05-08 2017-01-04 北京智谷睿拓技术服务有限公司 可变形显示屏幕控制方法、控制装置及用户设备
WO2017051595A1 (ja) * 2015-09-25 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (578)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6541736B1 (en) 2001-12-10 2003-04-01 Usun Technology Co., Ltd. Circuit board/printed circuit board having pre-reserved conductive heating circuits
US4344092A (en) 1980-10-21 1982-08-10 Circon Corporation Miniature video camera means for video system
US4652930A (en) 1984-11-19 1987-03-24 Rca Corporation Television camera structure
US4810080A (en) 1987-09-03 1989-03-07 American Optical Corporation Protective eyewear with removable nosepiece and corrective spectacle
US5142684A (en) 1989-06-23 1992-08-25 Hand Held Products, Inc. Power conservation in microprocessor controlled devices
US4997268A (en) 1989-07-24 1991-03-05 Dauvergne Hector A Corrective lens configuration
US5074295A (en) 1989-08-03 1991-12-24 Jamie, Inc. Mouth-held holder
JPH0712944Y2 (ja) 1989-08-24 1995-03-29 株式会社アドバンテスト 電子部品実装基板の温度保護構造
NZ235148A (en) 1989-09-05 1991-12-23 Immunex Corp Tumour necrosis factor receptor protein and dna sequences
US5007727A (en) 1990-02-26 1991-04-16 Alan Kahaney Combination prescription lens and sunglasses assembly
US5396635A (en) 1990-06-01 1995-03-07 Vadem Corporation Power conservation apparatus having multiple power reduction levels dependent upon the activity of the computer system
US5240220A (en) 1990-09-12 1993-08-31 Elbex Video Ltd. TV camera supporting device
EP0504930B1 (en) 1991-03-22 1998-06-10 Nikon Corporation Optical apparatus for correcting image deviation
WO1993001743A1 (en) 1991-07-22 1993-02-04 Adair Edwin Lloyd Sterile video microscope holder for operating room
US5251635A (en) 1991-09-03 1993-10-12 General Electric Company Stereoscopic X-ray fluoroscopy system using radiofrequency fields
US5224198A (en) 1991-09-30 1993-06-29 Motorola, Inc. Waveguide virtual image display
CA2061117C (en) 1991-12-02 1998-09-29 Neta J. Amit Apparatus and method for distributed program stack
US5497463A (en) 1992-09-25 1996-03-05 Bull Hn Information Systems Inc. Ally mechanism for interconnecting non-distributed computing environment (DCE) and DCE systems to operate in a network system
US5937202A (en) 1993-02-11 1999-08-10 3-D Computing, Inc. High-speed, parallel, processor architecture for front-end electronics, based on a single type of ASIC, and method use thereof
US5410763A (en) 1993-02-11 1995-05-02 Etablissments Bolle Eyeshield with detachable components
US5682255A (en) 1993-02-26 1997-10-28 Yeda Research & Development Co. Ltd. Holographic optical devices for the transmission of optical signals of a plurality of channels
US6023288A (en) 1993-03-31 2000-02-08 Cairns & Brother Inc. Combination head-protective helmet and thermal imaging apparatus
EP0632360A1 (en) 1993-06-29 1995-01-04 Xerox Corporation Reducing computer power consumption by dynamic voltage and frequency variation
US5455625A (en) 1993-09-23 1995-10-03 Rosco Inc. Video camera unit, protective enclosure and power circuit for same, particularly for use in vehicles
US5689669A (en) 1994-04-29 1997-11-18 General Magic Graphical user interface for navigating between levels displaying hallway and room metaphors
US6016147A (en) 1995-05-08 2000-01-18 Autodesk, Inc. Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device
US5835061A (en) 1995-06-06 1998-11-10 Wayport, Inc. Method and apparatus for geographic-based communications service
CA2180899A1 (en) 1995-07-12 1997-01-13 Yasuaki Honda Synchronous updating of sub objects in a three dimensional virtual reality space sharing system and method therefore
US5826092A (en) 1995-09-15 1998-10-20 Gateway 2000, Inc. Method and apparatus for performance optimization in power-managed computer systems
US5737533A (en) 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US6219045B1 (en) 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US5864365A (en) 1996-01-26 1999-01-26 Kaman Sciences Corporation Environmentally controlled camera housing assembly
US6064749A (en) 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US5854872A (en) 1996-10-08 1998-12-29 Clio Technologies, Inc. Divergent angle rotator system and method for collimating light beams
US8005254B2 (en) 1996-11-12 2011-08-23 Digimarc Corporation Background watermark processing
US6012811A (en) 1996-12-13 2000-01-11 Contour Optik, Inc. Eyeglass frames with magnets at bridges for attachment
JP3651204B2 (ja) 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
JP3465528B2 (ja) 1997-04-22 2003-11-10 三菱瓦斯化学株式会社 新規な光学材料用樹脂
JPH10309381A (ja) 1997-05-13 1998-11-24 Yoshimasa Tanaka 移動体用遊戯装置
US6271843B1 (en) 1997-05-30 2001-08-07 International Business Machines Corporation Methods systems and computer program products for transporting users in three dimensional virtual reality worlds using transportation vehicles
DE69836383T2 (de) 1997-08-29 2007-10-11 Kabushiki Kaisha Sega Doing Business As Sega Corp. Bildverarbeitungssystem und -verfahren
US6221622B1 (en) 1998-04-28 2001-04-24 The Regents Of The University Of California Method and kit for obtaining fluids and cellular material from breast ducts
JPH11142783A (ja) 1997-11-12 1999-05-28 Olympus Optical Co Ltd 画像表示装置
US6243091B1 (en) 1997-11-21 2001-06-05 International Business Machines Corporation Global history view
US6385735B1 (en) 1997-12-15 2002-05-07 Intel Corporation Method and apparatus for limiting processor clock frequency
US6079982A (en) 1997-12-31 2000-06-27 Meader; Gregory M Interactive simulator ride
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
US6362817B1 (en) 1998-05-18 2002-03-26 In3D Corporation System for creating and viewing 3D environments using symbolic descriptors
US6076927A (en) 1998-07-10 2000-06-20 Owens; Raymond L. Adjustable focal length eye glasses
US6119147A (en) 1998-07-28 2000-09-12 Fuji Xerox Co., Ltd. Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space
JP2000099332A (ja) 1998-09-25 2000-04-07 Hitachi Ltd 遠隔手続き呼び出し最適化方法とこれを用いたプログラム実行方法
US6414679B1 (en) 1998-10-08 2002-07-02 Cyberworld International Corporation Architecture and methods for generating and displaying three dimensional representations
US6415388B1 (en) 1998-10-30 2002-07-02 Intel Corporation Method and apparatus for power throttling in a microprocessor using a closed loop feedback system
US6918667B1 (en) 1998-11-02 2005-07-19 Gary Martin Zelman Auxiliary eyewear attachment apparatus
US6487319B1 (en) 1998-11-18 2002-11-26 Sarnoff Corporation Apparatus and method for identifying the location of a coding unit
US7111290B1 (en) 1999-01-28 2006-09-19 Ati International Srl Profiling program execution to identify frequently-executed portions and to assist binary translation
US6396522B1 (en) 1999-03-08 2002-05-28 Dassault Systemes Selection navigator
US6556245B1 (en) 1999-03-08 2003-04-29 Larry Allan Holmberg Game hunting video camera
WO2000060444A1 (en) 1999-04-06 2000-10-12 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US7119819B1 (en) 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US6375369B1 (en) 1999-04-22 2002-04-23 Videolarm, Inc. Housing for a surveillance camera
GB9930850D0 (en) 1999-12-24 2000-02-16 Koninkl Philips Electronics Nv 3D environment labelling
US6621508B1 (en) 2000-01-18 2003-09-16 Seiko Epson Corporation Information processing system
AU2001233019A1 (en) 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
JP4921634B2 (ja) 2000-01-31 2012-04-25 グーグル インコーポレイテッド 表示装置
US9129034B2 (en) 2000-02-04 2015-09-08 Browse3D Corporation System and method for web browsing
KR20000030430A (ko) 2000-02-29 2000-06-05 김양신 3차원 그래픽 가상공간을 이용한 인터넷 광고시스템
JP4479051B2 (ja) 2000-04-28 2010-06-09 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US6784901B1 (en) 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
KR100487543B1 (ko) 2000-09-01 2005-05-03 엘지전자 주식회사 시피유 스케쥴링 방법
US7788323B2 (en) 2000-09-21 2010-08-31 International Business Machines Corporation Method and apparatus for sharing information in a virtual environment
JP4646374B2 (ja) 2000-09-29 2011-03-09 オリンパス株式会社 画像観察光学系
US7168051B2 (en) 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
TW522256B (en) 2000-12-15 2003-03-01 Samsung Electronics Co Ltd Wearable display system
US6715089B2 (en) 2001-01-22 2004-03-30 Ati International Srl Reducing power consumption by estimating engine load and reducing engine clock speed
US20020108064A1 (en) 2001-02-07 2002-08-08 Patrick Nunally System and method for optimizing power/performance in network-centric microprocessor-controlled devices
US6807352B2 (en) 2001-02-11 2004-10-19 Georgia Tech Research Corporation Optical waveguides with embedded air-gap cladding layer and methods of fabrication thereof
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
US7176942B2 (en) 2001-03-23 2007-02-13 Dassault Systemes Collaborative design
US20020140848A1 (en) 2001-03-30 2002-10-03 Pelco Controllable sealed chamber for surveillance camera
EP1249717A3 (en) 2001-04-10 2005-05-11 Matsushita Electric Industrial Co., Ltd. Antireflection coating and optical element using the same
JPWO2002088913A1 (ja) 2001-04-27 2004-08-19 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｓｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ プロセッサの動作速度を制御するための方法および装置
US6961055B2 (en) 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
JP4682470B2 (ja) 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
US6622253B2 (en) 2001-08-02 2003-09-16 Scientific-Atlanta, Inc. Controlling processor clock rate based on thread priority
US6762845B2 (en) 2001-08-23 2004-07-13 Zygo Corporation Multiple-pass interferometry
JP5060704B2 (ja) 2001-09-25 2012-10-31 ケンブリッジ フラット プロジェクション ディスプレイズ リミテッド 平面型投影ディスプレイ
US6833955B2 (en) 2001-10-09 2004-12-21 Planop Planar Optics Ltd. Compact two-plane optical device
US20040238732A1 (en) 2001-10-19 2004-12-02 Andrei State Methods and systems for dynamic virtual convergence and head mountable display
JP3834615B2 (ja) 2001-11-02 2006-10-18 独立行政法人産業技術総合研究所 画像表示方法及びシステム
US7076674B2 (en) 2001-12-19 2006-07-11 Hewlett-Packard Development Company L.P. Portable computer having dual clock mode
JP2003329873A (ja) 2001-12-27 2003-11-19 Fujikura Ltd 位置決め機構を備えた光ファイバ把持具、光ファイバアダプタ、及び光ファイバ加工装置
US6592220B1 (en) 2002-01-30 2003-07-15 Lak Cheong Eyeglass frame with removably mounted lenses
US7305020B2 (en) 2002-02-04 2007-12-04 Vizionware, Inc. Method and system of reducing electromagnetic interference emissions
US7038694B1 (en) 2002-03-11 2006-05-02 Microsoft Corporation Automatic scenery object generation
US6999087B2 (en) 2002-03-12 2006-02-14 Sun Microsystems, Inc. Dynamically adjusting sample density in a graphics system
EP1351117A1 (en) 2002-04-03 2003-10-08 Hewlett-Packard Company Data processing system and method
KR100818826B1 (ko) 2002-04-25 2008-04-01 에이알씨 인터내셔널 집적회로의 설계를 발생하기 위한 컴퓨터처리되는 장치 및 복수의 성분을 갖는 집적회로 설계 내에 계층을 발생하기 위한 방법
US6849558B2 (en) 2002-05-22 2005-02-01 The Board Of Trustees Of The Leland Stanford Junior University Replication and transfer of microstructures and nanostructures
KR100382232B1 (en) 2002-05-31 2003-05-09 Palm Palm Tech Mobile terminal having enhanced power managing function and power managing method thereof
US7046515B1 (en) 2002-06-06 2006-05-16 Raytheon Company Method and apparatus for cooling a circuit component
US7155617B2 (en) 2002-08-01 2006-12-26 Texas Instruments Incorporated Methods and systems for performing dynamic power management via frequency and voltage scaling
US6714157B2 (en) 2002-08-02 2004-03-30 The Boeing Company Multiple time-interleaved radar operation using a single radar at different angles
US20040024639A1 (en) 2002-08-05 2004-02-05 Goldman Phillip Y. Direct marketing management on behalf of subscribers and marketers
US20040113887A1 (en) 2002-08-27 2004-06-17 University Of Southern California partially real and partially simulated modular interactive environment
KR100480786B1 (ko) 2002-09-02 2005-04-07 삼성전자주식회사 커플러를 가지는 집적형 광 헤드
KR20040021322A (ko) 2002-09-03 2004-03-10 삼성전자주식회사 광 디스크 드라이브
AU2003265891A1 (en) 2002-09-04 2004-03-29 Mentor Graphics (Holdings) Ltd. Polymorphic computational system and method in signals intelligence analysis
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
CN100407102C (zh) 2002-12-04 2008-07-30 Nxp股份有限公司 基于软件的微处理器功率损耗控制
US7306337B2 (en) 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US20050128212A1 (en) 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
DE10311972A1 (de) 2003-03-18 2004-09-30 Carl Zeiss HMD-Vorrichtung
AU2003901272A0 (en) 2003-03-19 2003-04-03 Martin Hogan Pty Ltd Improvements in or relating to eyewear attachments
US7294360B2 (en) 2003-03-31 2007-11-13 Planar Systems, Inc. Conformal coatings for micro-optical elements, and method for making the same
US20040199053A1 (en) 2003-04-01 2004-10-07 Scimed Life Systems, Inc. Autosteering vision endoscope
US20040205757A1 (en) 2003-04-09 2004-10-14 Pering Trevor A. Performance scheduling using multiple constraints
CN101311772A (zh) 2003-04-25 2008-11-26 微型光学公司 双目镜观察系统
US20060132914A1 (en) 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
US20040268159A1 (en) 2003-06-30 2004-12-30 Microsoft Corporation Power profiling
US7467356B2 (en) 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US7134031B2 (en) 2003-08-04 2006-11-07 Arm Limited Performance control within a multi-processor system
JP3931336B2 (ja) 2003-09-26 2007-06-13 マツダ株式会社 車両用情報提供装置
US7434083B1 (en) 2004-01-06 2008-10-07 Apple Inc. Method and apparatus for the generation and control of clock signals
JP4699699B2 (ja) 2004-01-15 2011-06-15 株式会社東芝 ビーム光走査装置及び画像形成装置
US7269590B2 (en) 2004-01-29 2007-09-11 Yahoo! Inc. Method and system for customizing views of information associated with a social network user
CN100410727C (zh) 2004-03-29 2008-08-13 索尼株式会社 光学装置以及虚像显示装置
JP4364047B2 (ja) 2004-04-14 2009-11-11 オリンパス株式会社 表示装置、撮像装置
CN100350792C (zh) 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
US7219245B1 (en) 2004-06-03 2007-05-15 Advanced Micro Devices, Inc. Adaptive CPU clock management
US20060019723A1 (en) 2004-06-29 2006-01-26 Pieter Vorenkamp Automatic control of power save operation in a portable communication device utilizing historical usage information
US7382288B1 (en) 2004-06-30 2008-06-03 Rockwell Collins, Inc. Display of airport signs on head-up display
GB0416038D0 (en) 2004-07-16 2004-08-18 Portland Press Ltd Document display system
US20070189669A1 (en) 2004-07-22 2007-08-16 Maurizio Tormen Integrated wavelength selective grating-based filter
US7088256B2 (en) 2004-07-30 2006-08-08 Motorola, Inc. Portable electronic device and method of operation therefore
US7542040B2 (en) 2004-08-11 2009-06-02 The United States Of America As Represented By The Secretary Of The Navy Simulated locomotion method and apparatus
US8109635B2 (en) 2004-08-12 2012-02-07 Ophthalmic Imaging Systems Integrated retinal imager and method
US9030532B2 (en) 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
US7029114B2 (en) 2004-09-03 2006-04-18 E'lite Optik U.S. L.P. Eyewear assembly with auxiliary frame and lens assembly
KR101294551B1 (ko) 2004-09-16 2013-08-07 가부시키가이샤 니콘 비정질 산화 규소 바인더를 갖는 ＭｇＦ２ 광학 박막, 및그것을 구비하는 광학 소자, 그리고 그 ＭｇＦ２ 광학박막의 제조 방법
US20060090092A1 (en) 2004-10-25 2006-04-27 Verhulst Anton H Clock timing adjustment
US7536567B2 (en) 2004-12-10 2009-05-19 Hewlett-Packard Development Company, L.P. BIOS-based systems and methods of processor power management
US20060126181A1 (en) 2004-12-13 2006-06-15 Nokia Corporation Method and system for beam expansion in a display device
US8619365B2 (en) 2004-12-29 2013-12-31 Corning Incorporated Anti-reflective coating for optical windows and elements
GB0502453D0 (en) 2005-02-05 2005-03-16 Cambridge Flat Projection Flat panel lens
US7573640B2 (en) 2005-04-04 2009-08-11 Mirage Innovations Ltd. Multi-plane optical apparatus
KR100677237B1 (ko) 2005-05-03 2007-02-02 엘지전자 주식회사 듀얼 엘시디를 구비한 영상 표시장치
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US7948683B2 (en) 2006-05-14 2011-05-24 Holochip Corporation Fluidic lens with manually-adjustable focus
US7644148B2 (en) 2005-05-16 2010-01-05 Hewlett-Packard Development Company, L.P. Historical data based workload allocation
EP1938152B1 (en) 2005-06-03 2012-08-15 Nokia Corporation General diffractive optics method for expanding an exit pupil
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US7933929B1 (en) 2005-06-27 2011-04-26 Google Inc. Network link for providing dynamic data layer in a geographic information system
JP4776285B2 (ja) 2005-07-01 2011-09-21 ソニー株式会社 照明光学装置及びこれを用いた虚像表示装置
JP4660787B2 (ja) 2005-08-25 2011-03-30 隆広 西岡 眼鏡
US7739524B2 (en) 2005-08-29 2010-06-15 The Invention Science Fund I, Inc Power consumption management
US20070058248A1 (en) 2005-09-14 2007-03-15 Nguyen Minh T Sport view binocular-zoom lens focus system
US20080043334A1 (en) 2006-08-18 2008-02-21 Mirage Innovations Ltd. Diffractive optical relay and method for manufacturing the same
WO2007037089A1 (ja) 2005-09-27 2007-04-05 Konica Minolta Holdings, Inc. 頭部装着型映像表示装置
WO2007036936A1 (en) 2005-09-28 2007-04-05 Mirage Innovations Ltd. Stereoscopic binocular system, device and method
US7817150B2 (en) 2005-09-30 2010-10-19 Rockwell Automation Technologies, Inc. Three-dimensional immersive system for representing an automation control environment
US7835785B2 (en) 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
KR101193331B1 (ko) 2005-10-14 2012-10-19 엘지전자 주식회사 그래픽장치의 전력소모를 관리하는 시스템 및 방법
EP1943556B1 (en) 2005-11-03 2009-02-11 Mirage Innovations Ltd. Binocular optical relay device
EP1949147B1 (en) 2005-11-18 2012-03-21 Nanocomp Oy Ltd. Method of producing a diffraction grating element
US7736006B2 (en) 2005-11-21 2010-06-15 Microvision, Inc. Substrate-guided display with improved image quality
US7917573B2 (en) 2005-11-30 2011-03-29 International Business Machines Corporation Measuring and reporting processor capacity and processor usage in a computer system with processors of different speed and/or architecture
JP2007199841A (ja) 2006-01-24 2007-08-09 Seiko Epson Corp 電子機器のコントローラ、バス制御装置
EP1983884B1 (en) 2006-01-26 2016-10-26 Nokia Technologies Oy Eye tracker device
KR20060059992A (ko) 2006-01-31 2006-06-02 닛토덴코 가부시키가이샤 간섭 광학필터
JP2007219106A (ja) 2006-02-16 2007-08-30 Konica Minolta Holdings Inc 光束径拡大光学素子、映像表示装置およびヘッドマウントディスプレイ
US7461535B2 (en) 2006-03-01 2008-12-09 Memsic, Inc. Multi-temperature programming for accelerometer
IL174170A (en) 2006-03-08 2015-02-26 Abraham Aharoni Device and method for two-eyed tuning
US7353134B2 (en) 2006-03-09 2008-04-01 Dean A. Cirielli Three-dimensional position and motion telemetry input
CN101449270B (zh) 2006-03-15 2011-11-16 谷歌公司 自动显示尺寸调整后的图像
JP2007273733A (ja) 2006-03-31 2007-10-18 Tdk Corp 固体電解コンデンサの製造方法
EP2035881B8 (en) 2006-06-02 2013-11-13 Nokia Corporation Color distribution in exit pupil expanders
EP1868149B1 (en) 2006-06-14 2019-08-07 Dassault Systèmes Improved computerized collaborative work
US7692855B2 (en) 2006-06-28 2010-04-06 Essilor International Compagnie Generale D'optique Optical article having a temperature-resistant anti-reflection coating with optimized thickness ratio of low index and high index layers
US9015501B2 (en) 2006-07-13 2015-04-21 International Business Machines Corporation Structure for asymmetrical performance multi-processors
US7724980B1 (en) 2006-07-24 2010-05-25 Adobe Systems Incorporated System and method for selective sharpening of images
US8214660B2 (en) 2006-07-26 2012-07-03 International Business Machines Corporation Structure for an apparatus for monitoring and controlling heat generation in a multi-core processor
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
FR2904517B1 (fr) 2006-08-03 2008-10-24 Alcan Packaging Beauty Serv Distributeur applicateur a essoreur integre et procede de fabrication
US20080030429A1 (en) 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US7640449B2 (en) 2006-08-17 2009-12-29 Via Technologies, Inc. Systems and methods for dynamic clock frequencies for low power design
US9582060B2 (en) 2006-08-31 2017-02-28 Advanced Silicon Technologies Llc Battery-powered device with reduced power consumption based on an application profile data
JP4861105B2 (ja) 2006-09-15 2012-01-25 株式会社エヌ・ティ・ティ・ドコモ 空間掲示板システム
US20080125218A1 (en) 2006-09-20 2008-05-29 Kelly James Collins Method of use for a commercially available portable virtual reality system
US20080068557A1 (en) 2006-09-20 2008-03-20 Gilbert Menduni Lens holding frame
WO2008038058A1 (en) 2006-09-28 2008-04-03 Nokia Corporation Beam expansion with three-dimensional diffractive elements
US20090300528A1 (en) 2006-09-29 2009-12-03 Stambaugh Thomas M Browser event tracking for distributed web-based processing, spatial organization and display of information
CN105445835B (zh) 2006-10-31 2021-07-27 莫迪里斯控股有限责任公司 照明装置及照明系统
US20080146942A1 (en) 2006-12-13 2008-06-19 Ep Medsystems, Inc. Catheter Position Tracking Methods Using Fluoroscopy and Rotational Sensors
US20100277803A1 (en) 2006-12-14 2010-11-04 Nokia Corporation Display Device Having Two Operating Modes
JP4847351B2 (ja) 2007-01-11 2011-12-28 キヤノン株式会社 回折光学素子及びそれを用いた回折格子
US7418368B2 (en) 2007-01-18 2008-08-26 International Business Machines Corporation Method and system for testing processor cores
JP4348441B2 (ja) 2007-01-22 2009-10-21 国立大学法人 大阪教育大学 位置検出装置、位置検出方法、データ判定装置、データ判定方法、コンピュータプログラム及び記憶媒体
US8726681B2 (en) 2007-01-23 2014-05-20 Hewlett-Packard Development Company, L.P. Method and system of cooling components of a computer system
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
JP5194530B2 (ja) 2007-04-09 2013-05-08 凸版印刷株式会社 画像表示装置及び画像表示方法
US7733439B2 (en) 2007-04-30 2010-06-08 Qualcomm Mems Technologies, Inc. Dual film light guide for illuminating displays
WO2008148927A1 (en) 2007-06-04 2008-12-11 Nokia Corporation A diffractive beam expander and a virtual display based on a diffractive beam expander
US8060759B1 (en) 2007-06-29 2011-11-15 Emc Corporation System and method of managing and optimizing power consumption in a storage system
FR2919030B1 (fr) 2007-07-20 2009-10-23 Snr Roulements Sa Ensemble formant palier a roulement equipe d'un systeme capteur d'informations
US9387402B2 (en) 2007-09-18 2016-07-12 Disney Enterprises, Inc. Method and system for converting a computer virtual environment into a real-life simulation environment
JP2009090689A (ja) 2007-10-03 2009-04-30 Calsonic Kansei Corp ヘッドアップディスプレイ
US8368721B2 (en) 2007-10-06 2013-02-05 Mccoy Anthony Apparatus and method for on-field virtual reality simulation of US football and other sports
US7844724B2 (en) 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
WO2009074976A2 (en) 2007-12-12 2009-06-18 Bio-Ride Ltd. System and methodology for providing shared internet experience
US8508848B2 (en) 2007-12-18 2013-08-13 Nokia Corporation Exit pupil expanders with wide field-of-view
DE102008005817A1 (de) 2008-01-24 2009-07-30 Carl Zeiss Ag Optisches Anzeigegerät
US8494229B2 (en) 2008-02-14 2013-07-23 Nokia Corporation Device and method for determining gaze direction
JP2009244869A (ja) 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
US8296196B2 (en) 2008-05-15 2012-10-23 International Business Machines Corporation Tag along shopping
US9400212B2 (en) 2008-06-13 2016-07-26 Barco Inc. Smart pixel addressing
JP5181860B2 (ja) 2008-06-17 2013-04-10 セイコーエプソン株式会社 パルス幅変調信号生成装置およびそれを備えた画像表示装置、並びにパルス幅変調信号生成方法
JP5027746B2 (ja) 2008-07-01 2012-09-19 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
US8250389B2 (en) 2008-07-03 2012-08-21 International Business Machines Corporation Profiling an application for power consumption during execution on a plurality of compute nodes
US10885471B2 (en) 2008-07-18 2021-01-05 Disney Enterprises, Inc. System and method for providing location-based data on a wireless portable device
GB2462589B (en) 2008-08-04 2013-02-20 Sony Comp Entertainment Europe Apparatus and method of viewing electronic documents
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8229800B2 (en) 2008-09-13 2012-07-24 At&T Intellectual Property I, L.P. System and method for an enhanced shopping experience
US7885506B2 (en) 2008-09-26 2011-02-08 Nokia Corporation Device and a method for polarized illumination of a micro-display
JP5805537B2 (ja) 2008-10-14 2015-11-04 オブロング・インダストリーズ・インコーポレーテッド マルチプロセス・インタラクティブ・システムおよび方法
US9775538B2 (en) 2008-12-03 2017-10-03 Mediguide Ltd. System and method for determining the position of the tip of a medical catheter within the body of a patient
JP2010139575A (ja) 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置
US20100153934A1 (en) 2008-12-12 2010-06-17 Peter Lachner Prefetch for systems with heterogeneous architectures
US8325088B2 (en) 2009-02-04 2012-12-04 Google Inc. Mobile device battery management
US8539359B2 (en) 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8411086B2 (en) 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
US8699141B2 (en) 2009-03-13 2014-04-15 Knowles Electronics, Llc Lens assembly apparatus and method
JP5121764B2 (ja) 2009-03-24 2013-01-16 株式会社東芝 固体撮像装置
US9095436B2 (en) 2009-04-14 2015-08-04 The Invention Science Fund I, Llc Adjustable orthopedic implant and method for treating an orthopedic condition in a subject
US20100274567A1 (en) 2009-04-22 2010-10-28 Mark Carlson Announcing information about payment transactions of any member of a consumer group
US20100274627A1 (en) 2009-04-22 2010-10-28 Mark Carlson Receiving an announcement triggered by location data
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US20110010636A1 (en) 2009-07-13 2011-01-13 International Business Machines Corporation Specification of a characteristic of a virtual universe establishment
US20110022870A1 (en) 2009-07-21 2011-01-27 Microsoft Corporation Component power monitoring and workload optimization
US8758125B2 (en) 2009-07-24 2014-06-24 Wms Gaming, Inc. Controlling event-driven behavior of wagering game objects
JP2011033993A (ja) 2009-08-05 2011-02-17 Sharp Corp 情報提示装置、および情報提示方法
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US8738949B2 (en) 2009-08-31 2014-05-27 Empire Technology Development Llc Power management for processor
US20110050640A1 (en) 2009-09-03 2011-03-03 Niklas Lundback Calibration for a Large Scale Multi-User, Multi-Touch System
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
EP2494454A4 (en) 2009-10-30 2013-05-15 Intel Corp TWO-WAY COMMUNICATION SUPPORT FOR HETEROGENIC PROCESSORS ENERGY COMPUTER PLATFORM
US8305502B2 (en) 2009-11-11 2012-11-06 Eastman Kodak Company Phase-compensated thin-film beam combiner
US8605209B2 (en) 2009-11-24 2013-12-10 Gregory Towle Becker Hurricane damage recording camera system
US8909962B2 (en) 2009-12-16 2014-12-09 Qualcomm Incorporated System and method for controlling central processing unit power with guaranteed transient deadlines
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US8751854B2 (en) 2009-12-21 2014-06-10 Empire Technology Development Llc Processor core clock rate selection
US8565554B2 (en) 2010-01-09 2013-10-22 Microsoft Corporation Resizing of digital images
KR101099137B1 (ko) 2010-01-29 2011-12-27 주식회사 팬택 이동 통신 시스템에서 증강 현실 정보를 제공하기 위한 장치 및 방법
US8549339B2 (en) 2010-02-26 2013-10-01 Empire Technology Development Llc Processor core communication in multi-core processor
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US11275482B2 (en) 2010-02-28 2022-03-15 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9547910B2 (en) 2010-03-04 2017-01-17 Honeywell International Inc. Method and apparatus for vision aided navigation using image registration
US9753297B2 (en) 2010-03-04 2017-09-05 Nokia Corporation Optical apparatus and method for expanding an exit pupil
JP5499854B2 (ja) 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
DE112011101289B4 (de) 2010-04-12 2019-03-28 Schaeffler Technologies AG & Co. KG Drehmomentwandler mit Turbinen-Massentilger
US8118499B2 (en) 2010-05-19 2012-02-21 LIR Systems, Inc. Infrared camera assembly systems and methods
US20110291964A1 (en) 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
JP5923696B2 (ja) 2010-06-08 2016-05-25 アキム株式会社 角速度センサ検査用テーブル装置
JP2012015774A (ja) 2010-06-30 2012-01-19 Toshiba Corp 立体視映像処理装置および立体視映像処理方法
US8560876B2 (en) 2010-07-06 2013-10-15 Sap Ag Clock acceleration of CPU core based on scanned result of task for parallel execution controlling key word
US20120024974A1 (en) 2010-07-29 2012-02-02 Rich Brands Llc Customized designed fragrance system
US8854594B2 (en) 2010-08-31 2014-10-07 Cast Group Of Companies Inc. System and method for tracking
US8601288B2 (en) 2010-08-31 2013-12-03 Sonics, Inc. Intelligent power controller
KR101479262B1 (ko) 2010-09-02 2015-01-12 주식회사 팬택 증강현실 정보 이용 권한 부여 방법 및 장치
JP5632693B2 (ja) 2010-09-28 2014-11-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US20120081392A1 (en) 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8688926B2 (en) 2010-10-10 2014-04-01 Liqid Inc. Systems and methods for optimizing data storage among a plurality of solid state memory subsystems
KR101260576B1 (ko) 2010-10-13 2013-05-06 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US8947784B2 (en) 2010-10-26 2015-02-03 Optotune Ag Variable focus lens having two liquid chambers
US20120113235A1 (en) 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
JP5953311B2 (ja) 2010-11-08 2016-07-20 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 表示装置
JP5854593B2 (ja) 2010-11-17 2016-02-09 キヤノン株式会社 積層型回折光学素子
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8792962B2 (en) 2010-12-30 2014-07-29 Biosense Webster, Inc. Catheter with single axial sensors
US10391277B2 (en) 2011-02-18 2019-08-27 Voxel Rad, Ltd. Systems and methods for 3D stereoscopic angiovision, angionavigation and angiotherapeutics
US20160187654A1 (en) 2011-02-28 2016-06-30 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8949637B2 (en) 2011-03-24 2015-02-03 Intel Corporation Obtaining power profile information with low overhead
US20120249544A1 (en) 2011-03-29 2012-10-04 Giuliano Maciocci Cloud storage of geotagged maps
KR101210163B1 (ko) 2011-04-05 2012-12-07 엘지이노텍 주식회사 광학 시트 및 이를 포함하는 표시장치
US8856571B2 (en) 2011-04-05 2014-10-07 Apple Inc. Adjusting device performance over multiple time domains
US8856355B2 (en) 2011-05-09 2014-10-07 Samsung Electronics Co., Ltd. Systems and methods for facilitating communication between mobile devices and display devices
JP2012235036A (ja) 2011-05-09 2012-11-29 Shimadzu Corp 発熱部品搭載用の厚銅箔プリント配線基板およびその製造方法
US20150077312A1 (en) * 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
WO2012166135A1 (en) 2011-06-01 2012-12-06 Empire Technology Development,Llc Structured light projection for motion detection in augmented reality
US9087267B2 (en) 2011-06-10 2015-07-21 Image Vision Labs, Inc. Image scene recognition
US10606066B2 (en) 2011-06-21 2020-03-31 Gholam A. Peyman Fluidic light field camera
US20120326948A1 (en) 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
WO2013001388A1 (en) 2011-06-27 2013-01-03 Koninklijke Philips Electronics N.V. Live 3d angiogram using registration of a surgical tool curve to an x-ray image
US9100587B2 (en) 2011-07-22 2015-08-04 Naturalpoint, Inc. Hosted camera remote control
US8548290B2 (en) 2011-08-23 2013-10-01 Vuzix Corporation Dynamic apertured waveguide for near-eye display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
EP2751611B1 (en) 2011-08-29 2018-01-10 Vuzix Corporation Controllable waveguide for near-eye display applications
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
KR101407670B1 (ko) 2011-09-15 2014-06-16 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9835765B2 (en) 2011-09-27 2017-12-05 Canon Kabushiki Kaisha Optical element and method for manufacturing the same
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9125301B2 (en) 2011-10-18 2015-09-01 Integrated Microwave Corporation Integral heater assembly and method for carrier or host board of electronic package assembly
US8782454B2 (en) 2011-10-28 2014-07-15 Apple Inc. System and method for managing clock speed based on task urgency
US9678102B2 (en) 2011-11-04 2017-06-13 Google Inc. Calibrating intertial sensors using an image sensor
US8891918B2 (en) 2011-11-17 2014-11-18 At&T Intellectual Property I, L.P. Methods, systems, and products for image displays
US20130162940A1 (en) 2011-12-27 2013-06-27 Zoom Focus Eyeware, LLC Spectacles With Removable Optics
WO2013101273A1 (en) 2011-12-30 2013-07-04 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for detection and avoidance of collisions of robotically-controlled medical devices
US8608309B2 (en) 2011-12-30 2013-12-17 A New Vision Llc Eyeglass system
WO2013115829A2 (en) 2012-02-04 2013-08-08 Empire Technology Development Llc Core-level dynamic voltage and frequency scaling in a chip multiprocessor
JP5942456B2 (ja) 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
GB2499635B (en) 2012-02-23 2014-05-14 Canon Kk Image processing for projection on a projection screen
US9704220B1 (en) 2012-02-29 2017-07-11 Google Inc. Systems, methods, and media for adjusting one or more images displayed to a viewer
JP5907250B2 (ja) * 2012-03-22 2016-04-26 ソニー株式会社 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US10013511B2 (en) 2012-04-09 2018-07-03 Purdue Research Foundation System and method for energy usage accounting in software applications
US20130278633A1 (en) 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US10627623B2 (en) 2012-05-03 2020-04-21 Nokia Technologies Oy Image providing apparatus, method and computer program
US9619406B2 (en) 2012-05-22 2017-04-11 Xockets, Inc. Offloading of computation for rack level servers and corresponding methods and systems
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9113291B2 (en) 2012-06-18 2015-08-18 Qualcomm Incorporated Location detection within identifiable pre-defined geographic areas
US8848741B2 (en) 2012-06-21 2014-09-30 Breakingpoint Systems, Inc. High-speed CLD-based TCP segmentation offload
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9696547B2 (en) 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
TW201403299A (zh) 2012-07-04 2014-01-16 Acer Inc 中央處理器控制方法
US8605764B1 (en) 2012-07-09 2013-12-10 Microvision, Inc. Laser diode junction temperature compensation
US9031283B2 (en) 2012-07-12 2015-05-12 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
US9841563B2 (en) 2012-08-04 2017-12-12 Paul Lapstun Shuttered waveguide light field display
US9860522B2 (en) 2012-08-04 2018-01-02 Paul Lapstun Head-mounted light field display
JP6218833B2 (ja) 2012-08-20 2017-10-25 キャメロン，ドナルド，ケヴィン 処理リソース割り当て
CN102829880B (zh) 2012-08-23 2014-04-16 江苏物联网研究发展中心 基于黒硅的高性能mems热电堆红外探测器及其制备方法
WO2014033306A1 (en) 2012-09-03 2014-03-06 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
JP6350283B2 (ja) 2012-09-12 2018-07-04 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
KR101923723B1 (ko) 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9584382B2 (en) 2012-11-28 2017-02-28 At&T Intellectual Property I, L.P. Collecting and using quality of experience information
US20140168260A1 (en) 2012-12-13 2014-06-19 Paul M. O'Brien Waveguide spacers within an ned device
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
CA2896891C (en) 2012-12-31 2022-01-11 Esight Corp. Apparatus and method for fitting head mounted vision augmentation systems
KR20140090552A (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US10716469B2 (en) * 2013-01-25 2020-07-21 Wesley W. O. Krueger Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
GB201301764D0 (en) 2013-01-31 2013-03-20 Adlens Ltd Actuation of fluid-filled lenses
US20160004102A1 (en) 2013-02-15 2016-01-07 Adlens Limited Adjustable Lens and Article of Eyewear
US8884663B2 (en) 2013-02-25 2014-11-11 Advanced Micro Devices, Inc. State machine for low-noise clocking of high frequency clock
US10437591B2 (en) 2013-02-26 2019-10-08 Qualcomm Incorporated Executing an operating system on processors having different instruction set architectures
US9600068B2 (en) 2013-03-13 2017-03-21 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
US9854014B2 (en) 2013-03-14 2017-12-26 Google Inc. Motion data sharing
CN105377869B (zh) 2013-03-15 2018-07-10 伊鲁米纳剑桥有限公司 修饰的核苷或核苷酸
KR20160005680A (ko) 2013-03-15 2016-01-15 임미 인크. 비동공 형성 광 경로를 갖는 헤드마운트 디스플레이
WO2014144035A1 (en) 2013-03-15 2014-09-18 Brian Adams Ballard Method and system for representing and interacting with augmented reality content
JP6337418B2 (ja) 2013-03-26 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR101845350B1 (ko) 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US9079399B2 (en) 2013-05-16 2015-07-14 Océ-Technologies B.V. Method for operating a printing system
US20150013079A1 (en) 2013-05-17 2015-01-15 Robert E Golz Webbing System Incorporating One or More Novel Safety Features
US20140359590A1 (en) 2013-05-30 2014-12-04 National Instruments Corporation Development and Deployment of Parallel Floating-Point Math Functionality on a System with Heterogeneous Hardware Components
JP6232763B2 (ja) 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5967597B2 (ja) 2013-06-19 2016-08-10 パナソニックＩｐマネジメント株式会社 画像表示装置および画像表示方法
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
EP3039479A4 (en) 2013-08-27 2017-04-12 Frameri Inc. Removable eyeglass lens and frame platform
KR101873794B1 (ko) 2013-09-27 2018-07-03 인텔 코포레이션 웨이크록 사용을 추적하는 기술들
US9256072B2 (en) 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US20150097719A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US9996797B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
KR102189115B1 (ko) 2013-11-11 2020-12-09 삼성전자주식회사 대칭형 다중 프로세서를 구비한 시스템 온-칩 및 이를 위한 최대 동작 클럭 주파수 결정 방법
US9286725B2 (en) 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
WO2015075767A1 (ja) 2013-11-19 2015-05-28 日立マクセル株式会社 投射型映像表示装置
WO2015079610A1 (ja) 2013-11-26 2015-06-04 ソニー株式会社 ヘッドマウントディスプレイ
US20160327798A1 (en) 2014-01-02 2016-11-10 Empire Technology Development Llc Augmented reality (ar) system
US9600925B2 (en) 2014-01-06 2017-03-21 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10228562B2 (en) * 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
US9383630B2 (en) 2014-03-05 2016-07-05 Mygo, Llc Camera mouth mount
US9871741B2 (en) 2014-03-10 2018-01-16 Microsoft Technology Licensing, Llc Resource management based on device-specific or user-specific resource usage profiles
US9251598B2 (en) 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring
US20170123775A1 (en) 2014-03-26 2017-05-04 Empire Technology Development Llc Compilation of application into multiple instruction sets for a heterogeneous processor
US11137601B2 (en) 2014-03-26 2021-10-05 Mark D. Wieczorek System and method for distanced interactive experiences
JP6442149B2 (ja) 2014-03-27 2018-12-19 オリンパス株式会社 画像表示装置
US20150301955A1 (en) 2014-04-21 2015-10-22 Qualcomm Incorporated Extending protection domains to co-processors
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US9626802B2 (en) 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
JP2017527036A (ja) 2014-05-09 2017-09-14 グーグル インコーポレイテッド セキュアなモバイル通信で眼信号を用いるためのシステムおよび方法
EP3149539A4 (en) 2014-05-30 2018-02-07 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
EP2952850A1 (en) 2014-06-03 2015-12-09 Optotune AG Optical device, particularly for tuning the focal length of a lens of the device by means of optical feedback
JP2017153498A (ja) 2014-06-17 2017-09-07 日本電産コパル電子株式会社 感圧センサと感圧カテーテル
WO2016002512A1 (ja) 2014-07-01 2016-01-07 ソニー株式会社 情報処理装置および方法
RU2603238C2 (ru) 2014-07-15 2016-11-27 Самсунг Электроникс Ко., Лтд. Световодная структура, голографическое оптическое устройство и система формирования изображений
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
JP6683127B2 (ja) 2014-08-01 2020-04-15 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9615806B2 (en) 2014-08-20 2017-04-11 David Byron Douglas Method and apparatus for creation and display of artifact-corrected three dimentional (3D) volumetric data from biplane fluoroscopic image acquisition
JP6690538B2 (ja) 2014-08-28 2020-04-28 ソニー株式会社 画像処理装置、及び画像処理システム
US20160077338A1 (en) 2014-09-16 2016-03-17 Steven John Robbins Compact Projection Light Engine For A Diffractive Waveguide Display
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20160093269A1 (en) 2014-09-26 2016-03-31 Pixtronix, Inc. Laser-Pumped Phosphor Backlight and Methods
CA2962899C (en) 2014-09-29 2022-10-04 Robert Dale Tekolste Architectures and methods for outputting different wavelength light out of waveguides
US9977573B2 (en) 2014-10-31 2018-05-22 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using a headset having input mechanisms
US10371936B2 (en) 2014-11-10 2019-08-06 Leo D. Didomenico Wide angle, broad-band, polarization independent beam steering and concentration of wave energy utilizing electronically controlled soft matter
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US10794728B2 (en) 2014-12-19 2020-10-06 Invensense, Inc. Device and method for sensor calibration
US10096162B2 (en) 2014-12-22 2018-10-09 Dimensions And Shapes, Llc Headset vision system for portable devices that provides an augmented reality display and/or a virtual reality display
JP2016126134A (ja) 2014-12-26 2016-07-11 シャープ株式会社 表示装置およびウェアラブルデバイス
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
WO2016149536A1 (en) 2015-03-17 2016-09-22 Ocutrx Vision Technologies, Llc. Correction of vision defects using a visual display
US20160287337A1 (en) 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
EP3745167A1 (en) 2015-04-07 2020-12-02 Magic Leap, Inc. Diffraction grating and method of manufacture
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
EP3578507B1 (en) 2015-04-20 2022-10-12 SZ DJI Technology Co., Ltd. Systems and methods for thermally regulating sensor operation
EP3292432B1 (en) 2015-04-23 2023-06-28 LEIA Inc. Dual light guide grating-based backlight and electronic display using same
US10419655B2 (en) 2015-04-27 2019-09-17 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
US10909464B2 (en) 2015-04-29 2021-02-02 Microsoft Technology Licensing, Llc Semantic locations prediction
US9664569B2 (en) 2015-05-15 2017-05-30 Google Inc. Circuit board configurations facilitating operation of heat sensitive sensor components
KR20160139727A (ko) 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
GB2539009A (en) * 2015-06-03 2016-12-07 Tobii Ab Gaze detection method and apparatus
WO2016203792A1 (ja) 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10178560B2 (en) 2015-06-15 2019-01-08 The Invention Science Fund I Llc Methods and systems for communication with beamforming antennas
FR3037672B1 (fr) 2015-06-16 2017-06-16 Parrot Drone comportant des moyens perfectionnes de compensation du biais de la centrale inertielle en fonction de la temperature
US9519084B1 (en) 2015-06-18 2016-12-13 Oculus Vr, Llc Securing a fresnel lens to a refractive optical element
WO2017004695A1 (en) 2015-07-06 2017-01-12 Frank Jones Methods and devices for demountable head mounted displays
US11190681B1 (en) 2015-07-10 2021-11-30 Snap Inc. Systems and methods for DSP fast boot
US20170100664A1 (en) 2015-10-12 2017-04-13 Osterhout Group, Inc. External user interface for head worn computing
US9617181B2 (en) 2015-07-27 2017-04-11 Glaston Finland Oy Method of heating a glass sheet for tempering
US20170038607A1 (en) 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
US9781246B2 (en) 2015-08-28 2017-10-03 Qualcomm Incorporated Augmenting reality using a small cell
US20170061696A1 (en) 2015-08-31 2017-03-02 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US9489027B1 (en) 2015-08-31 2016-11-08 Wave Resource Strategies, Inc. System and method for the accurate recordation of power consumption in a computing device utilizing power profiles
US9880611B2 (en) 2015-08-31 2018-01-30 Google Llc Energy saving mode for electronic devices
JP6615541B2 (ja) 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
US20150378407A1 (en) 2015-09-04 2015-12-31 Mediatek Inc. Loading-Based Dynamic Voltage And Frequency Scaling
EP3348042B1 (en) 2015-09-11 2020-08-12 Amazon Technologies Inc. System, method and computer-readable storage medium for customizable event-triggered computation at edge locations
EP4070723A1 (en) 2015-09-18 2022-10-12 Auris Health, Inc. Navigation of tubular networks
US10082865B1 (en) * 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
GB2542853B (en) 2015-10-02 2021-12-15 Cambridge Consultants Processing apparatus and methods
US10241332B2 (en) 2015-10-08 2019-03-26 Microsoft Technology Licensing, Llc Reducing stray light transmission in near eye display using resonant grating filter
US10067346B2 (en) 2015-10-23 2018-09-04 Microsoft Technology Licensing, Llc Holographic display
US9983709B2 (en) * 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
AU2016349895B2 (en) * 2015-11-04 2022-01-13 Magic Leap, Inc. Light field display metrology
US9671615B1 (en) 2015-12-01 2017-06-06 Microsoft Technology Licensing, Llc Extended field of view in near-eye display using wide-spectrum imager
US10445860B2 (en) * 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10025060B2 (en) 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
DE102015122055B4 (de) 2015-12-17 2018-08-30 Carl Zeiss Ag Optisches System sowie Verfahren zum Übertragen eines Quellbildes
US20170185261A1 (en) 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
US10838116B2 (en) 2016-01-06 2020-11-17 University Of Utah Research Foundation Low-power large aperture adaptive lenses for smart eyeglasses
EP3190447B1 (en) 2016-01-06 2020-02-05 Ricoh Company, Ltd. Light guide and virtual image display device
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
WO2017127897A1 (en) 2016-01-27 2017-08-03 Paul Lapstun Shuttered waveguide light field display
US10429639B2 (en) 2016-01-31 2019-10-01 Paul Lapstun Head-mounted light field display
US9891436B2 (en) 2016-02-11 2018-02-13 Microsoft Technology Licensing, Llc Waveguide-based displays with anti-reflective and highly-reflective coating
JP6686505B2 (ja) 2016-02-15 2020-04-22 セイコーエプソン株式会社 頭部装着型画像表示装置
JP6686504B2 (ja) 2016-02-15 2020-04-22 セイコーエプソン株式会社 頭部装着型画像表示装置
WO2017141566A1 (ja) 2016-02-18 2017-08-24 富士電機株式会社 信号伝達装置
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
US10223605B2 (en) 2016-03-18 2019-03-05 Colorvision International, Inc. Interactive virtual aquarium simulation system and associated methods
EP3435864A4 (en) 2016-03-31 2019-09-18 Zoll Medical Corporation SYSTEMS AND METHODS FOR MONITORING THE MOVEMENT OF A PATIENT
KR20180125600A (ko) 2016-04-07 2018-11-23 매직 립, 인코포레이티드 증강 현실을 위한 시스템들 및 방법들
EP3236211A1 (en) 2016-04-21 2017-10-25 Thomson Licensing Method and apparatus for estimating a pose of a rendering device
US10197804B2 (en) 2016-04-25 2019-02-05 Microsoft Technology Licensing, Llc Refractive coating for diffractive optical elements
NZ787459A (en) 2016-04-26 2023-05-26 Magic Leap Inc Electromagnetic tracking with augmented reality systems
US20170312032A1 (en) 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10527851B2 (en) 2016-05-06 2020-01-07 Magic Leap, Inc. Metasurfaces with asymmetric gratings for redirecting light and methods for fabricating
US10241346B2 (en) 2016-05-07 2019-03-26 Microsoft Technology Licensing, Llc Degrees of freedom for diffraction elements in wave expander
US11228770B2 (en) 2016-05-16 2022-01-18 Qualcomm Incorporated Loop sample processing for high dynamic range and wide color gamut video coding
US10215986B2 (en) 2016-05-16 2019-02-26 Microsoft Technology Licensing, Llc Wedges for light transformation
GB201609027D0 (en) 2016-05-23 2016-07-06 Bae Systems Plc Waveguide manufacturing method
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US9939647B2 (en) 2016-06-20 2018-04-10 Microsoft Technology Licensing, Llc Extended field of view in near-eye display using optically stitched imaging
US10114440B2 (en) 2016-06-22 2018-10-30 Razer (Asia-Pacific) Pte. Ltd. Applying power management based on a target time
US10372184B2 (en) 2016-06-28 2019-08-06 Renesas Electronics America Inc. Method and apparatus for implementing power modes in microcontrollers using power profiles
US11030975B2 (en) 2016-07-04 2021-06-08 Sony Corporation Information processing apparatus and information processing method
US10839732B2 (en) 2016-07-07 2020-11-17 Hitachi-Lg Data Storage, Inc. Video display device
TW201803289A (zh) 2016-07-11 2018-01-16 原相科技股份有限公司 可利用較小電路面積並同時考量節能省電以偵測空氣中之干擾訊號之功率來控制放大器之增益值的無線收發機裝置及方法
KR102461953B1 (ko) 2016-07-25 2022-10-31 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
CA3032812A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
CN109644261B (zh) * 2016-08-04 2021-06-01 杜比实验室特许公司 单一深度追踪调节-聚散解决方案
US10334577B2 (en) 2016-08-12 2019-06-25 Qualcomm Incorporated Downlink control channel structure for low latency applications
US10676345B2 (en) 2016-08-15 2020-06-09 Y-Sensors Ltd. Temperature stabilized MEMS device
KR102225555B1 (ko) 2016-08-22 2021-03-09 매직 립, 인코포레이티드 웨어러블 디스플레이 디바이스를 위한 디더링 방법들 및 장치
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US20180067779A1 (en) 2016-09-06 2018-03-08 Smartiply, Inc. AP-Based Intelligent Fog Agent
EP3512452A1 (en) 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
US10017528B2 (en) 2016-09-16 2018-07-10 The Regents Of The University Of California Controlled synthesis of polymeric perylene diimide and applications thereof
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
WO2018058063A1 (en) 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
US10134192B2 (en) 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US10373297B2 (en) * 2016-10-26 2019-08-06 Valve Corporation Using pupil location to correct optical lens distortion
US11065059B2 (en) 2016-11-02 2021-07-20 Intuitive Surgical Operations, Inc. Systems and methods of continuous registration for image-guided surgery
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
EP3320829A1 (en) 2016-11-10 2018-05-16 E-Health Technical Solutions, S.L. System for integrally measuring clinical parameters of visual function
KR102573744B1 (ko) 2016-11-23 2023-09-01 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
US11612307B2 (en) 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
JP6917701B2 (ja) 2016-11-30 2021-08-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JPWO2018101394A1 (ja) 2016-12-01 2019-10-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10185151B2 (en) 2016-12-20 2019-01-22 Facebook Technologies, Llc Waveguide display with a small form factor, a large field of view, and a large eyebox
WO2018113740A1 (en) 2016-12-21 2018-06-28 Zyetric Technologies Limited Combining virtual reality and augmented reality
AU2017387781B2 (en) * 2016-12-29 2022-04-28 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
US10203252B2 (en) 2016-12-29 2019-02-12 Industrial Technology Research Institute Microelectromechanical apparatus having a measuring range selector
WO2018125812A1 (en) 2017-01-02 2018-07-05 Gauss Surgical, Inc. Tracking surgical items with prediction of duplicate imaging of items
US10489975B2 (en) 2017-01-04 2019-11-26 Daqri, Llc Environmental mapping system
US10436594B2 (en) 2017-01-17 2019-10-08 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
EP3574350A4 (en) 2017-01-27 2020-12-09 Magic Leap, Inc. ANTIREFLEX COATING FOR META SURFACES
US20180218545A1 (en) 2017-01-31 2018-08-02 Daqri, Llc Virtual content scaling with a hardware controller
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US20180260218A1 (en) 2017-03-07 2018-09-13 Vinodh Gopal Instruction set architectures for fine-grained heterogeneous processing
EP3376279B1 (en) 2017-03-13 2022-08-31 Essilor International Optical device for a head-mounted display, and head-mounted device incorporating it for augmented reality
US10452123B2 (en) 2017-03-30 2019-10-22 Google Llc Predictive power saving and screen dimming for computing devices
US10642045B2 (en) 2017-04-07 2020-05-05 Microsoft Technology Licensing, Llc Scanner-illuminated LCOS projector for head mounted display
US10241545B1 (en) * 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US11132533B2 (en) 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US11236993B1 (en) 2017-06-08 2022-02-01 Facebook Technologies, Llc Depth sensing using a time of flight system including a scanning beam in combination with a single photon avalanche diode array
GB201709199D0 (en) 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
ES2770177T3 (es) 2017-06-18 2020-06-30 Moovit App Global Ltd Sistema y método para determinar ubicación de parada de tránsito
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US20190196690A1 (en) 2017-06-23 2019-06-27 Zyetric Virtual Reality Limited First-person role playing interactive augmented reality
US10402448B2 (en) 2017-06-28 2019-09-03 Google Llc Image retrieval with deep local feature descriptors and attention-based keypoint descriptors
US20190034785A1 (en) 2017-07-25 2019-01-31 The Allen Institute For Artificial Intelligence System and method for program induction using probabilistic neural programs
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US20190056591A1 (en) 2017-08-18 2019-02-21 Microsoft Technology Licensing, Llc Optical waveguide with multiple antireflective coatings
WO2019040493A1 (en) 2017-08-21 2019-02-28 The Trustees Of Columbia University In The City Of New York SYSTEMS AND METHODS FOR AUGMENTED REALITY GUIDANCE
US9948612B1 (en) 2017-09-27 2018-04-17 Citrix Systems, Inc. Secure single sign on and conditional access for client applications
US10437065B2 (en) 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
US20190137788A1 (en) 2017-11-08 2019-05-09 Interstol Trading Co. Inc. Lens assembly including magnet assembly components for mounting onto an eye glass frame
US10317680B1 (en) * 2017-11-09 2019-06-11 Facebook Technologies, Llc Optical aberration correction based on user eye position in head mounted displays
PT3482802T (pt) 2017-11-13 2021-02-19 Vr Coaster Gmbh & Co Kg Dispositivo para a experiência de uma simulação de realidade virtual num mundo subaquático
US10599259B2 (en) 2017-11-20 2020-03-24 Google Llc Virtual reality / augmented reality handheld controller sensing
KR102411287B1 (ko) 2017-11-22 2022-06-22 삼성전자 주식회사 미디어 출력 제어 장치 및 방법
EP3717083A1 (en) 2017-12-01 2020-10-07 Rhodan Marine Systems of Florida, LLC Dynamic augmented reality headset system
US10916059B2 (en) 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
US10636198B2 (en) 2017-12-28 2020-04-28 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for monocular simultaneous localization and mapping
US10620430B2 (en) 2018-01-12 2020-04-14 Microsoft Technology Licensing, Llc Geometrically multiplexed RGB lasers in a scanning MEMS display system for HMDS
US10773169B2 (en) 2018-01-22 2020-09-15 Google Llc Providing multiplayer augmented reality experiences
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US11386572B2 (en) 2018-02-03 2022-07-12 The Johns Hopkins University Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10422989B2 (en) 2018-02-06 2019-09-24 Microsoft Technology Licensing, Llc Optical systems including a single actuator and multiple fluid-filled optical lenses for near-eye-display devices
GB201805301D0 (en) 2018-03-29 2018-05-16 Adlens Ltd Improvements In Or Relating To Variable Focusing Power Optical Devices
US10997746B2 (en) 2018-04-12 2021-05-04 Honda Motor Co., Ltd. Feature descriptor matching
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
JP6779939B2 (ja) 2018-04-19 2020-11-04 グリー株式会社 ゲーム装置、制御方法及び制御プログラム
US10969486B2 (en) 2018-04-26 2021-04-06 SCRRD, Inc. Augmented reality platform and method for use of same
US10740966B2 (en) 2018-05-14 2020-08-11 Microsoft Technology Licensing, Llc Fake thickness on a two-dimensional object
JP7369147B2 (ja) 2018-06-05 2023-10-25 マジック リープ， インコーポレイテッド 視認システムのホモグラフィ変換行列ベースの温度較正
JP7271579B2 (ja) 2018-06-19 2023-05-11 ホウメディカ・オステオニクス・コーポレイション 整形外科手術における複合現実支援を用いた手術支援
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
CN109223121A (zh) 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
US10854004B2 (en) 2018-08-24 2020-12-01 Facebook, Inc. Multi-device mapping and collaboration in augmented-reality environments
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
CN110942518B (zh) 2018-09-24 2024-03-29 苹果公司 上下文计算机生成现实(cgr)数字助理
US11017217B2 (en) 2018-10-09 2021-05-25 Midea Group Co., Ltd. System and method for controlling appliances using motion gestures
US10516853B1 (en) 2018-10-10 2019-12-24 Plutovr Aligning virtual representations to inputs and outputs
US10838488B2 (en) 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US10678323B2 (en) 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
US10776933B2 (en) 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
US10970547B2 (en) 2018-12-07 2021-04-06 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects
US11216150B2 (en) 2019-06-28 2022-01-04 Wen-Chieh Geoffrey Lee Pervasive 3D graphical user interface with vector field functionality
EP3996822A4 (en) 2019-07-11 2023-07-05 Elo Labs, Inc. INTERACTIVE PERSONAL TRAINING SYSTEM
US11174153B2 (en) 2019-08-21 2021-11-16 Invensense, Inc. Package level thermal gradient sensing
US11209656B1 (en) 2020-10-05 2021-12-28 Facebook Technologies, Llc Methods of driving light sources in a near-eye display

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050161580A1 (en) * 2001-12-12 2005-07-28 Isabelle Sebbag Method of estimating the attitude of a space device with improved precision
KR20080051664A (ko) * 2006-12-06 2008-06-11 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
US20120235893A1 (en) * 2011-03-18 2012-09-20 Research In Motion Limited System and method for bendable display
CN103310186A (zh) * 2012-02-29 2013-09-18 三星电子株式会社 校正图像中用户的注视方向的方法和便携式终端
US20140232619A1 (en) * 2013-02-19 2014-08-21 Seiko Epson Corporation Virtual image display device
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
CN105938426A (zh) * 2015-03-05 2016-09-14 三星显示有限公司 显示装置
CN106293014A (zh) * 2015-05-08 2017-01-04 北京智谷睿拓技术服务有限公司 可变形显示屏幕控制方法、控制装置及用户设备
WO2017051595A1 (ja) * 2015-09-25 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US11776509B2 (en) 2023-10-03
JP2021518574A (ja) 2021-08-02
US11908434B2 (en) 2024-02-20
US20220068245A1 (en) 2022-03-03
JP2023133506A (ja) 2023-09-22
WO2019178567A1 (en) 2019-09-19
US20220028358A1 (en) 2022-01-27
EP3766039A1 (en) 2021-01-20
US20190287493A1 (en) 2019-09-19
US10755676B2 (en) 2020-08-25
US11189252B2 (en) 2021-11-30
EP3766039A4 (en) 2021-04-07
US20200349907A1 (en) 2020-11-05
JP7344896B2 (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
US11908434B2 (en) Image correction due to deformation of components of a viewing device
JP6902075B2 (ja) 構造化光を用いた視線追跡
US11016301B1 (en) Accommodation based optical correction
CN110325895B (zh) 聚焦调整多平面头戴式显示器
US10937129B1 (en) Autofocus virtual reality headset
US10551879B1 (en) Dynamic distortion correction for optical compensation
US10317680B1 (en) Optical aberration correction based on user eye position in head mounted displays
US11106276B2 (en) Focus adjusting headset
KR102062658B1 (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
EP3368170B1 (en) Adjusting image frames based on tracking motion of eyes
JP6502586B2 (ja) 焦点調整するバーチャルリアリティヘッドセット
US10558049B2 (en) Focal surface display
JP6560463B1 (ja) ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション
US10109067B2 (en) Corneal sphere tracking for generating an eye model
EP3179289B1 (en) Focus adjusting virtual reality headset
CN110300976B (zh) 眼睛注视跟踪
CN110431470B (zh) 焦面显示

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination