CN106133645B - 使用第二屏幕作为私用跟踪抬头显示器 - Google Patents

使用第二屏幕作为私用跟踪抬头显示器 Download PDF

Info

Publication number
CN106133645B
CN106133645B CN201580003833.6A CN201580003833A CN106133645B CN 106133645 B CN106133645 B CN 106133645B CN 201580003833 A CN201580003833 A CN 201580003833A CN 106133645 B CN106133645 B CN 106133645B
Authority
CN
China
Prior art keywords
display screen
glasses
content
computing device
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580003833.6A
Other languages
English (en)
Other versions
CN106133645A (zh
Inventor
N.克里斯托弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of CN106133645A publication Critical patent/CN106133645A/zh
Application granted granted Critical
Publication of CN106133645B publication Critical patent/CN106133645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Abstract

用于扩展显示装置的观看区域以供显示内容的方法包括：检测主计算装置附近的眼镜计算装置的存在。所述主计算装置具有被配置来呈现内容的主显示器。所述眼镜计算装置包括辅助装置。所述眼镜计算装置链接到所述主计算装置。相对于所述主显示器检测所述眼镜计算装置的视向。在所述辅助显示器中呈现除在所述主显示器中呈现的所述内容之外的其他内容。所述辅助显示器是所述主显示器的扩展部分，用于观看在所述主显示器上呈现的所述内容之外的所述内容。

Description

使用第二屏幕作为私用跟踪抬头显示器
技术领域
本发明涉及用于提供附加屏幕区域以供展示交互式应用程序的方法和系统。
背景技术
计算世界近年来经历了许多进步。随着计算能力的扩大，对进行多任务的欲望也在扩大。作为多任务的部分，用户能够在连接到计算装置的监视器上同时打开多个应用程序窗口并且在不同应用程序上工作。随着在相异窗口中打开越来越多的应用程序，监视器的显示区域不足以同时呈现所有窗口变得越来越明显。随着移动计算装置计算能力的扩大以及这些装置的日益普及，移动计算装置逐渐变成能够选择访问各种应用程序(诸如交互式社交媒体应用程序、交互式游戏应用程序、搜索应用程序、电子邮件应用程序等)并与其交互的装置。
视频游戏行业中存在另一种增长趋势。随着计算能力的扩大，视频游戏的开发商同样已创造出利用计算能力的这些增长的游戏软件。为此，视频游戏开发商一直以来都在编码结合复杂的操作和数学运算的游戏以产生非常逼真的游戏体验。
随着视频游戏行业的演进和各种计算装置(包括移动装置)计算能力的扩大，用户能够越来越多地使用移动计算装置与视频游戏交互。因此，视频游戏的开发商正越来越多地开发以下游戏软件或游戏界面：利用移动计算装置(或简单地“移动装置”)内计算能力的增长，以使得用户能够访问在游戏控制台上本地执行或在通过云游戏系统访问的游戏服务器上远程执行的视频游戏并与其交互。现今的移动装置包括集成到单个装置中以使得用户能够与各种应用程序交互的若干不同类型的硬件。例如，许多移动装置包括彩色显示器、相机、扬声器以及输入机构诸如按钮、触摸屏或触笔等，以便允许进行这种交互。
随着视频游戏行业中的增长趋势和/或计算/移动装置的使用，希望补充计算装置、移动装置等之中所提供的有限屏幕区域，以便使得用户能够进行多任务。
在这种背景下提出本发明的实施方案。
发明内容
本发明的实施方案提供用于扩展显示装置的观看区域以供呈现在计算装置上选择的内容的方法。应理解，本发明可以诸多方式来实现，诸如过程、设备、系统、装置或计算机可读介质上的方法。下文描述本发明的若干发明实施方案。
在一个实施方案中，公开了一种方法。所述方法包括：检测具有主显示器的主计算装置附近的眼镜计算装置的存在。主计算装置的主显示器被配置来呈现内容。眼镜计算装置包括辅助显示器。眼镜计算装置链接到主计算装置。检测眼镜计算装置相对于主显示器的视向。在辅助显示器中呈现除在主显示器中呈现的内容之外的另外内容。辅助显示器充当主显示器的扩展部分以供观看在主显示器上呈现的内容之外的内容。
在一个实施方案中，检测视向的变化并使用变化限定必须在辅助显示器中展示的其他内容的范围。
在一个实施方案中，视向通过使用主计算装置的相机跟踪眼镜计算装置来更新。
在一个实施方案中，眼镜计算装置被配置来佩戴在用户的头部上，并且视向通过使用主计算装置的相机进行头部跟踪来更新。
在一个实施方案中，其他内容的多或少导致辅助显示器动态扩大或收缩以适应其他内容的虚拟显示。所得辅助显示器扩展以与主显示器形成圆形观看区域以呈现内容和其他内容。
在一个实施方案中，虚拟显示的多或少是基于视向所限定的视角偏移量来展示。
在一个实施方案中，公开了一种方法。所述方法包括：检测具有与用户账户相关联的识别符的一副眼镜。这副眼镜包括用于实现与计算装置的无线通信的处理器以及眼镜显示屏幕。当这副眼镜朝向计算装置的主显示屏幕时，使视位与这副眼镜相关联。这副眼镜的视位与相对于主显示屏幕所限定的参考点相关联。检测这副眼镜相对于参考点的视向。基于检测的视向在眼镜显示屏幕上呈现其他内容。眼镜显示屏幕是主显示屏幕的虚拟扩展。
在一个实施方案中，公开了一种用于扩展显示装置的观看区域以供显示内容的方法。根据所述方法，使一副眼镜与计算装置同步。计算装置被配置来执行多个应用程序并选择多个图标，这些应用程序和图标在计算装置的主显示屏幕上在相异窗口中呈现。同步允许计算装置的主显示屏幕与这副眼镜中所限定的辅助显示屏幕配对。检测一个或多个应用程序窗口离开计算装置的主显示屏幕的移动。响应于检测，在这副眼镜的辅助显示屏幕上自动展示从计算装置的主显示屏幕中移出的应用程序窗口。
在一个实施方案中，计算装置是在计算装置内本地执行应用程序的基础计算装置。
在一个实施方案中，计算装置被配置来在云系统内的云服务器上执行应用程序。
在一个实施方案中，这副眼镜包括处理器和网络连接接口以与计算装置交互。
在一个实施方案中，这副眼镜的网络连接接口使用无线连接协议与计算装置交互。
在一个实施方案中，同步允许使用计算装置的输入和输出装置与移进辅助显示屏幕中的窗口交互。
在一个实施方案中，检测包括：识别一个或多个窗口离开主显示屏幕的移动方向和次序。方向和次序限定相应窗口在辅助显示屏幕中的布局，其中布局与布局识别符相关联。
在一个实施方案中，从主显示屏幕中移出的应用程序窗口按移动的时间顺序在辅助显示屏幕中展示。
在一个实施方案中，从主显示屏幕中移出的应用程序窗口按移动的时间倒序在辅助显示屏幕中展示。
在一个实施方案中，检测对在辅助显示屏幕中呈现的窗口的选择，并且作为响应，将选择的窗口从辅助显示屏幕移回计算装置的主显示屏幕以供用户交互。
在一个实施方案中，检测对在辅助显示屏幕中展示的窗口的选择。响应于检测，选择的窗口中所呈现的应用程序允许在继续在辅助显示屏幕中呈现选择的窗口的同时进行交互。
在一个实施方案中，辅助显示屏幕覆盖这副眼镜中的一个或两个镜片的一部分或整个区域。
在另一个实施方案中，公开了一种方法。所述方法包括：检测具有与用户账户相关联的识别符的一副眼镜。这副眼镜具有用于实现与计算装置的无线通信的处理器并且具有眼镜显示屏幕。当这副眼镜朝向计算装置的主显示屏幕时，同这副眼镜的视位相关联。这副眼镜的视位与相对于主显示屏幕所提供的参考点相关联。在主显示屏幕上呈现内容并且在眼镜显示屏幕上呈现其他内容。眼镜显示屏幕上的其他内容在检测到这副眼镜的视位远离主显示屏幕的变化时呈现。眼镜显示屏幕充当主显示屏幕的虚拟扩展。
在一个实施方案中，执行这副眼镜与计算装置的配对以实现对这副眼镜的检测。
在一个实施方案中，参考点由针对计算装置的主显示屏幕限定的一个或多个虚拟位置标记限定。视位使用虚拟位置标记的相对坐标来限定。
在一个实施方案中，配对允许使用计算装置的输入和输出装置与在辅助显示屏幕中呈现的内容交互。
在一个实施方案中，内容包括图标或在窗口中执行的应用程序的内容，其中内容在相异窗口中呈现。
在一个实施方案中，在眼镜显示屏幕上呈现的其他内容是从主显示屏幕移出的。
在一个实施方案中，其他内容按从主显示屏幕移出的顺序和方向在眼镜显示屏幕上组织。
在一个实施方案中，基于在辅助显示屏幕中呈现的其他内容的量动态调整辅助显示屏幕的尺寸。
结合以举例方式示出本发明的示例性原理的附图根据以下具体实施方案将明白本发明的其他方面。
附图说明
通过结合附图参考以下具体实施方案可最佳地理解本发明，其中：
图1示出根据本发明的实施方案的、用于提供另外显示区域以供呈现应用程序窗口的计算系统的简单框图。
图1A-1D示出根据本发明的不同实施方案的一副眼镜内的辅助显示屏幕。
图1-1和1-2示出根据本发明的实施方案的用户的视角和对应视线。
图2A-2C示出根据本发明的实施方案的、主显示屏幕和辅助显示屏幕中的应用程序窗口的屏幕演示。
图3示出根据本发明的实施方案的设置在计算装置中的呈现区域处理器的各种部件，这些部件用于在可通信地连接到计算装置的一副眼镜中提供另外屏幕区域以便扩展与计算装置相关联的显示装置的观看区域。
图4A-1和4A-2示出根据本发明的实施方案的在使一副眼镜与计算装置配对以便扩展显示装置的观看区域以供在应用程序窗口中显示内容的过程中的视角计算。图4A-3示出本发明的一个实施方案中的可基于移进和移出虚拟屏幕区域的内容动态调整的辅助显示屏幕。
图4B-4C示出根据本发明的一个实施方案的根据佩戴这副眼镜的用户的视角呈现的内容。
图5示出根据本发明的实施方案的、用于为应用程序窗口提供另外呈现区域的系统内的处理流程。
图6示出根据本发明的替代实施方案的、用于提供虚拟屏幕区域以供呈现从计算装置的显示区域中移出的应用程序窗口的系统内的处理流程。
图7示意性地示出根据本发明的实施方案的Playstation娱乐装置、即控制台的总体系统架构，所述控制台可以是兼容的、以用于使控制装置和手持式装置与在基础计算装置处执行的计算机程序对接。
具体实施方式
以下实施方案描述方法和系统，其用于通过在一副眼镜内提供另外显示区域来扩展显示装置的观看区域，以供呈现由计算装置选择用于呈现的相异窗口中的应用程序和图标的内容。在本发明的一个实施方案中，这副眼镜配备有处理器和网络互连性以连接到计算装置。计算装置包括具有主显示屏幕的监视器，主显示屏幕用于显示由计算装置的用户选择用于执行/呈现的应用程序/图标的内容。内容在相异窗口中呈现。连接允许与计算装置相关联的监视器的主显示屏幕与这副眼镜中所限定的辅助显示屏幕同步。当窗口中被选择的一个从计算装置的主显示屏幕移出时，计算装置检测移动，并且作为响应，计算装置中止在监视器的主显示屏幕上呈现选择的窗口。这副眼镜检测窗口离开监视器的显示区域的移动并在这副眼镜的显示区域中呈现所移动窗口。这副眼镜内所限定的辅助显示屏幕通过为用户提供另外观看和交互区域而充当主显示屏幕的虚拟扩展。因此，现在将参考附图描述根据本发明的实施方案的方法和设备。
然而，本领域的技术人员将显而易见的是，本发明可在没有这些具体细节中的一些或全部的情况下实践。在其他情况下，为了避免不必要地使本发明晦涩难懂，未详细描述熟知的处理操作。
图1示出本发明的一个实施方案中的、用于除计算装置的监视器的主显示屏幕之外提供另外区域以供呈现应用程序/图标窗口的系统的简单框图。所述系统包括计算装置10，其被配置来选择并执行多个交互式应用程序。计算装置10可以是基础计算装置，诸如台式计算装置、膝上计算装置、平板计算装置或移动计算装置。在这个实施方案中，计算装置可选择图标或选择并在计算装置内本地执行交互式应用程序。在另一个实施方案中，计算装置10被配置来使用应用程序接口选择图标或执行可在通过网络诸如互联网200访问的云服务器300上获得的交互式应用程序。在一个实施方案中，云服务器300可由计算装置10使用互联网访问点诸如路由器(未示出)来访问。在一个实施方案中，云服务器300可包括执行多个应用程序并提供多个图标的多个服务器，诸如游戏服务器300a、应用程序服务器300b、内容服务器300c等。显示监视器100使用有线或无线连接可通信地连接到计算装置10并且充当主显示屏幕。监视器100可以是各种类型的显示装置(诸如电视、投影仪或可用于在相异窗口中视觉地显示交互式应用程序的任何其他种类的显示屏幕)中的任一种。
具有内置处理器(未示出)和无线互连性的一副眼镜102通过配对可通信地连接到计算装置10。这副眼镜包括显示区域，诸如辅助显示屏幕102A。这副眼镜还配备有相机以捕获眼镜外部的环境。在一个实施方案中，这副眼镜可以是抬头显示器(HUD)。在另一个实施方案中，这副眼镜可以是头戴式显示器(HMD)。在又另一个实施方案中，替代一副眼镜，可使用眼镜计算装置来提供本文所述的各种实施方案的相同功能性。眼镜的显示区域可覆盖这副眼镜中的一个或两个镜片的一部分。在一些实施方案中，眼镜的一部分可覆盖眼镜的整个区域。图1A-1D示出这副眼镜102内设置了辅助显示屏幕102A的各种位置。例如，如图1A所示出，辅助显示屏幕102A设置在镜片的在由用户佩戴时覆盖右眼的右上角处。可替代地，显示区域102A可设置在镜片覆盖一只眼睛(即，右眼)的中心处，如图1B所示出；在右眼镜片和左眼镜片的左上角处，如图1C所示出；或在右眼镜片和左眼镜片的左上角处(未示出)，或覆盖这副眼镜102的整个表面，如图1D所示出。在图1D的情况下，显示区域可以是透明显示器，所述透明显示器展示数据，而不需要用户在一种模式下将目光从他们的视点移开并且切换到第二模式以便允许用户观看来自不同应用程序/图标窗口的图像。在这种情况下，用户将能够在真实世界与虚拟世界之间转变以观看由眼镜的处理器所投射的适当数据。眼镜可包括一个或多个输入装置诸如安装在眼镜侧部上的触摸板，以允许用户从一种模式切换/转变到另一种模式。触摸板还可用于其他用户交互。例如，触摸板可用于使眼镜与计算装置配对并且使眼镜与计算装置10同步。在一个实施方案中，同步包括：使眼镜计算装置或这副眼镜与主计算装置配对，以便使监视器100的主显示屏幕与眼镜中所限定的辅助显示屏幕102A同步。在一个实施方案中，除使显示屏幕同步之外，同步可允许使用计算装置10的输入装置与在眼镜的辅助显示屏幕中呈现的内容交互。在另一个实施方案中，同步可包括：使计算装置10的输入装置与眼镜的输入装置同步。
与计算装置10相关联的输入装置用于选择一个或多个交互式应用程序用于执行或图标用于呈现。响应于对应用程序的选择/执行，一个或多个应用程序或图标的内容可在监视器100的主显示屏幕处在相异“应用程序”窗口中呈现，以允许用户与在应用程序窗口中呈现的任何应用程序/图标交互。每个应用程序窗口被设计来呈现在计算装置10处选择用于执行的图标的内容或应用程序的内容。交互式应用程序/图标可在计算装置10中本地获得或可在云服务器上获得。在应用程序可在云上获得的情况下，计算装置10可获得应用程序的副本并在计算装置内本地执行副本。可替代地，应用程序可在云中执行，并且应用程序窗口可由计算装置在监视器的主显示屏幕处提供，以便呈现内容并使用应用程序接口实现与应用程序的交互。类似地，计算装置可获得图标的副本并在监视器的主显示屏幕处呈现副本。
作为交互的部分，用户可选择在监视器100中呈现的应用程序窗口并将其从监视器的显示屏幕移出。计算装置检测移动，并且自动地将选择的交互式应用程序的应用程序窗口从监视器100的主显示屏幕移走。同时，这副眼镜检测应用程序窗口到眼镜中的显示区域(即，辅助显示屏幕)中的移动。辅助显示屏幕通过提供另外显示区域以供呈现应用程序窗口而充当监视器的观看区域的扩展。
参考图1-1和1-2，示出了基于用户的视点向用户展示的呈现应用程序窗口的显示屏幕。当用户的视点在法向上时(即，当用户笔直向前看时，如线‘A1’所示出)，由与计算装置相关联的监视器100的主显示屏幕100A限定的显示区域被展示为覆盖涵盖虚线A1’与A1”之间的区域的法向视角‘α’，如图1-1所示出。当用户的视点向上转移(如图1-2中的线A2所示出)以覆盖涵盖虚线A2’与A2”之间的区域的视角‘β’时，眼镜102的显示区域中所限定的辅助显示屏幕102A被展示给用户。除监视器100的主显示区域100A之外，用户能够使用眼镜102的显示区域102A作为补充辅助显示屏幕。在图1、1-1和1-2所示出的实施方案中，计算装置与这副眼镜配对，并且用户凝视的方向用于展示适当的显示屏幕区域——监视器的主显示屏幕区域或眼镜的辅助显示屏幕区域。
监视器的主显示屏幕区域主要用于展示相异应用程序窗口，以供呈现图标以及由或为佩戴眼镜的用户选择用于执行的应用程序的内容。随着用户执行越来越多的应用程序并选择多个图标，每个应用程序和/或图标的内容在监视器的主显示屏幕区域上在相异窗口中呈现，致使监视器的主显示屏幕区域变拥挤。为了缓解拥挤，用户可将窗口中被选择的一个或多个从主显示屏幕区域中移出。响应于移动，计算装置将中止在监视器的主显示屏幕区域中呈现选择的一个或多个窗口，并且配对将导致眼镜检测移动并且在眼镜的显示部分中所限定的辅助显示屏幕中呈现窗口。用户可能够使用与计算装置相关联的输入装置与转移到眼镜的辅助显示屏幕的应用程序窗口交互，其方式类似于当应用程序窗口在监视器的主显示屏幕区域上呈现时所进行的交互。
图2A-2C示出本发明的一个实施方案中的、监视器的主显示屏幕区域和一副眼镜的辅助显示屏幕的简化样本屏幕演示。如图2A所示出，多个窗口120a、120b、120c等在计算装置10的监视器100的主显示屏幕区域100A上呈现。每个窗口呈现应用程序的内容或图标的内容，所述应用程序由计算装置选择用于在计算装置10上本地执行或在云服务器上远程执行。在远程执行应用程序的情况下，计算装置使用网络连接性通过网络诸如互联网可通信地连接到云服务器。计算装置10还可通信地连接到用户所使用的其上设置辅助显示屏幕的一副眼镜，其中这副眼镜包括处理器和网络连接性以与计算装置10配对。作为通信连接的部分，使这副眼镜的显示部分中所限定的辅助显示屏幕与计算装置的监视器的主显示屏幕区域同步，以允许用户在相应显示屏幕区域处进行交互。
作为用户交互的部分，窗口120b从监视器100的主显示屏幕区域100A中移出，如图2A所示出。在计算装置10处执行的编程逻辑检测窗口120b离开监视器的主显示屏幕区域的移动，并且作为响应，自动地开始从监视器100的主显示屏幕区域100A移动窗口120b的一部分，如图2B所示出。同时，从主显示屏幕区域中移出的窗口的所述部分由这副眼镜内的逻辑捕获以用于在辅助显示屏幕处呈现，如图2B所示出。图2C通过中止在主显示屏幕区域100A中呈现窗口120b并同时在辅助显示屏幕102A中呈现窗口120b来示出窗口120b离开监视器区域的移动的完成。剩余的窗口120a和120c继续在监视器100的主显示屏幕区域100A中呈现。
在一个实施方案中，作为用户的继续交互的部分，用户选择在眼镜的辅助显示屏幕上呈现的特定窗口。在这个实施方案中，用户选择导致选择的窗口中止在辅助显示屏幕中呈现，而替代地开始在监视器的主显示屏幕区域中呈现。在将窗口移动到监视器的主显示屏幕区域之后，随后的用户交互用作对在选择的窗口中执行的应用程序或图标的输入，从而导致内容、显示或两者改变。在另一个实施方案中，作为用户的继续交互的部分，用户对特定应用程序或图标窗口的选择将导致选择的窗口保留在眼镜的辅助显示屏幕中，并且用户交互用作对在其中执行的应用程序或图标的输入，以在选择的窗口处展示内容、显示或两者的变化。
在图1、1-1、1-2、2A和2B所示出的各种实施方案中，计算装置与这副眼镜同步，并且用户的眼睛移动(根据这副眼镜中的辅助显示屏幕的设置位置向上或笔直)用于观看适当的屏幕区域——监视器的主显示屏幕区域或眼镜的辅助显示屏幕区域。
在一个实施方案中，替代用户的眼睛移动，用户头部在不同方向上的移动可用于向用户展示来自监视器的主显示屏幕的一部分或一副眼镜中所限定的辅助显示屏幕的一部分的适当应用程序或图标窗口。首先使一副眼镜与计算装置配对。这副眼镜具有与用户的用户账户相关联的识别符。这副眼镜包括处理器，其被配置来提供与计算装置的无线通信。眼镜显示屏幕限定在这副眼镜的至少一部分中。在计算装置与用户的这副眼镜配对之后，确定这副眼镜的视位。视位限定用户佩戴眼镜时的用户的法向视角。依据相对于主显示屏幕所提供的参考点来确定这副眼镜的视位并且因此确定佩戴这副眼镜的用户的法向视角。参考点可由相对于主显示屏幕设置的一个或多个虚拟位置标记来限定，并且参考点相对于主显示屏幕的坐标用于确定这副眼镜的视位。然后响应于用户将他的头部移动远离主显示屏幕时用户的视角的偏移，使用法向视角计算视角偏移。基于所计算视角偏移，展示来自监视器的显示部分的主屏幕区域或由辅助显示屏幕限定的虚拟屏幕区域的适当内容。
图3示出根据本发明的一个实施方案的计算装置，其中呈现区域处理器模块150执行以展示主显示屏幕区域，以供呈现图标或选择用于在辅助显示屏幕中在相异应用程序窗口中执行的应用程序的内容。在另一个实施方案中，呈现区域处理器模块150可设置在一副眼镜内，以用于扩展与计算装置相关联的显示装置的观看区域。呈现区域处理器150包括另外模块，诸如装置同步器模块152、交互检测模块158以及视角计算模块166。
装置同步器152包括显示屏幕同步器154和输入装置同步器模块156。首先使用装置同步器152使计算装置与一副眼镜同步，其中这副眼镜中的处理器和互联网连接性用于与计算装置配对以实现无线通信。眼镜包括眼镜区域的一个或两个的一部分中所限定的显示区域(即，辅助显示屏幕区域)。显示屏幕同步器152提供使眼镜中所限定的辅助显示屏幕区域与跟计算装置相关联的监视器的主显示屏幕区域同步所必须的配置逻辑。类似地，输入装置同步器156包括使计算装置的输入装置与眼镜同步/配对的配置逻辑。在一个实施方案中，作为输入装置同步的部分，可使用计算装置的输入装置与在眼镜的辅助显示屏幕区域中呈现的窗口交互。在另一个实施方案中，作为同步/配对的部分，使眼镜的输入装置与计算装置的输入装置同步/配对。一旦眼镜和计算装置同步/配对，呈现区域处理器就通过计算这副眼镜相对于计算装置的主显示屏幕的视位来确定佩戴这副眼镜的用户的法向视角。
在一个实施方案中，视角计算模块(view computation module)166使用视角计算模块168和一个或多个参考点确定视位，参考点由设置在朝向主显示屏幕的方向上或相对于主显示屏幕设置的虚拟标记或识别符限定。例如，视角计算模块168内的显示器参考标记处理(或简单地，“标记处理”)模块168a可确定与佩戴眼镜的用户相关联的相对于虚拟标记的初始化视角，虚拟标记是相对于与计算装置相关联的监视器的限定区段、诸如中心来提供。在另一个实例中，对应于监视器的每个角落的虚拟标记可用于确定初始化视角。标记处理模块168a可使用另外的对应于监视器每条边的中心的虚拟标记或对应于监视器的其他区段的虚拟标记来确定初始化视角。标记处理模块168a使用一个或多个虚拟标记/虚拟点中的每一个的坐标来确定初始化视角。
图4A-1和4A-2示出使用标记处理模块168a确定的用于计算视位的初始化视角。标记处理模块168a相对于单个虚拟标记100a确定初始化视角，单个虚拟标记100a对应于计算装置的监视器100A的显示区域中心，如图4A-1所示出。可替代地，标记处理模块168a可相对于多个虚拟标记或虚拟点指示符确定初始化视角，如图4A-2所示出。在使用多个虚拟标记/虚拟点指示符的情况下，标记处理模块168a可相对于对应于监视器显示区域的每个角落的虚拟标记100a、100b、100c和100d确定初始化视角。当尝试计算初始化视角以确定佩戴眼镜的用户的视位时，可使用另外的对应于监视器的显示区域中心的虚拟标记、诸如虚拟标记100m和/或对应于每条边的中心的虚拟标记100x、100x’、100x”等。在视位初始化期间，相对于主显示屏幕的虚拟标记可设置在这副眼镜处，或当佩戴这副眼镜的用户朝向主显示屏幕时，这副眼镜可使用计算装置的主显示屏幕的中心或角落。
用户可选择执行可在计算装置本地获得或在云服务器上远程获得的多个应用程序。每个选择的应用程序在监视器的主显示屏幕区域上在相异交互式应用程序窗口中呈现。随着用户选择越来越多的应用程序用于执行，对应应用程序窗口在主显示屏幕区域中呈现以供用户交互。在交互进程期间，用户可选择将一些应用程序窗口从主显示屏幕区域中移出。所述移动导致应用程序窗口中被选择的应用程序窗口停止在主显示屏幕区域上呈现，而替代地开始在这副眼镜中所限定的辅助显示屏幕中呈现。在一个实施方案中，辅助显示屏幕充当虚拟屏幕，其限定为用户提供几乎360°度观看屏幕的连续圆形呈现区域圈以供呈现应用程序窗口，如图4A-3所示出。辅助显示屏幕所限定的虚拟屏幕的尺寸动态地调整以适应从主显示区域中移出的应用程序窗口。除选择用于执行的应用程序之外，用户还可选择呈现一个或多个图标。选择的图标在监视器的主显示屏幕区域上在相异应用程序窗口中呈现，并且当从主显示屏幕中移出时则开始在辅助显示屏幕区域中呈现。
在将应用程序窗口从监视器的主显示屏幕区域移到辅助显示屏幕之后，呈现区域处理器150可展示来自主显示屏幕区域或辅助显示屏幕的适当应用程序窗口。为了确定向用户展示应用程序窗口中的哪个，使用视角计算模块168内的视角偏移计算模块168b确定当用户的头部相对于参考标记处理168a所确定的初始化视角转移时、与用户所佩戴的这副眼镜相关联的角度偏移。如图4A-3所示，当角度偏移为零时，用户的视位在相对于计算装置的监视器的初始化视角处，并且在主显示屏幕区域中呈现的应用程序窗口在这副眼镜的辅助屏幕区域中展示。当用户转动他的头部时，偏移角度相应地改变。视角计算模块166计算相对于初始化视角的偏移角度‘θ’并且使用偏移角度θ确定来自虚拟屏幕的窗口的对应部分以便为用户展示在辅助显示屏幕中。当在监视器的主显示屏幕区域上呈现的应用程序窗口中所选择的应用程序窗口移出时，基于针对这副眼镜所记录的视角偏移，选择的应用程序窗口被移动到虚拟屏幕区域中并且在辅助显示屏幕中呈现。虚拟屏幕所限定的连续圆形呈现区域圈覆盖主显示屏幕区域和辅助显示屏幕区域两者，因此提供主显示屏幕中所限定的观看区域的无缝扩展。
图4B示出用于呈现交互式应用程序窗口的主显示屏幕区域100A和辅助显示屏幕102A的简单演示。主显示屏幕区域100A(例如)涵盖由涵盖视角‘α’的用户法向初始化角度限定的区域。当用户的头部从法向初始化角度‘α’移到角度‘β’、‘θ’、‘γ’等所限定的视角偏移角度时，对应于相应视角偏移的来自虚拟屏幕的内容在辅助显示屏幕中被展示给用户。在图4B所示出的实例中，视角偏移‘β’可识别虚拟屏幕的包括从监视器的主显示区域中移出的应用程序窗口120a的部分。因此，当用户的头部移动以覆盖视角偏移‘β’时，应用程序窗口120a在眼镜的显示屏幕(即，辅助显示屏幕区域)处被展示给用户。类似地，当用户的头部转移到视角偏移‘θ’时，应用程序窗口120b可在眼镜的显示屏幕中呈现，等等。基于由用户的头部移动所建立的视角，在眼镜中所限定的显示屏幕中向用户展示适当应用程序窗口。应指出的是，作为实例，针对每个视角偏移仅已经识别一个应用程序窗口，并且在每个视角偏移下可展示另外的应用程序窗口。在对应显示区域中呈现的应用程序窗口展示来自一个或多个交互式应用程序或图标的内容。因此，除呈现适当应用程序窗口之外，可使得一个或多个输入装置可供用于用户交互。例如，与计算装置相关联的输入装置、诸如如光标121所示出的鼠标、键盘(未示出)等可设置用于用户选择和交互。
用户交互可包括用户对在主显示区域或虚拟屏幕区域中呈现的应用程序窗口的选择。在一个实施方案中，用户对虚拟屏幕区域中的应用程序窗口的选择导致选择的应用程序窗口从虚拟屏幕区域移回监视器的主显示区域，如箭头160所示出。在选择的应用程序窗口处的随后的用户交互用作在其中执行的应用程序的输入，从而导致内容和/或显示更新，并且这类更新在监视器的主显示区域中的应用程序窗口中呈现。
在另一个实施方案中，用户交互可导致维持选择的应用程序窗口处于虚拟屏幕区域中。在这个实施方案中，虚拟屏幕区域中的特定应用程序窗口的用户选择和交互可以保持选择的应用程序窗口供用户私人观看。因此，虚拟屏幕区域充当用户的私用屏幕区域，而主显示区域充当公共可观看屏幕。在这个实施方案中，在选择的应用程序窗口处的进一步用户交互用作对所述对应应用程序的输入，从而导致内容和/或显示更新，并且这类更新在相应应用程序窗口中呈现，并且当视角偏移对应于相应应用程序窗口的位置时则在辅助显示屏幕中展示。应用程序窗口继续在虚拟屏幕区域呈现，并且用户交互用作对在其中执行的应用程序的输入。当眼镜的视角偏移匹配应用程序窗口的呈现位置时，应用程序/图标(包括更新)的内容在眼镜中所限定的辅助屏幕区域中展示。
图4C示出一个实施方案中的、主显示区域和虚拟屏幕区域在对应于用户的头部移动的各种视角时的简化屏幕表示。在这个实施方案中，这副眼镜被配置来佩戴在用户的头部上，这副眼镜的视向通过使用与主显示屏幕相关联的计算装置的相机进行头部跟踪来确定。虚拟屏幕区域包括已经由用户从主显示屏幕区域移出并作为虚拟显示展示的多个应用程序窗口。应指出的是，尽管所述实施方案参考执行交互式应用程序来描述，但教义可扩展至可在主或虚拟显示屏幕区域中呈现的图标或任何其他内容。例如，在图4C所示出的实施方案中，在相应应用程序窗口中呈现的每个应用程序对应于一个视频游戏。可替代地，应用程序可以是文档呈现应用程序。当用户的视角对应于角度‘α’所限定的初始化角度时，用户‘P1’与游戏参与者P2玩视频游戏1。视频游戏1在计算装置的监视器中所限定的主显示区域中在应用程序窗口120a中呈现。当用户的头部转移到视角‘β’时，用户可被展示对应于视频游戏2的应用程序窗口120b。在应用程序窗口120b中，用户可正在与游戏参与者P3玩视频游戏2。当用户的头部转移到视角‘θ’时，用户可被展示其中执行视频游戏3的应用程序窗口120c，并且用户可正在与游戏参与者P4玩视频游戏3。应指出的是，视频游戏1、2、3等可以是相异视频游戏，或可以是在与不同玩家玩时的同一视频游戏的不同情况。可替代地，每个应用程序窗口可展示相异视频游戏或单个视频游戏的不同情况，并且用户可以独自地玩交互式视频游戏。视频游戏2、3、4等可在虚拟屏幕区域中呈现，而视频游戏1在监视器的主显示屏幕区域中呈现。在这个实施方案中，用户将与来自其中正在呈现游戏的对应显示屏幕区域内的相应游戏参与者交互(如果存在的话)。
在一个实施方案中，随着用户的视角基于用户的头部移动而改变，适当应用程序窗口在眼镜的显示屏幕区域中被展示给用户。在一个实施方案中，眼镜的显示屏幕区域用于展示在监视器中展示以及移到虚拟屏幕区域的应用程序窗口。用户可使用与计算装置相关联的输入装置诸如鼠标、键盘、控制器等继续与各种应用程序窗口交互，或可使用眼镜中所限定的输入装置。
在监视器的主显示区域和虚拟屏幕区域中呈现的应用程序窗口可具有相等尺寸或可具有不同尺寸。因此，可调整应用程序窗口在相应显示区域中的呈现以适应不同尺寸。此外，调整虚拟屏幕区域以适应从监视器的主显示屏幕区域移出的应用程序窗口的数量。随着应用程序窗口数量的增加或减少，虚拟屏幕区域的尺寸扩大或收缩，从而提供连续显示区域圈以供呈现应用程序窗口，如图4A-3所示出。
在一个实施方案中，应用程序窗口从监视器的主显示屏幕区域移出的方向和次序用于限定应用程序窗口在虚拟屏幕区域中展示时它们的呈现次序，其中虚拟屏幕区域中的窗口可按移动顺序和方向在眼镜的显示屏幕中展示。
继续参考图3，在一个实施方案中，交互检测模块158用于检测在应用程序窗口中的特定一个处的用户交互，并且用于更新在监视器的主显示屏幕区域或虚拟屏幕区域中呈现的特定应用程序窗口。选择次序检测器模块162识别应用程序窗口从监视器的主显示屏幕区域移到虚拟屏幕区域的次序，并且按移动顺序组织移到虚拟屏幕区域的应用程序窗口。在一个实施方案中，基于应用程序窗口从监视器的主显示屏幕区域移出的次序，可按时间顺序在虚拟屏幕区域中组织应用程序窗口。在另一个实施方案中，可按时间倒序在虚拟屏幕区域内组织应用程序窗口。
除移动次序之外，移动方向也可用于在虚拟屏幕区域中组织和展示应用程序窗口。交互检测模块158内的方向检测器模块160可用于基于移动方向按移动时间顺序或时间倒序组织应用程序窗口。例如，如图4B所示出，应用程序窗口120a、120b、120c、120k等从右侧移出监视器的主显示屏幕区域，应用程序窗口120f、120j和120x从左侧移出，而应用程序窗口120m和120n保持处于监视器的主显示屏幕区域中。因此，应用程序窗口根据侧按时间顺序或时间倒序在虚拟屏幕区域中组织，并且组织的窗口基于视角偏移在辅助屏幕区域处展示。
在虚拟屏幕区域中呈现并在辅助屏幕区域中观看的相应应用程序窗口处的用户交互由窗口选择检测器模块164检测。在一个实施方案中，用户交互可呈在辅助显示屏幕处提供的姿势的形式。例如，姿势可包括：单击、双击、拖放姿势、语音命令、眼睛姿势、眼睛凝视检测和选择，或其中两项或更多项的组合。姿势列表是示例性的并且不应视为是限制性的。在虚拟屏幕区域中的应用程序窗口处可采用另外选择姿势。在一个实施方案中，响应于用户交互，窗口选择检测器模块164可被配置来中止在虚拟屏幕区域中呈现选择的应用程序窗口，并且开始在监视器的主显示屏幕区域处呈现应用程序窗口，并且使用选择的应用程序窗口处的进一步交互作为对在其中执行的应用程序的输入，从而导致在应用程序窗口中呈现的内容和/或显示改变。在另一个实施方案中，窗口选择检测器模块164被配置来检测对虚拟屏幕区域中的特定应用程序窗口的选择，并且使用随后的用户交互作为对在特定应用程序窗口中呈现的应用程序的输入，以更新其中所展示的内容和/或显示。在这个实施方案中，应用程序窗口保持处于虚拟屏幕区域中而未移到监视器的主显示屏幕区域。相应应用程序窗口
在虚拟屏幕区域中展示的每个应用程序窗口与位置指示符相关联。位置指示符可指示移动次序或针对虚拟屏幕区域预定义的位置布局。位置指示符可在将应用程序从虚拟屏幕区域移到主显示屏幕区域期间使用。例如，作为用户交互的部分，可使用输入工具诸如语音识别应用程序来使用位置指示符在虚拟屏幕区域与监视器的主显示屏幕区域之间移动应用程序窗口。因此，各种实施方案提供扩展监视器的主显示屏幕区域的观看区域的无缝方法，以允许用户最佳地使用眼镜的屏幕区域来补充监视器的显示区域。
在一个实施方案中，检测出现在主计算装置附近的眼镜计算装置。主计算装置与用于呈现内容的主显示器诸如主显示屏幕相关联。眼镜计算装置具有用于呈现其他内容的辅助显示器。眼镜计算装置通过以下方式链接到主计算装置：使两个装置配对。配对可使主计算装置的输入和输出装置与眼镜计算装置配对。相对于主计算装置检测眼镜计算装置的视向。为了确定视向，相对于主装置初始化眼镜计算装置。
初始化的结果是：使用相对于主计算装置的主显示器限定的一个或多个虚拟参考点，确定眼镜计算装置在朝向主显示器时的初始视角或视位。然后相对于一个或多个虚拟参考点确定视向。视向基于对佩戴眼镜计算装置的用户进行的头部跟踪识别眼镜计算装置的视角偏移。基于确定的视向，在内容继续在主计算装置的主显示器中呈现的同时，在眼镜计算装置的辅助显示器中呈现其他内容。辅助屏幕充当主显示器的虚拟扩展，从而提供增大的区域以供呈现内容。在一些实施方案中，其他内容可以是通过用户交互从主显示器移出的内容。在一些实施方案中，辅助显示器可充当用户的私用屏幕区域，并且其他内容可以是用户希望保持私有远离公众目光的内容。在这些实施方案中，其他内容作为私有虚拟显示呈现。内容在主显示器或辅助显示器中呈现的应用程序可在主计算装置内本地执行或在应用程序服务器上远程执行。应用程序服务器可以是作为云系统的一部分的云服务器。在一些实施方案中，可通过连续头部跟踪并使用视向的变化(即，偏移)来更新视向，以确定必须在辅助显示器中呈现的其他内容的范围。头部跟踪可使用主计算装置处所提供的一个或多个相机来实现。
图5示出根据本发明的实施方案的用于为交互式应用程序提供另外观看区域的方法。所述方法以操作510开始，在操作510中，使一副眼镜与计算装置同步/配对。这副眼镜配备有处理器和网络互连性，其被配置来与计算装置可通信连接。计算装置被配置来识别并选择多个图标或其他内容以用于在相异应用程序窗口中呈现。计算装置还被配置来执行可在计算装置内本地获得或在云服务器中远程获得的多个应用程序，其中每个应用程序在相异应用程序窗口中呈现。为此，计算装置配备有互联网连接性以通过互联网访问云服务器，并且这种访问可使用互联网访问点诸如路由器来实现。装置的同步/配对包括：使计算装置的监视器的主显示屏幕区域与这副眼镜中的至少一个镜片的一部分中所限定的辅助显示屏幕同步。同步/配对还可包括：使输入装置同步，使得计算装置的输入装置可用于与在监视器的显示区域或眼镜的辅助显示屏幕中呈现的对应应用程序窗口内执行的应用程序交互。
在操作520中，检测一个或多个窗口处的用户交互。用户交互可包括一个或多个窗口离开计算装置的监视器的主显示屏幕区域的移动。在一个实施方案中，窗口的移动还可识别移动次序以及窗口从监视器移出的方向或侧。例如，用户交互可识别一个或多个窗口从监视器的右侧或左侧进行的移动。
在操作530中，响应于一个或多个窗口从计算装置的监视器的主显示屏幕区域的移动，将窗口从计算装置的主显示屏幕区域移走并在这副眼镜中所限定的辅助显示屏幕中展示。在一个实施方案中，使用移动次序以及应用程序窗口从监视器的主显示屏幕区域移出的侧来确定应用程序窗口在这副眼镜中所限定的辅助显示屏幕中的组织。辅助显示屏幕充当主显示屏幕区域的扩展以供呈现应用程序窗口。
图6示出根据本发明的实施方案的方法的方法操作。所述方法以操作610开始，在操作610中，检测具有与用户账户相关联的识别符的一副眼镜。这副眼镜包括能够与计算装置无线通信的处理器无线连接性。计算装置能够选择多个图标并且执行在计算装置内本地获得或在云服务器上远程获得的多个应用程序。远程应用程序可使用应用程序接口通过网络诸如互联网检索，并且本地执行或可在云服务器处执行。
在操作620中，使视位与这副眼镜的相关联。视位通过确定当佩戴这副眼镜的用户朝向计算装置的主显示屏幕时用户的法向视角来计算。在一个实施方案中，可使用安装在眼镜上的相机或使用相对于监视器的主显示屏幕区域提供的一个或多个虚拟参考点、标记或指示符来执行视位初始化。一旦计算出法向视角，就可容易地基于头部相对于法向视角的位置来确定佩戴眼镜的用户的视角偏移。
在监视器的主显示屏幕区域上呈现内容，并且在这副眼镜中所限定的眼镜显示屏幕上呈现其他内容，如操作630所示。在眼镜显示屏幕上呈现的其他内容基于对这副眼镜的视位远离主显示屏幕的变化的检测来调整。在一个实施方案中，其他内容是从计算装置的主显示屏幕区域移到虚拟屏幕区域中的内容。当检测到这副眼镜的视位远离主显示屏幕的变化时，虚拟屏幕区域中的内容在眼镜显示屏幕中呈现。虚拟屏幕区域充当主显示屏幕的虚拟扩展，并且眼镜显示屏幕用于呈现移到虚拟屏幕区域的内容。
以上讨论的各种实施方案提供在一副眼镜中限定虚拟抬头显示器(HUD)以供展示应用程序窗口以便呈现图标和选择用于由计算装置执行的应用程序的内容的方法。应用程序可以是视频游戏、视频文件、文字文档或其他应用程序。辅助显示屏幕可充当私用屏幕，其可跟踪头部移动以使其成为虚拟浮动HUD。辅助显示屏幕实现计算装置的主显示屏幕中所限定的观看区域的扩展。
图7示出根据本发明的一个实施方案的可用于执行并呈现交互式应用程序的硬件和用户接口。图7示意性地示出根据本发明的实施方案的Playstation娱乐装置、即控制台的总体系统架构，所述控制台可以是兼容的、以用于使控制装置和手持式装置与在基础计算装置处执行的计算机程序对接。Playstation 3是用于执行并呈现交互式应用程序的娱乐装置的实例，并且其他娱乐装置也可用于执行并呈现交互式应用程序，包括较早和较新版本的娱乐装置诸如PS4、PS Vita等，其他娱乐装置诸如个人计算机、智能手机、平板等。提供了系统单元700以及可连接到系统单元700的各种外围装置。系统单元700包括：Cell处理器728；动态随机存取存储器(XDRAM)单元726；具有专用视频随机存取存储器(VRAM)单元732的真实合成器图形单元730；以及I/O桥接器734。系统单元700还包括可通过I/O桥接器734访问的用于从盘740a读取的BluDisk光盘读取器740以及可移动硬盘驱动器(HDD)736。任选地，系统单元700还包括类似地可通过I/O桥接器734访问的用于读取紧凑闪存存储器卡、Memory存储卡等的存储卡读取器738。
I/O桥接器734还连接到六个通用串行总线(USB)2.0端口724；千兆位以太网端口722；IEEE 802.11b/g无线网络(Wi-Fi)端口720；以及能够支持多达七个蓝牙连接的无线链路端口718。
在操作中，I/O桥接器734处置所有无线、USB以太网数据，包括来自一个或多个游戏控制器702-703的数据。例如当用户正在玩游戏时，I/O桥接器734经由蓝牙链路从游戏控制器702-703接收数据并且将数据引导到Cell处理器728，Cell处理器728相应地更新游戏的当前状态。
除游戏控制器702-703之外，无线、USB和以太网端口还为其他外围装置提供连接性，其他外围装置诸如：遥控器704；键盘706；鼠标708；便携式娱乐装置710，诸如SonyPlaystation娱乐装置；摄像机，诸如摄像机712；麦克风耳机714；以及麦克风715。这类外围装置因此在原则上可无线连接到系统单元700；例如便携式娱乐装置710可经由Wi-Fi连接通信，而麦克风耳机714可经由蓝牙链路进行通信。
提供这些接口意味着Playstation 3装置潜在地还可与其他外围装置兼容，其他外围装置诸如数字录像机(DVR)、机顶盒、数字相机、便携式媒体播放器、IP语音电话、移动电话、打印机和扫描仪。
此外，传统存储卡读取器716可经由USB端口724连接到系统单元，从而实现对或Playstation装置所使用种类的存储卡748的读取。
游戏控制器702-703可操作来经由蓝牙链路与系统单元700无线通信，或连接到USB端口，从而还提供给游戏控制器702-703的电池充电的电力。游戏控制器702-703还可包括存储器；处理器；存储卡读取器；永久存储器，诸如闪存存储器；光发射器，诸如照亮的球形部分、LED或红外灯；用于超声波通信的麦克风和相机扬声器；隔音箱；数字相机；内部时钟；面向游戏控制台的可辨识形状，诸如球形部分；以及使用协议诸如WiFiTM等的无线通信。
游戏控制器702是设计用于用双手使用的控制器，并且游戏控制器703是具有附件的单手控制器。除一个或多个模拟操纵杆和常规控制按钮之外，游戏控制器容许进行三维位置确定。因此，除了或替代常规按钮或操纵杆命令，游戏控制器的用户进行的姿势和移动可转换成对游戏的输入。任选地，其他无线使能外围装置诸如PlaystationTM便携式装置可用作控制器。在PlaystationTM便携式装置的情况下，装置的屏幕上可提供另外游戏或控制信息(例如，控制指令或生命数)。也可使用其他替代或补充控制装置，诸如跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)，或定制控制器诸如用于快速响应问答游戏的单个或若干大按钮(也未示出)。
遥控器704也可操作来经由蓝牙链路与系统单元700无线通信。遥控器704包括适用于Blu RayTM Disk BD-ROM读取器740的操作和磁盘内容导航的控件。
除常规预录和可录写CD以及所谓的超音频CD之外，Blu RayTM Disk BD-ROM读取器740可操作来读取与Playstation和PlayStation 2装置兼容的CD-ROM。除常规预录和可录写DVD之外，读取器740还可操作来读取与Playstation 2和PlayStation 3装置兼容的DVD-ROM。读取器740可进一步操作来读取与Playstation 3装置兼容的BD-ROM，以及常规预录和可录写蓝光光盘。
系统单元700可操作来通过到输出装置742(诸如监视器或电视机)的音频和视频连接器来供应由Playstation 3装置经由真实合成器图形单元730生成或解码的音频和视频，输出装置742具有显示器744和一个或多个扩音器746。音频连接器750可包括常规模拟和数字输出，而视频连接器752可不同地包括分量视频、超级视频、混合视频以及一个或多个高清晰度多媒体界面(HDMI)输出。因此，视频输出可呈诸如PAL或NTSC的格式，或具有720p、1080i或1080p高清晰度。
音频处理(生成、解码等)由Cell处理器728执行。Playstation 3装置的操作系统支持5.1环绕立体声、剧场环绕(DTS)以及从盘解码7.1环绕立体声。
在本实施方案中，摄像机712包括单个电荷耦合装置(CCD)、LED指示器以及基于硬件的实时数据压缩和编码设备，使得可以诸如基于帧内图像的MPEG(运动图像专家组)标准的适当格式传输压缩视频数据，以便由系统单元700解码。相机LED指示器被布置用于响应于来自系统单元700的适当控制数据照亮，以便例如预示不利照明条件。摄像机712的实施方案可经由USB、蓝牙或Wi-Fi通信端口不同地连接到系统单元700。摄像机的实施方案可包括一个或多个相关联的麦克风并且还能够传输音频数据。在摄像机的实施方案中，CCD可具有适用于高清晰度视频捕获的清晰度。在使用中，摄像机所捕获的图像可以例如结合到游戏中或被解释为游戏控制输入。在另一个实施方案中，相机是适用于检测红外线的红外相机。
一般地，为了经由系统单元700的通信端口之一成功获得与外围装置诸如摄像机或遥控器的数据通信，应提供适当的一段软件诸如装置驱动程序。装置驱动程序技术是熟知的并且这里将不再进行详细描述，只是要说技术人员将知道所述本实施方案中可能需要装置驱动程序或类似软件接口。
本发明的实施方案可用各种计算机系统配置来实践，包括手持式装置、微处理器系统、基于微处理器或可编程消费电子器件、小型计算机、大型计算机等。本发明还可以在其中由通过网络链接的远程处理装置执行任务的分布式计算环境中实践。
考虑到上述实施方案，应理解，本发明可采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理操纵的操作。形成本发明一部分的本文所述的任何操作是有用的机器操作。本发明还涉及一种用于执行这些操作的装置或设备。所述设备可针对所需用途、诸如专用计算机来专门构建。当被定义为专用计算机时，计算机在仍能够操作用于特殊用途的同时，还可执行不是特殊用途一部分的其他处理、程序执行或例程。可替代地，操作可由通用计算机处理，所述通用计算机由存储在计算机存储器、高速缓存中或通过网络获得的一个或多个计算机程序选择性激活或配置。当通过网络获得数据时，数据可由网络、例如计算资源的云上的其他计算机处理。
本发明的实施方案还可以被定义为将数据从一种状态变换成另一种状态的机器。转变的数据可保存到存储装置，然后由处理器操纵。处理器因此将数据从一种事物变换成另一种事物。更进一步，所述方法可由可通过网络连接的一个或多个机器或处理器处理。每个机器可将数据从一种状态或事物变换成另一种状态或事物，并且还可处理数据、将数据保存到存储装置、通过网络传输数据、显示结果或将结果传达到另一个机器。
本发明的一个或多个实施方案还可被构造为计算机可读介质上的计算机可读代码。计算机可读介质是可存储此后可由计算机系统读取的数据的任何数据存储装置。计算机可读介质的实例包括：硬盘驱动器、网络附加存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。计算机可读介质可包括分布在网络联接的计算机系统之上的计算机可读有形介质，使得以分布方式存储和执行计算机可读代码。
尽管按特定顺序描述了方法操作，但应理解，可在操作之间执行其他内务处理操作，或可调整操作以使得它们在稍微不同的时间出现，或操作可分布在允许处理操作以与处理相关联的各种时间间隔出现的系统中，只要按期望方式执行重叠操作的处理即可。
尽管已经出于清晰理解的目的相当详细地描述了上述发明，但显而易见，可在所附权利要求书的范围内实践某些改变和修改。因此，本发明实施方案应被视为是说明性而非限制性的，并且本发明不应限制于本文给出的细节，而是可在所附权利要求书的范围和等效物内进行修改。

Claims (33)

1.一种用于呈现内容的方法，包括：
检测具有主显示器的主计算装置附近的眼镜计算装置的存在，所述主计算装置的所述主显示器被配置来呈现内容，并且所述眼镜计算装置包括辅助显示器；
将所述眼镜计算装置链接到所述主计算装置；
相对于所述主显示器检测所述眼镜计算装置的视向；以及
在所述辅助显示器中呈现除在所述主显示器中呈现的所述内容之外的其他内容，所述辅助显示器是所述主显示器的扩展部分，用于观看在所述主显示器上呈现的所述内容之外的内容，其中所述其他内容的多或少导致所述辅助显示器动态扩大或收缩以适应所述其他内容的虚拟显示，所得辅助显示器是所述主显示器的虚拟扩展，以呈现所述内容和所述其他内容，
其中所述方法的操作由处理器执行。
2.如权利要求1所述的方法，还包括：
继续检测所述视向的变化，使得当前视向限定在所述辅助显示器中展示的所述呈现的其他内容的范围。
3.如权利要求1所述的方法，其中所述视向通过使用所述主计算装置的相机跟踪所述眼镜计算装置来更新。
4.如权利要求1所述的方法，其中所述眼镜计算装置被配置来佩戴在用户的头部上，其中所述视向通过使用所述主计算装置的相机进行头部跟踪来更新。
5.如权利要求1所述的方法，其中所述视向的变化将所述其他内容作为另外的虚拟显示来展示。
6.如权利要求5所述的方法，其中所得辅助显示器扩展以与所述主显示器形成圆形观看区域，以呈现所述内容和所述其他内容。
7.如权利要求5所述的方法，其中所述虚拟显示的多或少是基于所述视向所限定的视角偏移量来展示。
8.一种用于呈现内容的方法，包括：
检测具有与用户账户相关联的识别符的一副眼镜，所述一副眼镜具有用于实现与计算装置的无线通信的处理器并且具有眼镜显示屏幕；
同所述一副眼镜在朝向所述计算装置的主显示屏幕时的视位关联起来，所述一副眼镜的所述视位与相对于所述主显示屏幕限定的参考点相关联；
检测所述一副眼镜相对于所述参考点的视向；以及
基于所述检测的视向在所述眼镜显示屏幕上呈现其他内容，所述眼镜显示屏幕是所述主显示屏幕的虚拟扩展，其中所述其他内容的多或少导致所述眼镜显示屏幕动态扩大或收缩以适应所述其他内容的虚拟显示，所得眼镜显示屏幕是所述主显示屏幕的虚拟扩展，以呈现所述内容和所述其他内容，
其中所述方法的操作由处理器执行。
9.如权利要求8所述的方法，其中所述视向通过使用所述计算装置的相机跟踪所述一副眼镜相对于所述参考点的所述视位来检测。
10.如权利要求8所述的方法，还包括：
继续检测所述一副眼镜的所述视向的变化，所述视向的所述变化更新在所述眼镜显示屏幕中展示的所述其他内容的范围。
11.如权利要求8所述的方法，其中所述一副眼镜被配置来佩戴在所述用户的头部上，其中所述一副眼镜的所述视向通过使用所述计算装置的相机进行头部跟踪来确定。
12.如权利要求8所述的方法，其中将所检测的在所述眼镜显示屏幕上呈现的所述其他内容从所述主显示屏幕移出，所述其他内容的组织是依据从所述主显示屏幕移出的方向和顺序。
13.如权利要求8所述的方法，其中所述眼镜显示屏幕限定用于呈现从所述主显示屏幕移出的其他内容的私用屏幕区域，所述其他内容作为私用虚拟显示来维持。
14.如权利要求8所述的方法，还包括：
检测对其他内容的选择，所述检测导致所述选择的其他内容从所述眼镜显示屏幕移到所述主显示屏幕，以便允许在所述主显示屏幕处使用所述计算装置处所提供的控件与所述选择的其他内容交互。
15.一种用于扩展显示装置的观看区域以供显示内容的方法，包括：
使一副眼镜与计算装置同步，所述同步允许所述计算装置的主显示屏幕与所述一副眼镜中所限定的辅助显示屏幕配对，其中所述计算装置被配置来执行多个应用程序并选择多个图标以用于在所述计算装置的所述主显示屏幕上在相异窗口中呈现；
检测所述窗口中的一个或多个离开所述计算装置的所述主显示屏幕中的移动；以及
响应于所述移动，在所述一副眼镜的所述辅助显示屏幕上展示从所述计算装置的所述主显示屏幕中移出的所述窗口，其中所述窗口的多或少导致所述辅助显示屏幕动态扩大或收缩以适应所述窗口的显示，所得辅助显示屏幕是所述主显示屏幕的虚拟扩展，以呈现所述内容和所述窗口，
其中所述方法的操作由处理器执行。
16.如权利要求15所述的方法，其中所述计算装置被配置来在所述计算装置内本地执行所述应用程序。
17.如权利要求15所述的方法，其中所述计算装置被配置来在云系统内的云服务器上执行所述应用程序。
18.如权利要求15所述的方法，其中所述一副眼镜包括处理器和网络连接接口以可通信地连接到所述计算装置，其中所述一副眼镜的所述网络连接接口使用无线连接协议与所述计算装置交互。
19.如权利要求15所述的方法，其中所述同步允许使用所述计算装置的输入和输出装置与移进所述辅助显示屏幕中的所述窗口交互。
20.如权利要求15所述的方法，其中检测包括识别所述一个或多个窗口从所述主显示屏幕移出的方向和次序，所述方向和所述次序用于在所述辅助显示屏幕中组织所述窗口，所组织的所述窗口与布局识别符相关联。
21.如权利要求15所述的方法，其中对从所述显示屏幕中移出的所述窗口按从所述主显示屏幕移出的时间顺序或时间倒序在所述辅助显示屏幕中进行组织。
22.如权利要求15所述的方法，还包括：
接收对在所述辅助显示屏幕中呈现的窗口的选择，所述选择导致所述选择的窗口中止在所述辅助显示屏幕中的呈现并且开始在所述计算装置的所述主显示屏幕中的呈现。
23.如权利要求22所述的方法，其中所述选择是通过在所述辅助显示屏幕处提供的姿势来进行，所述姿势包括以下各项中的一项或多项：单击、双击、拖放姿势、语音命令、眼睛姿势、眼睛凝视检测和选择，或其中两项或更多项的组合。
24.如权利要求15所述的方法，还包括：
接收对在所述辅助显示屏幕中展示的窗口的选择，所述选择允许当继续在所述辅助显示屏幕上呈现的同时与在所述选择的窗口中呈现的所述应用程序交互。
25.如权利要求15所述的方法，其中所述辅助显示屏幕覆盖所述一副眼镜中的一个或两个镜片的一部分或整个区域。
26.一种用于呈现内容的方法，包括：
检测具有与用户账户相关联的识别符的一副眼镜，所述一副眼镜具有用于实现与计算装置的无线通信的处理器并且具有眼镜显示屏幕；
同所述一副眼镜在朝向所述计算装置的主显示屏幕时的视位关联起来，所述一副眼镜的所述视位与相对于所述主显示屏幕限定的参考点相关联；以及
在所述主显示屏幕上呈现内容并且在所述眼镜显示屏幕上呈现其他内容，一旦检测到所述一副眼镜的所述视位远离所述主显示屏幕的变化时就呈现所述眼镜显示屏幕上的所述其他内容，使得所述眼镜显示屏幕是所述主显示屏幕的虚拟扩展，
其中所述其他内容的多或少导致所述眼镜显示屏幕动态扩大或收缩以适应所述其他内容的虚拟显示，所得眼镜显示屏幕是所述主显示屏幕的虚拟扩展，以呈现所述内容和所述其他内容。
27.如权利要求26所述的方法，还包括：执行所述一副眼镜与所述计算装置的配对以实现对所述一副眼镜的检测。
28.如权利要求27所述的方法，其中所述配对允许使用所述计算装置的输入和输出装置来与在所述眼镜显示屏幕中呈现的所述内容交互。
29.如权利要求26所述的方法，其中所述参考点由针对所述计算装置的所述主显示屏幕限定的一个或多个虚拟位置标记限定，所述视位是使用所述虚拟位置标记的相对坐标来限定。
30.如权利要求26所述的方法，其中所述内容包括与图标有关的内容或应用程序的内容中的一种，所述内容在相异窗口中呈现。
31.如权利要求26所述的方法，其中在所述眼镜显示屏幕上呈现的所述其他内容是从所述主显示屏幕移出的内容。
32.如权利要求26所述的方法，其中对所述其他内容按从所述主显示屏幕移出的顺序和方向在所述眼镜显示屏幕上进行组织。
33.如权利要求30所述的方法，还包括：基于所述眼镜显示屏幕中的其他内容的量动态调整所述窗口和所述眼镜显示屏幕的呈现区域的尺寸。
CN201580003833.6A 2014-01-17 2015-01-13 使用第二屏幕作为私用跟踪抬头显示器 Active CN106133645B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/158,771 2014-01-17
US14/158,771 US10001645B2 (en) 2014-01-17 2014-01-17 Using a second screen as a private tracking heads-up display
PCT/US2015/011274 WO2015108887A1 (en) 2014-01-17 2015-01-13 Using a second screen as a private tracking heads-up display

Publications (2)

Publication Number Publication Date
CN106133645A CN106133645A (zh) 2016-11-16
CN106133645B true CN106133645B (zh) 2019-12-27

Family

ID=52444634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580003833.6A Active CN106133645B (zh) 2014-01-17 2015-01-13 使用第二屏幕作为私用跟踪抬头显示器

Country Status (9)

Country Link
US (1) US10001645B2 (zh)
EP (1) EP3095024B1 (zh)
JP (1) JP6526054B2 (zh)
CN (1) CN106133645B (zh)
BR (1) BR112016014304B1 (zh)
CA (1) CA2933749C (zh)
MX (1) MX360221B (zh)
RU (1) RU2661808C2 (zh)
WO (1) WO2015108887A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203873B2 (en) 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US10126942B2 (en) 2007-09-19 2018-11-13 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation
US20150331589A1 (en) * 2014-05-15 2015-11-19 Todd KAWAKITA Circular interface for navigating applications and an authentication mechanism on a wearable device
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US9858720B2 (en) * 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
JP2016126467A (ja) * 2014-12-26 2016-07-11 富士通株式会社 モード同期方法、モード同期プログラム、及び端末
JP6426525B2 (ja) * 2015-04-20 2018-11-21 ファナック株式会社 表示システム
WO2016195733A1 (en) * 2015-06-01 2016-12-08 Thomson Licensing Reactive animation for virtual reality
US10318225B2 (en) * 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
US10366243B2 (en) * 2016-02-04 2019-07-30 Airwatch, Llc Preventing restricted content from being presented to unauthorized individuals
US10909761B1 (en) 2016-07-07 2021-02-02 Google Llc 2D video with option for projected viewing in modeled 3D space
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
US20180046352A1 (en) * 2016-08-09 2018-02-15 Matthew Johnson Virtual cursor movement
US10877713B2 (en) * 2016-11-02 2020-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Controlling display of content using an external display device
JP6760008B2 (ja) * 2016-11-21 2020-09-23 富士通株式会社 コンテンツ制御装置、コンテンツ制御プログラムおよびコンテンツ制御方法
US20180180883A1 (en) * 2016-12-23 2018-06-28 Raja Singh Tuli Augmented reality eyewear
US10726595B2 (en) * 2016-12-30 2020-07-28 Facebook, Inc. Systems and methods to transition between media content items
CN107168513A (zh) * 2017-03-22 2017-09-15 联想(北京)有限公司 信息处理方法及电子设备
WO2018175053A1 (en) * 2017-03-23 2018-09-27 Thomson Licensing Method and apparatus for providing immersive reality content
US10688396B2 (en) * 2017-04-28 2020-06-23 Sony Interactive Entertainment Inc. Second screen virtual window into VR environment
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
WO2019013821A1 (en) * 2017-07-14 2019-01-17 Hewlett-Packard Development Company, L.P. PANEL FOR ATTENUATING LIGHT FOR AN ELECTRONIC EYEWEAR PRODUCT
GB201714572D0 (en) * 2017-09-11 2017-10-25 Bae Systems Plc Head-mounted display and control apparatus and method
WO2019048885A1 (en) 2017-09-11 2019-03-14 Bae Systems Plc VISIOCASQUE AND APPARATUS AND METHOD FOR CONTROLLING
WO2019102245A1 (en) * 2017-11-21 2019-05-31 Volvo Truck Corporation Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product
FR3074331A1 (fr) * 2017-11-28 2019-05-31 Orange Procede d'affichage en realite mixte d'au moins un objet virtuel, terminal et systeme associes
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US10695667B2 (en) * 2018-03-14 2020-06-30 Sony Interactive Entertainment LLC Pro gaming AR visor and method for parsing context specific HUD content from a video stream
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US11378805B2 (en) 2018-06-25 2022-07-05 Maxell, Ltd. Head-mounted display, head-mounted display linking system, and method for same
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
JP7252398B2 (ja) * 2018-07-04 2023-04-04 マクセル株式会社 仮想オブジェクト操作方法およびヘッドマウントディスプレイ
US10854169B2 (en) 2018-12-14 2020-12-01 Samsung Electronics Co., Ltd. Systems and methods for virtual displays in virtual, mixed, and augmented reality
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
CN109831662B (zh) * 2019-03-22 2021-10-08 芋头科技（杭州）有限公司 Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质
CN110069230A (zh) * 2019-04-24 2019-07-30 北京小米移动软件有限公司 扩展内容显示方法、装置及存储介质
US11907417B2 (en) * 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
US11662807B2 (en) 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
CN110851227B (zh) * 2019-11-13 2021-10-22 联想(北京)有限公司 一种显示控制方法及电子设备
CN111176520B (zh) * 2019-11-13 2021-07-16 联想(北京)有限公司 一种调整方法及装置
TWI704378B (zh) * 2019-11-21 2020-09-11 宏碁股份有限公司 頭戴式顯示裝置
CN116088182B (zh) * 2020-02-24 2024-04-26 Oppo广东移动通信有限公司 头戴式设备
US20210314768A1 (en) * 2020-04-01 2021-10-07 Google Llc Bluetooth multipoint algorithm and private notifications
TWI790430B (zh) * 2020-04-13 2023-01-21 宏碁股份有限公司 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法
CN113625866A (zh) * 2020-05-08 2021-11-09 宏碁股份有限公司 增强现实系统以及利用增强现实眼镜显示虚拟屏幕的方法
CN111708504A (zh) * 2020-06-16 2020-09-25 成都忆光年文化传播有限公司 一种扩展屏幕的显示方法
CN111612919A (zh) * 2020-06-19 2020-09-01 中国人民解放军国防科技大学 数字孪生飞行器的多学科分屏同步展示方法和系统
TWI750818B (zh) * 2020-09-24 2021-12-21 宏達國際電子股份有限公司 動態調整使用者界面方法、電子裝置及電腦可讀儲存媒體
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
KR20220069370A (ko) * 2020-11-20 2022-05-27 삼성전자주식회사 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
US11481960B2 (en) * 2020-12-30 2022-10-25 Meta Platforms Technologies, Llc Systems and methods for generating stabilized images of a real environment in artificial reality
CN114911398A (zh) * 2021-01-29 2022-08-16 伊姆西Ip控股有限责任公司 显示图形界面方法、电子设备和计算机程序产品
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
CN113220118B (zh) * 2021-04-20 2022-05-10 杭州灵伴科技有限公司 虚拟界面展示方法、头戴式显示设备和计算机可读介质
CN113342433A (zh) * 2021-05-08 2021-09-03 杭州灵伴科技有限公司 应用页面显示方法、头戴式显示设备和计算机可读介质
US20220407902A1 (en) * 2021-06-21 2022-12-22 Penumbra, Inc. Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
WO2023058819A1 (ko) * 2021-10-06 2023-04-13 한국과학기술원 가상 현실 공간에 대한 제어를 수행하는 전자 시스템, 전자 장치 및 그 동작 방법
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US20230165460A1 (en) * 2021-11-30 2023-06-01 Heru Inc. Visual field map expansion
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
US20230376161A1 (en) * 2022-05-19 2023-11-23 Microsoft Technology Licensing, Llc Mouse cursor and content migration between 3d space and physical flat displays
CN116932119B (zh) * 2023-09-15 2024-01-02 深圳市其域创新科技有限公司 虚拟屏幕显示方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1993688A (zh) * 2004-08-03 2007-07-04 西尔弗布鲁克研究有限公司 走近启动的打印
CN102893293A (zh) * 2010-03-12 2013-01-23 莎法·瓦拉 位置捕获输入设备、系统及其方法
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
CN103357177A (zh) * 2010-10-12 2013-10-23 索尼计算机娱乐公司 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140677A (en) * 1990-05-11 1992-08-18 International Business Machines Corporation Computer user interface with window title bar mini-icons
DE69434843T2 (de) * 1993-08-12 2007-02-15 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungssystem
JP3730670B2 (ja) * 1994-07-20 2006-01-05 富士通株式会社 データ処理装置
TW362207B (en) * 1997-05-08 1999-06-21 Shimadzu Corp Display system
JP2002182893A (ja) * 2000-12-14 2002-06-28 Matsushita Electric Ind Co Ltd マルチディスプレイシステム
US7852342B2 (en) * 2004-10-14 2010-12-14 Microsoft Corporation Remote client graphics rendering
EP1803058B1 (en) * 2004-10-19 2008-07-16 Sony Ericsson Mobile Communications AB Videoconferencing method, handheld wireless communicator, and videoconferencing computer program product
US20060119574A1 (en) * 2004-12-06 2006-06-08 Naturalpoint, Inc. Systems and methods for using a movable object to control a computer
JP2006277239A (ja) 2005-03-29 2006-10-12 Canon Inc 電子文書閲覧管理システム
US9015578B2 (en) * 2006-01-24 2015-04-21 Microsoft Technology Licensing, Llc Dynamic optimization of available display space
EP1847924A1 (en) * 2006-04-20 2007-10-24 International Business Machines Corporation Optimal display of multiple windows within a computer display
SE0601216L (sv) * 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
CN101354639A (zh) * 2007-07-25 2009-01-28 联想(北京)有限公司 在终端之间操作对象的方法及终端
JP2009093593A (ja) 2007-10-12 2009-04-30 Nikon Corp 通信システム，端末装置，サーバ装置およびユーザ認証方法
US8363098B2 (en) * 2008-09-16 2013-01-29 Plantronics, Inc. Infrared derived user presence and associated remote control
JP2010092086A (ja) * 2008-10-03 2010-04-22 Just Syst Corp ユーザ入力装置、デジタルカメラ、入力制御方法、および入力制御プログラム
US20100105479A1 (en) * 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
JP2012003123A (ja) * 2010-06-18 2012-01-05 Funai Electric Co Ltd ３次元映像表示装置
US20120075167A1 (en) * 2010-09-29 2012-03-29 Eastman Kodak Company Head-mounted display with wireless controller
US8830329B2 (en) * 2010-10-07 2014-09-09 Sony Computer Entertainment Inc. 3-D glasses with camera based head tracking
US9489439B2 (en) * 2011-02-28 2016-11-08 Red Hat, Inc. Generating portable interpolated data using object-based encoding of interpolation results
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP5691802B2 (ja) 2011-04-28 2015-04-01 コニカミノルタ株式会社 投影システム、投影装置、投影方法、および制御プログラム
US9547438B2 (en) * 2011-06-21 2017-01-17 Empire Technology Development Llc Gesture based user interface for augmented reality
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
RU2486608C2 (ru) * 2011-08-23 2013-06-27 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" Устройство для организации интерфейса с объектом виртуальной реальности
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
JP2013174642A (ja) 2012-02-23 2013-09-05 Toshiba Corp 映像表示装置
EP2639690B1 (en) * 2012-03-16 2017-05-24 Sony Corporation Display apparatus for displaying a moving object traversing a virtual display region
KR101195514B1 (ko) * 2012-03-22 2012-10-29 알서포트 주식회사 가상 키패드를 이용하는 모바일 단말의 원격 제어 방법 및 장치
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
KR101991133B1 (ko) 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
JP6123365B2 (ja) * 2013-03-11 2017-05-10 セイコーエプソン株式会社 画像表示システム及び頭部装着型表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1993688A (zh) * 2004-08-03 2007-07-04 西尔弗布鲁克研究有限公司 走近启动的打印
CN102893293A (zh) * 2010-03-12 2013-01-23 莎法·瓦拉 位置捕获输入设备、系统及其方法
CN103357177A (zh) * 2010-10-12 2013-10-23 索尼计算机娱乐公司 使用便携式游戏装置来记录或修改在主游戏系统上实时运行的游戏或应用
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络

Also Published As

Publication number Publication date
CA2933749C (en) 2018-12-04
BR112016014304A2 (pt) 2018-07-17
RU2661808C2 (ru) 2018-07-19
BR112016014304B1 (pt) 2022-07-12
MX2016009311A (es) 2016-10-07
EP3095024A1 (en) 2016-11-23
WO2015108887A8 (en) 2016-11-03
US20150205106A1 (en) 2015-07-23
CA2933749A1 (en) 2015-07-23
JP2017511943A (ja) 2017-04-27
CN106133645A (zh) 2016-11-16
WO2015108887A1 (en) 2015-07-23
JP6526054B2 (ja) 2019-06-05
EP3095024B1 (en) 2021-09-15
MX360221B (es) 2018-10-25
RU2016130682A (ru) 2018-02-22
US10001645B2 (en) 2018-06-19

Similar Documents

Publication Publication Date Title
CN106133645B (zh) 使用第二屏幕作为私用跟踪抬头显示器
EP3241088B1 (en) Methods and systems for user interaction within virtual or augmented reality scene using head mounted display
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
US10222981B2 (en) Holographic keyboard display
JP6158406B2 (ja) 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム
JP6002424B2 (ja) ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法
EP3396511A1 (en) Information processing device and operation reception method
US20190187876A1 (en) Three dimensional digital content editing in virtual reality
US20180005440A1 (en) Universal application programming interface for augmented reality
EP3600578B1 (en) Zoom apparatus and associated methods
US20210286503A1 (en) Method and apparatus for adding interactive objects to a virtual reality environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant