CN108139803A - 用于动态显示器配置的自动校准的方法及系统 - Google Patents

用于动态显示器配置的自动校准的方法及系统 Download PDF

Info

Publication number
CN108139803A
CN108139803A CN201680058637.3A CN201680058637A CN108139803A CN 108139803 A CN108139803 A CN 108139803A CN 201680058637 A CN201680058637 A CN 201680058637A CN 108139803 A CN108139803 A CN 108139803A
Authority
CN
China
Prior art keywords
display
hmd
image
further comprise
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680058637.3A
Other languages
English (en)
Other versions
CN108139803B (zh
Inventor
塔图·V·J·哈尔维艾宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Pcms Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pcms Holdings Inc filed Critical Pcms Holdings Inc
Priority to CN202110366934.7A priority Critical patent/CN113190111A/zh
Publication of CN108139803A publication Critical patent/CN108139803A/zh
Application granted granted Critical
Publication of CN108139803B publication Critical patent/CN108139803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems

Abstract

描述了用于执行以下操作的系统及方法：使用与头戴式增强现实(AR)头戴式显示器(HMD)相关联的前向摄像机捕获环境内第一及第二显示设备的部分的图像，该第一及第二显示设备显示有关AR展示的第一及第二部分内容；以及在所述AR HMD上显示与所述AR展示有关的第三部分内容，该第三部分基于使用所述前向摄像机所捕获的所述第一及第二显示设备的部分的图像而被确定。此外，所述第一及第二显示设备可为主动立体显示器，而所述AR HMD可同时用作快门眼镜。

Description

用于动态显示器配置的自动校准的方法及系统
相关申请的交叉引用
本申请要求2015年10月8日递交的题为“METHODS AND SYSTEMS OF AUTOMATICCALIBRATION FOR DYNAMIC DISPLAY CONFIGURATIONS”的美国临时申请No.62/239,143、2015年11月25日递交的题为“METHODS AND SYSTEMS FOR OPTIMIZING DISPLAY DEVICEOUTPUT USING A SECONDARY DISPLAY DEVICE”的美国临时申请No.62/260,069、以及2015年11月30日递交的题为“METHODS AND SYSTEMS FOR OPTIMIZING DISPLAY DEVICE OUTPUTUSING A SECONDARY DISPLAY DEVICE”的美国临时申请No.62/261,029的优先权。
技术领域
本申请主要涉及使用光可穿透增强现实(AR)头戴式显示器(HMD)与传统显示器的组合的沉浸式3D内容。
背景技术
目前针对虚拟现实(VR)及AR领域的兴趣及活动在不断增加。主要的工业巨头均在致力于有关面向消费者的AR/VR HMD设备的工作，同时好莱坞娱乐产业的各种利益相关者似乎也在积极开发围绕AR及VR内容的活动。如果消费者AR/VR出现腾飞，那将会对能够利用除了仅当前正在驱动发展的AR或VR HMD之外的较大量设备进行内容消费的方案产生巨大需求。
VR致力于创建的错觉之一在于用户可感受到其存在于合成的虚拟世界而非物理现实中。该错觉可通过将用户对现实世界的视听感知替换为计算机仿真所生成的合成图像及声音而被实现。为了实现令人信服的错觉，所述计算机仿真所生成的所述图像及声音应该具有与用户相一致的空间关系且会对用户动作而导致的视觉变化进行响应，从而用户可就如同他们探索实物理世界那样来探索所述虚拟世界。类似于VR，AR致力于生成错觉，在虚拟元素可附着至物理环境的情况下，创建有关用户周围物理现实的可替换版本。
在AR及VR HMD正为起居室内的浸入式体验做准备时，可以观察到消费者显示器的尺寸正在增长。用户希望在其起居室内具有更大的显示器。然而，尽管尺寸在不断增强，但当前的平面或微曲面显示器并不能全面地支持浸入式体验，诸如针对AR/VR HMD创建的浸入式体验。然而，随着显示技术的演进，在不久的将来，用户可能在其起居室内具有甚至更多的显示区域，显示器可变成非平面的并占用数面墙，和/或显示器可以是可变形的，从而可改变显示器的形状及配置以匹配正被消费的内容及使用上下文(context)。
由于光可穿透显示器的半透明属性及有限的视野，AR及VR HMD也并不适用于在其上显示全浸入式内容。显示器的透明性会导致虚拟内容在用户的显示世界视觉上作为重像(ghost image)出现，而在视野朝向视觉边缘急剧切换时，有限的视野会进一步扰乱所述错觉。
当前，数个制造商(包括诸如微软、索尼、爱普生等的主要工业巨头)正在向消费者市场推广光可穿透AR HMD。这些瞄向消费者市场的第一代设备具有一些缺陷，尤其是在有限视野、亮度及其产生的图片的透明度方面。然而，可以很现实地预见到，下一代设备将会弥补至少部分所述缺陷并利用处于舒适形式因子的良好图像质量提供高分辨率AR视觉化。
尽管AR HMD的未来改善是大概率事件，但使用光可穿透HMD重现传统显示器的分辨率及和颜色/亮度将会是非常困难的。此外，用于AR HMD的当前技术仅提供固定的人眼调节距离，而通过这样做，会出现另一待考虑的缺陷。
AR HMD还具有一些可使得他们在某些方面超越传统显示器的特性。AR HMD可使得用户能够在环境内自由移动而不损坏整体图像质量。进一步的，最新智能眼镜HMD可对用户移动进行跟踪并可创建有关环境几何体的估计，其转而可使得环境增强及与环境的丰富交互成为可能。此外，随着HMD显示器接近用户眼睛，用户可具有至该显示器的非常清晰的视线。
在变形(shape-changing)显示器领域，最相关的示例为可在曲面形状与平面形状之间进行调节的已量产的显示设备。此外，存在许多有关拼接显示技术的猜想。除了包含多种平面显示器或微曲面显示器的显示器之外，显示器制造商还长期致力于研究真正的柔性显示器，其量产方案正趋向成为现实。在学术研究界，已存在一些相关原型安装的示例。例如，以下文献以示例性方式描述了机器人显示器及小型拼接显示器：支持个人和团体活动的变形墙显示器(TAKASHIMA,Kazuki,et al.A Shape-Shifting Wall Display thatSupports Individual and Group Activities.2015)以及倾斜显示器：设计具有多轴倾斜和驱动的显示表面(ALEXANDER,Jason；LUCERO,Andrés；SUBRAMANIAN,Sriram.Tiltdisplays:designing display surfaces with multi-axis tilting and actuation(在第14届人机交互与移动设备和服务国际会议论文集中(Proceedings of the 14thinternational conference on Human-computer interaction with mobile devicesand services.ACM,2012.p.161-170)))。一些相关的设备及方法可从以下专利文献找到：美国专利号8988343；美国专利号8711091；以及美号专利申请公开号US20100321275 A1。然而，对于可允许在体验过程中动态调节的可变形或拼接显示系统而言，似乎鲜有其示例。
发明内容
在此的方法和系统描述了如下过程，该过程接收基于传感器的有关显示器信息及用户信息(例如，用户位置、用户眼睛位置)的数据作为输入，并基于所接收的输入修改当前活动的应用程序所产生的图形输出流，从而对该图形输出进行调节以匹配当前显示器配置及使用上下文。有关该过程的组件的总体视图如图2所示。
所描述的实施例可自动调节应用程序的渲染输出以匹配可被动态改变的显示器配置，例如可在应用程序运行时间执行期间改变显示器的形状、显示器的朝向、两个或多个显示器的相对位置等等。
一些实施例基于分析来自观察用户及显示器配置的传感器的传感器数据。匹配所述显示器配置所需的渲染变化可被注入所截获的所述应用程序所产生的图形API调用。目的是为了实现未修改的应用程序的高浸入式渲染，同时考虑观看的内容及上下文以改善结果。
在一些实施例中，显示器设置(display setup)被装备有被配置为检测当前显示器布局配置的传感器(一个或多个)。除了显示器配置传感器之外，还可以利用能够实现显示器前方用户检测的传感器观察所述显示器配置周围的区域。实施例在此描述了如下过程，其中可截获未经修改的应用程序所产生的图形API调用，基于显示器配置信息及头部跟踪计算视图转换，并在之后将所述视图转换注入经由显示驱动器发送至显示器的所述图形API调用。该方法可实现未经修改的应用程序的浸入式渲染以及显示器配置的动态变化(即便是在应用程序运行时间期间)。在以下描述的方法中，显示器配置内的变化可被一直监视且输出参数可被调节以考虑应用程序运行时间期间所检测的所述配置的变化，而无需用户参与。
由于所述过程，用户将被提供适应于当前显示器配置的当前活动应用程序的浸入式渲染。例如，在具有多个显示器的设置上播放3D第一人视角射击游戏的用户可在游戏播放期间调节屏幕在其周围的布置方式。在显示器的朝向改变时，用户将经历游戏播放的正确浸入式渲染，便如同其正在通过多个显示器的组合观看游戏世界一样。类似的，对于柔性显示器而言，用户可在应用程序运行时间期间仅仅通过将柔性显示器移至一拐角(corner)，将显示器的形状从一墙壁上的平面形状改为更具浸入感的形状，从而其可在墙壁之间逐步弯曲90度的情况下从一墙壁延伸至另一墙壁。
在根据一些实例的方法中，所实现的质量及浸入式体验会优于通过单独的光可透射AR HMD或传统显示器所能够实现的效果。在一些实施例中，可使用辅助显示设备来填充在于主设备或主设备集合上进行渲染时所存在的间隙。例如，在空间内存在多个大型显示器可用的情况下，可使用AR HMD来桥接这些显示器之间的任意光学间隙。在AR HMD为针对内容的主显示设备的其他情况下，可使用传统显示器来对落入到所述AR HMD的有限视场之外的区域进行填充。例如，所述主设备(一个或多个)可为被判定为或被选择为最适于显示所述内容或部分所述内容的一个或多个设备。
在此描述的一些实施例可利用基于组合方法的方法，该方法可选择性地将内容划分至不同显示器上，同时还能够基于头部跟踪实现浸入式渲染。此外，该方法可一直监视输出并对由位于显示器与观看者之间的物理对象所导致的不需要的遮挡及阴影进行校正。在存在多种显示设备可用的情况下，可使用其中的一者或多者进行组合以对在AR HMD设备上进行渲染时所存在的间隙进行填充。例如，在空间内存在多个大型显示器可用的情况下，可使用AR HMD来桥接这些显示设备之间的光学间隙。在AR HMD为针对内容的主显示设备的其他情况下，传统显示器可对落入到所述AR HMD的有限视场之外的区域进行填充。
附图说明
通过以下结合附图以示例性方式给出的描述，可得到更为详细的理解。
图1A绘示了可在其内实施一个或多个所公开的实施例的示例性通信系统。
图1B绘示了可用于图1A的通信系统的示例性客户端设备。
图2绘示了根据至少一实施例的可用于系统内的组件的整体视图。
图3绘示了根据至少一实施例的过程的流程图。
图4绘示了根据至少一实施例的过程的流程图。
图5A及5B绘示了根据至少一实施例的两个平面显示器的示例性配置。
图6A、6B及6C绘示了根据至少一实施例的针对两个平面显示器进行投影的各种计算。
图7A及7B绘示了根据至少一实施例的柔性显示器的示例性配置。
图8绘示了根据至少一实施例的柔性显示器投影的示例性计算。
图9绘示了根据一些实施例的用户处于包括2个外部显示设备的浸入式环境内。
图10绘示了根据一些实施例的阴影校正示例。
图11绘示了根据一些实施例的遮挡校正示例。
图12绘示了根据一些实施例的根据眼睛适应距离分配虚拟元素的示例。
图13绘示了根据一些实施例的在浸入式环境内的用户的示例。
图14绘示了根据一些实施例的检测假影的示例。
图15绘示了根据一些实施例的修补所检测的假影的示例。
图16绘示了根据一些实施例的AR HMD在显示器外侧渲染内容的示例。
图17绘示了根据一些实施例的渲染被选中为将被显示在AR HMD上的虚拟元素的示例。
图18绘示了根据一些实施例的利用AR HMD作为快门眼镜的实施例。
图19为根据一些实施例的过程的流程图。
具体实施方式
现将参考各种附图提供说明性实施例的详细描述。虽然该描述提供了可能实施的详细示例，但应该注意的是，所提供的细节仅是出于示例性的目的而非用于限制本申请的范围。与浸入式增强现实有关的系统及方法可用于参考图1A及1B所述的有线及无线通信系统。首先，将对所述有线及无线系统进行描述。
图1A是可在其内实施一个或多个所公开的实施例的例示通信系统100的图示。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100通过共享包括有线及无线带宽在内的系统资源来允许多个有线及无线用户访问此类内容。作为示例，所述通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等等。所述通信系统100还可使用一个或多个有线通信标准(例如，以太网、DSL、同轴电缆上的射频(RF)、光纤技术等)。
如图1A所示，通信系统100可以包括客户端设备102a、102b、102c、102d和/或102e、个域网(PAN)106、以及通信链路114/115/116/117/118，但是应该了解，所公开的实施例设想了任意数量的客户端设备、基站、网络和/或网络部件。每一个所述客户端设备102a、102b、102c、102d、102e可以是被配置成在有线或无线环境中工作和/或通信的任何类型的设备。例如，客户端设备102a被绘示为平板电脑/触摸屏智能电话，客户端设备102b被绘示为扬声器，客户端设备102c被绘示为发光设备，客户端设备102d被绘示为电视机，以及客户端设备102e被绘示为HMD(在一些实施例中为AR或VR)。
通信系统100内的所述客户端设备102a、102b、102c、102d、102e中的一些或全部包括多模式能力，即客户端设备102a、102b、102c、102d及102e包括用于在不同通信链路上与不同有线或无线网络进行通信的多个收发信机。
在一些实施例中，客户端设备102a、102b、102c、102d及102e可使用本地通信协议经由PAN 106相互进行通信。例如，客户端设备可使用蓝牙、Wi-Fi、无线LAN(WLAN)或其他形式的无线本地通信协议进行通信。
图1B绘示了可用于图1A的通信系统内的示例性客户端设备。具体而言，图1B为示例性客户端设备102的系统图。如图1B所示，客户端设备102可包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是，客户端设备102可代表客户端设备102a、102b、102c、102d及102e中的任意客户端设备，且可在保持与实施例相一致的同时，包括上述部件的任意子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)、状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理和/或其他任何能使客户端设备102在有线或无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成独立组件，但是应该了解，处理器118和收发信机120可以集成在一个电子组件或芯片中。
发射/接收部件122可以被配置成经由通信链路114/115/116/117/118发射或接收去往或来自PAN 106的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。在另一个实施例中，作为示例，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可以被配置成发射和接收RF和光信号。在再一实施例中，所述发射/接收部件可为有线通信端口，诸如以太网端口。应该了解的是，发射/接收部件122可以被配置成发射和/或接收有线或无线信号的任何组合。
此外，虽然在图1B中将发射/接收部件122描述成单个部件，但是客户端设备102可以包括任何数量的发射/接收部件122。更具体地说，客户端设备102可以使用MIMO技术。因此，在一个实施例中，WTRU 102可以包括两个或多个经由通信链路114/115/116/117/118来发射和接收无线信号的发射/接收部件122(例如多个天线)。
收发信机120可以被配置成对发射/接收部件122将要发射的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，客户端设备102可以具有多模能力。因此，收发信机120可以包括允许客户端设备102借助诸如UTRA和IEEE 802.11之类的多种RAT来进行通信的多个收发信机。
客户端设备102的处理器118可以耦合至扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从任何适当的存储器(例如不可移除存储器130和/或可移除存储器132)中存取信息，以及将信息存入这些存储器。所述不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于客户端设备102的存储器访问信息，以及将数据存入这些存储器，其中举例来说，所述存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可以被配置分发和/或控制用于客户端设备102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当的设备。举例来说，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池、燃料电池、壁装电源插座等等。
处理器118还可以与GPS芯片组136耦合，该GPS芯片组136可以被配置成提供与客户端设备102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以通过通信链路114/115/116/117/118接收的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持与实施例相一致的同时，客户端设备102可以借助任何适当的定位方法来获取位置信息。根据一实施例，所述客户端设备102可不包括GPS芯片组且可不需要位置信息。
处理器118还可以耦合到其他周边设备138，这其中可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
人们家中当前所具备的显示器，尽管其尺寸不断增大，但依旧不能提供真正的浸入式体验。当前，VR HMD最为严重的限制为有限的分辨率及与头部跟踪及相关联的晕动病有关的问题。然而，这些问题会随着下一代VR HMD得到改善。有关VR HMD的另一问题是他们给用户带来的完全视觉隔离。该隔离在空间上及社交上严格限制了体验。
目前已在许多研究机构建造并使用了包含数个显示墙的VR设定(其被称之为的VR洞穴(VR-Cave))。此类似于洞穴的安装可使得对VR环境的自然探索成为了可能，但这是以高空间及器件需求及成本为代价的。然而，这些洞穴系统可允许对虚拟内容、强浸入以及甚至对多个并存用户的有限支持进行直觉式探索。
如果用户可具有依赖于内容及上下文而改变形状及行为以支持3D模式内的浸入式虚拟体验的能力，那么这将是非常有利的，在所述3D模式内，显示器会类似于VR洞穴那样而围绕用户。而对于传统内容(例如，电影)而言，该显示器可提供最大尺寸的平面或微曲面屏幕。
为了改善该可变形显示器的可用性，产生至显示器的输出的系统能够自动检测显示器配置内的变化并相应调节输出特性。操作系统所支持的当前图形输出配置一般支持静态显示器配置，其中配置过程可作为单独的步骤而被执行。显示器表面可仅被认为是2D平面，且其位置及朝向是由用户人工定义的。
此类动态显示器行为要求在如何在操作系统及软件应用程序层对显示器及输出进行管理的布置方面做出改变。本公开提供了一种用于在应用程序执行期间实时管理动态改变的显示器配置的方案。
用于动态显示器配置的自动校准
在此所描述的实施例可使得包含多个显示块的显示器设置能够发挥充分的作用，或者可在运行期间自动地或手动地改变显示器的配置及形状。这使得更加多样化的内容显示成为可能，且可在内容观看及使用上下文方面提供改善的用户体验。
图2绘示了用于系统的组件的整体视图，该系统被配置为接收基于传感器的有关显示器配置及用户位置的数据作为输入，并基于所接收的输入对当前活动的应用程序产生的图形输出流进行修改，从而调整图形输出以匹配当前显示器配置及使用上下文。如图2所示，图2绘示了用户跟踪传感器202、显示器204a及204b、显示器配置传感器206、图形处理单元(GPU)208、图形驱动器210、动态显示器配置管理器模块212以及应用程序模块214。
显示器204a及204b可为电视屏幕、计算机显示器、智能手机/平板屏幕、LCD显示器、LED显示器、或本领域技术人员已知的任意其他类公共显示模块。在一些实施例中，至少一显示器可为平板。在一些实施例中，至少一显示器为曲面显示器。在一些实施例中，至少一显示器可为柔性显示器。
用户传感器跟踪传感器202可为摄像机、具有深度传感器(RGB-D)的摄像机、或者任意类型的可观察显示器周围的区域并可提供可被分析以检测并跟踪用户并分析用户眼睛的大致位置的数据的传感器。当检测到多个用户正在观看显示器时，用户检测及跟踪模块可被命令以使用一些启发式方法来确定主用户，或寻找最佳平均眼睛位置(该位置产生所有用户均可接受的观看位置)，而不是用户眼睛位置使用一些静态的预定义默认眼睛位置。
显示器配置传感器可为与显示器结构嵌到一起的简单传感器，其可测量显示部件之间的连结角度，或者其可以是能够通过从机械结构外侧观察所述设置而检测所述显示器的相对朝向及位置的光学、声音、磁性传感器。
在一些实施方式中，管理动态显示器配置的过程可被实施为软件模块。该软件模块能够作为驱动器而被安装为操作系统的一部分，或者其可被整合作为图形驱动器的附加特征，或其可与产生图形输出的实际应用程序整合到一起。在图2的相关组件的整体视图中，实施以下所述过程的软件模块动态显示器配置管理器212被示为操作系统层内的单独的驱动器模块。
来自这些传感器的数据被馈入动态显示器配置管理器模块212，其可实施具有以下步骤的过程：
1.接收来自监视所述显示器配置的传感器的传感器数据。
2.识别当前显示器配置。
3.接收有关区域内用户的传感器数据。
4.检测用户数量及主用户眼睛位置；
5.利用当前显示器配置，对将被用于正确渲染内容给所述用户的3D投影及转换进行求解。
6.将投影及转换注入所捕获的由当前运行的应用程序所产生的图形调用流。
以下将给出所述过程的更为详细的解释。
在一些实施例中，所述过程的任务为分别从观察用户及显示器配置的传感器202及206获取数据，并对进行渲染的应用程序214进行修改以匹配显示器配置(以及在需要时，匹配用户眼睛位置)。图3大略示出了该过程。基于传感器数据，显示器配置管理器212可识别当前显示器配置的形状及布局，例如显示器形状、位置及朝向。用户传感器202可向显示器配置管理器提供有关观看所述显示器的用户数量及用户眼睛位置的信息。
图4详细示出了由动态显示器配置管理器212执行的连续过程的步骤的一实施例。该过程的第一步骤为捕获并分析传感器数据。该过程可跟踪有关显示器形状、位置及朝向、以及观看所述显示器的用户及用户眼睛位置的信息。在知晓各个显示器部件之间的相对位置即可的情况下，使用角度检测传感器(例如，电子电位计)便足够了。在各个显示屏幕可以以更多的自由度进行移动的情况下，可使用其他跟踪方法，诸如声音或磁跟踪。
当使用摄像机或深度传感器(RGB-D)来观察显示器配置时，可使用基于计算机视觉的方法来检测每一单独的显示器部件的形状、位置或朝向的改变。由于发送至显示器的视觉数据是已知的，因此可利用任意图像检测及跟踪方法(例如，在针对AR所给出的无标记跟踪方案内所使用的图像检测及跟踪方法)仅从RGB数据便可检测数显示器的位置及朝向。还可通过使用例如SALZMANN,Mathieu；HARTLEY,Richard；FUA,Pascal.Convexoptimization for deformable surface 3-d tracking(在计算机视觉，2007.ICCV2007.IEEE第11届国际会议，IEEE，2007.，第1-8页(Computer Vision,2007.ICCV2007.IEEE 11th International Conference on.IEEE,2007.p.1-8)中)(以下称之为“Salzmann et al.”)。提出的凸面优化方法或者类似方法从RGB数据检测处显示器的形状改变。在存在RGB-D数据的情况下，与该数据一起被包括的深度分量可结合RGB数据而被使用以进一步微调所述形状、位置及朝向检测。
除了接收有关显示器配置及用户位置的传感器数据之外，所述过程还截获由当前活动应用程序所产生的所有图形API调用。图形API调用截获可通过使得图形调用处理路由经过所述模块而被完成，例如通过将默认图形驱动器共享对象替换为该模块并将该模块的输出进行插接以成为所述默认图形驱动器共享对象的输入。图形API调用截获可按照类似于例如由NVidia 3D Vision以及NVidia 3DTV Play模块所使用的原则来运行。这些NVidia模块可捕获未经修改的应用程序所产生的所有图形API调用、对图形API调用进行缓存，并将修改后的投影及模型视图矩阵注入所述调用内以进行立体渲染。立体渲染包括场景被渲染两次，针对每一眼睛一次，且具有稍微不同的与用户的近似瞳孔间距离相匹配的偏移的视点。
除了能够截获并修改应用程序所产生的图形API调用，动态显示器配置管理器212还能够检查图形API调用以识别正被显示的内容的类型。可使用该内容类型来决定应该如何对渲染进行修改以最佳地适应显示器配置及使用上下文。例如，可将3D内容转换为考虑了用户眼镜位置的浸入式渲染，而对于视频内容而言，仅仅是针对每一显示器进行正确裁剪以及对视频的裁剪区域进行转换从而产生无缝组合显示区域便可能已经足够了。
观看参数计算器可计算出针对每一不同眼睛位置而将3D内容渲染至每一显示器所使用的正确的视口设置(viewport setting)、投影及模型视图转换。以下给出了在存在两个非平面显示器以及单个柔性显示器的简单情况下计算投影及模型视图转换的示例。相同的方法可被扩展以计算针对任意数量的具有任意朝向及形状的显示器的参数。
作为所述过程的最后一个步骤，视图渲染器可针对每一显示器单独渲染整个内容，以及在立体渲染的情况下，可针对每一个别显示器渲染两次。在渲染时，视图渲染器可发送依赖于视图的视口设置及图形API调用，且正确的投影及模型视图会被注入图形驱动器。之后，图形驱动器210可将这些命令转发至图形处理单元(GPU)208，该GPU 208可将图形输出至显示器204a及204b。在显示器具有非平面表面的情况下，所述渲染步骤可能会需要渲染所述场景两次，第一次可利用覆盖显示器所覆盖的整个区域的标准透视投影而将整个场景渲染至渲染器缓存。之后，可对渲染器缓存内被渲染的图像数据进行扭曲以校正显示器几何变形，且扭曲后的图像会被发送至所述显示器。
两个平面显示器
在一个实施例中，用户可观看由两个显示器构成的显示器配置。该两个显示器之间的角度可被动态调整，且该显示器之间的连接处可增设一传感器，该传感器可将角度读数发送至动态显示器配置管理器212。图5A示出了该开始情形，其中用户正在观看来自被配置为平面模式的显示器的2D图形。
图6A示出了当屏幕被平行排列时由动态显示器配置管理器针对两个显示器单视场渲染所计算的投影。用户可启动一产生虚拟世界的3D渲染的应用程序。所述动态显示器配置管理器通过检查所述应用所产生的图形API调用来识别3D渲染模式内的变化并切换至浸入式输出模式。
在浸入式渲染模式中，所述动态显示器配置管理器可针对用户的两个眼睛计算投影，如图6B所示。可基于用户传感器数据来估计眼睛位置，并可将所需的视点转换及投影注入至所捕获的由所述应用程序产生的图形API调用。
图5B示出了用户正在观看改变显示器之间的角度之后的显示器配置。该新的配置类似于VR洞穴显示，其中用户被显示墙所包围。在此情况下，用于正确地渲染两个显示视图的视点转换是不同的。图6C示出了非平面配置所使用的投影。
柔性显示器
在一些实施例中，可针对由具有非平面显示表面的显示器、或可改变形状的显示表面的显示器(例如，从平面改为曲面或非均匀形状的显示表面，这可通过柔性显示器来实现)所构成的配置，对输出进行校准。在示例性实施例中，用户正在观看柔性显示器，该柔性显示器首先作为平面表面被放置在墙上，如图7A所示。在此情况下，用于3D渲染的投影与之前图6A的示例中所看到的平面显示器是一样的。在此情况下进行渲染不需要额外的步骤，且可通过基于显示器朝向及位置以及接收自头部跟踪的用户头部或眼睛位置来计算投影及转换矩阵修改而被执行。
在应用程序运行期间，用户可通过将显示器弯曲至某角度而改变显示器形状。因用户动作所导致的变形之后的显示器形状如图7B所示。仅仅通过修改模型视图及投影矩阵，可能无法执行在因显示器弯曲所导致的变形后的显示器形状上的正确的浸入式渲染。相反，所述渲染需要使用额外的几何校正以补偿因为非平面显示器平面所导致的图像扭曲。
可通过首先检测显示器的新的形状而实现几何校正。在RGB-D传感器可用于配置检测的情况下，可利用光学匹配作为辅助，通过深度重构来检测显示器形状，或者在仅具有RGB数据可用的情况下，使用在此所述的技术(例如，Salzmann等所给出的技术)来检测显示器形状。显示器设置的光学检测仅仅是可用的选项。在一些实施例中，显示器配置传感器可以是与显示器结构嵌在一起的简单传感器，其可测量显示器部件之间的连结角度，或者其可以是能够通过从机械构造外侧观察所述设置而检测显示器的相对形状、朝向及位置的光学、声音、磁性等传感器。
在确定变形后的显示器形状、位置及朝向时，可计算被渲染的区域以覆盖显示器整个区域。图8示出了覆盖整个显示器区域的投影在视觉化之后从上往下看是怎样的。对于非平面显示器表面而言，可通过两个步骤来执行浸入式3D渲染。在第一渲染途径中，可使用所计算的投影来正常渲染场景。该第一渲染途径所针对的是将图像渲染至渲染缓存内。在第二渲染途径中，可使用变形几何体来定义像素从第一渲染途径所产生的图像平面坐标至变形后显示器屏幕坐标的扭曲。该步骤可被认为是通过从用户的视点将渲染缓存像素投影至变形几何体而对变形几何体进行纹理化，之后将该纹理化的变形几何体拉伸回平面图像，之后该图像被发送给所述显示器。在所述显示器上显示扭曲后的图像的结果则是用户可以从其视点看到虚拟环境的正确非扭曲视图。
附加实施例
对上述实施例进行数种可能的变形以用于稍微不同的用例也是可行的。以下将简要描述这些变形。
第一种可能的变形则是其内未包含用户跟踪的设置。这种在一定程度上更为受限的方法可为单一的预定义视点提供正确的内容渲染，从而用于动态显示器配置。在应用程序处理产生真正的浸入式渲染所需的头部跟踪的情况下中、或者在不需要真正的浸入式渲染的情况下(诸如，仅将显示器用于视频内容，如将可被扩展的360度视频输出至具有覆盖大视场但并不支持基于头部跟踪来改变视点的显示器的显示器配置)，该方法可能足够的。
除了仅调整渲染以适应显示器配置之外，另一实施例可对特征进行整合以主动改变显示器配置。在此情况下，示例性过程包括附加模块，该模块能够基于内容类型、用户数量及用户位置识别主显示器配置，并在之后命令显示器改变配置至所检测的理想位置。在一些实施例中，这利用了将被使用的机动化显示器设备以及针对该过程的能够与显示器设置进行通信的接口，可使用该接口来命令显示器配置根据期望来改变形状。
除了显示器配置仅改变形状的实施例之外，在此描述的过程还可用于显示器在环境内动态出现和不出现的情形。例如，在使用2016年8月17日递交的题为“利用动态输出映射增强增强现实体验的系统和方法(Systems and Methods for Enhancing AugmentedReality Experience with Dynamic Output Mapping)”国际专利申请PCT/US16/47370(以下称之为[Harviainen])内所描述的动态输出映射时，可在运行期间从环境找到显示器并之后将其提供给用户以进行输出。在此情况下，可配置显示器配置传感器以应对在运行期间变得可用/不可用的显示器，且能够检测他们的形状、位置及朝向。在一些实施例中，这可通过如[Harviainen]内所描述的显示器视觉跟踪来处理。如果能够针对每一渲染步骤检测显示器的位置，可将一些进一步的实施例扩展至用于具有动态位置的显示器，诸如头戴式AR显示器。这可使用例如基于惯性测量单元(IMU)或视觉的跟踪，其可检测用户在看哪里，例如，AR屏幕位于哪里，且该跟踪信息可与所述过程相结合，从而可结合其他显示器在ARHMD上显示正确部分的内容。
如上所述，可将模块212实施为操作系统层单独的模块或者集成为图形驱动器上的特征。在这两个实施例中，该模块可作为组件来运行，该组件可在不需要应用程序知晓所述过程的情况下改变所述应用程序所产生的输出，或者可由其自身提供应用程序所需的信息以产生正确的渲染。上述已在应用程序214不知晓动态显示器渲染的模式中对所述过程进行了描述。然而，在一些实施例中，模块212可能会与应用程序进行协作，从而应用程序214可知晓动态显示器配置管理器并可控制所述渲染。当需要浸入式渲染时，应用程序214可请求当前显示器配置及相关联的渲染设置，并在之后通过选择如何应用该信息来控制所述渲染，并将图形API调动直接流至默认图形驱动器。通过这种方式，应用程序214可对所述渲染具有更多的控制，从而可例如依赖于当前正使用哪一类显示器配置而选择UI元素的最佳渲染方式。
在显示器组合上输出浸入式内容
通过结合传统显示器技术(例如，显示屏幕及投影仪)使用AR HMD，可使得输出浸入式实时3D图形的新方式成为可能。在使用该新发明的方法时，一些实施例可整合添加至一般3D图形输出的任意以下特征。在一些实施例中，头部跟踪可使得利用运动视差而在传统显示器进行浸入式渲染成为可能。在一些实施例中，可整合立体观看。在耦合到可阻挡(block)观看的AR HMD时，具有足够高的帧率的显示器可使用主动立体(active stereo)模式，其除了用作显示设备之外，还可用作主动快门眼镜。在一些实施例中，通过将传统显示器外侧的区域渲染到AR HMD显示器上，可对传统显示器进行扩展。在一些实施例中，可检测由观看者或由对象所投射的阴影(例如，在使用前方投影显示器时)，且可在AR HMD的显示器上显示相应的内容(例如，由所述阴影阻挡或遮挡(occlude)的内容)。在一些实施例中，可检测观看者与显示器之间的对象所导致的对象遮挡，且可在AR HMD的显示器上显示相应内容(例如，由中间对象阻挡或扭曲的内容)。在一些实施例中，通过对内容进行划分(即，可在接近正确人眼适应距离的显示器上显示虚拟元素)，AR HMD可提供对于自然人眼适应的较佳匹配。
将AR HMD的优点与传统显示器的优点进行合并不仅仅能够改善观看体验，还可使得全新的利用传统显示器来消费浸入式内容的方式成为可能。
根据至少一实施例，一方法可将多种方法进行组合，其可对利用光可穿透AR HMD与传统显示设备的组合所能创建的浸入进行最大化。在一些实施例中，所述方法可执行包含以下步骤的过程:
作为预处理步骤，所述方法可执行以下步骤：
1.利用流协议连接至环境内可用的外部显示设备。
2.针对每一显示器创建渲染缓存，并选择是否使用立体模式以及使用何种立体模式。当使用立体渲染时，针对每一显示器创建两个渲染缓存(一个缓存对应于一个眼睛)。当环境内的显示器支持主动立体模式时，可使用AR HMD来阻挡观看(例如，用作快门眼镜)，对每一眼睛在AR HMD上所观看到的视图的渲染/阻挡与环境显示器进行同步。
对于每一渲染步骤，所述方法可执行以下步骤：
1.将内容划分为在AR HMD上或所连接的外部显示器上显示的部分。
2.跟踪用户的头部位置，并计算用于从用户视点的角度将虚拟环境渲染到所述环境内的外部显示设备上的附加模型视图、投影及视口转换。
3.对将被显示到所述环境内的每一外部显示器上的图像进行渲染，并将所述图像流至所述显示器。对外部显示器与所述AR HMD之间出现重叠的图像区域进行掩蔽(mask)。该掩蔽可最小化从所述外部显示器溢出至所述AR HMD显示器的颜色。
4.利用AR HMD摄像机检测外部显示器上显示的图像，以检测由对象遮挡所导致的假影(artifact)，并将由于遮挡而丢失的部分或者具有假影的部分渲染到AR HMD上。
5.将位于外部显示器表面区域外侧的区域渲染到AR HMD上。
6.将被选择为将被显示的元素渲染到AR HMD上。
7.在主动立体模式的情况下，通过使用另一只眼睛的转换，重复所述过程，并切换正利用AR HMD而被阻挡的眼睛。
在一些实施例中，AR HMD可连接至环境内的输出显示设备。所述AR HMD设备可通过使用各种可用的技术而连接至环境内存在的输出显示设备。在一些实施例中，AR HMD可自动轮询环境内的输出显示设备，并连接至所检测到的任意输出显示设备。在一些实施例中，可向用户展示可用输出显示设备列表，且用户可选择一个或多个输出显示设备以进行连接。输出显示设备与AR HMD之间的实际连接可通过使用任意连接协议而被形成，诸如蓝牙、苹果的无线播放(Airplay)、无线投影(Miracast)、电视棒(Chromecast)、或可在外部显示设备上无线显示内容的任意其他已知方法。
在一些实施例中，所述AR HMD可使用传感器来构建环境及输出设备的虚拟模型。所述AR HMD可轮询可用的输出设备(例如，使用无线联网技术，诸如WiFi或蓝牙)，并可连接至所检测到的任意输出设备。AR HMD内的测试信号生成器可构建测试信号及内容信号，并将它们发送至所连接的输出设备。可使用嵌入到AR HMD上的摄像机对所连接的输出设备的输出进行观察，且针对每一连接的输出设备，可将确定模块配置为丢弃任意不产生期望结果的输出设备。
在一些实施例中，除了发现并连接至环境内可用的显示器之外，还可构建“虚拟环境模型”。“虚拟环境模型”为如下的模型，该模型可描述环境结构，且可映射环境内输出设备位置，还可输出设备特性。该虚拟环境模型可用于该跟踪用户在环境内的移动的过程的运行时间步骤，还可跟踪所述外部显示器相对于用户的位置(例如，在一些实施例中，相对于用户眼睛的位置)。在一些实施例中，可对虚拟环境模型进行实时更新以反映用户移动，且还可使用该虚拟环境模型计算视图转换以应用至原始3D内容。在一些实施例中，计算所述虚拟环境模型包括使用一个或多个RGB-D传感器、摄像机、深度传感器或其任意组合来确定对象与用户环境内的显示器的相对位置。在一些实施例中，AR HMD上的传感器/摄像机相对于用户眼睛的布置是已知的(例如，在一些校准过程期间被知晓)。在一些实施例中，可通过比较AR HMD上的摄像机所捕获的图像而确定对象及显示距离。在一些实施例中，可通过分析被发送至环境内所检测到的外部显示器的已知图像而确定所述显示器的朝向。
在一些实施例中，所述过程中的下一步骤为针对每一连接的外部显示设备创建渲染缓存。在利用立体渲染的实施例中，所述过程可针对每一连接的显示器生成两个渲染缓存，一个缓存用于一个眼睛。如果AR HMD及显示器支持，可使用主动立体成像(例如，主动滤波)而生成所连接的显示器上的立体图像。在一些实施例中，外部显示器可支持自动立体成像，例如可对此配备晶状体型透镜或可自动划分针对用户眼睛的图像的类似分束器技术。对于主动立体，AR HMD可被配置为同步于不同眼睛的视图之间顺序显示切换，以很高的速率来阻挡每一眼睛的观看。在利用主动立体观看的实施例中中，AR HMD可阻挡眼睛的观看(其中，内容当前不会被渲染)，例如，所述过程可在阻挡第二眼睛时渲染针对第一眼睛的内容与在渲染针对所述第二眼睛的内容时阻挡所述第一眼睛之间进行切换。
对于每一渲染缓存，可将3D内容在所连接的外部显示设备与AR HMD之间的进行划分。为了将3D内容划分至外部显示设备并正确地渲染内容，处理模块可对另一应用程序原始创建的3D图形API调用进行截获。截获该图形API调用可允许所述过程在不对原始产生所述3D内容的应用程序进行任何修改的情况下分析及修改所述3D内容。
在一些实施例中，虚拟环境可对用户移动进行自然响应以创建用户正处于虚拟环境内的错觉。用户头部跟踪可增强浸入式感觉，从而虚拟世界内的虚拟元素可以自然方式对用户头部的移动进行回应，例如，允许用户通过在对象周围移动而检查元素，如同用户正在观看物理环境内真实对象那样。运动视差为可启动这种浸入式感觉的现象，这意味着当用户移动其头部时，对象会以很自然的方式移动。在一些实施例中，所述过程可基于摄像机或嵌入AR HMD内的传感器(例如，陀螺传感器、红外(IR)传感器、或者各种其他类型的传感器和、或其组合)所捕获的RGB-D数据来执行跟踪。基于检测到头部跟踪的传感器数据，所述过程可计算原始应用程序的模型视图矩阵、投影矩阵和/或原始应用的视口应该被如何改变以从用户的新视点看时在外部显示器上正确地渲染虚拟环境。在一些实施例中，可基于表示显示器形状、位置以及朝向的传感器数据来计算视图转换。为了计算视图转换，所述过程可从上述虚拟环境模型接收用户眼睛位置与环境内显示器之间的空间关系。OpenGL可提供各种可用于计算视图转换矩阵(诸如，模型视图矩阵、投影矩阵、以及上述视口设置)的函数。在一些实施例中，一些这样的函数可接受处理后的传感器数据，同时可更新现有的转换矩阵、设置等。在一些实施例中，初始化过程可通过使用摄相机来比较所捕获的图像而确定第一转换矩阵。在进一步的实施例中，可基于用户/头部跟踪传感器数据来对所述第一转换矩阵进行连续更新，从而从用户视点提供自然运动视差。
一旦截获3D内容，所述过程可通过选择该内容的显示在外部显示设备上的部分以及该内容的显示在AR HMD上的部分，对所述内容进行划分。该步骤的目的在于将所述内容分成：(i)将被显示在环境内可用外部显示器上的元素；以及(ii)将被显示在AR HMD上的元素，从而AR HMD显示器的自然眼睛适应距离可匹配用户至外部显示设备的距离，同时可使得虚拟元素距离与观看所述外部显示设备所需的自然眼睛焦距之间差错最小化。对于每一选择的元素，这可通过以下操作来完成：首先确定虚拟3D元素的虚拟距离，并将该距离与(i)每一可用外部显示设备的眼睛适应距离及(ii)所述AR HMD的自然眼睛使用距离进行比较，以及选择针对元素的眼睛适应距离与给定虚拟元素距离最为匹配的显示器(例如，外部显示器或AR HMD)。图12绘示了在AR HMD上与外部显示设备上选择性地渲染虚拟内容以提供针对虚拟内容观看的最佳自然眼睛适应的示例。如图所示，具有与显示位置的较佳虚拟距离匹配虚拟元素可被渲染在外部显示设备上。另一方面，接近AR HMD眼睛适应距离的虚拟元素可通过使用AR HMD而被渲染。可使用各种技术来确定哪个显示器为哪一虚拟距离的最佳匹配。例如，可通过使用比率来确定所述最佳匹配，其中该最佳匹配为显示器距离与虚拟距离之间的比值接近于1的匹配。还可基于例如显示器距离dd与虚拟距离dv的匹配函数m(dd,dv)来确定所述最佳匹配，其中所述显示器被选择以使得所述匹配函数m()的值最大化。所述匹配函数m()可基于有关舒适度和/或虚拟对象在处于不同物理距离的显示器上的不同虚拟距离处的真实水平的用户反馈而被按照经验决定。
在一些实施例中，将数据在外部显示器与AR HMD之间进行划分的示例性方法可包括：针对多个虚拟对象中的每一虚拟对象，确定从用户角度该对象将出现的虚拟距离。可在AR HMD上渲染将在用户的AR HMD的可接受范围内的虚拟距离处出现的对象。在对象将出现的虚拟距离大于可在用户的AR HMD能够渲染的最大可接受距离的情况下，可在外部显示器上渲染该对象，其中该外部显示器距离用户的实际距离大于所述最大可接受距离。
图9绘示了用户在具有两个外部显示设备的房间内使用AR HMD。如图所示，已在显示器1与显示器2之间对内容进了划分，同时AR HMD在显示器之间渲染部分内容。在一些实施例中，所述过程可在第一外部显示器上提供视频展示的第一部分，在第二外部显示器上提供所述视频展示的第二部分，并在所述AR HMD上显示所述视频展示的第三部分，其中该第三部分被显示在所述第一外部显示器与所述第二外部显示器之间的空间内。在一些实施例中，可使用虚拟环境模型来确定在所述外部显示设备上显示什么内容以及在AR HMD上显示什么内容。例如，如果系统知晓外部显示器的物理位置、朝向及形状、以及将被显示的所述视频展示的纵横比以及期望尺寸，所述过程可计算需要在所述第一及第二外部显示器上显示的所述视频展示的量(以及什么部分)，并在之后将所述视频展示的剩余部分渲染在ARHMD上。在一些实施例中，所述AR HMD上的摄像机和/或传感器可对所述第一及第二显示器上显示的部分进行分析，并使用该信息来确定所述显示器之间需要被填充所述第三部分的间隙。
所述过程中的下一步骤为将针对每一外部显示器的3D内容提供至专用渲染缓存。该专用渲染缓存可通过将模型视图转换、投影以及视口设置应用至由默认图形应用程序原始产生的3D图形API调用而渲染所述3D内容。应用所述转换可改变所述原始3D内容的视点及投影，以对所述视点进行补偿，如同用户朝向所述外部显示器进行观看。
一旦所述渲染缓存已对所选的显示元素进行渲染，则所述外部显示设备与AR HMD之间的重叠区域可被掩蔽，以避免从外部显示器至显示在AR HMD的图片的不必要的色溢。在一些实施例中，可通过以下步骤进行掩蔽：将被渲染在AR HMD上的元素投影至外部显示器图像平面，并在之后替换所述图像平面的区域，例如利用掩蔽颜色(诸如，黑色)来渲染所述缓存的所述区域。在一些实施例中，可使用虚拟环境模型来确定可被AR HMD上显示的虚拟对象掩蔽的潜在区域。图14绘示了对第一外部显示器的部分进行掩蔽的示例，以及图17绘示了AR HMD上渲染的对象，该对象显示在被掩蔽区域上。当已对与将在AR HMD上渲染的元素相重叠的渲染缓存的区域进行了掩蔽时，可将图片缓存流至所述外部显示设备以进行输出。
在已将所述渲染缓存流至外部显示器之后，AR HMD可通过对使用该AR HMD上的摄像机传感器捕获的图像进行分析，检查每一外部显示器的输出。通过对外部显示器的摄像机视图进行分析，可检测出不必要的异常(例如，假影)。在一些实施例中，可将所捕获的外部显示器的摄像机视图与原始数据的版本(例如，可以是经过转换的)进行比对。在一些实施例中，如果所捕获的摄像机视图内丢失了部分内容，则可检测到假影，其可指示：(i)存在遮挡对象；以及(ii)遮挡区域的位置。该遮挡区域的示例可为由于对象位于观看者与显示器之间或者投影仪与投影区域之间所导致的对象后的显示器上的阴影及遮挡区域。在一些实施例中，可在AR HMD上渲染图像的假影/遮挡部分，以修补输出图像内的错误区域。图10绘示了在具有投影仪的房间内用户穿戴AR HMD的示例。如图所示，由于用户站在屏幕与投影仪之间，则会在屏幕上投射阴影。在一些实施例中，AR HMD可被配置为通过使用面向前方的摄像机来检测所述屏幕上被用户的阴影所覆盖的区域，并在该被用户阴影所覆盖的屏幕区域上渲染AR HMD上的部分视频内容。图11绘示了遮挡的示例，其中一对象(被绘示为椅子)可阻挡用户对显示器的部分观看。在一些实施例中，AR HMD可被配置为检测这种遮挡，并可在AR HMD上渲染被遮挡的部分。
在一些实施例中，系统可知晓被发送至所使用的每一外部显示器的图像缓存数据，且可通过将实际显示器输出与发送至外部显示设备的原始图像缓存进行比对而检测出显示器的期望输出内的假影。在一些实施例中，这可通过以下步骤实现：从与AR HMD嵌在一起的摄像机传感器捕获图像，根据用户跟踪数据而将视图转换应用至原始图像缓存数据，并在之后将AR HMD摄像机所捕获的所述图像内的显示设备的输出与转换后的图像缓存数据进行比较。如果所捕获的图像的区域与转换后的图像缓存数据的那些区域存在显著差异，则可认为该区域为外部显示设备的输出内的假影(例如，由环境内对象所导致的阴影或遮挡)。在一些实施例中，假影所影响的区域可通过对转换后的输出图像缓存内的假影区域进行隔离以及使用AR HMD显示所述转换后的输出图像缓存而被校正。
由于在对阴影及遮挡假影进行校正之前需要从显示器输出检测出他们，因此用户可周期性地观看到延时问题。当首次从显示器的输出检测到假影时，可能会存在从检测到对其进行修补的初始延迟。在一些实施例中，该延迟取决于以下各方面的性能：AR HMD摄像机捕获、假影检测、对渲染在AR HMD上的校正后的图像缓存数据进行转换及输出。可通过有效的计算性能、高帧率摄像机的使用、以及存储器带宽优化来最小化假影检测与校正之间的延时。进一步的，由于各种显示设备(包括AR HMD)上的实时渲染高于20Hz是可预期的，因此显示器输出内因对象遮挡及阴影所导致的假影在连续的输出帧之间可被期望具有相对较低的空间差异。因此，一旦检测到假影区域，则可在渲染下一帧时假设该假影区域会与上一帧维持相同，从而可改善假影校正，从而可在AR HMD上自动渲染所预期的异常区域。可以类似于首次检测假影区域那样检测假影区域内的变化，然而更新后的假影区域可用于后续的帧。通过该方法，可使得用户可见的假影及异常区域最小化。在一些实施例中，可利用更为成熟的方法来估计假影区域将如何逐帧变化。这可通过例如使用类似于卡尔曼(Kalman)滤波之类的方式来建模并估计异常区域的运动而实现。
在一些实施例中，方法可包括以下步骤：接收关于将被渲染至增强现实体验内的多个对象的信息，其中该对象将被渲染从而出现在距离用户的增强环境位置不同距离的位置；确定对象距离将使用用户穿戴的头戴式显示器(HMD)进行渲染的用户增强环境位置的虚拟距离范围；以及在对象距离将使用HMD进行渲染的用户增强环境位置的距离范围内，对将被渲染至增强现实体验内的多个对象进行对象渲染；通过使用距离用户的现实世界位置实际距离的显示器(该实际距离超出了对象距离将使用HMD进行渲染的用户增强环境位置的距离范围的最大距离)，以超过对象距离将使用HMD进行渲染的用户增强环境位置的距离范围的最大距离的距离，渲染所述多个对象中的至少一些对象；以及在用户HMD上对所述多个对象中一些被遮挡、较差渲染或被掺杂的对象的部分进行渲染，以改善整体体验的质量及完整度。
在一些实施例中，当AR HMD的产品特点在于RGB-D传感器时，可使用来自RGB-D传感器的深度数据来预测因环境内的对象所导致的遮挡。在一些实施例中，可对对象几何体进行建模并估计对象位置(例如，虚拟环境模型)，从而可在不需要首先观察显示器输出的情况下对对象所导致的遮挡进行估计。
在一些实施例中，可在AR HMD上渲染未被外部显示器覆盖的区域内的虚拟元素。在此实施例中，AR HMD可用于扩展整个显示区域。在一些实施例中，可针对出现在穿戴ARHMD的用户的视野内但不具有可用的外部显示器表面区域的区域，在AR HMD上渲染内容。虽然图像质量可能与外部显示器的图像质量不匹配，但该方法可助于改善用户如何感知虚拟世界，且可用作不同外部显示器之间的桥梁，从而可一起创建较佳的浸入式感官。在一些实施例中，如图9所示，AR HMD可对两个或更多个外部显示器之间的空间间隙进行桥接，或者其可简单地增大一个或多个显示器的有效显示区域。该实施例可使用虚拟环境模型及图像分析技术来确定可在AR HMD上显示什么内容以及在AR HMD上的何处显示所述内容。在一些实施例中，在知晓用户距离显示器之间的间隙的物理距离以及将出现的对象是什么及虚拟距离有多大的情况下，所述过程可通过使用眼睛视差来生成立体输出，从而带来3D内容的精确展示。
在一些实施例中，在使用立体输出的同时，可针对第一个眼睛进行上述段落内所述的渲染过程，之后针对第二个眼睛重复所述渲染过程。在一些实施例中，AR HMD还可对当前并不对其执行所述渲染过程的眼睛进行阻挡。
在一些实施例中，可阻挡所述视图的AR HMD(例如，通过使用可配置为将显示像素在不透明状态与透明状态之间切换且可以足够高的帧率来进行切换的液晶显示层或类似设备)除了作为AR显示设备之外，还可用作主动快门眼镜。此外，AR HMD可被配置为对视图的阻挡进行同步(例如，通过调整快门帧率以与显示器进行同步)，从而可正确地支持主动立体显示器的3D立体输出。在一些实施例中，主动立体显示器可经由有线信号、或由红外或无线射频(例如，蓝牙、DLP链路)发射机提供针对快门眼镜的定时信号。为了能够进行正确的同步，AR HMD可检测由显示器提供的定时信号，或通过其他方式检测眼睛切换频率。
在一些实施例中，AR HMD可使用IR摄像机来检测红外(IR)同步信号。许多AR HMD可具有IR摄像机以进行3D跟踪，且可用于检测同步信号。例如，AR HMD上提供的RGBD传感器可具有对红外光敏感的RGB摄像机或在红外范围内运行的单独的摄像机。
在一些实施例中，AR HMD的产品特征可在于蓝牙连接。因此，可配置为检测蓝牙频率范围(通常是2.4GHz周围)内的同步信号的硬件通常已被嵌入至AR HMD。
除了检测同步信号，具有运行在足够高帧率的摄像机的AR HMD可通过对从看向主动立体显示器的AR HMD摄像机捕获的视频帧进行分析而检测主动立体显示器的切换频率。此实施例可使得AR HMD通过使用任意同步信号传输技术来将快门操作与任意主动立体显示器进行同步。
通过对从看向主动立体显示器的AR HMD摄像机捕获的视频帧进行分析而检测眼睛视图切换频率可被拆分成多个步骤，以用于同步AR HMD快门功能。
在一些实施例中，可不向所述系统提供指示显示器是否正在主动立体模式进行输出的信息。该系统可检测显示器是否正在主动立体模式进行输出。如果检测到具有主动立体输出的显示器，则下一步可以是检测所述显示器所使用的频率及定时，以在左/右眼睛视图之间进行切换。
在一些实施例中，系统可知晓媒体正被显示，且能够通过将外部显示设备输出的图像与媒体内容进行比较而确定主动立体输出的眼睛顺序(即，哪一图像是针对左眼的以及哪一图像是针对右眼的)。然而，在一些实施例中，系统并非总是可以访问媒体内容。在此实施例中，系统可执行附加上下文分析以确定正确的眼睛顺序。在一些实施例中，系统可对发生在显示元素之前的遮挡进行比较。在一些实施例中，系统可操作用于识别外部显示器所输出的图像内的已知对象(例如，人脸、人体等)。如果检测到已知对象，则有关此对象几何体的知识可帮助系统确定哪一图像顺序可产生更为正确的深度线索。在一些实施例中，可使用利用大量样本训练以检测正确的左/右眼顺序的神经网络的较少启发方法来估计正确的眼睛顺序。
在一些实施例中，为了解决上述所列的子问题，需要对所捕获的显示图像按照观看的时间戳时间序列进行存储及分析。一示例性过程包括：(i)检测显示器是否正在以主动立体模式进行输出；以及(ii)如果检测到主动立体输出，则设置同步。
通过使用AR HMD作为快门眼镜以及主动立体显示器，可提供数种益处。一种益处则是可简化对各种类型的内容的使用。在一些实施例中，AR HMD可显示环境内的AR内容，并在需要时，切换至用作主动开门眼镜。从而不需要根据正在消费哪一类内容而使用不同的眼镜或切换眼镜。
AR HMD可通过分析从与AR HMD嵌在一起的传感器所捕获的图像而检测并跟踪主动立体显示器表面区域。这使得AR HMD自身便可以在主动立体显示器正在播放立体内容时阻挡与主动立体显示图像相重叠的部分用户视图。这可减小视图闪烁，因为仅部分图像以高帧率进行闪烁。这还可以减小用户眼睛所接收的光线损失，因为不同于当前的主动快门眼镜(其一次性有效阻挡一个眼睛的整个观看区域)，仅与显示器相重叠的部分视图被关闭。在一些实施例中，AR HMD可利用液晶(LC)层(其可用于阻挡光线到达用户眼睛)来提供快门眼镜功能。在一些实施例中，LCD可为布置在AR HMD显示器上的薄层或薄膜，该薄层可由系统进行控制以基于通过使用上述方法获取的显示器位置及朝向信息而选择性地阻挡与显示器相重叠的区域。
在一些实施例中，将AR HMD用作快门眼镜可使得同时进行多个主动立体显示器的观看成为可能。不同的主动立体显示器还可潜在地甚至以不同的频率进行操作。因为ARHMD可检测并跟踪数个显示区域，从而可将快门效应仅限制至于各种主动立体显示器相重叠的区域，快门区域可按照其自身的单独频率来进行操作，只要AR HMD显示器的帧率更新与所有显示器的组合频率相同步即可。此外，AR HMD可检测多种不同传输技术中的多种同步信号，从而能够利用不同的同步信号传输技术来与多种主动立体显示器进行同时同步。
在一些实施例中，AR HAM可用作主动快门，该AR HMD的RGB显示能力可增强主动立体显示器上显示的主图像。在一些实施例中，这可通过将AR HMD上的RGB渲染与主动立体显示器上渲染的图像相组合而提升主动立体显示器的光度。在一些实施例中，AR HMD可选择性地阻挡主动立体显示器的区域，从而使得欲被显示为黑色的图像区域可被显示地更黑。此时该实施例可扩展主动立体显示器的自然动态范围，且可增大最大光度，使其超过主动立体显示器单独所能够产生的最大光度。
在一些实施例中，相对于主动立体显示器与传统主动快门眼镜之间的串扰(crosstalk)，主动立体显示器与AR HMD之间的串扰可被减小。由于较慢的像素关断时间，在切换眼睛视图时，在显示给另一眼睛的重像依然停留在显示器上时，一些主动立体显示器可能会遭遇到串扰。在一些实施例中，这可通过以下操作而被减小：使用AR HMD检测潜在串扰区域以及通过在AR HMD上显示RGB图像而补偿潜在串扰错误，从而最小化所述串扰(例如，对潜在串扰区域内的高对比度进行平滑处理)。
一些实施例可通过针对当前正被阻挡观看主动立体显示器上的图像的眼睛来渲染RGB图像，从而最小化闪烁。所述AR HMD可被配置为以较低分辨率或者以较差的颜色范围针对当前被阻挡的眼睛利用AR HMD RGB显示器来渲染显示在主动立体显示器上的内容，从而减小主动快门眼镜所呈现的闪烁感受，并减小视图的整体光度下降。
在主实施例中，可使用光可穿透AR HMD来执行所述过程，该光可穿透AR HMD可利用所嵌入的摄像机或RGB-D传感器来不断检查环境。然而，在可替换实施例中，所述计算、组件之间的通信、内容管理及渲染可以交替方式被布置。在此可替换实施例中，上述过程可能需要一些改动且可在各种其他类型的设备上而非上述实施例所描述的AR HMD上被执行。
在一些实施例中，对象所导致的遮挡可通过使用虚拟环境模型而被检测，而非通过分析来自显示器输出的图像来检测阻挡了从用户视点观看外部显示器的对象。在此实施例中，所述虚拟环境模型可能已在初始化方法内被创建，且可具有足够高的分辨率，同时还可覆盖整个操作区域。在该可替换方法内，将被外部显示器前方的对象遮挡的区域可被自动选择以渲染在AR HMD上而非外部显示器上。在此实施例中，在内容被划分以显示在各种显示器上的首次运行时间处理步骤，被其他对象阻挡的外部显示器区域可被检测并被选择以渲染在AR HMD上。
在一些实施例中，不同于使用AR HMD传感器来进行头部跟踪以及显示假影检测，可替换实施例可从嵌入在环境内的传感器接收传感器数据。在该实施例中，执行所述过程的移动应用程序可从外部传感器请求数据，基于该外部传感器数据执行用户头部跟踪，并基于已知的外部传感器位置确定头部跟踪。在一些实施例中，所述外部传感器可为观察用户的RGB-D传感器。在一些实施例中，所述外部传感器可为光学传感器、磁性传感器、深度传感器或声音跟踪传感器等。
在一些实施例中，由对象和/或观看者导致的阴影及遮挡还可通过对外部传感器数据进行分析而被检测。在此实施例中，在所述过程的内容划分步骤期间，问题区域(例如，遮挡区域)可能已经被考虑，从而避免错误图像需要被初始显示以被检测的情形。在一些实施例中，观察用户的RGB-D传感器可基于用户几何形状近似估计来检测阴影区域，而非基于输出图像来检测阴影区域。
在一些实施例中，外部服务器可被配置为创建浸入式体验并执行上述过程。在一些实施例中，所述服务器可接收来自AR HMD的传感器数据并基于所接收的传感器数据执行整个渲染过程。在一些实施例中，当将传感器数据从AR HMD流至执行所述过程的外部服务器时，网络接口可能会引入一定级别的延时。在经历足够高的网络延时的实施例中，可不实施在此所述的一些特征(例如，可不实施在运行时间期间基于摄像机数据分析进行图像错误检测及校正)。
在可替换实施例中，除了执行上述用于组合显示器的渲染过程之外，还可在专用服务器上执行产生显示内容的应用程序。在该实施例中，所述服务器可连接至环境内的所有显示器。基于所知晓的这些显示器相对于用户位置的位置，所述服务器可将内容流至每一显示器(包含用户穿戴的AR HMD设备)。
图13绘示了在具有大型前向投影投影仪及普通显示器的房间内用户观看虚拟3D内容的平面图。图13包含环境内的用户以及各种虚拟3D元素、投影仪、投影屏幕、物理对象以及外部显示设备。如图所示，图13包含以下遮挡：观看者阻挡投影仪以及物理对象阻挡显示屏幕。在一些实施例中，在用户启动产生3D内容(例如，虚拟世界观看者)的应用程序之后，实施上述渲染过程的模块可轮询环境内可用的输出设备(例如，外部显示设备和/或投影仪)，并连接至任意可用的输出显示设备。在一些实施例中，所述渲染过程可针对每一外部显示器创建所需的渲染缓存。
一旦知晓外部输出设备及其相对于用户眼睛位置的相对位置，所述移动应用程序可将所截获的图形API调用划分为将被发送至不同显示设备的3D内容。在一些实施例中，可基于匹配眼睛适应距离而对3D内容进行划分，在一些实施例中，这会导致最接近用户的个别虚拟元素被选择以整体显示在AR HMD上，而其他处于相对较大虚拟距离的元素可被主要显示在可用外部显示器上。在一些实施例中，对于每一渲染步骤，可基于对空间内用户运动的3D跟踪(例如，用户头部跟踪)(该跟踪基于从与AR HMD嵌入到一起的传感器接收的传感器数据)来更新相对于用户眼睛位置的外部显示器位置。
在一些实施例中，可通过将所需的模型视图、投影和/或视口设置注入所截获的图形API调用来对被选中以渲染在外部显示器上的元素进行渲染。一旦已将视图渲染至渲染缓存，可从该渲染缓存掩蔽将被渲染到AR HMD上的对象的重叠区域，且可将该渲染缓存流至外部显示器。图14示出了在掩蔽所选的将被渲染到AR HMD上的区域之后在外部显示器上的输出。如图所示，由于将被显示到AR HMD上的不同3D元素，可掩蔽将被显示在投影屏幕上的部分3D元素。
在一些实施例中，在显示图像被流至并显示在外部显示器上之后，所述移动应用程序针对输出图像内的假影，可对由嵌入在AR HMD内的摄像机所捕获的摄像机传感器数据进行分析。在一些实施例中，可检测到由观看者投射在投影图像上的阴影及由显示屏前方的椅子导致的遮挡。如图15所示，对于错误的图像区域，可在AR HMD上渲染并显示视图的正确部分。
在一些实施例中，所述AR HMD可渲染位于外部显示设备所覆盖的区域外侧的3D内容区域。图16示出了示例性实施例。如图16所示，在AR HMD上渲染的3D内容可桥接两个显示器之间的区域。
在一些实施例中，如图17所示，被选择为显示在AR HMD上的3D内容元素可被渲染并显示在AR HMD上。
快门眼镜变化
通过使用HMD来呈现完全的VR/VR体验可能会产生眼疲劳、头痛、恶心以及疲倦，这部分是由于辐辏-调节冲突(convergence-accommodation conflict)冲突造成的。进一步的，使用立体投影将会限制针对用户及隐私进行个性化的机会。在一些实施例中，上述过程可产生组合的AR HMD/立体投影，其中所述AR HMD可同时用作用于所述投影的主动快门眼镜。图18示出了一示例性实施例。如图所示，图18包括穿戴AR HMD的用户以及两个外部显示设备，每一外部显示器具有相应的快门定时同步信号发送器。在一些实施例中，所述显示器可在使用主动快门方法的同时启动3D效果。
在一些实施例中，方法可包括以下步骤：使用与AR HMD相关联的前向摄像机捕获第一投影屏幕的部分的图像；响应地确定所捕获的图像表示与AR展示相关联的第一部分内容；以及配置所述AR HMD以与所述第一部分内容相关联的频率产生影像，同时AR HMD还展示与所述AR展示相关联的第二部分内容。在一些实施例中，与所述AR展示相关联的所述第一部分内容可被显示作为立体投影的交替帧。在一些实施例中，所产生的影像可用作交替左右快门。在一些实施例中，与所述AR展示相关联的所述第二部分内容的左眼影像被显示在与左眼显示器相关联的AR HMD部分内，而用于针对右眼产生快门效果的影像被显示在与右眼显示器相关联的AR HMD部分，反之亦然。
在一些实施例中，可通过对捕获投影屏幕图像的摄像机信号进行分析而确定同步。在一些实施例中，所述方法还包括检测所述左/右显示器的频率。在一些实施例中，所述检测通过图像分析而被完成。在一些实施例中，所述检测通过遮挡分析而被完成。
在一些实施例中，用于在AR系统内的显示设备之间分配内容显示的方法包括以下步骤：利用与头戴式AR显示器相关联的前向摄像机捕获环境内第一及第二显示设备的部分的图像，所述第一及第二显示设备显示与AR展示相关联的第一及第二部分内容；以及在所述头戴式AR显示器上显示与所述AR展示相关的第三部分内容，该第三部分基于使用所述头戴式AR显示器的所述前向摄像机所捕获的第一及第二显示设备的部分的图像而被确定，其中所述与所述AR展示相关的所述第三部分内容的确定包括确定与未被所述第一或第二显示设备占用的视场部分相关联的AR展示有关的部分内容。
在一些实施例中，用于改善浸入式多设备虚拟/增强体验的方法包括以下步骤：识别体验环境内具有内容流接口的可用显示设备；针对每一可用显示器分配渲染缓存；将内容分割为在AR HMD上或在所连接的外部显示器上显示的部分；跟踪用户头部位置并计算用于将从用户视点观看的虚拟环境渲染到环境内的外部显示器所使用的额外视图转换(例如，模型视图、投影及视口)；对将被显示到环境内的每一外部显示器上的图像进行渲染并将图像流至所述显示器；掩蔽将与将被渲染在AR HMD上的元素发生重叠的将被显示在外部显示器上的图像区域，以最小化从外部显示器至所述AR HMD显示器的色溢。
在一些实施例中，所述方法还包括利用AR HMD摄像机检查外部显示器上所显示的图像，以检测对象遮挡所导致的假影。在一些实施例中，所述方法还包括在AR HMD上渲染所述图像的丢失部分或假影。在一些实施例中，所述方法还包括在所述AR HMD上渲染所述外部显示器的表面区域之外的区域。在一些实施例中，所述方法还包括渲染被选中以显示在AR HMD上的元素。在一些实施例中，所述AR HMD可利用主动立体模式，且可使用一个眼睛的转换来重复所述过程，同时阻挡第二眼睛。在一些实施例中，所述方法还包括切换正被所述AR HMD阻挡的眼睛。
在一些实施例中，所述方法还包括针对每一显示器创建两个渲染缓存，一个缓存针对一个眼睛，或者如果不是立体模式，则针对每一显示器创建单个渲染缓存。
图19绘示了根据一些实施例的过程的流程图。如图所示，图19包括图像捕获过程，该过程包括以下步骤：从AR HMD捕获帧；从所捕获的帧检测显示图像；基于从所捕获的图像检测的显示区域的拐角点(corner point)，对所述HMD上的图像的透视转换进行隔离及补偿；以及将所述显示器上可见的未扭曲图像添加至待分析显示图片队列。一旦该显示图像队列内的图像数量超过预设需求，开始图像队列分析过程。如图19所示，所述图像队列分析过程包括以下步骤：计算所述队列内连续图像之间的差异以及根据不同帧之间的差异检测频率(主动立体输出应该作为清晰高频带出现)。在一些实施例中，可使用傅里叶变换来检测频率分布。下一步骤为基于所检测的高频带，将图像配对作为立体对。可在形成立体对的图像之间的像素或特征转换进行比较以及对立体对之间的第一与第二元素进行比较。当对不同对之间的第一或第二元素进行比较时，偏移是很小的，且单个立体对的图像之间的偏移应该是非常类似于对与对之间的情形的。在优选实施方式中，所述立体对内的图像之间的偏移将是很小的。如果这得到了满足，则可确定所述显示器的输出为处于已知频率的主动立体模式。下一步骤则可以是检测立体对图像中的哪一图像是针对哪一眼睛的。在一些实施例中，这可通过将所述图片与原始媒体进行比较、或使用对象识别(遮挡等)来完成。最后，可针对主动快门眼镜设置同步。
在一实施例中，存在如下方法，该方法包括：检测可转换显示器的配置；检测用户的位置；以及基于所述位置及所述配置，对输出至所述可转换显示器的图形进行转换。
在一实施例中，存在如下系统，该系统包括：第一传感器，可操作用于检测可转换显示器的配置；第二传感器，可操作用于检测用户的位置；以及显示器配置管理器，可操作用于基于所述位置及所述配置，对输出至所述可转换显示器的图形进行转换。
在一实施例中，存在如下方法，该方法包括：从多个传感器接收传感器数据；检测至少一显示器的显示器配置；基于所述显示器配置，生成投影转换；生成将所述投影转换应用至未经修改的视频流的输出视频流；以及将所述输出视频流发送至所述至少一显示器。在一些实施例中，所述方法可进一步包括其中所述多个传感器包括用户跟踪传感器。在一些实施例中，所述方法可进一步包括其中所述用户跟踪传感器为RGB-D传感器。在一些实施例中，所述方法可进一步包括其中所述用户跟踪传感器为摄像机。在一些实施例中，所述方法可进一步包括使用所述用户跟踪传感器来从用户群组内确定主用户。在一些实施例中，所述方法可进一步包括使用所述用户跟踪传感器确定用户眼睛位置。在一些实施例中，所述方法可进一步包括其中所述多个传感器包括显示器配置传感器。在一些实施例中，所述方法可进一步包括其中所述显示器配置传感器为角度检测传感器。在一些实施例中，所述方法可进一步包括其中所述显示器配置传感器为电子电位计。在一些实施例中，所述方法可进一步包括其中检测所述显示器配置包括检测两个或更多个显示器之间的角度。在一些实施例中，所述方法可进一步包括其中检测所述显示器配置包括检测至少一显示器之间的形状。在一些实施例中，所述方法可进一步包括其中检测所述显示器配置包括检测两个或更多个显示器的相对位置。在一些实施例中，所述方法可进一步包括其中所述至少一显示器包括平面显示器。在一些实施例中，所述方法可进一步包括其中所述至少一显示器包括曲面显示器。在一些实施例中，所述方法可进一步包括其中所述至少一显示器包括柔性显示器。在一些实施例中，所述方法可进一步包括其中生成所述投影转换进一步包括确定经由所述输出视频流渲染的区域。在一些实施例中，所述方法可进一步包括其中所述显示器配置针对预定用户位置而被确定。在一些实施例中，所述方法可进一步包括其中所述显示器配置被连续更新。在一些实施例中，所述方法可进一步包括传送配置控制至至少一显示器。在一些实施例中，所述方法可进一步包括其中所述配置控制调节所述显示器配置。在一些实施例中，所述方法可进一步包括其中所述配置控制经由触摸屏而被输入。在一些实施例中，所述方法可进一步包括所述配置控制经由键盘而被输入。在一些实施例中，所述方法可进一步包括其中所述配置控制经由语音命令而被输入。在一些实施例中，所述方法可进一步包括其中所述配置控制经由控制器而被输入。在一些实施例中，所述方法可进一步包括所述配置控制经由操纵杆而被输入。在一些实施例中，所述方法可进一步包括其中显示器动态显现。在一些实施例中，所述方法可进一步包括其中所述显示器动态消失。在一些实施例中，所述方法可进一步包括其中所述输出视频流基于立体渲染。在一些实施例中，所述方法可进一步包括检测用户头部跟踪。在一些实施例中，所述方法可进一步包括其中检测所述显示器配置包括检测所述至少一显示器的朝向。在一些实施例中，所述方法可进一步包括其中检测所述显示器配置包括检测用户观看范围内的显示器数量。在一些实施例中，所述方法可进一步包括其中检测所述显示器配置包括检测所述至少一显示器的位置。在一些实施例中，所述方法可进一步包括其中检测所述显示器配置包括检测所述至少一显示器的形状。
在一实施例中，存在如下设备，该设备包括：用户传感器，被配置为检测用户信息；显示器配置传感器，被配置为检测至少一显示器的显示器配置；动态显示器配置管理器，被配置为接收用户信息、显示器配置以及图形API调用，该动态显示器配置管理器被配置为计算投影转换，并通过将所述投影转换应用至各个未修改的视频流而响应地渲染针对所述至少一显示器的每一显示器的相应视频输出；以及图形驱动器，被配置为输出所述相应渲染的视频输出。所述设备可进一步包括其中所述用户传感器被配置为检测用户眼睛位置。所述设备可进一步包括其中所述用户传感器被配置为确定主用户。所述设备可进一步包括其中所述用户传感器被配置为提供头部跟踪信息。所述设备可进一步包括其中所述用户传感器包括RGB-D传感器。所述设备可进一步包括其中所述用户传感器包括惯性测量单元(IMU)。所述设备可进一步包括其中所述用户传感器包括摄像机。所述设备可进一步包括其中所述显示器配置传感器被配置为检测可用显示器的数量。所述设备可进一步包括其中所述显示器配置传感器被配置为检测所述至少一显示器的位置。所述设备可进一步包括其中所述显示器配置传感器被配置为检测两个或更多个显示器的相对位置。所述设备可进一步包括其中所述显示器配置传感器被配置为检测所述至少一显示器的朝向。所述设备可进一步包括其中所述显示器配置传感器为被配置为检测两个显示器之间的角度的角度检测器。所述设备可进一步包括其中所述显示器配置传感器被配置为确定所述至少一显示器的形状。所述设备可进一步包括其中所述显示器配置传感器为深度传感器。所述设备可进一步包括其中所述显示器配置传感器为声音传感器。所述设备可进一步包括其中所述显示器配置传感器为光学传感器。所述设备可进一步包括其中所述显示器配置传感器为磁性传感器。所述设备可进一步包括其中所述至少一显示器包括平面显示器。所述设备可进一步包括其中所述至少一显示器包括非平面显示器。所述设备可进一步包括其中所述动态显示器配置管理器被配置为：基于正常投影而读回第一渲染图像，并响应地对所述第一渲染图像进行扭曲以校正显示几何变形，以及将扭曲后的图像发送至至少一显示器。所述设备可进一步包括其中所述至少一显示器包括柔性显示器。所述设备可进一步包括其中所述至少一显示器包括有机发光二极管(OLED)显示器。所述设备可进一步包括其中所述至少一显示器包括液晶显示器(LCD)。所述设备可进一步包括其中所述显示器配置传感器被配置为检测动态出现的至少一显示器。所述设备可进一步包括其中所述显示器配置传感器被配置为检测动态消失的至少一显示器。所述设备可进一步包括其中所述动态显示器配置管理器被配置为接收用户配置控制。所述设备可进一步包括其中所述显示器配置根据所述用户配置控制而被调整。所述设备可进一步包括其中所述用户配置控制包括显示器朝向改变请求。所述设备可进一步包括其中所述用户配置控制包括显示器打开/关闭请求。所述设备可进一步包括其中所述用户配置控制包括显示器变形请求。
在一些实施例中，存在如下方法，该方法包括：从嵌入在AR HMD上的前向摄像机接收所捕获的帧；在所捕获的帧内识别经扭曲的显示图像；使用该显示图像形成未扭曲的显示图像；以及将该未扭曲的显示图像与原始显示图像进行比较，并确定是否存在假影。在一些实施例中，所述方法可进一步包括其中所述假影包括阴影遮挡。在一些实施例中，所述方法可进一步包括其中所述假影包括对象遮挡。在一些实施例中，所述方法可进一步包括其中识别所述经扭曲的显示图像包括识别所述经扭曲的图像的拐角。在一些实施例中，所述方法可进一步包括其中形成所述未经扭曲的图像包括：基于所识别的拐角，识别透视信息(perspective information)；以及基于该透视信息，将第一转换应用至经扭曲的显示图像。在一些实施例中，所述方法可进一步包括其中所述第一转换基于模型视图转换/矩阵。在一些实施例中，所述方法可进一步包括其中所述第一转换为视口转换。在一些实施例中，所述方法可进一步包括：确定由所述假影所遮蔽的丢失内容；将第二转换应用至所述丢失内容；以及在所述AR HMD上的显示器上显示转换后的丢失内容。在一些实施例中，所述方法可进一步包括其中所述第二转换为所述第一转换的逆转换。
在一实施例中，存在如下方法，该方法包括：检测虚拟展示内的假影，该假影处于第一位置；对所述虚拟展示内第一时间出现在该第一位置的所述假影进行校正；以及对第二次出现在第二位置的所述第一假影进行校正，该第二位置至少部分基于所述第一位置而被确定。在一些实施例中，所述方法可进一步包括基于所述第一位置来估计所述第二位置。在一些实施例中，所述方法可进一步包括其中估计所述第二位置进一步基于第三位置，该第三位置出现在所述第一时间之前的第三时间。在一些实施例中，所述方法可进一步包括其中估计所述第二位置至少部分基于Kalman滤波。
在一实施例中，存在如下方法，该方法包括：从嵌入在AR HMD上的前向摄像机接收所捕获的帧；在所捕获的帧内识别经扭曲的显示图像；基于原始图像的转换而形成经扭曲的原始图像；以及将所述经扭曲的显示图像与所述经扭曲的原始图像进行比较，并识别一个或多个假影。在一些实施例中，所述方法可进一步包括所述转换是基于透视信息的。在一些实施例中，所述方法可进一步包括其中所述透视信息是通过识别所述经扭曲的显示图像的拐角而被获取的。在一些实施例中，所述方法可进一步包括其中所述假影为遮挡的对象。在一些实施例中，所述方法可进一步包括其中所述假影为阴影区域。在一些实施例中，所述方法可进一步包括其中所述假影为所述AR HMD上显示的虚拟对象与所述经扭曲的显示图像之间的重叠部分。在一些实施例中，所述方法可进一步包括对对应于外部显示器(该外部显示器当前正在显示所述经扭曲的显示图像)上的所述重叠部分的区域进行掩蔽。
在一实施例中，存在如下设备，该设备包括：前向摄像机，被嵌入在AR HMD上，被配置为捕获帧；图像处理器，被配置为接收所捕获的帧，识别所捕获的帧内的经扭曲的显示图像，并使用该显示图像形成未经扭曲的显示图像；以及比较模块，被配置为将所述未经扭曲的显示图像与原始图像进行比较，并确定是否存在假影。在一些实施例中，所述设备可进一步包括其中所述假影包括阴影遮挡。在一些实施例中，所述设备可进一步包括其中所述假影包括对象遮挡。在一些实施例中，所述设备可进一步包括其中所述图像处理器被配置为识别所述经扭曲的显示图像的拐角。在一些实施例中，所述设备可进一步包括其中所述处理器被配置为通过以下操作形成所述未经扭曲的图像：基于所识别的拐角来识别透视信息，以及基于该透视信息将第一转换应用至所述经扭曲的图像。在一些实施例中，所述设备可进一步包括其中所述转换基于模型视图转换/矩阵。在一些实施例中，所述设备可进一步包括其中所述转换为视口转换。在一些实施例中，所述设备可进一步包括所述图像处理器被配置为：确定所述假影所遮蔽的丢失内容，将第二转换应用至所述丢失内容；以及在所述AR HMD上的显示器上显示经转换的丢失内容。在一些实施例中，所述设备可进一步包括其中所述第二转换为所述第一转换的逆转换。
在一实施例中，存在如下设备，该设备包括：图像检测模块，被配置为检测虚拟展示内的假影，假影处于第一位置；图像校正模块，被配置为对所述虚拟展示内在第一时间出现在所述第一位置的所述假影进行校正，以及对在第二时间出现第二位置的第一假影进行校正，所述第二位置至少部分基于所述第一位置。在一些实施例中，所述设备可进一步包括其中所述图像校正模块被配置为基于所述第一位置估计所述第二位置。在一些实施例中，所述设备可进一步包括其中估计所述第二位置进一步基于第三位置，该第三位置出现在所述第一时间之前的第三时间。在一些实施例中，所述设备可进一步包括其中估计所述第二位置至少部分基于Kalman滤波。
在一实施例中，存在如下设备，该设备包括：前向摄像机，被嵌入在AR HMD上，被配置为捕获帧；图像处理器，被配置为接收所捕获的帧，识别所捕获的帧内的经扭曲的显示图像，并基于原始图像形成经扭曲的原始图像；以及比较模块，被配置为将所述经扭曲的显示图像与所述经扭曲的原始图像进行比较，并确定是否存在假影。在一些实施例中，所述设备可进一步包括其中所述图像处理器被配置为通过将转换应用至所述原始图像来生成所述经扭曲的原始图像。在一些实施例中，所述设备可进一步包括其中所述转换是基于透视信息的。在一些实施例中，所述设备可进一步包括其中所述图像处理器通过识别所述经扭曲的显示图像的拐角而获得透视信息。在一些实施例中，所述设备可进一步包括其中所述假影为遮挡对象。在一些实施例中，所述设备可进一步包括其中所述假影为阴影区域。在一些实施例中，所述设备可进一步包括其中所述假影为所述AR HMD上显示的虚拟对象与所述经扭曲的显示图像之间的重叠部分。在一些实施例中，所述设备可进一步包括掩蔽模块，被配置为对外部显示器的对应于虚拟对象之间的所述重叠部分的区域进行掩蔽。
在一实施例中，存在如下方法，该方法包括：在外部显示器上提供视频展示；确定所述视频展示对于用户而言被遮蔽的部分；以及在用户的头戴式显示器上显示所述视频展示的被遮蔽的部分。在一些实施例中，所述方法可进一步包括其中在所述头戴式显示器上显示的所述视频展示的被遮蔽部分从用户的角度与所述外部显示器上的视频展示相对准。在一些实施例中，所述方法可进一步包括其中所述外部显示器为电视机屏幕。在一些实施例中，所述方法可进一步包括通过根据视图转换来修改原始视频展示而生产所述视频展示。在一些实施例中，所述方法可进一步包括其中所述视图转换为模型视图转换。在一些实施例中，所述方法可进一步包括其中所述视图转换是基于视口设置的。在一些实施例中，所述方法可进一步包括其中所述视图转换基于用户头部跟踪。在一些实施例中，所述方法可进一步包括其中所述视图转换基于虚拟环境模型。在一些实施例中，所述方法可进一步包括其中所述被遮蔽部分的确定是至少部分通过使用头戴式显示器上的前向摄像机完成的。在一些实施例中，所述方法可进一步包括：生成用户环境的虚拟环境模型；以及基于该环境模型确定所述被遮蔽的部分。在一些实施例中，所述方法可进一步包括其中所述虚拟环境模型是至少部分通过使用所述头戴式显示器上的传感器生成的。在一些实施例中，所述方法可进一步包括其中所述传感器包括选自包含以下各项的集合的设备：光学传感器、磁性传感器、深度传感器以及声音跟踪传感器。
在一实施例中，存在如下方法，该方法包括:将视频展示投影到表面上；确定所投影的视频展示的一部分存在阴影；以及将所述视频展示的阴影部分显示到用户的头戴式显示器上。在一些实施例中，所述方法可进一步包括其中显示在所述头戴式显示器上的所述视频展示的所述阴影部分从用户角度与所投影的视频展示相对准。在一些实施例中，所述方法可进一步包括关闭所述投影仪的与被所投影的视频展示的所述阴影部分占用的所述视频展示相对应的区域。
在一实施例中，存在如下方法，该方法包括：在第一外部显示器上提供视频展示的第一部分以及在第二外部显示器上提供所述视频展示的第二部分；以及在头戴式显示器上显示所述视频展示的第三部分，其中该第三部分显示在所述第一与第二外部显示器之间的空间内。在一些实施例中，所述方法可进一步包括其中所述视频展示的所述第三部分从所述头戴式显示器的用户的角度是与所述第一及第二部分相对准的。在一些实施例中，所述方法可进一步包括其中所述第一及第二外部显示器为主动立体显示器。在一些实施例中，所述方法可进一步包括其中所述第一及第二外部显示器分别具有对应的第一及第二显示频率。在一些实施例中，所述方法可进一步包括其中所述第一及第二显示频率是不同的。在一些实施例中，所述方法可进一步包括使用所述头戴式显示器上的摄像机来检测所述第一及第二显示频率。在一些实施例中，所述方法可进一步包括使用所述头戴式显示器针对第一眼睛独立阻挡所述第一及第二外部显示器。在一些实施例中，所述方法可进一步包括分别以所述第一及第二所检测的显示频率针对所述第一眼睛及第二眼睛交替阻挡所述第一及第二外部显示器。在一些实施例中，所述方法可进一步包括分别从第一及第二快门定时同步信号发射机接收所述第一及第二显示频率。
在一实施例中，存在如下方法，该方法包括：在第一外部显示器上提供视频展示的第一部分以及在第二外部显示器上提供所述视频展示的第二部分；以及在头戴式显示器上显示所述视频展示的第三部分，其中该第三部分至少部分与所述第一或第二外部显示器上的区域重叠。在一些实施例中，所述方法可进一步包括掩蔽重叠区域。在一些实施例中，所述方法可进一步包括翻转所述重叠区域内的像素。在一些实施例中，所述方法可进一步包括其中掩蔽包括在所述重叠区域显示掩蔽颜色。在一些实施例中，所述方法可进一步包括其中所述掩蔽颜色是黑色的。
在一实施例中，存在如下方法，该方法包括：使用与头戴式增强现实(AR)头戴式显示器(HMD)相关联的前向摄像机捕获环境内第一及第二显示设备的部分的图像，该第一及第二显示设备显示有关AR展示的第一及第二部分内容；以及在所述AR HMD上显示与所述AR展示有关的第三部分内容，该第三部分基于使用所述前向摄像机所捕获的所述第一及第二显示设备的部分的图像而被确定。在一些实施例中，所述方法可进一步包括其中所述与所述AR展示有关的所述第三部分内容的确定包括确定与未被所述第一或第二显示设备占用的视场部分相关联的有关所述AR展示的部分内容。
在一实施例中，存在如下方法，该方法包括：连接至外部显示器；截获3D内容集；将该3D内容集分割成第一虚拟元素及第二虚拟元素；在所述外部显示器上显示所述第一虚拟元素；以及在本地显示器上显示所述第二虚拟元素。在一些实施例中，所述方法可进一步包括其中所述本地显示器为光可穿透增强显示(AR)头戴式显示器(HMD)。在一些实施例中，所述方法可进一步包括其中所述外部显示器为电视机。在一些实施例中，所述方法可进一步包括其中所述外部显示器为投影屏幕。在一些实施例中，所述方法可进一步包括检测所述外部显示器上的遮挡区域。在一些实施例中，所述方法可进一步包括其中所述遮挡区域为投射在投影屏幕上的阴影。在一些实施例中，所述方法可进一步包括其中所述遮挡区域为电视机屏幕上被对象阻挡的区域。在一些实施例中，所述方法可进一步包括在所述本地显示器上渲染被所述遮挡区域阻挡的内容。在一些实施例中，所述方法可进一步包括应用视图转换至所述第一及第二虚拟元素中的至少一者。在一些实施例中，所述方法可进一步包括其中所述视图转换为模型视图转换。在一些实施例中，所述方法可进一步包括其中所述视图转换基于视口设置。在一些实施例中，所述方法可进一步包括其中所述视图转换基于用户头部跟踪而被确定。在一些实施例中，所述方法可进一步包括基于自然眼睛适应，分别将所述第一及第二虚拟元素分配至所述外部显示器及本地显示器。在一些实施例中，所述方法可进一步包括生成虚拟环境模型，该模型包括外部显示器相对于用户的虚拟布局。在一些实施例中，所述方法可进一步包括其中所述虚拟环境模型包括相对外部显示器距离。在一些实施例中，所述方法可进一步包括其中所述虚拟环境模型包括一个或多个对象相对于外部显示器及用户的位置信息。在一些实施例中，所述方法可进一步包括其中基于所述虚拟环境模型确定遮挡。在一些实施例中，所述方法可进一步包括其中所述虚拟环境模型基于来自深度传感器的传感器数据而被计算。在一些实施例中，所述方法可进一步包括检测所述本地显示器与外部显示器之间的重叠区域。在一些实施例中，所述方法可进一步包括其中在所述本地显示器上的所述重叠区域内显示所述外部显示器的内容。在一些实施例中，所述方法可进一步包括利用掩蔽颜色渲染所述外部显示器的所述重叠区域。在一些实施例中，所述方法可进一步包括检测所述外部和/或本地显示器上的图像假影。在一些实施例中，所述方法可进一步包括其中所述图像假影为遮挡。在一些实施例中，所述方法可进一步包括其中所述图像假影为所述本地及外部显示器之间的重叠部分。在一些实施例中，所述方法可进一步包括其中所述本地显示器可扩展所述外部显示器的显示区域。在一些实施例中，所述方法可进一步包括在第二外部显示器上显示第三虚拟元素，该第三虚拟元素分割自所述3D内容。在一些实施例中，所述方法可进一步包括其中所述本地显示器桥接所述外部显示器与所述第二外部显示器之间的间隙。在一些实施例中，所述方法可进一步包括其中所述外部显示器及第二外部显示器为主动立体显示器，每一者具有相应显示频率。在一些实施例中，所述方法可进一步包括使用附着至所述本地显示器的摄像机来检测所述相应显示频率。在一些实施例中，所述方法可进一步包括其中所述相应显示频率是不同的。在一些实施例中，所述方法可进一步包括其中所述本地显示器用作快门眼镜，且其中所述本地显示器以所述相应显示频率中的第一显示频率针对所述外部显示器阻挡第一眼睛，且其中所述本地显示器以所述相应显示频率中的第二显示频率针对所述第二外部显示器阻挡所述第一眼镜。在一些实施例中，所述方法可进一步包括其中所述外部显示器是主动立体显示器。在一些实施例中，所述方法可进一步包括其中所述本地显示器阻挡用户第一眼睛并针对所述用户的第二眼睛显示所述第一及第二虚拟元素。在一些实施例中，所述方法可进一步包括其中阻挡所述第一眼睛包括阻挡从所述第一眼睛看时，被所述外部显示器占用的本地显示器部分。在一些实施例中，所述方法可进一步包括针对所述第一眼睛在所述本地显示器上显示RGB图像。
在一实施例中，存在如下设备，该设备包括：传输单元，被配置为将视频展示流至外部显示器；安装在头戴式显示器上的摄像机，被配置为确定所述视频展示针对用户被遮蔽的部分；以及所述头戴式显示器上的透明屏幕，被配置为显示所述视频展示的所述被遮蔽的部分。在一些实施例中，所述设备可进一步包括其中显示在所述头戴式显示器上的所述视频展示的所述被遮蔽的部分从用户的角度与外部显示器上的所述视频展示相对准。在一些实施例中，所述设备可进一步包括其中所述外部显示器为电视机屏幕。在一些实施例中，所述设备可进一步包括转换模块，被配置为通过根据视图转换修改原始视频展示而生成所述视频展示。在一些实施例中，所述设备可进一步包括其中所述视图转换为模型视图转换。在一些实施例中，所述设备可进一步包括其中所述视图转换基于视口设置。在一些实施例中，所述设备可进一步包括其中所述视图转换基于用户头部跟踪。在一些实施例中，所述设备可进一步包括其中所述视图转换基于虚拟环境模型。在一些实施例中，所述设备可进一步包括处理器，该处理器被配置为：生成所述用户环境的虚拟环境模型；以及基于该虚拟环境模型，确定所述被遮蔽的部分。在一些实施例中，所述设备可进一步包括其中所述处理器至少部分响应于接收到来自所述头戴式显示器上的传感器的传感器数据，生成所述虚拟环境模型。在一些实施例中，所述设备可进一步包括其中所述传感器包括选自由以下各项构成的集合的设备:光学传感器、磁性传感器、深度传感器以及声音跟踪传感器。
在一实施例中，存在如下系统，该系统包括：投影仪，被配置为将视频展示投影至表面；传感器，被配置为确定所投影的视频展示的部分存在阴影；以及头戴式显示器，被配置为显示所述视频展示的阴影部分。在一些实施例中，所述系统可进一步包括其中显示在所述头戴式显示器上的所述视频展示的所述阴影部分从用户的角度与所投影的视频展示相对准。在一些实施例中，所述系统可进一步包括其中所述投影仪被配置为关闭与被所投影的视频展示的阴影部分占用的视频展示相对应的区域。在一些实施例中，所述系统可进一步包括其中所述投影仪被安装至所述头戴式显示器。在一些实施例中，所述系统可进一步包括其中所述投影仪相对于所述头戴式显示器位于外部。
在一实施例中，存在如下设备，该设备包括：流模块，被配置为在第一外部显示器上显示视频展示的第一部分以及在第二外部显示器上显示所述视频展示的第二部分；以及头戴式显示器，被配置为显示所述视频展示的第三部分，其中该第三部分被显示在所述第一及第二外部显示器之间的空间内。在一些实施例中，所述设备可进一步包括其中所述视频展示的所述第三部分从所述头戴式显示器的用户的角度与所述第一及第二部分相对准。在一些实施例中，所述设备可进一步包括其中所述第一及第二外部显示器为主动立体显示器。在一些实施例中，所述设备可进一步包括其中所述第一及第二外部显示器分别具有相应的第一及第二显示频率。在一些实施例中，所述设备可进一步包括安装在所述头戴式显示器上的摄像机，被配置为检测所述第一及第二显示频率。在一些实施例中，所述设备可进一步包括其中所述头戴式显示器为半透明显示器，且被配置为针对第一眼睛以分别以所述第一及第二显示频率独立阻挡所述半透明显示器对应于所述第一及第二外部显示器的区域。在一些实施例中，所述设备可进一步包括其中所述头戴式显示器被配置为针对所述第一眼睛及第二眼睛以所述第一及第二所检测的显示频率分别交替阻挡所述半透明显示器对应于所述第一及第二外部显示器的区域。在一些实施例中，所述设备可进一步包括第一及第二快门定时同步信号发射机，被配置为分别接收所述第一及第二显示频率。
在一实施例中，存在如下设备，该设备包括：流模块，被配置为在第一外部显示器上显示视频展示的第一部分以及在第二外部显示器上显示所述视频展示的第二部分；以及头戴式显示器，被配置为显示所述视频展示的第三部分，其中该第三部分与所述第一或第二外部显示器上的区域的至少部分重叠。在一些实施例中，所述设备可进一步包括其中所述流模块被配置为掩蔽所述重叠区域。在一些实施例中，所述设备可进一步包括其中掩蔽包括翻转所述重叠区域内的像素。在一些实施例中，所述设备可进一步包括其中掩蔽包括在所述重叠区域内显示掩蔽颜色。在一些实施例中，所述设备可进一步包括其中所述掩蔽颜色为黑色。
在一实施例中，存在如下设备，该设备包括：前向摄像机，被配置为捕获环境内第一及第二显示设备的部分的图像，该第一及第二显示设备显示与增强显示(AR)展示相关的第一及第二部分内容；以及头戴式显示器，被配置显示与所述AR展示相关的第三部分内容，该第三部分基于使用所述前向摄像机所捕获的所述第一及第二显示设备的部分的所述图像而被确定。在一些实施例中，所述设备进一步包括其中所述确定与所述AR展示相关的第三部分内容包括确定有关与未被所述第一或第二显示设备占用的视场部分相关联的AP展示的部分内容。
在一实施例中，存在如下设备，该设备包括：网络模块，被配置为连接至外部显示器；运行移动应用程序的处理器，所述移动应用程序执行指令，该指令包括截获3D内容集并将该3D内容集分割成第一虚拟元素及第二虚拟元素；流模块，被配置为在所述外部显示器上显示所述第一虚拟元素；以及头戴式显示器，被配置为显示所述第二虚拟元素。在一些实施例中，所述设备可进一步包括其中所述头戴式显示器为光可穿透增强显示(AR)头戴式显示器(HMD)。在一些实施例中，所述设备可进一步包括其中所述外部显示器为电视机。在一些实施例中，所述设备可进一步包括其中所述外部显示器为投影屏幕。在一些实施例中，所述设备可进一步包括摄像机，被配置为检测所述外部显示器上的遮挡区域。在一些实施例中，所述设备可进一步包括其中所述遮挡区域为投射在投影屏幕上的阴影。在一些实施例中，所述设备可进一步包括其中所述遮挡区域为电视机屏幕上被对象阻挡的区域。在一些实施例中，所述设备可进一步包括将被所述遮挡区域阻挡的内容渲染到所述头戴式显示器上。在一些实施例中，所述设备可进一步包括其中所述移动应用程序被进一步配置为应用视图转换至所述第一及第二虚拟元素中的至少一者。在一些实施例中，所述设备可进一步包括其中所述视图转换为模型视图转换。在一些实施例中，所述设备可进一步包括其中所述视图转换基于视口设置。在一些实施例中，所述设备可进一步包括其中所述视图转换基于用户头部跟踪而被确定。在一些实施例中，所述设备可进一步包括其中所述移动应用程序进一步被配置为基于自然眼睛而分别将第一及第二虚拟元素分配至所述外部显示器及本地显示器。在一些实施例中，所述设备可进一步包括其中所述处理器被配置为生成虚拟环境模型，该模型包括所述外部显示器相对于用户的虚拟布局。在一些实施例中，所述设备可进一步包括其中所述虚拟环境模型包括相对外部显示器距离。在一些实施例中，所述设备可进一步包括其中所述虚拟环境模型包括一个或多个对象相对于所述外部显示器和所述用户的位置信息。在一些实施例中，所述设备可进一步包括传感器，该传感器被配置为收集用于确定所述虚拟环境模型的传感器数据。在一些实施例中，所述设备可进一步包括其中所述传感器为选自由以下各项组成的集合的设备：光传感器、磁性传感器、深度传感器、以及声音跟踪传感器。在一些实施例中，所述设备可进一步包括摄像机，该摄像机被配置为检测所述本地显示器和所述外部显示器之间的重叠区域。在一些实施例中，所述设备可进一步包括其中所述头戴式显示器被配置为在所述重叠区域内显示所述外部显示器的内容。在一些实施例中，所述设备可进一步包括其中所述移动应用程序使用掩蔽颜色渲染所述外部显示器的所述重叠区域。在一些实施例中，所述设备可进一步包括摄像机，该摄像机被配置为检测所述外部显示器和/或头戴式显示器上的图像假影。在一些实施例中，所述设备可进一步包括其中所述图像假影为遮挡。在一些实施例中，所述设备可进一步包括其中所述图像假影为所述本地及外部显示器之间的重叠部分。在一些实施例中，所述设备可进一步包括其中所述本地显示器可扩展所述外部显示器的显示区域。在一些实施例中，所述设备可进一步包括其中所述流模块被配置为将第三虚拟元素显示到第二外部显示器上，该第三虚拟元素分割自3D内容。在一些实施例中，所述设备可进一步包括其中所述头戴式显示器被配置为将所述第二部分显示在所述外部显示器与所述第二外部显示器之间。在一些实施例中，所述设备可进一步包括其中所述外部显示器及第二外部显示器为主动立体显示器，每一者具有相应的显示频率。在一些实施例中，所述设备可进一步包括摄像机，被配置为使用附着至所述本地显示器的摄像机检测相应的显示频率。在一些实施例中，所述设备可进一步包括其中所述相应显示频率是不同的。在一些实施例中，所述设备可进一步包括其中所述头戴式显示器被配置为以所述相应显示频率中的第一频率针对所述外部显示器阻挡第一眼睛，且其中所述头戴式显示器被配置为以所述相应显示频率中的第二频率针对所述第二外部显示器阻挡所述第一眼睛。在一些实施例中，所述设备可进一步包括其中所述外部显示器为主动立体显示器。在一些实施例中，所述设备可进一步包括其中所述头戴式显示器被配置为阻挡用户的第一眼睛并针对所述用户的第二眼睛显示所述第一及第二虚拟元素。在一些实施例中，所述设备可进一步包括其中阻挡所述第一眼睛包括阻挡从第一眼睛看被所述外部时，显示器占用的所述头戴式显示器的部分。在一些实施例中，所述设备可进一步包括指令，该指令用于在所述本地显示器上显示针对所述第一眼睛的RGB图像。

Claims (15)

1.一种方法，包括：
使用与增强显示(AR)头戴式显示器(HMD)相关联的前向摄像机捕获第一屏幕的部分的图像；
响应地确定所述捕获的图像包括显示在所述第一屏幕上的第一部分内容，该第一部分内容与AR展示有关；以及
配置所述AR HMD以与所述第一部分内容在所述第一屏幕上的所述显示相关联的频率产生影像，同时所述AR HMD还展示与所述AR展示相关的第二部分内容。
2.根据权利要求1所述的方法，其中有关所述AR展示的所述第一部分内容被显示作为立体投影的交替帧。
3.根据权利要求1-2中任意权利要求所述的方法，其中所产生的影像充当交替的左右快门。
4.根据权利要求1-3中任意权利要求所述的方法，其中与所述AR展示有关的所述第二部分内容的左眼影像被显示在所述AR HMD的与所述左眼显示相关联的部分，而用于产生针对所述右眼的快门效果的影像被显示在所述AR HMD的与所述右眼显示相关联的部分。
5.根据权利要求1-4中任意权利要求所述的方法，其中与所述AR展示有关的所述第二部分内容的右眼影像被显示在所述AR HMD的与所述右眼显示相关联的部分，而用于产生针对所述左眼的快门效果的影像被显示在所述AR HMD的与所述左眼显示相关联的部分。
6.根据权利要求1-5中任意权利要求所述的方法，其中同步是通过对捕获所述第一屏幕的图像的摄像机信号进行分析而被确定的。
7.根据权利要求1-6中任意权利要求所述的方法，进一步包括检测所述第一屏幕的所述图像的频率。
8.根据权利要求7所述的方法，所述检测是通过图像分析而被完成的。
9.根据权利要求7所述的方法，其中所述检测是通过遮挡分析而被完成的。
10.根据权利要求1-9中任意权利要求所述的方法，进一步包括：
使用与所述AR HMD相关联的所述前向摄像机捕获第二屏幕的部分的第二图像；以及
确定所述捕获的第二图像包括显示在所述第二屏幕上的第三部分内容，该第三部分内容与所述AR展示有关，
其中所述AR HMD基于所述第一屏幕的所述部分的所述捕获的图像以及所述第二屏幕的所述部分的所述捕获的图像，确定所述第二部分内容以由所述AR HMD进行展示。
11.根据权利要求10所述的方法，其中所述AR HMD基于所述内容的与未被所述第一屏幕或所述第二屏幕占用的视野部分相关联的与所述AR展示有关的部分，确定所述第二部分内容。
12.一种设备，包括：
网络模块，被配置为连接至外部显示器；
处理器，运行移动应用程序，该移动应用程序执行包含以下操作的指令：
截获3D内容集；
将所述3D内容集分割为第一虚拟元素及第二虚拟元素；
流模块，被配置为在所述外部显示器上显示所述第一虚拟元素；以及
头戴式显示器，被配置为显示所述第二虚拟元素。
13.根据权利要求12所述的设备，其中所述流模块被配置为在第二外部显示器上显示第三虚拟元素，该第三虚拟元素分割自所述3D内容。
14.根据权利要求12所述的设备，其中所述外部显示器及所述第二外部显示器为主动立体显示器，每一者具有相应的显示频率。
15.根据权利要求14所述的设备，其中所述头戴式显示器被配置为用作为快门眼镜，且其中所述头戴式显示器被配置为以所述相应显示频率中的第一显示频率针对所述外部显示器阻挡第一眼睛，且其中所述头戴式显示器配置为以所述相应显示频率中的第二显示频率针对所述第二外部显示器阻挡所述第一眼睛。
CN201680058637.3A 2015-10-08 2016-09-30 用于动态显示器配置的自动校准的方法及系统 Active CN108139803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110366934.7A CN113190111A (zh) 2015-10-08 2016-09-30 一种方法和设备

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562239143P 2015-10-08 2015-10-08
US62/239,143 2015-10-08
US201562260069P 2015-11-25 2015-11-25
US62/260,069 2015-11-25
US201562261029P 2015-11-30 2015-11-30
US62/261,029 2015-11-30
PCT/US2016/054931 WO2017062289A1 (en) 2015-10-08 2016-09-30 Methods and systems of automatic calibration for dynamic display configurations

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110366934.7A Division CN113190111A (zh) 2015-10-08 2016-09-30 一种方法和设备

Publications (2)

Publication Number Publication Date
CN108139803A true CN108139803A (zh) 2018-06-08
CN108139803B CN108139803B (zh) 2021-04-20

Family

ID=57218980

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680058637.3A Active CN108139803B (zh) 2015-10-08 2016-09-30 用于动态显示器配置的自动校准的方法及系统
CN202110366934.7A Pending CN113190111A (zh) 2015-10-08 2016-09-30 一种方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110366934.7A Pending CN113190111A (zh) 2015-10-08 2016-09-30 一种方法和设备

Country Status (4)

Country Link
US (4) US10545717B2 (zh)
EP (2) EP3629136B1 (zh)
CN (2) CN108139803B (zh)
WO (1) WO2017062289A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194942A (zh) * 2018-11-13 2019-01-11 宁波视睿迪光电有限公司 一种裸眼3d视频播放方法、终端和服务器
CN109408128A (zh) * 2018-11-10 2019-03-01 歌尔科技有限公司 分体式ar设备通信方法及ar设备
CN109739353A (zh) * 2018-12-27 2019-05-10 重庆上丞科技有限公司 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
CN109769111A (zh) * 2018-11-22 2019-05-17 利亚德光电股份有限公司 图像显示方法、装置、系统、存储介质和处理器
CN109814823A (zh) * 2018-12-28 2019-05-28 努比亚技术有限公司 3d模式切换方法、双面屏终端及计算机可读存储介质
CN112306353A (zh) * 2020-10-27 2021-02-02 北京京东方光电科技有限公司 扩展现实设备及其交互方法
CN113226499A (zh) * 2019-01-11 2021-08-06 环球城市电影有限责任公司 能够穿戴的可视化系统及方法
CN113711175A (zh) * 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备
US11187823B2 (en) * 2019-04-02 2021-11-30 Ascension Technology Corporation Correcting distortions
CN114128303A (zh) * 2019-06-28 2022-03-01 Pcms控股公司 用于混合格式空间数据分配和呈现的系统和方法

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
KR102434497B1 (ko) 2017-02-03 2022-08-18 워너 브로스. 엔터테인먼트 인크. 가상 현실에서 확장 비디오의 렌더링
WO2018183405A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
CA3060209A1 (en) * 2017-05-01 2018-11-08 Magic Leap, Inc. Matching content to a spatial 3d environment
US10607399B2 (en) * 2017-05-22 2020-03-31 Htc Corporation Head-mounted display system, method for adaptively adjusting hidden area mask, and computer readable medium
EP3531244A1 (en) * 2018-02-26 2019-08-28 Thomson Licensing Method, apparatus and system providing alternative reality environment
WO2019034975A1 (en) * 2017-08-14 2019-02-21 Imax Theatres International Limited WIRELESS CONTENT DELIVERY FOR PAVED LED DISPLAY
US20200371378A1 (en) * 2017-08-23 2020-11-26 Pcms Holdings, Inc. Light field image engine method and apparatus for generating projected 3d light fields
US11624934B2 (en) 2017-11-02 2023-04-11 Interdigital Madison Patent Holdings, Sas Method and system for aperture expansion in light field displays
KR102029906B1 (ko) * 2017-11-10 2019-11-08 전자부품연구원 이동수단의 가상현실 콘텐츠 제공 장치 및 방법
CN111684795B (zh) * 2017-12-15 2022-08-12 Pcms控股公司 用于在360°视频导航中使用查看路径的方法
CN111684495A (zh) 2017-12-22 2020-09-18 奇跃公司 用于在混合现实系统中管理和显示虚拟内容的方法和系统
US10585294B2 (en) 2018-02-19 2020-03-10 Microsoft Technology Licensing, Llc Curved display on content in mixed reality
IL301443A (en) 2018-02-22 2023-05-01 Magic Leap Inc A browser for mixed reality systems
IL301281A (en) 2018-02-22 2023-05-01 Magic Leap Inc Shoot an object with physical manipulation
CN110554770A (zh) * 2018-06-01 2019-12-10 苹果公司 静态遮挡物
CN112385209B (zh) * 2018-07-17 2023-04-14 索尼公司 头戴式显示器以及头戴式显示器的控制方法、信息处理装置以及显示装置
US11355019B2 (en) * 2018-08-24 2022-06-07 AeroCine Ventures, Inc. Motion tracking interface for planning travel path
US10627565B1 (en) * 2018-09-06 2020-04-21 Facebook Technologies, Llc Waveguide-based display for artificial reality
US11209650B1 (en) 2018-09-06 2021-12-28 Facebook Technologies, Llc Waveguide based display with multiple coupling elements for artificial reality
US10567744B1 (en) * 2018-09-24 2020-02-18 Cae Inc. Camera-based display method and system for simulators
WO2020065497A1 (en) * 2018-09-24 2020-04-02 Cae Inc. Camera based display method and system for simulators
US10567743B1 (en) * 2018-09-24 2020-02-18 Cae Inc. See-through based display method and system for simulators
WO2020096743A1 (en) * 2018-11-09 2020-05-14 Beckman Coulter, Inc. Service glasses with selective data provision
EP3891546A4 (en) 2018-12-07 2022-08-24 Avegant Corp. STEERING POSITIONING ELEMENT
CN113412442A (zh) 2019-01-07 2021-09-17 阿维甘特公司 控制系统和渲染管道
EP3912561B1 (en) * 2019-01-15 2024-04-10 FUJIFILM Corporation Ultrasonic system and method for controlling ultrasonic system
KR102649783B1 (ko) 2019-03-29 2024-03-20 아브간트 코포레이션 도파관을 사용한 조향 가능한 하이브리드 디스플레이
US10789780B1 (en) * 2019-03-29 2020-09-29 Konica Minolta Laboratory U.S.A., Inc. Eliminating a projected augmented reality display from an image
JP7440532B2 (ja) 2019-04-03 2024-02-28 マジック リープ， インコーポレイテッド 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
JP2022540350A (ja) 2019-06-28 2022-09-15 ピーシーエムエス ホールディングス インコーポレイテッド 調整可能な液晶（ｌｃ）ディフューザに基づいたライトフィールド（ｌｆ）ディスプレイのための光学的方法およびシステム
US11508131B1 (en) 2019-11-08 2022-11-22 Tanzle, Inc. Generating composite stereoscopic images
FR3104743B1 (fr) * 2019-12-17 2022-07-15 Orange Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants.
CN113010125B (zh) 2019-12-20 2024-03-19 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
CN114930226A (zh) 2020-01-06 2022-08-19 阿维甘特公司 具有颜色特定调制的头戴式系统
WO2021182124A1 (ja) * 2020-03-10 2021-09-16 ソニーグループ株式会社 情報処理装置、及び情報処理方法
WO2021239223A1 (en) * 2020-05-27 2021-12-02 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for controlling display of content
GB2598927B (en) * 2020-09-18 2024-02-28 Sony Interactive Entertainment Inc Apparatus and method for data aggregation
CN113189776B (zh) * 2021-04-25 2022-09-20 歌尔股份有限公司 增强现实设备的校准系统、校准方法以及校准装置
DE102021206565A1 (de) 2021-06-24 2022-12-29 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität
US11580734B1 (en) * 2021-07-26 2023-02-14 At&T Intellectual Property I, L.P. Distinguishing real from virtual objects in immersive reality
US20240070959A1 (en) * 2022-08-25 2024-02-29 Acer Incorporated Method and computer device for 3d scene generation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
JP2014170374A (ja) * 2013-03-04 2014-09-18 Kddi Corp 光学式シースルー型ｈｍｄを用いたａｒシステム
CN104238119A (zh) * 2013-06-12 2014-12-24 精工爱普生株式会社 头戴式显示装置以及头戴式显示装置的控制方法
CN104380347A (zh) * 2012-06-29 2015-02-25 索尼电脑娱乐公司 视频处理设备、视频处理方法和视频处理系统
CN104508538A (zh) * 2012-07-24 2015-04-08 索尼公司 图像显示装置及图像显示方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60126945A (ja) 1983-12-14 1985-07-06 Hitachi Ltd ポ−リング方式
US5086354A (en) 1989-02-27 1992-02-04 Bass Robert E Three dimensional optical viewing system
US5633993A (en) 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
US5956180A (en) 1996-12-31 1999-09-21 Bass; Robert Optical viewing system for asynchronous overlaid images
DE69842156D1 (de) 1998-02-20 2011-04-14 Puredepth Ltd Mehrschichtige anzeigevorrichtung und verfahren zuevorrichtung
US6525699B1 (en) 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
US20040004623A1 (en) 1998-12-11 2004-01-08 Intel Corporation Apparatus, systems, and methods to control image transparency
US7342721B2 (en) 1999-12-08 2008-03-11 Iz3D Llc Composite dual LCD panel display suitable for three dimensional imaging
AU2773301A (en) 2000-01-06 2001-07-16 Hd Media, Inc. System and method for distributing and controlling the output of media in publicspaces
US7133083B2 (en) 2001-12-07 2006-11-07 University Of Kentucky Research Foundation Dynamic shadow removal from front projection displays
JP3880561B2 (ja) 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
SE530896C2 (sv) * 2005-04-01 2008-10-14 Diaspect Medical Ab Anordning för att fastställa en hemoglobinkoncentration i blod
US7533349B2 (en) 2006-06-09 2009-05-12 Microsoft Corporation Dragging and dropping objects between local and remote modules
JP4270264B2 (ja) 2006-11-01 2009-05-27 セイコーエプソン株式会社 画像補正装置、プロジェクションシステム、画像補正方法、画像補正プログラム、および記録媒体
US8269822B2 (en) 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
US9423995B2 (en) 2007-05-23 2016-08-23 Google Technology Holdings LLC Method and apparatus for re-sizing an active area of a flexible display
US20080320126A1 (en) 2007-06-25 2008-12-25 Microsoft Corporation Environment sensing for interactive entertainment
US8203577B2 (en) * 2007-09-25 2012-06-19 Microsoft Corporation Proximity based computer display
US7953462B2 (en) 2008-08-04 2011-05-31 Vartanian Harry Apparatus and method for providing an adaptively responsive flexible display device
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20100321275A1 (en) 2009-06-18 2010-12-23 Microsoft Corporation Multiple display computing device with position-based operating modes
US20100328447A1 (en) 2009-06-26 2010-12-30 Sony Computer Entertainment, Inc. Configuration of display and audio parameters for computer graphics rendering system having multiple displays
US8684531B2 (en) * 2009-12-28 2014-04-01 Vision3D Technologies, Llc Stereoscopic display device projecting parallax image and adjusting amount of parallax
US8384774B2 (en) * 2010-02-15 2013-02-26 Eastman Kodak Company Glasses for viewing stereo images
US20130038702A1 (en) * 2010-03-09 2013-02-14 Imax Corporation System, method, and computer program product for performing actions based on received input in a theater environment
US20110221962A1 (en) 2010-03-10 2011-09-15 Microsoft Corporation Augmented reality via a secondary channel
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
WO2012020866A1 (ko) 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
US9035939B2 (en) 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
US9946076B2 (en) 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
KR20120064557A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법
US9367224B2 (en) 2011-04-29 2016-06-14 Avaya Inc. Method and apparatus for allowing drag-and-drop operations across the shared borders of adjacent touch screen-equipped devices
US9648301B2 (en) * 2011-09-30 2017-05-09 Moon Key Lee Image processing system based on stereo image
US8711091B2 (en) 2011-10-14 2014-04-29 Lenovo (Singapore) Pte. Ltd. Automatic logical position adjustment of multiple screens
TW201328323A (zh) * 2011-12-20 2013-07-01 Novatek Microelectronics Corp 快門眼鏡、立體影像系統及快門眼鏡控制方法
CN103959344B (zh) 2011-12-20 2017-03-01 英特尔公司 跨越多个设备的增强现实表示
US8479226B1 (en) * 2012-02-21 2013-07-02 The Nielsen Company (Us), Llc Methods and apparatus to identify exposure to 3D media presentations
JP5483761B2 (ja) * 2012-06-29 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US9833698B2 (en) 2012-09-19 2017-12-05 Disney Enterprises, Inc. Immersive storytelling environment
GB2506203B (en) 2012-09-25 2016-12-14 Jaguar Land Rover Ltd Method of interacting with a simulated object
US9323057B2 (en) 2012-12-07 2016-04-26 Blackberry Limited Mobile device, system and method for controlling a heads-up display
CN105103541B (zh) 2013-02-19 2017-03-08 宜客斯股份有限公司 图案位置检测方法、图案位置检测系统以及应用了这些的画质调整技术
US8988343B2 (en) 2013-03-29 2015-03-24 Panasonic Intellectual Property Management Co., Ltd. Method of automatically forming one three-dimensional space with multiple screens
KR20140130321A (ko) * 2013-04-30 2014-11-10 (주)세이엔 착용형 전자 장치 및 그의 제어 방법
KR102077105B1 (ko) * 2013-09-03 2020-02-13 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
KR101510340B1 (ko) 2013-10-14 2015-04-07 현대자동차 주식회사 신체 착용 컴퓨터
US9691181B2 (en) 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
KR101875669B1 (ko) 2014-07-01 2018-08-02 엘지전자 주식회사 외부 장치를 이용한 방송 데이터 처리 방법 및 장치
CN104299249B (zh) * 2014-08-20 2016-02-24 深圳大学 高鲁棒性的标志点解码方法及系统
US10445798B2 (en) 2014-09-12 2019-10-15 Onu, Llc Systems and computer-readable medium for configurable online 3D catalog
US9584915B2 (en) 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US10019849B2 (en) 2016-07-29 2018-07-10 Zspace, Inc. Personal electronic device with a display system
US10380762B2 (en) 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
US10522113B2 (en) 2017-12-29 2019-12-31 Intel Corporation Light field displays having synergistic data formatting, re-projection, foveation, tile binning and image warping technology

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
CN104380347A (zh) * 2012-06-29 2015-02-25 索尼电脑娱乐公司 视频处理设备、视频处理方法和视频处理系统
CN104508538A (zh) * 2012-07-24 2015-04-08 索尼公司 图像显示装置及图像显示方法
JP2014170374A (ja) * 2013-03-04 2014-09-18 Kddi Corp 光学式シースルー型ｈｍｄを用いたａｒシステム
CN104238119A (zh) * 2013-06-12 2014-12-24 精工爱普生株式会社 头戴式显示装置以及头戴式显示装置的控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICHAEL FIGL等: "The Control Unit for a Head Mounted Operating Microscope Used for Augmented Reality Visualization in Computer Aided Sugery", 《ISMAR "02: PROCEEDINGS OF THE 1ST INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 *
王涌天等: "亦真亦幻的户外增强现实系统——圆明园的数字重建", 《中国科学基金》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408128A (zh) * 2018-11-10 2019-03-01 歌尔科技有限公司 分体式ar设备通信方法及ar设备
CN109194942A (zh) * 2018-11-13 2019-01-11 宁波视睿迪光电有限公司 一种裸眼3d视频播放方法、终端和服务器
CN109194942B (zh) * 2018-11-13 2020-08-11 宁波视睿迪光电有限公司 一种裸眼3d视频播放方法、终端和服务器
CN109769111A (zh) * 2018-11-22 2019-05-17 利亚德光电股份有限公司 图像显示方法、装置、系统、存储介质和处理器
CN109739353A (zh) * 2018-12-27 2019-05-10 重庆上丞科技有限公司 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
CN109814823A (zh) * 2018-12-28 2019-05-28 努比亚技术有限公司 3d模式切换方法、双面屏终端及计算机可读存储介质
CN113226499B (zh) * 2019-01-11 2023-09-26 环球城市电影有限责任公司 能够穿戴的可视化系统及方法
CN113226499A (zh) * 2019-01-11 2021-08-06 环球城市电影有限责任公司 能够穿戴的可视化系统及方法
US11187823B2 (en) * 2019-04-02 2021-11-30 Ascension Technology Corporation Correcting distortions
CN114128303A (zh) * 2019-06-28 2022-03-01 Pcms控股公司 用于混合格式空间数据分配和呈现的系统和方法
US11900532B2 (en) 2019-06-28 2024-02-13 Interdigital Vc Holdings, Inc. System and method for hybrid format spatial data distribution and rendering
CN113711175A (zh) * 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备
CN112306353B (zh) * 2020-10-27 2022-06-24 北京京东方光电科技有限公司 扩展现实设备及其交互方法
CN112306353A (zh) * 2020-10-27 2021-02-02 北京京东方光电科技有限公司 扩展现实设备及其交互方法

Also Published As

Publication number Publication date
CN113190111A (zh) 2021-07-30
EP3360029A1 (en) 2018-08-15
EP3360029B1 (en) 2019-11-13
EP3629136B1 (en) 2024-04-17
US11544031B2 (en) 2023-01-03
WO2017062289A1 (en) 2017-04-13
US11868675B2 (en) 2024-01-09
US10545717B2 (en) 2020-01-28
CN108139803B (zh) 2021-04-20
EP3629136A1 (en) 2020-04-01
US20240103795A1 (en) 2024-03-28
US20230119930A1 (en) 2023-04-20
US20200089458A1 (en) 2020-03-19
US20180293041A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
CN108139803A (zh) 用于动态显示器配置的自动校准的方法及系统
US20230245395A1 (en) Re-creation of virtual environment through a video call
US10019831B2 (en) Integrating real world conditions into virtual imagery
EP3242274B1 (en) Method and device for displaying three-dimensional objects
CN108830939B (zh) 一种基于混合现实的场景漫游体验方法及体验系统
CN104519334B (zh) 立体图像显示装置、终端装置、立体图像显示方法及其程序
CN109565567A (zh) 三维遥现系统
CN108369457A (zh) 用于混合现实的现实混合器
CN108292489A (zh) 信息处理装置和图像生成方法
CN109863533A (zh) 虚拟、增强和混合现实系统和方法
CN108351691A (zh) 用于虚拟图像的远程渲染
JP7135123B2 (ja) 動的領域分解能を有する仮想／拡張現実システム
CN106569044B (zh) 基于沉浸式虚拟现实系统的电磁频谱态势观测方法
CN110537208A (zh) 头戴式显示器和方法
CN105432078A (zh) 双目注视成像方法和设备
CN108509173A (zh) 图像展示系统及方法、存储介质、处理器
CN108205823A (zh) Mr全息真空体验店和体验方法
CN109714588A (zh) 多视点立体图像定位输出方法、装置、设备以及存储介质
CN112367516B (zh) 一种基于空间定位的三维显示系统
CN113875230B (zh) 混合模式三维显示方法
US11310472B2 (en) Information processing device and image generation method for projecting a subject image onto a virtual screen
CN111782063B (zh) 实时显示方法、系统及计算机可读存储介质和终端设备
WO2024040430A1 (en) Method and apparatus to extend field of view of an augmented reality device
Zanaty et al. 3D visualization for Intelligent Space: Time-delay compensation in a remote controlled environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230919

Address after: Delaware USA

Patentee after: Interactive Digital VC Holdings

Address before: Wilmington, Delaware, USA

Patentee before: PCMS HOLDINGS, Inc.