CN114600062A - 利用显示设备的物理位置的设备管理器 - Google Patents

Abstract

系统和方法可以提供包括多个显示设备的计算系统。利用由显示设备的诸如例如图像传感器和位置传感器的传感器收集的数据来确定真实世界环境中的每个显示设备的位置和/或定向。该显示设备的相对定位的标识和利用可以被用于配置和重新配置显示设置、所设置的显示优先级、内容的控制移动以及响应与内容管理相关的基于手势的命令。

Description

利用显示设备的物理位置的设备管理器

相关申请的交叉引用

本申请要求2019年10月11日提交的美国非临时申请No.16/599,383的权益，其要求2019年9月26日提交的美国临时申请No.62/906,586的权益，这两个申请的标题均为“DEVICE MANAGER THAT UTILIZES PHYSICAL POSITION OF DISPLAY DEVICES(利用显示设备的物理位置的设备管理器)”，这两个申请的公开内容通过引用整体并入本文中。

本申请要求2019年9月26日提交的、标题为“DEVICE MANAGER THAT UTILIZESPHYSICAL POSITION OF DISPLAY DEVICES(利用显示设备的物理位置的设备管理器)”的美国临时申请No.62/906,586的权益，其公开内容通过引用整体并入本文中。

技术领域

本说明书总体上涉及包括多个显示设备的计算系统。

背景技术

计算系统能够包括一个或多个图形用户界面，其提供与多个计算应用、功能等的用户交互。图形用户界面可以被显示在可操作地耦合在计算系统内的一个或多个显示设备或监视器上。当管理多个显示设备的操作时，用户可以手动地选择、或指配、或设置显示设备在例如计算系统的操作系统的设置模块中的顺序。

发明内容

一种用于检测、设置和更新计算系统中的多个显示设备的相对物理位置的系统可以增强系统的功能，并且可以改进用户的体验。通过标识显示器相对于彼此被定位在物理空间中的何处，而没有用户的手动输入和屏幕指配，可以提供窗口管理器，其能够在没有用户干预的情况下配置显示器设置，并且能够增强用户与显示器上呈现的内容的自然、直观交互。显示器设置的配置，例如，智能配置，能够提供对多屏幕环境中特别是在一个或多个显示设备是移动的情况下的计算机的改进的控制。

在一个总体方面，该方法可以包括：由计算设备的处理器检测物理环境中的多个显示设备，该多个显示设备被可操作地耦合到物理环境中的计算设备，由处理器从多个显示设备的多个传感器接收与物理环境相关的数据，由处理器基于从多个显示设备的多个传感器接收到的数据来检测物理环境中的多个显示设备中的每个显示设备的物理位置，以及由处理器控制以下各项中的至少一个：基于多个显示设备的检测到的物理位置在多个显示设备中的至少两个显示设备上显示的内容，或者辅助设备与多个显示设备的交互。

在一些实施方式中，控制在多个显示设备上显示的内容可以包括检测用户输入，以及响应于用户输入来控制内容的显示。在一些实施方式中，检测用户输入可以包括检测将所显示的内容从多个显示设备中的第一显示设备移动到第二显示设备的控制器输入，并且控制内容可以包括将所显示的内容从多个显示设备中的第一显示设备上的显示位置移动到第二显示设备上的显示位置。在一些实施方式中，将所显示的内容从第一显示设备移动到第二显示设备可以包括响应于第一显示设备和第二显示设备的检测到的物理位置，将所显示的内容的位置和定向从第一显示设备上的第一位置和第一定向调整到第二显示设备上的第二位置和第二定向。在一些实施方式中，第一显示设备的物理定向可以不同于第二显示设备的物理定向。例如，第一显示设备可以被基本上水平地定向，并且第二显示设备可以被基本上竖直地定向。

在一些实施方式中，将所显示的内容从第一显示设备移动到第二显示设备可以包括基于物理空间中的第一显示设备的检测到的物理位置和物理空间中的第二显示设备的检测到的物理位置来检测第一显示设备和第二显示设备之间的物理不连续性，以及基于检测到的物理不连续性来调整所显示的内容从第一显示设备到第二显示设备的移动。在一些实施方式中，检测物理不连续性可以包括以下中的至少一个：检测第一显示设备的检测到的物理位置与第二显示设备的检测到的物理位置之间的物理间隙，或者检测围绕第一显示设备或第二显示设备中的至少一个的显示区域的物理边框区域。在一些实施方式中，调整所显示的内容的移动可以包括延迟第二显示设备上的内容的显示以对应于所显示的内容通过物理不连续性的移动。

在一些实施方式中，检测物理环境中的多个显示设备中的每个显示设备的物理位置可以包括从多个显示设备中的至少一个显示设备的位置传感器接收定向数据，基于接收到的定向数据来检测至少一个显示设备的物理定向，以及基于该物理定向和从多个显示设备的图像传感器接收到的与物理环境相关的数据来检测至少一个显示设备相对于多个显示设备中的剩余显示设备的物理位置。

在一些实施方式中，该方法还可以包括基于多个显示设备的检测到的物理位置来动态地配置计算设备的显示器设置。可以基于动态地配置的显示器设置来控制在多个显示设备中的至少两个显示设备上显示的内容。在一些实施方式中，该方法还可以包括从多个显示设备中的至少一个显示设备的位置传感器收集移动数据，基于定向数据来检测至少一个显示设备的移动，以及响应于检测多个显示设备中的至少一个显示设备的移动来动态地配置显示器设置。在一些实施方式中，多个显示设备中的至少一个显示设备是移动显示设备。

在一些实施方式中，自动地或动态地配置计算设备的显示器设置包括以下操作中的至少一个：动态地设置多个显示设备的顺序，动态地设置多个显示设备中的主显示设备，或者动态地设置多个显示设备的相对位置。在一些实施方式中，检测多个显示设备中的每个显示设备的物理位置可以包括：从多个显示设备的图像传感器周期性地接收图像传感器数据并且从多个显示设备的位置传感器接收定向数据，基于所更新的图像传感器数据和所更新的定向数据来动态地更新多个显示设备的物理位置，以及基于多个显示设备的所更新的物理位置来动态地更新计算设备的显示器设置。

在一些实施方式中，控制辅助设备与多个显示设备的交互包括控制显示辅助设备或非显示辅助设备与多个显示设备的交互。在一些实施方式中，显示辅助设备可以包括平板计算设备或可穿戴显示设备中的至少一种。在一些实施方式中，可穿戴显示设备可以包括增强现实头戴式显示设备或腕戴式计算设备中的至少一种，并且非显示辅助设备可以包括以下中的至少一种：键盘输入设备、鼠标输入设备或触摸板输入设备。

在另一总体方面，一种方法可以包括：由计算设备的处理器检测物理环境中的多个显示设备，该多个显示设备被可操作地耦合到物理环境中的计算设备，由处理器从多个显示设备的图像传感器接收与物理环境相关的数据，由处理器基于与物理环境相关的数据来检测物理环境中的多个显示设备中的每个显示设备的物理位置，以及基于多个显示设备的检测到的物理位置来自动地或者动态地配置计算设备的显示器设置。

在另一总体方面中，一种有形地体现在非暂时性计算机可读存储介质上的计算机程序产品可以包括指令，该指令在由计算设备执行时可以使计算设备检测物理环境中的多个显示设备，从该多个显示设备接收由多个显示设备的多个传感器收集的数据，基于与物理环境相关的数据基于由多个显示设备的多个传感器收集的数据来检测物理环境中的多个显示设备中的每个显示设备的物理位置，以及控制以下各项中的至少一个：基于多个显示设备的检测到的物理位置在多个显示设备中的至少两个显示设备上显示的内容，或者辅助设备与多个显示设备的交互。这些指令可以被配置成使计算设备执行本文中描述的任何方法。

在一些实施方式中，在控制在多个显示设备上显示的内容时，指令可以使计算设备检测用户输入，该用户输入包括将所显示的内容从多个显示设备中的第一显示设备移动到多个显示设备中的第二显示设备的控制器输入，以及将所显示的内容从多个显示设备中的第一显示设备上的显示位置移动到第二显示设备上的显示位置。在一些实施方式中，在将所显示的内容从第一显示设备移动到第二显示设备时，指令可以使计算设备检测第一显示设备的物理定向与第二显示设备的物理定向不同，以及响应于第一显示设备的检测到的物理定向和第二显示设备的检测到的物理定向，将所显示的内容的位置和定向从第一显示设备上的第一位置和第一定向调整到第二显示设备上的第二位置和第二定向。

在一些实施方式中，在将所显示的内容从第一显示设备移动到第二显示设备时，指令可以使计算设备检测第一显示设备和第二显示设备之间的物理不连续性，检测到的物理不连续性包括以下各项中的至少一个：第一显示设备的检测到的物理位置与第二显示设备的检测到的物理位置之间的物理间隙，或者围绕第一显示设备或第二显示设备中的至少一个的显示区域的物理边框区域，以及调整所显示的内容从第一显示设备到第二显示设备的移动以对应于所显示的内容通过检测到的物理不连续性的移动。

在一些实施方式中，在检测物理环境中的多个显示设备中的每个显示设备的物理位置时，指令可以使计算设备针对多个显示设备中的每个显示设备从显示设备的位置传感器接收定向数据，基于该定向数据来检测显示设备的物理定向，以及基于物理定向和由图像传感器收集的与物理环境相关的数据来检测显示设备相对于多个显示设备中的剩余显示设备的物理位置。在一些实施方式中，指令还可以使计算设备从多个显示设备中的至少一个显示设备的位置传感器接收移动数据，基于该移动数据来检测所述至少一个显示设备的移动，以及响应于多个显示设备中的至少一个显示设备的检测到的移动来动态地更新显示器设置。在一些实施方式中，在检测多个显示设备中的每个显示设备的物理位置时，指令可以使计算设备从多个显示设备的多个传感器周期性地接收图像传感器数据和定向数据，基于所更新的图像传感器数据和所更新的定向数据来动态地更新多个显示设备的物理位置，以及基于多个显示设备的所更新的物理位置来动态地更新计算设备的显示器设置。

一个或多个实施方式的细节在附图和下面的描述中阐述。其它特征从说明书和附图以及权利要求书中将是明显的。

附图说明

图1是根据本文中描述的实施方式的包括多个输出设备的计算系统的框图。

图2图示根据本文中描述的实施方式的包括多个输出设备的计算系统。

图3A-3D图示根据本文中描述的实施方式的示例性计算系统的示例性显示设备的示例性布置。

图4A-4F图示根据本文中描述的实施方式的包括多个显示设备的计算系统中的主显示设备的设置。

图5A-5F图示根据本文中描述的实施方式的包括多个显示设备的计算系统中的显示内容的移动。

图6A-6H图示根据本文中描述的实施方式的包括多个显示设备的计算系统中的显示内容的移动。

图7A-7C图示根据本文中描述的实施方式的示例性计算系统的示例性布置。

图8A-8L图示根据本文中描述的实施方式的包括多个显示设备的计算系统中的手势识别和显示内容的移动。

图9是根据本文中描述的实施方式的操作计算系统的方法的流程图。

图10示出能够被用于实施本文中描述的技术的计算机设备和移动计算机设备的示例。

具体实施方式

用户可以与包括多个显示设备的计算系统进行接洽，以例如促进用户与在多个显示设备上显示的内容的交互。在相同物理方位包括多个物理显示设备的布置中，多个显示设备可能存在问题，因为用户通常将物理地移动/重新布置显示设备和/或手动地重新指配显示器设置，和/或手动地指定显示设备的相对定位以设置和/或改变如何/在哪个显示设备上显示内容。类似地，当例如膝上型计算设备被断开/移动/重新连接时，用户通常将经历类似过程。这可能呈现技术挑战或问题，因为对于用户来说，每当重新连接计算设备、添加和/或移动显示器等时经历该过程可以是复杂的、耗时的等。

根据本文中描述的实施方式，由计算系统提供对上述问题的各种解决方案。根据本文中描述的实施方式，计算系统可以利用由包括在多个显示器中的各种传感器收集的数据来生成(例如，构建)系统正在操作的真实世界环境的三维映射模型。计算系统可以使用该模型以及由包括在多个显示器中的传感器对数据的持续(例如，周期性、连续、随机)的收集，以建立多个显示器中的至少一些(例如，在一些情况下，每个)的物理位置，并且设置(例如，定义、存储)显示器设置，而不需要(例如，基本上不需要)用户输入或用户干预。计算系统可以使用该模型以及由包括在多个显示器中的传感器对数据的持续收集来检测多个显示器的移动、定向的改变、重新布置等，并且相应地重置显示器设置，而不需要用户输入或用户干预，从而提供对每次重新连接计算设备、添加/移除/移动一个或多个显示器等时重新指配显示器设置的问题的解决方案。显示器设置能够包括例如将多个显示器中的一个设置为主显示器、确定要被显示在不同的多个显示器上的内容、转换内容在多个显示器之间的显示、显示器特性的改变(例如，缩放、定位等)和其他这样的特征。下面描述关于显示器设置的更多细节。

以该方式配置(例如，自动地或动态地配置)显示器设置能够至少提供多屏幕环境中的计算设备的改进控制的技术效果。以这种方式配置显示器设置能够提供对多个显示器与可以可操作地耦合在计算系统中的一个或多个辅助设备之间的交互的改进控制的技术效果。

辅助设备可以包括例如启用显示的辅助设备和非显示辅助设备。启用显示的辅助设备可以包括，例如，包括显示器的平板计算设备、诸如增强现实头戴式显示设备和腕戴式计算设备的可穿戴计算设备、以及其他这种启用显示的辅助设备。非显示辅助设备可以包括，例如，用户输入设备，诸如例如键盘设备、鼠标设备、触摸板设备等。在一些实施方式中，可以基于检测到的物理位置来控制多个显示器与一个或多个辅助设备之间的交互。例如，可以调整或控制对一个或多个辅助输入设备(键盘、鼠标等)的输入以考虑显示器之间的物理距离或间隙。

在一些实施方式中，包括在多个显示器中的一个或多个中的传感器可以包括，例如，图像传感器、位置传感器、音频传感器等。计算系统可以分析由传感器收集的信息以构建真实世界环境的模型。系统可以使用该模型来标识(例如，识别)和利用多个显示器相对于彼此在真实世界环境中的在哪定位，而没有(例如，基本上没有)用户的手动输入和屏幕指配。至少一个(例如，每个)显示器的物理方位的该实时标识和利用可以提供智能窗口管理，其可以，例如，配置显示器设置而不需要用户干预，从而增强与显示器上呈现的内容的自然、直观的用户交互。在一些实施方案中，由诸如例如面向前方的相机等图像传感器收集的数据可以提供手势识别，并且/或者可以跟踪用户位置。例如，在一些实施方式中，由图像传感器收集的数据可以被用于检测和/或跟踪用户相对于多个显示器的位置和/或定向。例如，在一些实施方式中，由图像传感器收集的数据可以跟踪用户头部位置、头部注视方向、眼睛注视方向、身体定向和/或方向等。以该方式收集的数据可以进一步增强与显示器上呈现的内容的自然、直观的用户交互。

配置显示器设置能够至少提供对多屏幕环境中特别是在一个或多个显示设备是移动显示设备，诸如包括显示器的平板计算设备，的情况下的计算机的改进控制的技术效果。此外，通过控制辅助设备与多个显示设备的交互(在一些实施方式中，通过基于检测到的多个显示设备的物理位置来控制)，用户输入可以更直观。例如，经由辅助设备提供的用户输入可以被管理以考虑显示设备的物理位置、定向等。

在一些实施方式中，交互能够被认为覆盖在计算设备处关于辅助设备进行并且在一些实施方式中响应于检测到的设备的物理位置而进行的任何调整或控制。例如，交互能够包括输入和/或输出的起源和/或处理，以及辅助设备的任何自动检测，或者在连接或断开一个或多个辅助设备时的设置改变。这样的交互可以在任何内容被显示之前发生，和/或与向用户显示的内容同时发生。

本文中要描述的原理可以应用于包括固定显示监视器以及也包括移动显示设备，诸如例如平板计算设备、膝上型计算设备、智能电话、头戴式显示设备等，的计算系统。当可操作地耦合到计算设备时，这些移动显示设备可以被用作能够在其上显示内容的辅助显示器。在一些实施方式中，由图像传感器、位置/定向传感器等收集的数据可以被间歇地例如，或周期性地收集，可以按所设置的时间表收集，和/或基本上连续地收集，以更新计算系统的显示器中的至少一个(例如，每个)的位置和/或定向，并且更新显示器设置和/或相应地调整(或控制)所显示的内容的定位。在一些实施方式中，显示器设置可以响应于触发事件，诸如例如一个或多个设备的启动、重新启动、检测到的移动、用户请求等，而被设置(例如，定义、存储)和重新设置(例如，改变、擦除、自动地重新设置)，以相应地调整或控制所显示的内容的定位。

图1是示例性计算系统10的框图。根据本文中描述的实施方式，计算系统10可以利用由包括在多个显示器中的各种传感器收集的数据来生成(例如，构建)系统正在操作的真实世界环境的三维映射模型(其能够经由对真实世界环境的扫描来收集)。计算系统可以使用该模型以及由包括在多个显示器中的传感器对数据的持续(例如，周期性、连续、随机)的收集，以建立多个显示器中的至少一些(例如，每个)的物理位置，并且设置显示器设置，而不需要(例如，基本上不需要)用户输入或用户干预。计算系统可以使用该模型以及由包括在多个显示器中的传感器对数据的持续收集，以检测多个显示器的移动、定向的改变、重新布置等，并且相应地重新设置显示器设置，而不需要用户输入或用户干预。

示例性计算系统可以包括一个或多个输入设备30以及一个或多个输出设备40，其可操作地耦合到计算设备20。(多个)输入设备30和(多个)输出设备40可以经由有线或无线耦合和/或经由网络(未示出)与计算设备20通信。类似地，计算系统10可以经由网络与外部计算系统和外部源通信。计算设备20可以包括，例如，处理器、操作系统、存储器和其他这样的组件。一个或多个输入设备30(其能够是辅助设备)可以包括，例如，键盘、鼠标、触摸/跟踪板和其他这样的设备。一个或多个输出设备40可以包括，例如，诸如扬声器的音频输出设备、诸如显示设备的视觉输出设备、以及其他这样的输出设备。在一些实施方式中，多个显示设备可以可操作地耦合到计算设备20。多个显示设备到计算设备20的可操作耦合可以扩展可用于内容的视觉显示的区域、扩展虚拟工作空间、促进跨多个应用的共享等，从而增强生产力，并且增强计算系统10对用户的功能和效用。可操作地耦合到计算设备20的显示设备可以与一个或多个其他计算设备相关联，这些计算设备通信地耦合到计算设备20。

图2图示根据本文中描述的实施方式的用户在真实世界环境1000中与包括多个显示设备140的计算系统100进行接洽。在相同物理方位包括多个物理显示设备140的该类型的示例性布置中，用户将通常必须物理地移动/重新布置显示设备140，或者手动地重新指配显示器设置，从而手动地指定显示设备140的相对定位以改变如何/在哪个显示设备140上显示内容。例如，每次断开/移动/重新连接膝上型计算设备时，用户通常将经历手动地重新指配显示器设置/指定显示设备140的相对定位的过程。在包括多个显示设备140的计算系统100中，根据本文中描述的实施方式，计算系统100可以利用由显示设备140的传感器收集的信息来标识多个显示设备140的相对位置和/或定向而没有用户干预。

在图2所示的示例性布置中，计算系统100包括在该示例中为膝上型计算机的形式的计算设备120。在图2所示的示例性布置中，多个显示设备140可操作地耦合到计算设备120。在一些实施方式中，多个显示设备140可以包括，例如，与计算设备120分离的一个或多个独立显示设备，诸如例如第一显示设备140A和第二显示设备140B，如图2所示。在一些实施方式中，多个显示设备140可以包括，例如，集成到计算设备120中的显示器140C。在一些实施方式中，多个显示设备140可以包括移动显示设备140C，诸如，例如平板设备140D，其与计算设备120分开并且可操作地耦合到该计算设备120和/或可操作地耦合到其他显示设备中的一个。

用户可以使用例如可操作地耦合到计算设备120的多个输入设备130中的一个来与显示在一个或多个显示设备140上的内容交互。例如，在一些实施方式中，键盘形式的第一输入设备130A和鼠标形式的第二输入设备130B可以可操作地耦合到计算设备120。如上所述，在一些实施方式中，与内容的这种交互可以部分地基于检测到的控制设备的物理位置来控制或调整。在一些实施方式中，一个或多个输入设备130可以包括，例如，集成地提供在计算设备120上的键盘和/或触摸板130C、在移动显示设备140D上集成地提供的触摸屏130D等。在一些实施方式中，计算系统100可以包括其他输入设备130，诸如例如能够接收音频命令的音频输入设备(未示出)。这些输入设备130与显示设备140的交互能够被控制，使得例如当处理对输入设备130的用户输入时考虑屏幕之间的物理间隙或屏幕的定向(例如，鼠标130B的用户移动与在计算设备处计算的位置之间的速度和/或关系可以被控制或调整)。因此，用户交互可以更直观。

在一些实施方式中，诸如例如头戴式显示设备、腕戴式设备等(未示出)的可穿戴设备也可以可操作地耦合到计算设备120。在一些实施方式中，这些类型的可穿戴设备在可操作地耦合到计算设备120时还可以用作输出设备和/或输入设备。

在一些实施方式中，显示设备140可以包括一个或多个传感器。该一个或多个传感器可以收集信息，该信息允许系统识别，例如，自动地识别或确定系统正在操作的周围环境中的多个显示设备中的至少一个(例如，每个)的物理位置和定向。在一些实施方式中，数据的这种收集和周围环境中的显示设备140的物理位置的确定可以允许系统，例如，智能地或在没有特定用户干预的情况下指配显示器设置以用于显示器设置的指配。在一些实施方式中，数据的这种收集和周围环境中的显示设备140的物理位置的确定可以允许系统响应于一或多个触发而在没有特定用户干预的情况下更新，例如智能地更新(或配置)，显示器设置。

例如，在一些实施方式中，系统可以分析由显示设备140中的一个或多个的图像传感器142或相机142收集的图像信息(例如，所收集的图像信息流，周期性地或随机地收集的图像信息)。系统可以分析所收集的图像信息以获得相应显示设备的三维姿态信息和方位信息。

例如，在一些实施方式中，系统可以分析所收集的图像信息以标识真实世界环境1000中的对象，标识真实世界环境1000中的表面(即，墙壁、地板、水平工作表面等)，标识真实世界对象之间的空间，以及与真实世界环境1000相关的其他这样的信息。基于对所收集的图像信息的这种分析和真实世界环境1000中的真实对象的已知方位，系统可以确定相应显示设备140中的至少一个(例如，每个)显示设备140的相对方位和/或姿态信息。因此，可以检测真实世界环境1000或物理环境1000中的至少一个(例如，每个)显示设备140的物理位置。

类似地，在一些实施方式中，显示设备140中的一个或多个可以包括位置传感器144，诸如例如，包括例如加速度计、陀螺仪、磁力计和其他这样的传感器的惯性测量单元(IMU)144。系统可以分析由一个或多个显示设备140的位置传感器144收集的位置信息和/或定向信息，以获得关于相应显示设备140的定向和其它显示设备140的相对定向的信息。因此，可以检测真实世界环境1000或物理环境1000中的至少一个(例如，每个)显示设备140的物理位置。

基于由传感器142、144收集的数据(即，由图像传感器142收集的图像数据和/或由位置传感器144收集的定位数据)，系统可以确定(例如，开发)真实世界环境1000的语义理解，并且可以开发真实世界环境1000的三维映射模型。真实世界环境1000的语义理解可以允许系统识别真实世界环境中的基本上静止的对象(即，墙壁表面、角落、窗户、家具等)，这些对象可以用作参考点或锚点，可以根据这些参考点或锚点推导显示设备140的物理位置。系统可以响应于由相应显示设备140的图像传感器142收集的图像信息的检测到的改变来检测一个或多个显示设备140的位置的改变。类似地，系统可以响应于由相应显示设备140的位置传感器144收集的定位数据的检测到的改变来检测一个或多个显示设备140的位置的改变。

图3A-3D仅出于讨论和说明的目的而图示上文所述的示例性显示设备140A、140B、140C和140D的布置。根据本文中描述的实施方式，包括多个显示设备的计算系统能够包括以类似或不同方式布置的更多或更少的显示设备。如图3A所示，第一显示设备140A的图像传感器142A或相机142A可以具有视场A。如图3B所示，第二显示设备140B的图像传感器142B或相机142B可以具有视场B。如图3C所示，第三显示设备140C的图像传感器142C或相机142C可以具有视场A。由于移动显示设备140D的基本上水平定向，移动显示设备140D具有视场D，如图3D所示。

在图3A-3D所示的示例性布置中，第一显示设备140A、第二显示设备140B和第三显示设备140C均基本上垂直定向。在该布置中，由第一显示设备140A、第二显示设备140B和第三显示设备140C捕获的图像可以包括三维映射模型中的公共真实世界对象和公共真实世界参考点或锚点。因此，系统可以基于真实世界环境的第一显示设备140A、第二显示设备140B和第三显示设备140C的相应视图以及真实世界环境的第一显示设备140A、第二显示设备140B和第三显示设备140C的相应视图中的参考点的相应放置来确定第一显示设备140A、第二显示设备140B和第三显示设备140C的相对定位，以检测显示设备140在它们的真实世界环境1000中的物理位置。在一些实施方式中，由于第四显示设备140D的基本上水平定向，在移动显示设备140D的图像传感器142D的视场内捕获的图像可能缺乏与在第一显示设备140A、第二显示设备140B和第三显示设备140C的相应视场内捕获的图像的通用性或可能缺乏足够的通用性，以基于由图像传感器1402D捕获的图像来建立移动显示设备140D的位置和/或定向。在该实施方式中，位置和/或定向信息(或数据)可以由移动显示设备140D的(多个)位置传感器144D收集。由移动显示设备140D的(多个)位置传感器144D收集的位置和/或定向数据可以与一个或多个其它显示设备1401/140B/140C的位置/定向信息相关，以确定移动显示设备140D相对于其它显示设备140的位置。

在一些实施方式中，计算系统100可以使用由(多个)传感器，例如，(多个)图像传感器142和/或(多个)位置传感器144，收集的信息来确定显示设备140中的哪个是主显示设备。例如，如图4A所示，在一些实施方式中，系统可以在由(多个)图像传感器142收集的图像信息中检测用户的头部注视和/或眼睛注视的位置和/或定向。系统可以基于检测到的用户头部的方位、检测到的用户头部/眼睛注视方向等将显示设备140中的一个设置(例如，自动地设置)为主显示设备，如图4B所示。即，如图4A和4B所示，基于所收集的头部/眼睛注视信息，系统可以检测用户的注视聚焦在第二显示设备140B上，并且可以将第二显示设备140B设置为主显示器，而在设置(多个)显示设备140的位置信息时没有特定用户干预和/或输入。

在一些实施方式中，系统可以从由传感器142、144收集的信息检测真实世界环境1000中的其他真实对象的相对位置，诸如例如桌椅、键盘、鼠标等。系统可以基于例如检测到的真实世界对象相对于显示设备140的位置和/或定向将例如显示设备中的一个设置(例如，自动地设置)为主显示设备。例如，如图4C所示，系统可以检测桌椅110、键盘130A和鼠标130B相对于显示设备140的位置和/或定向，如图4C所示。基于检测与第二显示设备140B对准(例如，基本对准)的桌椅110、键盘130A和鼠标130B，系统可以将例如第二显示设备140B设置(例如，自动地设置)为主显示设备，如图4D所示。

在一些实施方式中，系统可以检测与输入设备130中的一个或多个的用户交互，并且可以基于检测到的交互将显示设备140中的一个设置为主显示器。例如，如图4E所示，在一些实施方式中，系统可以检测与键盘130A和/或鼠标130B的用户交互。在一些实施方式中，与键盘130A和/或鼠标130B的用户交互可以基于在由(多个)图像传感器142收集的图像中检测与键盘130A和/或鼠标130B接洽的用户的(多个)手来检测。在一些实施方式中，与键盘130A和/或鼠标130B的用户交互可以基于在键盘130A和/或鼠标130B处检测到的并且由计算系统100接收到的命令来检测。基于检测到的交互以及检测到的键盘130和/或鼠标130B的位置/定向和/或与例如图4E所示的示例性布置中的第二显示设备140B的对准，系统可以将例如第二显示设备140B设置(例如，自动地设置)为主显示设备，如图4F所示。这样，可以控制键盘130和/或鼠标130B(或任何其它辅助设备)与多个显示设备的交互。例如，可以响应于改变主显示设备来调整计算设备处的鼠标和/或键盘(或其他)输入的处理和管理，和/或可以相应地控制内容的显示。

在图4A-4F所示的示例中，仅为了便于讨论和说明，第二显示设备140B被设置为主显示设备。类似原理可以在基于由(多个)传感器142、144收集的类似信息将其它显示设备140中的一个设置，例如，自动地设置，为主显示设备时应用。在一些实施方式中，系统可以基于例如主显示设备的设置、用户历史、所设置的用户偏好、在相应显示设备上显示的当前内容等来设置，例如智能地设置，或在没有用户干预的情况下设置，或动态地设置或自动地设置，剩余显示设备140的位置信息。

在一些实施方式中，动态地(或自动地)定义显示器设置能够包括例如响应于第一位置信息在第一时间定义显示器设置，以及在第二时间响应于第二位置信息修改显示器设置。能够在没有用户修改显示器设置的情况下执行修改显示器设置。位置信息的改变能够响应于用户与一个或多个显示设备的交互。

在一些实施方式中，计算系统100可以检测，例如，智能地检测，或在没有用户干预的情况下检测，或者动态地检测或自动地检测，何时引入另一显示设备140或在计算设备120的指定范围内何时引入另一显示设备140，并且能够被添加作为用于显示由计算设备120处理的内容的辅助显示设备140。通过检测辅助显示设备的添加，能够控制辅助显示设备140与现有显示设备140的交互。例如，辅助显示设备140可能够于用于反映该显示设备140的添加的检测和更新的设置或配置来可操作地耦合到计算设备120；输入设备或输出设备与显示设备140的交互也能够根据该检测来控制。在图5A所示的示例性布置中，计算设备120被可操作地耦合到显示设备140B。如图5B所示，显示设备140A可以被连接或可操作地耦合到计算设备120，以便与计算设备120和已经耦合的显示设备140B通信，并且用作计算系统100中的辅助显示设备。如上文所述，系统可以检测，例如，动态地检测，或智能地检测，或在没有用户干预的情况下检测或自动地检测，显示设备140A的连接。这可以基于例如检测到的显示设备140A的物理连接、检测到的显示设备140A的无线连接、由已经连接的显示设备140B的(多个)传感器142进行的检测等来检测。类似地，可以基于例如由显示设备140中的每一个的传感器142、144收集的信息如上所述地检测新连接的显示设备140A的物理位置。类似地，如图5C中所示，系统可以检测，例如，动态地检测，或智能地检测，或在没有用户干预的情况下检测或自动地检测，与计算设备120通信或在其范围内的移动显示设备140D，使得移动显示设备140D可以用作辅助显示设备。

如上所述，在一些实施方式中，在检测到(多个)显示设备140A和/或140D的添加之后，系统可以动态地检测，或智能地检测，或在无用户干预的情况下检测，或自动地检测并且指配显示器设置，包括，例如，指派显示设备140中的一个作为主显示器。在一些实施方式中，系统可以基于显示设备140中的每一个的已知物理位置和/或定向来动态地分发或传输要被显示在每个连接的显示设备140上的内容，而没有用户干预。例如，如图5D所示，在先前连接的显示设备140B上显示的内容152、154可以在如上所述检测显示设备140A的连接、位置和定向之后在显示设备140A和140B之间分发(例如，动态地分发)。即，如图5D(1)所示，在显示设备140B上显示第一内容窗口152和第二内容窗口154。当显示设备140A被引入计算系统100中并且可操作地耦合到计算设备120时，如图5D(2)所示，如上所述的显示设备140A的相对位置和定向以及显示器设置的确定/指配可以被用于分发显示内容，如图5D(3)所示。例如，如图5D(1)至5D(3)所示，第一内容窗口152和第二内容窗口154都可以被显示在第二显示设备140B上，并且然后，响应于检测第一显示设备140A，显示内容可以被动态地分发以使得第二内容窗口154被显示在第一显示设备140A上，并且第一内容窗口152被显示在第二显示设备140B上。类似地，如果系统检测到显示设备140中的一个的移除，诸如例如显示设备140A的断开，则内容150的显示(例如，内容窗口152、154)可以恢复到当前连接的显示设备140B，如图5D(4)所示。即，如图5D(3)和5D(4)所示，响应于检测到的第一显示设备140A的移除，显示内容可以被动态地分发以使得第一内容窗口152和第二内容窗口154两者都被显示在第二显示设备140B上。显示设备140的断开可以至少部分地通过由与显示设备140相关联的一个或多个位置传感器144收集的移动数据和/或通过显示设备140到计算设备120的可操作耦合来检测，例如，在没有用户干预的情况下动态地检测。图5D中所示的示例性显示设备140A仅出于易于讨论和说明的目的而被图示为独立监视器。然而，所描述的原理可以被应用于移动显示设备(诸如上文所述的示例性移动显示设备140D)的检测和基于显示设备140的检测到的位置和定向以类似方式分发显示内容。

例如，在一些实施方式中，由计算系统基于与计算设备120的接近度、基于与计算设备120的有线或无线连接等可以检测新显示设备140(例如，新独立显示设备、移动设备等)的连接。在一些实施方式中，计算设备120可以动态地检测先前已经与在给定范围内的计算设备120/计算系统相关联的先前相关联的显示设备140，建立与新检测到的显示设备140的连接，并且在连接的显示设备140之间动态地分发或重新分发显示内容。在一些实施方式中，计算设备120可以在某一距离或范围内周期性地或基本上连续地扫描以检测新显示设备140，可以建立与新检测到的(多个)显示设备140的连接，并且可以在连接的显示设备140之间动态地分发或重新分发显示内容。在一些实施方式中，计算设备120可以基于在插接站中检测到的插接经由集线器等来检测新显示设备140，可以建立与新检测到的显示设备140的连接，并且可以在连接的显示设备140之间动态地分发或重新分发显示内容。在一些实施方式中，计算系统可以如上所述检测新显示设备140的存在，但是可以检测检测到的显示设备140的显示表面被定向为远离与计算设备和当前连接的显示设备140相关联的工作空间，并且将不将新检测到的显示设备140与计算设备120相关联和/或将不向新检测到的显示设备140分发/重新分发内容。

例如，如图5E(1)所示，在显示设备140B上显示第一内容窗口152和第二内容窗口154。当移动显示设备140D被引入或被添加到计算系统100中并且可操作地耦合到计算设备120时，如图5E(2)所示，如上所述的移动显示设备140D的相对位置和定向以及显示器设置的确定/指配可以被用于分发显示内容，如图5E(3)所示。即，如图5E(1)所示，第一内容窗口152和第二内容窗口154都可以被显示在第二显示设备140B上。响应于检测连接在计算系统中的移动显示设备140B，显示内容可以被动态地分发，使得第一内容窗口152被显示在第二显示设备140B上，并且第二内容窗口154被显示在移动显示设备140D上，如图5E(3)所示。类似地，响应于检测到的移动显示设备140D的移除，显示内容可以被动态地重新分发，使得第一内容窗口152和第二内容窗口154两者都被显示在第二显示设备140B上，如图5E(4)所示。响应于移动显示设备140D的引入，也可以控制其它辅助设备与这些显示设备140的交互。类似地，如果系统检测到显示设备140中的一个的移除，诸如例如移动显示设备140D的断开，则内容150的显示(例如，内容窗口152、154)可以恢复到当前连接的显示设备140B，如图5E(4)所示。以这种方式，可以基于检测到的显示器的物理位置来控制内容的显示。移动显示设备140D的断开可以至少部分地通过由与显示设备140相关联的一个或多个位置传感器144收集的移动数据和/或通过显示设备140到计算设备120的可操作耦合来检测。这样的移动数据可以由任何显示设备140的任何位置传感器144酌情收集，并且控制内容的显示的显示器设置取决于检测多个显示设备140中的至少一个显示设备的移动而被自动地配置。

在一些实施方式中，在将内容窗口152、154显示在显示设备140B上且检测到移动显示设备140D的连接之后，如图5F(1)和5F(2)中所示，系统可以在一些情况下确定显示在显示设备140B上的内容应保持显示在显示设备140B上，并且不重新分发以用于显示在移动显示设备140D上。在这种情况下，移动显示设备140D可以保持连接到计算系统100/计算设备120，并且可以保持可用作辅助显示设备140，同时内容窗口152、154保持显示在显示设备140B上，如图5F(3)所示。

在一些实施方式中，计算系统/计算设备可以基于，例如，内容的类型、连接的显示设备140的定向等确定，例如，智能地确定，如何分发和/或重新分发显示内容。例如，在一些实施方式中，计算设备120可以将定位在竖直定向的显示设备140上的与生产力相关的内容、当前正被用户使用的内容窗口等保持在已经被指配或指定为主显示设备140的显示设备140上等。在一些实施方式中，计算设备120可以向水平定向的显示设备140分发或重新分发内容，该水平定向的显示设备可以使用指示笔或其他图形相关输入工具来操纵。在一些实施方式中，计算设备120可以确定用户未正在与某些显示内容交互/尚未与某些显示内容交互，并且可以将该显示内容从主显示设备140分发或重新分发到(水平定向或竖直定向的)其它显示设备140中的一个。

如上所述，由(多个)传感器142、144收集的信息可以被用于确定真实世界环境中的显示设备140的物理位置和/或定向以及显示设备140相对于彼此的位置/定向。在一些实施方式中，显示设备140的这些已知物理位置和/或定向可以被用于确定显示设备140之间的空间或间隙或非显示区域。当指配显示器设置时，当移动内容时等，可以考虑这些非显示区域，以向用户提供更直观的连接的体验。

例如，如图6A中所示，在一些实施方式中，可以在第一显示设备140A与第二显示设备140B之间形成物理空间S或间隙S或非显示区域S。第一显示设备140A和第二显示设备140B之间的物理间隙或空间S可以定义具有距离D3的非显示区域。在一些实施方案中，第一显示设备140A可以具有围绕第一显示设备140A的显示区域149A的边框148A。第一显示设备140A的边框148A可以定义具有距离D1的非显示区域。在一些实施方式中，第二显示设备140B可以具有围绕第一显示设备140B的显示区域149B的边框148B。第二显示设备140B的边框148B可以定义具有距离D2的非显示区域。因为可以如上所述已知每个显示设备140的相对精确的物理位置和/或定向，所以当设置/指配显示器设置、在(例如，响应于对输入设备130中的一个的用户操纵)显示设备140之间移动内容时，可以考虑图6A中所示的每个示例性非显示区域。以这种方式，可以基于检测到的显示设备140的物理位置来控制内容的显示。当移动内容时考虑的这些非显示区域可以提供更智能的窗口管理器，其能够向用户提供与显示设备140上显示的内容的更直观的连接的交互。

例如，如图6B、6C和6D所示，在一些实施方式中，当内容窗口152从第一显示设备140A的显示区域149A移动到第二显示设备149B的显示区域149B时，不显示内容窗口152的与非显示区域(即，显示设备140A、140B之间的物理空间S，以及与显示设备140A、140B相关联的任何边框148)相对应的部分。考虑到由显示设备140的已知物理位置和/或定向实现的非显示区域的这种操作，可以在将内容从第一显示设备140A移动到第二显示设备140B时提供更逼真的体验。即，在一些实施方式中，基于每个显示设备140的已知物理位置和/或定向，例如相邻显示设备之间的内容移动，诸如例如如关于图6A-6D所描述的第一显示设备140A和第二显示设备140B之间的内容窗口152的移动，可以被延迟以考虑相邻显示设备140之间的物理空间S或间隙。在一些实施方式中，内容窗口152可以维持原始(第一)显示设备140A的定向，直到内容窗口152完全移动到新(第二)显示设备140B，如图6B-6D所示。一旦内容窗口152已经完全移动到新(第二)显示设备140B，内容窗口152的定向可以对应于新(第二)显示设备140B的定向，如图6E所示。维持与原始显示设备140的定向相对应的内容窗口152的定向直到完全转变显示窗口为止可以允许用户维持意识到对内容窗口152的原始和故意移动。因此，控制可以在多屏幕环境中改进。

在一些实施方式中，显示设备140可以物理地对准，例如，水平对准或竖直对准。例如，图6E、6F和6G图示第一显示器140A和第二显示器140B没有被水平对准的示例。在这个示例中，当内容窗口152从第一显示设备140A的显示区域149A移动到第二显示设备149B的显示区域149B时，对应于非显示区域(即，显示设备140A、140B之间的物理空间S，以及与显示设备140A、140B相关联的任何边框148)的内容窗口152的部分不被显示，如图6F所示。考虑到由显示设备140的已知物理位置和/或定向实现的非显示区域的这种操作，可以在将内容从第一显示设备140A移动到第二显示设备140B时提供更逼真的体验。在一些实施方式中，内容窗口152可以维持原始(第一)显示设备140A的定向，直到内容窗口152完全移动到新(第二)显示设备140B，如图6F所示。一旦内容窗口152已经完全移动到新(第二)显示设备140B，内容窗口152的定向可以对应于新(第二)显示设备140B的定向，如图6G所示。维持内容窗口152的定向以及与原始显示设备140的定向相对应的内容窗口152的水平定位直到完全转变内容窗口152可以允许用户维持意识到对内容窗口152的原始和故意移动。因此，控制可以在多屏幕环境中改进。

在一些实施方式中，多个移动显示设备可以被接合在一起以形成单个较大显示器。(诸如例如由平板计算设备提供的)移动显示设备的通常更小、更便携的形状因素可以允许从更紧凑、便携的显示设备组装更大的显示设备。例如，如图7A所示，在一些实施方式中，多个移动显示设备140D可以彼此靠近(例如，相邻)地定位以从多个较小的移动显示设备140D形成基本上单个的、相对大的显示设备，如图7C所示。在图7A所示的示例中，仅出于讨论和说明的目的，六个移动显示设备140D被包括。然而，更多或更少的移动显示设备140D可以以该方式彼此相邻地定位，以基本上形成单个显示设备。类似地，图7A-7C中所示的六个移动显示设备140D的示例性布置被布置成阵列，这仅仅是为了便于讨论和说明。在一些实施方式中，移动显示设备140D可以以其它布置被耦合以定义图7C中所示的基本上单个相对较大的显示设备。如图7B中所图示的移动显示设备140B的布置的后视图中所示，在一些实施方式中，框架200可以物理地耦合移动显示设备140B以约束由多个显示设备140B形成的单个显示设备的移动，并且允许该单个显示设备被定位在基本上竖直的位置。以该方式，可以响应于移动显示设备140B中的每一个的已知位置和/或定向而跨以该方式布置的多个移动显示设备140B连续地(例如，基本上连续地)显示一个或多个内容窗口。通过以本文中描述的方式在单个智能窗口管理器内集成对所渲染的内容的控制，可以更容易地管理显示设备的这种布置。

在一些实施方式中，在由(多个)图像传感器142收集的图像信息中对用户头部的位置/定向的检测可以被用于设置要被显示在显示设备140中的一个或多个上的内容150的比例。在一些实施方式中，系统可以在由图像传感器142收集的图像信息中检测命令手势或手势移动。例如，在一些实施方式中，系统可以检测用户头部/眼睛注视相对于显示设备140的移动，并且可以基于检测到的手势移动来设置和/或调整包括内容缩放等的显示器设置。以这种方式，可以基于检测到的显示设备140的物理位置来控制内容的显示。例如，在一些实施方式中，基于例如由(多个)图像传感器142收集的图像信息的用户头部与显示设备140之间的距离D可以被用于设置显示设备140上显示的内容150的缩放。如图8A所示，在距离D1处，内容150可以以第一缩放150-1被显示在显示器140上。在一些实施方式中，系统可以以用户头部朝向或靠近显示设备140的检测到的从距离D1到距离D2的移动的形式在由图像传感器142收集的图像信息中检测手势移动，如图8B所示。该手势移动可以被认为是用户输入。检测到的用户头部朝向显示设备140的移动可以使显示设备140上显示的内容150按比例(即，放大效果)从图8B中所示的第一比例150-1增加到第二比例150-2。类似地，用户头部远离显示设备140的检测到的从图8C中所示的距离D2到距离D3的移动可以使显示设备140上显示的内容150按比例(即，缩小效果)从第二比例150-2减小到第三比例150-3。

在一些实施方式中，以例如检测到的横向头部或眼睛注视移动(即，检测到的横向或左/右头部/眼睛注视移动)的形式的在由(多个)传感器142、144收集的信息中检测到的手势可以基于检测到的移动的方向使内容移位到相邻显示设备140。例如，以从图8D中所示的第一注视方向G1到图8E中所示的方向G2的检测到的横向注视移位的形式的手势可以使在第二显示设备140B上显示的内容150被显示在第一显示设备140A上。

类似地，在一些实施方式中，在由(多个)传感器142、144收集的信息中检测到的手势以例如检测到的竖直方向上的头部/眼睛注视移动(即，上下头部/眼睛注视移动))可以基于检测到的移动的方向使内容移位到相邻显示设备140。例如，从图8F中所示的注视方向G1到图8G中所示的方向G3的以检测到的竖直注视移位的形式的手势可以使显示在第二显示设备140B上的内容150被显示在水平定向的移动显示设备140D上。

在一些实施方式中，头戴式显示设备140E可以由用户佩戴，如图8K所示。在一些实施方式中，头戴式显示设备140E可以向用户呈现增强现实环境，包括，例如，覆盖在真实世界环境1000上的增强现实对象。在一些实施方式中，头戴式显示设备140E可以被可操作地耦合到计算设备120，并且可以用作计算系统中的连接的显示设备140。在图8K所示的示例性布置中，以例如从图8K所示的注视方向G1到图8L所示的注视方向G2的检测到的横向头部或眼睛注视移动(即，检测到的横向或左/右头部/眼睛注视移动)的形式的如上所述的检测到的手势可以使第二显示设备140B上显示的内容150被头戴式显示设备140E显示为增强现实对象150A。

在一些实施方式中，由(多个)传感器142、144收集的图像信息中的头部/眼睛注视手势的检测可以使其他动作关于显示在显示设备140中的一个或多个上的内容被采取。例如，在一些实施方式中，在由(多个)传感器142、422收集的信息中检测到的检测到的点头、或眨眼等可以使所显示的窗口被最小化、使应用关闭等。在图8H所示的示例中，第一内容窗口152和第二内容窗口154被显示在显示设备140上，其中用户的注视指向第一内容窗口152。如图8I所示，在由图像传感器142收集的图像信息中检测到的检测到的眨眼可以使计算设备最小化或关闭第一内容窗口152，如图8J所示。

在一些实施方式中，在由(多个)传感器142、144收集的图像信息中检测到头部/眼睛注视手势可以使视觉指示符，诸如例如光标，出现在用户注视指向的显示设备140中的一个上的方位处，例如在光标和/或屏幕超时之后，当光标由于显示设备140上显示的内容而以其他方式不可见时，等等。

在以上关于图1到图8J描述的说明性系统和方法中，显示设备140包括传感器142、144，其基本上集成到或内置到显示设备140中。在一些实施方式中，诸如例如可连接的外部网络摄像机的其他传感器可以以类似的方式收集要由系统处理的数据。例如，在一些实施方式中，在显示设备上的设置的位置处，在显示设备上安装网络摄像机可以提供收集并且提供如上所述要被处理的图像信息，以用于确定显示设备在真实世界环境中的物理位置和/或定向。

图9是根据本文中描述的实施方式的操作计算系统100的方法的流程图。如图9所示，在包括计算设备和多个显示设备的计算系统中，根据本文中描述的实施方式，可以检测一个或多个显示设备以与计算设备通信(框910)。如上所述，可以基于例如到计算设备的连接(有线或无线)、到计算设备的接近度、与计算设备的先前的关联等来检测显示设备。(多个)显示设备可以收集以下中的至少一个：(例如，由(多个)显示设备的(多个)图像传感器收集的)图像信息和/或(例如，由(多个)显示设备的诸如(多个)IMU的(多个)定位传感器收集的)位置/定向信息，并且将所收集的图像和/或位置信息提供给计算设备(框920)，以用于确定(多个)显示设备的物理位置和/或定向(框930)。可以基于所确定的(多个)显示设备的物理位置和/或定向在检测到的显示设备上显示内容(框940)。可以响应于检测到的(多个)显示设备中的一个或多个的物理位置/定向的检测到的改变(框950)来动态地调整(框960)(多个)显示设备上的内容的显示。类似地，响应于检测新显示设备(框970)，可以基于与(多个)显示设备相关联的图像和/或位置信息(框920)来确定(例如，重新确定)(框930)显示设备的物理位置和/或定向的确定，并且可以基于所确定的(多个)显示设备的物理位置和/或定向来显示(框940)和/或动态地重新调整(框960)内容。该过程可以继续，直到检测到(框980)会话的结束为止。

图10示出通用计算机设备2000和通用移动计算机设备2050的示例，其可以与这里描述的技术一起使用。计算设备2000旨在表示各种形式的数字计算机，诸如膝上型计算机、台式机、平板电脑、工作站、个人数字助理、电视、服务器、刀片服务器、大型机和其他适当的计算设备。计算设备2050旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里示出的组件、它们的连接和关系以及它们的功能仅是示例性的，而不是旨在限制本文档中描述和/或要求保护的发明的实施方式。

计算设备2000包括处理器2002、存储器2004、存储设备2006、连接到存储器2004和高速扩展端口2010的高速接口2008、以及连接到低速总线2014和存储设备2006的低速接口2012。处理器2002能够是基于半导体的处理器。存储器2004能够是基于半导体的存储器。组件2002、2004、2006、2008、2010和2012中的每一个使用各种总线互连，并且可以被安装在公共主板上或者酌情以其他方式被安装。处理器2002能够处理用于在计算设备2000内执行的指令，包括存储在存储器2004中或存储设备2006上的指令，以在诸如耦合到高速接口2008的显示器2016的外部输入/输出设备上显示GUI的图形信息。在其他实施方式中，可以酌情使用多个处理器和/或多个总线以及多个存储器和各种类型的存储器。此外，可以连接多个计算设备2000，其中每个设备提供必要操作的部分(例如，作为服务器组、刀片服务器组或多处理器系统)。

存储器2004在计算设备2000内存储信息。在一个实施方式中，存储器2004是一个或多个易失性存储器单元。在另一实施方式中，存储器2004是一个或多个非易失性存储器单元。存储器2004还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。

存储设备2006能够为计算设备2000提供大容量存储。在一个实施方式中，存储设备2006可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似固态存储器设备、或包括存储区域网络或其他配置中的设备的设备阵列。计算机程序产品能够被有形地体现在信息载体中。计算机程序产品还可以包含当被执行时执行诸如上述那些方法的一种或多种方法的指令。信息载体是计算机或机器可读介质，诸如存储器2004、存储设备2006或处理器2002上的存储器。

高速控制器2008管理计算设备2000的带宽密集型操作，而低速控制器2012管理较低带宽密集型操作。这种功能的分配仅是示例性的。在一个实施方式中，高速控制器2008被耦合到存储器2004、显示器2016(例如，通过图形处理器或加速器)以及高速扩展端口2010，该高速扩展端口2010可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器2012被耦合到存储设备2006和低速扩展端口2014。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器被耦合到一个或多个输入/输出设备，诸如键盘、定点设备、扫描仪或诸如交换机或路由器的网络设备。

如图所示，计算设备2000可以以多种不同的形式实施。例如，它可以被实施为标准服务器2020，或者在这样的服务器组中实施多次。它还可以被实施为机架服务器系统2024的一部分。另外，它可以被实施在诸如膝上型计算机2022的个人计算机中。替代地，来自计算设备2000的组件可以与移动设备(未示出)中的其他组件(例如设备2050)组合。这样的设备中的每一个可以包含计算设备2000、2050中的一个或多个，并且整个系统可以由彼此通信的多个计算设备2000、2050组成。

计算设备2050包括处理器2052、存储器2064、诸如显示器2054的输入/输出设备、通信接口2066和收发器2068等组件。设备2050还可以被设置有存储设备，诸如微驱动器或其他设备，以提供附加存储。组件2050、2052、2064、2054、2066和2068中的每一个使用各种总线互连，并且组件中的几个可以被安装在公共主板上或者酌情以其他方式被安装。

处理器2052能够在计算设备2050内执行指令，包括存储在存储器2064中的指令。处理器可以被实施为包括分开的和多个模拟和数字处理器的芯片的芯片组。处理器可以提供，例如，用于设备2050的其他组件的协调，诸如对用户接口的控制、由设备2050运行的应用以及由设备2050进行的无线通信。

处理器2052能够通过控制接口2058和耦合到显示器2054的显示接口2056与用户通信。显示器2054可以是，例如，TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他合适的显示技术。显示接口2056可以包括用于驱动显示器2054以向用户呈现图形和其他信息的适当电路。控制接口2058可以从用户接收命令并且将其进行转换以提交给处理器2052。另外，外部接口2062可以提供与处理器2052的通信，以便实现设备2050与其他设备的近区域通信。例如，外部接口2062可以在一些实施方式中提供用于有线通信，或者在其他实施方式中提供用于无线通信，并且也可以使用多个接口。

存储器2064在计算设备2050内存储信息。存储器2064能够被实施为一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一个或多个。扩展存储器2074还可以被提供并且通过扩展接口2072被连接到设备2050，该扩展接口2072可以包括，例如，SIMM(单列存储器模块)卡接口。这种扩展存储器2074可以为设备2050提供额外的存储空间，或者还可以为设备2050存储应用或其他信息。具体地，扩展存储器2074可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器2074可以被提供作为设备2050的安全模块，并且可以利用许可安全使用设备2050的指令来编程。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可入侵的方式将标识信息放置在SIMM卡上。

存储器可以包括，例如，闪存和/或NVRAM存储器，如下所述。在一个实施方式中，计算机程序产品被有形地体现在信息载体中。计算机程序产品包含在被执行时执行诸如上述方法的一种或多种方法的指令。信息载体是计算机或机器可读介质，诸如存储器2064、扩展存储器2074或处理器2052上的存储器，其可以例如通过收发器2068或外部接口2062被接收。

设备2050可以通过通信接口2066无线地通信，该通信接口2066可以在必要时包括数字信号处理电路。通信接口2066可以在各种模式或协议下提供通信，诸如GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器2068发生。另外，短程通信可以诸如使用蓝牙、WiFi或其他这样的收发器(未示出)而发生。另外，GPS(全球定位系统)接收器模块2070可以向设备2050提供附加的导航相关的和方位相关的无线数据，其可以酌情由在设备2050上运行的应用使用。

设备2050还可以使用音频编解码器2060进行音频地通信，该音频编解码器2060可以从用户接收语音信息并且将其转换为可用的数字信息。音频编解码器2060同样可以诸如通过例如设备2050的听筒中的扬声器为用户生成可听的声音。这样的声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备2050上操作的应用生成的声音。

如图所示，计算设备2050可以以多种不同形式被实施。例如，计算设备2050可以被实施为蜂窝电话2080。它还可以被实施为智能电话2082、个人数字助理或其他类似移动设备的一部分。

这里描述的系统和技术的各种实施方式能够被实现在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中。这些各种实施方式能够包括在一个或多个计算机程序中的实施方式，该计算机程序在包括至少一个可编程处理器的可编程系统上是可执行的和/或可解释的，该可编程处理器可以是专用或通用的，被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且将数据和指令传送到该存储系统、至少一个输入设备和至少一个输出设备。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且能够以高级过程和/或面向对象编程语言和/或以汇编/机器语言实施。如本文中所使用的，术语“机器可读介质”、“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，其包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，这里描述的系统和技术能够被实施在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户能够通过其向计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)的计算机上。也能够使用其它种类的设备来提供与用户的交互；例如，提供给用户的反馈能够是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且能够任何形式接收来自用户的输入，包括声学、语音或触觉输入。

这里描述的系统和技术能够被实施在计算系统中，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户能够通过该客户端计算机与这里描述的系统和技术的实施方式交互)，或这种后端、中间件或前端组件的任何组合。系统的组件能够通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。

计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。

已经描述了许多实施例。然而，将理解，可以在不脱离本发明的精神和范围的情况下进行各种修改。

此外，图中所描绘的逻辑流不需要所示的特定顺序或序列顺序来实现期望结果。另外，可以从所描述的流程中提供其它步骤，或者可以从所描述的流程中消除步骤，并且可以将其它组件添加到所描述的系统或者从所描述的系统中去除。因此，其他实施例在以下权利要求的范围内。

除了以上描述之外，用户可以被提供控制，以允许用户选择本文中描述的系统、程序或特征是否和何时能够收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前方位的信息)，以及是否从服务器向用户发送内容或通信。另外，某些数据可以在存储或使用之前以一种或多种方式被处理，使得个人可识别信息被移除。例如，用户的身份可以被处理，使得不能够为用户确定个人可识别信息，或者用户的地理方位可以被一般化成在哪获得的方位信息(例如到城市、邮政编码或州级)，使得不能够确定用户的特定位置。因此，用户可以控制收集关于用户的什么信息、如何使用该信息以及向用户提供什么信息。

Claims (27)

1.一种方法，包括：

由计算设备的处理器检测物理环境中的多个显示设备，所述多个显示设备被可操作地耦合到所述物理环境中的所述计算设备；

由所述处理器从所述多个显示设备的多个传感器接收与所述物理环境相关的数据；

由所述处理器基于从所述多个显示设备的所述多个传感器接收到的所述数据来检测所述物理环境中的所述多个显示设备中的每个显示设备的物理位置；以及

由所述处理器控制以下中的至少一个：

基于所述多个显示设备的检测到的物理位置在所述多个显示设备中的至少两个显示设备上显示的内容，或者

辅助设备与所述多个显示设备的交互。

2.根据权利要求1所述的方法，其中，控制在所述多个显示设备上显示的所述内容包括：

检测用户输入；以及

响应于所述用户输入来控制所述内容的显示。

3.根据权利要求2所述的方法，其中，

检测所述用户输入包括检测将所显示的内容从所述多个显示设备中的第一显示设备移动到所述多个显示设备中的第二显示设备的控制器输入；以及

控制所述内容包括将所显示的内容从所述多个显示设备中的所述第一显示设备上的显示位置移动到所述多个显示设备中的所述第二显示设备上的显示位置。

4.根据权利要求3所述的方法，其中，将所显示的内容从所述第一显示设备移动到所述第二显示设备包括：

响应于所述第一显示设备和所述第二显示设备的检测到的物理位置，将所显示的内容的位置和定向从所述第一显示设备上的第一位置和第一定向调整到所述第二显示设备上的第二位置和第二定向。

5.根据权利要求4所述的方法，其中，所述第一显示设备的物理定向不同于所述第二显示设备的物理定向。

6.根据权利要求4或权利要求5所述的方法，其中，所述第一显示设备被基本上水平地定向，并且所述第二显示设备被基本上垂直地定向。

7.根据权利要求3至6中的任一项所述的方法，其中，将所显示的内容从所述第一显示设备移动到所述第二显示设备包括：

基于所述物理空间中的所述第一显示设备的检测到的物理位置和所述物理空间中的所述第二显示设备的检测到的物理位置来检测所述第一显示设备和所述第二显示设备之间的物理不连续性；以及

基于检测到的物理不连续性来调整所显示的内容从所述第一显示设备到所述第二显示设备的移动。

8.根据权利要求7所述的方法，其中，检测所述物理不连续性包括以下中的至少一个：

检测所述第一显示设备的检测到的物理位置与所述第二显示设备的检测到的物理位置之间的物理间隙；或者

检测围绕所述第一显示设备或所述第二显示设备中的至少一个的显示区域的物理边框区域。

9.根据权利要求7或权利要求8所述的方法，其中，调整所显示的内容的所述移动包括延迟所述第二显示设备上的所述内容的所述显示以对应于所显示的内容通过所述物理不连续性的移动。

10.根据权利要求1所述的方法，其中，检测所述物理环境中的所述多个显示设备中的每个显示设备的所述物理位置包括：

从所述多个显示设备中的至少一个显示设备的位置传感器接收定向数据；

基于接收到的定向数据来检测所述至少一个显示设备的物理定向；以及

基于所述物理定向和从所述多个显示设备的图像传感器接收到的与所述物理环境相关的所述数据来检测所述至少一个显示设备相对于所述多个显示设备中的剩余显示设备的物理位置。

11.根据权利要求1至10中的任一项所述的方法，进一步包括：

基于所述多个显示设备的检测到的物理位置来动态地配置所述计算设备的显示器设置，

其中，在所述多个显示设备中的所述至少两个显示设备上显示的所述内容基于动态地配置的显示器设置被控制。

12.根据权利要求11所述的方法，进一步包括；

从所述多个显示设备中的至少一个显示设备的位置传感器收集移动数据；

基于所述定向数据来检测所述至少一个显示设备的移动；以及

响应于检测所述多个显示设备中的所述至少一个显示设备的移动来动态地配置所述显示器设置。

13.根据权利要求1至12中的任一项所述的方法，其中，所述多个显示设备中的所述至少一个显示设备是移动显示设备。

14.根据权利要求11所述的方法，其中，动态地配置所述计算设备的所述显示器设置包括以下中的至少一个：动态地设置所述多个显示设备的顺序，动态地设置所述多个显示设备中的主显示设备，或者动态地设置所述多个显示设备的相对位置。

15.根据权利要求14所述的方法，其中，检测所述多个显示设备中的每个显示设备的所述物理位置包括：

周期性地接收来自所述多个显示设备的图像传感器的图像传感器数据以及来自所述多个显示设备的位置传感器的定向数据；

基于所更新的图像传感器数据和所更新的定向数据来动态地更新所述多个显示设备的所述物理位置；以及

基于所述多个显示设备的所更新的物理位置来动态地更新所述计算设备的所述显示器设置。

16.根据权利要求1至15中的任一项所述的方法，其中，控制所述辅助设备与所述多个显示设备的交互包括控制显示辅助设备或非显示辅助设备与所述多个显示设备的交互。

17.根据权利要求16所述的方法，其中，所述显示辅助设备包括平板计算设备或可穿戴显示设备中的至少一个。

18.根据权利要求17所述的方法，其中，所述可穿戴显示设备包括增强现实头戴式显示设备或腕戴式计算设备中的至少一个。

19.根据权利要求16至18中的任一项所述的方法，其中，所述非显示辅助设备包括以下中的至少一个：键盘输入设备、鼠标输入设备或触摸板输入设备。

20.一种方法，包括：

由计算设备的处理器检测物理环境中的多个显示设备，所述多个显示设备被可操作地耦合到所述物理环境中的所述计算设备；

由所述处理器从所述多个显示设备的图像传感器接收与所述物理环境相关的数据

由所述处理器基于与所述物理环境相关的所述数据来检测所述物理环境中的所述多个显示设备中的每个显示设备的物理位置；以及

基于所述多个显示设备的检测到的物理位置来自动地配置所述计算设备的显示器设置。

21.一种有形地体现在非暂时性计算机可读存储介质上的包括指令的计算机程序产品，所述指令在由计算设备执行时被配置为使所述计算设备：

检测物理环境中的所述多个显示设备；

从所述多个显示设备接收数据，所述数据由所述多个显示设备的多个传感器收集；

基于与所述物理环境相关的数据基于由所述多个显示设备的所述多个传感器收集的所述数据来检测所述物理环境中的所述多个显示设备中的每个显示设备的物理位置；以及

控制以下中的至少一个：

基于所述多个显示设备的检测到的物理位置在所述多个显示设备中的至少两个显示设备上显示的内容，或者

辅助设备与所述多个显示设备的交互。

22.根据权利要求21所述的计算机程序产品，其中，在控制在所述多个显示设备上显示的所述内容时，所述指令使所述计算设备：

检测用户输入，所述用户输入包括将所显示的内容从所述多个显示设备中的第一显示设备移动到所述多个显示设备中的第二显示设备的控制器输入；以及

将所显示的内容从所述多个显示设备中的所述第一显示设备上的显示位置移动到所述多个显示设备中的所述第二显示设备上的显示位置。

23.根据权利要求22所述的计算机程序产品，其中，在将所显示的内容从所述第一显示设备移动到所述第二显示设备时，所述指令使所述计算设备：

检测所述第一显示设备的物理定向与所述第二显示设备的物理定向不同；以及

响应于所述第一显示设备的检测到的物理定向和所述第二显示设备的检测到的物理定向，将所显示的内容的位置和定向从所述第一显示设备上的第一位置和第一定向调整到所述第二显示设备上的第二位置和第二定向。

24.根据权利要求22或权利要求23所述的计算机程序产品，其中，在将所显示的内容从所述第一显示设备移动到所述第二显示设备时，所述指令使所述计算设备：

检测所述第一显示设备和所述第二显示设备之间的物理不连续性，检测到的物理不连续性包括以下中的至少一个：

所述第一显示设备的检测到的物理位置与所述第二显示设备的检测到的物理位置之间的物理间隙；或者

围绕所述第一显示设备或所述第二显示设备中的至少一个的显示区域的物理边框区域；以及

调整所显示的内容从所述第一显示设备到所述第二显示设备的移动以对应于所显示的内容通过检测到的物理不连续性的移动。

25.根据权利要求21所述的计算机程序产品，其中，在检测所述物理环境中的所述多个显示设备中的每个显示设备的所述物理位置时，所述指令使所述计算设备针对所述多个显示设备中的每个显示设备：

从所述显示设备的位置传感器接收定向数据；

基于所述定向数据来检测所述显示设备的物理定向；以及

基于所述物理定向和由所述图像传感器收集的与所述物理环境相关的所述数据来检测所述显示设备相对于所述多个显示设备中的剩余显示设备的物理位置。

26.根据权利要求25所述的计算机程序产品，其中，所述指令还使所述计算设备：

从所述多个显示设备中的至少一个显示设备的位置传感器接收移动数据；

基于所述移动数据来检测所述至少一个显示设备的移动；以及

响应于所述多个显示设备中的所述至少一个显示设备的检测到的移动来动态地更新所述显示器设置。

27.根据权利要求26所述的计算机程序产品，其中，在检测所述多个显示设备中的每个显示设备的所述物理位置时，所述指令使所述计算设备：

从所述多个显示设备的所述多个传感器周期性地接收图像传感器数据和定向数据；

基于所更新的图像传感器数据和所更新的定向数据来动态地更新所述多个显示设备的所述物理位置；以及

基于所述多个显示设备的所更新的物理位置来动态地更新所述计算设备的所述显示器设置。

Images