CN110134228B - 信息处理方法、信息处理设备及用于信息处理的产品 - Google Patents

Abstract

实施方式提供了信息处理方法、信息处理设备及用于信息处理的产品。该方法包括：使用至少一个处理器显示增强现实内容；使用处理器确定与用户相关联的上下文；以及基于上下文并且在没有另外的用户输入的情况下，调整增强现实内容的至少一个特征。描述并要求保护其他方面。

Description

信息处理方法、信息处理设备及用于信息处理的产品

技术领域

本发明涉及信息处理方法、信息处理设备及用于信息处理的产品。

背景技术

技术的进步导致对能够显示增强现实(“AR”)内容的信息处理设备(“设备”)例如智能电话、平板设备、耳机等的开发。这些AR使能设备可以提供将虚拟元素叠加到物理真实世界环境的实时视图上。虚拟元素可以在空间上与物理世界配准，使得虚拟元素可以被感知为物理世界的沉浸式方面。

发明内容

总之，一方面提供了一种方法，包括：使用处理器显示增强现实内容；使用处理器确定与用户相关联的上下文；以及基于上下文并且在没有另外的用户输入的情况下调整增强现实内容的至少一个特征。

另一方面提供了一种信息处理设备，包括处理器、显示器、存储器设备，存储器设备存储指令，该指令可由处理器执行以：显示增强现实内容；确定与用户相关联的上下文；以及基于上下文并且在没有另外的用户输入的情况下调整显示器上的增强现实内容的至少一个特征。

另一方面提供了一种产品，包括存储设备，该存储设备存储代码，该代码可由处理器执行并且包括：显示增强现实内容的代码；确定与用户关联的上下文的代码；以及基于上下文并且在没有另外的用户输入的情况下调整增强现实内容的至少一个特征的代码。

以上内容是概要，并且因此可以包含简化、概括和细节省略；因此，本领域技术人员将理解，该概要仅是说明性的并且不旨在以任何方式进行限制。

为了更好地理解实施方式，连同实施方式的其他和另外的特征及优点，参考以下结合附图的描述。本发明的范围将在所附权利要求书中指出。

附图说明

图1示出了信息处理设备电路系统的示例。

图2示出了信息处理设备电路系统的另一示例。

图3示出了调整所显示的增强现实内容的至少一个特征的示例方法。

具体实施方式

将容易地理解，除所描述的示例性实施方式以外，还可以以多种不同的配置来布置和设计如在本文附图中一般性地描述并示出的实施方式的部件。因此，以下如在附图中示出的示例性实施方式的更详细的描述不旨在限制所要求保护的实施方式的范围，而仅表示示例性实施方式。

贯穿本说明书，对“一个实施方式”或“实施方式”等的引用意味着结合实施方式所描述的特定特征、结构或特性包括在至少一个实施方式中。因此，贯穿本说明书，在各处所出现的短语“在一个实施方式中”或“在实施方式中”等未必都指同一实施方式。

此外，所描述的特征、结构或特性可以以任何适当的方式组合在一个或更多个实施方式中。在以下描述中，提供了许多具体细节以给出对实施方式的透彻理解。然而，相关领域的技术人员将认识到，可以在没有一个或更多个具体细节的情况下或者利用其他的方法、部件、材料等对各种实施方式进行实践。在其他实例中，不再详细地示出或描述公知的结构、材料或操作以避免混淆。

AR使能设备可能能够向用户显示几乎任何类型的AR内容。使用这些设备，用户可以以新且独特的方式处理内容并与内容交互。然而，AR内容的显示还可能存在该内容对用户造成滋扰或危险的风险。如果用户佩戴AR耳机(例如Google

Microsoft

等)，则此问题尤其严重。更具体地，当佩戴AR耳机时，AR内容通常被投射到用户的视野中。根据AR内容的特征(例如尺寸、形状、颜色、位置等)，AR内容可能干扰用户在现实世界中正确感知和工作的能力。例如，如果在用户的面部前方显示较大的应用程序窗口，则他们对其周围环境的视觉可能会受到影响。另外，即使AR内容位于用户视野的外围边缘处，内容仍可能分散用户的注意力，特别是在内容是动画的情况下。

传统上，用户可以手动调整所显示的AR内容的一个或更多个特征。然而，尽管用户对如何显示AR内容具有一定程度的控制，但是他们可能无法及时进行调整，尤其是在其情境上下文变化很快的情况下。例如，如果在用户视野中显示有较大的虚拟对象并且出现需要用户快速移动远离其当前位置的情况，则用户可能浪费时间试图调整所显示内容的特征，以使其对物理世界的视觉不受妨碍。因此，提供额外的输入既耗时又繁琐。

因此，实施方式提供了一种用于基于所确定的与用户相关联的上下文来自动调整所显示的AR内容的至少一个特征的方法。在实施方式中，AR内容可以显示在AR使能设备的显示器上。然后，实施方式可以确定与用户相关联的上下文(例如用户的位置、用户的速度、与用户邻近的其他个人等)，并且然后基于上下文来调整AR内容的至少一个特征(例如尺寸、位置、不透明度等)。这种方法可以自动控制如何显示AR内容，使得用户可以以上下文适当的方式可视化内容。

通过参考附图将最好地理解所示出的示例性实施方式。以下描述仅旨在通过示例的方式示出，并且仅示出了某些示例性实施方式。

虽然在信息处理设备中可以利用各种其他电路、电路系统或部件，但是对于智能电话和/或平板计算机电路系统100而言，图1中所示的示例包括例如在平板计算机或其他移动计算平台中发现的片上系统设计。软件和处理器被结合在单个芯片110中。处理器包括本领域公知的内部运算单元、寄存器、高速缓冲存储器、总线、I/O端口等。内部总线等取决于不同的供应商，但是基本上所有外围设备(120)可以附接至单个芯片110。电路系统100将处理器、存储器控制器以及I/O控制器集线器全部组合在单个芯片110中。另外，该类型的系统100通常不使用SATA或PCI或LPC。例如，公共接口包括SDIO和I2C。

存在电源管理芯片130例如电池管理单元BMU，该电池管理单元BMU对例如经由可充电电池140供应的电力进行管理，可以通过与电源(未示出)的连接来对可充电电池140进行再充电。在至少一种设计中，使用单个芯片例如110来提供BIOS式功能和DRAM存储器。

系统100通常包括以下中的一个或更多个：用于与各种网络例如电信网络和无线因特网设备例如接入点连接的WWAN收发器150和WLAN收发器160。此外，通常包括设备120，例如，诸如摄像装置的图像传感器、诸如麦克风的音频捕获设备、热传感器等。系统100通常包括用于数据输入以及显示/呈现的触摸屏170。系统100通常还包括各种存储器设备，例如闪速存储器180和SDRAM 190。

图2示出了信息处理设备电路、电路系统或部件的另一示例的框图。图2中所示的示例可以与例如由Morrisville,NC(北卡罗来纳州的莫里斯维尔市)的联想(美国)公司销售的THINKPAD系列个人计算机的计算系统或其他设备对应。如根据本文的描述明显的是，实施方式可以包括其他特征或图2中示出的示例的特征中的仅一些特征。

图2的示例包括具有可以根据制造商(例如INTEL、AMD、ARM等)而变化的架构的所谓的芯片组210(一组一起工作的集成电路或芯片，芯片组)。INTEL是因特尔公司在美国和其他国家的注册商标。AMD是超微半导体设备有限公司(Advanced Micro Device Inc.)在美国和其他国家的注册商标。ARM是ARM控股公司(ARM Holding plc)在美国和其他国家的未注册商标。芯片组210的架构包括经由直接管理接口(DMI)242或链路控制器244交换信息(例如数据、信号、命令等)的核与存储器控制组220以及I/O控制器集线器250。在图2中，DMI242是芯片到芯片接口(有时被称为“北桥”和“南桥”之间的链路)。核和存储器控制组220包括经由前端总线(FSB)224交换信息的一个或更多个处理器222(例如单核或多核)和存储器控制器集线器226；注意，组220的部件可以集成在取代传统“北桥”式架构的芯片中。如本领域所公知的，一个或更多个处理器222包括内部算术单元、寄存器、高速缓冲存储器、总线、I/O端口等。

在图2中，存储器控制器集线器226与存储器240连接(例如，以提供对可被称为“系统存储器”或“存储器”的RAM类型的支持)。存储器控制器集线器226还包括用于显示设备292(例如CRT、平板、触摸屏等)的低压差分信令(LVDS)接口232。块238包括可以经由LVDS接口232(例如串行数字视频、HDMI/DVI、显示端口)来支持的一些技术。存储器控制器集线器226还包括可以支持独立显卡236的PCI-express接口(PCI-E)234。

在图2中，I/O控制器集线器250包括：SATA接口251(例如，用于HDD、SDD等，280)，PCI-E接口252(例如，用于无线连接282)、USB接口253(例如，用于诸如数字转换器、键盘、鼠标、摄像装置、电话、麦克风、存储装置、其他连接的设备等的设备284)、网络接口254(例如，LAN)、GPIO接口255、LPC接口270(用于ASIC 271、TPM 272、超级I/O 273、固件集线器274、BIOS支持275以及各种类型的存储器276例如ROM 277、闪存278以及NVRAM 279)、电力管理接口261、时钟发生器接口262、音频接口263(例如，用于扬声器294)、TCO接口264、系统管理总线接口265以及可以包括BIOS 268和启动代码290的SPI闪存266。I/O集线器控制器250可以包括千兆比特以太网支持。

系统在通电时可以被配置成执行如在SPI闪存266内所存储的用于BIOS 268的启动代码290，并且此后在一个或更多个操作系统和应用软件(例如存储在系统存储器240中的)的控制下处理数据。操作系统可以存储在各种位置中的任何位置中并且例如根据BIOS268的指令来访问。如本文所描述的，设备可以包括与图2的系统中示出的特征相比更少或更多的特征。

如例如在图1中或图2中概述的信息处理设备电路系统，通常可以应用于诸如平板计算机、智能电话、可佩戴耳机、个人计算机设备的设备中，和/或可以应用于能够显示增强现实内容并且可以响应于接收用户输入而执行各种功能的电子设备。例如，图1中所概述的电路系统可以在平板计算机或智能电话实施方式中实现，而图2中所概述的电路系统可以在个人计算机实施方式中实现。

现在参照图3，实施方式可以基于所确定的与用户相关联的上下文来自动调整所显示的增强现实内容的至少一个特征。在301处，可以将增强现实内容显示在具有AR能力的设备的显示器上。在本申请的上下文中，AR内容实际上可以是能够在AR设备上显示的任何类型的AR内容(例如，应用程序窗口、静态或动态图像等)。在本申请的上下文中，具有AR能力的设备可以是能够显示AR内容的任何设备(例如，智能电话、平板计算机、可佩戴耳机等)。为了简单起见，本文的大部分讨论将涉及在AR耳机上显示AR内容。然而，应当理解，通常可以使用任何具有AR能力的设备来显示AR内容。

在实施方式中，一个或更多个传感器可以可操作地耦接至AR耳机(例如，诸如摄像装置的图像传感器、诸如麦克风的音频捕获设备等)。一个或更多个传感器可以收集与用户及其周围环境相关联的数据，并且此后使用该数据来确定与用户相关联的上下文。在实施方式中，AR耳机可以从其他设备接收另外的上下文相关的数据。例如，AR耳机可以与用户的智能手表通信并且使用从用户的智能手表获得的数据来确定与用户相关联的上下文(例如，从智能手表接收加速度计数据以确定用户的速度等)。

响应于在302处确定不存在与用户相关联的上下文参数，实施方式可以在303处继续以当前显示设置显示AR内容。然而，响应于在302处确定与用户相关联的上下文，实施方式可以在304处调整AR内容的至少一个特征。

在实施方式中，上下文实际上可以是与用户相关联的任何可检测的上下文(例如，用户的位置、用户的当前速度、邻近用户的其他个体、其组合等)。在实施方式中，与AR内容相关联的至少一个特征实际上可以是所显示的AR内容的任何可调节特征(例如，尺寸、位置、不透明度、其组合等)。在实施方式中，AR内容的调整可以在没有用户输入的情况下自动完成。更具体地，用户不需要向系统提供显式用户命令(例如，语音输入、触摸输入、手势输入等)，以调整AR内容的特征。

以下描述的是对应于所显示的AR内容的特征调整的示例实施方式。应当理解，这些示例是非限制性的，并且本申请中的新构思可以适用于本文未明确描述的其他情况和上下文。

在实施方式中，上下文可以与用户的当前地理位置相关联。实施方式可能能够使用一个或更多个位置确定技术(例如，GPS跟踪、位置三角测量、其他位置确定技术等)来确定用户的当前地理位置。响应于确定用户的位置，实施方式可以自动调整所显示的AR内容的至少一个特征。例如，响应于确定用户在工作，实施方式可以增加所显示的AR内容的不透明度和/或减小所显示的AR内容的尺寸。

在实施方式中，地理位置可以对应于用户在建筑物或车辆中的特定位置的位置确定。例如，响应于确定用户在其办公室中，实施方式可以在用户的视野的中心显示AR内容、以更大的格式显示AR内容、以不太透明的方式显示AR内容等。如果实施方式确定用户已经离开其办公室并且走进会议室，则实施方式可以减小AR内容的尺寸、将AR内容重新定位到用户的视野的外围、增加AR内容的不透明度等。在类似的示例中，实施方式可以确定用户是车辆中的驾驶员还是乘客。响应于确定用户的位置对应于驾驶或车辆操作位置，实施方式可以最小化或从显示器清除所有AR内容。然而，如果实施方式确定用户是车辆中的乘客，则实施方式可以在用户的优选或现有观看设置下显示AR内容。用户在建筑物或车辆中的位置可以使用一个或更多个传统位置确定技术来确定，所述一个或更多个传统位置确定技术可能涉及对来自其他传感器和/或设备的数据的接收和处理。

在实施方式中，上下文可以与用户的速度相关联。实施方式可能能够使用一个或更多个速度确定技术(例如，使用GPS数据、加速度计数据、其他速度确定技术等)来确定用户的速度。在实施方式中，响应于确定用户的速度大于预定阈值(例如，其可以由制造商设置和/或可以由用户设置和调整等)，实施方式可以调整所显示的AR内容的至少一个特征。例如，响应于确定用户在先前在静止位置消费AR内容之后开始行走，实施方式可以增加所显示的AR内容的不透明度。

在实施方式中，可以存在多个预定阈值，其中预定阈值中的每一个对应于不同的速度。在实施方式中，速度中的每一个可以具有与其相关联的特定调整设置。例如，响应于确定前段中的步行用户开始跑步，实施方式可以将AR内容移动到用户视觉的外围边缘，以使他们的中心视野清晰。在另一示例中，响应于确定用户开始以通常与移动车辆相关联的速度移动，实施方式可以自动地最小化或从显示器清除AR内容。实施方式可以利用前述位置确定技术来确保当用户是移动车辆中的乘客时不自动清除AR内容。

在实施方式中，上下文可以与邻近于用户的其他个体的身份相关联。在实施方式中，其他个体的身份可以使用一个或更多个识别技术来确定。例如，实施方式可以从与邻近个体相关联的设备(例如，个体的膝上型计算机、个体的智能电话、个体的智能手表或健身跟踪器等)接收用户标识数据。作为另一示例，实施方式可以捕获一个或更多个邻近个体的图像，并且将捕获的图像与包含所识别个体的至少一个存储图像的可访问数据库进行比较。在又一示例中，实施方式可以(例如，使用一个或更多个麦克风等)检测与另一个体相关联的语音数据(例如，当另一个体正在讲话时等)。此后，实施方式可以通过将检测到的声纹与包含所识别个体的至少一个存储的声纹的可访问数据库进行比较来确定另一个体的身份。

响应于确定邻近个体的身份，实施方式可以调整所显示的AR内容的至少一个特征。例如，响应于确定用户的老板在附近，实施方式可以减小所显示的AR内容的尺寸、增加AR内容的不透明度、重新定位AR内容以使用户的中心视野清晰、其组合等。在实施方式中，实施方式可以响应于简单地识别另一个体与用户邻近而不管另一个体的身份如何，来调整AR内容的特征。

在实施方式中，响应于接收到显示AR内容的第一指示，可以将AR内容自动调整到上下文适当设置。例如，在启动AR耳机时或响应于显示AR内容的用户命令，实施方式可以确定用户的上下文并且此后以与该上下文相关联的特征来显示初始AR内容(即，在启动AR耳机时或响应于用户命令而显示的第一AR内容)。

在实施方式中，调整AR内容的方式可以遵循预定规则集，该预定规则集可以存储在可访问存储数据库(例如，云存储、远程存储、本地存储、网络存储等)中。预定规则集可以管理响应于特定上下文确定对AR内容进行的调整。在实施方式中，预定规则集可以最初由制造商设置并且后面由用户调整。

因此，本文描述的各种实施方式代表对传统AR内容调整技术的技术改进。使用本文描述的技术，实施方式可以在具有AR能力的设备上显示AR内容。实施方式可以确定与用户相关联的上下文(例如，用户的位置、用户的速度、与用户邻近的其他用户的身份等)，并且此后基于所确定的上下文来调整AR内容的至少一个特征(例如，AR内容的位置、AR内容的不透明度、AR内容的尺寸等)。这些技术可以在没有另外的用户输入的情况下在适合上下文的设置下自动显示AR内容。

如本领域的技术人员将理解的是，各方面可以实施为系统、方法或设备程序产品。因此，各方面可以采用完全硬件实施方式的形式或采用包括软件的实施方式的形式，以上在本文中可以全部统称为"电路"、"模块"或"系统。此外，各方面可以采用在一个或更多个设备可读介质中实施的设备程序产品的形式，所述一个或更多个设备可读介质具有与其一起实施的设备可读程序代码。

应当注意，本文中描述的各种功能可以使用由处理器执行的存储在设备可读存储介质例如非信号存储设备上的指令来实施。存储设备可以是例如系统、装置或设备(例如，电子、磁、光、电磁、红外或半导体系统、装置或设备)或前述的任何合适的组合。存储设备/介质的更具体示例包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式致密盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或前述的任何合适的组合。在本文件的上下文中，存储设备不是信号，并且“非暂态”包括除信号媒体之外的所有媒体。

存储介质上实施的程序代码可以使用包括但不限于以下的任何适当的介质来传输：无线、有线、光缆、RF等或前述的任何合适的组合。

用于执行操作的程序代码可以以一个或更多个编程语言的任何组合来编写。程序代码可以完全地在单个设备上执行、部分地在单个设备上执行、作为独立软件包执行、部分地在单个设备上并且部分地在另一设备上执行或完全在另一设备上执行。在一些情况下，可以通过包括局域网(LAN)或广域网(WAN)的任何类型的连接或网络来连接设备，或者可以通过其他设备(例如通过使用因特网服务提供商的因特网)、通过无线连接例如近场通信、或者通过硬线连接例如通过USB连接来进行连接。

本文中参照示出了根据各种示例性实施方式的示例性方法、设备和程序产品的附图来描述示例性实施方式。应理解，动作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给设备、专用信息处理设备或其他可编程数据处理设备的处理器以产生机器指令，使得经由设备的处理器执行的指令实现指定的功能/动作。

值得注意的是，尽管在附图中使用了特定块，并且已经示出了块的特定顺序，但这些是非限制性示例。在某些上下文中，可以组合两个或更多个块，可以将块分成两个或更多个块，或者可以适当地重新排序或重新组织某些块，因为明确示出的示例仅用于描述目的并且不应被解释为限制性的。

如本文中所使用的，除非另有明确说明，否则未加以数量限定可以解释为包括复数形式“一个或更多个”。

为了说明和描述的目的给出了本公开内容，但是本公开内容不旨在是穷举的或限制性的。许多修改和变型对于本领域普通技术人员而言将是明显的。选择并描述示例性实施方式是为了说明原理和实际应用，并且使本领域其他普通技术人员能够理解本公开内容的具有与预期的特定使用相适合的各种修改的各种实施方式。

因此，尽管本文已经参照附图描述了说明性的示例性实施方式，但是应理解的是，该描述不是限制性的，并且在不脱离本公开内容的范围或精神的情况下，本领域技术人员可以在其中进行各种其他改变和修改。

Claims (18)

1.一种信息处理方法，包括：

使用处理器来在增强现实设备上显示增强现实内容，所述增强现实设备包括显示器和至少一个可操作地耦接的传感器，其中，所述至少一个可操作地耦接的传感器包括位于不同于所述增强现实设备的设备上的至少一个传感器，其中，所述显示包括以第一显示设置显示所述增强现实内容；

使用所述处理器来确定与用户相关联的上下文，其中所述上下文是根据所述用户的环境确定的，其中，确定所述上下文包括响应于接收到用于显示所述增强现实内容的指示确定所述用户的环境，其中，基于由所述至少一个可操作地耦接的传感器提供的信息来识别所述环境，其中，所述信息包括有关所述用户的周围环境和所述用户的属性的至少一个可检测上下文特征；以及

基于根据所述指示识别的所述用户的环境变化并且在没有另外的用户输入的情况下，调整所述显示器上的所述增强现实内容的至少一个特征，其中，所述调整包括在所述增强现实内容显示之后调整所述至少一个特征，其中，所述调整包括调整所述至少一个特征以调整所述用户相对于所述环境的视野。

2.根据权利要求1所述的信息处理方法，其中，所述上下文与所述用户的位置相关联。

3.根据权利要求1所述的信息处理方法，其中，所述上下文与所述用户的速度相关联。

4.根据权利要求1所述的信息处理方法，其中，所述上下文与邻近所述用户的至少一个其他个体相关联。

5.根据权利要求1所述的信息处理方法，其中，确定所述上下文包括访问从另一设备获得的数据。

6.根据权利要求1所述的信息处理方法，其中，确定所述上下文包括访问从至少一个传感器获得的数据。

7.根据权利要求1所述的信息处理方法，其中，所述至少一个特征对应于位置特征。

8.根据权利要求1所述的信息处理方法，其中，所述至少一个特征对应于不透明度特征。

9.根据权利要求1所述的信息处理方法，其中，所述至少一个特征对应于尺寸特征。

10.一种增强现实设备，包括：

处理器；

显示器；

至少一个可操作地耦接的传感器，其中，所述至少一个可操作地耦接的传感器包括位于不同于所述增强现实设备的设备上的至少一个传感器；

存储器设备，所述存储器设备存储指令，所述指令能够由所述处理器执行以：

在所述增强现实设备上显示增强现实内容，其中，所述显示包括以第一显示设置显示所述增强现实内容；

确定与用户相关联的上下文，其中所述上下文是根据所述用户的环境确定的，其中，确定所述上下文包括响应于接收到用于显示所述增强现实内容的指示确定所述用户的环境，其中，基于由所述至少一个可操作地耦接的传感器提供的信息来识别所述环境，其中，所述信息包括有关所述用户的周围环境和所述用户的属性的至少一个可检测上下文特征；以及

基于根据所述指示识别的所述用户的环境变化并且在没有另外的用户输入的情况下，调整所述显示器上的所述增强现实内容的至少一个特征，其中，所述调整包括在所述增强现实内容显示之后调整所述至少一个特征，其中，所述调整包括调整所述至少一个特征以调整所述用户相对于所述环境的视野。

11.根据权利要求10所述的增强现实设备，其中，所述上下文与所述用户的位置相关联。

12.根据权利要求10所述的增强现实设备，其中，所述上下文与所述用户的速度相关联。

13.根据权利要求10所述的增强现实设备，其中，能够由所述处理器执行以用于确定的指令包括能够由所述处理器执行以访问从另一设备获得的数据的指令。

14.根据权利要求10所述的增强现实设备，其中，能够由所述处理器执行以用于确定的指令包括能够由所述处理器执行以访问从至少一个传感器获得的数据的指令。

15.根据权利要求10所述的增强现实设备，其中，所述至少一个特征对应于位置特征。

16.根据权利要求10所述的增强现实设备，其中，所述至少一个特征对应于不透明度特征。

17.根据权利要求10所述的增强现实设备，其中，所述至少一个特征对应于尺寸特征。

18.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，使得所述处理器执行根据权利要求1至9中的任意一项所述的信息处理方法。

Images