CN115802143A - 基于设备位置调整图像的显示 - Google Patents

Abstract

本公开涉及基于设备位置调整图像的显示。本文所公开的各种具体实施包括用于基于设备位置来调整图像的显示的设备、系统和方法。在一些具体实施中，设备包括图像传感器、显示器、非暂态存储器以及与图像传感器、显示器和非暂态存储器耦接的一个或多个处理器。在一些具体实施中，方法包括获得该设备的用户的身体部位的第一图像。在一些具体实施中，该方法包括经由图像传感器捕获身体部位的第二图像。在一些具体实施中，该方法包括基于第二图像来确定身体部位相对于设备的位置。在一些具体实施中，该方法包括通过基于该身体部位相对于设备的位置调整第一图像来生成调整后的图像。在一些具体实施中，该方法包括在显示器上显示调整后的图像。

Description

基于设备位置调整图像的显示

相关申请的交叉引用

本申请要求于2021年9月9日提交的美国临时专利申请63/242,179号以及于2022年7月29日提交的美国专利申请17/877,255号的权益，这些申请全文以引用方式并入。

技术领域

本公开整体涉及基于设备位置调整图像的显示。

背景技术

一些设备包括捕获图像的图像传感器和显示所捕获的图像的显示器。这些图像可描绘各种物体或人。这些图像可呈现在移动通信设备上。

发明内容

本文所公开的各种具体实施包括用于基于设备位置来调整图像的显示的设备、系统和方法。在一些具体实施中，设备包括图像传感器、显示器、非暂态存储器以及与该图像传感器、该显示器和该非暂态存储器耦接的一个或多个处理器。在一些具体实施中，方法包括获得设备的用户的身体部位的第一图像。在一些具体实施中，方法包括经由图像传感器捕获身体部位的第二图像。在一些具体实施中，方法包括基于第二图像来确定身体部位相对于设备的位置。在一些具体实施中，方法包括通过基于身体部位相对于设备的位置调整第一图像来生成调整后的图像。在一些具体实施中，方法包括在显示器上显示调整后的图像。

根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A是根据一些具体实施的操作环境中的用户和电子设备的侧视图。

图1B是根据一些具体实施的用户和电子设备的前视图。

图1C是根据一些具体实施的用户和电子设备的另一侧视图。

图1D是根据一些具体实施的用户和电子设备的另一前视图。

图2是根据一些具体实施的图像呈现引擎的框图。

图3是根据一些具体实施的基于设备位置来调整图像的显示的方法的流程图表示。

图4是根据一些具体实施的基于设备位置来调整图像的显示的设备的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

物理环境是指人们在没有电子设备帮助的情况下能够对其感测和/或与其交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。相反，扩展现实(XR)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，XR环境可包括增强现实(AR)内容、混合现实(MR)内容、虚拟现实(VR)内容等。在XR系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调整在XR系统中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可以检测头部移动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调整呈现给人的图形内容和声场。又如，XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调整呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，XR系统可响应于物理运动的表示(例如，声音命令)来调整XR环境中图形内容的特征。

有许多不同类型的电子系统使人能够感测和/或与各种XR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑、以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一些具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

设备可包括显示器，该显示器显示设备的用户的身体部位的图像。显示身体部位的图像允许位于设备的物理环境中另一个人在身体部位被设备遮挡时查看身体部位的表示。例如，如果设备遮挡用户的手，则显示器显示用户的手的图像，使得位于设备的物理环境中的另一个人可查看被设备遮挡的用户的手的图像。显示身体部位的图像提供了在物理环境中的人正在直接查看身体部位的外观。例如，显示用户的手的图像提供了用户或与用户交互的人正在直接看着用户的手的外观。然而，身体部位的图像与身体部位之间的不对准会减损外观。例如，如果显示器正在显示器的中心显示用户的手，并且用户正以使得设备的左侧部分刚好遮挡手的方式握住设备，则对应于用户的手的像素的位置可能不匹配预期手所在的位置。因此，设备可能需要基于设备相对于身体部位的位置来调整图像的显示。例如，如果设备的左侧部分刚好遮挡手，则设备可能需要将手的图像朝向左移位。

本公开提供了用于基于身体部位相对于设备的位置来调整身体部位的图像的显示的方法、系统和/或设备。当设备在显示器上显示身体部位的图像时，设备检测身体部位是否与身体部位的图像对准。如果身体部位和身体部位的图像未对准，则设备将图像移位，以便将图像与身体部位对准。例如，如果设备的显示器正在显示用户的手的图像，则设备将用户的手的图像移位，以便将表示手的像素与用户的手对准。例如，如果用户正在比预期更靠右地握住设备，则设备可将图像向左移位，以便将手的图像与用户的手对准。又如，如果用户正在比预期更靠左地握住设备，则设备可将图像向右移位，以便将手的图像与用户的手对准。基于设备的位置将手的图像移位导致将手的图像定位在显示器上的预期位置处，以便提供用户或物理环境中的人正在直接看着用户的手的外观。

图1A是根据一些具体实施的示出示例物理环境10的图示。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，物理环境10包括电子设备20和电子设备20的用户12。图1A示出了用户12和电子设备20的侧视图。在一些具体实施中，电子设备20包括能够由用户12握住的手持计算设备。例如，在一些具体实施中，电子设备20包括智能电话、平板电脑、媒体播放器、膝上型电脑等。在一些具体实施中，电子设备20包括能够由用户12穿戴的可穿戴计算设备。例如，在一些具体实施中，电子设备20包括可头戴设备(HMD)或电子手表。

在图1A的示例中，电子设备20邻近用户12定位，以便遮挡用户12的身体部位14。在一些具体实施中，身体部位14是用户12的手，并且电子设备20是用户12在手附近握住的以便捕获手的图像的平板电脑或智能电话。在一些具体实施中，电子设备20包括用户12穿戴在身体部位14周围的可穿戴计算设备。例如，身体部位14可以是用户12的腕部，并且电子设备20可包括用户12穿戴在腕部周围的手表。又如，身体部位14可包括用户12的眼睛，并且电子设备20可包括用户12穿戴在用户12的头部周围由此覆盖用户12的眼睛的HMD。因此，位于物理环境10中并与用户12交互的人可能不能够直接查看用户12的身体部位14(例如，手、腕部或眼睛)，因为电子设备20阻挡身体部位14与查看身体部位14的人的眼睛之间的视线。

在一些具体实施中，电子设备20包括图像传感器22和显示器26。在一些具体实施中，图像传感器22面向第一方向，并且显示器26面向与第一方向相反的第二方向。例如，在一些具体实施中，图像传感器22是捕获身体部位14的图像的相机，并且显示器26是朝向查看用户12的人显示身体部位14的图像30(下文为简洁起见，简称“图像30”)的显示器。在一些具体实施中，图像30包括由图像传感器22捕获的图像。另选地，在一些具体实施中，图像30包括在注册阶段期间捕获的图像。

如图1A中所示，图像30包括对应于身体部位14的一组一个或多个像素34(下文为简洁起见，简称“像素34”)。例如，如果身体部位14是用户12的手指，则像素34表示用户12的手指。如在图1A中可以看出，对应于身体部位14的像素34不与相交于身体部位14的水平轴线40相交。换句话讲，对应于身体部位14的像素34不与身体部位14对准。具体地，像素34是远离水平轴线40的距离50。在图1A的示例中，像素34不与水平轴线40相交，因为用户12可能已经将电子设备20定位在距电子设备20的预期位置的距离50处。例如，用户12可能已经将电子设备20定位在与他/她的手上的预期位置不同的位置处。

图1A示出了用户12握住或穿戴电子设备20的侧视图，而图1B示出了用户12握住或穿戴电子设备20的前视图。如在图1B中可以看出，对应于身体部位14的像素34与身体部位14在由显示器26形成的平面上的投影相隔距离50。如图1B所示，对应于身体部位14的像素34不与身体部位14对准。如果身体部位14包括用户12的手指并且像素34表示显示在显示器26上的手指，则像素34可不与手指对准，因为用户12可能已经将电子设备20定位在与预期位置不同的位置处。

如图1C和图1D所示，电子设备20基于电子设备20相对于身体部位14的位置来调整图像30的显示。在各种具体实施中，电子设备20调整图像30的显示，以便将像素34与身体部位14对准。在图1C和图1D的示例中，电子设备20将图像30向下移位距离50，使得像素34与穿过身体部位14的水平轴线40相交。换句话讲，电子设备20将图像30移位，使得像素与身体部位14在由显示器26形成的平面上的投影重合。如在图1D中可以看出，像素34与身体部位14对准。例如，如果身体部位14是手并且像素34表示手的图片，则手的图片与手对准。因此，手的图片显示在显示器26上与手的投影重合的位置处。换句话讲，手的图片显示在显示器26上预期手所在的位置处。

图2示出了示例性图像呈现引擎200的框图。在一些具体实施中，图像呈现引擎200驻留在图1A至图1D中所示的电子设备20处。在各种具体实施中，图像呈现引擎200包括数据获取器210、位置确定器220、图像调整器230和显示引擎240。在各种具体实施中，数据获取器210获得由图像传感器捕获的图像212(下文为简洁起见，简称“捕获的图像212”)。例如，数据获取器210从图1A和图1C中所示的图像传感器22接收捕获的图像212。在一些具体实施中，捕获的图像212描绘图1A至图1D中所示的用户12的身体部位14。例如，捕获的图像212包括对应于用户12的身体部位14的像素34。数据获取器210将捕获的图像212提供给位置确定器220。

在各种具体实施中，位置确定器220利用捕获的图像212来确定电子设备20相对于捕获的图像212中描绘的身体部位14的位置222。例如，在一些具体实施中，位置确定器220利用捕获的图像212来确定电子设备20相对于用户12的手、用户12的手指、用户12的手臂、用户12的腿部、用户12的躯干或用户12的眼睛的位置。在一些具体实施中，位置222指示电子设备20是否相对于用户12定位在预期位置处。例如，在一些具体实施中，位置222指示用户12是否在相对于身体部位14的预期位置处握住电子设备20。又如，位置222指示用户12是否将电子设备20穿戴在高于或低于他/她的腕部上的预期位置的位置处。在一些具体实施中，位置222包括指示电子设备20的当前位置与电子设备20的预期位置之间的距离的偏移值(例如，图1A至图1C中所示的距离50)。

在一些具体实施中，图像调整器230基于电子设备20相对于身体部位14的位置222来确定图像30的调整232。在一些具体实施中，调整232是为了将图像30移位，使得对应于身体部位14的像素34与身体部位14的位置222对准。例如，如关于图1A至图1D所讨论的，在一些具体实施中，调整232是为了将图像30向下移位以便将像素34与身体部位14对准。虽然图1C和图1D提供了一维调整232的示例(例如，垂直调整，例如向下移位)，但是在一些具体实施中，调整232包括二维调整。例如，在一些具体实施中，调整232包括垂直移位和水平移位的组合。

在一些具体实施中，调整232包括深度调整，其中图像30的深度基于身体部位14与电子设备20之间的距离而变化。例如，如果用户12进一步远离电子设备20，则调整232可包括在更大的深度处显示图像30，使得图像30看起来更加远离查看显示器26的人。

在一些具体实施中，调整232包括围绕图1A和图1C中所示的水平轴线40的旋转。例如，如果用户12以电子设备20朝向用户12的食指倾斜的方式握住电子设备20，则调整232可包括图像30的旋转，以便将对应于手指的像素34与用户12的手指对准。又如，如果电子设备20朝向用户12的左眼倾斜，则调整232包括图像30的旋转，以便将对应于眼睛的像素34与用户12的眼睛对准。

在一些具体实施中，显示引擎240从图像调整器230获得调整232的指示，并且显示引擎240对图像30执行调整232。在一些具体实施中，调整232是为了执行平移操作(例如，移位操作)，并且显示引擎240平移(例如，移位)图像30。在一些具体实施中，调整232是为了执行旋转操作，并且显示引擎240旋转图像30。在一些具体实施中，调整232是为了执行缩放操作，并且显示引擎240缩放图像30的一部分。

图3是用于基于电子设备相对于身体部位的位置来调整图像的显示的方法300的流程图表示。在一些具体实施中，方法300由设备(例如，图1A至图1D中所示的电子设备20)执行。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

如框310所表示，在各种具体实施中，方法300包括获得设备的用户的身体部位的第一图像。在一些具体实施中，方法300包括从数据库(例如，本地非暂态存储器或远程数据库)检索第一图像。例如，如图1A中所示，电子设备20获得描绘身体部位14的图像30。在一些具体实施中，设备遮挡来自设备的物理环境中的用户或人的身体部位。例如，设备可阻挡在设备的物理环境中的用户的眼睛或人的眼睛与身体部位之间的视线。如图1A至图1D中所示，电子设备20隐藏身体部位14使其不被查看到。

如框320所表示，在一些具体实施中，方法300包括经由图像传感器捕获身体部位的第二图像。例如，如关于图1A、图1B和图2所讨论的，图像传感器22捕获身体部位14的图像212。例如，设备的相机可捕获用户的手、手指、手臂、腿部、躯干、面部或眼睛的图像。

如框330所表示，在一些具体实施中，方法300包括基于第二图像来确定身体部位相对于设备的位置。例如，如图2中所示，位置确定器220基于捕获的图像212来确定电子设备20相对于身体部位14的位置222。如关于图2所讨论的，在一些具体实施中，位置222指示电子设备20相对于用户12的手、手指、手臂、腿部、躯干、面部或眼睛的位置。

在一些具体实施中，方法300包括确定设备的当前位置与设备的预期位置之间的距离。例如，如图1A中所示，电子设备20确定在显示像素34的第一显示位置与水平轴线40相交于显示器26的第二显示位置之间的距离50。在一些具体实施中，方法300包括确定身体部位14在由显示器26形成的平面上的投影与对应于身体部位14的像素34之间的距离。

在一些具体实施中，方法300包括确定身体部位是否与第一图像中对应于身体部位的像素对准。例如，参考图1A，电子设备20确定对应于身体部位14的像素34是否与身体部位14对准。在一些具体实施中，确定像素34是否与身体部位14对准包括确定像素34是否位于穿过身体部位14的水平轴线40上。在一些具体实施中，确定像素34是否与身体部位14对准包括确定像素34是否与身体部位14在由显示器26形成的平面上的投影重合。

在一些具体实施中，方法300包括利用立体摄影测量来确定身体部位相对于设备的位置。在一些具体实施中，方法300包括利用深度感测来确定身体部位相对于设备的位置。如框330a所表示，在一些具体实施中，身体部位包括用户的眼睛，并且确定身体部位的位置包括利用三角测量来检测在第二图像中的用户的眼睛。在一些具体实施中，身体部位包括用户的瞳孔，并且电子设备利用三角测量来检测用户的瞳孔的相应位置。

如330b所表示，在一些具体实施中，方法300包括确定身体部位在某时间段内的相应位置，并且对身体部位在该时间段内的相应位置进行平均，以便减少与检测位置相关联的噪声。例如，身体部位可包括用户的眼睛，并且确定身体部位的位置包括确定瞳孔在某时间段内的相应位置并对瞳孔在该时间段内的相应位置进行平均。对瞳孔在某时间段内的位置进行平均倾向于减少与检测瞳孔位置相关联的噪声。

如框340所表示，在一些具体实施中，方法300包括通过基于身体部位相对于设备的位置调整第一图像来生成调整后的图像。例如，如图1C中所示，电子设备20将图像30向下移位距离50，以便将像素34与身体部位14对准。又如，如关于图2所描述的，图像调整器230基于位置222来确定调整232，并且显示引擎240对图像30执行调整232。

如框340a所表示，在一些具体实施中，调整第一图像包括将第一图像中的对应于身体部位的像素与身体部位对准。例如，如图1C中所示，电子设备20将图像30移位，以便将描绘身体部位14的像素34与身体部位14对准。在一些具体实施中，将第一图像中的像素与身体部位对准包括将第一图像移位，使得像素位于穿过身体部位的轴线上。

如框340b所表示，在一些具体实施中，调整第一图像包括利用矩阵来将对应于第一图像的第一坐标空间与对应于身体部位的第二坐标空间进行匹配。在一些具体实施中，方法300包括通过识别身体部位的几何形状以及对身体部位的几何形状进行编码作为矩阵的系数来生成矩阵。

如框340c所表示，在一些具体实施中，调整第一图像包括旋转第一图像。在一些具体实施中，如果电子设备20以相对于穿过用户12的眼睛的水平轴线成一定角度定位，则电子设备20旋转显示在显示器上的眼睛的图像，以便将眼睛的图像与眼睛对准。在一些具体实施中，方法300包括确定设备与穿过用户12的鼻部的垂直轴线不形成直角以及旋转显示在显示器上的眼睛的图像，以便将眼睛的图像与眼睛对准。在一些具体实施中，方法300包括利用旋转矩阵来对第一图像执行旋转操作。例如，设备通过将第一图像与旋转矩阵相乘来调整第一图像。

在一些具体实施中，调整第一图像包括将第一图像移位。在一些具体实施中，将第一图像移位包括将第一图像水平移位。在一些具体实施中，将第一图像移位包括将第一图像垂直移位。例如，如图1C中所示，电子设备20将图像30垂直移位距离50。在一些具体实施中，将第一图像移位包括执行水平移位和垂直移位的组合。

在一些具体实施中，调整第一图像包括缩放第一图像。在一些具体实施中，设备通过应用缩放系数来缩放第一图像，该缩放系数是设备相对于身体部位的预期位置与设备相对于身体部位的当前位置之间的差值的函数。

如框340d所表示，在一些具体实施中，调整第一图像包括检测身体部位与身体部位的第一图像之间的不对准，以及响应于不对准大于公差阈值来调整第一图像。在一些具体实施中，方法300包括响应于不对准小于公差阈值而放弃调整。例如，如图1A至图1D中所示，电子设备20检测像素34与身体部位14之间的不对准，并且电子设备20调整图像30的显示，以便将像素34与身体部位14对准。

如框340e所表示，在一些具体实施中，调整第一图像包括确定设备是否相对于身体部位正在移动、响应于确定设备未相对于身体部位正在移动而调整第一图像以及响应于确定设备相对于身体部位正在移动而放弃调整第一图像。例如，当用户正在定位设备时，设备放弃调整显示在显示器上的图像。由于执行调整利用计算资源并消耗电池电量，因此当不需要调整时放弃调整会节省有限的计算资源并延长设备的电池寿命。

如框340f所表示，在一些具体实施中，调整第一图像包括确定在设备的阈值距离内是否有人、响应于确定在设备的阈值距离内有人而调整第一图像以及响应于确定在设备的阈值距离内没有人而放弃调整第一图像。当在显示器的合理查看距离内没有人时，设备放弃调整图像。当预计没有人查看图像时，放弃调整图像会节省电池电量，从而延长设备的电池寿命。

如框340g所表示，在一些具体实施中，调整第一图像包括确定设备的电池水平、响应于电池水平满足阈值电池水平而调整第一图像以及响应于电池水平突破阈值电池水平而放弃调整第一图像。当电池水平低于阈值电池水平时，设备放弃调整图像。当电池水平低于阈值电池水平时，放弃调整图像通过减少电池消耗来延长设备的电池寿命。

如框350所表示，在各种具体实施中，方法300包括在显示器上显示调整后的图像。例如，如图1C和图1D所示，电子设备20显示图像30的调整后版本。

重新参见图1A至图1D，在一些具体实施中，电子设备20包括或被附接到由用户12穿戴的可头戴设备(HMD)。根据各种具体实施，HMD呈现(例如，显示)XR环境。在一些具体实施中，HMD包括显示XR环境的集成显示器(例如，内置显示器)。在一些具体实施中，HMD包括可头戴壳体。在各种具体实施中，可头戴壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，电子设备20可附接到可头戴壳体。在各种具体实施中，可头戴壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备20)的接收器。例如，在一些具体实施中，电子设备20滑动/卡扣到可头戴壳体中或以其他方式附接到该可头戴壳体。在一些具体实施中，附接到可头戴壳体的设备的显示器呈现(例如，显示)XR环境。在各种具体实施中，电子设备20的示例包括智能电话、平板电脑、媒体播放器、膝上型电脑等。

在一些具体实施中，如果设备遮挡用户的眼睛，则显示器显示用户的眼睛的图像，使得位于设备的物理环境中的另一个人可查看被设备遮挡的用户的眼睛的图像。显示用户的眼睛的图像提供了与用户交互的人正在直接看着用户的眼睛的外观。然而，眼睛的图像与眼睛之间的不对准会减损外观。例如，如果显示器正在显示用户的眼睛并且用户在他/她的面部上穿戴设备的位置高于预期的位置，则对应于用户的眼睛的像素的位置可能与预期眼睛所在的位置不匹配。因此，设备可能需要基于设备相对于身体部位的位置来调整图像的显示。在此类具体实施中，设备将用户的眼睛的图像移位，以便将表示眼睛的像素与用户的眼睛对准。例如，如果用户在他/她的面部上穿戴设备的位置高于预期的位置，则设备可将图像朝较低位置移位，以便将眼睛的图像与用户的眼睛对准。又如，如果用户在他/她的面部上穿戴设备的位置低于预期的位置，则设备可将图像朝较高位置移位，以便将眼睛的图像与用户的眼睛对准。基于设备的位置将眼睛的图像移位导致将眼睛的图像定位在显示器上的预期位置处，以便提供物理环境中的人正在直接看着用户的眼睛的外观。

图4是根据一些具体实施的设备400的框图。在一些具体实施中，设备400实现图1A至图1D中所示的电子设备20和/或图2中所示的图像呈现引擎200。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备400包括一个或多个处理单元(CPU)401、网络接口402、编程接口403、存储器404、一个或多个输入/输出(I/O)设备410以及用于互连这些和各种其他部件的一条或多条通信总线405。

在一些具体实施中，提供了网络接口402以便除其他用途之外，在云托管的网络管理系统与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，一条或多条通信总线405包括互连和控制系统部件之间的通信的电路。存储器404包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器404任选地包括与一个或多个CPU 401远程地定位的一个或多个存储设备。存储器404包括非暂态计算机可读存储介质。

在一些具体实施中，存储器404或存储器404的非暂态计算机可读存储介质存储以下程序、模块以及数据结构，或者它们的子集，包括任选的操作系统406、数据获取器210、位置确定器220、图像调整器230和显示引擎240。在各种具体实施中，设备400执行图3中所示的方法300。

在一些具体实施中，数据获取器210包括指令210a以及启发法和元数据210b，用于获得(例如，接收和/或捕获)图2中所示的捕获的图像212。在一些具体实施中，数据获取器210执行由图3中的框320表示的操作中的至少一些操作。

在一些具体实施中，位置确定器220包括指令220a以及启发法和元数据220b，用于确定电子设备20相对于捕获的图像212中描绘的身体部位14的位置222。在一些具体实施中，位置确定器220执行由图3中的框330表示的操作中的至少一些操作。

在一些具体实施中，图像调整器230包括指令230a以及启发法和元数据230b，用于基于电子设备20相对于身体部位14的位置222来确定对图像30的调整232。在一些具体实施中，图像调整器230执行由图3中的框340表示的操作中的至少一些操作。

在一些具体实施中，显示引擎240包括指令240a以及启发法和元数据240b，用于基于电子设备20相对于身体部位14的位置222来调整图像30。在一些具体实施中，显示引擎240执行由图3中的框340表示的操作中的至少一些操作。

在一些具体实施中，一个或多个I/O设备410包括用于获得输入(例如，用户输入、图像和/或环境数据)的输入设备。在一些具体实施中，一个或多个I/O设备410包括触摸屏、深度传感器(例如，深度相机)和/或图像传感器(例如，相机，例如，可见光相机或红外光相机，诸如图1A至图1D中所示的图像传感器22)。在一些具体实施中，一个或多个I/O设备410包括环境传感器，诸如环境光传感器。在一些具体实施中，一个或多个I/O设备410包括显示器(例如，图1A至图1D中所示的显示器26)。

在各种具体实施中，一个或多个I/O设备410包括视频透视显示器，该视频透视显示器将设备400周围的物理环境的至少一部分显示为由场景相机捕获的图像。在各种具体实施中，一个或多个I/O设备410包括光学透传显示器，其至少部分为透明的并通过由物理环境发射或反射的光。

应当理解，图4用作可存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图4中单独示出的一些功能块可作为单个块实施，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实施。块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如，可利用此类个人信息以便在电子设备上提供改进的隐私屏幕。然而，在收集此类个人信息的程度上，此类信息应在用户知情同意的情况下获取。如本文所描述的，用户应了解和控制其个人信息的使用。

个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，除任何合理和合法的目的外，各方不得分发、出售或以其他方式分享此类信息。

然而，用户可限制各方能访问或以其他方式获取个人信息的程度。例如，可调整设置或其他偏好，使得用户可决定其个人信息是否可由各种实体访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。例如，如果收集到用户偏好、账户名称和/或位置历史，则该信息可被模糊化或以其他方式一般化，使得该信息不会识别相应用户。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

Claims (20)

1.一种方法，包括：

在包括图像传感器、显示器、非暂态存储器以及与所述图像传感器、所述显示器和所述非暂态存储器耦接的一个或多个处理器的设备处：

获得所述设备的用户的身体部位的第一图像；

经由所述图像传感器捕获所述身体部位的第二图像；

基于所述第二图像确定所述身体部位相对于所述设备的位置；

通过基于所述身体部位相对于所述设备的所述位置调整所述第一图像来生成调整后的图像；以及

在所述显示器上显示所述调整后的图像。

2.根据权利要求1所述的方法，其中调整所述第一图像包括将所述第一图像中的对应于所述身体部位的像素与所述身体部位对准。

3.根据权利要求1所述的方法，其中调整所述第一图像包括利用矩阵将对应于所述第一图像的第一坐标空间与对应于所述身体部位的第二坐标空间进行匹配。

4.根据权利要求2所述的方法，还包括通过识别所述身体部位的几何形状并且对所述身体部位的所述几何形状进行编码来生成所述矩阵。

5.根据权利要求1所述的方法，其中调整所述第一图像包括旋转所述第一图像。

6.根据权利要求1所述的方法，其中调整所述第一图像包括将所述第一图像移位。

7.根据权利要求1所述的方法，其中调整所述第一图像包括缩放所述第一图像。

8.根据权利要求1所述的方法，其中调整所述第一图像包括：

检测所述身体部位与所述身体部位的所述第一图像之间的不对准；以及

响应于所述不对准大于公差阈值来调整所述第一图像。

9.根据权利要求1所述的方法，其中调整所述第一图像包括：

确定所述设备是否相对于所述身体部位正在移动；

响应于确定所述设备未相对于所述身体部位正在移动而调整所述第一图像；以及

响应于确定所述设备相对于所述身体部位正在移动而放弃调整所述第一图像。

10.根据权利要求1所述的方法，其中调整所述第一图像包括：

确定在所述设备的阈值距离内是否有人；

响应于确定在所述设备的所述阈值距离内有人而调整所述第一图像；以及

响应于确定在所述设备的所述阈值距离内没有人而放弃调整所述第一图像。

11.根据权利要求1所述的方法，其中调整所述第一图像包括：

确定所述设备的电池水平；

响应于所述电池水平满足阈值电池水平而调整所述第一图像；以及

响应于所述电池水平突破所述阈值电池水平而放弃调整所述第一图像。

12.根据权利要求1所述的方法，其中所述身体部位包括所述用户的眼睛；并且

其中确定所述身体部位的所述位置包括：

确定瞳孔在某时间段内的相应位置；以及

对所述瞳孔在所述时间段内的所述相应位置进行平均。

13.根据权利要求1所述的方法，其中所述设备包括可穿戴计算设备；并且

其中当所述用户穿戴所述设备时，所述设备遮挡所述身体部位。

14.一种设备，包括：

一个或多个处理器；

图像传感器；

显示器；

非暂态存储器；和

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序在由所述一个或多个处理器执行时使所述设备：

获得所述设备的用户的身体部位的第一图像；

经由所述图像传感器捕获所述身体部位的第二图像；

基于所述第二图像确定所述身体部位相对于所述设备的位置；

通过基于所述身体部位相对于所述设备的所述位置调整所述第一图像来生成调整后的图像；以及

在所述显示器上显示所述调整后的图像。

15.根据权利要求14所述的设备，其中调整所述第一图像包括将所述第一图像中的对应于所述身体部位的像素与所述身体部位对准。

16.根据权利要求14所述的设备，其中调整所述第一图像包括利用矩阵将对应于所述第一图像的第一坐标空间与对应于所述身体部位的第二坐标空间进行匹配。

17.根据权利要求16所述的设备，其中所述一个或多个程序还使所述设备通过识别所述身体部位的几何形状并且对所述身体部位的所述几何形状进行编码来生成所述矩阵。

18.根据权利要求14所述的设备，其中调整所述第一图像包括旋转所述第一图像。

19.根据权利要求14所述的设备，其中调整所述第一图像包括将所述第一图像移位。

20.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序在由包括显示器和图像传感器的设备的一个或多个处理器执行时使所述设备：

获得所述设备的用户的身体部位的第一图像；

经由所述图像传感器捕获所述身体部位的第二图像；

基于所述第二图像确定所述身体部位相对于所述设备的位置；

通过基于所述身体部位相对于所述设备的所述位置调整所述第一图像来生成调整后的图像；以及

在所述显示器上显示所述调整后的图像。

Images