CN114666557A - 移动计算设备以及图像显示方法 - Google Patents

Abstract

本发明公开了一种移动计算设备，包括：不透明显示器；相机系统，包括第一相机，所述相机系统利用所述第一相机捕捉现实世界环境中的第一图像；距离探测单元，用于确定移动计算设备相对于用户的距离；以及确定现实世界环境中的对象相对于移动计算设备的距离；用户视线角度探测单元，用于确定用户相对于移动计算设备的角度；以及图像投影模块，生成由第一相机捕获的现实世界环境的投影图像并显示到移动计算设备的不透明显示器上，使得所述投影图像近似等效于被所述不透明显示器遮挡的真实世界的视图。本发明显示在显示器上的图像包括从与用户相同的角度观察与被移动计算设备遮挡的内容相同的可视内容，因此显示图像之间的视觉连续性以及背景现实环境被保持，用户感觉就像在通过一个窗口注视真实世界的环境。

Description

移动计算设备以及图像显示方法

技术领域

本发明涉及计算机技术领域。

背景技术

增强现实系统通过将虚拟角色和对象投影到物理位置来融合现实世界和虚拟世界环境，从而允许沉浸式体验和新颖的交互模型特别地，在一些增强现实系统中，可以将虚拟角色或对象插入到真实世界环境的捕获图像中（例如，通过在真实世界环境的捕获图像或视频流上叠加虚拟角色的二维或三维呈现）。在一些系统中，在捕获的图像中识别的物理对象可以被与该物理对象相关联的虚拟对象替换。例如，可以识别所捕获图像中的已识别车辆，并用动画或卡通样的车辆替换所识别的车辆。

增强现实系统已经在固定和移动计算设备中实现。在一些移动增强现实系统中，移动计算设备的相机（例如，与显示器相对放置的智能手机相机）捕获真实世界环境的图像。然后，增强现实系统对捕获的图像进行增强现实修改，并在移动计算设备的显示器中（例如，实时地）显示增强图像。以这种方式，用户能够看到与他或她的实际现实世界环境相对应的虚拟世界。参见附图2，然而，由于移动计算设备的用户和相机对真实世界环境具有不同的视角，图像的显示常会受到影响，因此由于视觉受到阻碍而使沉浸式体验受到影响。

发明内容

本发明的目的是克服现有技术的缺点，提供一种可使虚拟场景更加真实的移动计算设备以及图像显示方法。

为了实现上述目的，本发明提供了一种移动计算设备，包括：

不透明显示器；

相机系统，包括第一相机，所述相机系统利用所述第一相机捕捉现实世界环境中的第一图像；

距离探测单元，用于（i）确定移动计算设备相对于用户的距离，（ii）确定现实世界环境中的对象相对于移动计算设备的距离；

用户视线角度探测单元，用于确定用户相对于移动计算设备的角度；以及

图像投影模块，用于（i）基于所确定的用户相对于移动计算设备的角度从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域，（ii）基于不透明显示器遮挡的对象的确定区域和对象相对于移动计算设备的距离来确定第一相机的校正变焦量，和（iii）基于校正的变焦量生成由第一相机捕获的现实世界环境的投影图像并显示到移动计算设备的不透明显示器上，使得所述投影图像近似等效于被所述不透明显示器遮挡的真实世界的视图。

本发明的进一步改进在于，基于所确定的用户相对于移动计算设备的角度以及所确定的移动计算设备相对于用户的距离确定从用户的角度被不透明显示器遮挡的对象的区域。

本发明的进一步改进在于，其中所述的图像投影模块被配置为执行一变换单元，用于在预定时间的间隔对投影图像进行变换。

本发明的进一步改进在于，其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括:

基于移动计算设备的尺寸计算不透明显示器的角落的位置，基于不透明显示器的每个角落确定从用户的眼睛通过对应的每个角落到现实世界环境中的对象的射线；

对于每个确定的射线，识别与相应射线所指向的现实世界环境中的对象的位置相对应的现实世界环境中的第一图像的图像像素位置；以及

基于所识别的图像像素位置构造用于在移动计算设备的不透明显示器上显示的投影图像。

本发明的进一步改进在于，其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括:获取第一相机相对于显示器中心的偏移方向，根据获取的第一相机相对于显示器中心的偏移方向计算投影图像相对于第一图像中心的偏移方向。

本发明的进一步改进在于，其中所述的偏移方向包括以下参数中的任何一个:水平方向参数，用于指定所述第一相机相对于显示器中心在水平方向上的偏移角度；垂直方向参数，用于指定所述第一相机相对于显示器中心在垂直方向上的偏移角度。

本发明的进一步改进在于，其中所述的用户视线角度探测单元基于用户眼睛相对于移动计算设备的距离，移动计算设备的尺寸和用户眼睛对于探测单元的相对位置确定用户相对于移动计算设备的角度。

本发明的进一步改进在于，包括第二相机，利用所述第二相机捕捉所述移动计算设备的用户的第二图像，基于所述第二图像确定所述用户的眼睛相对于所述移动计算设备的角度。

根据本发明的另一方面，提供了一种图像显示方法，由移动计算设备执行，所述移动计算设备显示投影图像并且包括至少一个不透明显示器和连接到所述移动计算设备的相机系统，包括以下步骤：

第一图像获取步骤，利用所述的相机系统捕捉现实世界环境中的第一图像；

距离探测步骤，用于（i）确定移动计算设备相对于用户的距离，（ii）确定现实世界环境中的对象相对于移动计算设备的距离；

用户视线角度探测步骤，用于确定用户相对于移动计算设备的角度；以及

图像投影步骤，用于（i）基于所确定的用户相对于移动计算设备的角度从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域，（ii）基于不透明显示器遮挡的对象的确定区域和对象相对于移动计算设备的距离来确定相机系统的校正变焦量，和（iii）基于校正的变焦量生成由相机系统捕获的现实世界环境的投影图像并显示到移动计算设备的不透明显示器上，使得所述投影图像近似等效于被所述不透明显示器遮挡的真实世界的视图。

本发明的进一步改进在于，基于所确定的用户相对于移动计算设备的角度以及所确定的移动计算设备相对于用户的距离确定从用户的角度被不透明显示器遮挡的对象的区域。

本发明的进一步改进在于，其中所述的图像投影步骤被配置为执行进一步包括改变步骤，用于以预定时间的间隔改变投影图像。

本发明的进一步改进在于，其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括:

基于移动计算设备的尺寸计算不透明显示器的角落的位置，基于对不透明显示器的每个角落确定从用户的眼睛通过对应的每个角落到现实世界环境中的对象的射线；

对于每个确定的射线，识别与相应射线所指向的现实世界环境中的对象的位置相对应的现实世界环境中的第一图像的图像像素位置；以及

基于所识别的图像像素位置构造用于在移动计算设备的不透明显示器上显示的投影图像。

本发明的进一步改进在于，其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括:获取相机系统相对于显示器中心的偏移方向，根据获取的相机系统相对于显示器中心的偏移方向计算投影图像相对于第一图像的偏移方向。

本发明的进一步改进在于，其中所述偏移方向包括以下参数中的任何一个:

水平方向参数，用于指定所述相机系统相对于显示器中心在水平方向上的偏移角度；

垂直方向参数，用于指定所述相机系统相对于显示器中心在垂直方向上的偏移角度。

本发明的进一步改进在于，其中所述的用户视线角度探测步骤基于用户眼睛相对于移动计算设备的距离、移动计算设备的尺寸和用户眼睛对于探测单元的相对位置确定用户相对于移动计算设备的角度。

本发明的进一步改进在于，包括第二图像获取步骤，利用所述的相机系统捕捉所述移动计算设备的用户的第二图像，基于所述第二图像确定所述用户的眼睛相对于所述移动计算设备的角度。

由于采用了以上技术方案，本发明显示在显示器上的图像包括从与用户相同的角度观察与被移动计算设备遮挡的内容相同的可视内容，因此显示图像之间的视觉连续性以及背景现实环境被保持，用户感觉就像在通过一个窗口注视真实世界的环境。

附图说明

附图1为本实施例中的虚拟场景的示意图；

附图2为现有技术的虚拟场景显示效果；

附图3为根据本发明图像显示方法的虚拟场景显示效果；

附图4为根据本发明图像显示方法的原理图；

附图5为根据本发明图像显示方法的视点A处虚拟场景显示效果图；

附图6为根据本发明图像显示方法的视点B处虚拟场景显示效果图；

附图7为根据本发明图像显示方法的原理图1；

附图8为根据本发明图像显示方法的原理图2；

附图9为根据本发明图像显示方法的原理图3；

附图10为根据本发明图像显示方法的相机偏移情况下的原理图1；

附图11为根据本发明图像显示方法的相机偏移情况下的原理图2。

具体实施方式

在整个公开中，将不描述本公开的实施例的所有元件，并且将省略在本领域中通常已知的内容或实施例中彼此重叠的内容的描述。在整个公开中使用的术语，例如“～部件”、“～模块”、“～成员”、“～块”等，可以作为软件和／或硬件实现，并且多个“～部件”、“～模块”、“～成员”或“～块”可以在单个元件中实现。或者单个“～部件”、“模块”、“成员”或“块”可以包括多个元件。

应当理解，当一个元件被称为“连接”到另一个元件时，它可以直接或间接地连接到另一个元件，其中，间接连接包括经由无线通信网络的“连接”。

此外，当部件“包含”或“包括”一个元件时，除非特别指出，否则该部件还可以包括其它元件，而不排除其它元件。

如本文所用，单数形式“一个”、“一种”和“该”旨在也包括复数形式，除非上下文另外清楚地指示。

在下文中，本申请基于附图1所示的虚拟场景的示意图；将参考附图详细描述移动计算设备的实施例及其图像显示方法。

移动计算设备可以实现为手持类型，也可以实现为支架类型。此外，移动计算设备可以以矩形形状实现，其中宽度（Y轴方向上的长度）比高度（Z轴方向上的长度）短。此外，移动计算设备可以以矩形形状实现，其中宽度比高度长，或者可以以正方形形状实现。对移动计算设备的支撑方式或移动计算设备的形状没有限制。

根据实施例的移动计算设备可以安装在公共场所，例如地铁站、机场、隧道、公园、汽车站和人行道，或者商业空间，例如餐馆、医院和电影院。

在所示的示例性实施例中，移动计算设备是一种移动通信装置。即移动计算设备被配置为与其它电子设备、服务器和／或系统通信（即，它是“通信”设备）。移动计算设备是便携式的，并且可以容易地在不同的物理位置之间移动（即，它是“移动的”设备）。 然而，在其它示例性实施例中，移动计算设备可能不被配置为与其它系统通信（即可能不是“通信”设备）。在各种示例性实施例中的移动计算设备可以是配置用于数据和语音通信的多模式通信设备，诸如智能电话的移动电话，诸如手表的可佩戴计算机，诸如平板计算机，个人数字助理（PDA）或计算机系统。移动计算设备除了以上具体列出的形式外，还可以采用其它形式。移动计算设备在各种示例性实施例中，还可以被称作移动通信设备，通信设备，移动设备，电子设备，并且在一些情况下被称作设备。

参见附图3至附图9，其中附图3为根据本发明图像显示方法的虚拟场景显示效果；附图4为根据本发明图像显示方法的原理图；附图5为根据本发明图像显示方法的视点A处虚拟场景显示效果图；附图6为根据本发明图像显示方法的视点B处虚拟场景显示效果图；附图7为根据本发明图像显示方法的原理图1；附图8为根据本发明图像显示方法的原理图2；附图9为根据本发明图像显示方法的原理图3。

一种移动计算设备，包括：不透明显示器；

相机系统，包括第一相机，所述相机系统利用所述第一相机捕捉现实世界环境中的第一图像；

距离探测单元，用于（i）确定移动计算设备相对于用户的距离，（ii）确定现实世界环境中的对象相对于移动计算设备的距离；

用户视线角度探测单元，用于确定用户相对于移动计算设备的角度；

以及图像投影模块，用于（i）基于所确定的用户相对于移动计算设备的角度从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域，（ii）基于不透明显示器遮挡的对象的确定区域和对象相对于移动计算设备的距离来确定第一相机的校正变焦量，和（iii）基于校正的变焦量，生成由第一相机捕获的现实世界环境的投影图像并显示到移动计算设备的不透明显示器上，使得投影图像近似等效于被所述不透明显示器遮挡的真实世界的视图。

其中真实世界环境可以由面向环境的第一相机捕获并呈现在显示器上。一般来说，第一相机对应于电子设备的后视相机，还可以被称作后摄像机，后摄像机镜头等。此外，在使用增强现实系统的情况下，可以修改捕获的图像，例如虚拟角色，对象或其它特征并入捕获的图像中以在移动计算设备上显示。用于增强现实的捕获图像或修改版本可以被显示在移动计算设备的显示器上。显示在显示器上的图像包括围绕移动计算设备的外围的真实世界的物体。换言之，在该实施例中显示在显示器上的图像包括从与用户相同的角度观察与被移动计算设备遮挡的内容相同的可视内容。因此显示图像之间的视觉连续性以及背景现实环境被保持，用户感觉就像在通过一个窗口注视真实世界的环境。

其中现实世界环境中的对象包括现实世界环境中的一个或多个对象。因此，根据特定实施例，距离探测单元可以确定每个对象离移动计算设备的距离或者所述对象的子集与所述移动计算设备的距离。例如，在一些实施例中，距离探测单元识别所捕获的图像中的主对象，为该主对象确定距离。这样的主要对象可以是，例如，用户的凝视所指向的对象或场景中焦距中心的主要对象。在一些实施例中，为简洁起见距离探测单元假定场景中的每个对象离移动计算设备的距离大致相同。

参见附图3至附图6，本申请设置了用户视线角度探测单元，用于确定用户相对于移动计算设备的角度；以及图像投影模块，用于（i）基于所确定的用户相对于移动计算设备的角度从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域，当现实世界环境不变的情况下，用户相对于移动计算设备的角度不同，被遮挡的区域是不同的，所以显示器中获取的图像也是不同的。比如，当用户处于视点A时看见如附图5显示效果中所示的图像；当用户处于视点B时看见附图6显示效果中所示的图像。

基于所确定的用户相对于移动计算设备的角度以及所确定的移动计算设备相对于用户的距离确定从用户的角度被不透明显示器遮挡的对象的区域。在本申请的其中一个实施例中，电子设备实时感知使用者的眼睛（以眼睛为观察点），计算与视线盲区相关的参数α和β。根据α和β的数据，电子设备可以从后置摄像头捕捉到的图像中找到盲点图像，屏幕实时显示盲区图像。

其中所述图像投影模块配置为执行一变换单元，用于在预定时间的间隔对投影图像进行变换。屏幕实时显示盲区图像，预定间隔后，对第一图像、移动计算设备相对于用户的距离；现实世界环境中的对象相对于移动计算设备的距离、用户相对于移动计算设备的角度等进行重复检测，当任意一个条件发生变化时，重新生成投影图像并显示到移动计算设备的不透明显示器上，使得所述投影图像近似等效于被所述不透明显示器遮挡的真实世界的视图。

其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括：基于移动计算设备的尺寸计算不透明显示器的角落的位置，基于不透明显示器的每个角落确定从用户的眼睛通过对应的每个角落到现实世界环境中的对象的射线；对于每个确定的射线，识别与相应射线所指向的现实世界环境中的对象的位置相对应的现实世界环境中的第一图像的图像像素位置；以及基于所识别的图像像素位置构造用于在移动计算设备的不透明显示器上显示的投影图像。

参见附图7-附图9，根据电子设备本身的尺寸计算电子设备四个角的空间坐标。四个角落分别标注为A点、B点、C点和D点。根据A点、B点、C点和D点的坐标值，电子设备计算角度aa、ab、ac、ad和βa，βb，βc，βd。

其中角aa是用户的眼睛通过A 角落到现实世界环境中的对象的射线和Z轴之间的角（范围为0°～90°），其中角ab是用户的眼睛通过B角落到现实世界环境中的对象的射线和Z轴之间的角（范围为0°～90°），其中角ac是用户的眼睛通过C角落到现实世界环境中的对象的射线和Z轴之间的角（范围为0°～90°），其中角ad是用户的眼睛通过D角落到现实世界环境中的对象的射线和Z轴之间的角（范围为0°～90）。其中用户眼睛的视线焦点落在显示屏上的位置记录为H，该视线焦点到四个角落的射线分别记录为H-A、H-B、H-C、H-D其中角βa是矢量H-A和x轴之间的角（范围为0°～360°），角βb是矢量H-B和x轴之间的角（范围为0°～360°），角βc是矢量H-C和x轴之间的角，其中角βd是矢量H-D和x轴之间的角。根据上述参数可以计算由四点A、B、C和D遮挡的图像。

参见附图10和附图11，在大多数情况下，第一相机设置在电子设备的边缘，而不是电子设备的中心。所以盲区的判断可能会存在偏移，为了进一步减少盲区的失真，我们需要进一步计算由于相机的偏移。从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括：获取第一相机相对于显示器中心的偏移方向，根据获取的第一相机相对于显示器中心的偏移方向计算投影图像相对于第一图像中心的偏移方向。

以电子设备的中心为原点建立坐标系xyZ，第一相机拍摄的对象建立坐标系XYZ。用户眼睛作为观察点S，用户眼睛到电子设备的垂直距离S-Sh，电子设备的中心为S＇，第一相机拍摄的对象的中心为S＇h，相机位置为C，图像中心偏移c＇。因为S-Sh，和S＇-S＇h是平行的，并且S-c和S＇-c＇是平行的，Sh-c和S＇h-c＇也是平行的，可以得知角α等于角α，角β等于β，所以可以第一相机相对于显示器中心的偏移方向计算投影图像相对于第一图像中心的偏移方向C。

其中所述偏移方向包括以下参数中的任何一个：水平方向参数，用于指定所述第一相机相对于显示器中心在水平方向上的偏移角度；垂直方向参数，用于指定所述第一相机相对于显示器中心在垂直方向上的偏移角度。

其中所述的用户视线角度探测单元基于用户眼睛相对于移动计算设备的距离、移动计算设备的尺寸和用户眼睛对于探测单元的相对位置确定用户相对于移动计算设备的角度。

还可以包括第二相机，利用所述第二相机捕捉所述移动计算设备的用户的第二图像，基于所述第二图像确定所述用户的眼睛相对于所述移动计算设备的角度。其中第二相机具有与第一相机围绕显示器的视场相反的方向的视场。

本申请还包括一种由移动计算设备执行的图像显示方法，所述移动计算设备显示投影图像并且包括至少一个不透明显示器和连接到所述移动计算设备的相机系统，包括：

利用所述相机系统捕捉现实世界环境中的第一图像；

距离探测步骤，用于（i）确定移动计算设备相对于用户的距离，（ii）确定现实世界环境中的对象相对于移动计算设备的距离；

用户视线角度探测步骤，用于确定用户相对于移动计算设备的角度；

以及图像投影步骤，用于（i）基于确定的用户相对于移动计算设备的角度从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域：（ii）基于不透明显示器遮挡的对象的确定区域和对象相对于移动计算设备的距离来确定相机系统的校正变焦量，和（ii）基于校正的变焦量，生成由相机系统捕获的现实世界环境的投影图像并显示到移动计算设备的不透明显示器上，使得所述投影图像近似等效于被所述不透明显示器遮挡的真实世界的视图。

参见附图3至附图6，基于所确定的用户相对于移动计算设备的角度以及所确定的移动计算设备相对于用户的距离确定从用户的角度被不透明显示器遮挡的对象的区域。换句话说，电子设备实时感知使用者的眼睛（以眼睛为观察点），计算与视线盲区相关的参数a和β。根据α和β的数据，电子设备可以从后置摄像头捕捉到的图像中找到盲点图像，屏幕实时显示盲区图像。

其中所述的图像投影步骤被配置为执行进一步包括改变步骤，用于以预定时间的间隔改变投影图像。屏幕实时显示盲区图像，预定间隔后，对第一图像、移动计算设备相对于用户的距离；现实世界环境中的对象相对于移动计算设备的距离、用户相对于移动计算设备的角度等进行重复检测，当任意一个条件发生变化时，重新生成投影图像并显示到移动计算设备的不透明显示器上，使得所述投影图像近似等效于被所述不透明显示器遮挡的真实世界的视图。

其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括：基于移动计算设备的尺寸计算不透明显示器的角落的位置，基于不透明显示器的每个角落确定从用户的眼睛通过对应的每个角落到现实世界环境中的对象的射线；对于每个确定的射线，识别与相应射线所指向的现实世界环境中的对象的位置相对应的现实世界环境中的第一图像的图像像素位置；以及基于所识别的图像像素位置构造用于在移动计算设备的不透明显示器上显示的投影图像。

参见附图7-附图9，根据电子设备本身的尺寸计算电子设备四个角的空间坐标。四个角落分别标注为A点、B点、C点和D点。根据A点、B点、C点和D点的坐标值，电子设备计算角度aa、 ab、αC、ad和βa，βb，βc，βd。

其中角aa是用户的眼睛通过A角落到现实世界环境中的对象的射线和Z轴之间的角（范围为0°～90°），其中角ab是用户的眼睛通过B角落到现实世界环境中的对象的射线和Z轴之间的角（范围为0°～90°），其中角ac是用户的眼睛通过C角落到现实世界环境中的对象的射线和Z轴之间的角（范围为0°～90°），其中角ad是用户的眼睛通过D角落到现实世界环境中的对象的射线和Z轴之间的角（范围为0°～90°）。其中用户眼睛的视线焦点落在显示屏上的位置记录为H，该视线焦点到四个角落的射线分别记录为H-A、H-B、H-C、H-D。其中角βa是矢量H-A和x轴之间的角（范围为0°～360°），角βb是矢量H-B和x轴之间的角角βc是矢量H-C和x轴之间的角，其中角βd是矢量H-D和x轴之间的角。根据上述参数可以计算由四点A、B、C和D遮挡的图像。

参见附图10和附图11，在大多数情况下，相机系统设置在电子设备的边缘，而不是电子设备的中心。所以盲区的判断可能会存在偏移，为了进一步减少盲区的失真，我们需要进一步计算由于相机的偏移。从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括：获取相机系统相对于显示器中心的偏移方向，根据获取的相机系统相对于显示器中心的偏移方向计算投影图像相对于第一图像中心的偏移方向。

以电子设备的中心为原点建立坐标系xyZ，第一相机拍摄的对象建立坐标系XYZ。用户眼睛作为观察点S，用户眼睛到电子设备的垂直距离S-Sh，电子设备的中心为S＇，第一相机拍摄的对象的中心为S＇h，相机位置为C，图像中心偏移c＇。因为S-Sh，和S＇-S＇h是平行的，并且S-c和S＇-c＇是平行的，Sh-c和 S＇h-c＇也是平行的，可以得知角α等于角α，角β等于β，所以可以第一相机相对于显示器中心的偏移方向计算投影图像相对于第一图像中心的偏移方向C。计算了偏移方向后，电子设备屏幕实时显示由相机系统拍摄的图像上四个点a＇，b＇，c＇和d＇形成的图像。

其中所述偏移方向包括以下参数中的任何一个水平方向参数，用于指定所述相机系统相对于显示器中心在水平方向上的偏移角度：垂直方向参数、用于指定所述相机系统相对于显示器中心在垂直方向上的偏移角度。

其中所述的用户视线角度探测单元基于用户眼睛相对于移动计算设备的距离、移动计算设备的尺寸和用户眼睛对于探测单元的相对位置确定用户相对于移动计算设备的角度。利用相机系统捕捉所述移动计算设备的用户的第二图像，基于所述第二图像确定所述用户的眼睛相对于所述移动计算设备的角度。

现有的电子设备无法实现混合现实的显示效果。通过应用本专利中的技术方案，电子设备可以实现混合现实的显示效果。它可以应用于各种混合现实场景应用程序。电子设备的图像与用户的视角以一对一的比例组合在一起。

应理解，本文描述的实施例应仅在描述性意义上而不是出于限制的目的来考虑。每个实施侧内的特征或方面的描述通常应被认为可用于其他实施例中的其他类似特征或方面。虽然已经参照附图描述了一个或更多个实施例，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (16)

1.一种移动计算设备，其特征在于，包括：

不透明显示器；

相机系统，包括第一相机，所述相机系统利用所述第一相机捕捉现实世界环境中的第一图像；

距离探测单元，用于（i）确定移动计算设备相对于用户的距离，（ii）确定现实世界环境中的对象相对于移动计算设备的距离；

用户视线角度探测单元，用于确定用户相对于移动计算设备的角度；以及

图像投影模块，用于（i）基于所确定的用户相对于移动计算设备的角度从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域，（ii）基于不透明显示器遮挡的对象的确定区域和对象相对于移动计算设备的距离来确定第一相机的校正变焦量，和（iii）基于校正的变焦量生成由第一相机捕获的现实世界环境的投影图像并显示到移动计算设备的不透明显示器上，使得所述投影图像近似等效于被所述不透明显示器遮挡的真实世界的视图。

2.根据权利要求1所述的移动计算设备，其特征在于：基于所确定的用户相对于移动计算设备的角度以及所确定的移动计算设备相对于用户的距离确定从用户的角度被不透明显示器遮挡的对象的区域。

3.根据权利要求1所述的移动计算设备，其特征在于：其中所述的图像投影模块被配置为执行一变换单元，用于在预定时间的间隔对投影图像进行变换。

4.根据权利要求1所述的移动计算设备，其特征在于：其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括:

基于移动计算设备的尺寸计算不透明显示器的角落位置，基于不透明显示器的每个角落确定从用户的眼睛通过对应的每个角落到现实世界环境中的对象的射线；

对于每个确定的射线，识别与相应射线所指向的现实世界环境中的对象的位置相对应的现实世界环境中的第一图像的图像像素位置；以及

基于所识别的图像像素位置构造用于在移动计算设备的不透明显示器上显示的投影图像。

5.根据权利要求1所述的移动计算设备，其特征在于：其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括:获取第一相机相对于显示器中心的偏移方向，根据获取的第一相机相对于显示器中心的偏移方向计算投影图像相对于第一图像中心的偏移方向。

6.根据权利要求5所述的移动计算设备，其特征在于：其中所述的偏移方向包括以下参数中的任何一个:

水平方向参数，用于指定所述第一相机相对于显示器中心在水平方向上的偏移角度；

垂直方向参数，用于指定所述第一相机相对于显示器中心在垂直方向上的偏移角度。

7.根据权利要求1所述的移动计算设备，其特征在于：其中所述的用户视线角度探测单元基于用户眼睛相对于移动计算设备的距离，移动计算设备的尺寸和用户眼睛对于探测单元的相对位置确定用户相对于移动计算设备的角度。

8.根据权利要求1所述的移动计算设备，其特征在于：包括第二相机，利用所述第二相机捕捉所述移动计算设备的用户的第二图像，基于所述第二图像确定所述用户的眼睛相对于所述移动计算设备的角度。

9.一种图像显示方法，由移动计算设备执行，所述移动计算设备显示投影图像并且包括至少一个不透明显示器和连接到所述移动计算设备的相机系统，其特征在于，包括以下步骤：

第一图像获取步骤，利用所述的相机系统捕捉现实世界环境中的第一图像；

距离探测步骤，用于（i）确定移动计算设备相对于用户的距离，（ii）确定现实世界环境中的对象相对于移动计算设备的距离；

用户视线角度探测步骤，用于确定用户相对于移动计算设备的角度；以及

图像投影步骤，用于（i）基于所确定的用户相对于移动计算设备的角度从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域，（ii）基于不透明显示器遮挡的对象的确定区域和对象相对于移动计算设备的距离来确定相机系统的校正变焦量，和（iii）基于校正的变焦量生成由相机系统捕获的现实世界环境的投影图像并显示到移动计算设备的不透明显示器上，使得所述投影图像近似等效于被所述不透明显示器遮挡的真实世界的视图。

10.根据权利要求9所述的图像显示方法，其特征在于：基于所确定的用户相对于移动计算设备的角度以及所确定的移动计算设备相对于用户的距离确定从用户的角度被不透明显示器遮挡的对象的区域。

11.根据权利要求9所述的图像显示方法，其特征在于：其中所述的图像投影步骤被配置为执行进一步包括改变步骤，用于以预定时间的间隔改变投影图像。

12.根据权利要求9所述的图像显示方法，其特征在于：其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括:

基于移动计算设备的尺寸计算不透明显示器的角落的位置，基于对不透明显示器的每个角落确定从用户的眼睛通过对应的每个角落到现实世界环境中的对象的射线；

对于每个确定的射线，识别与相应射线所指向的现实世界环境中的对象的位置相对应的现实世界环境中的第一图像的图像像素位置；以及

基于所识别的图像像素位置构造用于在移动计算设备的不透明显示器上显示的投影图像。

13.根据权利要求9所述的图像显示方法，其特征在于：其中从用户的角度确定在现实世界环境中被不透明显示器遮挡的对象的区域包括:获取相机系统相对于显示器中心的偏移方向，根据获取的相机系统相对于显示器中心的偏移方向计算投影图像相对于第一图像中心的偏移方向。

14.根据权利要求13所述的图像显示方法，其特征在于：其中所述偏移方向包括以下参数中的任何一个:

水平方向参数，用于指定所述相机系统相对于显示器中心在水平方向上的偏移角度；

垂直方向参数，用于指定所述相机系统相对于显示器中心在垂直方向上的偏移角度。

15.根据权利要求9所述的图像显示方法，其特征在于：其中所述的用户视线角度探测步骤基于用户眼睛相对于移动计算设备的距离、移动计算设备的尺寸和用户眼睛对于探测单元的相对位置确定用户相对于移动计算设备的角度。

16.根据权利要求9所述的图像显示方法，其特征在于：包括第二图像获取步骤，利用所述的相机系统捕捉所述移动计算设备的用户的第二图像，基于所述第二图像确定所述用户的眼睛相对于所述移动计算设备的角度。

Images