CN115280369A - 图像创建显示装置的控制方法及图像创建显示装置 - Google Patents

Abstract

根据本申请的实施例的图像创建显示装置的控制方法包括通过摄像头模块获取在第一侧的第一图像及在第二侧的第二图像，其中所述第一侧与所述第二侧相对，并且用户位于所述第二侧；根据在所述第二图像中的所述用户的眼睛的位置计算用户眼睛位置；基于所述眼睛位置和所述第一图像创建用户视角图像，其中所述用户视角图像是将通过来自所述眼睛位置在投影平面上的投影区域的视图与来自所述眼睛位置的所述投影区域的周围的背景相匹配的图像；以及通过显示模块将所述用户视角图像显示在所述投影平面上的所述投影区域中。

Description

图像创建显示装置的控制方法及图像创建显示装置

技术领域

本申请涉及一种图像显示装置的控制方法及图像显示装置。

背景技术

现今，有多种图像创建显示装置，其既有摄像头模块，也有显示模块。这种图像创建显示装置的典型示例是可携式电子装置，例如智能手机、移动电话、膝上型计算机、台式计算机、平板计算机等。投影系统也是一种图像创建显示装置。在这种图像创建显示装置中，越来越多地采用AR(增强现实)技术。

然而，在可携式电子装置中，例如，显示屏上显示的图像与位于可携式电子装置的背景的相对侧的用户视角不协调。因此，显示屏上显示的图像与显示模块周围的背景之间的边界看起来是不连续的。也就是说，显示屏上显示的图像与可携式电子装置的背景不是无缝的图像。此外，即使用户移动他/她的脸部，显示在显示屏上的图像也不会被调整，因此显示屏上的不自然图像对用户来说更糟。结果，损害了用户的沉浸感。

其他图像创建显示装置也有同样的问题。

发明内容

本申请旨在解决上述技术问题中的至少一个。因此，本申请需要提供一种图像创建显示装置的控制方法以及实现该方法的图像创建显示装置。

根据本申请，一种图像创建显示装置的控制方法可以包括：

摄像头模块获取在所述图像创建显示装置的第一侧的第一图像及在所述图像创建显示装置的第二侧的第二图像，其中所述第一侧与所述第二侧相对，并且所述图像创建显示装置的用户位于所述第二侧；

处理电路根据在所述第二图像中的所述用户的眼睛的位置计算用户眼睛位置；

所述处理电路基于所述用户眼睛位置和所述第一图像创建用户视角图像，其中所述用户视角图像是将通过来自所述用户眼睛位置在投影平面上的投影区域的视图与来自所述用户眼睛位置的所述投影区域的周围的背景相匹配的图像；以及

显示模块将所述用户视角图像显示在所述投影平面上的所述投影区域中。

在一些实施例中，所述获取所述第一图像和所述第二图像包括：通过所述摄像头模块的第一摄像头模块获取所述第一图像，以及通过所述摄像头模块的第二摄像头模块获取所述第二图像。

在一些实施例中，所述计算所述用户眼睛位置包括：所述处理电路决定所述用户的哪只眼睛应为所述用户眼睛位置。

在一些实施例中，所述计算所述用户眼睛位置包括：所述处理电路计算眼睛深度，其中所述眼睛深度是从所述第二摄像头模块到所述用户眼睛位置的深度。

在一些实施例中，所述计算所述眼睛深度包括：

通过距离传感器模块获得深度信息，其中所述距离传感器模块被配置为测量从所述第二摄像头模块到所述第二图像中的物体的距离；以及

所述处理电路根据所述距离传感器获得的所述深度信息计算所述眼睛深度。

在一些实施例中，所述计算所述眼睛深度包括：所述处理电路根据所述第二图像中的所述用户的所述眼睛和/或脸部来估计所述眼睛深度。

在一些实施例中，所述第一图像具有第一坐标系，所述第二图像具有第二坐标系，以及所述计算所述用户眼睛位置包括：所述处理电路计算所述用户眼睛位置在所述第二坐标系中的坐标。

在一些实施例中，所述创建所述用户视角图像包括：将所述用户眼睛位置在所述第二坐标系中的所述坐标变换为所述用户眼睛位置在所述第一坐标系中的坐标。

在一些实施例中，所述创建所述用户视角图像包括：基于所述用户眼睛位置在所述第一坐标系中的所述坐标和所述第一图像创建所述用户视角图像。

在一些实施例中，所述方法还可以包括：通过将附加信息重叠在所述用户视角图像上以将所述附加信息添加到所述用户视角图像。

在一些实施例中，所述获取所述第一图像及所述第二图像包括：通过所述摄像头模块的球面摄像头获取所述第一图像及所述第二图像。

在一些实施例中，所述图像创建显示装置为可携式电子装置，所述显示模块为安装于所述可携式电子装置中的显示器，以及所述投影平面上的所述投影区域定义为所述显示器的显示屏。

在一些实施例中，所述图像创建显示装置为投影系统，所述显示模块为投影仪，用于将所述用户视角图像投影到投影物体上，以及所述投影平面上的所述投影区域定义为所述投影物体。

在一些实施例中，所述获取所述第一图像和所述第二图像包括：通过所述摄像头模块的第一摄像头模块获取所述第一图像，以及通过所述摄像头模块的第二摄像头模块获取所述第二图像。

在一些实施例中，所述计算所述用户眼睛位置包括：通过所述处理电路计算眼睛深度，其中所述眼睛深度是从所述第二摄像头模块到所述用户眼睛位置的深度。

在一些实施例中，所述计算所述眼睛深度包括：

通过距离传感器模块获得深度信息，其中所述距离传感器模块被配置为测量从所述第二摄像头模块到所述第二图像中的物体的距离；以及

根据所述距离传感器获得的所述深度信息计算所述眼睛深度。

根据本申请，一种图像创建显示装置的控制方法可以包括：

摄像头模块获取在所述图像创建显示装置的第一侧的第一图像及在所述图像创建显示装置的第二侧的第二图像，其中所述第一侧与所述第二侧相对，并且所述图像创建显示装置的用户位于所述第二侧；

处理电路根据在所述第二图像中的所述用户的眼睛的位置计算用户眼睛位置；

所述处理电路基于所述用户眼睛位置和所述第一图像创建用户视角图像，其中所述用户视角图像是将通过来自所述用户眼睛位置在投影平面上的投影区域的视图与来自所述用户眼睛位置的所述投影区域的周围的背景相匹配的图像；

所述处理电路基于所述用户视角图像创建附加信息；以及

显示模块将所述附加信息显示在所述投影平面上的所述投影区域中。

根据本申请，一种图像创建显示装置可以包括：

摄像头模块，配置为获取在所述图像创建显示装置的第一侧的第一图像及在所述图像创建显示装置的第二侧的第二图像，其中所述第一侧与所述第二侧相对，并且所述图像创建显示装置的用户位于所述第二侧；

处理电路，配置为：

根据在所述第二图像中的所述用户的眼睛的位置计算用户眼睛位置；以及

基于所述用户眼睛位置和所述第一图像创建用户视角图像，其中所述用户视角图像是将通过来自所述用户眼睛位置在投影平面上的投影区域的视图与来自所述用户眼睛位置的所述投影区域的周围的背景相匹配的图像；以及

显示模块，配置为在所述投影平面上的所述投影区域显示所述用户视角图像。

根据本申请，一种图像创建显示装置可以包括：

摄像头模块，配置为获取在所述图像创建显示装置的第一侧的第一图像及在所述图像创建显示装置的第二侧的第二图像，其中所述第一侧与所述第二侧相对，并且所述图像创建显示装置的用户位于所述第二侧；

处理电路，配置为：

根据在所述第二图像中的所述用户的眼睛的位置计算用户眼睛位置；

基于所述用户眼睛位置和所述第一图像创建用户视角图像，其中所述用户视角图像是将通过来自所述用户眼睛位置在投影平面上的投影区域的视图与来自所述用户眼睛位置的所述投影区域的周围的背景相匹配的图像；以及

基于所述用户视角图像创建附加信息；以及

显示模块，配置为在所述投影平面上的所述投影区域显示所述附加信息。

附图说明

本申请的实施例的这些和/或其他方面和优点将从参考附图作出的以下描述中变得明显和更容易理解，其中：

图1示出了根据本申请的实施例的可携式电子装置的第一侧的平面图；

图2示出了根据本申请的实施例的可携式电子装置的第二侧的平面图；

图3示出了根据本申请的实施例的可携式电子装置的方块图；

图4示出了本申请的实施例中的可携式电子装置、可携式电子装置的用户以及可携式电子装置所要获取的物体的相对位置示意图；

图5示出了可携式电子装置及物体及以传统方式显示图像的显示模块的显示器；

图6示出了根据本实施例的可携式电子装置及物体及显示用户视角图像的显示模块的显示器；

图7示出了根据本实施例的可携式电子装置的一个示例(第一侧)；

图8示出了根据本实施例的可携式电子装置的一个示例(第二侧)；

图9示出了根据本实施例的可携式电子装置的另一个示例(第一侧)；

图10示出了根据本实施例的可携式电子装置的另一个示例(第二侧)；

图11示出了根据本实施例的可携式电子装置的又一个示例(第一侧)；

图12示出了根据本实施例的可携式电子装置的又一个示例(第二侧)；

图13示出了根据本实施例的可携式电子装置的再一个示例(第一侧)；

图14示出了根据本实施例的可携式电子装置的再一个示例(第二侧)；

图15示出了窗框和窗框的背景；

图16示出了安装在窗框上的投影系统；

图17示出了根据本实施例的投影系统的第一侧；

图18示出了根据本实施例的投影系统的第二侧；

图19示出了根据本实施例的投影系统的另一个示例(第二侧)；

图20和21示出了根据本实施例的用户视角图像创建处理的流程图；

图22和23示出了基于第二图像估计眼睛深度的示例；

图24示出了根据本实施例的子摄像头与用户眼睛的眼睛位置的相对位置；

图25示出了根据本实施例的第一主摄像头与用户眼睛的眼睛位置的相对位置；

图26示出了根据本实施例的创建用户视角图像的说明图；

图27示出了根据本实施例的可携式电子装置的显示模块的显示器上显示的用户视角图像的示例。

具体实施方式

本申请的实施例将详细描述，并且实施例的示例将在附图中示出。在整个描述中，相同或相似的元件和具有相同或相似功能的元件由相同的附图标记表示。本文中结合附图所描述的实施例是示意性的，旨在说明本申请，但不应理解为对本申请的限制。

图1示出了根据本申请的实施例的可携式电子装置10的第一侧的平面图，以及图2示出了根据本申请的实施例的可携式电子装置10的第二侧的平面图。第二侧可称为可携式电子装置10的用户侧，而第一侧可称为可携式电子装置10的相对侧，并且相对侧相对于与可携式电子装置10的用户侧。

在本实施例中，图1示出了以智能手机作为可携式电子装置的一个示例，并且该可携式电子装置是图像创建显示装置的一个示例。然而，可携式电子装置10可以是智能手机、移动电话、膝上型计算机、台式计算机、平板计算机、个人数字助理等。即，本实施例可以应用于任何种类的可携式电子装置，即能够创建和显示图像的图像创建显示装置。

如图1和图2所示，可携式电子装置10可包含显示器20及摄像头组件30。在本实施例中，摄像头组件30包含第一主摄像头32、第二主摄像头34及子摄像头36。第一主摄像头32和第二主摄像头34可以获取在可携式电子装置10的第一侧的图像，而子摄像头36可以获取在可携式电子装置10的第二侧的图像。因此，第一主摄像头32和第二摄像头主摄像头34是所谓的外摄像头，而子摄像头36是所谓的内摄像头。以下，将第一主摄像头32和第二主摄像头34拍摄的图像也称为第一图像，将子摄像头36拍摄的图像也称为第二图像。

尽管根据本实施例的可携式电子装置10具有三个摄像头，但是可携式电子装置10可以具有少于三个或多于三个的摄像头。例如，可携式电子装置10可以具有两个、四个、五个等摄像头。

此外，在本实施例中，可携式电子装置10包括第一距离传感器40和第二距离传感器42。第一距离传感器40测量从第一主摄像头32和/或第二主摄像头34到在第一侧的物体的距离。第二距离传感器42测量从子摄像头36到在第二侧的物体的距离。

举例来说，第一距离传感器40和第二距离传感器42中的每一个通过发射激光束并且检测发射的激光束被物体表面反射的反射来测量距离。在另一示例中，第一距离传感器40和第二距离传感器42中的每一个可以通过发射超声波并检测所发射的超声波被物体表面反射的反射来测量距离。距离的测量的方式有多种，第一距离传感器40和第二距离传感器42可以采用任何距离测量方式。无论如何，第一距离传感器40可以测量第一主摄像头32和/或第二主摄像头34与在第一侧的物体之间的距离，以生成在第一图像中的深度信息。此外，第二距离传感器42可测量子摄像头36与在第二侧的物体之间的距离以生成在第二图像中的深度信息。

顺便提及，第一距离传感器40和第二距离传感器42是可选的。因此，可携式电子装置10不一定具有第一距离传感器40，以及可携式电子装置10也不一定具有第二距离传感器42。换言之，可携式电子装置10可以没有距离传感器，或者可携式电子装置10可以具有第一距离传感器40和第二距离传感器42中的至少一个。

图3示出了根据本实施例的可携式电子装置10的方块图。

如图3所示，例如，可携式电子装置10具有第一摄像头模块50、第一距离传感器模块52、第二摄像头模块54、第二距离传感器模块56和图像信号处理器58。

在本实施例中，第一摄像头模块50包括图1中的第一主摄像头32和第二主摄像头34。第一距离传感器模块52包括图1中的第一距离传感器40。因此，第一摄像头模块50和第一传感器模块52是用于获取在可携式电子装置10的第一侧的第一图像并产生深度信息的模块。

此外，在本实施例中，第二摄像头模块54包括图2中的子摄像头36，以及第二距离传感器模块56包括图2中的第二距离传感器42。因此，第二摄像头模块54和第二距离传感器模块56是用于获取在可携式电子装置10的第二侧的第二图像并产生深度信息的模块。

图像信号处理器58控制第一摄像头模块50、第一距离传感器模块52、第二摄像头模块54和第二距离传感器模块56。并且，图像信号处理器58处理从第一摄像头模块50和第二摄像头模块54获取的摄像头图像数据。

此外，如图3所示，例如，可携式电子装置10具有全球导航卫星系统(GNSS)模块60、无线通信模块62、CODEC 64、扬声器66、麦克风68、显示模块70、输入模块72、惯性测量单元(IMU)74、处理器76和存储器78。

例如，GNSS模块60测量可携式电子装置10的当前位置。

例如，无线通信模块62与互联网、公共无线通信网络等进行无线通信。在本实施例中，无线通信模块62可以采用任何通信标准或协议，包括但不限于GSM(全球移动通信系统)、CDMA(码分多址)、LTE(长期演进)、先进LTE和第五代(5G)。无线通信模块62可以包括天线和RF(射频)电路。

例如，CODEC 64通过使用预定的编码/解码方法双向地执行编码和解码。

例如，扬声器66根据由CODEC 64解码的声音数据输出声音。

例如，麦克风68基于输入声音向CODEC 64输出声音数据。

例如，显示模块70具有图2中的显示器20，并且显示各种信息。在本实施例中，显示模块70的显示器20显示第一摄像头模块50和/或第二摄像头模块54获取的图像。也就是说，显示模块70的显示器20可以显示第一摄像头模块50获取的第一图像，以及可以显示第二摄像头模块54获取的第二图像。在本实施例中，图像表示静止图像和运动图像。

此外，显示模块70可以是投影仪，用于投影由第一摄像头模块50和/或第二摄像头模块54获取的图像。图像显示单元的种类有很多种，并且在显示模块70中可以采用任何类型的图像显示单元来显示由第一摄像头模块50和/或第二摄像头模块54获取的图像。

例如，输入模块72接收用户的输入。在本实施例中，显示模块70还具有触控面板系统，该触控面板系统检测用户触摸显示器20上的位置以及在显示器20上的位置移动。

例如，IMU 74侦测可携式电子装置10的角速度和加速度。

处理器76控制全球导航卫星系统(GNSS)模块60、无线通信模块62、CODEC 64、扬声器66、麦克风68、显示模块70、输入模块72和IMU 74。换言之，处理器76控制整个可携式电子装置10。亦即，处理器76执行各种处理，以实现可携式电子装置10的各种功能。

存储器78存储图像信号处理器58所需的程序和数据，以控制第一摄像头模块50、第一距离传感器模块52、第二摄像头模块54和第二距离传感器模块56。此外，存储器78存储从图像信号处理器58获取的图像数据和处理器76控制可携式电子装置10所需的程序和数据。

举例来说，存储器78包括其上存储有计算机程序的计算机可读存储介质，其中当计算机程序由处理器76执行时，计算机程序实施下文说明的可携式电子装置10的控制方法。

接下来，参照图4至图6，将说明创建用户视角图像的方法的概要，该用户视角图像在显示模块70的显示器20的显示屏上显示。

图4示出了可携式电子装置10、可携式电子装置10的用户U1以及可携式电子装置10所要获取的物体O1与O2的相对位置。图5示出了可携式电子装置10和物体O1和O2以及以传统方式显示图像的显示模块70的显示器20。图6示出了根据本实施例的可携式电子装置10以及根据本实施例的物体O1和O2以及显示用户视角图像的显示模块70的显示器20。

如图4所示，第一摄像头模块50可以获取在可携式电子装置10的第一侧的包括物体O1和O2的第一图像。另一方面，第二摄像头模块54可以获取在可携式电子装置10的第二侧的包括用户U1的第二图像。用户U1无法直接看到物体O1与O2的一部分，因为可携式电子装置10是一种导致无法看到物体O1与O2的障碍物。

另一方面，如图5所示，若第一摄像头模块50所获取的第一图像显示在显示模块70的显示器20的显示屏上，则用户U1可透过显示器20上的第一图像看到物体O1与O2。然而，显示器20所显示的第一图像并未考虑用户U1眼睛的眼睛位置。因此，显示器20上的第一图像与可携式电子装置10的背景之间存在间隙。也就是说，显示器20上的第一图像的边缘与可携式电子装置10的显示器20周围的背景不一致。

如图6所示，为了消除两者之间的间隙，根据本实施例的可携式电子装置10基于由第二摄像头模块54获取的第二图像计算用户U1的眼睛的眼睛位置，并基于计算出的用户U1的眼睛位置和第一图像来创建用户视角图像。也就是说，当用户U1看到显示器20和显示器20的背景时，显示器20的显示屏上显示的用户视角图像的边缘与可携式电子装置10的显示器20周围的背景一致。

在可携式电子装置10中，显示器20的显示屏是用户视角图像的投影平面。也就是说，用户视角图像的投影平面上的投影区域由显示器20的显示屏定义。

根据本实施例的可携式电子装置10有多种实施方式。下文将解释可携式电子装置10的几个变型的示例。

图7和图8示出了根据本实施例的可携式电子装置10的一个示例。图7显示根据本实施例的示例的可携式电子装置10的第一侧，以及图8显示根据本实施例的示例的可携式电子装置10的第二侧。

如图7和图8所示，在本示例中，与图1和图2相同的方式，第一摄像头模块50的第一主摄像头32和第一距离传感器模块52的第一距离传感器40设置在可携式电子装置的第一侧。然而，第一主摄像头32和第一距离传感器40的位置与图1和图2中的不同。即，当从用户侧看时，第一主摄像头32和第一距离传感器40的位置移动到可携式电子装置10的右上角。

另一方面，以与图1和图2所示相同的方式，第二摄像头模块54的子摄像头36和第二距离传感器模块56的第二距离传感器42以及显示器20设置在可携式电子装置10的第二侧。

图9和图10示出了根据本实施例的可携式电子装置10的另一个示例。图9显示根据本实施例的示例的可携式电子装置10的第一侧，以及图10显示根据本实施例的示例的可携式电子装置10的第二侧。

如图9和图10所示，在本示例中，第一摄像头模块50的第一主摄像头32、第一距离传感器模块52的第一距离传感器40、第二摄像头模块54的子摄像头36和第二距离传感器模块56的第二距离传感器42设置在弹出单元44中。

更具体而言，当用户不拍照时，弹出单元44存放于可携式电子装置10的主体内。也就是说，弹出单元44位于可携式电子装置10的主体内。

另一方面，当用户拍照时，弹出单元44从可携式电子装置10的主体弹出。结果，第一摄像头模块50的第一主摄像头32、第一距离传感器模块52的第一距离传感器40、第二摄像头模块54的子摄像头36和第二距离传感器模块56的第二距离传感器42被暴露。

以与图1和图2所示相同的方式，第一摄像头模块50的第一主摄像头32和第一距离传感器模块52的第一距离传感器40设置在可携式电子装置10的弹出单元44的第一侧。此外，第二摄像头模块54的子摄像头36和第二距离传感器模块56的第二距离传感器42设置在可携式电子装置10的弹出单元44的第二侧。

图11和图12示出了根据本实施例的可携式电子装置10的另一个示例。图11显示根据本实施例的示例的可携式电子装置10的第一侧，以及图12显示根据本实施例的示例的可携式电子装置10的第二侧。在本示例中，可携式电子装置10是膝上型计算机。

如图11和图12所示，在本示例中，第一摄像头模块50的第一主摄像头32和第一传感器模块52的第一距离传感器40设置在可携式电子装置的第一侧。也就是说，第一主摄像头32和第一距离传感器40设置在膝上型计算机的显示模块70的背面的中央上部。

另一方面，第二摄像头模块54的子摄像头36和第二距离传感器模块56的第二距离传感器42以及显示器20设置在可携式电子装置10的第二侧。即，子摄像头36和第二距离传感器42设置在显示模块70的显示器20的框架的中央上部。

图13和图14示出了根据本实施例的可携式电子装置10的另一个示例。图13显示根据本实施例的示例的可携式电子装置10的第一侧，以及图14显示根据本实施例的示例的可携式电子装置10的第二侧。在本示例中，可携式电子装置10为台式计算机，其计算机系统整合于台式计算机的显示模块70的机壳内。

如图13和图14所示，在本示例中，第一摄像头模块50的第一主摄像头32和第一传感器模块52的第一距离传感器40设置在可携式电子装置的第一侧。也就是说，第一主摄像头32和第一距离传感器40设置在台式计算机的显示模块70的背面的中央上部。

另一方面，第二摄像头模块54的子摄像头36和第二距离传感器模块56的第二距离传感器42以及显示器20设置在可携式电子装置10的第二侧。即，子摄像头36和第二距离传感器42设置在台式计算机的显示模块70的显示器20的边框的中央上部。

在图13和图14的另一个例子中，可携式电子装置10可以是其中设置有必要的处理电路的显示器或电视机。在这种情况下，例如，显示器或电视机可以是用户可以用于观看电视节目的壁挂式。此外，显示器或电视机还可以显示其窗户外部的视图或显示国外的景象，其中第一摄像头模块50的第一主摄像头32和第一传感器模块52的第一距离传感器40通过网络连接。

此外，在本实施例中，例如，图像创建显示装置可以是投影系统。接下来，将说明将本申请的本实施例应用于投影系统的情况。

图15示出了窗框80和窗框80的背景，以及图16示出安装在窗框80上的投影系统90。

如图15和图16所示，窗框80位于用户U2的前方。因此，位于投影系统90的第二侧的用户U2无法看到在投影系统90的第一侧的整个视图。也就是说，窗框80是用户U2看到在投影系统90的第一侧的整个视图的障碍。

在本实施例中，投影系统90安装在窗框80上。与可携式电子系统10的方式相同，投影系统90具有第一摄像头模块50、第二摄像头模块54和显示模块70。

第一摄像头模块50可以获取在投影系统90的第一侧的第一图像，第二摄像头模块54可以获取在投影系统90的第二侧的第二图像。显示模块70包含一投影仪92，用以将用户视角图像投影于窗框80上。亦即，在本实施例中，窗框80的第二侧的表面为用以投影用户视角图像的投影平面。换言之，投影平面的投影区域由窗框80定义。

在本实施例中，第一距离传感器模块52、第二距离传感器模块56、图像信号处理器58、处理器76和存储器78等所需元件可以容纳在显示模块70(投影仪92)的外壳中。换言之，显示模块70构成容纳投影系统90的所需元件的主单元。

在这种情况下，可以省略第一距离传感器模块52和第二距离传感器56。当在第一侧的第一图像中的物体足够远时，即使第一摄像头模块50与物体之间的距离未知，也可以通过近似处理来创建用户视角图像。用户在第二侧的位置也可以通过第二摄像头模块54获取的第二图像来估计。

图17和图18示出了根据本实施例的投影系统90的另一示例。图17示出了根据本实施例的该示例的投影系统90的第一侧，并且图18示出了根据本实施例的该示例的投影系统90的第二侧。

如图17和图18所示，投影系统90具有在第一侧的第一摄像头模块50的第一主摄像头32和第一距离传感器模块52的第一距离传感器40。因此，第一主摄像头32可以获取在第一侧的第一图像，并且第一距离传感器40可以测量在第一侧的从第一主摄像头32到物体的距离。

此外，投影系统90具有在第二侧的第二摄像头模块54的子摄像头36和第二距离传感器模块56的第二距离传感器42。因此，子摄像头36可以获取在第二侧的第二图像，并且第二距离传感器42可以测量在第二侧的从子摄像头36到用户的距离。

这里，第一距离传感器40和第二距离传感器42是可选的。因此，投影系统90可以省略第一距离传感器40和第二距离传感器42。

显示模块70的投影仪92将用户视角图像投影在投影平面上的投影区域。例如，投影平面上的投影区域可以由投影显示屏、透明显示屏、仅空气、半透明显示屏、人的视网膜的视网膜投影系统等构成。

图19示出了根据本实施例的投影系统90的另一示例。图19示出了根据本实施例的投影系统90的第二侧。

如图19所示，投影系统90具有在第一侧的第一摄像头模块50的第一主摄像头32和第一距离传感器模块52的第一距离传感器40。因此，第一主摄像头32可以获取在第一侧的第一图像，并且第一距离传感器40可以测量在第一侧的从第一主摄像头32到物体的距离。

此外，投影系统90具有在第二侧的第二摄像头模块54的子摄像头36和第二距离传感器模块56的第二距离传感器42。因此，子摄像头36可以获取在第二侧的第二图像，并且第二距离传感器42可以测量在第二侧的从子摄像头36到用户的距离。

这里，第一距离传感器40和第二距离传感器42是可选的。因此，投影系统90可以省略第一距离传感器40和第二距离传感器42。

显示模块70的投影仪92将用户视角图像投影在投影平面上的投影区域。例如，投影平面可以由投影显示屏、透明显示屏、仅空气、半透明显示屏、人的视网膜的视网膜投影系统等构成。在图19的例子中，显示模块70的投影仪92将用户视角图像投影在投影显示屏94上。

在该示例中，第一主摄像头32没有固定在特定位置。此外，第一距离传感器40也不固定在特定位置。因此，第一主摄像头32和第一距离传感器40可以安装在任何其他地方。

在另一个示例中，第一主摄像头32和第一距离传感器40可以通过网络连接到任何地方。

接着，说明本实施方式的图像创建显示装置所执行的用户视角图像创建处理。

图20和图21示出了根据本实施例的用户视角图像创建处理的流程图。在本实施例中，例如由处理器76执行用户视角图像创建处理，以生成用户视角图像。然而，处理器76可以与图像信号处理器58协作以生成用户视角图像。因此，处理器76和图像信号处理器58可以一起用于创建用户视角图像。在本实施例中，图像信号处理器58和/或处理器76构成处理电路。然而，除了图像信号处理器58和处理器76之外的电路也可以构成处理电路。

另外，在本实施例中，用户视角图像创建处理由图像创建显示装置反复定期执行。因此，如果用户的脸部，即用户的眼睛位置移动，则显示在显示屏上的用户视角图像也随着用户眼睛位置的移动而移动。

在本实施例中，用于实现用户视角图像创建处理的程序存储在存储器68中，以及处理器76读出并执行该程序以实现用户视角图像创建处理。

如图20所示，例如，图像创建显示装置的处理器76获得在第一侧的第一图像和在第二侧的第二图像(步骤S10)。在本实施例中，处理器76指示图像信号处理器58获取第一图像和第二图像，以及图像信号处理器58控制第一摄像头模块50获取在第一侧的第一图像，并控制第二摄像头模块54获取在第二侧的第二图像。

可选地，如果图像创建显示装置具有第一距离传感器模块52，则图像信号处理器58控制第一距离传感器模块52获得在第一侧的第一图像的深度信息。此外，若图像创建显示装置具有第二距离传感器模块56，则图像信号处理器58控制第二距离传感器模块56获得在第二侧的第二图像的深度信息。

可选地，如果图像创建装置具有多个摄像头以同时获取在第一侧的多个图像，则可以基于第一侧的多个获取图像的视差来生成第一图像的深度信息。类似地，如果图像创建装置具有多个摄像头以同时获取在第二侧的多个图像，则可以基于第二侧的多个获取图像的视差来生成第二图像的深度信息。

可选地，如果图像创建装置具有作为第一摄像头模块50和第二摄像头模块54的球面摄像头，则球面摄像头可以同时获取在摄第一侧的第一图像和在第二侧的第二图像。也就是说，球面摄像头可以同时获取球面摄像头周围360度的图像。

接下来，如图20所示，例如，图像创建显示装置的处理器76计算在第二图像上的用户的脸部的坐标(步骤S12)。例如，图像创建显示装置通过基于第二图像的图像识别处理来识别第二图像中的用户的脸部。

接下来，如图20所示，例如，图像创建显示装置的处理器76计算在第二图像上的用户眼睛位置的坐标(步骤S14)。例如，图像创建显示装置通过基于第二图像的图像识别处理来识别第二图像中的用户的右眼和左眼。在本实施例中，右眼瞳孔中心坐标可以认为是用户的右眼坐标，以及左眼瞳孔中心坐标可以认为是用户的左眼坐标。

接下来，如图20所示，例如，图像创建显示装置的处理器76决定哪只眼睛应为用户视角(步骤S16)。如果右眼为用户视角，则将右眼的坐标视为眼睛位置的坐标，对右眼进行以下图像处理(步骤S18)。另一方面，如果左眼为用户视角，则将左眼的坐标视为眼睛位置的坐标，对左眼进行以下图像处理(步骤S20)。这里，用户眼睛位置的坐标是用户观看图像创建显示装置及其背景的用户视角。

举例来说，图像创建显示装置可以使用户选择哪只眼睛应为用户视角。也就是说，图像创建显示装置可以在显示器20上显示选择菜单屏幕以使用户选择右眼或左眼作为用户视角。或者，图像创建显示装置可在获取第二图像时，提示用户闭上右眼或左眼，然后将闭眼的坐标作为用户视角。

在另一示例中，图像创建显示装置可以基于用户的脸部与显示器20的相对位置来决定用户视角。例如，当显示器20相对于用户的脸部位于左侧时，左眼的坐标被认为是用户视角。

在另一示例中，图像创建显示装置可以根据用户看到显示器20并且用户的眼睛焦点短或者用户看到远处并且用户的眼睛焦点长来决定用户视角。例如，当用户看到显示模块70的显示器20时，因此眼睛的焦距较短，则用户视角可能是用户的右眼，而不是用户的主眼。另一方面，当用户看到显示模块70的显示器20周围的背景时，因此眼睛的焦距较长，用户视角可能是用户的左眼，它是用户的主眼。在该示例中，用户必须预先在图像创建显示装置中登记他/她的主眼。

在另一示例中，图像创建显示装置可以基于第二图像检测显示器20相对于用户的脸部位置的位置，以确定用户视角。例如，图像创建显示装置基于第二图像识别用户的脸部和显示器20的位置，然后判断显示器20相对于用户的脸部位于右侧还是显示器20相对于用户的脸部位于左侧。例如，当显示器20相对于用户的脸部位于左侧时，左眼的坐标被认为是用户视角。

在另一示例中，图像创建显示装置可以计算用户的右眼和左眼之间的中间点来决定用户视角。例如，图像创建显示装置可以基于第二图像计算用户的右眼和左眼之间的中间点。在本示例中，将基于第二图像计算的中间点的坐标视为用户视角。或者，如果难以基于第二图像检测右眼和左眼的位置，则可以基于第二图像中用户的脸部位置来估计中间点。

顺带提及，当显示模块70可以显示三维图像时，可以省略步骤S16、S18和S20。在这种情况下，右眼坐标和左眼坐标都是用户的眼睛位置，以便为用户的右眼和左眼创建用户视角图像。目前，三维图像可以通过带特殊眼镜或不戴眼镜(即裸眼)的特殊三维显示器来实现。

接下来，如图21所示，例如，图像创建显示装置的处理器76判断第二图像的深度信息是否可用(步骤S30)。也就是说，如果在步骤S10中已经获得了第二图像的深度信息，则第二图像的深度信息可用于图像创建显示装置。另一方面，如果在步骤S10中没有获得第二图像的深度信息，则第二图像的深度信息对于图像创建显示装置是不可用的。

如果第二图像的深度信息可用(步骤S30：是)，例如，则图像创建显示装置的处理器76基于第二图像的深度信息计算用户的眼睛深度(步骤32)。即，图像创建显示装置能够计算在步骤S16、S18、S20中被决定为用户视角的眼睛位置的坐标。

另一方面，如果第二图像的深度信息不可用(步骤S30：否)，例如，则图像创建显示装置的处理器76需要基于第二图像估计眼睛深度(步骤S34)。

图22和图23示出了基于第二图像估计眼睛深度的示例。图22示出了用户U3靠近第二摄像头模块54的子摄像头36的第二图像，而图23示出了用户U4远离第二摄像头模块54的子摄像头36的第二图像。

举例来说，图像创建显示装置可以基于用户的脸部的尺寸来估计眼睛深度。即，如图22所示，用户U3在第二图像上的脸部F3的尺寸相对较大。另一方面，如图23所示，用户U4在第二图像上的脸部F4的尺寸相对较小。因此，图像创建显示装置能够根据第二图像上的用户的脸部的尺寸来估计用户的眼睛深度。

在另一示例中，图像创建显示装置可以基于用户眼睛之间的距离来估计眼睛深度。即，如图22所示，用户U3在第二图像上的距离D3相对较长。另一方面，如图23所示，用户U4在第二图像上的距离D4相对较短。例如，已知亚洲人右眼和左眼之间距离的统计平均值。通过使用眼睛距离的统计平均值，在获取第二图像中的亚洲人时，可以足够精确地估计眼睛深度。因此，图像创建显示装置能够根据第二图像上的用户的右眼与左眼的距离来估计用户的眼睛深度。

此外，图像创建显示装置可以基于第二图像上用户的脸部的尺寸和用户眼睛的距离两者来估计在第二图像上的用户的眼睛深度。也就是说，可以将上述两种估计用户眼睛深度的技术结合起来。换言之，可以基于第二图像中用户的眼睛和/或脸部两者来估计眼睛深度。

在步骤S32和S34之后，图像创建显示装置的处理器76计算用户眼睛位置在第二坐标系中的坐标(步骤S36)。在本实施例中，在第一侧的第一图像具有第一坐标系，以及在第二侧的第二图像具有第二坐标系。因此，在步骤S36中，图像创建显示装置根据眼睛深度和第二图像计算第二坐标系中的眼睛位置的坐标。

将基于图24进行步骤S36的详细说明。图24示出了子摄像头36和用户眼睛的眼睛位置的相对位置。在图24的示例中，用户右眼的位置是用户眼睛位置。

如图24所示，在步骤S36中，基于在步骤S32或S34中估计的眼睛深度和在步骤S10中获得的第二图像，计算用户的眼睛位置在第二坐标系中的坐标。在图24中，第二坐标系中眼睛位置的坐标由向量e_user-side表示。

接下来，如图21所示，例如，图像创建显示装置的处理器76计算眼睛位置在第一坐标系中的坐标(步骤S38)。即，图像创建显示装置将第一坐标系中的用户眼睛位置的三维坐标变换为第二坐标系中的用户眼睛位置的三维坐标。因此，执行从第一坐标系到第二坐标系的坐标变换。

可以预先定义用于坐标变换的坐标变换矩阵。例如，坐标变换矩阵可以通过由第一摄像头模块50和第二摄像头模块54在相同位置获取相同物体的校准来定义。或者，坐标变换矩阵可以通过第一摄像头模块50和第二摄像头模块54在相同位置捕获相同对象来动态定义。

图25示出了根据本实施例的图像创建显示装置执行坐标变换后的第一坐标系中的眼睛位置。如图25所示，在本实施例中，坐标变换矩阵包括预先通过校准获得的旋转矩阵和平移向量。在图25中，第一坐标系中的眼睛位置由向量e_env-side表示。

接下来，如图21所示，例如，图像创建显示装置的处理器76基于在第一坐标系中的用户眼睛位置的三维坐标和在第一侧的第一摄像头模块获取的第一图像，创建出用户视角图像(步骤S40)。即，图像创建显示装置基于用户眼睛位置和第一图像来创建用户视角图像。

图26示出了根据本实施例的用户视角图像的创建说明图。例如，在第一坐标系中的物体的三维坐标用P表示，P的位置对应于第一图像的投影平面上的位置P_camera。眼睛位置和P的位置之间的线和显示器在P处相交。在这些条件下，通过在显示器的P_display上显示P_camera的像素值并对第一图像上的所有像素重复该过程，进而可以创建用户视角图像。

顺带一提，如果第一图像上没有显示像素的有效像素，则需要对显示进行补充处理和/或涂黑处理。当执行补充处理时，为了补充显示像素，可以使用关于显示器的过去帧的信息或存储在图像创建装置或服务器计算机中的图像数据。

顺带提及，如果第一图像距离用户足够远，则不一定需要第一图像的深度信息。例如，当第一图像是拍摄远山的图像时，可以通过用户眼睛位置的相对位置、第一图像的投影平面上的投影区域的位置和尺寸以及第二图像的投影平面上的投影区域的位置和尺寸来创建用户视角图像。即，可以在没有第一图像的深度信息的情况下创建用户视角图像。

接下来，如图21所示，例如，图像创建显示装置的处理器76通过将附加信息重叠在用户视角图像上而将附加信息添加到用户视角图像(步骤S42)。有多种附加信息要叠加在用户视角图像上。例如，生成的特定物体可以重叠在用户视角图像上。

可选地，可以在用户视角图像上重叠以任何类型的字符书写的说明。例如，图像创建装置的处理器76分析用户视角图像，然后基于用户视角图像的分析结果生成用户视角图像的说明。

顺带提及，如果用户不需要附加信息，则可以省略步骤S42。在这种情况下，附加信息不会添加到用户视角图像上。

接着，如图21所示，图像创建显示器的处理器76通过显示模块70在投影平面上的投影区域显示用户视角图像(步骤S44)。例如，投影平面上的投影区域在可携式电子装置10的显示器20、投影系统90的窗框80等内。

图27示出了可携式电子装置10的显示模块70的显示器20上显示的用户视角图像的示例。在该示例中，用户视角图像和用户视角图像的背景之间没有间隙。即，用户视角图像匹配显示器20的投影区域的周围的背景。换句话说，图像创建显示装置可创建用户视角图像，该用户视角图像将通过来自用户眼睛位置在投影平面上的投影区域的视图与来自用户眼睛位置看到的投影区域的周围的背景相匹配

在图27的例子中，“BOX”的说明作为附加信息被添加到用户视角图像。在步骤S42中，该说明“BOX”被添加到用户视角图像。

顺带提及，在步骤S44中，图像创建显示装置的处理器76可以显示附加信息而不显示用户视角图像。例如，若投影平面上的投影区域为透明显示屏或半透明显示屏，则图像创建显示装置不需要为用户显示用户视角图像，因为用户可以通过透明显示屏或半透明显示屏看到用户视角图像。因此，在这种情况下，为用户在投影平面上的投影区域显示附加信息就足够了。

在步骤S44的处理之后，执行如图20和图21所示的本实施例的用户视角图像创建处理，并且再次进行从步骤S10开始的处理。

如上所述，根据本实施例的图像创建显示装置可以创建用户视角图像，该用户视角图像将基于用户眼睛位置的投影平面上的投影区域的视图与来自用户眼睛位置的投影区域周围的背景相匹配。

更具体地说，用户视角图像和用户视角图像的背景之间没有间隙。因此，显示模块70显示的用户视角图像的边缘与用户视角图像的边缘周围的背景一致。结果，提高了用户的沉浸感，并突出了虚拟现实体验的质量。

在本申请的实施例的描述中，应理解，诸如“中央”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“垂直”、“水平”、“上部”、“下部”、“内部”、“外部”、“顺时针”和“逆时针”应解释为是指所描述的或所讨论的附图中所示的方向或位置。这些相对的术语仅用于简化本申请的描述，并且不指示或暗示所涉及的装置或元件必须具有特定的取向，或以特定的取向构造或操作。因此，这些术语不能被构造为限制本申请。

另外，诸如“第一”和“第二”之类的术语在本文中用于描述的目的，而非表明或暗示相对重要性或重要性，或暗示指示的技术特征的数量。因此，用“第一”和“第二”定义的特征可以包括这个特征中的一个或多个。在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。

在本申请的实施例的描述中，除非另外指定或限制，否则术语“安装”、“连接”、“耦接”等被广义地使用，并且可以是例如固定连接、可拆卸的连接、或整体连接；也可以是机械或电连接；也可以是通过居间结构直接连接或间接连接；也可以是两个元件的内部通信，本领域技术人员可以根据具体情况理解。

在本申请的实施例中，除非另外指定或限制，否则第一特征在第二特征“上”或“之下”的结构可以包括第一特征与第二特征直接接触的实施例，并且还可以包括一个实施例，其中第一特征和第二特征彼此不直接接触，而是通过在它们之间形成的附加特征接触。此外，第一特征在第二特征“上”、“之上”或“最上方”可以包括这样的实施例，其中第一特征在第二个特征右或斜“上”、“之上”或“最上方”，或仅表示第一个特征的高度高于第二个特征的高度；而第一个特征在第二特征“以下”、“之下”，或“底部”可以包括这样的实施例，其中第一特征在第二特征的右或斜“下”、“之下”或“底部”，或者仅意味着第一特征在高度低于第二个特征的高度。

在以上描述中提供了各种实施例和示例以实现本申请的不同结构。为了简化本申请，以上描述了某些元件和设置。但是，这些元件和设置仅作为示例，并不旨在限制本申请。另外，在本申请中的不同示例中的参考数字和/或参考字母可以重复。该重复是为了简化和清楚的目的，而不是指不同实施例和/或设置之间的关系。此外，在本申请中提供了不同过程和材料的示例。然而，本领域技术人员将理解，也可以应用其他过程和/或材料。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施例的范围包括其他实施例，可以不按所示出或讨论的顺序来执行功能，包括根据所涉及的功能按基本同时的方式或按相反的顺序，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例包括但不限于：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施例中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施例中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在计算机上运行时包括本申请的方法实施例中的一个或多个步骤。

此外，在本申请的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，所述集成模块也可以存储在一个计算机可读取存储介质中。

上述存储介质可以是只读存储器、磁盘、CD等。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在不脱离本申请的范围的情况下，可以对上述实施例进行变化、修改、替换和变型。

Claims (19)

1.一种图像创建显示装置的控制方法，其特征在于，包括：

摄像头模块获取在所述图像创建显示装置的第一侧的第一图像及在所述图像创建显示装置的第二侧的第二图像，其中所述第一侧与所述第二侧相对，并且所述图像创建显示装置的用户位于所述第二侧；

处理电路根据在所述第二图像中的所述用户的眼睛的位置计算用户眼睛位置；

所述处理电路基于所述用户眼睛位置和所述第一图像创建用户视角图像，其中所述用户视角图像是将通过来自所述用户眼睛位置在投影平面上的投影区域的视图与来自所述用户眼睛位置的所述投影区域的周围的背景相匹配的图像；以及

显示模块将所述用户视角图像显示在所述投影平面上的所述投影区域中。

2.根据权利要求1所述的图像创建显示装置的控制方法，其特征在于，所述获取所述第一图像和所述第二图像包括：通过所述摄像头模块的第一摄像头模块获取所述第一图像，以及通过所述摄像头模块的第二摄像头模块获取所述第二图像。

3.根据权利要求2所述的图像创建显示装置的控制方法，其特征在于，所述计算所述用户眼睛位置包括：所述处理电路决定所述用户的哪只眼睛应为所述用户眼睛位置。

4.根据权利要求2所述的图像创建显示装置的控制方法，其特征在于，所述计算所述用户眼睛位置包括：所述处理电路计算眼睛深度，其中所述眼睛深度是从所述第二摄像头模块到所述用户眼睛位置的深度。

5.根据权利要求4所述的图像创建显示装置的控制方法，其特征在于，所述计算所述眼睛深度包括：

通过距离传感器模块获得深度信息，其中所述距离传感器模块被配置为测量从所述第二摄像头模块到所述第二图像中的物体的距离；以及

所述处理电路根据所述距离传感器获得的所述深度信息计算所述眼睛深度。

6.根据权利要求4所述的图像创建显示装置的控制方法，其特征在于，所述计算所述眼睛深度包括：所述处理电路根据所述第二图像中的所述用户的所述眼睛和/或脸部来估计所述眼睛深度。

7.根据权利要求4所述的图像创建显示装置的控制方法，其特征在于，所述第一图像具有第一坐标系，所述第二图像具有第二坐标系，以及所述计算所述用户眼睛位置包括：所述处理电路计算所述用户眼睛位置在所述第二坐标系中的坐标。

8.根据权利要求7所述的图像创建显示装置的控制方法，其特征在于，所述创建所述用户视角图像包括：将所述用户眼睛位置在所述第二坐标系中的所述坐标变换为所述用户眼睛位置在所述第一坐标系中的坐标。

9.根据权利要求8所述的图像创建显示装置的控制方法，其特征在于，所述创建所述用户视角图像包括：基于所述用户眼睛位置在所述第一坐标系中的所述坐标和所述第一图像创建所述用户视角图像。

10.根据权利要求1所述的图像创建显示装置的控制方法，其特征在于，还包括：通过将附加信息重叠在所述用户视角图像上以将所述附加信息添加到所述用户视角图像。

11.根据权利要求1所述的图像创建显示装置的控制方法，其特征在于，所述获取所述第一图像及所述第二图像包括：通过所述摄像头模块的球面摄像头获取所述第一图像及所述第二图像。

12.根据权利要求1所述的图像创建显示装置的控制方法，其特征在于，所述图像创建显示装置为可携式电子装置，所述显示模块为安装于所述可携式电子装置中的显示器，以及所述投影平面上的所述投影区域定义为所述显示器的显示屏。

13.根据权利要求1所述的图像创建显示装置的控制方法，其特征在于，所述图像创建显示装置为投影系统，所述显示模块为投影仪，用于将所述用户视角图像投影到投影物体上，以及所述投影平面上的所述投影区域定义为所述投影物体。

14.根据权利要求13所述的图像创建显示装置的控制方法，其特征在于，所述获取所述第一图像和所述第二图像包括：通过所述摄像头模块的第一摄像头模块获取所述第一图像，以及通过所述摄像头模块的第二摄像头模块获取所述第二图像。

15.根据权利要求14所述的图像创建显示装置的控制方法，其特征在于，所述计算所述用户眼睛位置包括：通过所述处理电路计算眼睛深度，其中所述眼睛深度是从所述第二摄像头模块到所述用户眼睛位置的深度。

16.根据权利要求15所述的图像创建显示装置的控制方法，其特征在于，所述计算所述眼睛深度包括：

通过距离传感器模块获得深度信息，其中所述距离传感器模块被配置为测量从所述第二摄像头模块到所述第二图像中的物体的距离；以及

根据所述距离传感器获得的所述深度信息计算所述眼睛深度。

17.一种图像创建显示装置的控制方法，其特征在于，包括：

摄像头模块获取在所述图像创建显示装置的第一侧的第一图像及在所述图像创建显示装置的第二侧的第二图像，其中所述第一侧与所述第二侧相对，并且所述图像创建显示装置的用户位于所述第二侧；

处理电路根据在所述第二图像中的所述用户的眼睛的位置计算用户眼睛位置；

所述处理电路基于所述用户眼睛位置和所述第一图像创建用户视角图像，其中所述用户视角图像是将通过来自所述用户眼睛位置在投影平面上的投影区域的视图与来自所述用户眼睛位置的所述投影区域的周围的背景相匹配的图像；

所述处理电路基于所述用户视角图像创建附加信息；以及

显示模块将所述附加信息显示在所述投影平面上的所述投影区域中。

18.一种图像创建显示装置，其特征在于，包括：

摄像头模块，配置为获取在所述图像创建显示装置的第一侧的第一图像及在所述图像创建显示装置的第二侧的第二图像，其中所述第一侧与所述第二侧相对，并且所述图像创建显示装置的用户位于所述第二侧；

处理电路，配置为：

根据在所述第二图像中的所述用户的眼睛的位置计算用户眼睛位置；以及

基于所述用户眼睛位置和所述第一图像创建用户视角图像，其中所述用户视角图像是将通过来自所述用户眼睛位置在投影平面上的投影区域的视图与来自所述用户眼睛位置的所述投影区域的周围的背景相匹配的图像；以及

显示模块，配置为在所述投影平面上的所述投影区域显示所述用户视角图像。

19.一种图像创建显示装置，其特征在于，包括：

摄像头模块，配置为获取在所述图像创建显示装置的第一侧的第一图像及在所述图像创建显示装置的第二侧的第二图像，其中所述第一侧与所述第二侧相对，并且所述图像创建显示装置的用户位于所述第二侧；

处理电路，配置为：

根据在所述第二图像中的所述用户的眼睛的位置计算用户眼睛位置；

基于所述用户眼睛位置和所述第一图像创建用户视角图像，其中所述用户视角图像是将通过来自所述用户眼睛位置在投影平面上的投影区域的视图与来自所述用户眼睛位置的所述投影区域的周围的背景相匹配的图像；以及

基于所述用户视角图像创建附加信息；以及

显示模块，配置为在所述投影平面上的所述投影区域显示所述附加信息。

Images