CN114253390A - 增强现实系统和生成增强现实的方法 - Google Patents

Abstract

一种生成增强现实的方法，所述方法包括获得外部数据，基于获得的外部数据通过边缘计算获得与增强现实设备的位置相对应的当前位姿数据，基于获得的当前位姿数据获得与增强现实设备的运动相对应的第一未来位姿数据和第二未来位姿数据，基于获得的第一未来位姿数据通过边缘计算生成虚拟图像，以及基于获得的第二未来位姿数据和生成的虚拟图像生成虚拟视频。

Description

增强现实系统和生成增强现实的方法

相关申请的交叉引用

本申请基于并要求于2020年9月21日在韩国知识产权局提交的韩国专利申请No.10-2020-0121788的优先权，其全部内容通过引用并入本文。

技术领域

本公开涉及一种增强现实系统和生成增强现实的方法。

背景技术

随着最近技术的发展，已经开发了可以穿戴在人体上的各种类型的可穿戴设备。其中，一种眼镜型可穿戴设备可戴在用户的头上，并且可以通过在该设备的显示器上显示关于虚拟对象的视觉信息来向用户提供增强现实服务。

根据诸如增强现实的显示技术，设备上输出的图像可能需要被用户感知为真实的。通过这样的技术，用户可能会体验到现实生活中无法体验的各种情况。作为可穿戴设备，增强现实设备可能需要便于用户穿戴。为此，有必要减小增强现实设备的尺寸和重量。此外，图像可能需要通过增强现实设备向用户实时提供。当输出图像没有实时显示时，由于检测到的位姿(pose)和输出图像之间的差异引起的错误，用户可能会感到不舒服。因此，在减小增强现实设备的尺寸和重量的同时，可能需要采取措施来实现实时图像输出。

发明内容

提供了一种增强现实系统和生成增强现实的方法。此外，提供了一种计算机可读记录介质，其上记录有用于在计算机上执行该方法的程序。

其他方面将在下面的描述中部分地阐述，并且部分地将从描述中显而易见，或者可以通过实践本公开所呈现的实施例而获知。

根据实施例的一方面，一种生成增强现实的方法包括：获得外部数据；基于获得的外部数据通过边缘计算获得与增强现实设备的位置相对应的当前位姿数据；基于获得的当前位姿数据获得与增强现实设备的运动相对应的第一未来位姿数据和第二未来位姿数据；基于获得的第一未来位姿数据通过边缘计算生成虚拟图像；以及基于获得的第二未来位姿数据和生成的虚拟图像生成虚拟视频。

所述外部数据的获得可以包括：通过相机获得立体数据；以及通过惯性测量部分获得与所述增强现实设备的运动相对应的惯性数据。

所述当前位姿数据的获得可以包括：基于所获得的外部数据，通过边缘计算提取所述增强现实设备的周围图像的特征；以及通过对所提取的特征执行束调整或卡尔曼滤波来生成优化数据。

所述当前位姿数据的获得可以进一步包括：基于生成的优化数据和从云接收的地图数据，通过边缘计算来获得所述当前位姿数据。

所述第一未来位姿数据和所述第二未来位姿数据的获得可以包括：通过将获得的惯性数据应用于获得的当前位姿数据来获得所述第一未来位姿数据；以及通过根据预设参数改变包括在所获得的第一未来位姿数据中的6个自由度(6D)位姿来获得所述第二未来位姿数据。

所述第一未来位姿数据和所述第二未来位姿数据的获得可以还包括：通过比获得所述当前位姿数据的周期更快的周期来获得所述第一未来位姿数据，基于一次获得所述当前位姿数据，多次获得所述第一未来位姿数据；以及通过比获得所述第一未来位姿数据的周期更快的周期来获得第二未来位姿数据，基于一次获得第一未来位姿数据，多次获得所述第二未来位姿数据。

所述虚拟图像的生成可以包括：基于所获得的第一未来位姿数据通过边缘计算，对从云接收的图形图像执行渲染来生成所述虚拟图像。

所述虚拟视频的生成可以包括：通过将多次获得的所述第二未来位姿数据应用于虚拟图像，生成与获得第二未来位姿数据的次数相对应的多个图像；以及生成包括生成的多个图像的虚拟视频。

根据一个实施例的一方面，一种增强现实系统包括虚拟图像生成设备和增强现实设备。增强现实设备包括配置为获得外部数据的外部数据获取部分。所述虚拟图像生成设备配置为基于获得的外部数据获得与所述增强现实设备的位置相对应的当前位姿数据。所述增强现实设备还包括位姿预测部分，被配置为基于获得的当前位姿数据来获得与所述增强现实设备的运动相对应的第一未来位姿数据和第二未来位姿数据。所述虚拟图像生成设备还配置为基于获得的第一未来位姿数据生成虚拟图像。所述增强现实设备还包括虚拟视频生成器，配置为基于获得的第二未来位姿数据和生成的虚拟图像生成虚拟视频。

所述外部数据获取部分可以包括：相机，配置为获得立体数据；以及惯性测量部分，配置为获得与所述增强现实设备的运动相对应的惯性数据。

所述虚拟图像生成设备可以还配置为：基于所获得的外部数据来提取所述增强现实设备的周围图像的特征；以及通过对所提取的特征执行束调整或卡尔曼滤波来生成优化数据。

所述虚拟图像生成设备可以还配置为基于生成的优化数据和从云接收的地图数据来获得所述当前位姿数据。

所述位姿预测部分还可以配置为：通过将所获得的惯性数据应用于所获得的当前位姿数据来获得所述第一未来位姿数据；以及通过根据预设参数改变包括在所获得的第一未来位姿数据中的6个自由度(6D)位姿来获得所述第二未来位姿数据。

所述位姿预测部分还可以配置为：通过比获得所述当前位姿数据的周期更快的周期来获得所述第一未来位姿数据，基于一次获得所述当前位姿数据，多次获得所述第一未来位姿数据；以及通过比获得所述第一未来位姿数据的周期更快的周期来获得第二未来位姿数据，基于一次获得第一未来位姿数据，多次获得所述第二未来位姿数据。

所述虚拟图像生成设备还可以配置为基于所获得的第一未来位姿数据，对从云接收的图形图像执行渲染来生成所述虚拟图像。

所述虚拟视频生成器还可以配置为：通过将多次获得的所述第二未来位姿数据应用于虚拟图像，生成与获得第二未来位姿数据的次数相对应的多个图像；以及生成包括生成的多个图像的虚拟视频。

所述虚拟图像生成设备可以是边缘计算设备或能够通信的终端。

所述位姿预测部分和所述虚拟视频生成器可以被安装在包含在所述外部数据获取部分的芯片上。

一种计算机可读记录介质，其上记录有用于在计算机上执行所述方法的程序。

根据一个实施例的一方面，一种由至少一个处理器执行的生成增强现实的方法，所述方法包括：从相机获得立体数据；从惯性测量部分获得对应于增强现实设备的运动的惯性数据；基于获得的立体数据和获得的惯性数据，获得对应于所述增强现实设备的位置的当前位姿数据；通过将所获得的惯性数据应用于所获得的当前位姿数据来获得第一未来位姿数据；通过根据预设参数改变包括在所获得的第一未来位姿数据中的6个自由度(6D)位姿来获得第二未来位姿数据；基于所获得的第一未来位姿数据生成虚拟图像；以及基于所获得的第二未来位姿数据和所生成的虚拟图像生成虚拟视频。

附图说明

以下结合附图的描述中，本公开的实施例的上述和其他方面、特征和优点将变得更加显而易见，其中：

图1是根据实施例的增强现实设备的图；

图2是根据实施例的增强现实系统的框图；

图3是根据实施例的外部数据获取部分的框图；

图4是根据实施例的增强现实设备的操作方法的流程图；

图5是根据实施例的虚拟图像生成设备的类型的图；

图6是根据实施例的虚拟图像生成设备的操作方法的流程图；

图7是根据实施例的增强现实设备和虚拟图像生成设备的操作方法的流程图；

图8是示出在增强现实设备中执行生成虚拟视频的所有过程的情况的流程图；

图9是示出在虚拟图像生成设备中执行生成虚拟视频的所有过程的情况的流程图；

图10是根据实施例的当前位姿数据和未来位姿数据的图；

图11是根据实施例的生成虚拟图像的方法的图；

图12是根据实施例的生成虚拟视频的方法的图；和

图13是根据实施例的增强现实系统的操作方法的流程图。

具体实施方式

现在将详细参考实施例，在附图中示出了实施例的示例，其中，相同的附图标记始终表示相同的元件。就这一点而言，本实施例可能具有不同的形式，并且可能不被解释为限于本文阐述的描述。因此，下面通过参照附图描述实施例以解释各方面。如本文所使用的，术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。当诸如“至少一个”之类的表达在元件列表之后时，修饰整个元件列表并且不修饰列表中的各个元件。

考虑到本公开中的功能，选择当前广泛使用的通用术语作为本公开的示例性实施例中使用的术语。然而，这些术语可以根据本领域普通技术人员的意图，案例先例以及新技术的出现而变化。此外，在特殊情况下，在描述部分中详细描述了申请人选择的术语的含义。因此，实施例中使用的术语可以基于它们相对于整个实施例中讨论的内容的含义来定义，而不是根据它们的简单含义来定义。

在实施例的描述中，当部件“连接”或“被连接”到另一部件时，该部件不仅可以直接连接或被连接到另一个部件，而且还可以通过插入其中的其他元件电连接到该部件。此外，当部件“包含”或“包括”一个元素时，除非另有说明，否则该部件可以进一步包括其他元素，而不排除其他元素。

在实施例中使用的诸如“包含”或“包括”的术语不可被解释为必须包括在本公开的所有各种元件或步骤。可以解释为某些元件或步骤可能不包括在内，而其他元件或步骤可能进一步包括在内。

此外，尽管在本文中可以使用诸如“第一”，“第二”等术语来描述各种元件，但是这些元件可以不受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区分开。

以下对实施例的描述可以不被解释为限制本公开的范围，并且本领域的普通技术人员可以容易地推断出的内容可被解释为属于本公开的范围。实施例仅是示例，并且将参照附图对其进行详细描述。

图1是根据实施例的增强现实设备200的图。

参照图1，增强现实设备200可以是用户佩戴的可穿戴设备。例如，增强现实设备200可以是眼镜型可穿戴设备，但是本公开不限于此，并且增强现实设备200可以是要佩戴在用户的另一身体部位上的不同类型的可穿戴设备(例如增强现实头盔)。

增强现实设备200可以通过增强现实设备200上的显示器来提供增强现实服务，该服务将用户周围的真实世界信息与包括数字或虚拟对象信息的虚拟视频融合在一起。例如，当通过增强现实设备200将虚拟视频提供给用户时，可以在增强现实设备200的当前位置处所看到的真实世界场景上一起提供虚拟视频。虽然用户可以通过增强现实设备200看到虚拟视频，但虚拟视频并不存在于真实世界中。

真实世界是观察者或用户可以通过增强现实设备200看到的真实场景，并且可以包括真实世界对象。相比之下，虚拟视频是通过图形处理生成的视频，并且可以对应于显示静态图像的视频或显示动态图像的视频。例如，虚拟视频可以是覆盖在真实场景上以提供关于真实场景中的真实对象的信息的视频，或者是关于增强现实设备200的操作的信息或控制菜单。

如图1所示，增强现实设备200可以对应于头戴式可穿戴设备，并且相应地可以在用户头部移动时一起移动。由于增强现实设备200的位置可以根据用户的头部的移动而不断地改变，因此可能有必要考虑到用户的头部位置的变化来不断地更新增强现实设备200的位置。例如，当用户佩戴增强现实设备200走在路上时，通过增强现实设备200看到的真实世界场景不断变化。因此，增强现实设备200提供的虚拟视频可以根据当前位置重新渲染，从而为用户提供虚拟视频呈现在真实世界场景中的无缝视角。

增强现实设备200的部分内部空间可以配备有电子硬件(HW)，该电子硬件包括各种类型的传感器(诸如惯性测量单元(IMU)传感器)、加速度计或指南针、图像捕获模块(例如照相机)、麦克风、GPS模块、通信器、处理器或电池。

增强现实设备200还可提供有光学引擎或光学元件以显示虚拟视频。虽然为了便于说明，图1示出了在增强现实设备200的一侧的框架中设置有电子硬件(HW)，但是在增强现实设备200中电子硬件(HW)的位置不限于此，并且电子硬件(HW)可以提供在增强现实装置200上的不同位置以及每个硬件组件可以提供在相同或不同的空间中。

图2是根据实施例的增强现实系统100的框图。

参照图2，增强现实系统100可以包括增强现实设备200和虚拟图像生成设备300。增强现实设备200可以包括外部数据获取部分210，通信接口220，位姿预测部分230和虚拟视频生成器240。

在图2的增强现实系统100中，仅示出了与本实施例有关的组件。因此，对于本领域的普通技术人员显而易见的是，增强现实系统100除了图2所示的组件之外还可以包括其他通用组件。

虚拟图像生成设备300是增强现实设备200之外的设备，并且可以执行用于生成虚拟视频的一些处理。例如，在生成虚拟视频时，可以在增强现实设备200中执行需要相对少量的计算(可以以相对较高的速度进行处理)的处理，并且可以在虚拟图像生成设备300中执行可能需要相对大量的计算(可以以相对低的速度进行处理)的处理。虚拟图像生成设备300可以包括与增强现实设备200相比具有更高容量或更高性能的处理器和存储器。因此，在增强现实系统100中，可以在增强现实设备200中执行可能需要相对少量的计算的处理，并且可以在虚拟图像生成设备300中执行可能需要相对大量的计算的处理。

在增强现实系统100中，在生成虚拟视频的过程中，仅在增强现实设备200中执行可能需要相对少量计算的处理。因此，与在增强现实设备200中执行所有处理的情况相比，增强现实设备200的尺寸，重量和功耗可以被减少。此外，在增强现实系统100中，一些用于生成虚拟视频的过程(可能需要相对少量的计算)仍然可以在增强现实设备200中执行。因此，与在虚拟图像生成设备300中执行所有处理的情况相比，用于生成虚拟视频的过程可以被双重进行并且可以减少延迟时间。例如，延迟时间可以对应于从获取外部数据到生成虚拟视频为止经过的总时间。

外部数据获取部分210可以获取的外部数据包括关于增强现实设备200外部的图像的数据或者关于增强现实设备200运动的数据。外部数据获取部分210可以将外部数据发送到通信接口220或位姿预测部分230。

通信接口220可以通过与虚拟图像生成设备300进行通信来发送和接收数据。通信接口220可以将从虚拟图像生成设备300接收的数据发送到增强现实设备200的每个组件，并且可以从增强现实设备200的每个组件接收数据并且发送所述数据到虚拟图像生成设备300。

通信接口220可以包括支持通信标准和通信方法的任何一种或任何组合的硬件配置，所述通信标准和通信方法诸如无线通信(Wifi)、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)、OFDM、正交频分多址(OFDMA)、LTE、LTE-A、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、WiBro、全球移动通信系统(GSM)和第五代移动通信技术(5G)。

位姿预测部分230可以预测增强现实设备200的未来位置。当基于增强现实设备200的当前位置生成的虚拟视频在显示器上输出时，因为增强现实设备200的位置在生成虚拟视频时已经发生了变化，真实世界和虚拟视频之间可能会出现差异。因此，位姿预测部分230可以预测增强现实设备200的未来位置，从而可以基于增强现实设备200的预测的未来位置来提供虚拟视频。

虚拟视频生成器240可以生成提供给用户的虚拟视频。虚拟视频生成器240可以生成与由位姿预测部分230预测的增强现实设备200的未来位置相对应的虚拟视频。

在一个实施例中，位姿预测部分230和虚拟视频生成器240的操作可以由每个部分中包括的处理器来执行，或者位姿预测部分230和虚拟视频生成器240的操作都可以由一个处理器执行。处理器可以被实现为多个逻辑门的阵列，或者可以被实现为通用微处理器和其上记录了微处理器中可执行程序的存储器的组合。此外，本领域普通技术人员将理解，可以用其他类型的硬件来实现处理器。

在实施例中，位姿预测部分230和虚拟视频生成器240可被安装在外部数据获取部分210中包括的芯片中。例如，芯片可对应于照相机中包括的传感器、惯性测量部分中包括的传感器或图像传感器处理器(ISP)。位姿预测部分230和虚拟视频生成器240可以以片上系统(SoC)的形式设计并且安装在芯片中。在这种情况下，因为在一个芯片上执行各种操作，可以减小增强现实设备200的尺寸和重量，并且可以以高速和低功率执行用于生成虚拟视频的过程。

虚拟图像生成设备300可以获取当前位姿数据，并且位姿预测部分230可以获取未来位姿数据。位姿数据是包括增强现实设备200的位置信息的数据，并且可以包括增强现实设备200的6个自由度(6D)位姿。6D位姿可以包括表示增强现实设备200位置的3D位姿和表示增强现实设备200方向的3D位姿。

图3是根据实施例的外部数据获取部分210的框图。

参照图3，外部数据获取部分210可以包括照相机211和惯性测量部分212。

在图3的外部数据获取部分210中，仅示出了与本实施例有关的组件。因此，对于本领域的普通技术人员显而易见的是，除了图3所示的组件之外，外部数据获取部分210还可以包括其他通用组件。

相机211可以捕获用户可以通过增强现实设备200看到的实际场景的图像。外部数据获取部分210可以通过相机211获取关于增强现实设备200外部的图像的数据。例如，当外部数据获取部分210包括多个相机211时，可以通过多个相机211获取立体数据。可替换地，外部数据获取部分210可以通过相机211获取增强现实设备200外部的图像的深度数据。相机211可以是捕捉黑白图像的黑白相机，也可以是捕捉彩色图像的彩色相机。

惯性测量部分212可以获取与增强现实设备200的运动相对应的惯性数据。例如，惯性测量部分212可以包括惯性测量单元(IMU)。惯性测量部分212可以检测增强现实设备200的运动并基于其生成惯性数据。惯性数据可以用于预测增强现实设备200的未来位置。

图4是根据实施例的增强现实设备200的操作方法的流程图。

参照图4，增强现实设备200的操作方法可以包括在图2的增强现实设备200中按时间序列处理的操作。因此，可以理解的是，参照图2所描述的与增强现实设备200有关的内容，即使在以下描述中省略，也可以将其应用于图4的方法中。

在操作410中，外部数据获取部分210可以获得外部数据。

外部数据可以包括关于增强现实设备200外部的图像的数据或关于增强现实设备200的运动的数据。

在操作411中，外部数据获取部分210可以将外部数据发送到通信接口220。

在操作412中，通信接口220可以将外部数据发送到虚拟图像生成设备300。

稍后将参照图6详细描述基于外部数据通过虚拟图像生成设备300获取当前位姿数据的方法。

在操作420中，通信接口220可以从虚拟图像生成设备300接收当前位姿数据。

当前位姿数据可以是与增强现实设备200的当前位置相对应的数据。

在操作421中，通信接口220可以将当前位姿数据发送到位姿预测部分230。

在操作430中，位姿预测部分230可基于当前位姿数据获取第一未来位姿数据。

位姿预测部分230可以通过将惯性数据应用于与增强现实设备200的当前位置相对应的当前位姿数据来获取第一未来位姿数据。因为惯性数据是基于增强现实设备200的运动而获取的，根据增强现实设备200的运动，第一未来位姿数据可以包括不同的6D位姿。

位姿预测部分230可以以比接收当前位姿数据(或者在虚拟图像生成装置300中获取当前位姿数据)的周期更快的周期来获取第一未来位姿数据。因此，在位姿预测部分230中，当接收一次当前位姿数据时(或者当在虚拟图像生成设备300中获取一次当前位姿数据时)，可以多次获取第一未来位姿数据。

在操作431中，位姿预测部分230可以将第一未来位姿数据发送到通信接口220。

在操作432中，通信接口220可以将第一未来位姿数据发送到虚拟图像生成设备300。

在操作440中，位姿预测部分230可基于第一未来位姿数据获取第二未来位姿数据。

第二未来位姿数据可以对应于与第一未来位姿数据相对应的时间点之后的时间点。例如，当第一未来位姿数据对应于当前时间点之后的第一时间点时，第二未来位姿数据可以对应于第一时间点之后的第二时间点。

位姿预测部分230可以通过根据预设参数改变包括在第一未来位姿数据中的6D位姿来获取第二未来位姿数据。该参数是用于改变6D位姿的六个值的标准，并且可以根据增强现实系统100的设置来不同地确定。例如，与第二未来位姿数据相对应的图像可以是与第一未来位姿数据相对应的虚拟图像的位置或形状被略微改变的图像。

与基于惯性数据获取的第一未来位姿数据相比，通过改变第一未来位姿数据的6D位姿获取的第二未来位姿数据可能需要更短的时间来获取。因此，位姿预测部分230可以以比获取第一未来位姿数据的周期更快的周期来获取第二未来位姿数据，并且当一次获取第一未来位姿数据时多次获取第二未来位姿数据。

在操作441中，位姿预测部分230可以将第二未来位姿数据发送到虚拟视频生成器240。

在操作450中，通信接口220可以从虚拟图像生成设备300接收虚拟图像。

虚拟图像用作对应于最终输出虚拟视频的每一帧的图像的基础，并且可以对应于用于生成虚拟视频而不是输出图像的手段。

在操作451中，通信接口220可以将虚拟图像发送到虚拟视频生成器240。

在操作460中，虚拟视频生成器240可以基于第二未来位姿数据和虚拟图像来生成虚拟视频。

虚拟视频生成器240可以将多次获取的第二未来位姿数据应用于虚拟图像，从而生成与获取第二未来位姿数据的次数相对应的多个图像。由于虚拟图像是基于第一未来位姿数据生成的图像，因此当将第二未来位姿数据应用于虚拟图像时，虚拟图像的位置或形状可以改变。

虚拟视频生成器240可以生成虚拟视频，该虚拟视频包括通过将多次获取的第二未来位姿数据应用于虚拟图像而生成的多个图像。例如，每个生成的图像可以对应于由多个帧组成的虚拟视频的每个帧。

增强现实系统100通过基于增强现实设备200的当前位置生成与增强现实设备200的未来位置相对应的虚拟视频，可以在显示虚拟视频的时间点，向用户提供与虚拟现实设备200的位置相对应的视频。

图5是根据实施例的虚拟图像生成设备300(参见图2)的类型的图。

虚拟图像生成设备300能够通信并且可以对应于能够渲染图像的任何设备、系统或服务器。例如，虚拟图像生成设备300可以是能够通信的终端。

虚拟图像生成设备300可以对应于边缘计算设备510，或者可以对应于移动电话或智能手机520。此外，虚拟图像生成设备300可以对应于平板电脑或智能平板电脑530，或可以对应于计算机或笔记本电脑540。

然而，根据图5所示的虚拟图像生成设备300仅仅是一个示例，并且虚拟映像生成设备300的类型不受其限制。

图6是根据实施例的虚拟图像生成设备300的操作方法的流程图。

参照图6，虚拟图像生成设备300包括由图2所示的虚拟图像生成设备300按时间序列处理的操作。因此，可以理解的是，参照图2所描述的与虚拟图像生成设备300有关的内容，即使在以下描述中省略，也可以将其应用于图6的方法中。

在操作610中，虚拟图像生成设备300可以从增强现实设备200接收外部数据。

在操作620中，虚拟图像生成设备300可以基于外部数据生成优化数据。

虚拟图像生成设备300可以基于外部数据(例如，立体数据)提取增强现实设备200周围图像的特征。虚拟图像生成设备300可以通过对特征执行束调整(bundle adjustment)或卡尔曼滤波来生成优化数据。优化数据可以对应于其中通过对提取的特征执行滤波来减少误差的数据。

在操作630中，虚拟图像生成设备300可以从云接收地图数据。

虚拟图像生成设备300可以通过云通信来从云接收数据。从云接收的地图数据可以对应于通过以图形表示增强现实设备200周围的实际场景而获得的数据。

在操作640中，虚拟图像生成设备300可以基于地图数据和优化数据获取当前位姿数据。

优化数据可以包括关于增强现实设备200的当前位置的数据。然而，虚拟图像生成设备300除了优化数据之外还可以利用地图数据来获取关于增强现实设备200的当前位置的更准确数据。

当前位姿数据可以包括与增强现实设备200的当前位置相对应的6D位姿。

在操作650中，虚拟图像生成设备300可以将当前位姿数据发送到增强现实设备200。

在操作660中，虚拟图像生成设备300可以从增强现实设备200接收第一未来位姿数据。

在操作670中，虚拟图像生成设备300可以从云接收图形图像。

图形图像不包括位置信息，并且是仅包括包含在虚拟图像中的虚拟对象的图形的图像。

在操作680中，虚拟图像生成设备300可以基于图形图像和第一未来位姿数据来生成虚拟图像。

虚拟图像生成设备300可以通过基于第一未来位姿数据在从云接收到的图形图像上执行渲染来生成虚拟图像。虚拟图像生成设备300可以通过执行渲染将包括在第一未来位姿数据中的位置信息输入到图形图像。虚拟图像生成设备300可以生成包括图形和位置信息的虚拟图像。

在操作690中，虚拟图像生成设备300可以将虚拟图像发送到增强现实设备200。

图7是根据实施例的增强现实设备200和虚拟图像生成设备300的操作方法的流程图。

参照图7，增强现实系统100包括在图2的增强现实系统100中按时间序列处理的操作。因此，可以理解的是，参照图2描述了与增强现实系统100有关的内容，即使在以下描述中省略，也可以将其应用于图7的方法。此外，根据图7所示的流程图是将根据图5所示的流程图与根据图6所示的流程图相结合的流程图。因此，省略冗余的描述。

在操作710中，增强现实设备200可以获得外部数据。

外部数据可以包括关于增强现实设备200外部的图像的数据或关于增强现实设备200的运动的数据。

在操作711中，增强现实设备200可以将外部数据发送到虚拟图像生成设备300。

在操作720中，虚拟图像生成设备300可以基于外部数据生成优化数据。

优化数据可以对应于通过对提取的特征执行滤波来减少其中误差的数据。

在操作730中，虚拟图像生成设备300可以从云400接收地图数据。

地图数据可以对应于通过以图形表示增强现实设备200周围的实际场景而获取的数据。

在操作740中，虚拟图像生成设备300可以基于地图数据和优化数据获取当前位姿数据。

在操作741中，虚拟图像生成设备300可以将当前位姿数据发送到增强现实设备200。

当前位姿数据可以是与增强现实设备200的当前位置相对应的数据。

在操作750中，增强现实设备200可以基于当前位姿数据获取第一未来位姿数据。

第一未来位姿数据是包括增强现实设备200的6D位姿的数据，并且可以是与当前时间点之后的时间点相对应的数据。

在操作751中，增强现实设备200可以将第一未来位姿数据发送到虚拟图像生成设备300。

在操作760中，虚拟图像生成设备300可以从云400接收图形图像。

在操作770中，增强现实设备200可以基于第一未来位姿数据获得第二未来位姿数据。

第二未来位姿数据可以是对应于与第一未来位姿数据相对应的时间点之后的时间点的数据。

在操作780中，虚拟图像生成设备300可以基于图形图像和第一未来位姿数据来生成虚拟图像。

虚拟图像可以是成为与最终输出虚拟视频的每一帧相对应的图像的基础的图像。

在操作781中，虚拟图像生成设备300可以将虚拟图像发送到增强现实设备200。

在操作790中，增强现实设备200可以基于第二未来位姿数据和虚拟图像来生成虚拟视频。

虚拟视频可以对应于包括数字或虚拟对象信息并且被提供给用户的视频。

在增强现实系统100中，在生成虚拟视频的处理中，仅在增强现实设备200中执行获取未来位姿数据和基于虚拟图像生成虚拟视频的操作，这些操作可能需要相对较少的计算量。结果，与在增强现实设备200中执行所有过程的情况相比，增强现实设备200的尺寸、重量和功耗可以减小。同时，在增强现实系统100中，并非在虚拟图像生成设备300中执行生成虚拟视频的所有过程，并且在虚拟图像生成设备300中仅执行获取当前位姿数据和生成虚拟图像的操作，这些操作可能需要相对大量的计算。因此，与在虚拟图像生成设备300中执行所有过程的情况相比，生成虚拟视频的处理可以被双重进行，并且延迟时间可以减少。

通过减少延迟时间，增强现实系统100可以更快，更有效地生成虚拟视频并将其提供给用户。因此，增强现实系统100可以实现作为可穿戴设备的增强现实设备200的尺寸和重量的减小，并且同时向用户提供虚拟视频在真实世界场景中呈现的无缝视角。

图8是示出由增强现实设备执行生成虚拟视频的所有过程的情况的流程图。

参照图8，与图7的实施例不同，在增强现实设备800中也执行获取当前位姿数据和生成虚拟图像的操作，并且在增强现实设备800中执行所有操作，而不受虚拟图像生成设备300的干预。

在根据图8的方法中，由于所有操作都在增强现实设备800中执行，因此会需要具有更高容量和更高性能的处理器和存储器。因此，与图7的增强现实设备200相比，图8的增强现实设备800可以具有更大的尺寸和重量。因为增强现实设备是可穿戴设备，所以上述特征可能对用户造成不便。

然而，图7的增强现实系统100可通过使生成虚拟视频的处理双重化来减小增强现实设备200的尺寸和重量，并为用户提供便利。

图9是示出由虚拟图像生成设备执行生成虚拟视频的所有过程的情况的流程图。

参照图9，与图7的实施例不同，获取未来位姿数据的操作和生成虚拟视频的操作也在虚拟图像生成设备910中执行，并且在虚拟图像生成设备910中执行除了接收外部数据之外的所有操作，而不需要增强现实设备900的干预。

在根据图9的方法中，由于虚拟图像生成设备910执行所有计算，因此与在多个设备中执行计算的情况相比，生成虚拟图像的速度降低。此外，增强现实设备900可能花费更长的时间来接收所生成的虚拟视频。因此，与通过图7的增强现实系统100向用户提供虚拟视频相比，通过包括图9的增强现实设备900和虚拟图像生成设备910的增强现实系统向用户提供虚拟视频需要花费更长的时间。由于增强现实系统必须实时显示虚拟视频，因此上述特征可能使用户感觉到真实场景与虚拟视频之间的差异或出入。

然而，图7的增强现实系统100可以通过使生成虚拟视频的处理双重化来提高生成虚拟视频的速度并减少总延迟时间，从而向用户提供虚拟视频呈现于真实世界场景中的无缝视角。

图10示出了根据实施例的当前位姿数据和未来位姿数据。

参照图10，当一次获取当前位姿数据1010时，多次获取第一未来位姿数据1020，而一次获取第一未来位姿数据1020时，多次获取第二未来位姿数据1030。

为了获取当前位姿数据1010，会需要基于增强现实设备200的位置对周围图像进行特征提取和优化操作，因此，获取当前位姿数据1010可能需要较长的时间。第一未来位姿数据1020是通过将惯性数据应用于当前位姿数据1010来获取，并且与当前位姿数据1010相比，获取该数据可能需要相对较短的时间。第二未来位姿数据1030是通过将预设参数应用于第一未来位姿数据1020来获取，并且与第一未来位姿数据1020相比，获取该数据所需的时间相对较短。

因此，在增强现实系统100中，可以对获取当前位姿数据1010、第一未来位姿数据1020和第二未来位姿数据1030的次数进行不同设置，以快速有效地生成虚拟视频。然而，如图10所示的每种数据获取的次数只是一个例子，并且可以进行不同的设置。

图11是根据实施例的生成虚拟图像的方法的图。

参照图11，虚拟对象1110被显示在3D空间中。

在图11的部分(a)中，虚拟对象1110被显示为对应于增强现实设备200的当前位置。增强现实设备200可以基于图11的部分(a)向右移动。增强现实设备200可以基于向右运动获取惯性数据，并且可以基于惯性数据获取第一未来位姿数据1020。

在这种情况下，虚拟对象1110可能必须在显示屏上向左移动。因此，基于第一未来位姿数据1020渲染的虚拟图像包括如图11的部分(b)所示向左移动的虚拟对象1110。图11的部分(b)的虚拟图像是包括虚拟对象1110和关于虚拟对象1110的位置信息的图像。

图12是根据实施例的生成虚拟视频的方法的图。

参照图12，虚拟对象1210被显示在3D空间中。

图12的部分(a)可能对应于图11的部分(b)。图12的部分(a)显示基于第一未来位姿数据1020渲染的虚拟图像。

增强现实设备200可以通过将预设参数应用于第一未来位姿数据1020来多次获取第二未来位姿数据1030。增强现实设备200可以将多次获取的第二未来位姿数据1030应用于虚拟图像来生成多个图像。通过应用第二未来位姿数据1030生成的图像可表示为图12的部分(b)和(c)。正如在图12的实施例所示，增强现实设备200可以为一个虚拟图像生成多个图像，并且可以生成包括多个图像的虚拟视频。

图13是根据实施例的增强现实系统的操作方法的流程图。

参照图13，增强现实系统100包括在图2的增强现实系统100按时间序列处理的操作。因此，可以理解的是，参照图2描述了与增强现实系统100有关的内容，即使在以下描述中省略，也可以将其应用于图13的方法。因此，省略冗余的描述。

在操作1310中，增强现实系统100可以获得外部数据。

增强现实系统100可以通过相机211获得立体数据，并通过惯性测量部分212获取与增强现实设备200的运动相对应的惯性数据。

在操作1320中，增强现实系统100可基于外部数据通过边缘计算来获取与增强现实设备200的位置相对应的当前位姿数据1010。

增强现实系统100可以基于外部数据通过边缘计算来提取增强现实设备200周围的图像的特征。

增强现实系统100可以通过边缘计算对特征点执行束调整或卡尔曼滤波来生成优化数据。

增强现实系统100可以基于从云接收的地图数据和优化数据，通过边缘计算来获取当前位姿数据1010。

在操作1330中，增强现实系统100可基于当前位姿数据1010获取与增强现实设备200的运动相对应的第一未来位姿数据1020和第二未来位姿数据1030。

增强现实系统100可以通过将惯性数据应用于当前位姿数据1010来获取第一未来位姿数据1020。

增强现实系统100可以通过根据预设参数改变包括在第一未来位姿数据1020中的6D位姿来获取第二未来位姿数据1030。

增强现实系统100可以以比获取当前位姿数据1010的周期更快的周期来获取第一未来位姿数据1020，从而可以在获取一次当前位姿数据1010时多次获取第一未来位姿数据1020。

增强现实系统100可以以比获取第一未来位姿数据1020的周期更快的周期来获取第二未来位姿数据1030，从而可以在获取一次第一未来位姿数据1020时多次获取第二未来位姿数据1030。

在操作1340中，增强现实系统100可以基于第一未来位姿数据1020通过边缘计算来生成虚拟图像。

增强现实系统100可以通过基于第一未来位姿数据1020的边缘计算对从云接收到的图形图像执行渲染来生成虚拟图像。

在操作1350中，增强现实系统100可基于第二未来位姿数据1030和虚拟图像来生成虚拟视频。

增强现实系统100可以将多次获取的第二未来位姿数据1030应用于虚拟图像，从而生成与获取第二未来位姿数据1030的次数相对应的图像数量。

增强现实系统100可以生成虚拟视频，该虚拟视频包括与获取第二未来位姿数据1030的次数相对应的图像的数量。

图4、6、7和13的操作方法可以记录在计算机可读记录介质中，该记录介质至少记录有包括用于执行该方法的指令的一个程序。计算机可读记录介质的示例可以包括：诸如硬盘，软盘和磁带之类的磁性介质；以及光学媒介，诸如CD-ROM和DVD；磁光媒介，例如软光盘；以及配置用于存储和执行程序指令的硬件设备，例如ROM，RAM，闪存等。程序指令的示例不仅可以包括诸如由编译器产生的那些机器语言代码，而且可以包括可以由计算机使用解释器等执行的高级语言代码。

应理解，本公开描述的实施方式可以仅在描述性意义上考虑，而不是出于限制的目的。每个实施例中的特征或方面的描述可以被认为可用于其他实施例中的其他类似特征或方面。尽管已经参照附图描述了各实施例，但是本领域的普通技术人员将认识到，在不脱离由所附权利要求限定的精神和范围的情况下可以对实施例进行形式和细节上的各种改变。

Claims (20)

1.一种生成增强现实的方法，所述方法包括：

获得外部数据；

基于获得的外部数据通过边缘计算获得与增强现实设备的位置相对应的当前位姿数据；

基于获得的当前位姿数据获得与增强现实设备的运动相对应的第一未来位姿数据和第二未来位姿数据；

基于获得的第一未来位姿数据通过边缘计算生成虚拟图像；以及

基于获得的第二未来位姿数据和生成的虚拟图像生成虚拟视频。

2.根据权利要求1所述的方法，其中，所述外部数据的获得包括：

通过相机获得立体数据；以及

通过惯性测量部分获得与所述增强现实设备的运动相对应的惯性数据。

3.根据权利要求1所述的方法，其中，所述当前位姿数据的获得包括：

基于所获得的外部数据，通过边缘计算提取所述增强现实设备的周围图像的特征；以及

通过对所提取的特征执行束调整或卡尔曼滤波来生成优化数据。

4.根据权利要求3所述的方法，其中，所述当前位姿数据的获得还包括：基于生成的优化数据和从云接收的地图数据，通过边缘计算来获得所述当前位姿数据。

5.根据权利要求2所述的方法，其中，所述第一未来位姿数据和所述第二未来位姿数据的获得包括：

通过将获得的惯性数据应用于获得的当前位姿数据来获得所述第一未来位姿数据；以及

通过根据预设参数改变包括在所获得的第一未来位姿数据中的6个自由度(6D)位姿来获得所述第二未来位姿数据。

6.根据权利要求5所述的方法，其中，所述第一未来位姿数据和所述第二未来位姿数据的获得还包括：

通过比获得所述当前位姿数据的周期更快的周期来获得所述第一未来位姿数据，基于一次获得所述当前位姿数据，多次获得所述第一未来位姿数据；以及

通过比获得所述第一未来位姿数据的周期更快的周期来获得第二未来位姿数据，基于一次获得所述第一未来位姿数据，多次获得所述第二未来位姿数据。

7.根据权利要求1所述的方法，其中，所述虚拟图像的生成包括：基于所获得的第一未来位姿数据，通过边缘计算对从云接收的图形图像执行渲染来生成所述虚拟图像。

8.根据权利要求6所述的方法，其中，所述虚拟视频的生成包括：

通过将多次获得的所述第二未来位姿数据应用于虚拟图像，生成与获得第二未来位姿数据的次数相对应的多个图像；以及

生成包括生成的多个图像的虚拟视频。

9.一种增强现实系统，包括：

虚拟图像生成设备；和

增强现实设备，其包括配置为获得外部数据的外部数据获取部分，

其中所述虚拟图像生成设备配置为基于获得的外部数据获得与所述增强现实设备的位置相对应的当前位姿数据，

其中所述增强现实设备还包括位姿预测部分，所述位姿预测部分被配置为基于获得的当前位姿数据来获得与所述增强现实设备的运动相对应的第一未来位姿数据和第二未来位姿数据，

其中所述虚拟图像生成设备还配置为基于获得的第一未来位姿数据生成虚拟图像，以及

其中所述增强现实设备还包括虚拟视频生成器，所述虚拟视频生成器配置为基于获得的第二未来位姿数据和生成的虚拟图像生成虚拟视频。

10.根据权利要求9所述的增强现实系统，其中，所述外部数据获取部分包括：

相机，配置为获得立体数据；以及

惯性测量部分，配置为获得与所述增强现实设备的运动相对应的惯性数据。

11.根据权利要求9所述的增强现实系统，其中，所述虚拟图像生成设备还配置为：

基于所获得的外部数据来提取所述增强现实设备的周围图像的特征；以及

通过对所提取的特征执行束调整或卡尔曼滤波来生成优化数据。

12.根据权利要求11所述的增强现实系统，其中，所述虚拟图像生成设备还配置为基于生成的优化数据和从云接收的地图数据来获得所述当前位姿数据。

13.根据权利要求10所述的增强现实系统，其中，所述位姿预测部分还配置为：

通过将所获得的惯性数据应用于所获得的当前位姿数据来获得所述第一未来位姿数据；以及

通过根据预设参数改变包括在所获得的第一未来位姿数据中的6个自由度(6D)位姿来获得所述第二未来位姿数据。

14.根据权利要求13所述的增强现实系统，其中，所述位姿预测部分还配置为：

通过比获得所述当前位姿数据的周期更快的周期来获得所述第一未来位姿数据，基于一次获得所述当前位姿数据，多次获得所述第一未来位姿数据；以及

通过比获得所述第一未来位姿数据的周期更快的周期来获得第二未来位姿数据，基于一次获得所述第一未来位姿数据，多次获得所述第二未来位姿数据。

15.根据权利要求9所述的增强现实系统，其中，所述虚拟图像生成设备还配置为基于所获得的第一未来位姿数据，对从云接收的图形图像执行渲染来生成所述虚拟图像。

16.根据权利要求14所述的增强现实系统，其中，所述虚拟视频生成器还配置为：

通过将多次获得的所述第二未来位姿数据应用于虚拟图像，生成与获得第二未来位姿数据的次数相对应的多个图像；以及

生成包括生成的多个图像的虚拟视频。

17.根据权利要求9所述的增强现实系统，其中，所述虚拟图像生成设备是边缘计算设备或能够通信的终端。

18.根据权利要求9所述的增强现实系统，其中，所述位姿预测部分和所述虚拟视频生成器被安装在包含在所述外部数据获取部分的芯片上。

19.一种计算机可读记录介质，其上记录有用于在计算机上执行权利要求1所述方法的程序。

20.一种生成增强现实的方法，所述方法由至少一个处理器执行，并且所述方法包括：

从相机获得立体数据；

从惯性测量部分获得对应于增强现实设备的运动的惯性数据；

基于获得的立体数据和获得的惯性数据，获得对应于所述增强现实设备的位置的当前位姿数据；

通过将所获得的惯性数据应用于所获得的当前位姿数据来获得第一未来位姿数据；

通过根据预设参数改变包括在所获得的第一未来位姿数据中的6个自由度(6D)位姿来获得第二未来位姿数据；

基于所获得的第一未来位姿数据生成虚拟图像；以及

基于所获得的第二未来位姿数据和所生成的虚拟图像生成虚拟视频。

Images