CN107222468A - 增强现实处理方法、终端、云端服务器和边缘服务器 - Google Patents

Abstract

本发明实施例提供一种增强现实处理方法、终端、云端服务器和边缘服务器。所述方法包括：终端根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器；接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。所述方法通过终端将增强现实所需的图像发送至距离所述终端最近的边缘服务器，使边缘服务器获取对应所述图像的虚拟信息，并返回终端，由终端与边缘服务器进行交互实现增强现实服务，将复杂的增强现实计算交给由边缘服务器完成，使终端可迅速、实时地实现增强现实服务。

Description

增强现实处理方法、终端、云端服务器和边缘服务器

技术领域

本发明实施例涉及一种通信技术领域，特别是一种增强现实处理方法、终端、云端服务器和边缘服务器。

背景技术

增强现实技术(Augmented Reality technique，AR技术)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道或触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，被人类感官所感知，从而达到超越现实的感官体验。

增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。由于增强现实是一种需要与用户在线交互的实时计算技术，对带宽和时延有着极高的要求。

增强现实具体实现过程简述如下：首先，需要捕获现实世界中的目标物体，并进行快速识别、提取特征，其次，计算三维坐标信息。然后，需要根据计算得到的信息匹配图像库，最后，进行渲染，即将相应虚拟的物体在用户界面叠加到现实场景中。其中的图像捕获、识别、计算和渲染涉及到大量复杂的矩阵运算，并且随着图像分辨率和大小的增加，其计算复杂度也会增加。

由于实时性和计算复杂性的限制，现有技术中增强现实方法多数是基于专用设备(如计算机、头盔等)来实现的：利用计算机或穿戴设备(如头盔、手柄等)实现图像采集、特征提取、识别、计算和渲染等操作。虽然能提供较强的计算能力并满足交互的实时性，用户体验较好，但由于设备庞大、不便携，此外设备的价格还比较昂贵，现有技术中增强现实的方法太重量级，只适合于特定应用场景(如游戏、固定场所中特定场景的体验)，因此，大大限制了增强现实技术的大规模普适化应用。

近几年，随着移动通信技术发展和智能移动终端处理能力的提高，智能终端逐渐成为了一种AR应用普适化的终端，基于智能移动终端的增强现实技术开始得到重视。

应当说明的是，现有技术中基于智能移动终端的增强现实应用多数是通过在智能终端安装APP(Application，应用程序)的方式来实现，这种实现增强现实的过程中，图像采集、特征提取、识别、计算和渲染等操作均是通过APP在终端本地完成，未下载APP的用户无法使用增强现实服务，可以理解的是，APP计算能力是有限的，难以适应计算增强现实中复杂度较高的计算，通常计算所需时间较长。

目前还有一类基于云计算的增强现实实现方案，将特征提取、识别、计算等复杂的运算部分或全部放在云端，终端负责必要的图像采集、渲染和呈现。这种方式提高了运算能力，减轻了终端的压力。但终端和云端之间的传输延迟确是一个影响增强现实体验的重要因素。

目前，现有技术还没有相应的方法来解决通过终端实现增强现实延时的问题。

发明内容

针对现有技术的缺陷，本发明实施例提供一种增强现实处理方法、终端、云端服务器和边缘服务器。

一方面，本发明实施例提供一种增强现实处理方法，包括：

终端根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器；

接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

另一方面，本发明实施例还提供一种增强现实处理方法，包括：

云端服务器接收终端发送的服务请求和位置信息，所述服务请求用于请求提供增强现实服务；

根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较，确定距离所述终端最近的边缘服务器，并将所述边缘服务器的地址发送至所述终端，以使所述终端与所述边缘服务器进行交互，实现增强现实。

另一方面，本发明实施例还提供一种增强现实处理方法，包括：

边缘服务器接收终端发送的图像，所述图像是终端获知所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器后发送的；

根据所述图像，进行增强现实运算，得到对应所述图像的虚拟信息；

将所述虚拟信息发送至所述终端，以供终端根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

另一方面，本发明实施例还提供一种终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下方法：

终端根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器；

接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

所述根据预先获取的边缘服务器的地址之前，所述方法还包括：

向云端服务器发送服务请求和位置信息，所述服务请求用于请求提供增强现实服务：

接收云端服务器发送的边缘服务器的地址，所述地址是云端服务器确定所述边缘服务器后得到的，所述边缘服务器是云端服务器根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较后确定的。

所述终端根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，具体为：

应用程序或WEB模块将采集的图像发送至边缘服务器；

相应地，所述接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，具体为应用程序或WEB模块接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染。

另一方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如下步骤：

终端根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器；

接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

所述根据预先获取的边缘服务器的地址之前，所述方法还包括：

向云端服务器发送服务请求和位置信息，所述服务请求用于请求提供增强现实服务：

接收云端服务器发送的边缘服务器的地址，所述地址是云端服务器确定所述边缘服务器后得到的，所述边缘服务器是云端服务器根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较后确定的。

所述终端根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，具体为：

应用程序或WEB模块将采集的图像发送至边缘服务器；

相应地，所述接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，具体为应用程序或WEB模块接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染。

另一方面，本发明实施例还提供一种云端服务器，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：

云端服务器接收终端发送的服务请求和位置信息，所述服务请求用于请求提供增强现实服务；

根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较，确定距离所述终端最近的边缘服务器，并将所述边缘服务器的地址发送至所述终端，以使所述终端与所述边缘服务器进行交互，实现增强现实。

另一方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如下步骤：

云端服务器接收终端发送的服务请求和位置信息，所述服务请求用于请求提供增强现实服务；

根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较，确定距离所述终端最近的边缘服务器，并将所述边缘服务器的地址发送至所述终端，以使所述终端与所述边缘服务器进行交互，实现增强现实。

另一方面，本发明实施例还提供一种边缘服务器，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：

边缘服务器接收终端发送的图像，所述图像是终端获知所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器后发送的；

根据所述图像，进行增强现实运算，得到对应所述图像的虚拟信息；

将所述虚拟信息发送至所述终端，以供终端根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

由上述技术方案可知，本发明实施例提供的增强现实处理方法、终端、云端服务器和边缘服务器，所述方法通过终端将增强现实所需的图像发送至距离所述终端最近的边缘服务器，使边缘服务器获取对应所述图像的虚拟信息，并返回终端，由终端与边缘服务器进行交互实现增强现实服务，将复杂的增强现实计算交给由边缘服务器完成，使终端可迅速、实时地实现增强现实服务。

附图说明

图1为本发明实施例提供的一种增强现实处理方法的流程示意图；

图2为本发明又一实施例提供的一种增强现实处理方法的流程示意图；

图3为本发明又一实施例提供的一种增强现实处理方法的流程示意图；

图4为本发明又一实施例提供的一种增强现实处理方法的流程示意图；

图5为本发明又一实施例提供的一种增强现实处理系统的结构示意图；

图6为本发明又一实施例提供的一种增强现实处理系统的结构示意图；

图7为本发明又一实施例提供的一种终端的结构示意图；

图8为本发明又一实施例提供的一种云端服务器的结构示意图；

图9为本发明又一实施例提供的一种边缘服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明实施例一部分实施例，而不是全部的实施例。

本发明实施例提供的一种增强现实处理方法，可基于边缘计算或者移动边缘计算进行展开。

边缘计算是最近发展出的一种技术，它在位置上是云网融合的边缘，更靠近用户、数据和业务，能智能感知并就近处理业务和数据。其应用在边缘侧发起，产生更快的网络服务响应，满足实时业务、应用智能、安全与隐私保护等方面的基本需求。

第5代移动通信技术(5G)将引入移动边缘计算，将云计算和云存储拉近到网络边缘，创造高性能、低延迟与高带宽的服务环境。

图1示出了本发明实施例提供的一种增强现实处理方法的流程示意图。

参照图1，本发明实施例提供的方法具体包括以下步骤：

步骤11、根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器。

在本实施例中，终端安装有可提供增强现实服务的应用程序APP或WEB模块。

可选地，终端向处理器发送调用摄像头请求，以申请调用摄像头，获得授权许可后，控制打开摄像头，并进行图像采集。

将采集到的图像进行压缩、编码等预处理操作，再发送至对应所述地址的边缘服务器。

所述边缘服务器可提供增强现实服务，具体可提供增强现实的相关计算，以及基本通信功能。

步骤12、接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

所述边缘服务器接收终端发送的所述图像，并根据所述图像，从预设的虚拟信息数据库中查找与所述图像匹配的虚拟物，并进行增强现实的相关计算，得到对应所述图像的虚拟信息，发送至所述终端。

终端接收所述虚拟信息，并根据所述虚拟信息进行渲染，将所述虚拟信息叠加至所述图像，得到所述增强现实信息。

本实施例提供的增强现实处理方法，至少具有以下技术效果：

通过终端将增强现实所需的图像发送至距离所述终端最近的边缘服务器，使边缘服务器获取对应所述图像的虚拟信息，并返回终端，由终端与边缘服务器进行交互，实现增强现实服务，由于将复杂的增强现实计算交给由边缘服务器完成，使终端可实时实现增强现实服务，大大降低数据的传输时延，满足当下增强现实业务所需的高带宽性与高实时性。

图2示出了本发明又一实施例提供的一种增强现实处理方法的流程示意图。

图3示出了本发明又一实施例提供的一种增强现实处理方法的流程示意图。

参照图2和图3，在上述实施例的基础上，所述步骤11之前，获取的边缘服务器的地址的方式可有多种，本发明实施例举其中一种来说明。

步骤11之前，所述方法还包括：

步骤101、向云端服务器发送服务请求和位置信息，所述服务请求用于请求提供增强现实服务。

可选地，用户操作终端的显示设备，生成服务请求，并通过互联网向云端服务器发送服务请求，以请求提供增强现实服务。

所述云端服务器是对应终端的增强现实服务的应用程序APP的服务器，或者对应终端的WEB模块的服务器。

步骤102、接收云端服务器发送的边缘服务器的地址，所述地址是云端服务器确定所述边缘服务器后得到的，所述边缘服务器是云端服务器根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较后确定的。

可选地，云端服务器接收终端发送的服务请求和位置信息后，根据所述位置信息，获取距离所述终端最近的边缘服务器，并获取边缘服务器的服务入口信息。

可选地，所述服务入口信息是距离所述边缘服务器的地址，如网页链接。

本实施例提供的增强现实处理方法，至少具有以下技术效果：

通过终端预先与云端服务器其进行交互以获得距离所述终端最近的边缘服务器的地址，并将增强现实所需的图像发送至边缘服务器，由终端与边缘服务器进行交互，实现增强现实服务，使终端可实时实现增强现实服务，大大降低数据的传输时延。

在上述实施例的基础上，所述步骤11，将采集的图像发送至边缘服务器的方式可有多种，本发明实施例举其中一种来说明。

步骤11具体为：

应用程序或WEB模块将采集的图像发送至边缘服务器。

在本实施例中，由终端的应用程序或WEB模块进行增强现实的图像采集。

可选地，所述WEB模块是终端的WEB(World Wide Web，全球广域网)部件，为用户在网络上查找和浏览信息提供了图形化的、易于访问的直观界面，在终端中具有广泛的应用，如浏览器具有WEB模块，微信具有浏览器内核，同样具有WEB模块。

具体地，WEB模块可为用户呈现增强现实请求的按钮，用户访问所述WEB模块的网页时，操作WEB模块与终端进行交互，WEB模块将采集的图像发送至所述边缘服务器。

在本步骤中，WEB模块进行图像采集操作，具体为调用摄像头进行拍摄，并由WEB模块捕获摄像头拍摄的图像，将所述图像保存在WEB模块中。

可选地，WEB模块调用摄像头进行拍摄，捕获摄像头拍摄的视频流，所述视频流为包括多个有序的图像的视频。

相应地，所述步骤12，具体为：

WEB模块接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染。

具体地，所述边缘服务器接收所述WEB模块发送的所述图像，识别所述WEB模块的标识是否与预先设定的增强现实服务列表中的WEB模块的标识匹配，若匹配，自虚拟信息数据库中获取对应所述图像的虚拟信息，采用现有技术中的算法，计算得到对应所述图像的虚拟信息。

在本步骤中，所述WEB模块接收所述虚拟信息，对所述虚拟信息进行渲染，将所述虚拟信息叠加在所述图像上，得到增强现实信息，并显示得到的第一增强现实信息。

可以理解的是，绝大多数的终端均具有浏览器、微信、微博，也就是说，绝大多数的终端均具有所述WEB模块，在本实施例中，通过所述WEB模块进行图像采集步骤，将采集的图像发送至边缘服务器，由边缘服务器进行虚拟信息获取步骤，在本实施例中，由终端的WEB模块与边缘服务器交互共同实现增强现实，使得无需为实现增强现实另下载一个APP，利用终端已有的APP与边缘服务器，即可实现增强现实。

本实施例提供的增强现实处理方法，至少具有以下技术效果：

通过WEB模块将采集的图像发送至边缘服务器，由边缘服务器进行虚拟信息的获取，利用终端已有的WEB模块与边缘服务器进行交互，可降低实现增强现实的成本。

在上述实施例的基础上，本实施例提供的增强现实处理方法。所述方法步骤11，WEB模块捕获摄像头的方式可有多种，本实施例举例说明其中一种。

上述步骤11，具体为：WEB模块调用摄像头进行拍摄，并捕获摄像头拍摄的视频流，所述视频流包括多个有序的图像。

可选地，WEB模块调用摄像头进行拍摄，捕获摄像头拍摄的视频流，所述视频流为包括多个有序的图像的视频。

所述WEB模块将所述视频流发送至边缘服务器，以供边缘服务器根据所述第一张图像，获取对应所述第一张图像的虚拟信息。

步骤12、所述WEB模块接收所述虚拟信息。

在步骤12之后，所述方法还包括：

所述WEB模块接收边缘服务器发送的角度变换矩阵，所述角度变换矩阵用于指示所述虚拟信息在所述图像中的形态的角度变换。

其中，所述角度变换矩阵是边缘服务器跟踪所述真实物在连续两张图像中的坐标信息的变化来确定的，所述虚拟信息是边缘服务器判断获知所述图像中具有与预设的真实物数据库中真实物匹配的真实物，则根据所述真实物获取得到的。

可选地，边缘服务器对所述图像进行检测，判断获知所述图像中是否具有与预设的真实物数据库中真实物匹配的真实物，若有，则从预设的虚拟信息数据库中获取对应所述真实物的所述虚拟信息。

可选地，边缘服务器对所述真实物的位置进行跟踪，跟踪可以使用KCF(Kernerlized Correlation Filter，相关滤波器)等图像处理的跟踪算法，获得所述真实物在第一张和第二张图像中的坐标信息的变化，对跟踪到的坐标信息的变化做相应的变换，求解变换矩阵可以使用仿射变换等求解方式，得到所述，并将发送至所述WEB模块。

也就是说，图像中真实物的位置发生变化，边缘服务器获取对应的虚拟信息，使所述虚拟信息的角度也会发生变化，所述虚拟信息在所述图像中的形态的角度变换可为虚拟信息角度变化的方向和位置。

相应地，所述WEB模块根据所述，对所述虚拟信息的形态进行渲染，在所述真实物上叠加所述虚拟信息。

可选地，所述WEB模块根据所述，对所述虚拟信息的形态进行渲染。

具体地，所述WEB模块在渲染过程中在所述真实物的位置对所述虚拟信息进行渲染，并进行角度变换，其中，渲染可以使用WebGL(Web Graphics Library，网络图形库)相关技术，使得所述虚拟信息在所述视频流中可进行角度变换。

可以理解的是，在终端拍摄所述视频流的过程中，摄像头任何微小的移动都将导致视频流的各图像产生变化，边缘服务器实时跟踪所述真实物在连续图像中的位置变化，实时根据位置变化计算得到相应的，使得所述虚拟信息可根据所述真实物的变化而变化，实现更强大的增强现实效果。

若判断获知所述图像中没有与预设的真实物数据库中真实物匹配的真实物，则所述边缘服务器向所述WEB模块返回反馈信息，以提示所述WEB模块重新捕获摄像头拍摄的图像。

举例来说，所述图像是餐桌上一瓶酒，所述边缘服务器判断获知所述图像完整呈现了酒厂的商标，则所述边缘服务器获取对应的所述商标的彩蛋，计算得到彩蛋在图像的坐标信息，并发送至所述WEB模块，使所述WEB模块在所述图像中进行渲染，呈现所述彩蛋。

所述边缘服务器判断获知所述图像中没有酒厂的商标，则所述边缘服务器可根据所述虚拟信息数据库中存储的反馈信息，获取反馈信息在图像的坐标信息，并发送至所述WEB模块，使所述WEB模块在所述图像中进行渲染，呈现所述反馈信息，所述反馈信息可以是提示用户移动摄像头的图片。

本实施例提供增强现实处理方法，至少具有以下技术效果：

通过所述WEB模块采集视频流，并将采集的视频流发送至边缘服务器，由边缘服务器对虚拟信息进行实时的角度变换，使得所述WEB模块显示的所述虚拟信息可进行角度变换，实现更强大的增强现实效果。

图4示出了本发明又一实施例提供的一种增强现实处理方法的流程示意图。

参照图4，在上述实施例的基础上，本实施例提供的增强现实处理方法。所述方法包括：

步骤41、云端服务器接收终端发送的服务请求和位置信息，所述服务请求用于请求提供增强现实服务。

可选地，用户操作终端的显示设备，生成服务请求，并通过互联网向云端服务器发送服务请求，以请求提供增强现实服务。

所述云端服务器是对应终端的增强现实服务的APP的服务器。

步骤42、根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较，确定距离所述终端最近的边缘服务器，并将所述边缘服务器的地址发送至所述终端，以使所述终端与所述边缘服务器进行交互，实现增强现实。

可选地，云端服务器接收终端发送的服务请求和位置信息后，根据所述位置信息，获取距离所述终端最近的边缘服务器，并获取边缘服务器的服务入口信息。

可选地，所述服务入口信息是距离所述边缘服务器的地址，如网页链接。

在本步骤之后，所述终端根据边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器接收终端发送的所述图像，并根据所述图像进行增强现实的相关计算，得到对应所述图像的虚拟信息，发送至所述终端，也就是说，由所述终端进行图像采集，所述边缘服务器进行增强现实计算，二者合作实现增强现实。

本实施例提供的增强现实处理方法，至少具有以下技术效果：

通过终端预先与云端服务器其进行交互以获得距离所述终端最近的边缘服务器的地址，并将增强现实所需的图像发送至边缘服务器，由终端与边缘服务器进行交互，实现增强现实服务，使终端可实时实现增强现实服务，大大降低数据的传输时延。

图5示出了本发明又一实施例提供的一种增强现实处理方法的流程示意图。

参照图5，在上述实施例的基础上，本实施例提供的增强现实处理方法。所述方法包括：

步骤51、边缘服务器接收终端发送的图像，所述图像是终端获知所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器后发送的。

在本实施例中，终端安装有可提供增强现实服务的APP。

可选地，终端需使用增强现实服务，预先获取可提供增强现实服务的服务器的地址，且所述边缘服务器是距离所述终端最近的服务器，可以理解的是，增强现实服务对计算能力要求较高，若可获得距离所述终端最近的服务器，使所述边缘服务器进行复杂的增强现实服务计算，可减少增强现实服务对实现的延时。

步骤52、根据所述图像，进行增强现实运算，得到对应所述图像的虚拟信息。

所述边缘服务器可采用现有技术中的AR算法，得到对应所述图像的虚拟信息。

步骤53、将所述虚拟信息发送至所述终端，以供终端根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

在另一种实施方式中，所述步骤51,边缘服务器接收终端发送的视频流，所述视频流包括多个有序的图像。

可选地，终端调用摄像头进行拍摄，捕获摄像头拍摄的视频流，所述视频流为包括多个有序的图像的视频。

所述边缘服务器根据所述第一张图像，获取对应所述第一张图像的虚拟信息，发送至所述终端。

接下来，边缘服务器跟踪所述真实物在连续两张图像中的坐标信息的变化，所述真实物是边缘服务器判断获知所述图像中具有与预设的真实物数据库中真实物匹配的真实物。

可选地，边缘服务器对所述图像进行检测，判断获知所述图像中是否具有与预设的真实物数据库中真实物匹配的真实物，若有，则从预设的虚拟信息数据库中获取对应所述真实物的所述虚拟信息。

可选地，边缘服务器对所述真实物的位置进行跟踪，跟踪可以使用KCF(Kernerlized Correlation Filter，相关滤波器)等图像处理的跟踪算法，获得所述真实物在第一张和第二张图像中的坐标信息的变化，对跟踪到的坐标信息的变化做相应的变换，求解变换矩阵可以使用仿射变换等求解方式，得到所述，并将发送至所述WEB模块。

也就是说，图像中真实物的位置发生变化，边缘服务器获取对应的虚拟信息，使所述虚拟信息的角度也会发生变化，所述虚拟信息在所述图像中的形态的角度变换可为虚拟信息角度变化的方向和位置。

相应地，所述WEB模块根据所述，对所述虚拟信息的形态进行渲染，在所述真实物上叠加所述虚拟信息。

可选地，根据所述，对所述虚拟信息的形态进行渲染。

具体地，在渲染过程中在所述真实物的位置对所述虚拟信息进行渲染，并进行角度变换，其中，渲染可以使用WebGL(Web Graphics Library，网络图形库)相关技术，使得所述虚拟信息在所述视频流中可进行角度变换。

可以理解的是，在终端拍摄所述视频流的过程中，摄像头任何微小的移动都将导致视频流的各图像产生变化，边缘服务器实时跟踪所述真实物在连续图像中的位置变化，实时根据位置变化计算得到相应的，使得所述虚拟信息可根据所述真实物的变化而变化，实现更强大的增强现实效果。

本实施例提供的增强现实处理方法，至少具有以下技术效果：

通过由距离所述终端最近的边缘服务器，与终端进行交互以实现增强现实服务，使终端可实时实现增强现实服务，大大降低数据的传输时延。

图6示出了本发明又一实施例提供的一种增强现实处理系统的结构示意图。

参阅图6，在上述实施例的基础上，本发明提供的增强现实处理系统，包括云端服务器、边缘服务器和移动终端。

其中，云端服务器是AR服务入口，负责用户的接入、注册、登录和服务路由，存储用户相关数据，备份边缘服务器的AR算法和模板数据，持久化存储边缘服务器的运行日志和用户访问日志。

边缘服务器一般部署在靠近用户位置的地方，接收来自云端服务器路由来的AR处理请求，负责AR相关的运算，并将处理的结果直接发送给用户的移动终端。

用户的移动终端，控制移动终端摄像头的打开与关闭、图像或视频的采集、压缩、编码等操作，发送给边缘服务器做AR相关的运算，接收来自边缘服务器的处理结果和指令，并将虚拟信息在移动终端显示设备上进行渲染和呈现。

本发明实施例的增强现实处理系统实现一次业务处理流程如下：

首先，移动终端向云端服务器发送服务请求和通过自身GPS定位系统获取的地理位置信息，如过程①。

所述云端服务器在接收到所述移动终端的服务请求和地理位置信息后，通过检索AR服务入口，根据得到的地理位置信息选择一个距所述移动终端最近的边缘服务器，并将所述边缘服务器的服务入口信息返回所述移动终端。如过程②。

所述移动终端在接收到所述云端服务器返回的所述边缘服务器的服务入口信息后，将服务所需数据发送给所述边缘服务器。如过程③。

所述边缘服务器在接收到所述移动终端发送来的数据后，进行AR相关的运算，并将处理的结果直接发送给用户的移动终端。如过程④。

所述移动终端在接收到来自所述边缘服务器发来的处理结果，进行本地渲染显示，完成本次业务处理。

本实施例提供增强现实处理系统，至少具有以下技术效果：

(1)高带宽，高实时性。将带宽大的数据如视频图片交付给距离近的边缘服务器处理，大大降低数据的传输时延，满足当下增强现实业务所需的高带宽性与高实时性。

(2)轻量级，可扩展性强。将增强现实技术所需的复杂的计算放在边缘服务器的云计算平台中，智能终端只包含必要的复杂度较低的功能组件。

本发明实施例提供的增强现实处理方法，可应用至多种场景，为了更清楚的说明本发明实施例提供的增强现实处理方法，以包含三个用户和两个边缘服务器的场景为例进行说明。

云端服务器可以部署在公有云中，负责用户的接入、注册、登录和服务路由，存储用户相关数据，备份边缘服务器的AR算法和模板数据，持久化存储边缘服务器的运行日志和用户访问日志。

如图3所示，S1和S2分别是两台边缘服务器，分别部署在1#和2#两个不同地理位置，接收来自云端服务器路由来的AR处理请求，负责AR相关的运算，并将处理的结果直接发送给用户的移动终端。

当在地理位置1#的用户甲使用移动终端M1使用增强现实服务时，移动终端M1向云端服务器发送服务请求和通过自身GPS定位系统获取的地理位置信息。

所述云端服务器在接收到所述移动终端的服务请求和地理位置信息后，通过检索AR服务入口，根据得到的地理位置信息，判断距离移动终端M1最近的边缘服务器是S1，将边缘服务器S1的服务入口信息返回所述移动终端M1。

所述移动终端M1在接收到所述云端服务器返回的所述边缘服务器S1的服务入口信息后，将服务所需数据发送给所述边缘服务器S1。

所述边缘服务器S1在接收到所述移动终端M1发送来的数据后，进行AR相关的运算，并将处理的结果直接发送给用户的移动终端M1。

所述移动终端M1在接收到来自所述边缘服务器S1发来的处理结果，进行本地渲染显示，给学用户提供相应的增强现实内容。

同理，同样在地理位置1#的用户乙使用移动终端M2观看互动课堂云平台上的授课直播时，移动终端M2向云端服务器发送服务请求和通过自身GPS定位系统获取的地理位置信息。

由于使用移动终端M2的用户乙也位于地理位置1#。此时，所述云端服务器向移动终端M2返回的也是距离最近的边缘服务器S1。之后，移动终端M2再向边缘服务器S1发送服务所需数据，边缘服务器S1处理后将结果返回移动终端M2，M2进行本地渲染显示，给用户乙提供相应的增强现实内容。

而位于地理位置2#的用户丙使用移动终端M3使用增强现实服务时，所述云端服务器则将距离M3最近的边缘服务器S3的服务入口返回给所述移动终端M3。之后，移动终端M3再向边缘服务器S2发送服务所需数据，边缘服务器S2处理后将结果返回移动终端M3，M3进行本地渲染显示，给用户丙提供相应的增强现实内容。

可以理解的是，若部署更多的边缘服务器，可以使边缘计算的实现精度更高，为用户提供延迟更低的AR计算服务。

本实施例提供的增强现实处理方法，至少具有以下技术效果：

通过终端将增强现实服务所需数据发送至距离所述终端最近的边缘服务器，使边缘服务器进行AR相关运算，并返回终端，由终端与边缘服务器进行交互，实现增强现实服务，由于将复杂的增强现实计算交给由边缘服务器完成，使终端可实时实现增强现实服务，大大降低数据的传输时延。

图7示出了本发明又一实施例提供的一种终端的结构示意图。

参阅图7，本实施例提供的终端，所述终端包括存储器71、处理器72以及存储在存储器71上并可在处理器上运行的计算机程序。

所述处理器执行所述程序时实现如下步骤：

根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器；

接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

在本实施例中，终端安装有可提供增强现实服务的APP。

可选地，终端向处理器发送调用摄像头请求，以申请调用摄像头，获得授权许可后，控制打开摄像头，并进行图像采集。

将采集到的图像进行压缩、编码等预处理操作，再发送至对应所述地址的边缘服务器。

所述边缘服务器可提供增强现实服务，具体可提供增强现实的相关计算，以及基本通信功能。

所述边缘服务器接收终端发送的所述图像，并根据所述图像进行增强现实的相关计算，得到对应所述图像的虚拟信息，发送至所述终端。

终端接收所述虚拟信息，并根据所述虚拟信息进行渲染，将所述虚拟信息叠加至所述图像，得到所述增强现实信息。

所述根据预先获取的边缘服务器的地址之前，还包括：

向云端服务器发送服务请求和位置信息，所述服务请求用于请求提供增强现实服务：

接收云端服务器发送的边缘服务器的地址，所述地址是云端服务器确定所述边缘服务器后得到的，所述边缘服务器是云端服务器根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较后确定的。

所述根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，具体为：

WEB模块将采集的图像发送至边缘服务器；

相应地，所述接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，具体为WEB模块接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染。

本实施例提供的终端，可用于执行上述方法实施例的方法对应的程序，本实施不再赘述。

本实施例提供的终端，至少具有以下技术效果：

通过所述处理器执行所述程序时实现将增强现实所需的图像发送至距离所述终端最近的边缘服务器，使边缘服务器获取对应所述图像的虚拟信息，并返回终端，由终端与边缘服务器进行交互，实现增强现实服务，由于将复杂的增强现实计算交给由边缘服务器完成，使终端可实时实现增强现实服务，大大降低数据的传输时延，满足当下增强现实业务所需的高带宽性与高实时性。

本发明又一实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述程序被处理器执行时实现如下步骤：

根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器；

接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

在本实施例中，终端安装有可提供增强现实服务的APP。

可选地，终端向处理器发送调用摄像头请求，以申请调用摄像头，获得授权许可后，控制打开摄像头，并进行图像采集。

将采集到的图像进行压缩、编码等预处理操作，再发送至对应所述地址的边缘服务器。

所述边缘服务器可提供增强现实服务，具体可提供增强现实的相关计算，以及基本通信功能。

所述边缘服务器接收终端发送的所述图像，并根据所述图像进行增强现实的相关计算，得到对应所述图像的虚拟信息，发送至所述终端。

终端接收所述虚拟信息，并根据所述虚拟信息进行渲染，将所述虚拟信息叠加至所述图像，得到所述增强现实信息。

所述根据预先获取的边缘服务器的地址之前，还包括：

向云端服务器发送服务请求和位置信息，所述服务请求用于请求提供增强现实服务：

接收云端服务器发送的边缘服务器的地址，所述地址是云端服务器确定所述边缘服务器后得到的，所述边缘服务器是云端服务器根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较后确定的。

所述根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，具体为：

WEB模块将采集的图像发送至边缘服务器；

相应地，所述接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，具体为WEB模块接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染。

本实施例提供的计算机可读存储介质，所述程序被处理器执行时实现上述方法实施例的方法，本实施不再赘述。

本实施例提供的计算机可读存储介质，至少具有以下技术效果：

通过所述程序被处理器执行将增强现实所需的图像发送至距离所述终端最近的边缘服务器，使边缘服务器获取对应所述图像的虚拟信息，并返回终端，由终端与边缘服务器进行交互，实现增强现实服务，由于将复杂的增强现实计算交给由边缘服务器完成，使终端可实时实现增强现实服务，大大降低数据的传输时延，满足当下增强现实业务所需的高带宽性与高实时性。

图8示出了本发明又一实施例提供的一种云端服务器的结构示意图。

参阅图8，发明又一实施例提供的一种云端服务器，所述云端服务器包括存储器81、处理器82以及存储在存储器81上并可在处理器上运行的计算机程序。

所述处理器执行所述程序时实现如下步骤：

接收终端发送的服务请求和位置信息，所述服务请求用于请求提供增强现实服务；

根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较，确定距离所述终端最近的边缘服务器，并将所述边缘服务器的地址发送至所述终端，以使所述终端与所述边缘服务器进行交互，实现增强现实。

可选地，用户操作终端的显示设备，生成服务请求，并通过互联网向云端服务器发送服务请求，以请求提供增强现实服务。

所述云端服务器是对应终端的增强现实服务的APP的服务器。

可选地，云端服务器接收终端发送的服务请求和位置信息后，根据所述位置信息，获取距离所述终端最近的边缘服务器，并获取边缘服务器的服务入口信息。

可选地，所述服务入口信息是距离所述边缘服务器的地址，如网页链接。

在本步骤之后，所述终端根据边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器接收终端发送的所述图像，并根据所述图像进行增强现实的相关计算，得到对应所述图像的虚拟信息，发送至所述终端，也就是说，由所述终端进行图像采集，所述边缘服务器进行增强现实计算，二者合作实现增强现实。

本实施例提供的云端服务器，可用于执行上述方法实施例的方法对应的程序，本实施不再赘述。

本实施例提供的云端服务器，至少具有以下技术效果：

通过所述处理器执行所述程序时实现云端服务器预先与终端进行交互以获得距离所述终端最近的边缘服务器的地址，并将增强现实所需的图像发送至边缘服务器，由终端与边缘服务器进行交互，实现增强现实服务，使终端可实时实现增强现实服务，大大降低数据的传输时延。

本发明又一实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述程序被处理器执行时实现如下步骤：

接收终端发送的服务请求和位置信息，所述服务请求用于请求提供增强现实服务；

根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较，确定距离所述终端最近的边缘服务器，并将所述边缘服务器的地址发送至所述终端，以使所述终端与所述边缘服务器进行交互，实现增强现实。

可选地，用户操作终端的显示设备，生成服务请求，并通过互联网向云端服务器发送服务请求，以请求提供增强现实服务。

所述云端服务器是对应终端的增强现实服务的APP的服务器。

可选地，云端服务器接收终端发送的服务请求和位置信息后，根据所述位置信息，获取距离所述终端最近的边缘服务器，并获取边缘服务器的服务入口信息。

可选地，所述服务入口信息是距离所述边缘服务器的地址，如网页链接。

在本步骤之后，所述终端根据边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器接收终端发送的所述图像，并根据所述图像进行增强现实的相关计算，得到对应所述图像的虚拟信息，发送至所述终端，也就是说，由所述终端进行图像采集，所述边缘服务器进行增强现实计算，二者合作实现增强现实。

本实施例提供的计算机可读存储介质，所述程序被处理器执行时实现上述方法实施例的方法，本实施不再赘述。

本实施例提供的计算机可读存储介质，至少具有以下技术效果：

通过所述程序被处理器执行预先与终端进行交互以获得距离所述终端最近的边缘服务器的地址，并将增强现实所需的图像发送至边缘服务器，由终端与边缘服务器进行交互，实现增强现实服务，使终端可实时实现增强现实服务，大大降低数据的传输时延。

图9示出了本发明又一实施例提供的一种边缘服务器的结构示意图。

参阅图9，本发明又一实施例提供的一种边缘服务器，所述边缘服务器包括存储器91、处理器92以及存储在存储器91上并可在处理器上运行的计算机程序。

所述处理器执行所述程序时实现如下步骤：

边缘服务器接收终端发送的图像，所述图像是终端获知所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器后发送的；

根据所述图像，进行增强现实运算，得到对应所述图像的虚拟信息；

将所述虚拟信息发送至所述终端，以供终端根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

在本实施例中，终端安装有可提供增强现实服务的APP。

可选地，终端需使用增强现实服务，预先获取可提供增强现实服务的服务器的地址，且所述边缘服务器是距离所述终端最近的服务器，可以理解的是，增强现实服务对计算能力要求较高，若可获得距离所述终端最近的服务器，使所述边缘服务器进行复杂的增强现实服务计算，可减少增强现实服务对实现的延时。

所述边缘服务器可采用现有技术中的AR算法，得到对应所述图像的虚拟信息。

本实施例提供的边缘服务器，可用于执行上述方法实施例的方法对应的程序，本实施不再赘述。

本实施例提供的边缘服务器，至少具有以下技术效果：

通过执行由距离所述终端最近的边缘服务器，与终端进行交互以实现增强现实服务，使终端可实时实现增强现实服务，大大降低数据的传输时延。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (10)

1.一种增强现实处理方法，其特征在于，包括：

终端根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器；

接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

2.根据权利要求1所述的方法，其特征在于：所述根据预先获取的边缘服务器的地址之前，所述方法还包括：

向云端服务器发送服务请求和位置信息，所述服务请求用于请求提供增强现实服务：

接收云端服务器发送的边缘服务器的地址，所述地址是云端服务器确定所述边缘服务器后得到的，所述边缘服务器是云端服务器根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较后确定的。

3.根据权利要求1所述的方法，其特征在于：所述终端根据预先获取的边缘服务器的地址，将采集的图像发送至边缘服务器，具体为：

应用程序或WEB模块将采集的图像发送至边缘服务器；

相应地，所述接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染，具体为应用程序或WEB模块接收所述边缘服务器发送的虚拟信息，并根据所述虚拟信息进行渲染。

4.一种增强现实处理方法，其特征在于，包括：

云端服务器接收终端发送的服务请求和位置信息，所述服务请求用于请求提供增强现实服务；

根据所述位置信息与预设的数据库中存储的边缘服务器的位置信息进行比较，确定距离所述终端最近的边缘服务器，并将所述边缘服务器的地址发送至所述终端，以使所述终端与所述边缘服务器进行交互，实现增强现实。

5.一种增强现实处理方法，其特征在于，包括：

边缘服务器接收终端发送的图像，所述图像是终端获知所述边缘服务器是距离所述终端最近的可提供增强现实服务的服务器后发送的；

根据所述图像，进行增强现实运算，得到对应所述图像的虚拟信息；

将所述虚拟信息发送至所述终端，以供终端根据所述虚拟信息进行渲染，得到增强现实信息，所述增强现实信息是根据所述图像和所述虚拟信息叠加得到的。

6.一种终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3任意一项的方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现如权利要求1-3任意一项的方法。

8.一种云端服务器，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求4所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现如权利要求4所述的方法。

10.一种边缘服务器，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求5所述的方法。