CN114003190B - 一种适应多场景和多设备的增强现实方法和装置 - Google Patents

Abstract

本发明提出了一种适应多场景和多设备的增强现实方法和装置，其中方法具体包括：步骤一、通过信息采集设备采集实际应用场景中的原始图像信息；步骤二、通过适配器将所述原始图像信息传输中云端处理单元进行数据处理；步骤三、云端处理单元通过数据传输通道将处理后的图像信息回传至适配器中；步骤四、适配器将接收到的回传数据通过数据传输通道传输给AR设备终端进行现实世界与虚拟世界的图像数据融合；步骤五、对融合后的图像数据进行可视化的呈现。通过将多个深度学习算法整合到一个装置内，增强对不同场景的适应能力，实现用户体验的提升。另外，利用5G技术，将深度学习算法同AR技术融合，让AR技术摆脱设备限制的同时获得更好的体验。

Description

一种适应多场景和多设备的增强现实方法和装置

技术领域

本发明涉及一种适应多场景和多设备的增强现实方法和装置，特别是涉及增强现实图像数据处理技术领域。

背景技术

随着计算机技术的发展，将真实世界与虚拟世界相融合的增强现实技术应运而生，该技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。

随着移动设备计算能力的大幅增强，越来越多的AR技术被应用于移动设备。移动AR技术在带来便利和无限可能的同时，也带来了新的难题。移动设备需要面对更为复杂多变的地理环境，同时却只拥有有限的计算性能。

在现有的技术方案中，都是针对特定场景设计特定算法进行实现，采用深度学习的方法来实现增强现实。虽然深度神经网络使得计算机对图像的处理能力具有更强的自适应性，但在现有的图像语义识别网络中，单一网路对不同场景的处理能力也即为有限。加之，为了得到更好的图像识别效果，效果较好的网络模型深度在基本在100层以上，对于移动设备来说基本不可能实现。

发明内容

发明目的：提出一种适应多场景和多设备的增强现实方法和装置，以解决现有技术存在的上述问题，满足复杂多变的场景需求，使得AR设备在不同场景不同设备上都能有良好的用户体验。

技术方案：第一方面，提出了一种适应多场景和多设备的增强现实方法，该方法具体包括以下步骤：

步骤一、通过信息采集设备采集实际应用场景中的原始图像信息；

步骤二、通过适配器将所述原始图像信息传输中云端处理单元进行数据处理；

步骤三、云端处理单元通过数据传输通道将处理后的图像信息回传至适配器中；

步骤四、适配器将接收到的回传数据通过数据传输通道传输给AR设备终端进行现实世界与虚拟世界的图像数据融合；

步骤五、对融合后的图像数据进行可视化的呈现。

其中，整体实现过程采用分布式布局实现，通过划分边缘处理端和云端运算的实现过程，减轻边缘处理端的运算压力。

在第一方面的一些可实现方式中，在采用分布式布局实现整体分析的过程中，进一步为：采用基于5G架构的MEC服务器部署模式，通过计算和渲染将实时运行结果回传到用户一体机上。

另外，云端处理单元在MEC架构中，属于MEC应用层，提供云AR渲染及编解码能力，是基于虚拟化平台进行部署和搭建的，与MEC平台架构中的功能组件层提供网络接口层服务。其中MEC表示多接入边缘计算。

在第一方面的一些可实现方式中，所述云端处理单元支持部署在云计算的虚拟机上，也支持部署在有GPU能力的硬件服务器上；云端处理单元中将后台管理服务器、资源分配服务器放在了核心网一端；将具备渲染能力及编解码能力的应用服务器放在了边缘节点一端，使其更贴近用户侧，用于降低时延。

在第一方面的一些可实现方式中，云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，采用的算法单元包含至少两种深度学习的运算算法，不同的算法调用根据不同需求进行选择。

具体的，基于预设数值设定高分辨率、低分辨率、高帧率、低帧率，对应算法选择的条件为：在网络环境良好且AR设备终端硬件支持的场景下，选用高分辨率、高帧率算法；在网络环境良好，同时对图像精度要求高的场景下，选用高分辨率、低帧率算法；在网络环境或硬件设备不支持的场景下，选用低分辨率算法；若对时延要求极低的场景，选用低分辨率、高帧率的算法。

在第一方面的一些可实现方式中，所述云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，进一步为：步骤1、通过预先训练的深度学习模型对图像信息进行目标部位检测和识别；步骤2、通过深度学习模型提取图像的特征点；步骤3、将提取的特征点和识别目标的特征点匹配，对检测到的目标进行标记；步骤4、标记目标的三维姿态估计，根据识别目标的特征点、图像的特征点和摄像装置的参数，计算摄像装置姿态和标记目标的变换矩阵，从而确定标记的三维坐标；步骤5、在云端处理单元进行虚拟场景渲染，并渲染结果画面传回用户终端，所传回虚拟场景和图像标记的三维坐标对齐，实现虚拟和现实场景的融合。

在第一方面的一些可实现方式中，所述深度学习模型对获取到图像数据进行目标部位检测和识别的过程进一步包括：

获取原始图像数据；

对图像数据中的移动物体进行位移估计；

基于位移估计的结果进行位移补偿；

结合位移补偿后的图像数据和当前图像数据帧的变化确定候选目标；

基于候选目标确定目标区域；

结合选定区域和原始图像数据的预处理结果，对目标进行识别分类，进而获取最终的目标检测结果。

第二方面，提出一种适应多场景和多设备的增强现实装置，该装置具体包括：

AR设备终端、被设置为根据获取到真实场景数据信息，完成虚实结合场景的交互操作；

云端处理单元、被设置为接收AR设备终端获取到的真实场景数据信息，并进行数据分析

适配器、被设置为与AR设备终端，用于根据需求转换信号并进行数据传输。

在第二方面的一些可实现方式中，所述AR设备终端包括：图像采集单元、数据存储器、算法调节器和电池；云端处理单元包括：算法执行单元和通信单元；适配器包括：通信设备、数据传输通道、临时存储单元、时延控制器和电源； AR设备终端中的电池用于整个AR设备的供电。

其中，所述图像采集单元通过光学摄像头对现实世界进行图像采集，并在采集完成后将图片通过与适配器连接的数据通道传输至适配器中；通过AR设备终端中的数据存储单元从适配器中接收图像信息并进行数据缓存；所述适配器通过数据传输通道与AR设备进行数据传输，并通过临时存储单元存储从云端和AR设备终端传输过来的图像数据；所述云端处理单元的通信单元用于接收从适配器传输的数据，并将数据解密后传输给算法执行单元进行图像分析和渲染，同时，将渲染好的结果传回适配器。

所述AR设备终端和适配器与云端处理单元分离，通过分布式部署的方式进行数据处理；所述适配器可以适配至少两种终端设备。

有益效果：本发明提出了一种适应多场景和多设备的增强现实方法和装置，通过将多个深度学习算法整合到一个装置内，增强对不同场景的适应能力，实现用户体验的提升。另外，利用5G技术，将深度学习算法同AR技术融合，让AR技术摆脱设备限制的同时获得更好的体验。除此之外，在数据传输过程中，采用对报文非对称加密技术，防止传输数据被他人窃取，提高数据传输安全性。

附图说明

图1为现有技术中AR系统结构示意图。

图2为本发明结构示意图。

图3为本发明数据处理流程图。

图4为本发明算法分类示意图。

图5为本发明分析架构部署架构示意图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

增强现实技术（Augmented Reality，缩写为AR）用于在屏幕上把虚拟世界套在现实世界并进行互动，现有的增强现实结构如图1所示，由虚拟场景生成单元以及显示器和头部跟踪设备等交互设备构成。其中虚拟场景生成单元负责虚拟场景的建模、管理、绘制和其它外设的管理；显示器负责显示虚拟和现实融合后的信号；头部跟踪设备跟踪用户视线变化；交互设备用于实现感官信号及环境控制操作信号的输入输出。摄像头和传感器采集真实场景的视频或者图像，传入后台的处理单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；交互设备采集外部控制信号，实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在显示器中，展现在人的视野中。

申请人认为随着移动设备计算能力的大幅增强，越来越多的AR技术被应用于移动设备。移动AR技术在带来便利和无限可能的同时，也带来了新的难题。移动设备需要面对更为复杂多变的地理环境，但是只拥有有限的计算性能。

现有技术中，都是针对特定场景设计特定算法进行实现，采用深度学习的方法来实现增强现实。虽然深度神经网络使得计算机对图像的处理能力具有更强的自适应性，但在现有的图像语义识别网络中，单一网路对不同场景的处理能力也即为有限。加之，为了得到更好的图像识别效果，效果较好的网络模型深度在基本在100层以上，对于移动设备来说基本不可能实现。另外，也有例如Fast-SCNN网络模型等一些针对实时性的网络结构被相继提出，虽然算法的精度较高，但是远远超过一般设备的运算能力，若满足运算速度，则精度便会出现明显的下降。

由于AR技术将现实场景同虚拟信息相结合，对摄像头采集的视频图像信息进行快速处理和二次呈现，而现有的增强现实技术受限于设备运算能力和图像处理算法不匹配，导致很多AR设备无法达到预期成像效果，对用户体验带来不良影响。加之，现有AR设备往往针对单一场景，对于复杂多变的场景往往还是不能满足需求，针对现有技术中的不足，本申请提出一种适应多场景和多设备的增强现实方法和装置用于解决吸纳有技术中存在的问题，使得AR设备在不同场景不同设备上都能有良好的用户体验。

实施例一

在一个实施例中，针对现有的增强现实技术受限于设备运算能力、图像处理算法不匹配以及现有AR设备往往针对单一场景，对于复杂多变的场景往往还是不能满足需求的问题，本发明提出一种适应多场景和多设备的增强现实方法，使得AR设备在不同场景不同设备上都能有良好的用户体验。如图3所示，该方法具体包括以下步骤：

步骤一、通过信息采集设备采集实际应用场景中的原始图像信息；

步骤二、通过适配器将所述原始图像信息传输中云端处理单元进行数据处理；

步骤三、云端处理单元通过数据传输通道将处理后的图像信息回传至适配器中；

步骤四、适配器将接收到的回传数据通过数据传输通道传输给AR设备终端进行现实世界与虚拟世界的图像数据融合；

步骤五、对融合后的图像数据进行可视化的呈现。

优选实施例中，采集到的原始图像信息为单帧RGB彩色图像，实现过程中涉及到的硬件设备采用分布式的布局进行部署，用于适应不同的网络架构，在减轻视音频流为骨干网带来的压力同时，降低了视音频传输的网络时延。

云端处理单元支持部署在云计算的虚拟机上，也支持部署在有GPU能力的硬件服务器上。其中提及的虚拟机需要支持NVIDIA的GPU能力。

适配器与AR设备终端和云端处理单元进行数据传输时，可实现与多种物理网络形态的适配，包括：运营级的IP网络、运营级的Cable网络、家庭WIFI环境的传输。同时，为了配合移动通信网络的发展，还针对4G/5G网络进行了适配。

实施例二

在实施例一基础上的进一步实施例中，针对实现过程采用基于5G架构的MEC服务器部署模式，通过计算和渲染将实时运行结果回传到用户一体机上，缓解内网、有线专网的传输负荷和带宽压力。

5G网络具备的高带宽、低时延特性支持将高清图像信息、用户操作指令、头部跟踪信息等数据上传到云端服务器上，通过基于5G网络的数据运算及传输，可以有效缓解数据传输过程中的传输负荷和带宽压力。

另外，云端处理单元在MEC架构中，属于MEC应用层，提供云AR渲染及编解码能力，是基于虚拟化平台进行部署和搭建的，与MEC平台架构中的功能组件层提供网络接口层服务。

如图5所示，为云端处理单元5G网络部署架构示意图，将后台管理服务器、资源分配服务器放在了核心网一端；将具备渲染能力及编解码能力的应用服务器放在了边缘节点一端更贴近用户侧，目的是降低时延，给用户带来低时延的增强现实体验。

实施例三

在实施例一基础上的进一步实施例中，云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，第一步通过预先训练的深度学习模型对图像信息进行目标部位检测和识别。通过卷积神经网络提取图像的特征点，将提取的特征点和识别目标的特征点匹配，对检测到的目标进行标记。

第二步标记目标的三维姿态估计。根据识别目标的特征点、图像的特征点和摄像装置的参数，计算摄像装置姿态和标记目标的变换矩阵，从而确定标记的三维坐标。

第三步在云端处理单元采用虚拟GPU或者高性能服务级显卡实现虚拟场景的渲染工作，渲染结果画面通过显卡硬件API抓取后传回用户终端，所传回虚拟场景和图像标记的三维坐标对齐，实现虚拟和现实场景的融合。

在进一步的实施例中，AR设备终端在接收云端处理单元处理后的数据后包括实现人脸/物品识别、环境目标定位、各行业场景识别、视频结构化等功能的计算。

采用视频作为“云端”向“终端”呈现处理结果的一种云计算方案。应用在云端服务器上运行，将运行的显示输出、声音输出编码后经过网络实时传输给终端，终端进行实时解码后显示输出。终端同时可以进行操作，经过网络将操作控制信息实时传送给云端应用运行平台进行应用控制,终端“精简”为仅提供网络能力、视频解码能力和人机交互能力。

本实施例的云端处理单元在执行过程中基于5G+MEC架构，提供各种计算工具和深度学习框架，在导入样本图像数据进行训练后，即可快速搭建应用模型，提供特性化服务。后端及边缘端实现人脸/物品识别、环境目标定位、各行业场景识别、视频结构化等功能的计算。

实施例四

在实施例一基础上的进一步实施例中，云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，采用的算法单元包含至少两种深度学习的运算算法，不同的算法调用根据不同需求进行选择，用于给用户提供更好的体验。优选实施例中主要依据帧率和分辨率需求进行算法的选择，其中根据预设的数值划分高分辨率、低分辨率、高帧率和低帧率。

具体的，根据终端设备的性能，最高可支持90帧显示。其中，低于60帧视为低帧率模式，60-90帧视为高帧率模式。目前主要支持5种分辨率配置。其中1280*720、1920*1080视为低分辨率模式，2160*1200、2352*1464、2880*1600视为高分辨率模式。

在网络环境良好且AR设备终端硬件支持的场景下，选用高分辨率、高帧率算法，来获得极致的观感享受。在网络环境良好，同时对图像精度要求高的场景下，选用高分辨率、低帧率算法，这类算法可以对图像进行更加精准的处理，但时延较高。在网络环境或硬件设备不支持的场景下，选用低分辨率算法，来得到流畅的用户体验。若对时延要求极低的场景，应选用低分辨率、高帧率的算法。

本实施例提出的算法选择方式，可根据场景的复杂程度，满足用户实现切换不同的算法来获得更好体验的目的。

实施例五

在实施例一基础上的进一步实施例中，云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，其中的深度学习模型对获取到图像数据进行目标部位检测和识别的过程进一步包括：

获取原始图像数据；

对图像数据中的移动物体进行位移估计；

基于位移估计的结果进行位移补偿；

结合位移补偿后的图像数据和当前图像数据帧的变化确定候选目标；

基于候选目标确定目标区域；

结合选定区域和原始图像数据的预处理结果，对目标进行识别分类，进而获取最终的目标检测结果。

在进一步的实施例中，在构建目标物位置的像素值时，采用其次坐标估计特征位置，基于其中的仿射矩阵用于表示最小二乘问题，并更进一步通过高斯消元法最小化均方根误差，为了更好的应对位移估计过程中会产生的异常值，采用异常值过滤的方式提高位移估计值的准确度。具体的，异常值过滤的方式为：

步骤1、从所有原始数据中随机选取一个最小子集；

步骤2、基于这个子集拟合成一个模型；

步骤3、根据上一步求解出的模型去判断所有数据，将数据分为外点和内点，如果内点太少，则跳转至步骤1；

步骤4、根据划分出的所有内点，重新拟合模型；

步骤5、根据最新拟合出的模型，判断内外点数目；

步骤6、根据判断结果跳转至对应步骤并完成异常值的过滤。其中，判断的结果包括：如果达到最终要求，则跳出循环；如果内点太少，则跳转至步骤1；如果内点数目有增加但是还没有达到最终要求，则跳转至步骤2。

在进一步的实施例中，为了用对实际应用过程中会出现的神经网络训练过拟合导致退化的问题，采用添加残差块的方式构成特征提取主干网络，令x表示原始图像、W(x)表示对x做映射操作、F(x)表示对x做卷积后进行特征提取、H(x)表示W(x)与F(x)的统合处理结果，因此，经过残差结构处理后的特征数据表达式为：

在残差结构的每一层处理中均采用激活函数f(x)=relu，当F(x)和x的维度相同时，

表示恒等映射，即

，因此

的获得方式可直接通过相加获取；当F(x)和x的维度不相同时，

表示卷积操作，用于对x的维度进行调整，使其与F(x)的维度一致，并在维度达到一致后进行相加。基此引入的特殊结构，深度学习模型的网络层数可以根据实际需求设计的更深，从而提取到更深层次的图像特征。

实施例六

在一个实施例中，提出一种适应多场景和多设备的增强现实装置，用于实现一种适应多场景和多设备的增强现实方法，如图2所示，该装置具体包括：

AR设备终端、被设置为根据获取到真实场景数据信息，完成虚实结合场景的交互操作；

云端处理单元、被设置为接收AR设备终端获取到的真实场景数据信息，并进行数据分析

适配器、被设置为与AR设备终端，用于根据需求转换信号并进行数据传输。

AR设备终端和适配器与云端处理单元分离，适配器可以适配至少两种设备，如手机、电脑、车载设备等。

在进一步的实施例中，AR设备终端包括：图像采集单元、数据存储器、算法调节器和电池；云端处理单元包括：算法执行单元和通信单元；适配器包括：通信设备、数据传输通道、临时存储单元、时延控制器和电源。其中，适配器和AR设备之间通过双向并行的USB3.1Gen2进行数据传输。

在进一步的实施例中，AR设备终端中的电池用于整个AR设备的供电，其中的图像采集单元通过光学摄像头对现实世界进行图像采集，并在采集完成后将图片通过与适配器连接的USB通道传输至适配器中。为了缓存适配器中的图像数据，通过AR设备终端中的数据存储单元从适配器中接收图像信息并进行数据缓存。

AR设备终端中的算法选择器通过集成的按键进行算法选择，通过算法选择按钮选择不同的云端识别算法进行识别和渲染。优选实施例中，集成的按键包括但不限于：手机的选择按钮、电脑的点击按钮、键盘按键、车载设备的操作按键和旋钮。

在进一步的实施例中，适配器通过数据传输通道与AR设备进行数据传输，并通过临时存储单元存储从云端和AR设备终端传输过来的图像数据。时延控制器用于在网络条件不好的情况下，对传输数据进行处理，通过舍弃延迟过高的回显图像，来保证回显的数据具有时效性，同时在网络状态较好时，提醒用户可以切换更高的清晰度。其中，在优选实施例中，数据传输通道为USB通道。适配器的通信设备可以支持4G和5G两个频段的数据传输，在收发数据的过程中，对报文采用非对称方式进行加密，防止在传输过程中被他人窃取。

具体的在对数据进行加密解密的验证过程中，实现步骤如下：

第一步，使用哈希运算获取信息摘要；第二步，使用私钥对信息摘要进行安全加密并产生数字签名密文，并将密文信息添加至报文扩展字段中后发送给接收端；第三步，在接收端接收到扩展的报文后，提取不包含数字签名的报文，并进一步进行哈希加密，生成第一信息摘要；第四步，利用公钥对数字签名内容进行解密，产生第二信息摘要；第五步，对比第一信息摘要和第二信息摘要是否相同。当对比结果为相同时，表示报文安全未接收到攻击；当对比结果为不相同时，表示报文内容接收到了攻击并被修改，需丢弃。

优选实施例中，第一步采用SM3对报文进行HASH运算，产生256位的信息摘要；第二步，使用私钥对信息摘要进行SM2安全加密，产生数字签名密文，并将密文信息添加到报文扩展字段里后发送至接收端；第三步，接收端接收到扩展的报文后，提取不包含数字签名的报文并进行哈希加密，并使用SM3产生第一信息摘要H1；第四步，利用公钥对数字签名内容使用SM2进行解密，产生第二信息摘要H2；第五步，对比第一信息摘要H1和第二信息摘要H2是否相同，当对比结果为相同时，表示报文安全未接收到攻击；当对比结果为不相同时，表示报文内容接收到了攻击并被修改，需丢弃。

本实施例通过混合加密的报文认证方式，有效提高了数据传输过程的安全性，以及远程报文通信的时间要求。

在进一步的实施例中，云端处理单元的通信单元用于接收从适配器传输的数据，并将数据解密后传输给算法执行单元进行图像分析和渲染。同时，将渲染好的结果传回适配器。

云端处理单元的算法单元如图4所示包含至少两个深度学习算法，每个算法对应不同的帧率和分辨率。根据AR设备终端中的算法选择器执行不同的算法，给用户不同的使用体验。具体的，在网络环境良好且AR设备终端硬件支持的场景下，选用高分辨率、高帧率对应的算法，用于获得极致的观感享受；在网络环境良好，同时对图像精度要求高的场景下，可以选用高分辨率、低帧率对应的算法，这类算法可以对图像进行更加精准的处理，但时延较高；在网络环境或硬件设备不支持的场景下，选用低分辨率算法，来得到流畅的用户体验；若对时延要求极低的场景，应选用低分辨率、高帧率的算法。根据场景的复杂程度，用户可以切换不同的算法来获得更好的体验。

综上，本申请提供的一种适配多场景的AR显示装置，结合多种深度学习算法和5G高带宽低时延的特性，使用户在不同场景下都能得到良好的AR体验。另外，提供一种适配多种设备的AR适配器，通过5G/4G通信设备和云端连接，具有可以随意拆合、方便使用的特性，适配多种设备，如手机、电脑、车载设备等，可广泛应用于手机、电脑端的AR互动游戏、车联网、工业互联网等领域。同时，还提供一种适配多场景的AR算法选择装置，使用户在不同场景和需求下，任意调节云端算法，获得更好的AR体验。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (9)

1.一种适应多场景和多设备的增强现实方法，其特征在于，具体包括以下步骤：

步骤一、通过信息采集设备采集实际应用场景中的原始图像信息；

步骤二、通过适配器将所述原始图像信息传输中云端处理单元进行数据处理；

步骤三、云端处理单元通过数据传输通道将处理后的图像信息回传至适配器中；

步骤四、适配器将接收到的回传数据通过数据传输通道传输给AR设备终端进行现实世界与虚拟世界的图像数据融合；

步骤五、对融合后的图像数据进行可视化的呈现；

其中，整体实现过程采用分布式布局实现，通过划分边缘处理端和云端运算的实现过程，减轻边缘处理端的运算压力；所述云端处理单元支持部署在云计算的虚拟机上，也支持部署在有GPU能力的硬件服务器上；

云端处理单元中将后台管理服务器、资源分配服务器放在了核心网一端；将具备渲染能力及编解码能力的应用服务器放在了边缘节点一端，使其更贴近用户侧，用于降低时延；

云端处理单元进行数据处理时，采用深度学习模型对获取到图像数据进行目标部位检测和识别，具体过程包括：

步骤2.1、获取原始图像数据；

步骤2.2、对图像数据中的移动物体进行位移估计；

步骤2.3、基于位移估计的结果进行位移补偿；

步骤2.4、结合位移补偿后的图像数据和当前图像数据帧的变化确定候选目标；

步骤2.5、基于候选目标确定目标区域；

步骤2.6、结合选定区域和原始图像数据的预处理结果，对目标进行识别分类，进而获取最终的目标检测结果；

在深度学习模型中，采用添加残差块的方式构成特征提取主干网络，用于克服训练过程中的过拟合问题；

在基于位移估计的结果进行位移补偿时，采用异常值过滤的方式提高位移估计值的准确度；具体的，异常值过滤的方式为：

步骤2.3.1、从所有原始数据中随机选取一个最小子集；

步骤2.3.2、基于这个子集拟合成一个模型；

步骤2.3.3、根据上一步求解出的模型去判断所有数据，将数据分为外点和内点，如果内点太少，则跳转至步骤2.3.1；

步骤2.3.4、根据划分出的所有内点，重新拟合模型；

步骤2.3.5、根据最新拟合出的模型，判断内外点数目；

步骤2.3.6、根据判断结果跳转至对应步骤并完成异常值的过滤；所述判断结果包括：如果达到最终要求，则跳出循环；如果内点太少，则跳转至步骤2.3.1；如果内点数目有增加但是还没有达到最终要求，则跳转至步骤2.3.2；

适配器通过数据传输通道与AR设备进行数据传输，并通过临时存储单元存储从云端和AR设备终端传输过来的图像数据，在数据进行传输的过程中，采用混合加密的报文认证方式进行认证。

2.根据权利要求1所述的一种适应多场景和多设备的增强现实方法，其特征在于，在采用分布式布局实现整体分析的过程中，进一步为：

采用基于5G架构的MEC服务器部署模式，通过计算和渲染将实时运行结果回传到用户一体机上；

另外，云端处理单元在MEC架构中，属于MEC应用层，提供云AR渲染及编解码能力，是基于虚拟化平台进行部署和搭建的，与MEC平台架构中的功能组件层提供网络接口层服务；

其中所述MEC表示多接入边缘计算。

3.根据权利要求1所述的一种适应多场景和多设备的增强现实方法，其特征在于，所述云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，采用的算法单元包含至少两种深度学习的运算算法，不同的算法调用根据不同需求进行选择；

进一步的，基于预设数值设定高分辨率、低分辨率、高帧率、低帧率，对应算法选择的条件为：

在网络环境良好且AR设备终端硬件支持的场景下，选用高分辨率、高帧率算法；

在网络环境良好，同时对图像精度要求高的场景下，选用高分辨率、低帧率算法；

在网络环境或硬件设备不支持的场景下，选用低分辨率算法；

若对时延要求极低的场景，选用低分辨率、高帧率的算法。

4.根据权利要求1所述的一种适应多场景和多设备的增强现实方法，其特征在于，所述云端处理单元对AR设备终端传输过来的数据进行图像数据处理时，进一步为：

步骤1、通过预先训练的深度学习模型对图像信息进行目标部位检测和识别；

步骤2、通过深度学习模型提取图像的特征点；

步骤3、将提取的特征点和识别目标的特征点匹配，对检测到的目标进行标记；

步骤4、标记目标的三维姿态估计，根据识别目标的特征点、图像的特征点和摄像装置的参数，计算摄像装置姿态和标记目标的变换矩阵，从而确定标记的三维坐标；

步骤5、在云端处理单元进行虚拟场景渲染，并渲染结果画面传回用户终端，所传回虚拟场景和图像标记的三维坐标对齐，实现虚拟和现实场景的融合。

5.根据权利要求4所述的一种适应多场景和多设备的增强现实方法，其特征在于，所述深度学习模型对获取到图像数据进行目标部位检测和识别的过程进一步包括：

获取原始图像数据；

对图像数据中的移动物体进行位移估计；

基于位移估计的结果进行位移补偿；

结合位移补偿后的图像数据和当前图像数据帧的变化确定候选目标；

基于候选目标确定目标区域；

结合选定区域和原始图像数据的预处理结果，对目标进行识别分类，进而获取最终的目标检测结果。

6.一种适应多场景和多设备的增强现实装置，用于实现权利要求1-5任意一项增强现实方法，该装置具体包括：

AR设备终端、被设置为根据获取到真实场景数据信息，完成虚实结合场景的交互操作；

云端处理单元、被设置为接收AR设备终端获取到的真实场景数据信息，并进行数据分析

适配器、被设置为与AR设备终端，用于根据需求转换信号并进行数据传输。

7.根据权利要求6所述的一种适应多场景和多设备的增强现实装置，其特征在于，

所述AR设备终端包括：图像采集单元、数据存储器、算法调节器和电池；云端处理单元包括：算法执行单元和通信单元；适配器包括：通信设备、数据传输通道、临时存储单元、时延控制器和电源；

AR设备终端中的电池用于整个AR设备的供电。

8.根据权利要求7所述的一种适应多场景和多设备的增强现实装置，其特征在于，

所述图像采集单元通过光学摄像头对现实世界进行图像采集，并在采集完成后将图片通过与适配器连接的数据通道传输至适配器中；

通过AR设备终端中的数据存储单元从适配器中接收图像信息并进行数据缓存；

所述适配器通过数据传输通道与AR设备进行数据传输，并通过临时存储单元存储从云端和AR设备终端传输过来的图像数据；

所述云端处理单元的通信单元用于接收从适配器传输的数据，并将数据解密后传输给算法执行单元进行图像分析和渲染，同时，将渲染好的结果传回适配器。

9.根据权利要求7所述的一种适应多场景和多设备的增强现实装置，其特征在于，

所述AR设备终端和适配器与云端处理单元分离，通过分布式部署的方式进行数据处理；

所述适配器可以适配至少两种终端设备。

Images