CN116228862A

CN116228862A - 结合大空间视觉定位的ar眼镜协同系统

Info

Publication number: CN116228862A
Application number: CN202310166454.5A
Authority: CN
Inventors: 张高明; 张双力; 丛林
Original assignee: Hangzhou Yixian Advanced Technology Co ltd
Current assignee: Hangzhou Yixian Advanced Technology Co ltd
Priority date: 2023-02-14
Filing date: 2023-02-14
Publication date: 2023-06-06

Abstract

本申请涉及一种结合视觉大空间定位的AR眼镜协同系统，其中，该系统应用在大场景空间下，包括：AR眼镜、视觉定位服务器和坐标同步服务器；视觉定位服务器用于，通过将实时图像在点云地图中匹配，得到AR眼镜在地图坐标系下的第二位姿并将其返回，以及根据第一位姿和第二位姿，计算AR眼镜的本地坐标系相对于地图坐标系的第一相对位姿；坐标系同步服务器用于，根据多个AR眼镜的第二位姿，得到不同AR眼镜之间的第二相对位姿，并将其返回至对应的AR眼镜；AR眼镜还用于，根据第一相对位姿，在目标场景下本地展示与真实场景相关联的特定AR内容，以及根据第二相对位姿，在目标场景下协同展示特定AR内容。

Description

结合大空间视觉定位的AR眼镜协同系统

技术领域

本申请涉及增强现实领域，特别是涉及一种结合大空间视觉定位的AR眼镜协同系统。

背景技术

基于视觉的大空间定位技术，即根据相机所拍摄的图像来完成设备的实时空间定位，通过将图像在定位地图中匹配处理，返回相机的实时位姿(位置和姿态)。

在相关技术中，基于视觉的大空间定位技术在手机等终端设备上已经有所广泛体现，如苹果公司的地理位置锚定、谷歌公司的VPS(Visual Positioning System)等。

但是，在AR眼镜端尤其是光学透视AR眼镜(Optical See-through)上，鲜有基于视觉大空间定位技术的系统的实现，且基于视觉大空间定位技术的人与环境的协同以及多人之间的协同技术，本领域中尚未出现成熟可靠的技术方案。

发明内容

本申请实施例提供了一种结合大空间视觉定位的AR眼镜协同系统、方法、电子设备和存储介质，以至少解决相关技术中缺乏大空间AR眼镜系统方案导致用户体验不佳的问题。

第一方面，本申请实施例提供了一种结合大空间视觉定位的AR眼镜协同系统，应用在大场景空间下，所述系统包括：AR眼镜、视觉定位服务器和坐标同步服务器；

所述AR眼镜用于，采集目标场景下的实时图像和跟踪获取第一位姿，并发送至所述视觉定位服务器；

所述视觉定位服务器用于，通过将所述实时图像在点云地图中匹配，得到AR眼镜在地图坐标系下的第二位姿并将其返回，以及，根据所述第一位姿和第二位姿，计算AR眼镜的本地坐标系相对于所述地图坐标系的第一相对位姿；

所述坐标系同步服务器用于，根据多个AR眼镜的第二位姿，得到不同AR眼镜之间的第二相对位姿，并将其返回至对应的AR眼镜；

所述AR眼镜还用于，根据所述第一相对位姿，在所述目标场景下本地展示AR内容，

以及，根据所述第二相对位姿，在所述目标场景下协同展示所述AR内容。

在其中一些实施例中，所述AR眼镜包括跟踪相机，所述跟踪相机用于通过SALM技术实时获取第一位姿，所述第一位姿是AR眼镜在本地坐标系下的位置和姿态。

在其中一些实施例中，所述点云地图是所述目标场景下，具备真实尺度信息的大场景三维点云地图，所述第二位姿是AR眼镜在所述点云地图坐标下的位置和姿态。

在其中一些实施例中，所述视觉定位服务器包括：图像判断模块、位姿判断模块和视觉定位模块，其中，

所述图像判断模块用于，获取所述实时图像的运动模糊状态，并根据所述运动模糊状态从多个实时图像中确定最优图像，将所述最优图像输入至所述视觉定位模块；

所述位姿判断模块用于，根据所述第一位姿识别所述AR眼镜的当前视角，并基于预设规则，确定最佳视角对应的目标图像为最优图像，将所述最优图像输入至所述视觉定位模块；

所述视觉定位模块用于，通过视觉定位算法，将所述最优图像的全局特征在所述点云地图中进行匹配得到相似地图帧，

以及，在所述最优图像的局部特征与所述相似地图帧的局部特征之间建立2D-3D观测，根据所述2D-3D观测，得到所述AR眼镜在所述点云地图坐标系下的第二位姿。

在其中一些实施例中，所述视觉定位服务器，根据所述第一位姿和所述第二位姿，通过如下公式，计算本地坐标系相对于所述点云地图的第一相对位姿：

T_{m_w}＝T_{m_cam}*T_{world_cam}·inverse

其中，T_{m_w}是所述第一相对位姿，T_{m_cam}是所述点云地图坐标下的第二位姿，T_{world_cam}是通过跟踪相机获取的在本地坐标系下的第一位姿。

在其中一些实施例中，所述AR眼镜包括用户-环境交互模块和用户-用户交互模块，其中，

所述用户-环境交互模块用于，在AR眼镜当前的第一相对位姿触发预设条件的情况下，根据所述第一相对位姿在所述点云地图中获取对应的预设虚拟特效，

以及，指示所述AR眼镜将所述虚拟特效，与所述AR眼镜当前视场中的真实图像叠加生成所述AR内容，并在用户眼部观察位置展示所述AR内容；

所述用户-用户交互模块用于，在用户眼部观察位置显示所述AR内容之后：

当接收到第二AR眼镜的共享请求的情况下，从所述坐标系同步服务器获取与所述第二AR眼镜之间的第二相对位姿，并根据所述第二相对位姿，将所述AR内容共享至所述第二AR眼镜。

在其中一些实施例中，所述AR眼镜还包括AR交互模块，其中，所述AR交互模块用于：

接收用户的操作指令，并根据所述操作指令编辑所述AR内容中的虚拟特效，其中，在本地展示AR内容的情况下，所述操作指令由设备本地输入，

在协同展示所述AR内容的情况下，所述操作指令有设备本地输入，或者由所述第二AR眼镜输入。

第二方面，本申请实施例提供了一种结合大空间视觉定位的AR眼镜协同方法，所述方法包括：

通过AR眼镜采集目标场景下的实时图像和跟踪获取第一位姿，并发送至所述视觉定位服务器；

通过所述视觉定位服务器，将所述实时图像在点云地图中匹配，得到AR眼镜在地图坐标系下的第二位姿并将其返回，以及，根据所述第一位姿和第二位姿，计算AR眼镜的本地坐标系相对于所述地图坐标系的第一相对位姿；

通过坐标系同步服务器，根据多个AR眼镜的第二位姿，得到不同AR眼镜之间的第二相对位姿，并将其返回至对应的AR眼镜；

所述AR眼镜根据所述第一相对位姿，在所述目标场景下本地展示AR内容，以及，根据所述第二相对位姿，在所述目标场景下协同展示所述AR内容。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第二方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第二方面所述的方法。

相比于相关技术，本申请实施例提供的一种结合大空间视觉定位的AR眼镜协同方法，通过AR眼镜采集目标场景下的实时图像和跟踪获取第一位姿，并发送至视觉定位服务器；通过视觉定位服务器，将实时图像在点云地图中匹配，得到AR眼镜在地图坐标系下的第二位姿并将其返回，以及，根据第一位姿和第二位姿，计算AR眼镜的本地坐标系相对于地图坐标系的第一相对位姿；通过坐标系同步服务器，根据多个AR眼镜的第二位姿，得到不同AR眼镜之间的第二相对位姿，并将其返回至对应的AR眼镜；AR眼镜根据第一相对位姿，在目标场景下本地展示AR内容，以及，根据第二相对位姿，在目标场景下协同展示AR内容。解决了传统技术中缺乏大空间AR眼镜系统方案导致用户体验不佳的问题，实现了虚拟叠加的大空间AR体验，以及，多个用户之间的协同AR体验。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种结合视觉大空间定位的AR眼镜协同系统的应用环境示意图；

图2是根据本申请实施例的一种结合视觉大空间定位的AR眼镜协同系统的结构框图；

图3是根据本申请实施例的一种坐标转换关系的示意图；

图4是根据本申请实施例的一种结合大空间视觉定位的AR眼镜协同方法的流程图；

图5是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

在本文中，需要理解的是，所涉及的术语可以是用于实现本发明一部分的技术手段或者其他总结性技术术语，例如，术语可以包括：

AR(Argument Reality)：增强现实，一种将虚拟信息与真实世界巧妙融合的技术，将计算机生成的文字、图像、三维模型、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，实现对真实世界的“增强”。

位姿(pose)：位置和姿态(朝向)，例如：在二维中一般是(x，y，yaw)，三维中一般是(x，y，z，yaw，pitch，roll)，包括6个自由度，6of(6Degrees Of Freedom)，后三个元素描述物体的姿态，其中yaw是航向角，绕Z轴旋转，pitch是俯仰角，绕Y轴旋转，roll是翻滚角，绕X轴旋转。

大空间视觉定位系统(VisualPositionSystem)：在如景区、公园等大场景下的视觉地图坐标系下使用实时图像进行定位，位置的不确定度一般为0.2m。

本申请提供的结合视觉大空间定位的AR眼镜协同系统，可以应用在如图1所示的应用环境中，图1是根据本申请实施例的一种结合视觉大空间定位的AR眼镜协同系统的应用环境示意图，如图1所示，用户操作AR眼镜10在线下场景中进行AR体验，该线下场景可以是景区、公园等；进一步的，AR眼镜可以实时获取跟踪位姿，并通过视觉定位服务器获取AR眼镜相对于点云地图坐标系的位姿，进而可以根据该位姿，获取对应的虚拟叠加的AR内容进行交互体验。其中，AR眼镜可以通过坐标转换服务器获取与其他设备之间的相对位姿，进而可以根据该相对位姿，在多个用户之间进行AR内容共享和协同操作。通过本申请，在大空间场景下通过光学透视AR眼镜，实现了人与环境的AR体验，以及多个用户之间的AR协同体验。

图2是根据本申请实施例的一种结合视觉大空间定位的AR眼镜协同系统的结构框图，如图2所示，该流程包括：AR眼镜20、视觉定位服务器21和坐标同步服务器22；

AR眼镜20用于，采集目标场景下的实时图像和跟踪获取第一位姿，并发送至视觉定位服务器21；

本实施例中，该目标场景可以是景区、公园等大空间的线下场景，上述AR眼镜是光学透视眼镜；AR眼镜通过运行SLAM跟踪系统，获取上述第一位姿，具体的，本实施例中可以应用任意一种常见的SLAM方案，只要通过该种方案能够获得实时的相机位姿即可。

视觉定位服务器21用于，通过将实时图像在点云地图中匹配，得到在AR眼镜在地图坐标系下的第二位姿并将其返回至AR眼镜20，以及，根据第一位姿和第二位姿，计算本地坐标系相对于地图坐标系的第一相对位姿；

进一步的，该视觉定位服务器21中预存有上述目标场景的点云地图，其通过将AR眼镜上传的图像信息在地图中进行匹配，获知AR眼镜20对应在地图坐标系下的位姿。

坐标系同步服务器22用于，根据多个AR眼镜20的第二位姿，得到不同AR眼镜之间的第二相对位姿，并将其返回至对应的AR眼镜；

其中，该坐标同步服务器和视觉定位服务器可以部署在公网云服务器，也可以以硬件形式部署在AR眼镜所在的线下场景中；视觉定位服务器和坐标同步服务器分别与AR眼镜网络连接，通过转有的网络连接通道，实现数据的收发。

AR眼镜还用于，根据第一相对位姿，在目标场景下本地展示与真实场景相关联的特定AR内容，以及，根据第二相对位姿，在目标场景下协同展示特定AR内容。

通过视觉定位服务器与坐标转换服务器，AR眼镜可以获知其本地坐标系相对于真实物理环境的位姿，也可以知道其本地坐标系相对于其他AR眼镜本地坐标系的位姿；进一步的，分别根据上述两个位姿数据，可以体验与当前相机视野内真实环境叠加的AR内容，也可以与其他用户共享同一个AR内容，并与其他用户协同对AR内容进行编辑操作，进而在大空间场景下实现人与环境的交互，以及多用户之间的交互。

本系统的一个具体实施方式如下：

1.针对大空间物理场景进行三维重建，生成该场景的点云地图。具体的，三维重建方法可以是任意一种基于图像信息的重建方法，但需要说明的是，本实施例中，建图方式需能够还原物理环境中的真实尺度信息，即地图中的1米对应真实物理环境中的一米。

2.将点云地图存储在视觉大空间定位服务器上，其中，该定位服务器可以部署在云平台，也可以以硬件形式部署在目标场景下。

3.AR眼镜在拍摄实时画面的同时，通过SLAM跟踪系统获取AR眼镜相对于SLAM本地坐标系的位姿T_{world_cam}，同时，相隔预设时间将位姿和相机图像发送至上述定位服务器。

4当接收到AR眼镜发送的定位请求之后，定位服务器通过视觉定位算法，将AR眼镜发送的实时图像在点云地图中进行匹配，进而得到图像对应在点云地图中的位姿信息T_{m_cam}并将其返回至AR眼镜；

5.组合T_{world_cam}和T_{m_cam}两组6Dof位姿，可获知SLAM本地坐标系相对于点云地图坐标系的相对位姿，即T_{m_w}＝T_{m_cam}*T_{world_cam}·inverse；

6.坐标系同步服务器，该服务器维护不同AR眼镜相对于同一个点云地图坐标系的6DoF位姿，同时，计算任意两个AR眼镜之间的相对6DoF位姿并向所有AR眼镜端发送广播信息。

图3是根据本申请实施例的一种坐标转换关系的示意图。如图3所示，经过上述步骤，所有AR眼镜可以知道其本地坐标系相对于点云地图的位姿T_{m_wi}(Wi表示第i个本地坐标系)，同时可以知道其本地坐标系相对于其他AR眼镜本地坐标系的位姿T_{wj_wi}(wj表示地j个眼镜的本地坐标系)。

7.根据上述流程获取的位姿数据实现多方面的协同交互，具体的，包括用户-环境交互模块和用户-用户交互模块，其中：

(1)用户-环境交互模块：AR眼镜通过识别点云地图，获知相对于地图坐标系的位姿，进而可获知点云地图中放置的虚拟内容的位姿。从而当眼镜佩戴者来到对应于点云地图的物理环境时，通过成功的视觉识别，即可观察到与物理环境绑定的虚拟内容，获得虚实叠加的沉浸式体验。

(2)用户-用户交互模块：不同眼镜佩戴者同一物理时刻，处于同一物理空间时，可通过识别同一个点云地图，可获知彼此的相对位姿，从而可实时共享其他眼镜佩戴者的交互过程和AR效果，亦可多人合作式地共同操作环境中的同一AR内容。

例如：不同用户从环境中的现实对象的不同方向体验该AR特效，例如，可以从湖心亭中飞出一个“凤凰”的AR特效，不同用户将根据各自的实时位姿，以不同角度显示该特效，并且可以对该“凤凰”进行旋转、移动等交互操作。

通过本实施例提供的AR眼镜协同系统，针对光学透视AR眼镜，设计了6DoF的视觉大空间定位系统；在基于6DoF视觉大空间定位系统的光学透视AR眼镜上，实现了人境协同、人-人交互协同的系统级方案，填补了本领域的一项空白，极大的提升了用户在使用AR设备时的体验。

需要说明的是，在光学透视AR眼镜端(Optical See-through)，用户会直接透过镜片观察真实环境，因此，虚拟内容将被叠加在用户观察的真实环境之上；而在智能手机端，用户是通过观察显示屏幕进行AR体验，后者是在一段视频流上叠加虚拟内容，进而生成AR效果。

可以理解，在AR眼镜端，由于人眼以真实环境为参照，因此用户很容易感知到虚实结合的误差；而手机端采用视频流叠加AR效果的方式，则掩盖了相当一部分的虚实融合误差。上述两种AR交互体验方案相比，存在本质上的不同，常规的智能手机侧AR交互体验方案，并不能直接应用在光学透视AR眼镜端。

本案发明人经过对比及总结发现：

对于光学透视AR眼镜端的交互体验方案，在人境协同过程中，误差来源于各个AR设备自身的本地SLAM跟踪误差、各个设备在地图中的定位误差(第二位姿的误差)、以及光学显示标定误差等；在人-人交互协同的过程中，本地SLAM跟踪误差和地图中的定位误差会进一步因为人数的增多而放大，同时，人-人交互过程中涉及相对位姿在网络上的传输，而位姿数据的时延也会影响多人互动类AR内容的时空误差。

本实施例中为解决上述问题：

对于光学透视AR设备，采用高精度的显示标定方法，以实现高精度的虚实锚定；进一步的，引入图像判断模块和位姿判断模块，通过判断图像的运动模糊状态以及选择确定最佳视角，进而最大限度减少地图中的定位误差；再进一步的，在人-人协同这种对时空精度要求较高的场景，通过引入位姿预测和插值等方法，以降低网络时延等因素引起的误差。

在其中一些实施例中，AR眼镜包括跟踪相机，跟踪相机用于通过SLAM技术实时获取第一位姿，第一位姿是AR眼镜在本地坐标系下的位置和姿态。点云地图是目标场景下，具备真实尺度信息的大场景三维点云地图，第二位姿是AR眼镜在点云地图坐标下的位置和姿态。

在其中一些实施例中，视觉定位服务器包括：图像判断模块、位姿判断模块和视觉定位模块，其中，

图像判断模块用于，获取实时图像的运动模糊状态，并根据运动模糊状态确定最优图像，将最优图像输入至视觉定位模块；通过该模块，可以对定位图像的运动模糊状态进行判断，从而筛选出高质量的图像用于定位，进而得到更可靠的定位结果。

位姿判断模块用于，根据第一位姿识别AR眼镜的当前视角，并确定最佳视角对应的目标图像，将目标图像输入至视觉定位模块；通过该模块，可以对相机的当前视角进行判断，进而选择最佳的定位视角用于视觉定位，以提升视觉定位的成功率。

视觉定位模块用于，通过视觉定位算法，将目标图像的全局特征在点云地图中进行匹配得到相似地图帧，以及，在目标图像的局部特征与相似地图帧的局部特征之间建立2D-3D观测，根据2D-3D观测，得到AR眼镜在点云地图坐标系下的第二位姿。

需要说明的是，视觉定位模块具体应用何种定位算法，在本申请中不做具体限定，应该理解，应用该算法可以在大空间场景下进行高效且准确的视觉定位。

在其中一些实施例中，视觉定位服务器，根据第一位姿和第二位姿，通过如下公式，计算本地坐标系相对于点云地图的第一相对位姿：

T_{m_w}＝T_{m_cam}*T_{world_cam}.inverse

其中，T_{m_w}是第一相对位姿，T_{m_cam}是点云地图坐标下的第二位姿，T_{world_cam}是通过跟踪相机获取的在本地坐标系下的第一位姿。

在其中一些实施例中，AR眼镜包括用户-环境交互模块和用户-用户交互模块，其中，

用户-环境交互模块用于，在AR眼镜当前的第一相对位姿触发预设条件的情况下，根据第一相对位姿在点云地图中获取对应的预设虚拟特效，以及，指示AR眼镜将虚拟特效，与AR眼镜当前视场中的真实图像叠加生成的AR内容，并在用户眼部观察位置展示AR内容；具体的，当用户走到一个线下场景中某个特定的位置之后，通过成功的视觉识别，即可观察到与物理环境绑定的虚拟内容，获得虚实叠加的沉浸式AR体验。

用户-用户交互模块用于，在用户-环境交互模块指示在用户眼镜所在的观察位置显示AR内容之后：在检测到当前场景下存在第二AR眼镜的情况下，请求坐标系同步服务器获取与第二AR眼镜之间的第二相对位姿，并根据第二相对位姿，将AR内容共享至第二AR眼镜。

AR眼镜还包括AR交互模块，其中，AR交互模块用于：将AR内容共享至第二AR眼镜之后，接收各个用户的操作指令，并根据操作指令编辑操作本设备的AR内容，以及从其他AR眼镜共享过来的AR内容，或者说，操作指令可以由设备本地输入，或者由第二AR眼镜输入。

通过AR眼镜中上述各个模块，不同眼镜佩戴者同一物理时刻，处于同一物理空间时，可通过识别同一个点云地图，可获知彼此的相对位姿，从而，可实时共享其他眼镜佩戴者的交互过程和AR效果，亦可多人合作式地共同操作环境中的同一AR内容，上述“湖心亭”的应用场景距离，位于湖心亭周围东南西北四个方向的A、B、C和D四位佩戴AR眼镜的用户，可以从不同角度体验与湖心亭产生交互效果的AR特效，进一步的，各个用户不仅可以自身对AR特效进行编辑，同时，也可以获知其他用户的AR特效以及添加的编辑效果。

本申请实施例还提供了一种结合大空间视觉定位的AR眼镜协同方法，图4是根据本申请实施例的一种结合大空间视觉定位的AR眼镜协同方法的流程图，如图4所示，该流程包括如下步骤：

S401，通过AR眼镜采集目标场景下的实时图像和跟踪获取第一位姿，并发送至视觉定位服务器；

S402，通过视觉定位服务器，通过将实时图像在点云地图中匹配，得到AR眼镜的第二位姿并将其返回至AR眼镜，并根据第一位姿和第二位姿，计算本地坐标系相对于点云地图的第一相对位姿；

S403，通过坐标系同步服务器，根据多个AR眼镜的第二位姿，得到不同AR眼镜之间的第二相对位姿，并将其返回至对应的AR眼镜；

S404，AR眼镜根据第一相对位姿，在目标场景下本地展示与真实场景相关联的特定AR内容，以及，根据第二相对位姿，在目标场景下协同展示所述特定AR内容。

通过上述步骤步骤S301至S304，解决了传统技术中缺乏大空间AR眼镜系统方案导致用户体验不佳的问题，实现了虚拟叠加的大空间AR体验，以及，多个用户之间的协同AR体验。

在一个实施例中，图5是根据本申请实施例的电子设备的内部结构示意图，如图5所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图5所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种结合大空间视觉定位的AR眼镜协同方法，数据库用于存储数据。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种结合大空间视觉定位的AR眼镜协同系统，其特征在于，应用在大场景空间下，所述系统包括：AR眼镜、视觉定位服务器和坐标同步服务器；

所述AR眼镜还用于，根据所述第一相对位姿，在所述目标场景下本地展示与真实场景相关联的特定AR内容，

以及，根据所述第二相对位姿，在所述目标场景下协同展示所述特定AR内容。

2.根据权利要求1所述的系统，其特征在于，所述AR眼镜包括跟踪相机，所述跟踪相机用于通过SALM系统实时获取第一位姿，所述第一位姿是AR眼镜在本地坐标系下的位置和姿态。

3.根据权利要求1所述的系统，其特征在于，所述点云地图是所述目标场景下，具备真实尺度信息的大场景三维点云地图，所述第二位姿是AR眼镜在所述点云地图坐标下的位置和姿态。

4.根据权利要求1所述的系统，其特征在于，所述视觉定位服务器包括：图像判断模块、位姿判断模块和视觉定位模块，其中，

5.根据权利要求1至4中任意一项所述的系统，其特征在于，所述视觉定位服务器，根据所述第一位姿和所述第二位姿，通过如下公式，计算本地坐标系相对于所述点云地图的第一相对位姿：

T_{m_w}＝T_{m_cam}*T_{world_cam}.inverse

6.根据权利要求1所述的系统，其特征在于，所述AR眼镜包括用户-环境交互模块和用户-用户交互模块，其中，

7.根据权利要求6所述的系统，其特征在于，所述AR眼镜还包括AR交互模块，其中，所述AR交互模块用于：

8.一种结合大空间视觉定位的AR眼镜协同方法，其特征在于，所述方法包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求8所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求8所述的方法。