CN112019807A - 基于无人机的增强现实系统 - Google Patents

Abstract

本发明公开了一种基于无人机的增强现实系统，所述系统包括无人机、云端服务器及增强现实显示设备；通过在无人机上设置第一通讯模块，在增强现实显示设备设置第二通讯模块，并且所述第一通讯模块、第二通讯模块分别与所述云端服务器无线通信连接，用户可以通过云端服务器作为中转，实现远程控制无人机获取增强现实所需的真实世界图像数据。克服了现有技术中使用无人机采集真实世界图像数据时，必须要用户在场的不便问题。同时，在增强现实显示设备上设置第二摄像机，用户可以通过第二摄像机获取真实图像数据，提供两种获取真实图像数据的方式，方便用户在不同使用场景的切换，便于用户在复杂、狭窄环境下获取真实世界图像数据。

Description

基于无人机的增强现实系统

技术领域

本发明涉及增强现实技术领域，特别涉及一种基于无人机的增强现实系统。

背景技术

增强现实(Augmented Reality，简称AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、虚实融合技术、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

为了对真实世界建模，需要通过摄像机获取真实世界的大量图像数据，现有技术中，提供了利用搭载在无人机上摄像机获取真实世界图像数据进行辅助建模的方案。例如，公开号为KR1020190063883A(公开日为2019年6月10日)，专利名称为

(中文译为：使用无人机提供增强现实交互式游戏内容的系统)的韩国专利中，公开了利用无人机获取增强现实所需的真实世界数据的技术方案。

但是该方案存在以下不足，由于无人机是通过无人机控制器在现场进行遥控的，因此只能够在一定的范围内控制无人机，要求用户必须到达需要建模的真实环境中，这造成了用户的极大不便。同时，在采用无人机获取真实世界的图像数据时，遇到环境复杂、空间狭窄的情况时，对无人机的飞行控制操作要求很高，不便于获取真实图像数据。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于无人机的增强现实系统，解决用户无法远程控制无人机获取增强现实所需的真实世界图像数据以及在复杂、狭窄环境下不便于获取真实世界图像数据的技术问题。

本发明实施例提供一种基于无人机的增强现实系统，所述系统包括无人机、云端服务器及增强现实显示设备；

所述无人机包括第一通讯模块、第一摄像机及第一控制模块，所述第一通讯模块、第一摄像机分别与所述第一控制模块连接；所述增强现实显示设备包括第二控制模块、第二通讯模块及用于采集真实图像数据的第二摄像机，所述第二通讯模块、第二摄像机分别与所述第二控制模块连接；所述第一通讯模块、第二通讯模块分别与所述云端服务器无线通信连接；

所述增强现实显示设备通过所述第二通讯模块将无人机飞行控制信息上传给所述云端服务器，所述云端服务器接收到所述无人机飞行控制信息后发送控制信号至所述无人机的第一控制模块，所述第一控制模块控制所述无人机飞行；所述第一摄像机用于采集真实图像数据，并通过所述第一通讯模块上传给所述云端服务器。

作为进一步改进，所述云端服务器包括第一服务器、第二服务器、第一物理隔离装置、第二物理隔离装置及数据库；

第一服务器通过第一物理隔离装置与第二服务器连接，第二服务器通过第二物理隔离装置与数据库连接，数据库与第一服务器连接；

所述第一通讯模块与所述第一服务器无线通信连接，第二通讯模块与所述第二服务器无线通信连接。

作为进一步改进，所述无人机的数量至少为2台。

作为进一步改进，所述增强现实显示设备还包括头盔本体以及设置在所述头盔本体上的透明显示屏，所述透明显示屏与所述第二控制模块连接，所述第二控制模块固定在所述头盔本体上。

作为进一步改进，所述增强现实显示设备还包括屏幕固定框，所述屏幕固定框与所述头盔本体转动连接，所述透明显示屏安装在所述屏幕固定框上。

作为进一步改进，所述系统还包括直流电机，所述头盔本体的顶部设置有一通风口，所述直流电机安装在所述通风口处，所述直流电机的输出轴安装有扇叶。

作为进一步改进，所述头盔本体上还设置有继电器和直流电源，所述继电器与所述第二控制模块连接并受控于所述第二控制模块；

所述继电器包括两组静触点和一组动触点，所述一组动触点与直流电机的供电端电连接，所述两组静触点分别与直流电源的正负极电连接并且连接的极性相反，所述一组动触点切换与两组静触点的接触位置时，使直流电机转动方向反转。

作为进一步改进，所述系统还包括二氧化碳传感器，所述二氧化碳传感器设置在所述头盔本体的内侧，所述二氧化碳传感器与所述第二控制模块电连接；

所述二氧化碳传感器用于采集头盔本体内侧空间的二氧化碳浓度信息并将所述二氧化碳浓度信息发送给所述第二控制模块，第二控制模块用于在接收到所述二氧化碳浓度信息后控制所述继电器动作。

有益效果：上述的一种基于无人机的增强现实系统，所述系统包括无人机、云端服务器及增强现实显示设备；所述无人机包括第一通讯模块、第一摄像机及第一控制模块，所述第一通讯模块、第一摄像机分别与所述第一控制模块连接；所述增强现实显示设备包括第二控制模块及第二通讯模块，所述第二通讯模块与所述第二控制模块连接；所述第一通讯模块、第二通讯模块分别与所述云端服务器无线通信连接；所述增强现实显示设备通过所述第二通讯模块将无人机飞行控制信息上传给所述云端服务器，所述云端服务器接收到所述无人机飞行控制信息后发送控制信号至所述无人机的第一控制模块，所述第一控制模块控制所述无人机飞行；所述第一摄像机用于采集真实图像数据，并通过所述第一通讯模块上传给所述云端服务器。通过在无人机上设置第一通讯模块，在增强现实显示设备设置第二通讯模块，并且所述第一通讯模块、第二通讯模块分别与所述云端服务器无线通信连接，用户可以通过云端服务器作为中转，实现远程控制无人机获取增强现实所需的真实世界图像数据。克服了现有技术中使用无人机采集真实世界图像数据时，必须要用户在场的不便问题。同时，在增强现实显示设备上设置第二摄像机，用户可以通过第二摄像机获取真实图像数据，提供两种获取真实图像数据的方式，方便用户在不同使用场景的切换，便于用户在复杂、狭窄环境下获取真实世界图像数据。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实施例对本发明进一步地说明；

图1为一个实施例中基于无人机的增强现实系统的结构示意图。

图2为另一个实施例中基于无人机的增强现实系统的结构示意图。

图3为其中一个实施例中无人机的结构框图。

图4为其中一个实施例中增强现实显示设备的结构框图。

图5为一个实施例中的头盔本体的结构示意图。

图6为一个实施例中透明显示屏的结构示意图。

图7为一个实施例中直流电机的接线电路结构示意图。

附图说明：

无人机100、第一摄像机110、第一控制模块120、第一通讯模块130、云端服务器200、第一服务器210、第一物理隔离装置220、第二服务器230、第二物理隔离装置240、数据库250、增强现实显示设备300、第二摄像机310、第二控制模块320、第二通讯模块330、透明显示屏340、继电器400、静触点410、动触点420、直流电源500、直流电机600、扇叶610、头盔本体700、屏幕固定框710。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

为了便于本领域人员理解本发明的实施例，以下对本发明涉及的技术术语作出解释。

控制模块为中央处理器(又称CPU)，作为计算机系统的运算和控制核心，用于处理信息和运行程序。本发明实施例中的第一控制模块120和第二控制模块320均采用中央处理器实现。

通讯模块，又称为通信模块，包括GPRS通信模块、CDMA通信模块、4G通信模块或5G通信模块等无线通信模块，用于实现无线数据传输。本发明实施例中的第一通讯模块130以及第二通讯模块330可以采用上述的无线通信模块实现。

摄像机，用于把光学图像信号转变为电信号，以便于存储或者传输。

增强现实技术，又称为AR技术，其是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

服务器，可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

物理隔离装置，即物理隔离网闸，是一种由带有多种控制功能专用硬件在电路上切断网络之间的链路层连接，并能够在网络间进行安全适度的应用数据交换的网络安全设备，其只能单向传输数据，不是正向就是反向。不能同时双向，这样也就切断了黑客的访问连接。

透明显示屏340，又称透明显示器，是指显示屏本身具有一定程度的穿透性，能够清楚地显示面板后方的背景。

直流电机600，是指能将直流电能转换成机械能(直流电动机)的旋转电机，当直流电机600的供电端电流极性反转时，直流电机600的旋转方向也反转。

继电器400，是一种电控制器件，是当输入量(激励量)的变化达到规定要求时，在电气输出电路中使被控量发生预定的阶跃变化的一种电器。它具有控制系统(又称输入回路)和被控制系统(又称输出回路)之间的互动关系。通常应用于自动化的控制电路中，它实际上是用小电流去控制大电流运作的一种“自动开关”。

无人机100，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。

增强现实显示设备300，是具有中央处理器和显示设备的终端，可以是手机、平板电脑等，增强现实显示设备300通过增强现实技术将获取的真实世界图像数据和虚拟对象融合后在显示设备呈现给用户。

下面，将通过几个具体的实施例对本发明实施例提供的基于无人机的增强现实系统进行详细介绍和说明。

如图1、图2和图3所示，本发明实施例提供一种基于无人机的增强现实系统，所述系统包括无人机100、云端服务器200及增强现实显示设备300；所述无人机100包括第一通讯模块130、第一摄像机110及第一控制模块120，所述第一通讯模块130、第一摄像机110分别与所述第一控制模块120连接；所述增强现实显示设备300包括第二控制模块320及第二通讯模块330，所述第二通讯模块330与所述第二控制模块320连接；所述第一通讯模块130、第二通讯模块330分别与所述云端服务器200无线通信连接；所述增强现实显示设备300通过所述第二通讯模块330将无人机100飞行控制信息上传给所述云端服务器200，所述云端服务器200接收到所述无人机100飞行控制信息后发送控制信号至所述无人机100的第一控制模块120，所述第一控制模块120控制所述无人机100飞行；所述第一摄像机110用于采集真实图像数据，并通过所述第一通讯模块130上传给所述云端服务器200。

可以理解的是，通过上述实施例，位于室内的用户通过佩戴增强现实显示设备300，可以实现足不出户控制无人机100到达超出视距范围之外的地方获取真实图像数据，并通过第一通讯模块130、云端服务器200和第二通讯模块330将该真实图像数据传输回增强现实显示设备300，由第二控制模块320利用增强现实技术将无人机100所在的真实环境与虚拟对象融合在一起，呈现给用户。

例如，用户是一位建筑设计师，其不便于到达施工现场监控施工情况是否与设计图纸匹配，可以通过利用无人机100获取施工现场真实图像数据，通过增强现实技术将无人机100获取真实图像数据与设计图纸的效果通过增强现实显示设备300呈现给该建筑设计师，便于该建筑设计师远程监控施工进度及施工情况，避免了现有技术中需要用户到达现场获取真实图像数据的不便。

可以理解的是，以上只是本发明的一个具体应用场景，在不违背本发明发明构思的前提下，本发明可以应用于不同的场景，例如用于用户远程监控室内装修情况、用于林业、农业规划的远程监控等，更多的应用场景此处不再一一赘述。

如图2所示的基于无人机的增强现实系统的结构示意图。在上述实施例的基础上，所述云端服务器200包括第一服务器210、第二服务器230、第一物理隔离装置220、第二物理隔离装置240及数据库250；第一服务器210通过第一物理隔离装置220与第二服务器230连接，第二服务器230通过第二物理隔离装置240与数据库250连接，数据库250与第一服务器210连接；所述第一通讯模块130与所述第一服务器210无线通信连接，第二通讯模块330与所述第二服务器230无线通信连接。

本实施例中，由于无人机100设备价格较高，工业级别无人机100价格可以达到二十多万一台，因此一般由服务内容提供商提供无人机100用于远程拍摄真实世界的图像数据，而用户通过增强现实显示设备300进行观看。此时，一台无人机100服务的对象可能是十几台甚至是几十台增强现实显示设备300，为了避免存在恶意用户在增强现实显示设备300与无人机100通信时恶意攻击或改变无人机100飞行线路，造成服务内容提供商的损失，本实施例提供了增强现实显示设备300与无人机100之间的安全隔离方案。

本实施例中，增强现实显示设备300与第二服务器230无线通信连接，用户在增强现实显示设备300上选定需要采集真实世界图像数据的地点，并将该选定的数据以无人机100飞行控制信息的形式发送给第二服务器230。第二服务器230验证增强现实显示设备300的权限后，通过第一物理隔离装置220把相应的指令发送给第一服务器210，由第一服务器210与无人机100无线通信，将用于控制无人机100飞行线路的无人机100飞行控制信息发送给无人机100。在第二服务器230和第一服务器210之间设置第一物理隔离装置220，实现第一服务器210与第二服务器230的隔离，即使恶意用户入侵了第二服务器230，也无法直接控制第一服务器210，避免了无人机100被恶意入侵的风险。同时无人机100获取的真实图像数据先存储在数据库250，数据库250再通过第二物理隔离装置240将相应的数据传输给第二服务器230，增强现实显示设备300只能通过第二服务器230获取相应的数据，而无法入侵到数据库250中，保证了数据库250的安全。

在一个实施例中，所述无人机100的数量至少为2台。本实施例中，多台无人机100各自的飞行线路是预先设置在第一服务器210中的。

在一些场景中，由于待获取图像的地点面积较大(例如大型购物商场的施工现场)，仅使用一台无人机100获取图像数据会造成效率低下。因此可以预先在第一服务器210中设定好多台无人机100的飞行线路，例如其中一种无人机组合是三台无人机100，则每台无人机100负责圆周角三分之一的范围，最后将三台无人机100获取的图像数据整合再传输给增强现实显示设备300，以加快获取图像数据的效率。

可以理解的是，由于涉及到多台无人机100协作获取现场的图像数据，因此需要提前将不同数量组合的无人机100协作的飞行线路图预先存储在第一服务器210中，用户只需要在增强现实显示设备300上选择相应的数量组合的无人机100协作模式即可。

在一个实施例中，所述增强现实显示设备300还包括用于采集真实图像数据的第二摄像机310，所述第二摄像机310与所述第二控制模块320连接。当用户所在真实环境复杂并且空间较小时，采用无人机100的方案反而造成操作难度高、操作步骤繁琐，因此在增强现实显示设备300上设置第二摄像机310，用户可以通过第二摄像机310获取真实图像数据，提供两种获取真实图像数据的方式，方便用户在不同使用场景的切换，便于用户在复杂、狭窄环境下获取真实世界图像数据。

如图5所示，在一个实施例中，所述增强现实显示设备300还包括头盔本体700以及设置在所述头盔本体700上的透明显示屏340，所述透明显示屏340与所述第二控制模块320连接，所述第二控制模块320固定在所述头盔本体700上。

可以理解的是，将作为显示设备的透明显示屏340设置在头盔本体700上，便于用户固定显示设备与眼睛的相对位置，释放双手，便于用户使用。同时，考虑到，头盔本体700对于人视野的遮挡以及佩戴取下过程的不便，将显示设备采用透明显示屏340实现，当需要观看显示事物时无需频繁取下，提升了使用的便利性和安全性。

如图6所示，在一个实施例中，为了进一步方便用户在佩戴头盔时观看真实环境，所述增强现实显示设备300还包括屏幕固定框710，所述屏幕固定框710与所述头盔本体700转动连接，所述透明显示屏340安装在所述屏幕固定框710上。当用户需要观看真实环境时，通过转动屏幕固定框710，将屏幕固定框710从头盔本体700上的开口位置挪开，用户可以直接通过该开口观看外界环境。

可以理解的是，屏幕固定框710与头盔本体700之间的转动连接结构是本领域技术人员的公知常识，具体的可以采用以下结构实现，轴承连接、合页连接等，本文不一一赘述。

在一个实施例中，所述系统还包括直流电机600，所述头盔本体700的顶部设置有一通风口，所述直流电机600安装在所述通风口处，所述直流电机600的输出轴安装有扇叶610。本实施例中，在头盔本体700顶板设置一通风口，用于安装风扇，在用户佩戴头盔时保持位于头盔本体700内的头部的凉快，提升了用户使用体验。

在上述实施例中，用户长时间佩戴头盔时，头盔本体700内侧空间积累较多二氧化碳，造成用户呼吸不畅，采用风扇从头盔本体700顶部向头盔本体700内侧空间输入的强气流可以很快就从头盔本体700底部的开口流出，即强气流快速进入头盔本体700内侧空间并很快就从头盔本体700底部的开口流出，积累在头盔本体700内侧空间的二氧化碳仍有部分未被排出，造成头盔本体700内侧空间存在换气死角。

如图7所示，为了提高头盔本体700内侧空间的换气效率，所述头盔本体700上还设置有继电器400和直流电源500，所述继电器400与所述第二控制模块320连接并受控于所述第二控制模块320；所述继电器400包括两组静触点410和一组动触点420，所述一组动触点420与直流电机600的供电端电连接，所述两组静触点410分别与直流电源500的正负极电连接并且连接的极性相反，所述一组动触点420切换与两组静触点410的接触位置时，使直流电机600转动方向反转。

需要说明的是，通过控制直流电机600转动方向反转，扇叶610驱动头盔本体700内侧空间的气流从头盔本体700顶部快速向头盔本体700外侧空间排出，由于反转后的扇叶610驱动头盔本体700内侧空间的气流向外排出，最接近顶部的气流被最先排出，而后外部的气流从头盔本体700的底部被吸入到头盔本体700中，实现头盔本体700内侧空间二氧化碳充分排出。

可以理解的是，上述实施例中控制直流电机600反转可以是用户手动按下按钮发出信号给第二控制模块320，再由第二控制模块320控制继电器400的一组动触点420动作，使直流电机600反转。

作为一个较优的实施方式，所述系统还包括二氧化碳传感器，所述二氧化碳传感器设置在所述头盔本体700的内侧，所述二氧化碳传感器与所述第二控制模块320电连接；所述二氧化碳传感器用于采集头盔本体700内侧空间的二氧化碳浓度信息并将所述二氧化碳浓度信息发送给所述第二控制模块320，第二控制模块320用于在接收到所述二氧化碳浓度信息后控制所述继电器400动作。

可以理解的是，由于设置了二氧化碳传感器，可以实时监控头盔本体700内侧空间二氧化碳浓度，实现自动控制直流电机600正反转，将风扇降温功能转变为换气功能，提高了用户的使用体验。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (8)

1.一种基于无人机的增强现实系统，其特征在于，所述系统包括无人机、云端服务器及增强现实显示设备；

所述无人机包括第一通讯模块、第一摄像机及第一控制模块，所述第一通讯模块、第一摄像机分别与所述第一控制模块连接；所述增强现实显示设备包括第二控制模块、第二通讯模块及用于采集真实图像数据的第二摄像机，所述第二通讯模块、第二摄像机分别与所述第二控制模块连接；所述第一通讯模块、第二通讯模块分别与所述云端服务器无线通信连接；

所述增强现实显示设备通过所述第二通讯模块将无人机飞行控制信息上传给所述云端服务器，所述云端服务器接收到所述无人机飞行控制信息后发送控制信号至所述无人机的第一控制模块，所述第一控制模块控制所述无人机飞行；所述第一摄像机用于采集真实图像数据，并通过所述第一通讯模块上传给所述云端服务器。

2.如权利要求1所述的基于无人机的增强现实系统，其特征在于，所述云端服务器包括第一服务器、第二服务器、第一物理隔离装置、第二物理隔离装置及数据库；

第一服务器通过第一物理隔离装置与第二服务器连接，第二服务器通过第二物理隔离装置与数据库连接，数据库与第一服务器连接；

所述第一通讯模块与所述第一服务器无线通信连接，第二通讯模块与所述第二服务器无线通信连接。

3.如权利要求1所述的基于无人机的增强现实系统，其特征在于，所述无人机的数量至少为2台。

4.如权利要求1所述的基于无人机的增强现实系统，其特征在于，所述增强现实显示设备还包括头盔本体以及设置在所述头盔本体上的透明显示屏，所述透明显示屏与所述第二控制模块连接，所述第二控制模块固定在所述头盔本体上。

5.如权利要求4所述的基于无人机的增强现实系统，其特征在于，所述增强现实显示设备还包括屏幕固定框，所述屏幕固定框与所述头盔本体转动连接，所述透明显示屏安装在所述屏幕固定框上。

6.如权利要求4或5所述的基于无人机的增强现实系统，其特征在于，所述系统还包括直流电机，所述头盔本体的顶部设置有一通风口，所述直流电机安装在所述通风口处，所述直流电机的输出轴安装有扇叶。

7.如权利要求6所述的基于无人机的增强现实系统，其特征在于，所述头盔本体上还设置有继电器和直流电源，所述继电器与所述第二控制模块连接并受控于所述第二控制模块；

所述继电器包括两组静触点和一组动触点，所述一组动触点与直流电机的供电端电连接，所述两组静触点分别与直流电源的正负极电连接并且连接的极性相反，所述一组动触点切换与两组静触点的接触位置时，使直流电机转动方向反转。

8.如权利要求7所述的基于无人机的增强现实系统，其特征在于，所述系统还包括二氧化碳传感器，所述二氧化碳传感器与所述第二控制模块电连接并设置在所述头盔本体的内侧；

所述二氧化碳传感器用于采集头盔本体内侧空间的二氧化碳浓度信息并将所述二氧化碳浓度信息发送给所述第二控制模块，第二控制模块用于在接收到所述二氧化碳浓度信息后控制所述继电器动作。

Images