CN111476134A - 一种基于增强现实的地质考察数据处理系统和方法 - Google Patents

Abstract

本申请公开了一种基于增强现实的地质考察数据处理系统和方法，系统包括无人机，用于采集实际环境的图像数据；处理单元，用于对所述无人机采集的图像数据进行处理，定位图像数据对应的位置信息和构建户外地图以及识别环境信息，将所述位置信息、户外地图和环境信息转化为虚拟视景；虚拟显示单元，用于显示所述虚拟视景。本申请通过无人机采集图像数据，通过处理单元对图像数据处理，定位图像数据的位置信息和构建户外地图以及识别环境信息，将所述图像处理结果转化为虚拟视景，最后通过虚拟显示单元显示虚拟视景，使得考察人员在进行实地考察之前通过虚拟显示单元查看虚拟视景，以了解实际环境情况。本申请可应用于虚拟技术领域。

Description

一种基于增强现实的地质考察数据处理系统和方法

技术领域

本发明涉及虚拟技术领域，尤其是一种基于增强现实的地质考察数据处理系统和方法。

背景技术

术语解释：

SLAM：英文全称为Simultaneous Localization And Mapping，中文为即时定位与地图构建或者并发建图与定位，其可描述为机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自助定位和导航。

ORB：英文全称为Oriented FAST And Rotated BRIEF，其是一种快速特征点提取和描述的算法，其包括两部分，分别为特征点提取和特征点描述。特征点提取由FAST算法演变而来；特征点描述是根据BRIEF特征点描述算法改进得到。

帧：指动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头。在动画软件的时间轴上帧表现为一格或者一个标记。

关键帧：相当于二维动画中的原图。其指角色或者物体运动或者变化中的关键动作所处的那一帧。

户外地质考察、野生动植物考察过程中使用的设备主要有对讲机、GPS定位设备、指南针以及野外生存装备，主要的探测方式以步行、攀爬以及涉水等。在地形错综复杂、原始无开发的地区，常常伴随着各种危险，例如，野生动物袭击、恶劣地形失足、迷路等。

为了降低考察人员在考察过程中可能遇到的危险，在考察人员进入实地考察之前，通常会采用无人机设备对考察环境进行摄像，以便考察人员了解实际环境。然而，在无人机采集到图像后，考察人员只能从该图像上实时获取相对模糊的信息，因而，考察人员无法有效的从该图像中了解考察地中实际环境情况。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种基于增强现实的地质考察数据处理系统，该系统能够为考察人员提供相对准确的实际环境信息

本发明的另一个目的在于提供一种基于增强现实的地质考察数据处理方法。

为达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种基于增强现实的地质考察数据处理系统，其包括：

无人机，用于采集实际环境的图像数据；

处理单元，用于对所述无人机采集的图像数据进行处理，定位图像数据对应的位置信息和构建户外地图以及识别环境信息，将所述位置信息、户外地图和环境信息转化为虚拟视景；

虚拟显示单元，用于显示所述虚拟视景。

进一步，所述无人机上设有摄像头，所述摄像头用于采集实际环境的图像数据。

进一步，所述处理单元包括SLAM模块，所述SLAM模块用于定位图像数据对应的位置信息和构建户外地图，所述定位图像数据对应的位置信息和构建户外地图，其具体包括：

提取所述图像数据的特征点和关键帧；

将所述特征点与所述关键帧进行对比；

根据对比结果计算所述特征点的空间位置和摄像头的位姿信息；

根据所述特征点和位姿信息构建户外地图。

进一步，所述定位图像数据对应的位置信息和构建户外地图，其还包括以下步骤：

对所述户外地图和关键帧进行回环检测。

进一步，所述处理单元还包括目标识别模块，所述目标识别模块采用卷积神经网络进行训练后，用于识别环境信息。

进一步，所述无人机上还设有避障模块，所述避障模块用于根据无人机当前的飞行速度和所述摄像头采集的图像数据计算无人机与障碍物的距离。

进一步，所述无人机上还设有电源模块，所述电源模块包括太阳能充电子模块。

进一步，所述无人机的机翼为四旋翼。

第二方面，本发明实施例提供了一种基于增强现实的地质考察数据处理方法，其包括以下步骤：

接收无人机采集的图像数据；

对所述图像数据进行处理，定位图像数据对应的位置信息和构建户外地图以及识别环境信息；

将所述位置信息、户外地图和环境信息转化为虚拟视景；

将所述虚拟视景发送到虚拟显示单元。

进一步，所述定位图像数据对应的位置信息和构建户外地图，其具体包括：

提取所述图像数据的特征点和关键帧；

将所述特征点与所述关键帧进行对比；

根据对比结果计算所述特征点的空间位置和摄像头的位姿信息；

根据所述特征点和位姿信息构建户外地图。

本发明的有益效果是：本发明实施例通过无人机采集实际环境的图像数据，接着通过处理单元对图像数据进行处理，并定位图像数据对应的位置信息和构建户外地图以及识别环境信息，将所述位置信息、户外地图和环境信息转化为虚拟视景，最后通过虚拟显示单元显示虚拟视景，使得考察人员在进行实地考察之前可以通过虚拟显示单元查看虚拟视景，以从虚拟视景中有效的了解实际环境情况。

附图说明

图1为本发明一种具体实施例的基于增强现实的地质考察数据处理系统的模块框图；

图2为本发明一种具体实施例的无人机的结构示意图；

图3为本发明一种具体实施例的基于增强现实的地质考察数据处理方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明实施例提供了一种基于增强现实的地质考察数据处理系统，其包括：

无人机，用于采集实际环境的图像数据；

在一些实施例中，如图2所示，所述无人机上设有摄像头21；所述摄像头21通过支持杆22放置在无人机下方，其用于扫描无人机行进前方的地形、地貌与障碍物等图像数据。所述摄像头可采用红外摄像头，其工作模式可设置为白天模式和黑夜模式，当处于白天或者光照情况良好的环境时，摄像头切换为RGB模式；当处于黑夜或者光线情况不良好的环境时，摄像头切换为红外模式。

由于无人机在工作过程中所处环境比较复杂，因此，为了确保无人机能够正常前进，在所述无人机上设置避障模块，所述避障模块用于根据摄像头拍摄到的图像数据和飞行速度，计算出机身与前方障碍物的距离，并向虚拟显示单元发送警告信息，例如，距离障碍物比较近时，将悬停机身，等待控制人员的调整与避障操作。

而为了能够使无人机能够正常工作，在所述无人机内设有飞行控制模块，其属于无人机内部的主板，用控制无人机的机翼23转动和无人机的飞行。在所述主板上还设有第一无线数据传输模块，所述第一无线数据传输模块采用射频技术，用于将摄像头拍摄到的图像数据传输到处理单元。在另一些实施例中，所述无人机的机翼23可采用四旋翼结构，以便更好的控制无人机的飞行过程。

此外，为了使无人机在工作过程中的电源稳定，在所述无人机上还设有第一电源模块，所述第一电源模块可以采用太阳能充电子模块，所述太阳能充电模块包括太阳能充电板24，所述太阳能充电板设置在无人机的机身25的上表面，用于存储太阳能并将太阳能转换为电能，以提供无人机的工作电源。

在另一些实施例中，所述无人机的飞行过程还可以通过遥控器控制，所述遥控器上设有多个按钮，所述多个按钮用于控制无人机的水平方向与垂直方向的移动、悬停以及自身的开启和关闭。所述遥控器的外部还设有天线，所述天线用于与无人机进行通信。所述遥控器的内部设有第二电源模块、压力传感器和第二无线数据传输模块，所述第二电源模块用于为遥控器提供工作电源；所述压力传感器设置于按钮下方，用于检测按钮上的压力信号，进而转化为对无人机控制的相应指令；所述第二无线数据传输模块用于连接天线与第二电源模块，采用射频技术，用于传达指令和信号给无人机。

处理单元，用于对所述无人机采集的图像数据进行处理，定位图像数据对应的位置信息和构建户外地图以及识别环境信息，将所述位置信息、户外地图和环境信息转化为虚拟视景；

在一些实施例中，所述处理单元设有SLAM模块和目标识别模块，所述SLAM模块用于将从无人机传输的图像信息进行处理，实时定位并构建户外地图，从而有助于科考人员随时知道自己的位置信息与周边地图环境，同时，将图像处理的过程从无人机转移到计算设备中，有助于降低无人机的功耗。

具体地，所述SLAM模块采用的是开源的基于单目摄像头的ORB-SLAM算法，其包含实时跟踪特征点的Tracking线程、局部Bundle Adjustment的优化线程以及全局PoseGraph的回环检测与线性优化线程。

在SLAM模块进行图像处理时，所述Tracking线程负责对每幅新传送来的图像进行ORB特征点的提取，并与最近的关键帧进行对比，进而计算出上述特征点的位置坐标并粗略地估计出无人机摄像头的位姿。所述局部Bundle Adjustment优化线程则负责求解BundleAdjustment问题，包括局部空间内的特征点与无人机摄像头的位姿，负责求解更精细的相机位姿与特征点空间位置。

虽然，Tracking线程和Bundle Adjustment的线程完成了比较好的视觉里程计，但是，为了使处理单元输出的虚拟视景更加的接近实际环境，本实施例还采用全局PoseGraph的回环检测与线性优化线程负责对全局的地图与关键帧进行回环检测，以消除累积误差。

所述目标识别模块是基于计算机视觉技术进行设计，其通过卷积神经网络进行训练，进而能实现识别出上述采集到的图像数据内的各种野生动物等，其目的是降低考察人员遭遇危险的可能性。

而为了能够使虚拟显示单元更好的虚拟显示实际环境，在所述处理单元内还设有虚拟视景生成模块，其用于将SLAM模块与图像处理模块处理后的图像信息转化为虚拟视景，并将生成后的虚拟视景传输到虚拟显示单元。在一些实施例中，为了提高数据传输的稳定性，在所述处理单元单元上还设有数据线接口，以通过外设的数据线将生成后的虚拟视景传输到虚拟显示单元。

此外，所述处理单元上还设有第三电源单元和第三无线数据传输单元，所述第三电源单元用于为处理单元和虚拟显示单元提供工作电源，所述第三无线数据传输单元同于接收无人机发送的电磁波信号和向无人机发送电磁波信号，以扩大数据传输范围。，

虚拟显示单元，用于显示所述虚拟视景。在一些实施例中，所述虚拟显示单元可采用AR眼镜，以减少设备体积，便于科考人员外出携带。

综上，本实施例与现有技术相比，其具有以下优点：

第一点、借助增强现实技术，使科考人员在前往实地考察之前，可以先通过AR眼镜来查看大致的地形地貌与生物分布，进而提前做出路线安排与规避危险的措施；

第二点、利用太阳能充电板能有效提高无人机的续航能力；

第三点、将图像处理模块从AR眼镜与无人机中转移到专门的处理单元中，从而AR眼镜和无人机就不需要处理大量的图像信息。对于无人机而言，能减少能耗，使用时间更加持久；对于AR眼镜而言，可以大幅度减轻重量，穿戴体验会更加良好。同时，处理单元还可设计成背包的形态，能配置比AR眼镜、无人机容量更大的电源和数据处理模块，有着更高的算力，进而能更加精确、低延迟地实现实时地图显示与定位的功能；

第四点、相比固定翼无人机，四旋翼结构的无人机更加适合在复杂地形地貌中的飞行。

此外，参照图3，本发明实施例还提供了一种基于增强现实的地质考察数据处理方法，本实施应用于上述系统实施例的处理单元，所述处理单元分别与无人机和虚拟显示单元通信。

本实施例包括步骤S31-S34：

S31、接收无人机采集的图像数据；其具体是接收无人机通过摄像头采集的无人机行进前方的地形、地貌与障碍物等图像数据。

S32、对所述图像数据进行处理，定位图像数据对应的位置信息和构建户外地图以及识别环境信息；

S33、将所述位置信息、户外地图和环境信息转化为虚拟视景；

具体地，所述步骤S32和S33其具体处理过程为：

采用预先设置的SLAM模块和目标识别模块进行处理，所述SLAM模块采用的是开源的基于单目摄像头的ORB-SLAM算法，包含实时跟踪特征点的Tracking线程、局部BundleAdjustment的优化线程以及全局Pose Graph的回环检测与线性优化线程。

在SLAM模块进行图像处理时，所述Tracking线程负责对每幅新传送来的图像进行ORB特征点的提取，并与最近的关键帧进行对比，进而计算出上述特征点的位置坐标并粗略地估计出无人机摄像头的位姿。所述局部Bundle Adjustment优化线程则负责求解BundleAdjustment问题，包括局部空间内的特征点与无人机摄像头的位姿，负责求解更精细的相机位姿与特征点空间位置。

虽然，Tracking线程和Bundle Adjustment的线程完成了比较好的视觉里程计，但是，为了使处理单元输出的虚拟视景更加的接近实际环境，本实施例还采用全局PoseGraph的回环检测与线性优化线程负责对全局的地图与关键帧进行回环检测，以消除累积误差。

所述目标识别模块是基于计算机视觉技术进行设计，其通过卷积神经网络进行训练，进而能实现识别出上述采集到的图像数据内的各种野生动物等，其目的是降低考察人员遭遇危险的可能性。

S34、将所述虚拟视景发送到虚拟显示单元，具体可采用AR眼镜显示所述虚拟视景。

因此，本实施例通过接收无人机实时采集的实际环境的图像数据，接着对图像数据进行处理，并定位图像数据对应的位置信息和构建户外地图以及识别环境信息，将所述位置信息、户外地图和环境信息转化为虚拟视景，最后将虚拟视景发送到虚拟显示单元，使虚拟显示单元显示虚拟视景，使得考察人员在进行实地考察之前可以通过虚拟显示单元查看虚拟视景，以从虚拟视景中有效的了解实际环境情况。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于增强现实的地质考察数据处理系统，其特征在于，包括：

无人机，用于采集实际环境的图像数据；

处理单元，用于对所述无人机采集的图像数据进行处理，定位图像数据对应的位置信息和构建户外地图以及识别环境信息，将所述位置信息、户外地图和环境信息转化为虚拟视景；

虚拟显示单元，用于显示所述虚拟视景。

2.根据权利要求1所述的一种基于增强现实的地质考察数据处理系统，其特征在于，所述无人机上设有摄像头，所述摄像头用于采集实际环境的图像数据。

3.根据权利要求2所述的一种基于增强现实的地质考察数据处理系统，其特征在于，所述处理单元包括SLAM模块，所述SLAM模块用于定位图像数据对应的位置信息和构建户外地图，所述定位图像数据对应的位置信息和构建户外地图，其具体包括：

提取所述图像数据的特征点和关键帧；

将所述特征点与所述关键帧进行对比；

根据对比结果计算所述特征点的空间位置和摄像头的位姿信息；

根据所述特征点和位姿信息构建户外地图。

4.根据权利要求3所述的一种基于增强现实的地质考察数据处理系统，其特征在于，所述定位图像数据对应的位置信息和构建户外地图，其还包括以下步骤：

对所述户外地图和关键帧进行回环检测。

5.根据权利要求1所述的一种基于增强现实的地质考察数据处理系统，其特征在于，所述处理单元还包括目标识别模块，所述目标识别模块采用卷积神经网络进行训练后，用于识别环境信息。

6.根据权利要求2所述的一种基于增强现实的地质考察数据处理系统，其特征在于，所述无人机上还设有避障模块，所述避障模块用于根据无人机当前的飞行速度和所述摄像头采集的图像数据计算无人机与障碍物的距离。

7.根据权利要求6所述的一种基于增强现实的地质考察数据处理系统，其特征在于，所述无人机上还设有电源模块，所述电源模块包括太阳能充电子模块。

8.根据权利要求1所述的一种基于增强现实的地质考察数据处理系统，其特征在于，所述无人机的机翼为四旋翼。

9.一种基于增强现实的地质考察数据处理方法，其特征在于，包括以下步骤：

接收无人机采集的图像数据；

对所述图像数据进行处理，定位图像数据对应的位置信息和构建户外地图以及识别环境信息；

将所述位置信息、户外地图和环境信息转化为虚拟视景；

将所述虚拟视景发送到虚拟显示单元。

10.根据权利要求9所述的一种基于增强现实的地质考察数据处理方法，其特征在于，所述定位图像数据对应的位置信息和构建户外地图，其具体包括：

提取所述图像数据的特征点和关键帧；

将所述特征点与所述关键帧进行对比；

根据对比结果计算所述特征点的空间位置和摄像头的位姿信息；

根据所述特征点和位姿信息构建户外地图。

Images