CN115035626A - 一种基于ar的景区智能巡检系统及方法 - Google Patents

Abstract

本发明公开了一种基于AR的景区智能巡检系统及方法，涉及景区巡检领域，基于AR设备采集的场景图像和定位信息，获取所述AR设备的定位位置，所述定位位置为场景图像在空间位置坐标系中的坐标，所述空间位置坐标系为根据空间位置信息建立的坐标系，所述空间位置信息为当前所处物理空间的空间数据得到；服务端根据定位位置确定目标画面内容，所述目标画面内容为将要在所述AR设备进行投影的内容；基于定位位置在目标画面内容上获取任务数据和实时数据。本发明的通过巡检人员当前的场景图像和定位信息，获取所述AR设备的定位位置，巡检人员的位置标注可根据地势起伏，准确贴附，服务端对巡检人员空间位置的获取更加的精准。

Description

一种基于AR的景区智能巡检系统及方法

技术领域

本发明涉及景区巡检领域，具体涉及一种基于AR的景区智能巡检系统及方法。

背景技术

目前景区的巡更巡检业务场景，通常是借助执法仪设备向指挥端提供位置信息，指挥端实施调配参考数据，通过对讲功能完成指挥端于巡检人员的信息互通，通过前置摄像头记录执法过程，通过巡检棒完成定点巡检打卡。

原有传统巡检方式首先要是用执法仪设备，重要功能在于坐标准确标注、视频记录、及通话功能，但其在任务内容、路线规划、关键数据、辅助分析上不具备任何能力，手机设备搭载定制开发的应用在一定程度能弥补执法仪不能满足的空白，但是对于景区而言，有的景区存在不同高度的山坡，当前执法设备和手机端硬件接口提供的GIS服务数据并不精准，因此，在实际使用时，存在无法准确获取巡检人员位置信息的问题，进而会影响到后续的巡检业务，乃至对景区的监管。

同时，手机设备和执法仪设备的携带不利于一名巡检人员在日常任务执行中便利的使用，甚至成为多余的累赘。

发明内容

本发明的目的在于通过AR设备投影与巡检人员当前位置相匹配的目标画面内容，并在目标画面内容上获取任务数据和实时数据，解决原有巡检方法获取巡检人员位置信息时存在不准确的问题，同时直接通过AR设备进行巡检，使用更便捷。

为实现上述发明目的，本发明提供了一种基于AR的景区智能巡检方法，包括：

基于AR设备采集的场景图像和定位信息，获取所述AR设备的定位位置，所述定位位置为场景图像在空间位置坐标系中的坐标，所述空间位置坐标系为根据空间位置信息建立的坐标系，所述空间位置信息为当前所处物理空间的空间数据得到；

服务端根据定位位置确定目标画面内容，所述目标画面内容为将要在所述AR设备进行投影的内容；

基于定位位置在目标画面内容上获取任务数据和实时数据。

增强现实技术简称AR，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。

AR设备内设置有包括LBS功能、图像识别、实景识别标定的模块，并与服务端联网，AR设备将其定位位置、以及AR设备截取的画面得到场景图像，传送到服务端，服务端将传输回来的定位位置、场景图像和预设的空间位置信息进行比对判断，结合跟踪眼球视线轨迹判断此时巡检人员的体态视角，将目标画面内容传输于AR设备投影于AR设备的显示屏。同时根据巡检人员的身份信息，服务端获取其在该定位位置对应的任务数据，并在匹配的目标画面内容上显示定位位置对应的任务数据。并且在目标画面内容上还可以显示该处的实时数据，进而便于巡检人员更好的对景区进行巡检。

本发明通过巡检人员的AR设备截取的画面得到场景图像与巡检人员的定位信息获取巡检人员的空间位置，对于景区而言，由于不同的山峰重叠具有不同的海拔高度，巡检人员会在不同海拔高度的区域执行任务，而传统设备由于无法提供高度坐标，而导致在3D可视化界面标注巡检人员位置时存在标注信息误差大，与高低起伏的地形模型形成遮挡或穿模型的情况，进而投影的目标画面内容与巡检人员的实际位置偏差较大，不便于后续巡检任务的顺利完成。本发明在获取巡检人员的定位信息后，再结合AR设备当时截取的画面作为场景图像进一步的在空间位置信息中确定目标画面内容，能更加准确的获取真实匹配的目标画面内容，避免不准确的问题。

同时，在AR设备上投影目标画面内容时，在相匹配的位置上显示该巡检人员的任务数据和该位置上的实时数据，进一步的简化巡检人员所携带的设备，只需要一个AR设备即可完成巡检任务，并更好的对景区进行管理，实时获取不同位置的实时数据，进一步的提高巡检质量。

其中，所述任务数据包括巡检路线信息、打卡定位信息、事务信息；所述实时数据包括景点实时客流数据、出入口的通行数据、停车场使用数据。

优选的，为了进一步的简化巡检工作，AR设备为AR眼镜，在进行巡检时，巡检人员可直接通过佩戴AR眼镜进行巡检，更便于操作使用。

进一步的，为了更准确的获取巡检人员的位置，在获取AR设备的定位信息时，本发明的定位信息为空间三维坐标，所述空间三维坐标由定位数据和海拔信息确定，其中，卫星定位装置获取所述定位信息，气压传感器获取气压值，并通过气压值计算得到所述海拔信息。

现有的执法设备或手机端硬件接口提供的GIS服务数据不能提供海拔坐标，以至于在AR技术用于景区中的景点中时，目标画面内容中不能准确获取巡检人员的位置，在结合场景图像与巡检人员的定位信息的基础上，本发明人将定位信息设置为定位数据和海拔信息确定，进而通过空间三维坐标更准确的获取巡检人员的位置，进一步的提高准确度。

其中，基于定位位置在目标画面内容上获取任务数据和实时数据，具体包括：

在空间位置信息中建立关联各个景区景点的标定点；

定位位置与标定点匹配时，目标画面内容上显示对应的标定点的任务数据和实时数据。

同时，定位位置与标定点匹配时，还可以通过AR设备播放对应的标定点的任务数据和实时数据。

更进一步的，本发明将目标画面内容与手势操作和/或语音识别进行匹配，通过手势操作和/或语音识别选定目标画面内容上获取的任务数据和实时数据。巡检人员能够通过手势操作和/或语音识别选定目标画面内容上的任务数据和实时数据，并且通过手势操作和/或语音识别选定目标画面内容中的标定点的任务数据和/或实时数据后，在目标画面内容上可以展示和/或删除对应标定点的任务数据和/或实时数据。

同时，AR设备包括蓝牙耳机，基于定位位置和场景图像在目标画面内容上获取任务数据和实时数据时，通过蓝牙耳机播放任务数据和实时数据。

与本发明中的方法对应，本发明还提供了一种基于AR的景区智能巡检系统，包括：

AR设备模块，用于采集场景图像和定位信息，并根据采集的场景图像和定位位置投影目标画面内容；

服务端模块，用于根据采集的场景图像和定位信息获取AR设备的定位位置，根据当前所处物理空间的空间数据获取空间位置信息，根据空间位置信息建立空间位置坐标系，所述定位位置为场景图像在空间位置坐标系中的坐标，根据定位位置确定目标画面内容；

标签模块，用于根据定位位置获取任务数据和实时数据；

显示模块，用于在目标画面内容上显示定位位置与标定点匹配的标定点的任务数据和实时数据。

与本发明中的方法对应，本发明还提供了一种电子装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于AR的景区智能巡检方法的步骤。

与本发明中的方法对应，本发明还提供了一种存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于AR的景区智能巡检方法的步骤。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

现有的巡检人员使用的巡检设备无法提供高程坐标数据情况，在景区中获取巡检人员的位置信息时存在误差大，本发明的通过巡检人员当前的场景图像和定位信息，获取所述AR设备的定位位置，巡检人员的位置标注可根据地势起伏，准确贴附，服务端对巡检人员空间位置的获取更加的精准；

同时，本方法获取巡检人员的位置后，可直接在AR设备投影的目标画面内容上获取任务数据和实时数据，对于巡检人员而言更加直观、清楚，更有利于巡检工作，同时巡检人员在使用时，操作更简便，更便于长期使用。

其次，在现有的景区巡检中，常用的设备只能返回经度、纬度坐标，不能提供准确的高度坐标，在有明显海拔高度差异的景区，很难通过设备回传的坐标在可视化界面准确的标注巡检设备的位置图像，然而通过AR设备对现场环境的识别比对，可获取设备点位准确的海拔高度数据，同时对经度、纬度数据进行修正。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为一种基于AR的景区智能巡检方法的流程示意图；

图2为一种基于AR的景区智能巡检系统的组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

实施例1

请参考图1，图1为一种基于AR的景区智能巡检方法的流程示意图，本发明提供了一种基于AR的景区智能巡检方法，所述方法包括：

基于AR设备采集的场景图像和定位信息，获取所述AR设备的定位位置，所述定位位置为场景图像在空间位置坐标系中的坐标，所述空间位置坐标系为根据空间位置信息建立的坐标系，所述空间位置信息为当前所处物理空间的空间数据得到；其中，定位信息为空间三维坐标，所述空间三维坐标由定位数据和海拔信息确定，其中，卫星定位装置获取所述定位信息，气压传感器获取气压值，并通过气压值计算得到所述海拔信息。

服务端根据定位位置确定目标画面内容，所述目标画面内容为将要在所述AR设备进行投影的内容；

在空间位置信息中建立关联各个景区景点的标定点；

定位位置与标定点匹配时，目标画面内容上显示对应的标定点的任务数据和实时数据，所述任务数据包括巡检路线信息、打卡定位信息、事务信息；所述实时数据包括景点实时客流数据、出入口的通行数据、停车场使用数据；AR设备包括蓝牙耳机，通过蓝牙耳机播放对应的标定点的任务数据和实时数据；

在本实施例中AR设备为AR眼镜；

服务端将目标画面内容与手势操作和/或语音识别进行匹配；

巡检人员在目标画面内容上获取任务数据和实时数据后，能通过手势操作和/或语音识别选定目标画面内容上获取的任务数据和实时数据；

选定后，通过手势操作和/或语音识别展示和/或删除对应标定点的任务数据和/或实时数据。

下面结合具体的例子对本发明中的一种基于AR的景区智能巡检方法进行介绍：

步骤1利用无人机对景区区域进行点云数据采集，针对日常巡检线路进行地面细节补充采集，整体采集面积要大于景区的监测范围；

步骤2通过地图引擎获取高程数据，通过CityEngine或Arc gis生成含准确高度信息的3D模型，用于比对点云模型进行数据的修正；在本实施例中，CityEngine和Arc gis均为现有的建模方法，本发明人并没有对CityEngine或Arc gis的方法进行改进，除了分别使用CityEngine或Arc gis建模外，本步骤还可以使用Arc gis与CityEngine结合的方法进行建模，进而实现多元数据的高效互通，有利于实现复杂的参数化建模；

例如：

步骤2.1获取景区空间肌理数据信息并进行预处理，利用ArcGis平台以形成景区空间肌理数据库；

步骤2.2对景区空间肌理数据库进行特征参数化提取，以确定特征参数集并获取特征参数值；

步骤2.3结合区域环境生成障碍地图，基于CityEngine平台自动选取景区肌理建构的空间位置；

步骤2.4利用所获取的特征参数值应用CityEngine生成模块并创建CGA规则，以生成景区空间肌理建构方案；

步骤2.5提取景区空间肌理建构方案中景区空间肌理数据信息并进行预处理，以形成新景区空间肌理数据库；

步骤2.6将原景区空间肌理数据库与新景区空间肌理数据库进行数据对比，若对比结果相似，则景区空间肌理建构成功；若对比结果不相似，则重新确定特征参数并获取特征参数值和/或重新创建CGA规则。

步骤3将点云模型进行裁切修整为正方形，按照1：10000的比列放置于unity引擎中，明确出截面的中心点、右上、左下对应的真实地理坐标信息，以及对应在引擎中的模型坐标参数；

步骤4将采集的点云数据进行用于AR空间识别的计算学习，通过AR眼镜回传的场景图像和定位信息识别出AR眼镜在点云模型中的相对空间位置，即定位位置；

步骤5通过引擎中的模型坐标与真实地理环境的坐标算法转换，反向推算出回传服务端的真实地理的经度、纬度、海拔高度坐标位置，该数据可提供给3D数字孪生场景，特别基于非游戏引擎开发环境的3D数字孪生含海拔起伏的场景，能提供强有力的数据展示支撑。本发明主要通过上述步骤计算海拔高度坐标，除此之外，本发明还可以通过气压传感器获取气压值，并通过气压值计算得到海拔信息，通过气压值计算得到的海拔信息可以作为本步骤的辅助数据，对计算得到海拔高度坐标进行修正或验证，进一步提高本发明海拔高度坐标的准确度；

步骤6服务端根据步骤1-5确定模型中巡检人员此时的目标画面内容，并将目标画面内容投影在AR设备上；

步骤7在空间位置信息中建立关联各个景区景点的标定点，所述标定点为巡检人员的打卡位置和/或景点位置信息；

步骤8定位位置与标定点匹配时，即巡检人员的目标画面内容上包括标定点时，目标画面内容上显示对应的标定点的任务数据和实时数据，任务数据包括但不限于巡检路线信息、打卡定位信息、事务信息；所述实时数据包括但不限于景点实时客流数据、出入口的通行数据、停车场使用数据；

步骤9服务端将目标画面内容与手势操作和/或语音识别进行匹配，通过手势操作和/或语音识别能够选定目标画面内容上获取的任务数据和实时数据；

步骤10选定任务数据和/或实时数据后，在目标画面内容展示对应的任务数据和/或实时数据；

步骤11通过手势操作和/或语音识别选定具体的任务数据，展示和/或删除对应标定点的任务数据，例如打卡任务数据，选择其中的打卡定位信息，选择后巡检人员进行打卡，打卡后，通过手势操作和/或语音识别可删除打卡定位信息。

步骤12基于定位位置和场景图像在目标画面内容上获取任务数据和实时数据时，通过蓝牙耳机播放任务数据和实时数据。

在部分实施例中，AR眼镜上还设置有控制按钮，通过控制按钮能够操作目标画面内容上展示的任务数据和/或实时数据，能够通过控制按钮进行选择或删除。同时巡检人员能够通过控制按钮进行该位置打卡，即根据任务数据到达其巡检的打卡位置，并在此处打卡。

在本部分实施例中，AR眼镜包括蓝牙耳机，蓝牙耳机与AR眼镜连接，AR眼镜具有通讯模块，巡检人员能够直接通过蓝牙耳机与服务端或其他巡检人员进行通讯。

在部分实施例中，任务数据除了巡检路线信息、打卡定位信息、事务信息外，还可以包括服务端发布的紧急任务、一键报警等；实时数据除了景点实时客流数据、出入口的通行数据、停车场使用数据，还可以包括天气数据、厕所使用数据等。

在部分实施例中，AR眼镜内设置有包括LBS功能、图像识别、实景识别标定的模块，上述模块为现有的模块，并与服务端联网，基于对AR眼镜坐标位置、以及AR眼镜上的摄像头截取画面截取，将数据传于服务端，服务端将传输回来的数据进行比对判断，结合跟踪眼球视线轨迹判断巡检人员的体态视角，将增强内容传输于AR眼镜投显于显示屏上实现空间位置标定。通过语音、手势识别来操作可视界面，结合远程协作达到信息联动。

其中，在AR眼镜上设置眼球追踪模块，眼球追踪模块包括图像采集模块、处理器、信号编码器和信号发射器，所述眼球追踪模块通过信号发射器与服务端连接。在本实施例中，眼球追踪模块为现有的模块，跟踪眼球视线轨迹判断巡检人员的体态视角，进而进一步的确保巡检人员的位置的准确度。

实施例2

请参考图2，图2为一种基于AR的景区智能巡检系统的组成示意图，本发明实施例2提供了一种基于AR的景区智能巡检系统，在上述实施例的基础上，所述系统包括：

AR设备模块，用于采集场景图像和定位信息，并根据采集的场景图像和定位位置投影目标画面内容；

服务端模块，用于根据采集的场景图像和定位信息获取AR设备的定位位置，根据当前所处物理空间的空间数据获取空间位置信息，根据空间位置信息建立空间位置坐标系，所述定位位置为场景图像在空间位置坐标系中的坐标，根据定位位置确定目标画面内容；

标签模块，用于根据定位位置获取任务数据和实时数据；

显示模块，用于在目标画面内容上显示定位位置与标定点匹配的标定点的任务数据和实时数据。

实施例3

本发明实施例3提供了一种电子装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种基于AR的景区智能巡检方法的步骤。

其中，所述处理器可以是中央处理器，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中一种基于AR的景区智能巡检装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例4

本发明实施例4提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述一种基于AR的景区智能巡检方法的步骤。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnlyMemory，ROM)、可擦式可编程只读存储器((ErasableProgrammableReadOnlyMemory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于AR的景区智能巡检方法，其特征在于，包括：

基于AR设备采集的场景图像和定位信息，获取所述AR设备的定位位置，所述定位位置为场景图像在空间位置坐标系中的坐标，所述空间位置坐标系为根据空间位置信息建立的坐标系，所述空间位置信息为当前所处物理空间的空间数据得到；

服务端根据定位位置确定目标画面内容，所述目标画面内容为将要在所述AR设备进行投影的内容；

基于定位位置在目标画面内容上获取任务数据和实时数据。

2.根据权利要求1所述的一种基于AR的景区智能巡检方法，其特征在于，定位信息为空间三维坐标，所述空间三维坐标由定位数据和海拔信息确定，其中，卫星定位装置获取所述定位信息，气压传感器获取气压值，并通过气压值计算得到所述海拔信息。

3.根据权利要求1所述的一种基于AR的景区智能巡检方法，其特征在于，基于定位位置在目标画面内容上获取任务数据和实时数据，具体包括：

在空间位置信息中建立关联各个景区景点的标定点；

定位位置与标定点匹配时，目标画面内容上显示对应的标定点的任务数据和实时数据。

4.根据权利要求3所述的一种基于AR的景区智能巡检方法，其特征在于，定位位置与标定点匹配时，通过AR设备播放对应的标定点的任务数据和实时数据。

5.根据权利要求1-4任一所述的一种基于AR的景区智能巡检方法，其特征在于，所述任务数据包括巡检路线信息、打卡定位信息、事务信息；所述实时数据包括景点实时客流数据、出入口的通行数据、停车场使用数据。

6.根据权利要求1-4任一所述的一种基于AR的景区智能巡检方法，其特征在于，AR设备为AR眼镜。

7.根据权利要求1所述的一种基于AR的景区智能巡检方法，其特征在于，将目标画面内容与手势操作和/或语音识别进行匹配，通过手势操作和/或语音识别选定目标画面内容上获取的任务数据和实时数据。

8.根据权利要求3所述的一种基于AR的景区智能巡检方法，其特征在于，通过手势操作和/或语音识别选定目标画面内容中的标定点的任务数据和/或实时数据，展示和/或删除对应标定点的任务数据和/或实时数据。

9.根据权利要求1所述的一种基于AR的景区智能巡检方法，其特征在于，AR设备包括蓝牙耳机，基于定位位置和场景图像在目标画面内容上获取任务数据和实时数据时，通过蓝牙耳机播放任务数据和实时数据。

10.一种基于AR的景区智能巡检系统，其特征在于，包括：

AR设备模块，用于采集场景图像和定位信息，并根据采集的场景图像和定位位置投影目标画面内容；

服务端模块，用于根据采集的场景图像和定位信息获取AR设备的定位位置，根据当前所处物理空间的空间数据获取空间位置信息，根据空间位置信息建立空间位置坐标系，所述定位位置为场景图像在空间位置坐标系中的坐标，根据定位位置确定目标画面内容；

标签模块，用于根据定位位置获取任务数据和实时数据；

显示模块，用于在目标画面内容上显示定位位置与标定点匹配的标定点的任务数据和实时数据。

Images