CN116152945A - 一种基于ar技术的矿下巡检系统及方法 - Google Patents

Abstract

本发明公开了一种基于AR技术的矿下巡检系统及方法，属于矿下巡检领域，涉及AR技术，解决了如何基于AR技术对矿下的安全隐患问题进行智能化巡检的问题；巡检管理后台发送矿下巡检任务清单至头戴式AR眼镜中的任务清单模块；巡检人员获取所属头戴式AR眼镜授权，查看矿下巡检任务清单；根据巡检任务路线进行移动，并采用拍摄模块对目标巡查对象进行拍摄，通过图像处理模块和交互模块生成巡检现场的虚拟画面信息，并通过手势或者语音对虚拟画面进行操控；从巡检管控后台获取目标巡检对象的监测信息，在任务清单模块进行巡检任务记录表的填充；若出现不能解决的巡检问题，则通过通信模块连接巡检管理后台进行第一视角的视频通话获取协助。

Description

一种基于AR技术的矿下巡检系统及方法

技术领域

本发明属于矿下巡检领域，涉及AR技术，具体是一种基于AR技术的矿下巡检系统及方法。

背景技术

在一些矿下作业中，如煤炭的生产，需要巡检人员进入煤矿进行定期或不定期的人工巡检，以排查安全隐患。

目前针对矿下作业，还是采用传统的人工巡检，这使得矿下巡检的工作效率较低。现有技术中已采用了基于AR技术的人工巡检，但技术仍然不够成熟。

为此，本发明提出了一种基于AR技术的矿下巡检系统及方法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于AR技术的矿下巡检系统及方法，该一种基于AR技术的矿下巡检系统及方法解决了如何基于AR技术对矿下的安全隐患问题进行智能化巡检的问题。

为实现上述目的，根据本发明的第一方面的实施例提出一种基于AR技术的矿下巡检系统，包括：头戴式AR眼镜、北斗全球定位系统以及巡检管理后台；

所述头戴式AR眼镜设置有安全防护模块、任务清单模块、通信模块、定位模块、显示模块、拍摄模块、语音采集模块、图像处理模块以及交互模块；所述安全防护模块用于对巡检人员的头部进行防护；所述任务清单模块用于从巡检管理后台获取当前巡检人员的矿下巡检任务清单，还根据巡检任务记录表的模板格式进行获取的巡检信息的自动填充；所述通信模块与巡检管理后台通过通信网络无线连接；所述定位模块用于通过北斗全球定位系统对头戴式AR眼镜进行实时定位；所述显示模块采用双目衍射光波导显示技术，对虚实画面信息进行显示；所述拍摄模块用于拍摄矿下巡检现场环境和巡检人员手势的后置画面信息和巡检人员眼球动作的前置画面信息，并发送至图像处理模块进行分析处理，以及将获取的巡检现场环境的后置画面信息发送至显示模块进行显示；所述语音采集模块用于对巡检人员的语音进行采集，并将获取的语音信息发送至交互模块；所述图像处理模块用于对获取的视频图像信息进行存储和分析处理，通过对获取的视频图像信息进行抽帧转换为数字图像，并进行预处理转化为高清数字图像，提取巡检人员眼球的虹膜特征信息发送至交互模块获取授权，以及授权后计算获取巡检人员眼球视线在前置视频图像中的坐标位置信息，并发送至交互模块获取虚拟画面信息，以及计算巡检人员手势在相对应的虚拟画面中的坐标位置信息，并发送至交互模块进行相应的虚拟画面信息的操作；以及所述交互模块用于对获取的虹膜特征信息、坐标位置信息以及语音信息进行分析处理；

所述北斗全球定位系统与所述头戴式AR眼镜无线连接，用于对头戴式AR眼镜进行实时定位，并将获取的实时定位信息发送至头戴式AR眼镜和巡检管理后台；

所述巡检管理后台用于对矿下目标巡检对象中的仪器设备的监测数据进行采集和处理，并对故障信息进行标记；所述巡检管理后台还用于根据矿下安全隐患排查计划生成矿下巡检任务清单，并发送至头戴式AR眼镜；所述巡检管理后台还用于与头戴式AR眼镜的巡检人员进行视频通话，对矿下巡检问题进行远程协助解决。

进一步地，所述拍摄模块设置有眼球追踪摄像头、普通摄像头、扩展内窥镜以及红外热成像摄像头；所述眼球追踪摄像头用于对巡检人员的眼球动作进行拍摄，获取巡检人员眼球的前置视频图像；所述普通摄像头用于对矿下巡检现场环境和巡检人员手势进行实时拍摄；所述扩展内窥镜用于对目标巡检对象用肉眼不易查看或者普通摄像头不易查看的位置画面进行拍摄；所述红外热成像摄像头用于通过采用红外热成像技术探测目标巡检对象的红外辐射，并通过光电转化和信号处理获取带有温度分布的前置视频图像。

进一步地，所述交互模块对获取的虹膜特征信息与存储中的授权虹膜特征信息进行比对，计算相似度，预设相似度阈值，若计算的相似度大于等于预设相似度阈值，则交互模块控制头戴式AR眼镜对巡检人员授权。

进一步地，所述交互模块根据获取的巡检人员眼球视线在前置视频图像中的坐标位置信息，根据智能识别技术获取对应坐标位置的物体识别信息；若该物体识别信息为仪器设备的二维码识别信息，则交互模块通过通信模块将获取的二维码识别信息发送至巡检管理后台获取当前二维码所对应的仪器设备的监测信息，并转化为虚拟画面信息发送至显示模块进行显示，同时将监测信息发送至任务清单模块，任务清单模块根据巡检任务记录表的模板格式进行自动填充；

若当前仪器设备无二维码，或者未从巡检管理后台获取监测信息，则通过将对应坐标位置的物体高清数字图像输入至由前期根据大量本领域的图像信息训练样本所构建的第一神经网络模型，输出对应的物体识别信息；并转化为虚拟画面信息发送至显示模块进行显示，同时将监测信息发送至任务清单模块，任务清单模块根据巡检任务记录表的模板格式进行自动填充；

所述交互模块还根据巡检管理后台对监测信息是否故障的判断，若出现监测信息为故障信息，则输出预警信息至显示模块，由巡检人员前往查看和检修；其中，若巡检人员无法解决，则巡检人员通过通信模块连接巡检管理后台进行第一视角的视频通话，协助巡检人员进行解决故障问题。

进一步地，交互模块根据获取的巡检人员手势在相对应的虚拟画面中的坐标位置信息，输出对应的操控信息。

进一步地，交互模块对获取的语音信息进行预处理，转化为清晰语音，并输入至由前期根据大量语音数据训练样本所建立的第二神经网络模型，输出对应的操控信息。

进一步地，一种基于AR技术的矿下巡检方法，根据所述的一种基于AR技术的矿下巡检系统，包括：

步骤一：巡检管理后台根据矿下安全隐患排查计划发送矿下巡检任务清单至对应巡检人员的头戴式AR眼镜中的任务清单模块；

步骤二：巡检人员通过眼球移动追踪摄像头、图像处理模块以及交互模块获取所属头戴式AR眼镜的授权，并根据任务清单模块和显示模块查看矿下巡检任务清单；

步骤三：巡检人员根据矿下巡检任务清单中的巡检任务路线进行移动，并采用拍摄模块对目标巡查对象进行拍摄，通过图像处理模块和交互模块生成巡检现场的虚拟画面信息，并通过手势或者语音对虚拟画面进行操控；

步骤四：巡检人员通过通信模块从巡检管控后台获取目标巡检对象的监测信息，在任务清单模块进行巡检任务记录表的填充；若出现不能解决的巡检问题，则通过通信模块连接巡检管理后台进行第一视角的视频通话获取协助。

与现有技术相比，本发明的有益效果是：

本发明中的头戴式AR眼镜通过安全防护模块对巡检人员的头部进行防护；通过任务清单模块从巡检管理后台获取当前巡检人员的矿下巡检任务清单，还根据巡检任务记录表的模板格式进行获取的巡检信息的自动填充；通过通信模块与巡检管理后台通过通信网络无线连接；通过定位模块与北斗全球定位系统连接对头戴式AR眼镜进行实时定位；通过显示模块对虚实画面信息进行显示；通过拍摄模块拍摄矿下巡检现场环境和巡检人员手势的后置画面信息和巡检人员眼球动作的前置画面信息，并发送至图像处理模块进行分析处理，以及将获取的巡检现场环境的后置画面信息发送至显示模块进行显示；通过语音采集模块对巡检人员的语音进行采集，并将获取的语音信息发送至交互模块；通过图像处理模块对获取的视频图像信息进行存储和分析处理，具体地，图像处理模块对获取的视频图像信息进行抽帧转换为数字图像，并进行预处理转化为高清数字图像，提取巡检人员眼球的虹膜特征信息发送至交互模块获取授权，以及授权后计算获取巡检人员眼球视线在前置视频图像中的坐标位置信息，并发送至交互模块获取虚拟画面信息，以及计算巡检人员手势在相对应的虚拟画面中的坐标位置信息，并发送至交互模块进行相应的虚拟画面信息的操作；交互模块对获取的虹膜特征信息、坐标位置信息以及语音信息进行分情况分析处理；提供了巡检人员一个智能化的矿下巡检设备，提高了矿下巡检的工作效率。

附图说明

图1为本发明的系统结构示意图；

图2为本发明的方法流程示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种基于AR技术的矿下巡检系统，包括：头戴式AR眼镜、北斗全球定位系统以及巡检管理后台；

在本申请中，所述头戴式AR眼镜包括安全防护模块、任务清单模块、通信模块、定位模块、显示模块、拍摄模块、语音采集模块、图像处理模块以及交互模块；

所述安全防护模块用于防护巡检人员头部不受伤害，物理结构为安全头盔；

所述任务清单模块用于通过通信模块从巡检管理后台获取当前巡检人员的矿下巡检任务清单，其中矿下巡检任务包括目标巡检对象信息、巡检任务路线信息以及巡检人员信息等；所述任务清单模块还根据巡检任务记录表的模板格式进行获取的巡检信息的自动填充；

所述通信模块与巡检管理后台通过通信网络无线连接，通信网络可以为WIFI、4G、5G等；

所述定位模块用于对头戴式AR眼镜的实时位置信息进行获取；具体地，所述定位模块与北斗全球定位系统无线连接，从而获取当前头戴式AR眼镜的实时位置信息，并与当前巡检任务路线所在地图进行结合，发送至显示模块进行显示；并通过北斗全球定位系统将当前头戴式AR眼镜的实时位置信息发送至巡检管理后台；

所述显示模块采用双目衍射光波导显示技术，对虚实画面信息进行显示；

所述拍摄模块用于拍摄矿下巡检现场环境和巡检人员手势的后置画面信息和巡检人员眼球动作的前置画面信息，并发送至图像处理模块进行分析处理，以及将获取的巡检现场环境的后置画面信息发送至显示模块进行显示；所述拍摄模块设置有眼球追踪摄像头、普通摄像头、扩展内窥镜、红外热成像摄像头等；其中，所述眼球追踪摄像头用于对巡检人员的眼球动作进行拍摄，获取巡检人员眼球的前置视频图像，并发送至图像处理模块进行分析处理；所述普通摄像头用于对矿下巡检现场环境和巡检人员手势进行实时拍摄，并发送至图像处理模块，并将获取的矿下巡检现场环境的后置视频图像信息发送至显示模块；所述扩展内窥镜用于对目标巡检对象用肉眼不易查看或者普通摄像头不易查看的位置画面进行拍摄，并发送至图像处理模块和显示模块；所述红外热成像摄像头用于通过采用红外热成像技术探测目标巡检对象的红外辐射，并通过光电转化和信号处理获取带有温度分布的前置视频图像，并发送至图像处理模块和显示模块；

语音采集模块用于对巡检人员的语音进行采集，并将获取的语音信息发送至交互模块进行处理；

所述图像处理模块用于对获取的视频图像信息进行存储和分析处理；具体处理过程如下：

步骤S1：图像处理模块将获取的视频图像信息进行抽帧处理，转化为数字图像进行预处理，从而获取高清数字图像；

步骤S2：图像处理模块对巡检人员眼球的前置高清数字图像进行虹膜特征信息提取，并发送至交互模块获取授权；

步骤S3：授权后，图像处理模块将从普通摄像头、扩展内窥镜以及红外热成像摄像头获取的后置视频图像与巡检人员眼球动作的前置视频图像进行结合，在不同帧视频图像中，计算获取巡检人员眼球视线在前置视频图像中的坐标位置信息，并发送至交互模块获取虚拟画面信息；

步骤S4：所述图像处理模块计算巡检人员手势在相对应的虚拟画面中的坐标位置信息，并发送至交互模块进行相应的虚拟画面信息的操作；

所述交互模块用于对获取的虹膜特征信息、坐标位置信息以及语音信息进行分析处理；包括以下交互情形：

情形一：交互模块对获取的虹膜特征信息与存储中的授权虹膜特征信息进行比对，计算相似度，预设相似度阈值，若计算的相似度大于等于预设相似度阈值，则交互模块控制头戴式AR眼镜对巡检人员授权；

情形二：授权后，交互模块根据获取的巡检人员眼球视线在前置视频图像中的坐标位置信息，根据智能识别技术获取对应坐标位置的物体识别信息；若该物体识别信息为仪器设备的二维码识别信息，则交互模块通过通信模块将获取的二维码识别信息发送至巡检管理后台获取当前二维码所对应的仪器设备的监测信息，并转化为虚拟画面信息发送至显示模块进行显示，同时将监测信息发送至任务清单模块，任务清单模块根据巡检任务记录表的模板格式进行自动填充；

若当前仪器设备无二维码，或者未从巡检管理后台获取监测信息，则通过将对应坐标位置的物体高清数字图像输入至由前期根据大量本领域的图像信息训练样本所构建的第一神经网络模型，输出对应的物体识别信息；如输出目标巡检仪器设备中指针式、数显式、液位式等多类型的关键数据，并转化为虚拟画面信息发送至显示模块进行显示，同时将监测信息发送至任务清单模块，任务清单模块根据巡检任务记录表的模板格式进行自动填充；

同时，根据巡检管理后台对监测信息是否故障的判断，若出现监测信息为故障信息，则交互模块输出预警信息至显示模块，由巡检人员前往查看和检修；其中，若巡检人员无法解决，则巡检人员通过通信模块连接巡检管理后台进行第一视角的视频通话，协助巡检人员进行解决故障问题；

情形三：交互模块根据获取的巡检人员手势在相对应的虚拟画面中的坐标位置信息，输出对应的操控信息；

情形四：交互模块对获取的语音信息进行预处理，转化为清晰语音，并输入至由前期根据大量语音数据训练样本所建立的第二神经网络模型，输出对应的操控信息；

在本申请中，所述巡检管理后台用于对矿下目标巡检对象中的仪器设备的监测数据进行采集和处理，并对故障信息进行标记；

所述巡检管理后台还用于根据矿下安全隐患排查计划生成矿下巡检任务清单，并发送至对应的巡检人员的头戴式AR眼镜中的任务清单模块；

所述巡检管理后台还用于与头戴式AR眼镜的巡检人员进行视频通话，对矿下巡检问题进行远程协助解决；

如图2所示，一种基于AR技术的矿下巡检方法，应用于一种基于AR技术的矿下巡检系统；包括以下步骤：

步骤一：巡检管理后台根据矿下安全隐患排查计划发送矿下巡检任务清单至对应巡检人员的头戴式AR眼镜中的任务清单模块；

步骤二：巡检人员通过眼球移动追踪摄像头、图像处理模块以及交互模块获取所属头戴式AR眼镜的授权，并根据任务清单模块和显示模块查看矿下巡检任务清单；

步骤三：巡检人员根据矿下巡检任务清单中的巡检任务路线进行移动，并采用拍摄模块对目标巡查对象进行拍摄，通过图像处理模块和交互模块生成巡检现场的虚拟画面信息，并通过手势或者语音对虚拟画面进行操控；

步骤四：巡检人员通过通信模块从巡检管控后台获取目标巡检对象的监测信息，在任务清单模块进行巡检任务记录表的填充；若出现不能解决的巡检问题，则通过通信模块连接巡检管理后台进行第一视角的视频通话获取协助。

在本发明所提供的实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方法的目的。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (7)

1.一种基于AR技术的矿下巡检系统，其特征在于，包括：头戴式AR眼镜、北斗全球定位系统以及巡检管理后台；

所述头戴式AR眼镜设置有安全防护模块、任务清单模块、通信模块、定位模块、显示模块、拍摄模块、语音采集模块、图像处理模块以及交互模块；所述安全防护模块用于对巡检人员的头部进行防护；所述任务清单模块用于从巡检管理后台获取当前巡检人员的矿下巡检任务清单，还根据巡检任务记录表的模板格式进行获取的巡检信息的自动填充；所述通信模块与巡检管理后台通过通信网络无线连接；所述定位模块用于通过北斗全球定位系统对头戴式AR眼镜进行实时定位；所述显示模块采用双目衍射光波导显示技术，对虚实画面信息进行显示；所述拍摄模块用于拍摄矿下巡检现场环境和巡检人员手势的后置画面信息和巡检人员眼球动作的前置画面信息，并发送至图像处理模块进行分析处理，以及将获取的巡检现场环境的后置画面信息发送至显示模块进行显示；所述语音采集模块用于对巡检人员的语音进行采集，并将获取的语音信息发送至交互模块；所述图像处理模块用于对获取的视频图像信息进行存储和分析处理，通过对获取的视频图像信息进行抽帧转换为数字图像，并进行预处理转化为高清数字图像，提取巡检人员眼球的虹膜特征信息发送至交互模块获取授权，以及授权后计算获取巡检人员眼球视线在前置视频图像中的坐标位置信息，并发送至交互模块获取虚拟画面信息，以及计算巡检人员手势在相对应的虚拟画面中的坐标位置信息，并发送至交互模块进行相应的虚拟画面信息的操作；以及所述交互模块用于对获取的虹膜特征信息、坐标位置信息以及语音信息进行分析处理；

所述北斗全球定位系统与所述头戴式AR眼镜无线连接，用于对头戴式AR眼镜进行实时定位，并将获取的实时定位信息发送至头戴式AR眼镜和巡检管理后台；

所述巡检管理后台用于对矿下目标巡检对象中的仪器设备的监测数据进行采集和处理，并对故障信息进行标记；所述巡检管理后台还用于根据矿下安全隐患排查计划生成矿下巡检任务清单，并发送至头戴式AR眼镜；所述巡检管理后台还用于与头戴式AR眼镜的巡检人员进行视频通话，对矿下巡检问题进行远程协助解决。

2.根据权利要求1所述的一种基于AR技术的矿下巡检系统，其特征在于，所述拍摄模块设置有眼球追踪摄像头、普通摄像头、扩展内窥镜以及红外热成像摄像头；所述眼球追踪摄像头用于对巡检人员的眼球动作进行拍摄，获取巡检人员眼球的前置视频图像；所述普通摄像头用于对矿下巡检现场环境和巡检人员手势进行实时拍摄；所述扩展内窥镜用于对目标巡检对象用肉眼不易查看或者普通摄像头不易查看的位置画面进行拍摄；所述红外热成像摄像头用于通过采用红外热成像技术探测目标巡检对象的红外辐射，并通过光电转化和信号处理获取带有温度分布的前置视频图像。

3.根据权利要求1所述的一种基于AR技术的矿下巡检系统，其特征在于，所述交互模块对获取的虹膜特征信息与存储中的授权虹膜特征信息进行比对，计算相似度，预设相似度阈值，若计算的相似度大于等于预设相似度阈值，则交互模块控制头戴式AR眼镜对巡检人员授权。

4.根据权利要求1所述的一种基于AR技术的矿下巡检系统，其特征在于，所述交互模块根据获取的巡检人员眼球视线在前置视频图像中的坐标位置信息，根据智能识别技术获取对应坐标位置的物体识别信息；若该物体识别信息为仪器设备的二维码识别信息，则交互模块通过通信模块将获取的二维码识别信息发送至巡检管理后台获取当前二维码所对应的仪器设备的监测信息，并转化为虚拟画面信息发送至显示模块进行显示，同时将监测信息发送至任务清单模块，任务清单模块根据巡检任务记录表的模板格式进行自动填充；

若当前仪器设备无二维码，或者未从巡检管理后台获取监测信息，则通过将对应坐标位置的物体高清数字图像输入至由前期根据大量本领域的图像信息训练样本所构建的第一神经网络模型，输出对应的物体识别信息；并转化为虚拟画面信息发送至显示模块进行显示，同时将监测信息发送至任务清单模块，任务清单模块根据巡检任务记录表的模板格式进行自动填充；

所述交互模块还根据巡检管理后台对监测信息是否故障的判断，若出现监测信息为故障信息，则输出预警信息至显示模块，由巡检人员前往查看和检修；其中，若巡检人员无法解决，则巡检人员通过通信模块连接巡检管理后台进行第一视角的视频通话，协助巡检人员进行解决故障问题。

5.根据权利要求1所述的一种基于AR技术的矿下巡检系统，其特征在于，交互模块根据获取的巡检人员手势在相对应的虚拟画面中的坐标位置信息，输出对应的操控信息。

6.根据权利要求1所述的一种基于AR技术的矿下巡检系统，其特征在于，交互模块对获取的语音信息进行预处理，转化为清晰语音，并输入至由前期根据大量语音数据训练样本所建立的第二神经网络模型，输出对应的操控信息。

7.一种基于AR技术的矿下巡检方法，根据权利要求1-6任意一项所述的一种基于AR技术的矿下巡检系统，其特征在于，包括：

步骤一：巡检管理后台根据矿下安全隐患排查计划发送矿下巡检任务清单至对应巡检人员的头戴式AR眼镜中的任务清单模块；

步骤二：巡检人员通过眼球移动追踪摄像头、图像处理模块以及交互模块获取所属头戴式AR眼镜的授权，并根据任务清单模块和显示模块查看矿下巡检任务清单；

步骤三：巡检人员根据矿下巡检任务清单中的巡检任务路线进行移动，并采用拍摄模块对目标巡查对象进行拍摄，通过图像处理模块和交互模块生成巡检现场的虚拟画面信息，并通过手势或者语音对虚拟画面进行操控；

步骤四：巡检人员通过通信模块从巡检管控后台获取目标巡检对象的监测信息，在任务清单模块进行巡检任务记录表的填充；若出现不能解决的巡检问题，则通过通信模块连接巡检管理后台进行第一视角的视频通话获取协助。

Images