CN116357358A - 一种钻锚机器人远程控制系统及方法 - Google Patents

一种钻锚机器人远程控制系统及方法 Download PDF

Info

Publication number
CN116357358A
CN116357358A CN202310298264.9A CN202310298264A CN116357358A CN 116357358 A CN116357358 A CN 116357358A CN 202310298264 A CN202310298264 A CN 202310298264A CN 116357358 A CN116357358 A CN 116357358A
Authority
CN
China
Prior art keywords
drilling
robot
real
anchoring robot
anchoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310298264.9A
Other languages
English (en)
Inventor
张旭辉
王悦
雷孟宇
万继成
余恒翰
康乐
迟云凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202310298264.9A priority Critical patent/CN116357358A/zh
Publication of CN116357358A publication Critical patent/CN116357358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
    • E21D20/00—Setting anchoring-bolts
    • E21D20/003—Machines for drilling anchor holes and setting anchor bolts
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21B—EARTH OR ROCK DRILLING; OBTAINING OIL, GAS, WATER, SOLUBLE OR MELTABLE MATERIALS OR A SLURRY OF MINERALS FROM WELLS
    • E21B44/00—Automatic control systems specially adapted for drilling operations, i.e. self-operating systems which function to carry out or modify a drilling operation without intervention of a human operator, e.g. computer-controlled drilling systems; Systems specially adapted for monitoring a plurality of drilling variables or conditions
    • E21B44/02—Automatic control of the tool feed
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21F—SAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
    • E21F17/00—Methods or devices for use in mines or tunnels, not covered elsewhere
    • E21F17/18—Special adaptations of signalling or alarm devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Fluid Mechanics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种钻锚机器人远程控制系统及方法，涉及机器人控制领域。钻锚机器人定位模块实时采集真实钻锚机器人的第一位置信息；钻臂位姿模块实时采集真实钻臂的第二位置信息和姿态信息；数据库存储第一位置信息，第二位置信息和姿态信息作为历史数据；工作面仿真模块确定仿真矿山工作面；虚拟交互平台根据数据库构建虚拟钻锚机器人样机；钻锚机器人虚拟远程操作平台根据实时采集的设备状态在虚拟矿山场景中动态显示虚拟钻锚机器人样机和发送控制指令；控制指令指示真实钻锚机器人下一时刻的设备状态；执行机构模块根据控制指令改变设备状态。本发明提高了钻锚机器人支护的安全性和效率，降低了支护人员的劳动强度。

Description

一种钻锚机器人远程控制系统及方法
技术领域
本发明涉及机器人控制技术领域，特别是涉及一种钻锚机器人远程控制系统及方法。
背景技术
目前，煤矿钻锚机器人的支护仍然以人工为主，人工支护存在劳动强度大、工作环境差、支护效率低、安全风险大等问题。为了提高人工支护的安全性和效率，降低支护人员的劳动强度，迫切需要远程控制钻锚机器人代替人工进行支护。
发明内容
本发明实施例的目的是提供一种钻锚机器人远程控制系统及方法，以提高钻锚机器人支护的安全性和效率，降低支护人员的劳动强度。
为实现上述目的，本发明实施例提供了如下方案：
一种钻锚机器人远程控制系统，包括：
钻锚机器人定位模块，用于实时采集真实钻锚机器人的第一位置信息；
钻臂位姿模块，用于实时采集真实钻臂的第二位置信息和姿态信息；所述真实钻臂属于所述真实钻锚机器人；
数据库，至少用于存储所述钻锚机器人定位模块和钻臂位姿模块采集的信息作为历史数据；
工作面仿真模块，用于确定仿真矿山工作面；
虚拟交互平台，分别与所述钻锚机器人定位模块，所述钻臂位姿模块，所述数据库和所述工作面仿真模块连接，用于：
根据所述数据库构建虚拟钻锚机器人样机；所述虚拟钻锚机器人样机为真实钻锚机器人的虚拟仿真模型；
根据所述仿真矿山工作面和矿山地理信息构建虚拟矿山场景；
钻锚机器人虚拟远程操作平台，用于：
根据实时采集的设备状态，在所述虚拟矿山场景中动态显示所述虚拟钻锚机器人样机，以令所述真实钻锚机器人与所述虚拟钻锚机器人样机同步运动；
发送控制指令；所述控制指令用于指示所述真实钻锚机器人下一时刻的设备状态；所述控制指令由所述钻锚机器人虚拟远程操作平台根据实时采集的所述第一位置信息、所述第二位置信息和所述姿态信息生成；或者，所述控制指令由用户发送至所述钻锚机器人虚拟远程操作平台；
执行机构模块，与所述钻锚机器人虚拟远程操作平台连接，用于根据所述控制指令改变所述真实钻锚机器人的设备状态；
所述设备状态包括：所述真实钻锚机器人的第一位置信息、所述真实钻臂的第二位置信息和姿态信息中的至少一种。
可选地，还包括云端服务器，用于支持用户与所述钻锚机器人虚拟远程操作平台通过预设通讯协议交互。
可选地，所述工作面仿真模块包括：
激光雷达，用于扫描真实的矿山工作面，得到矿山工作面信息；
钻孔识别定位模块，用于识别所述矿山工作面上的钻孔并获取钻孔的位置信息；
生成模块，用于根据所述矿山工作面信息和所述钻孔的位置信息生成所述仿真矿山工作面。
可选地，所述钻锚机器人虚拟远程操作平台还用于：
实时获取所述真实钻锚机器人的视频信息。
可选地，所述执行机构模块还用于检测所述真实钻锚机器人的工作状态；所述工作状态包括：所述真实钻锚机器人的启动状态，所述真实钻锚机器人的停止状态和所述真实钻锚机器人的通信状态。
一种钻锚机器人远程控制方法，包括：
实时采集真实钻锚机器人的第一位置信息；
实时采集真实钻臂的第二位置信息和姿态信息；所述真实钻臂属于所述真实钻锚机器人；
存储所述钻锚机器人定位模块和钻臂位姿模块采集的信息作为历史数据；
获取仿真矿山工作面；
根据所述历史数据构建虚拟钻锚机器人样机；所述虚拟钻锚机器人样机为真实钻锚机器人的虚拟仿真模型；
根据所述仿真矿山工作面和矿山地理信息构建虚拟矿山场景；
根据实时采集的设备状态，在所述虚拟矿山场景中动态显示所述虚拟钻锚机器人样机，以令所述真实钻锚机器人与所述虚拟钻锚机器人样机同步运动；
根据实时采集的设备状态控制所述真实钻锚机器人下一时刻的设备状态；或者，根据用户的控制指令，控制所述真实钻锚机器人下一时刻的设备状态；
所述设备状态包括：所述真实钻锚机器人的第一位置信息、所述真实钻臂的第二位置信息和姿态信息中的至少一种。
可选地，还包括：所述用户与所述钻锚机器人虚拟远程操作平台之间通过云端服务器及预设通讯协议相交互。
可选地，所述获取仿真矿山工作面包括：
扫描真实的矿山工作面，得到矿山工作面信息；
识别所述矿山工作面上的钻孔并获取钻孔的位置信息；
根据所述矿山工作面信息和所述钻孔的位置信息生成所述仿真矿山工作面。
可选地，还包括：
实时获取所述真实钻锚机器人的视频信息。
可选地，还包括：检测所述真实钻锚机器人的工作状态；所述工作状态包括：所述真实钻锚机器人的启动状态，所述真实钻锚机器人的停止状态和所述真实钻锚机器人的通信状态。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一项中执行机构模块所执行的操作。
可见，在本发明实施例中，可获取真实钻锚机器人的实时设备状态，并基于实时设备状态在虚拟矿山场景中动态显示虚拟机器人样机，令真实钻锚机器人与虚拟钻锚机器人样机同步运动，这样，支护人员不必去矿山现场即可通过同步运动的虚拟钻锚机器人样机，了解真实钻锚机器人的实时设备状态。同时，平台可根据实时采集的设备状态生成控制指令，或接收用户输入的控制指令，以控制真实钻锚机器人下一时刻的设备状态，实现对真实钻锚机器的远程控制。因此，本发明实施例所提供的技术方案保障了支护人员的人身安全，实现了远程控制真实钻锚机器人的支护，提高了真实钻锚机器人支护的安全性和效率，降低支护人员的劳动强度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的钻锚机器人远程控制系统的结构示意图；
图2为本发明实施例提供的工作面仿真模块的结构示意图；
图3为本发明实施例提供的钻锚机器人远程控制方法的流程示意图。
符号说明：
钻锚机器人定位模块-1，钻臂位姿模块-2，数据库-3，工作面仿真模块-4，激光雷达-41，钻孔识别定位模块-42，生成模块-43，虚拟交互平台-5，钻锚机器人虚拟远程操作平台-6，执行机构模块-7，云端服务器-8。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种钻锚机器人远程控制系统及方法，解决钻锚机器人支护的安全性和效率低，支护人员的劳动强度大的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1示出了上述钻锚机器人远程控制系统的一种示例性结构，至少包括钻锚机器人定位模块1，钻臂位姿模块2，数据库3，工作面仿真模块4，虚拟交互平台5，钻锚机器人虚拟远程操作平台6和执行机构模块7。下面详细介绍各部分。
钻锚机器人定位模块1用于实时采集真实钻锚机器人的第一位置信息。
在一个示例中，钻锚机器人定位模块1具体包括雷达单元和超宽带(UWB)单元，钻锚机器人定位模块1采用雷达定位模式与超宽带测距、定位模式相融合的定位模式。
雷达单元的雷达定位模式具体为：在定时器控制下，通过发射机产生高频大功率的脉冲串，脉冲串通过收发开关到达定向天线，定向天线将脉冲串以电磁波形式向外辐射。在定向天线控制器的控制下，电磁波按照指定方向进行空间扫描。当电磁波扫描到钻锚机器人上时，钻锚机器人产生的二次散射电磁波的一部分到达定向天线，定向天线接收二次散射电磁波后经收发开关至接收机，接收机将二次散射电磁波进行放大、混频和检波处理后，再将处理后二次散射电磁波发送到终端设备，得到钻锚机器人位置信息X。
超宽带单元的超宽带测距模式具体为：采用双向飞行时间法通过测量脉冲信号在两个钻锚机器人之间的飞行时间之差来测量两个钻锚机器人间的距离。两个钻锚机器人为钻锚机器人A和钻锚机器人B。双向飞行时间法从每个钻锚机器人启动开始即会生成一条独立的时间戳，每个模块的独立时间戳是相同的。钻锚机器人A在其时间戳上的TA1时刻发射请求性质的脉冲信号，钻锚机器人B在自己的时间戳上的TB1时刻接收到钻锚机器人A发送的请求性质脉冲信号，同时钻锚机器人B在TB2时刻发射一个响应性质的脉冲信号，钻锚机器人A在自己的时间戳上的TA2时刻接收响应性质的脉冲信号，由此可以计算出脉冲信号在两个钻锚机器人之间的飞行时间，从而确定两个钻锚机器人之间的距离D。具体公式如下：
D＝[(TA2-TA1)-(TB2-TB1)]/2*c，其中c为光速。
超宽带单元的超宽带定位模式(TDOA)具体为：采用时间差进行定位。利用多个基站接收到同一模块的脉冲信号的时间差来确定钻锚机器人位置信息Y，不需要检测脉冲信号的传输时间，超宽带单元对传输时间同步性的要求大大降低。
雷达定位模式与超宽带测距、定位模式通过卡尔曼滤波器进行融合，增加了钻锚机器人定位模块1的定位精准度，具体包括：
统一时间与坐标系：在进行融合之前，要进行时间同步与坐标系的统一，在坐标轴上把各个钻锚机器人的时间戳在初始时刻对齐，以定向天线为核心，定向天线每收到一次脉冲信号，就以当前脉冲信号采集时刻作为要插入的时间戳。
数据初始化：将钻锚机器人位置信息X，两个钻锚机器人之间的距离D和钻锚机器人位置信息Y进行初始化，得到初始化后的定位数据。
预测更新：以k-1时刻的最优状态的初始化后的定位数据对k时刻的状态进行预测估计，获得对k时刻状态估计的定位数据。k为时间戳上的任一时刻。
测量更新：将k时刻状态估计的定位数据与k时刻状态的定位数据通过卡尔曼滤波进行修正，最终得到真实钻锚机器人的第一位置信息。
钻臂位姿模块2用于实时采集真实钻臂的第二位置信息和姿态信息；真实钻臂属于真实钻锚机器人。
在一个示例中，钻臂位姿模块2采用深度相机获取真实钻臂的点云图像信息，对点云图像信息进行滤波处理，提高点云图像信息的信噪比，去除点云图像信息不需要的噪点得到降噪后的点云图像信息，然后对降噪后的点云图像信息进行粗配准与精配准，得到真实钻臂的第二位置信息和姿态信息。
精配准采用ICP算法。因为单次获取的降噪后的点云图像信息得不到完整的真实钻臂的第二位置信息和姿态信息，所以要经过多次的不同角度获取多组降噪后的点云图像信息。找到相邻的两组降噪后的点云图像信息集合中距离最近的点作为匹配点(一组降噪后的点云图像信息集合中的一个点与另一组降噪后的点云图像信息集合中的一个点距离最近)，根据变换关系来计算距离最近的点对真实钻臂经过姿态变换之后的误差，具体公式如下：
Figure BDA0004144158510000071
其中，E(R,t)为误差函数，pi为一组降噪后的点云图像信息集合P中的一个点，n为匹配点个数，R为第二位置信息和姿态信息的转换矩阵，t为第二位置信息和姿态信息的平移矩阵，qi为另一组降噪后的点云图像信息集合Q中与pi距离最近的点。
经过不断迭代直至误差小于阈值或者达到迭代次数来确定最终的姿态变换关系，以得出第二位置信息和姿态信息。
数据库3至少用于存储钻锚机器人定位模块1和钻臂位姿模块2采集的信息作为历史数据。
在一个示例中，数据库3具体可以为储存卡，SD卡或者服务器。例如，储存卡可以存储钻锚机器人定位模块1的第一位置信息和钻臂位姿模块2采集的第二位置信息和姿态信息作为历史数据。
工作面仿真模块4用于确定仿真矿山工作面。
在一个示例中，工作面仿真模块4获取矿山工作面数据，然后确定仿真矿山工作面。
虚拟交互平台5分别与钻锚机器人定位模块1，钻臂位姿模块2，数据库3和工作面仿真模块4连接，虚拟交互平台5用于：
根据数据库3构建虚拟钻锚机器人样机；虚拟钻锚机器人样机为真实钻锚机器人的虚拟仿真模型；
根据仿真矿山工作面和矿山地理信息构建虚拟矿山场景。
在一个示例中，虚拟交互平台5根据数据库3中的历史数据构建出虚拟钻锚机器人样机。虚拟交互平台5根据矿山工作面数据和矿山地理信息构建出虚拟矿山场景。虚拟交互平台5具体可以为unity3D软件。
钻锚机器人虚拟远程操作平台6用于：
根据实时采集的设备状态，在虚拟矿山场景中动态显示虚拟钻锚机器人样机，以令真实钻锚机器人与虚拟钻锚机器人样机同步运动；
发送控制指令；控制指令用于指示真实钻锚机器人下一时刻的设备状态；控制指令由钻锚机器人虚拟远程操作平台6根据实时采集的第一位置信息、第二位置信息和姿态信息生成；或者，控制指令由用户发送至钻锚机器人虚拟远程操作平台。
在一个示例中，钻锚机器人虚拟远程操作平台6具体可由unity3D软件构建。钻锚机器人虚拟远程操作平台6实时采集位于矿山工作面下的真实钻锚机器人的设备状态(第一位置信息、第二位置信息和姿态信息)，设备状态实时反馈至虚拟交互平台5，虚拟钻锚机器人样机跟随矿山工作面下的真实钻锚机器人同步运动。
在另一个示例中，钻锚机器人虚拟远程操作平台6向位于矿山工作面下的真实钻锚机器人发送控制指令，控制指令通过虚拟现实数据接口(位于钻锚机器人虚拟远程操作平台6)进行传输并分类存入数据库3。控制指令可以由钻锚机器人虚拟远程操作平台6根据实时采集的第一位置信息、第二位置信息和姿态信息生成。控制指令也可以由用户发送至钻锚机器人虚拟远程操作平台6。
执行机构模块7与钻锚机器人虚拟远程操作平台6连接，执行机构模块7用于根据控制指令改变真实钻锚机器人的设备状态。
设备状态包括：真实钻锚机器人的第一位置信息、真实钻臂的第二位置信息和姿态信息中的至少一种。
在一个示例中，钻锚机器人虚拟远程操作平台6发送的控制指令存入数据库3中，虚拟交互平台5读取数据库3中的控制指令，将控制指令通过以太网发送给执行机构模块7，执行机构模块7根据控制指令驱动矿山工作面下的真实钻锚机器人运动。同时，钻锚机器人虚拟远程操作平台6发送的控制指令驱动虚拟钻锚机器人样机运动，实现虚拟钻锚机器人样机与矿山工作面下的真实钻锚机器人同步动作。
在另一个示例中，可以分别通过执行机构模块7和钻锚机器人虚拟远程操作平台6调整矿山工作面下的真实钻锚机器人设备状态。执行机构模块7直接控制矿山工作面下的真实钻锚机器人进行钻锚作业。执行机构模块7也可获取数据库3中的历史数据。
如果矿山工作面下的真实钻锚机器人进行钻锚作业时出现紧急情况(例如塌方，渗水)，执行机构模块7立即发出警报，并启动紧急停机按钮(真实钻锚机器人停机会保持当前的位置和位姿)，确保真实钻锚机器人在矿山工作面下运行过程中可被实时监控，正常作业。
综上所述，本发明实施例提供的一种钻锚机器人远程控制系统，保障了支护人员的人身安全，实现了远程控制真实钻锚机器人的支护，提高了真实钻锚机器人支护的安全性和效率，降低支护人员的劳动强度。
云端服务器8用于支持用户与钻锚机器人虚拟远程操作平台6通过预设通讯协议交互。
在一个示例中，用户登陆(通过web页面向钻锚机器人虚拟远程操作平台6发送登陆请求，登陆请求包含用户名、密码等等)钻锚机器人虚拟远程操作平台6，钻锚机器人虚拟远程操作平台6在接收到登陆请求后，进行登陆操作，并返回操作界面。云端服务器8会向用户发送操作界面数据，web页面对操作界面数据进行显示。预设通讯协议为MQTT协议通信。MQTT协议通信是基于TCP的长连接，因此钻锚机器人虚拟远程操作平台6与云端服务器8建立TCP长连接，然后由钻锚机器人虚拟远程操作平台6发送MQTT的Connect连接报文创建与云端服务器8的MQTT连接，要保持与云端服务器8的长连接，钻锚机器人虚拟远程操作平台6还要定时发送心跳包。云端服务器8具体可以为阿里云Link Develop平台。
请参见图2，工作面仿真模块4至少包括：激光雷达41，钻孔识别定位模块42和生成模块43。
激光雷达41用于扫描真实的矿山工作面，得到矿山工作面信息。
在一个示例中，首先了解矿山的地理信息和钻锚机器人设备信息，再利用激光雷达41扫描矿山工作面，得到矿山工作面信息。
钻孔识别定位模块42用于识别矿山工作面上的钻孔并获取钻孔的位置信息。
生成模块43用于根据矿山工作面信息和钻孔的位置信息生成仿真矿山工作面。
在一个示例中，生成模块43用于根据矿山工作面信息和钻孔的位置信息生成仿真矿山工作面，钻孔中需要安装锚杆，雷管等等。
钻锚机器人虚拟远程操作平台6还用于实时获取真实钻锚机器人的视频信息，具体包括：
(1)图像采集：通过防爆相机采集真实钻锚机器人进行钻孔的图像。
(2)图像预处理：暗通道先验图像去雾处理。暗通道先验算法具体包括：在绝大多数的图像(非天空图像)内，存在一些RGB三通道中至少一个通道的值非常低的像素点，通道的值几乎为0。造成这个结果的原因有：图像中有房屋等建筑物等造成的阴影区域，颜色鲜艳的物体或本身就比较暗的物体。取图像中像素点的RGB三通道的最小值组成灰度图，灰度图即对图像做最小值滤波。具体公式如下：
Figure BDA0004144158510000101
其中，Ω(x)表示以像素点x为中心的方形窗口，J表示图像，Jdark表示灰度图，Jc表示RGB三通道之一，c为RGB三通道。
透射率计算：对大气散射模型变形，可得
Figure BDA0004144158510000111
其中，在以像素点x为中心的方形窗口Ω(x)中，t(x)表示透射率，当t(x)为一个常数时记为
Figure BDA0004144158510000116
Ic(x)表示图像有雾，Jc(x)表示图像无雾，A表示大气光值，Ac表示RGB三通道之一的大气光值。对等式两端做两次最小值滤波，第一次最小值滤波对等式两端的RGB三通道取最小值；第二次最小值滤波对以像素点x为中心的方形窗口Ω(x)取最小值作为该像素点x的值。第二次最小值滤波具体公式如下：
Figure BDA0004144158510000112
根据暗通道先验算法得到：
Figure BDA0004144158510000113
透射率具体公式如下：
Figure BDA0004144158510000114
为了增强去雾效果，使图像看起来更真实，引入参数w修正透射率，得到修正后的透射率，具体公式如下：
Figure BDA0004144158510000115
其中，w越大，表示去雾效果越好。当w＝0时，透射率恒为1，去雾效果图即为原图像；当w＝1时，表示雾全部去除。为保留图像景深信息，令w＝0.95。
(3)图像复原：根据透射率t(x)和大气光值A，即可得到去雾后的图像，具体公式如下：
Figure BDA0004144158510000121
当t(x)趋近于0时，去雾后图像的像素值趋于无穷大，为了避免这种情况，引入限制透射率的阈值t0。
(4)去雾后图像降噪处理包括：高斯滤波、中值滤波或Faster-RCNN算法。具体如下：
高斯滤波：对去雾后图像进行高斯滤波，因此需要将去雾后图像像素点的RGB三通道的值分别隔离出来进行卷积运算，也即利用去雾后图像单独像素点周边的像素点的RGB三通道的值的均值进行平滑与模糊处理。如果仅仅对去雾后图像单独像素点周边的像素点的RGB三通道的值作以均值处理会使得去雾后图像丢失掉其该有的细节，反而使获取真实钻锚机器人的视频信息更加困难。因此需要在均值上加以权重并取其他单独像素点周边的像素点的RGB三通道的值的加权平均值，最终得到权重像素点矩阵，从而得到降噪处理后图像。
中值滤波：将去雾后图像上的所有像素点均采用方差计算得到局部方差值，局部方差值中的最大值即可将其看作信号值，局部方差值中的最小值即可将其看作噪声值，然后将信号值与噪声值相比并加以修正，得到去雾后图像的信噪比。得到去雾后图像的信噪比之后，只需降低去雾后图像噪声值所占的比值，增大去雾后图像信号值所占的比值，使得信噪比约等于1，即可完成去雾后图像的中值滤波，从而得到降噪处理后图像。
Faster-RCNN算法：此算法可以同时完成去雾后图像的特征提取、检测框回归和分类任务。采用CNN网络提取去雾后图像的特征得到第一特征图；采用RPN网络在去雾后图像上生成候选框，并将候选框投影到第一特征图上得到对应的特征矩阵；特征矩阵采用RolPooling层得到7*7大小的第二特征图，第二特征图输入全连接层对真实钻锚机器人进行识别和分类；在全连接层中利用分类函数来识别第二特征图类别，利用回归函数来获取真实钻锚机器人的精确位置，从而得到降噪处理后图像。
在一个示例中，视频信息至少可用于用户观测真实钻锚机器人的工作状态。
执行机构模块7还用于检测真实钻锚机器人的工作状态；工作状态包括：真实钻锚机器人的启动状态，真实钻锚机器人的停止状态和真实钻锚机器人的通信状态。
在一个示例中，真实钻锚机器人和执行机构模块7启动后，执行机构模块7通过以太网通信完成真实钻锚机器人各系统自检，确保真实钻锚机器人的控制系统(安装在真实钻锚机器人上的控制系统)，通信系统，液压系统，转向系统和动力系统等等能够正常工作。
请参见图3，本发明实施例还包括一种钻锚机器人远程控制方法，包括：
步骤1：实时采集真实钻锚机器人的第一位置信息。
步骤1具体可由前述的钻锚机器人定位模块1执行，具体可参见前述钻锚机器人定位模块1的介绍，在此不作赘述。
步骤2：实时采集真实钻臂的第二位置信息和姿态信息；真实钻臂属于真实钻锚机器人。
步骤2具体可由前述的钻臂位姿模块2执行，具体可参见前述钻臂位姿模块2的介绍，在此不作赘述。
步骤3：存储钻锚机器人定位模块和钻臂位姿模块采集的信息作为历史数据。
步骤3具体可由前述的数据库3执行，具体可参见前述数据库3的介绍，在此不作赘述。
步骤4：获取仿真矿山工作面。
步骤4具体可由前述的工作面仿真模块4执行，具体可参见前述工作面仿真模块4的介绍，在此不作赘述。
步骤5：根据历史数据构建虚拟钻锚机器人样机；虚拟钻锚机器人样机为真实钻锚机器人的虚拟仿真模型。
步骤5具体可由前述的虚拟交互平台5执行，具体可参见前述虚拟交互平台5的介绍，在此不作赘述。
步骤6：根据仿真矿山工作面和矿山地理信息构建虚拟矿山场景。
步骤6具体可由前述的钻锚机器人虚拟远程操作平台6执行，具体可参见前述钻锚机器人虚拟远程操作平台6的介绍，在此不作赘述。
步骤7：根据实时采集的设备状态，在虚拟矿山场景中动态显示虚拟钻锚机器人样机，以令真实钻锚机器人与虚拟钻锚机器人样机同步运动。
步骤7具体可由前述的虚拟交互平台5执行，具体可参见前述虚拟交互平台5的介绍，在此不作赘述。
步骤8：根据实时采集的设备状态控制真实钻锚机器人下一时刻的设备状态；或者，根据用户的控制指令，控制真实钻锚机器人下一时刻的设备状态。
设备状态包括：真实钻锚机器人的第一位置信息、真实钻臂的第二位置信息和姿态信息中的至少一种。
步骤8具体可由前述的执行机构模块7执行，具体可参见前述执行机构模块7的介绍，在此不作赘述。
本发明实施例还包括一种钻锚机器人远程控制方法，还包括：
步骤9：用户与钻锚机器人虚拟远程操作平台6之间通过云端服务器8及预设通讯协议相交互。
步骤9具体可由前述的云端服务器8执行，具体可参见前述云端服务器8的介绍，在此不作赘述。
获取仿真矿山工作面包括：
步骤41：扫描真实的矿山工作面，得到矿山工作面信息。
步骤41具体可由前述的激光雷达41执行，具体可参见前述激光雷达41的介绍，在此不作赘述。
步骤42：识别矿山工作面上的钻孔并获取钻孔的位置信息。
步骤42具体可由前述的钻孔识别定位模块42执行，具体可参见前述钻孔识别定位模块42的介绍，在此不作赘述。
步骤43：根据矿山工作面信息和钻孔的位置信息生成仿真矿山工作面。
步骤43具体可由前述的生成模块43执行，具体可参见前述生成模块43的介绍，在此不作赘述。
本发明实施例还包括一种钻锚机器人远程控制方法，还包括：
步骤10：实时获取真实钻锚机器人的视频信息。
步骤10具体可由前述的钻锚机器人虚拟远程操作平台6执行，具体可参见前述钻锚机器人虚拟远程操作平台6的介绍，在此不作赘述。
本发明实施例还包括一种钻锚机器人远程控制方法，还包括：
步骤11：检测真实钻锚机器人的工作状态；工作状态包括：真实钻锚机器人的启动状态，真实钻锚机器人的停止状态和真实钻锚机器人的通信状态。
步骤11具体可由前述的执行机构模块7执行，具体可参见前述执行机构模块7的介绍，在此不作赘述。
本发明实施例还要求保护一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行执行机构模块7所执行的操作。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明实施例的限制。

Claims (10)

1.一种钻锚机器人远程控制系统，其特征在于，包括：
钻锚机器人定位模块，用于实时采集真实钻锚机器人的第一位置信息；
钻臂位姿模块，用于实时采集真实钻臂的第二位置信息和姿态信息；所述真实钻臂属于所述真实钻锚机器人；
数据库，至少用于存储所述钻锚机器人定位模块和钻臂位姿模块采集的信息作为历史数据；
工作面仿真模块，用于确定仿真矿山工作面；
虚拟交互平台，分别与所述钻锚机器人定位模块，所述钻臂位姿模块，所述数据库和所述工作面仿真模块连接，用于：
根据所述数据库构建虚拟钻锚机器人样机；所述虚拟钻锚机器人样机为真实钻锚机器人的虚拟仿真模型；
根据所述仿真矿山工作面和矿山地理信息构建虚拟矿山场景；
钻锚机器人虚拟远程操作平台，用于：
根据实时采集的设备状态，在所述虚拟矿山场景中动态显示所述虚拟钻锚机器人样机，以令所述真实钻锚机器人与所述虚拟钻锚机器人样机同步运动；
发送控制指令；所述控制指令用于指示所述真实钻锚机器人下一时刻的设备状态；所述控制指令由所述钻锚机器人虚拟远程操作平台根据实时采集的所述第一位置信息、所述第二位置信息和所述姿态信息生成；或者，所述控制指令由用户发送至所述钻锚机器人虚拟远程操作平台；
执行机构模块，与所述钻锚机器人虚拟远程操作平台连接，用于根据所述控制指令改变所述真实钻锚机器人的设备状态；
所述设备状态包括：所述真实钻锚机器人的第一位置信息、所述真实钻臂的第二位置信息和姿态信息中的至少一种。
2.根据权利要求1所述的钻锚机器人远程控制系统，其特征在于，
还包括云端服务器，用于支持用户与所述钻锚机器人虚拟远程操作平台通过预设通讯协议交互。
3.根据权利要求1所述的钻锚机器人远程控制系统，其特征在于，所述工作面仿真模块包括：
激光雷达，用于扫描真实的矿山工作面，得到矿山工作面信息；
钻孔识别定位模块，用于识别所述矿山工作面上的钻孔并获取钻孔的位置信息；
生成模块，用于根据所述矿山工作面信息和所述钻孔的位置信息生成所述仿真矿山工作面。
4.根据权利要求1所述的钻锚机器人远程控制系统，其特征在于，所述钻锚机器人虚拟远程操作平台还用于：
实时获取所述真实钻锚机器人的视频信息。
5.根据权利要求1所述的钻锚机器人远程控制系统，其特征在于，所述执行机构模块还用于检测所述真实钻锚机器人的工作状态；所述工作状态包括：所述真实钻锚机器人的启动状态，所述真实钻锚机器人的停止状态和所述真实钻锚机器人的通信状态。
6.一种钻锚机器人远程控制方法，基于上述权利要求1-5任一项所述的钻锚机器人远程控制系统，其特征在于，包括：
实时采集真实钻锚机器人的第一位置信息；
实时采集真实钻臂的第二位置信息和姿态信息；所述真实钻臂属于所述真实钻锚机器人；
存储所述钻锚机器人定位模块和钻臂位姿模块采集的信息作为历史数据；
获取仿真矿山工作面；
根据所述历史数据构建虚拟钻锚机器人样机；所述虚拟钻锚机器人样机为真实钻锚机器人的虚拟仿真模型；
根据所述仿真矿山工作面和矿山地理信息构建虚拟矿山场景；
根据实时采集的设备状态，在所述虚拟矿山场景中动态显示所述虚拟钻锚机器人样机，以令所述真实钻锚机器人与所述虚拟钻锚机器人样机同步运动；
根据实时采集的设备状态控制所述真实钻锚机器人下一时刻的设备状态；或者，根据用户的控制指令，控制所述真实钻锚机器人下一时刻的设备状态；
所述设备状态包括：所述真实钻锚机器人的第一位置信息、所述真实钻臂的第二位置信息和姿态信息中的至少一种。
7.根据权利要求6所述的钻锚机器人远程控制方法，其特征在于，还包括：所述用户与所述钻锚机器人虚拟远程操作平台之间通过云端服务器及预设通讯协议相交互。
8.根据权利要求6所述的钻锚机器人远程控制方法，其特征在于，所述获取仿真矿山工作面包括：
扫描真实的矿山工作面，得到矿山工作面信息；
识别所述矿山工作面上的钻孔并获取钻孔的位置信息；
根据所述矿山工作面信息和所述钻孔的位置信息生成所述仿真矿山工作面。
9.根据权利要求6所述的钻锚机器人远程控制方法，其特征在于，还包括：
实时获取所述真实钻锚机器人的视频信息。
10.根据权利要求6所述的钻锚机器人远程控制方法，其特征在于，还包括：检测所述真实钻锚机器人的工作状态；所述工作状态包括：所述真实钻锚机器人的启动状态，所述真实钻锚机器人的停止状态和所述真实钻锚机器人的通信状态。
CN202310298264.9A 2023-03-24 2023-03-24 一种钻锚机器人远程控制系统及方法 Pending CN116357358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310298264.9A CN116357358A (zh) 2023-03-24 2023-03-24 一种钻锚机器人远程控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310298264.9A CN116357358A (zh) 2023-03-24 2023-03-24 一种钻锚机器人远程控制系统及方法

Publications (1)

Publication Number Publication Date
CN116357358A true CN116357358A (zh) 2023-06-30

Family

ID=86928261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310298264.9A Pending CN116357358A (zh) 2023-03-24 2023-03-24 一种钻锚机器人远程控制系统及方法

Country Status (1)

Country Link
CN (1) CN116357358A (zh)

Similar Documents

Publication Publication Date Title
JP6879891B2 (ja) 平面セグメントを用いて点群を完成させる方法およびシステム
CN106097304B (zh) 一种无人机实时在线地图生成方法
US8463541B2 (en) Camera-based indoor position recognition apparatus and method
EP3690587B1 (en) Map creation method of mobile robot and mobile robot
CN103926933A (zh) 一种无人飞行器室内同时定位与环境建模方法
CN205210689U (zh) 一种具有高层楼宇清洁功能的智能飞行机器人
CN110988871B (zh) 一种无人机载穿墙雷达高层建筑墙体健康离线检测系统及检测方法
CN110245588A (zh) 一种基于无线射频信号的细粒度人体姿态估计方法
CN109773783B (zh) 一种基于空间点云识别的巡防智能机器人及其警务系统
Kamarudin et al. Method to convert Kinect's 3D depth data to a 2D map for indoor SLAM
CN105373130A (zh) 基于立体建模的特种设备事故现场信息探测系统
CN105516684A (zh) 电网输电线巡视方法
CN112461210A (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
CN112529962A (zh) 一种基于视觉算法的室内空间关键定位技术方法
KR101853127B1 (ko) 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
CN110233667A (zh) 基于均值漂移与无迹卡尔曼滤波的vlc动态定位方法及系统
CN105319991A (zh) 一种基于Kinect视觉信息的机器人环境识别与作业控制方法
CN109945871B (zh) 一种通信带宽与距离受限情况下的多无人平台同步定位与地图构建方法
CN111220999A (zh) 一种基于即时定位与建图技术的受限空间探测系统及方法
CN112967345A (zh) 鱼眼相机的外参标定方法、装置以及系统
CN108253961A (zh) 一种基于imu的轮式机器人定位方法
CN116357358A (zh) 一种钻锚机器人远程控制系统及方法
CN112446923A (zh) 人体三维姿态估计方法、装置、电子设备及存储介质
CN112486172A (zh) 道路边缘检测方法及机器人
CN114425133B (zh) 一种室内火焰自主巡检及灭火方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination