CN113500581B - 一种综采工作面巡检机器人控制系统 - Google Patents

一种综采工作面巡检机器人控制系统 Download PDF

Info

Publication number
CN113500581B
CN113500581B CN202110850610.0A CN202110850610A CN113500581B CN 113500581 B CN113500581 B CN 113500581B CN 202110850610 A CN202110850610 A CN 202110850610A CN 113500581 B CN113500581 B CN 113500581B
Authority
CN
China
Prior art keywords
inspection robot
track
sensor
subsystem
lower computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110850610.0A
Other languages
English (en)
Other versions
CN113500581A (zh
Inventor
张旭辉
霍鑫健
张超
吴雨佳
石硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202110850610.0A priority Critical patent/CN113500581B/zh
Publication of CN113500581A publication Critical patent/CN113500581A/zh
Application granted granted Critical
Publication of CN113500581B publication Critical patent/CN113500581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/02—Manipulators mounted on wheels or on carriages travelling along a guideway
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种综采工作面巡检机器人控制系统，其特征在于，包括：上位机、下位机、多传感器监测子系统、运动控制子系统和充电控制子系统；多传感器监测子系统用于定位巡检机器人的位置，识别RFID标签；多传感器监测子系统用于采集巡检机器人运行的轨道图片；运动控制子系统用于根据轨道图片和串级PID控制方法控制巡检机器人在轨道上运行，还用于根据控制指令控制巡检机器人在轨道上运行；充电控制子系统用于当巡检机器人剩余电量低于设定阈值时，根据巡检机器人的位置和对RFID标签的识别，将巡检机器人与充电装置进行对接，充电装置两侧的轨道上设置有RFID标签。本发明提高了巡检效率。

Description

一种综采工作面巡检机器人控制系统
技术领域
本发明涉及机器人控制领域，特别是涉及一种综采工作面巡检机器人控制系统。
背景技术
煤矿综采工作面作为煤炭资源开采的最前线，具有环境恶劣、设备数量多、体积大、空间狭小等特点，是煤矿事故的多发地点。据统计，在采煤工作面有80％的事故原因是由于监测不到位引起的。传统的煤矿综采工作面巡检主要依靠人工巡检或视频定点巡检两种。人工巡检效率低、劳动强度大、工作环境危险，在巡检过程中可能发生安全事故。现有的自动化巡检往往依靠在端头支架等位置安装摄像头等装置，通过图像拼接等技术实现综采工作面的自动化巡检。然而远程视频监控有死角、无法全程监控采煤机、视频拼接画面参差不齐等缺点。
发明内容
本发明的目的是提供一种综采工作面巡检机器人控制系统，提高了巡检效率。
为实现上述目的，本发明提供了如下方案：
一种综采工作面巡检机器人控制系统，包括：上位机、下位机、多传感器监测子系统、运动控制子系统和充电控制子系统；
所述上位机与所述下位机通信连接，所述下位机分别与所述多传感器监测子系统、所述运动控制子系统和所述充电控制子系统通信连接；
所述上位机用于输入运动控制信号，并根据所述运动控制信号生成控制指令，将所述控制指令发送到所述下位机；
所述下位机用于将所述控制指令发送到所述运动控制子系统；
所述多传感器监测子系统用于定位所述巡检机器人的位置，识别RFID标签；
所述多传感器监测子系统包括设备状态监测传感器，所述设备状态监测传感器用于采集巡检机器人运行的轨道图片；
所述运动控制子系统用于根据所述轨道图片和串级PID控制方法控制所述巡检机器人在轨道上运行，还用于根据所述控制指令控制所述巡检机器人在轨道上运行；
所述充电控制子系统用于当所述巡检机器人剩余电量低于设定阈值时，根据所述巡检机器人的位置和对RFID标签的识别，将所述巡检机器人与充电装置进行对接，所述充电装置两侧的轨道上设置有RFID标签。
可选地，所述上位机包括监控界面，所述监控界面用于设置所述巡检机器人的运行速度；
所述下位机用于根据设定时间控制所述多传感器监测子系统采集巡检机器人运行的轨道图片，并将所述轨道图片发送到所述上位机；
所述上位机用于对所述轨道图片进行图像增强，获得图像增强后的所述轨道图片；采用基于像素候选统计的轨道消失线确定方法对图像增强后的所述轨道图片进行分割，确定ROI区域；采用Sobel边缘检测算法，检测所述ROI区域中的轨道线边缘；根据所述轨道图片采集的时间戳和所述时间戳对应的所述巡检机器人的姿态参数，基于图像透视变换坐标转换原理将检测到轨道线边缘的所述轨道图片转换为仰视角度下的轨道图像；采用DBSCAN聚类方法结合Hough变换，对仰视角度下的轨道图像的像素点进行聚类，获得轨道信息图片；采用NURBS曲线拟合所述轨道信息图片中轨道，获得轨道模型，通过所述轨道模型判断轨道是否弯曲或者俯仰，并将判断结果发送到所述下位机；
所述下位机用于当轨道弯曲或者俯仰时，通过串级PID控制方法调节所述巡检机器人的运行速度。
可选地，所述多传感器监测子系统包括电量传感器和RFID读写器，所述电量传感器用于实时检测所述巡检机器人的剩余电量并将所述剩余电量发送到所述下位机；
所述下位机用于当所述电量低于设定阈值时，控制所述巡检机器人前往所述充电装置；
所述RFID读写器用于读取所述充电装置上的RFID电子标签；
所述充电控制子系统用于当所述RFID读写器读取到所述RFID电子标签后，通过所述设备状态监测传感器将所述巡检机器人与充电装置进行对接。
可选地，所述设备状态监测传感器用于采集所述充电装置的充电座的中心线在成像区域的投影；当所述成像区域的投影与所述设备状态监测传感器的成像区域中心线重合时，所述下位机用于判定所述巡检机器人的充电插头与所述充电座对准；当所述成像区域的投影与所述设备状态监测传感器的成像区域中心线不重合时，所述下位机用于将所述成像区域的投影与所述设备状态监测传感器的成像区域中心线的距离发送到所述运动控制子系统；所述运动控制子系统用于根据所述成像区域的投影与所述设备状态监测传感器的成像区域中心线的距离调整所述巡检机器人的位置。
可选地，还包括数据库，所述数据库包括主节点和从节点；所述主节点设置在所述上位机上，所述从节点设置在所述下位机上；
所述上位机用于根据触发与所述控制指令对应的槽函数，将所述控制指令存入所述主节点，并写入日志文件；
所述下位机用于将所述从节点上的I/O进程连接所述主节点，所述从节点用于向所述主节点发送请求信息，所述请求信息为设定日志文件的设定范围内的日志内容；
所述主节点用于接收所述从节点的所述请求信息，根据所述请求信息获取设定日志文件的设定范围内的日志内容，并向所述从节点发送返回信息，所述返回信息包括获取的日志内容、所述设定日志文件的文件名和获取的日志内容在所述设定日志文件中的位置；
所述从节点用于接收到所述返回信息后，将所述返回信息中的日志内容更新到所述从节点的中继日志文件中，并将所述设定日志文件的文件名和获取的日志内容在所述设定日志文件中的位置保存到master-info文件中；
所述下位机用于当通过SQL线程检测到所述中继日志文件中新增的日志内容后，解析所述中继日志文件中的日志内容，并将解析结果在所述从节点中执行，获得新增的raw格式的数据列，将新增的raw格式的数据列解析为字典格式数据，并根据字典格式数据获取控制指令，将获取的控制指令发送到所述运动控制子系统。
可选地，所述多传感器监测子系统还包括环境监测传感器，所述环境监测传感器包括第一温度传感器、湿度传感器和气体传感器；所述第一温度传感器用于采集综采工作面环境温度，所述湿度传感器用于采集综采工作面环境湿度，所述气体传感器用于采集综采工作面环境气体，所述多传感器监测子系统用于将所述综采工作面环境湿度、所述综采工作面环境温度和所述综采工作面环境气体通过所述下位机传送到所述上位机，所述上位机用于通过监控界面对所述综采工作面环境湿度、所述综采工作面环境温度和所述综采工作面环境气体进行显示。
可选地，所述多传感器监测子系统还包括机体状态监测传感器，所述机体状态监测传感器包括第二温度传感器、惯导装置、旋转编码器和磁力计；所述第二温度传感器用于检测所述巡检机器人的温度，所述旋转编码器用于反馈所述巡检机器人的运行速度，所述惯导装置用于采集所述巡检机器人在导航坐标系中的速度和位置，所述磁力计定位所述巡检机器人的方位。
可选地，所述设备状态监测传感器包括工业相机和红外相机，所述工业相机用于拍摄综采工作面设备的运行情况，所述红外相机用于采集巡检机器人运行的轨道图片，所述多传感器监测子系统用于将拍摄的综采工作面设备的运行情况通过所述下位机发送到所述上位机，所述上位机用于通过监控界面对拍摄的综采工作面设备的运行情况进行显示。
可选地，所述上位机用于将所述轨道图片由RGB空间转换到HSV空间，将增加了修正函数的双边滤波作为多尺度算法中的中心函数，保持色调分量不变，通过Retinex算法对转换到HSV空间的所述轨道图片的亮度分量进行增强并对饱和度分量进行校正，将校正后的所述轨道图片由HSV空间转换到RGB空间，获得图像增强后的所述轨道图片。
可选地，还包括通讯子系统，所述通讯子系统分别与所述上位机和所述下位机通信连接。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过运动控制子系统根据轨道图片和串级PID控制方法控制巡检机器人在轨道上运行，根据所述控制指令控制所述巡检机器人在轨道上运行，实现巡检机器人自动化巡检的同时，能够根据输入的控制指令控制所述巡检机器人运动，降低了监控死角和监控的灵活度，提高了巡检效率，另外通过多传感器监测子系统定位巡检机器人的位置，以及识别RFID标签，当所述巡检机器人剩余电量低于设定阈值时，充电控制子系统根据巡检机器人的位置和对RFID标签的识别，将巡检机器人与充电装置进行对接，保证了巡检机器人的电量，提高了巡检的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种综采工作面巡检机器人控制系统结构示意图；
图2是本发明运动控制子系统工作流程示意图；
图3是本发明充电控制子系统工作流程示意图；
图4是本发明充电控制视觉精定位示意图；
图5是本发明多传感器监测子系统结构示意图；
图6是本发明远程控制系统工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种综采工作面巡检机器人控制系统，提高了巡检效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明一种综采工作面巡检机器人控制系统结构示意图，如图1所示，一种综采工作面巡检机器人控制系统包括：上位机101、下位机103、多传感器监测子系统104、运动控制子系统105和充电控制子系统106；
上位机101与下位机103通信连接，下位机103分别与多传感器监测子系统104、运动控制子系统105和充电控制子系统106通信连接；
上位机101用于输入运动控制信号，并根据运动控制信号生成控制指令，将控制指令发送到下位机103；
下位机103用于将控制指令发送到运动控制子系统105；
多传感器监测子系统104用于定位巡检机器人的位置，识别RFID标签；
多传感器监测子系统104包括设备状态监测传感器1041，设备状态监测传感器1041用于采集巡检机器人运行的轨道图片；
运动控制子系统105用于根据轨道图片和串级PID控制方法控制巡检机器人在轨道上运行，还用于根据控制指令控制巡检机器人在轨道上运行；
充电控制子系统106用于当巡检机器人剩余电量低于设定阈值时，根据巡检机器人的位置和对RFID标签的识别，将巡检机器人与充电装置进行对接，充电装置两侧的轨道上设置有RFID标签。
一种综采工作面巡检机器人控制系统还包括通讯子系统102，通讯子系统102分别与上位机101和下位机103通信连接。通讯子系统102用于传输下位机103所采集的各传感器数据和上位机101所发出的控制指令。
上位机101包括监控界面，监控界面用于设置巡检机器人的运行速度。
下位机103用于根据设定时间控制多传感器监测子系统104采集巡检机器人运行的轨道图片，并将轨道图片发送到上位机101。
远程操控人员可以根据实际需求通过上位机101的监控界面远程控制模块控制巡检机器人的运行。
上位机101用于对轨道图片进行图像增强，获得图像增强后的轨道图片；采用基于像素候选统计的轨道消失线确定方法对图像增强后的轨道图片进行分割，确定ROI区域；采用Sobel边缘检测算法，检测ROI区域中的轨道线边缘；根据轨道图片采集的时间戳和时间戳对应的巡检机器人的姿态参数，基于图像透视变换坐标转换原理将检测到轨道线边缘的轨道图片转换为仰视角度下的轨道图像；采用DBSCAN聚类方法结合Hough变换，对仰视角度下的轨道图像的像素点进行聚类，获得轨道信息图片；采用NURBS曲线拟合轨道信息图片中的轨道，获得轨道模型，通过轨道模型判断轨道是否弯曲或者俯仰，并将判断结果发送到下位机103；
下位机103用于当轨道弯曲或者俯仰时，通过串级PID控制方法调节巡检机器人的运行速度。
设定时间的计算公式为t2＝t-t1-t3，t2表示设定时间，t表示轨道长度为l，运动速度为x时的运动时间，t1表示数据传输和数据处理的总时间，t3表示速度变化时间，t3＝x-x2，x2表示变化后的速度，a表示加速度。
a
多传感器监测子系统104用于感知综采工作面环境参数变化、设备运行状况及机体自身运行状态。
多传感器监测子系统104包括电量传感器和RFID读写器，电量传感器用于实时检测巡检机器人的剩余电量并将剩余电量发送到下位机103。
下位机103用于当电量低于设定阈值时，控制巡检机器人前往充电装置；
RFID读写器用于读取充电装置上的RFID电子标签；
充电控制子系统106用于在巡检机器人电量低于设定阈值时，通过预先在轨道铺设的RFID标签和视觉辅助，完成巡检机器人与充电装置之间的定位，进行充电。
充电控制子系统106用于当RFID读写器读取到RFID电子标签后，通过设备状态监测传感器1041将巡检机器人与充电装置进行对接。
设备状态监测传感器1041用于采集充电装置的充电座的中心线在成像区域的投影；当充电座的中心线在成像区域的投影与设备状态监测传感器1041的成像区域中心线重合时，下位机103用于判定巡检机器人的充电插头与充电座对准；当充电座的中心线在成像区域的投影与设备状态监测传感器1041的成像区域中心线不重合时，下位机103用于将充电座的中心线在成像区域的投影与设备状态监测传感器1041的成像区域中心线的距离发送到运动控制子系统105；运动控制子系统105用于根据充电座的中心线在成像区域的投影与设备状态监测传感器1041的成像区域中心线的距离调整巡检机器人的位置。
一种综采工作面巡检机器人控制系统还包括数据库，数据库包括主节点和从节点；主节点设置在上位机101上，从节点设置在下位机103上；
上位机101用于根据触发与控制指令对应的槽函数，将控制指令存入主节点，并写入日志文件；
下位机103用于将从节点上的I/O进程连接主节点，从节点用于向主节点发送请求信息，请求信息为设定日志文件的设定范围内的日志内容。设定日志文件为从主节点多个日志文件中指定的日志文件。
主节点用于接收从节点的请求信息，根据请求信息获取设定日志文件的设定范围内的日志内容，并向从节点发送返回信息，返回信息包括获取的日志内容、设定日志文件的文件名和获取的日志内容在设定日志文件中的位置；
从节点用于接收到返回信息后，将返回信息中的日志内容更新到从节点的中继日志文件中，并将设定日志文件的文件名和获取的日志内容在设定日志文件中的位置保存到master-info文件中；
下位机103用于当通过SQL线程检测到中继日志文件中新增的日志内容后，解析中继日志文件中的日志内容，并将解析结果在从节点中执行，获得新增的raw格式的数据列，将新增的raw格式的数据列解析为字典格式数据，并根据字典格式数据获取控制指令，将获取的控制指令发送到运动控制子系统105。
多传感器监测子系统104还包括环境监测传感器1043，环境监测传感器1043包括第一温度传感器、湿度传感器和气体传感器；第一温度传感器用于采集综采工作面环境温度，湿度传感器用于采集综采工作面环境湿度，气体传感器用于采集综采工作面环境气体，多传感器监测子系统104用于将综采工作面环境湿度、综采工作面环境温度和综采工作面环境气体通过下位机103传送到上位机101，上位机101用于通过监控界面对综采工作面环境湿度、综采工作面环境温度和综采工作面环境气体进行显示。
多传感器监测子系统104还包括机体状态监测传感器1042，机体状态监测传感器1042包括第二温度传感器、惯导装置、旋转编码器和磁力计；第二温度传感器用于检测巡检机器人的温度，旋转编码器用于反馈巡检机器人的运行速度，惯导装置用于采集巡检机器人在导航坐标系中的速度和位置，磁力计定位巡检机器人的方位。捷联惯导装置、旋转编码器的数据经滤波、数据融合以及位姿解算模型解算出巡检机器人的位姿数据后存入数据库，获取巡检机器人的位姿数据。
设备状态监测传感器1041包括工业相机和红外相机，工业相机用于拍摄综采工作面设备的运行情况，红外相机用于采集巡检机器人运行的轨道图片，多传感器监测子系统104用于将拍摄的综采工作面设备的运行情况通过下位机103发送到上位机101，上位机101用于通过监控界面对拍摄的综采工作面设备的运行情况进行显示。
上位机101用于将轨道图片由RGB空间转换到HSV空间，将增加了修正函数的双边滤波作为多尺度算法中的中心函数，保持色调分量不变，通过Retinex算法对转换到HSV空间的轨道图片的亮度分量进行增强并对饱和度分量进行校正，将校正后的轨道图片由HSV空间转换到RGB空间，获得图像增强后的轨道图片。
下面详细说明本发明一种综采工作面巡检机器人控制系统。
如图1所示，一种综采工作面巡检机器人控制系统，包括上位机101交互界面、通讯子系统102、下位机103、多传感器监测子系统104、运动控制子系统105和充电控制子系统106。
上位机101交互界面(监控界面)用于直观展示综采工作面环境、设备运行状况和机体自身运行状态等数据，当各传感器数据出现异常时，监控界面会发出故障警示，通知操作人员进行故障处理。远程操控人员可以根据实际需求通过上位机101界面远程控制模块控制巡检机器人的运行。
通讯子系统102用于传输下位机103所采集的传感器数据和上位机101所发出的控制指令。
下位机103用于存储传感器数据和接收上位机101控制指令。
多传感器监测子系统104用于感知综采工作面环境参数变化、设备运行状况及机体自身运行状态。
运动控制子系统105通过视觉辅助及串级PID控制方法自主完成巡检机器人在柔性轨道上的运行同时根据上位机101控制指令改变巡检机器人的运行状态。
充电控制子系统106用于在巡检机器人电量低于设定阈值时，通过预先在轨道铺设的RFID标签和视觉辅助完成与充电装置之间的定位，进行充电。
下位机103用于处理、存储传感器数据、监听数据库判断有无控制指令并将控制指令传给运动控制子系统105，通过MJPG-Streamer推送视频流数据以及传输摄像头所拍摄的轨道状况图片。将温度、湿度、气体等传感器数据经滤波程序处理后存入数据库，获取综采工作面的环境信息。
如图6所示，通过上位机101对巡检机器人进行远程控制的工作流程如下：
远程操控人员根据实际巡检情况按下上位机101监控界面的相应按钮，上位机101监控界面根据按钮发出相应的信号，触发相应的槽函数，将指令存入MySQL数据库，并写入binarylog文件；
从节点上的I/O进程连接主节点，并请求从指定日志文件(设定日志文件)的指定位置(或者从最开始的日志)之后的日志内容；
主节点接收到来自从节点的I/O请求后，通过负责的I/O进程根据请求信息读取指定日志指定位置之后的日志信息，返回给从节点。返回信息中除了日志所包含的信息之外，还包括本次返回的信息的bin-log file(设定日志文件的文件名)和bin-logposition(获取的日志内容在设定日志文件中的位置)；再次从节点的I/O进程接收到内容后，将接受到的日志内容更新到本机的relay-log(中继日志文件)中，并将读取的binary log文件名和位置保存到master-info文件中；
Slave(下位机103上的从库)的SQL线程检测到relay-log中新增了内容之后，会将relay-log的内容解析在主节点上实际执行过的操作，并在本数据库中执行，同时数据库日志监控程序会读取新增的raw格式的数据列，将其解析为字典格式数据并判断上位机101发出何种指令；
下位机103根据上位机101发出的命令给电机驱动器不同的信号，控制电机进行不同的运动。
如图5所示，多传感器监测子系统104包括设备状态监测传感器1041，其中包括工业相机和红外相机；环境监测传感器1043，其中包括温度传感器、湿度传感器和气体传感器；机体状态监测传感器1042，其中包括温度传感器、惯导装置、旋转编码器、电量传感器、距离传感器、磁力计、RFID读写器和RFID电子标签；其中工业相机、红外相机用于拍摄综采工作面设备的运行情况及机器人运行轨道状况；温度传感器、湿度传感器以及气体传感器用于采集综采工作面环境信息；磁力计、惯导装置和旋转编码器用于实现机器人的多传感器数据融合定位；电量传感器用于监测巡检机器人机身所带电池剩余电量；温度传感器用于检测机器人内部的温度，保障设备运行安全；RFID读写器用于读取充电装置两侧的RFID标签完成充电装置的粗定位；
位姿解算通过惯导装置、磁力计和旋转编码器等传感器对巡检机器人的位姿进行检测，通过对各传感器的误差影响因素和环境振动分析，建立误差补偿模型，利用无迹卡尔曼滤波算法对位姿信息进行融合，实现综采工作面巡检机器人快速精确的定位，为巡检机器人针对综采工作面突发情况的在线报警提供精确的定位信息，方便检修人员进行维修。
如图2所示，运动控制子系统105工作流程为：
远程操控人员通过上位机101监控界面设置巡检机器人的巡检速度/巡检模式，下位机103根据上位机101所设置的巡检速度/巡检模式控制巡检机器人运行；
同时，下位机103根据提前设定的时间t2控制摄像头拍摄轨道图片，并通过通讯子系统102发送给上位机101图像处理程序；
上位机101图像处理程序接收到图像信息之后将图片由RGB空间转换到HSV空间，将增加了修正函数的双边滤波作为多尺度算法的中心函数，在HSV空间中，保持色调分量不变，通过提出融合双边滤波的Retinex算法对亮度分量进行增强，并对饱和度分量进行校正，最后将图像由HSV空间转换回RGB空间，完成图像增强；
采用基于像素候选统计的轨道消失线确定方法对图像进行分割，确定下一步处理的区域即ROI区域，以加快图像处理的时间；
利用Sobel边缘检测算法，检测ROI区域图像中的轨道线边缘；
结合机器人图像时间戳和时间戳时间下对应的机器人的姿态参数，基于图像透视变换坐标转换原理将图像转换为仰视条件下的轨道图像；
采用DBSCAN聚类算法结合Hough变换，对上述经过边缘提取和透视变换后的图像的像素点进行聚类分析，获取详细的轨道信息；
采用NURBS曲线拟合轨道，并对拟合结果进行连续迭代，对轨道模型进行优化并判断所得到的轨道模型是否平直；
如果需要对巡检机器人的速度进行调节则下位机103根据电机驱动器所反馈的电流和旋转编码器所反馈的巡检机器人速度通过串级PID的控制方法实现巡检机器人速度的快速调整。
时间t2的计算模型为：
设轨道长度为l，设运动速度为x，加速度为a，数据传输和处理的总时间为t1，变化后的速度为x2，则：
速度变化时间：
Figure BDA0003182346670000121
运动时间：
Figure BDA0003182346670000122
提前时间：t2＝t-t1-t3
如图3所示，充电控制子系统106的工作流程为：
如图4所示，充电座左棱边BB1，中心棱边AA1，右棱边CC1，成像面上的投影为B’B1’，A’A1’，C’C1’，视场中心面与成像面的相交线ef为摄像头成像区域中心线，abcd为摄像头成像区域。
机器人电池电量传感器不断检测当前剩余电量，如果剩余电量达到所设定的阈值，下位机103根据当前机器人所在位置控制巡检机器人前往充电装置；
前往充电装置的过程中RFID读写器会读取充电装置两端的RFID电子标签，如果读取到，则表明充电装置进入摄像头检测范围，此时粗定位完成；
获取机器人充电插头位置以及充电座位置，并判断两者是否对准，如果充电座中心棱边AA1在成像区域的投影A’A1’与成像区域中心线ef重合，此为两者对准；当充电插头和充电座非对准时，摄像头视场中心面不通过充电座中心棱边AA1，此时可根据充电座中心棱边在成像区域的投影A’A1’到成像区域中心线ef的距离dk控制机器人运动至与充电座对接容许范围；开始充电。
一种煤矿综采工作面巡检机器人控制方法，远程操控人员根据巡检需要设置合适的巡检模式或巡检速度，下位机103根据上位机101所设置的巡检模式/巡检速度控制机器人开始运行；机器人运行过程中，其上安装的各种传感器不断感知综采工作面环境状况、设备运行状况及机体自身状况并通过界面直观展示综采工作面的环境变化、设备运行的动态情况以及巡检机器人状态等数据；下位机103对捷联惯导数据和旋转编码器数据融合处理，完成巡检机器人的动态定位；运动控制子系统105根据视频辅助判断巡检机器人前方运行轨道的状况并通过串级PID控制方法完成巡检机器人的自主巡检，当数据出现异常时，界面会进行故障警示，通知操作人员进行故障处理，当电池电量低于设定阈值时，充电控制子系统106会通过RFID定位和视觉完成巡检机器人和充电装置之间的对接，同时远程操控人员可根据需要远程对机器人运行状态进行调整。
具体控制过程如下：
第一步：远程操控人员根据巡检需要在上位机101交互界面设置合适的巡检模式或巡检速度，下位机103根据所传输的控制指令控制机器人运行，同时下位机103开始采集传感器数据；
第二步：下位机103根据电子罗盘数据(磁力计)、捷联惯导传感器数据、经定位螺钉校准的旋转编码器数据，通过对各传感器的误差影响因素和环境振动分析，建立误差补偿模型，利用无迹卡尔曼滤波算法对位姿信息进行融合，确定巡检机器人在其运行轨道上的位姿，完成巡检机器人的动态定位；
第三步：远程操控人员根据下位机103所传输的图像数据观察设备运行情况，根据温度、湿度等传感器数据判断巡检的环境状况；根据电量传感器等数据判断机器人运行情况；
第四步：运动控制子系统105根据巡检机器人位姿模块获取的姿态数据，对视觉传感器(红外相机)所获取的图像数据进行补偿，用于判断巡检机器人前方运行轨道的状况，根据不同的轨道状况通过串级PID控制方法调节机器人的运行速度，完成巡检机器人的自主巡检；
第五步：当传感器数据(多传感器监测子系统104中传感器采集的数据)异常或图像数据显示设备运行异常时，上位机101交互界面发出异常警报，操作人员可巡检机器人位姿模块反馈的机器人位置进行定点故障排查；
第六步：当巡检机器人电池电量低至设定阈值时，充电控制子系统106根据巡检机器人定位模块反馈的位置信息自动控制巡检机器人返回充电装置处，并通过RFID标签定位，完成与充电装置之间的粗定位，使得充电装置出现在机器人摄像头检测范围内，通过视觉传感器视野中心平面之间的关系完成充电插头和插座的精定位，完成充电插头和充电座之间的对接，实现巡检机器人的自动充电。
第七步：远程操控人员可以根据巡检需要，在上位机101交互界面通过相应的按钮对巡检机器人的运行状态进行调整；
最后，循环往复，完成综采工作面巡检机器人的巡检作业。
本发明的有益效果是：本发明定位于综采工作面复杂环境下的机器人化巡检，通过视觉定位、多传感器数据融合定位、数据库技术、视觉与串级PID融合能够使机器人在综采工作面完成自主巡检、自主充电、自主定位、远程操控，弥补当前综采工作面巡检机器人控制方面的不足。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种综采工作面巡检机器人控制系统，其特征在于，包括：上位机、下位机、多传感器监测子系统、运动控制子系统和充电控制子系统；
所述上位机与所述下位机通信连接，所述下位机分别与所述多传感器监测子系统、所述运动控制子系统和所述充电控制子系统通信连接；
所述上位机用于输入运动控制信号，并根据所述运动控制信号生成控制指令，将所述控制指令发送到所述下位机；
所述下位机用于将所述控制指令发送到所述运动控制子系统；
所述多传感器监测子系统用于定位所述巡检机器人的位置，识别RFID标签；
所述多传感器监测子系统包括设备状态监测传感器，所述设备状态监测传感器用于采集巡检机器人运行的轨道图片；
所述运动控制子系统用于根据所述轨道图片和串级PID控制方法控制所述巡检机器人在轨道上运行，还用于根据所述控制指令控制所述巡检机器人在轨道上运行；
所述充电控制子系统用于当所述巡检机器人剩余电量低于设定阈值时，根据所述巡检机器人的位置和对RFID标签的识别，将所述巡检机器人与充电装置进行对接，所述充电装置两侧的轨道上设置有RFID标签；
所述上位机包括监控界面，所述监控界面用于设置所述巡检机器人的运行速度；
所述下位机用于根据设定时间控制所述多传感器监测子系统采集巡检机器人运行的轨道图片，并将所述轨道图片发送到所述上位机；
设定时间的计算公式为t2＝t-t1-t3，t2表示设定时间，t表示轨道长度为l运动速度为x时的运动时间，t1表示数据传输和数据处理的总时间，t3表示速度变化时间，
Figure FDA0003819658760000011
x2表示变化后的速度，a表示加速度；
所述上位机用于对所述轨道图片进行图像增强，获得图像增强后的所述轨道图片；采用基于像素候选统计的轨道消失线确定方法对图像增强后的所述轨道图片进行分割，确定ROI区域；采用Sobel边缘检测算法，检测所述ROI区域中的轨道线边缘；根据所述轨道图片采集的时间戳和所述时间戳对应的所述巡检机器人的姿态参数，基于图像透视变换坐标转换原理将检测到轨道线边缘的所述轨道图片转换为仰视角度下的轨道图像；采用DBSCAN聚类方法结合Hough变换，对仰视角度下的轨道图像的像素点进行聚类，获得轨道信息图片；采用NURBS曲线拟合所述轨道信息图片中的轨道，获得轨道模型，通过所述轨道模型判断轨道是否弯曲或者俯仰，并将判断结果发送到所述下位机；
所述下位机用于当轨道弯曲或者俯仰时，通过串级PID控制方法调节所述巡检机器人的运行速度；
所述上位机用于将所述轨道图片由RGB空间转换到HSV空间，将增加了修正函数的双边滤波作为多尺度算法中的中心函数，保持色调分量不变，通过Retinex算法对转换到HSV空间的所述轨道图片的亮度分量进行增强并对饱和度分量进行校正，将校正后的所述轨道图片由HSV空间转换到RGB空间，获得图像增强后的所述轨道图片。
2.根据权利要求1所述的综采工作面巡检机器人控制系统，其特征在于，所述多传感器监测子系统包括电量传感器和RFID读写器，所述电量传感器用于实时检测所述巡检机器人的剩余电量并将所述剩余电量发送到所述下位机；
所述下位机用于当所述电量低于设定阈值时，控制所述巡检机器人前往所述充电装置；
所述RFID读写器用于读取所述充电装置上的RFID电子标签；
所述充电控制子系统用于当所述RFID读写器读取到所述RFID电子标签后，通过所述设备状态监测传感器将所述巡检机器人与充电装置进行对接。
3.根据权利要求2所述的综采工作面巡检机器人控制系统，其特征在于，所述设备状态监测传感器用于采集所述充电装置的充电座的中心线在成像区域的投影；当所述成像区域的投影与所述设备状态监测传感器的成像区域中心线重合时，所述下位机用于判定所述巡检机器人的充电插头与所述充电座对准；当所述成像区域的投影与所述设备状态监测传感器的成像区域中心线不重合时，所述下位机用于将所述成像区域的投影与所述设备状态监测传感器的成像区域中心线的距离发送到所述运动控制子系统；所述运动控制子系统用于根据所述成像区域的投影与所述设备状态监测传感器的成像区域中心线的距离调整所述巡检机器人的位置。
4.根据权利要求1所述的综采工作面巡检机器人控制系统，其特征在于，还包括数据库，所述数据库包括主节点和从节点；所述主节点设置在所述上位机上，所述从节点设置在所述下位机上；
所述上位机用于根据触发与所述控制指令对应的槽函数，将所述控制指令存入所述主节点，并写入日志文件；
所述下位机用于将所述从节点上的I/O进程连接所述主节点，所述从节点用于向所述主节点发送请求信息，所述请求信息为设定日志文件的设定范围内的日志内容；
所述主节点用于接收所述从节点的所述请求信息，根据所述请求信息获取设定日志文件的设定范围内的日志内容，并向所述从节点发送返回信息，所述返回信息包括获取的日志内容、所述设定日志文件的文件名和获取的日志内容在所述设定日志文件中的位置；
所述从节点用于接收到所述返回信息后，将所述返回信息中的日志内容更新到所述从节点的中继日志文件中，并将所述设定日志文件的文件名和获取的日志内容在所述设定日志文件中的位置保存到master-info文件中；
所述下位机用于当通过SQL线程检测到所述中继日志文件中新增的日志内容后，解析所述中继日志文件中的日志内容，并将解析结果在所述从节点中执行，获得新增的raw格式的数据列，将新增的raw格式的数据列解析为字典格式数据，并根据字典格式数据获取控制指令，将获取的控制指令发送到所述运动控制子系统。
5.根据权利要求1所述的综采工作面巡检机器人控制系统，其特征在于，所述多传感器监测子系统还包括环境监测传感器，所述环境监测传感器包括第一温度传感器、湿度传感器和气体传感器；所述第一温度传感器用于采集综采工作面环境温度，所述湿度传感器用于采集综采工作面环境湿度，所述气体传感器用于采集综采工作面环境气体，所述多传感器监测子系统用于将所述综采工作面环境湿度、所述综采工作面环境温度和所述综采工作面环境气体通过所述下位机传送到所述上位机，所述上位机用于通过监控界面对所述综采工作面环境湿度、所述综采工作面环境温度和所述综采工作面环境气体进行显示。
6.根据权利要求1所述的综采工作面巡检机器人控制系统，其特征在于，所述多传感器监测子系统还包括机体状态监测传感器，所述机体状态监测传感器包括第二温度传感器、惯导装置、旋转编码器和磁力计；所述第二温度传感器用于检测所述巡检机器人的温度，所述旋转编码器用于反馈所述巡检机器人的运行速度，所述惯导装置用于采集所述巡检机器人在导航坐标系中的速度和位置，所述磁力计定位所述巡检机器人的方位。
7.根据权利要求1所述的综采工作面巡检机器人控制系统，其特征在于，所述设备状态监测传感器包括工业相机和红外相机，所述工业相机用于拍摄综采工作面设备的运行情况，所述红外相机用于采集巡检机器人运行的轨道图片，所述多传感器监测子系统用于将拍摄的综采工作面设备的运行情况通过所述下位机发送到所述上位机，所述上位机用于通过监控界面对拍摄的综采工作面设备的运行情况进行显示。
8.根据权利要求1所述的综采工作面巡检机器人控制系统，其特征在于，还包括通讯子系统，所述通讯子系统分别与所述上位机和所述下位机通信连接。
CN202110850610.0A 2021-07-27 2021-07-27 一种综采工作面巡检机器人控制系统 Active CN113500581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110850610.0A CN113500581B (zh) 2021-07-27 2021-07-27 一种综采工作面巡检机器人控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110850610.0A CN113500581B (zh) 2021-07-27 2021-07-27 一种综采工作面巡检机器人控制系统

Publications (2)

Publication Number Publication Date
CN113500581A CN113500581A (zh) 2021-10-15
CN113500581B true CN113500581B (zh) 2023-02-28

Family

ID=78014128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110850610.0A Active CN113500581B (zh) 2021-07-27 2021-07-27 一种综采工作面巡检机器人控制系统

Country Status (1)

Country Link
CN (1) CN113500581B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885523A (zh) * 2021-10-29 2022-01-04 北京红山信息科技研究院有限公司 巡检机器人、及巡检系统
CN115204325B (zh) * 2022-09-16 2022-11-25 太原向明智控科技有限公司 基于惯导系统的综采工作面连续调直方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102545275A (zh) * 2010-12-07 2012-07-04 上海新世纪机器人有限公司 机器人自动充电装置及其自动充电方法
CN108508897A (zh) * 2018-04-20 2018-09-07 杭州蓝芯科技有限公司 一种基于视觉的机器人自动充电对准系统及方法
CN108818529A (zh) * 2018-06-01 2018-11-16 重庆锐纳达自动化技术有限公司 一种机器人充电桩视觉引导方法
CN112214015A (zh) * 2020-09-04 2021-01-12 安克创新科技股份有限公司 自移动机器人及其回充的方法、系统及计算机存储介质
CN112287888A (zh) * 2020-11-20 2021-01-29 中国铁建电气化局集团第二工程有限公司 一种基于预测权重的轨道转弯识别方法
CN113128473A (zh) * 2021-05-17 2021-07-16 哈尔滨商业大学 一种面向地下综合管廊的巡检系统、方法、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102545275A (zh) * 2010-12-07 2012-07-04 上海新世纪机器人有限公司 机器人自动充电装置及其自动充电方法
CN108508897A (zh) * 2018-04-20 2018-09-07 杭州蓝芯科技有限公司 一种基于视觉的机器人自动充电对准系统及方法
CN108818529A (zh) * 2018-06-01 2018-11-16 重庆锐纳达自动化技术有限公司 一种机器人充电桩视觉引导方法
CN112214015A (zh) * 2020-09-04 2021-01-12 安克创新科技股份有限公司 自移动机器人及其回充的方法、系统及计算机存储介质
CN112287888A (zh) * 2020-11-20 2021-01-29 中国铁建电气化局集团第二工程有限公司 一种基于预测权重的轨道转弯识别方法
CN113128473A (zh) * 2021-05-17 2021-07-16 哈尔滨商业大学 一种面向地下综合管廊的巡检系统、方法、设备及存储介质

Also Published As

Publication number Publication date
CN113500581A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN113500581B (zh) 一种综采工作面巡检机器人控制系统
CN103419944B (zh) 一种登机桥及其自动靠接方法
CN105547153B (zh) 基于双目视觉的插件元件针脚视觉定位方法及装置
CN108981811A (zh) 一种列车受电弓在线检测系统
CN108564628B (zh) 一种面向掘进机自动化的截割头视觉定位定向系统
Momeni-k et al. Height estimation from a single camera view
CN110223413A (zh) 智能巡检方法、装置、计算机存储介质和电子设备
CN103024428A (zh) 一种全景影像系统自动校正装置及校正方法
CN113361539A (zh) 一种井下巡检机器人的仪表读取方法、装置及电子设备
CN111242847B (zh) 基于闸道的图像拼接方法、系统、设备及存储介质
CN112949457A (zh) 基于增强现实技术的维修方法、装置及系统
KR101057419B1 (ko) 비접촉식 어류 개체수 측정 장치 및 그 방법
CN111966126A (zh) 无人机巡逻方法、装置及无人机
CN111142519A (zh) 基于计算机视觉和超声波雷达冗余的自动驾驶系统及其控制方法
CN116659518A (zh) 智能轮椅自主导航方法、装置、终端及介质
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
CN115619869A (zh) 自动导引运输车的定位方法、装置及自动导引运输车
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN113379850A (zh) 移动机器人控制方法、装置、移动机器人及存储介质
CN1419104A (zh) 物体空间位姿检测装置
CN115237113A (zh) 机器人导航的方法、机器人、机器人系统及存储介质
CN113618737A (zh) 一种用于工业平台的视觉识别系统
CN110765895A (zh) 一种机器人辨别物体方法
CN111462341A (zh) 增强现实的建造辅助方法、装置、终端和介质
CN117873159B (zh) 一种多旋翼无人机的室内目标视觉定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant