CN113050649A - 一种数字孪生驱动的巡检机器人远程控制系统及方法 - Google Patents

一种数字孪生驱动的巡检机器人远程控制系统及方法 Download PDF

Info

Publication number
CN113050649A
CN113050649A CN202110312179.4A CN202110312179A CN113050649A CN 113050649 A CN113050649 A CN 113050649A CN 202110312179 A CN202110312179 A CN 202110312179A CN 113050649 A CN113050649 A CN 113050649A
Authority
CN
China
Prior art keywords
data
robot
inspection
inspection robot
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110312179.4A
Other languages
English (en)
Other versions
CN113050649B (zh
Inventor
张旭辉
吕欣媛
杜永刚
霍鑫健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202110312179.4A priority Critical patent/CN113050649B/zh
Publication of CN113050649A publication Critical patent/CN113050649A/zh
Application granted granted Critical
Publication of CN113050649B publication Critical patent/CN113050649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种数字孪生驱动的巡检机器人远程控制系统及方法，涉及虚拟远程控制与数字孪生技术领域。该系统包括，巡检机器人物理实体、数据感知与传输模块、巡检机器人虚拟实体、控制模块及孪生数据；利用数字孪生技术建立煤矿综采工作面巡检机器人的虚拟远程操控平台，实现煤矿综采工作面巡检机器人的虚实同动、状态监测与远程控制，同时，存储历史数据，进行设备和环境的历史运行状态，参数的信息加工及价值挖掘，对运行趋势进行预测，实现巡检机器人的智能自主决策，完成煤矿井下综采工作面的日常巡检任务，利用机器人替代人工巡检，降低了工人的劳动强度及危险性。

Description

一种数字孪生驱动的巡检机器人远程控制系统及方法
技术领域
本发明涉及虚拟远程控制与数字孪生技术领域，更具体的涉及一种数字孪生驱动的巡检机器人远程控制系统及方法。
背景技术
煤矿综采工作面是壁式采煤法的一种大型采煤工作面，主要由滚筒采煤机、刮板输送机以及液压支架三大设备组成。由于壁式采煤工作面设备较多，尺寸较长且随着采煤的运行，配套的各设备之间需要跟采煤机摇臂和滚筒做垂直于煤壁的前进运动。工作面设备群体之间的多个相对运动环节可能出现碰撞和故障，而采煤设备内部传感器不能准确及时的反馈事故状况。因此必须对采煤设备进行定期巡视和检查。现阶段主要依靠人工进入综采工作面对采煤设备进行巡检，实时监测“三机”的运行状态，保证综采工作面的正常生产。但是综采工作面设备众多、人的活动范围小，再加上综采工作面环境恶劣，因此在该环境中工作，工人劳动强度大，危险性高。
发明内容
本发明实施例提供一种数字孪生驱动的巡检机器人远程控制系统及方法，用以解决现有煤矿综采工作面人工巡检环境恶劣，劳动强度大，危险性高的问题。
本发明实施例提供一种数字孪生驱动的巡检机器人远程控制系统，包括：
巡检机器人物理实体、数据感知与传输模块、巡检机器人虚拟实体、控制模块及孪生数据；
巡检机器人物理实体包括机器人本体和综采工作面环境，机器人本体用于完成日常巡检任务；
数据感知与传输模块用于采集巡检机器人物理实体的变化信息，并将实时变化的信息进行数据融合处理及解析计算后传输给控制模块，使得巡检机器人虚拟实体在数据驱动下与巡检机器人物理实体同时变化并在控制模块动态呈现；
巡检机器人虚拟实体包括机器人虚拟模型和综采工作面真实环境模型，用于接收控制模块处理后的变化数据，并与巡检机器人物理实体呈现同步状态；
控制模块包括虚拟远程操控平台和实时状态检测界面，用于接收数据感知与传输模块及巡检机器人虚拟实体反馈的巡检机器人物理实体的运行状态数据，并确定巡检方法，通过控制巡检机器人虚拟实体对巡检机器人物理实体进行人工辅助干预运动，并将巡检机器人物理实体的运行状态数据再次通过数据感知与传输模块传输至控制模块，形成一个闭环控制的数字孪生体，通过数字孪生体实现巡检机器人物理实体和巡检机器人虚拟实体的虚实同动与远程控制；
孪生数据包括数据库和数据处理平台，用于对所接收到的数据进行储存及分析，并在数据分析加工过程中，对巡检机器人物理实体及环境状态、参数及趋势进行预测，实现巡检机器人的自主决策。
优选的，数据感知与传输模块包括对机器人本体运行状态和综采工作面环境状态的感知，其中，通过在机器人本体行走轮轴上安装旋转编码器以及机器人本体机身上安装惯性导航系统，实现对机器人本体实时定位及姿态检测的感知，通过在机器人本体上安装超声传感器以检测机器人本体运行前方是否存在障碍物；通过在机器人本体上安装红外摄像头及变焦距广角工业摄像头来检测综采工作面环境设备运行状况，在机器人本体上安装温度传感器、气敏传感器、视觉声音传感器、激光雷达以及多光谱相机实时检测综采工作面环境数据，将采集到的实时数据传输至控制模块，数据处理后对应虚拟仿真操控平台中的工作面各项参数，通过监测虚拟仿真操控平台界面中各项参数以及摄像头画面，实时监测综采工作面环境状态。
优选地，控制模块用于接收数据感知与传输模块采集到的巡检机器人物理实体的融合处理数据，虚拟远程操控平台用于发送数据驱动巡检机器人虚拟实体实时变化，实时状态监测界面用于监测综采工作面环境状态，根据监测状态筛除干扰因素确定巡检策略，通过虚拟远程操控平台控制巡检机器人虚拟实体人工辅助干预机器人本体的运动，此时，机器人本体的运动状态数据再次通过数据感知与传输模块传输至控制模块，产生的孪生数据动态修正巡检机器人虚拟实体，再通过虚拟远程操控平台干预机器人本体的巡检策略，由此形成了一个闭环控制的数字孪生体，通过该数字孪生体，在控制模块对巡检机器人物理实体进行全面映射，实现巡检机器人物理实体和巡检机器人虚拟实体虚实同动与远程控制，传输的历史数据在孪生数据中进行存储、加工和挖掘，对巡检机器人物理实体的历史运行状态、参数与趋势，以及可能发生的碰撞情况与环境异常状态进行预测，以此实现机器人本体的自主决策。
一种数字孪生驱动的巡检机器人远程控制方法，包括：
根据巡检机器人物理实体的设计图纸及轨道架设方案设置对应的巡检机器人虚拟实体；
数据感知与传输模块采集巡检机器人物理实体状态及环境数据，将数据融合解析后传输至虚拟远程操控平台，虚拟远程操控平台接收数据感知与传输模块传输的数据后，通过控制巡检机器人虚拟实体设置对应的巡检策略；
数据感知与传输模块再次采集巡检机器人物理实体状态及环境数据，并传输至虚拟远程操控平台，利用产生的孪生数据驱动修正巡检机器人虚拟实体，实现对巡检机器人物理实体的全面映射；
虚拟远程操控平台将接收的信息数据存储至孪生数据，孪生数据将历史数据进行加工并价值挖掘，对巡检机器人物理实体的历史运行状态、参数进行分析，并对巡检机器人物理实体发生碰撞情况与环境异常状态进行预测，并将数据反馈驱动至虚拟远程操控平台，实现巡检机器人的自主决策。
优选的，包括以下步骤：
步骤1、根据机器人本体轨道架设方案及综采工作面环境设计图纸，建立与机器人本体一致的机器人虚拟模型，及与综采工作面环境一致的综采工作面真实环境模型，其中包括机器人本体初始状态，机器人本体真实运行状态，井下环境动态三维重建，及综采工作面真实环境动态呈现；
步骤2，机器人本体根据综采工作面环境选择合适的巡检模式，并按照巡检模式对规定的运动状态执行巡检任务；
步骤3，机器人本体行走轮轴上安装旋转编码器以及机器人本体机身上安装惯性导航系统，开始采集机器人本体实时定位及姿态检测的数据，机器人本体上安装超声传感器检测机器人本体运行前方是否存在障碍物数据，温度传感器、气敏传感器、视觉声音传感器、激光雷达以及多光谱相机实时检测综采工作面环境数据，并将采集的数据通过数据感知与传输模块解析计算后传输至控制模块；
步骤4，虚拟远程操控平台接收数据感知与传输模块传输的数据，数据驱动机器人虚拟模型及综采工作面真实环境模型动态变化，远程操控人员根据巡检机器人虚拟实体的运行状态，干预设定机器人本体的巡检策略；
步骤5，巡检策略的改变使得数据感知与传输模块检测数据变化并重新传输至控制模块，虚拟远程操控平台接收新的检测数据并对机器人虚拟模型及综采工作面真实环境模型进行实时修正，并建立动态模型，远程操控人员再次根据虚拟模型运行状况，干预机器人本体的巡检策略，产生孪生数据；
步骤6，控制模块对孪生数据进行存储，并对接收的信息进行加工和价值挖掘，反应机器人本体及综采工作面环境的历史运行状态、参数，并对运行趋势进行预测；
步骤7，循环执行步骤2至步骤6，实现巡检机器人的自主决策，完成日常巡检任务。
本发明实施例提供了一种数字孪生驱动的巡检机器人远程控制系统及方法，利用数字孪生技术建立煤矿综采工作面巡检机器人的虚拟远程操控平台，巡检机器人感知传输回数据，经过处理解析计算后，传输至巡检机器人虚拟实体，通过数据驱动巡检机器人虚拟实体真实变化并在控制模块动态呈现，人工操控控制模块有选择的去除工作面的水雾、煤尘等视线干扰因素，可确定巡检机器人工作运行状态制定巡检策略，通过控制巡检机器人虚拟实体来人工辅助干预巡检机器人物理实体的运动，此时巡检机器人物理实体的运行状态数据再次通过数据感知与传输模块传回控制模块，形成一个闭环控制的数字孪生体，通过该数字孪生体实现煤矿综采工作面巡检机器人的虚实同动与远程控制，同时，存储历史数据，进行设备和环境的历史运行状态，参数的信息加工及价值挖掘，对运行趋势进行预测，实现巡检机器人的智能自主决策，完成煤矿井下综采工作面的日常巡检任务，利用机器人替代人工巡检，降低了工人的劳动强度及危险性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数字孪生驱动的巡检机器人远程控制系统结构示意图；
图2为本发明实施例提供的数字孪生驱动的巡检机器人远程控制系统控制流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种数字孪生驱动的巡检机器人远程控制系统结构示意图；如图1所示，该系统主要包括：巡检机器人物理实体、数据感知与传输模块、巡检机器人虚拟实体、控制模块及孪生数据；
巡检机器人物理实体包括机器人本体和综采工作面环境，机器人本体用于完成日常巡检任务；其中，机器人本体包括驱动单元、自身检测单元和碰撞检测单元；综采工作面环境包括的因素有：温湿度、有害气体、煤岩片帮、煤岩识别及工作面动态变化。
数据感知与传输模块用于采集巡检机器人物理实体的变化信息，并将实时变化的信息进行数据融合处理及解析计算后传输给控制模块，使得巡检机器人虚拟实体在数据驱动下与巡检机器人物理实体同时变化并在控制模块动态呈现；其中，数据感知与传输模块包括对机器人本体运行状态和综采工作面环境状态的感知，通过在机器人本体行走轮轴上安装旋转编码器以及机器人本体机身上安装惯性导航系统，实现对机器人本体实时定位及姿态检测的感知，通过在机器人本体上安装超声传感器以检测机器人本体运行前方是否存在障碍物；通过在机器人本体上安装红外摄像头及变焦距广角工业摄像头来检测综采工作面环境设备运行状况，在机器人本体上安装温度传感器、气敏传感器、视觉声音传感器、激光雷达以及多光谱相机实时检测综采工作面环境数据，将采集到的实时数据传输至控制模块，数据处理后对应虚拟仿真操控平台中的工作面各项参数，通过监测虚拟仿真操控平台界面中各项参数以及摄像头画面，实时监测综采工作面环境状态。
巡检机器人虚拟实体包括机器人虚拟模型和综采工作面真实环境模型，用于接收控制模块处理后的变化数据，并与巡检机器人物理实体呈现同步状态；机器人虚拟模型包括机器人真实运行状态呈现及井下环境动态三维重建，综采工作面真实环境模型指的是综采工作面真实环境动态呈现。
控制模块包括虚拟远程操控平台和实时状态监测界面，用于接收数据感知与传输模块及巡检机器人虚拟实体反馈的巡检机器人物理实体的运行状态数据，并确定巡检方法，通过控制巡检机器人虚拟实体对巡检机器人物理实体进行人工辅助干预运动，并将巡检机器人物理实体的运行状态数据再次通过数据感知与传输模块传输至控制模块，形成一个闭环控制的数字孪生体，通过数字孪生体实现巡检机器人物理实体和巡检机器人虚拟实体的虚实同动与远程控制。
具体的，控制模块用于接收数据感知与传输模块采集到的巡检机器人物理实体的融合处理数据，虚拟远程操控平台用于发送数据驱动巡检机器人虚拟实体实时变化，实时状态监测界面用于监测综采工作面环境状态，根据监测状态筛除干扰因素确定巡检策略，通过虚拟远程操控平台控制巡检机器人虚拟实体人工辅助干预机器人本体的运动，此时，机器人本体的运动状态数据再次通过数据感知与传输模块传输至控制模块，产生的孪生数据动态修正巡检机器人虚拟实体，再通过虚拟远程操控平台干预机器人本体的巡检策略，由此形成了一个闭环控制的数字孪生体，通过该数字孪生体，在控制模块对巡检机器人物理实体进行全面映射，实现巡检机器人物理实体和巡检机器人虚拟实体虚实同动与远程控制，传输的历史数据在孪生数据中进行存储、加工和挖掘，对巡检机器人物理实体的历史运行状态、参数与趋势，以及可能发生的碰撞情况与环境异常状态进行预测，以此实现机器人本体的自主决策。
孪生数据包括数据库和数据处理平台，用于对所接收到的数据进行储存及分析，并在数据分析加工过程中，对巡检机器人物理实体及环境状态、参数及趋势进行预测，实现巡检机器人的自主决策。其中，孪生数据接收并存储多种机器人巡检过程的工作面环境参数、设备运行状态、机器人位姿、机器人电量及障碍物检测等参数数据，对于存储的大量参数数据，可在后期利用大数据的时间序列图分析或者对比图分析等分析算法对存储的参数数据进行分析，分析反应设备与环境的历史运行状态、参数与趋势，对设备可能发生的碰撞情况与环境异常状态(如落煤、片帮等)进行预测，以此实现巡检机器人的自主决策，完成日常巡检任务。
图2为本发明实施例提供的数字孪生驱动的巡检机器人远程控制系统控制流程示意图，结合图1和图2，本发明实施例提供的数字孪生驱动的巡检机器人远程控制方法，包括包括以下步骤：
步骤1、根据机器人本体轨道架设方案及综采工作面环境设计图纸，建立与机器人本体一致的机器人虚拟模型，及与综采工作面环境一致的综采工作面真实环境模型，其中包括机器人本体初始状态，机器人本体真实运行状态，井下环境动态三维重建，及综采工作面真实环境动态呈现；
步骤2，机器人本体根据综采工作面环境选择合适的巡检模式，并按照巡检模式对规定的运动状态执行巡检任务；
步骤3，机器人本体行走轮轴上安装旋转编码器以及机器人本体机身上安装惯性导航系统，开始采集机器人本体实时定位及姿态检测的数据，机器人本体上安装超声传感器检测机器人本体运行前方是否存在障碍物数据，温度传感器、气敏传感器、视觉声音传感器、激光雷达以及多光谱相机实时检测综采工作面环境数据，并将采集的数据通过数据感知与传输模块解析计算后传输至巡检机器人虚拟实体，通过数据驱动巡检机器人虚拟实体真实变化并在控制模块动态呈现；
步骤4，虚拟远程操控平台接收数据感知与传输模块传输的数据，数据驱动机器人虚拟模型及综采工作面真实环境模型动态变化，远程操控人员有选择的去除工作面的水雾、煤尘等视线干扰因素并根据巡检机器人虚拟实体的运行状态，干预设定机器人本体的巡检策略；
步骤5，巡检策略的改变使得数据感知与传输模块检测数据变化并重新传输至控制模块，虚拟远程操控平台接收新的检测数据并对机器人虚拟模型及综采工作面真实环境模型进行实时修正，并建立动态模型，远程操控人员再次根据虚拟模型运行状况，干预机器人本体的巡检策略，产生孪生数据；
步骤6，控制模块对孪生数据进行存储，并对接收的信息进行加工和价值挖掘，反应机器人本体及综采工作面环境的历史运行状态、参数，并对运行趋势，设备可能发生的碰撞与环境异常状态(如落煤、片帮等)进行预测；
步骤7，循环执行步骤2至步骤6，实现巡检机器人的自主决策，完成日常巡检任务。
综上所述，本发明实施例提供了一种数字孪生驱动的巡检机器人远程控制系统及方法，利用数字孪生技术建立煤矿综采工作面巡检机器人的虚拟远程操控平台，巡检机器人感知传回数据，经过处理解析计算后，传输至巡检机器人虚拟实体，通过数据驱动巡检机器人虚拟实体真实变化并在控制模块动态呈现，人工操控控制模块有选择的去除工作面的水雾、煤尘等视线干扰因素，可确定巡检机器人工作运行状态制定巡检策略，通过控制巡检机器人虚拟实体来人工辅助干预巡检机器人物理实体的运动，此时巡检机器人物理实体的运行状态数据再次通过数据感知与传输模块传回控制模块，形成一个闭环控制的数字孪生体，通过该数字孪生体实现煤矿综采工作面巡检机器人的虚实同动与远程控制，同时，存储历史数据，进行设备和环境的历史运行状态，参数的信息加工及价值挖掘，对运行趋势进行预测，实现巡检机器人的只能自主决策，完成煤矿井下综采工作面的日常巡检任务，利用机器人替代人工巡检，降低了工人的劳动强度及危险性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种数字孪生驱动的巡检机器人远程控制系统，其特征在于，包括：
巡检机器人物理实体、数据感知与传输模块、巡检机器人虚拟实体、控制模块及孪生数据；
所述巡检机器人物理实体包括机器人本体和综采工作面环境，所述机器人本体用于完成日常巡检任务；
所述数据感知与传输模块用于采集所述巡检机器人物理实体的变化信息，并将实时变化的信息进行数据融合处理及解析计算后传输给所述控制模块，使得所述巡检机器人虚拟实体在数据驱动下与所述巡检机器人物理实体同时变化并在所述控制模块动态呈现；
所述巡检机器人虚拟实体包括巡检机器人虚拟模型和综采工作面真实环境模型，用于接收所述控制模块处理后的变化数据，并与所述巡检机器人物理实体呈现同步状态；
所述控制模块包括虚拟远程操控平台和实时状态检测界面，用于接收所述数据感知与传输模块及巡检机器人虚拟实体反馈的所述巡检机器人物理实体的运行状态数据，并确定巡检方法，通过控制所述巡检机器人虚拟实体对所述巡检机器人物理实体进行人工辅助干预运动，并将巡检机器人物理实体的运行状态数据再次通过所述数据感知与传输模块传输至所述控制模块，形成一个闭环控制的数字孪生体，通过数字孪生体实现所述巡检机器人物理实体和巡检机器人虚拟实体的虚实同动与远程控制；
所述孪生数据包括数据库和数据处理平台，用于对所接收到的数据进行储存及分析，并在数据分析加工过程中，对巡检机器人物理实体及环境状态、参数及趋势进行预测，实现巡检机器人的自主决策。
2.如权利要求1所述的数字孪生驱动的巡检机器人远程控制系统，其特征在于，所述数据感知与传输模块包括对所述机器人本体运行状态和所述综采工作面环境状态的感知，其中，通过在所述机器人本体行走轮轴上安装旋转编码器以及所述机器人本体机身上安装惯性导航系统，实现对所述机器人本体实时定位及姿态检测的感知，通过在所述机器人本体上安装超声传感器以检测所述机器人本体运行前方是否存在障碍物；通过在所述机器人本体上安装红外摄像头及变焦距广角工业摄像头来检测所述综采工作面环境设备运行状况，在所述机器人本体上安装温度传感器、气敏传感器、视觉声音传感器、激光雷达以及多光谱相机实时检测所述综采工作面环境数据，将采集到的实时数据传输至所述控制模块，数据处理后对应所述虚拟仿真操控平台中的工作面各项参数，通过监测所述虚拟仿真操控平台界面中各项参数以及摄像头画面，实时监测所述综采工作面环境状态。
3.如权利要求1所述的数字孪生驱动的巡检机器人远程控制系统，其特征在于，所述控制模块用于接收所述数据感知与传输模块采集到的所述巡检机器人物理实体的融合处理数据，所述虚拟远程操控平台用于发送数据驱动所述巡检机器人虚拟实体实时变化，所述实时状态监测界面用于监测所述综采工作面环境状态，根据监测状态筛除干扰因素确定巡检策略，通过所述虚拟远程操控平台控制所述巡检机器人虚拟实体人工辅助干预所述机器人本体的运动，此时，所述机器人本体的运动状态数据再次通过所述数据感知与传输模块传输至所述控制模块，产生的孪生数据动态修正所述巡检机器人虚拟实体，再通过所述虚拟远程操控平台干预所述机器人本体的巡检策略，由此形成了一个闭环控制的数字孪生体，通过该数字孪生体，在所述控制模块对所述巡检机器人物理实体进行全面映射，实现所述巡检机器人物理实体和所述巡检机器人虚拟实体虚实同动与远程控制，传输的历史数据在所述孪生数据中进行存储、加工和挖掘，对所述巡检机器人物理实体的历史运行状态、参数与趋势，以及可能发生的碰撞情况与环境异常状态进行预测，以此实现所述机器人本体的自主决策。
4.一种数字孪生驱动的巡检机器人远程控制方法，其特征在于，包括：
根据所述巡检机器人物理实体的设计图纸及轨道架设方案设置对应的所述巡检机器人虚拟实体；
所述数据感知与传输模块采集所述巡检机器人物理实体状态及环境数据，将数据融合解析后传输至所述虚拟远程操控平台，所述虚拟远程操控平台接收所述数据感知与传输模块传输的数据后，通过控制所述巡检机器人虚拟实体设置对应的巡检策略；
所述数据感知与传输模块再次采集所述巡检机器人物理实体状态及环境数据，并传输至所述虚拟远程操控平台，利用产生的孪生数据驱动修正所述巡检机器人虚拟实体，实现对所述巡检机器人物理实体的全面映射；
所述虚拟远程操控平台将接收的信息数据存储至所述孪生数据，所述孪生数据将历史数据进行加工并价值挖掘，对所述巡检机器人物理实体的历史运行状态、参数进行分析，并对所述巡检机器人物理实体发生碰撞情况与环境异常状态进行预测，并将数据反馈驱动至所述虚拟远程操控平台，实现巡检机器人的自主决策。
5.如权利要求4所述的数字孪生驱动的巡检机器人远程控制方法，其特征在于，包括以下步骤：
步骤1、根据所述机器人本体轨道架设方案及所述综采工作面环境设计图纸，建立与所述机器人本体一致的所述机器人虚拟模型，及与所述综采工作面环境一致的所述综采工作面真实环境模型，其中包括所述机器人本体初始状态，所述机器人本体真实运行状态，井下环境动态三维重建，及综采工作面真实环境动态呈现；
步骤2，所述机器人本体根据所述综采工作面环境选择合适的巡检模式，并按照巡检模式对规定的运动状态执行巡检任务；
步骤3，所述机器人本体行走轮轴上安装旋转编码器以及所述机器人本体机身上安装惯性导航系统，开始采集所述机器人本体实时定位及姿态检测的数据，所述机器人本体上安装超声传感器检测所述机器人本体运行前方是否存在障碍物数据，所述温度传感器、气敏传感器、视觉声音传感器、激光雷达以及多光谱相机实时检测所述综采工作面环境数据，并将采集的数据通过数据感知与传输模块解析计算后传输至所述控制模块；
步骤4，所述虚拟远程操控平台接收所述数据感知与传输模块传输的数据，数据驱动所述机器人虚拟模型及综采工作面真实环境模型动态变化，远程操控人员根据所述巡检机器人虚拟实体的运行状态，干预设定所述机器人本体的巡检策略；
步骤5，巡检策略的改变使得所述数据感知与传输模块检测数据变化并重新传输至所述控制模块，所述虚拟远程操控平台接收新的检测数据并对所述机器人虚拟模型及综采工作面真实环境模型进行实时修正，并建立动态模型，远程操控人员再次根据所述虚拟模型运行状况，干预所述机器人本体的巡检策略，产生孪生数据；
步骤6，所述控制模块对孪生数据进行存储，并对接收的信息进行加工和价值挖掘，反应所述机器人本体及综采工作面环境的历史运行状态、参数，并对运行趋势进行预测；
步骤7，循环执行步骤2至步骤6，实现巡检机器人的自主决策，完成日常巡检任务。
CN202110312179.4A 2021-03-24 2021-03-24 一种数字孪生驱动的巡检机器人远程控制系统及方法 Active CN113050649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110312179.4A CN113050649B (zh) 2021-03-24 2021-03-24 一种数字孪生驱动的巡检机器人远程控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110312179.4A CN113050649B (zh) 2021-03-24 2021-03-24 一种数字孪生驱动的巡检机器人远程控制系统及方法

Publications (2)

Publication Number Publication Date
CN113050649A true CN113050649A (zh) 2021-06-29
CN113050649B CN113050649B (zh) 2023-11-17

Family

ID=76514820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110312179.4A Active CN113050649B (zh) 2021-03-24 2021-03-24 一种数字孪生驱动的巡检机器人远程控制系统及方法

Country Status (1)

Country Link
CN (1) CN113050649B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627780A (zh) * 2021-08-09 2021-11-09 中国海洋石油集团有限公司 基于深水浮式平台状态监测与评估的一体化数字孪生系统
CN113687659A (zh) * 2021-10-26 2021-11-23 武汉鼎元同立科技有限公司 一种基于数字孪生的最优轨迹生成方法及系统
CN113741442A (zh) * 2021-08-25 2021-12-03 中国矿业大学 一种基于数字孪生驱动的单轨吊车自动驾驶系统及方法
CN113759753A (zh) * 2021-08-31 2021-12-07 广东利元亨智能装备股份有限公司 一种基于数字孪生平台的仿真调试系统
CN113823013A (zh) * 2021-09-17 2021-12-21 国核电力规划设计研究院有限公司 一种基于数字孪生技术的电力设备不间断巡视系统
CN114371632A (zh) * 2021-12-29 2022-04-19 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质
CN114442510A (zh) * 2021-12-31 2022-05-06 广东省科学院智能制造研究所 数字孪生闭环控制方法、系统、计算机设备及存储介质
CN114571460A (zh) * 2022-03-22 2022-06-03 达闼机器人股份有限公司 机器人控制方法、装置及存储介质
CN114784701A (zh) * 2022-04-21 2022-07-22 中国电力科学研究院有限公司 配电网带电作业自主导航方法、系统、设备及存储介质
CN114775724A (zh) * 2022-06-17 2022-07-22 山东捷瑞数字科技股份有限公司 一种基于数字孪生的井控应急抢险远程协同作业方法
CN115167582A (zh) * 2022-07-11 2022-10-11 浪潮工业互联网股份有限公司 一种基于数字孪生的玫瑰烘干处理监控方法及设备
CN115549078A (zh) * 2022-10-12 2022-12-30 国网山西省电力公司 一种基于数字孪生的电网整合规划方法
CN116430712A (zh) * 2023-04-14 2023-07-14 重庆信易源智能科技有限公司 一种活动发射平台孪生装备智能控制方法
CN116448080A (zh) * 2023-06-16 2023-07-18 西安玖安科技有限公司 一种基于无人机倾斜摄影辅助土方开挖施工的方法
CN116449851A (zh) * 2023-06-12 2023-07-18 泰坦(天津)能源技术有限公司 一种钻工机器人的智能避障控制方法及系统
CN117196210A (zh) * 2023-09-08 2023-12-08 广州方驰信息科技有限公司 一种基于数字孪生三维场景的大数据管理控制方法
WO2024045424A1 (zh) * 2022-09-01 2024-03-07 浙江衣拿智能科技股份有限公司 一种多车协同控制方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
US20180321692A1 (en) * 2017-05-05 2018-11-08 General Electric Company Three-dimensional robotic inspection system
US20190196457A1 (en) * 2016-08-24 2019-06-27 Siemens Aktiengesellschaft Method for testing an autonomous system
CN110181519A (zh) * 2019-06-25 2019-08-30 广东希睿数字科技有限公司 基于数字孪生机器人的地铁台站门故障检测方法及系统
CN111300381A (zh) * 2020-01-20 2020-06-19 兰州理工大学 基于数字孪生三维模型的软体机器人或驱动器系统及其建模方法
CN111381515A (zh) * 2020-01-20 2020-07-07 兰州理工大学 基于数字孪生五维模型的软体机器人或驱动器系统及其建模方法
US20200326692A1 (en) * 2019-04-10 2020-10-15 Guangdong University Of Technology Parallel control method based on multi-period differential sampling and digital twinning technologies
CN111850609A (zh) * 2020-06-02 2020-10-30 中铝智能科技发展有限公司 基于数字孪生的铝电解管控系统
CN112272236A (zh) * 2020-10-26 2021-01-26 通号工程局集团有限公司 一种基于bim的巡检系统及方法
CN112381963A (zh) * 2020-11-12 2021-02-19 广东电网有限责任公司 一种基于数字孪生技术的电力物联网智能巡检方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
US20190196457A1 (en) * 2016-08-24 2019-06-27 Siemens Aktiengesellschaft Method for testing an autonomous system
US20180321692A1 (en) * 2017-05-05 2018-11-08 General Electric Company Three-dimensional robotic inspection system
US20200326692A1 (en) * 2019-04-10 2020-10-15 Guangdong University Of Technology Parallel control method based on multi-period differential sampling and digital twinning technologies
CN110181519A (zh) * 2019-06-25 2019-08-30 广东希睿数字科技有限公司 基于数字孪生机器人的地铁台站门故障检测方法及系统
CN111300381A (zh) * 2020-01-20 2020-06-19 兰州理工大学 基于数字孪生三维模型的软体机器人或驱动器系统及其建模方法
CN111381515A (zh) * 2020-01-20 2020-07-07 兰州理工大学 基于数字孪生五维模型的软体机器人或驱动器系统及其建模方法
CN111850609A (zh) * 2020-06-02 2020-10-30 中铝智能科技发展有限公司 基于数字孪生的铝电解管控系统
CN112272236A (zh) * 2020-10-26 2021-01-26 通号工程局集团有限公司 一种基于bim的巡检系统及方法
CN112381963A (zh) * 2020-11-12 2021-02-19 广东电网有限责任公司 一种基于数字孪生技术的电力物联网智能巡检方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张旭辉: "数字孪生驱动的悬臂式掘进机虚拟操控技术", 计算机集成制造系统, pages 0 - 7 *
李柏松;王学力;王巨洪;: "数字孪生体及其在智慧管网应用的可行性", 油气储运, no. 10 *
葛世荣;张帆;王世博;王忠宾;: "数字孪生智采工作面技术架构研究", 煤炭学报, no. 06 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627780A (zh) * 2021-08-09 2021-11-09 中国海洋石油集团有限公司 基于深水浮式平台状态监测与评估的一体化数字孪生系统
CN113741442B (zh) * 2021-08-25 2022-08-02 中国矿业大学 一种基于数字孪生驱动的单轨吊车自动驾驶系统及方法
CN113741442A (zh) * 2021-08-25 2021-12-03 中国矿业大学 一种基于数字孪生驱动的单轨吊车自动驾驶系统及方法
CN113759753A (zh) * 2021-08-31 2021-12-07 广东利元亨智能装备股份有限公司 一种基于数字孪生平台的仿真调试系统
CN113823013A (zh) * 2021-09-17 2021-12-21 国核电力规划设计研究院有限公司 一种基于数字孪生技术的电力设备不间断巡视系统
CN113687659A (zh) * 2021-10-26 2021-11-23 武汉鼎元同立科技有限公司 一种基于数字孪生的最优轨迹生成方法及系统
CN113687659B (zh) * 2021-10-26 2022-01-25 武汉鼎元同立科技有限公司 一种基于数字孪生的最优轨迹生成方法及系统
CN114371632A (zh) * 2021-12-29 2022-04-19 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质
CN114442510A (zh) * 2021-12-31 2022-05-06 广东省科学院智能制造研究所 数字孪生闭环控制方法、系统、计算机设备及存储介质
CN114442510B (zh) * 2021-12-31 2023-10-27 广东省科学院智能制造研究所 数字孪生闭环控制方法、系统、计算机设备及存储介质
CN114571460A (zh) * 2022-03-22 2022-06-03 达闼机器人股份有限公司 机器人控制方法、装置及存储介质
CN114784701A (zh) * 2022-04-21 2022-07-22 中国电力科学研究院有限公司 配电网带电作业自主导航方法、系统、设备及存储介质
CN114784701B (zh) * 2022-04-21 2023-07-25 中国电力科学研究院有限公司 配电网带电作业自主导航方法、系统、设备及存储介质
CN114775724A (zh) * 2022-06-17 2022-07-22 山东捷瑞数字科技股份有限公司 一种基于数字孪生的井控应急抢险远程协同作业方法
CN115167582A (zh) * 2022-07-11 2022-10-11 浪潮工业互联网股份有限公司 一种基于数字孪生的玫瑰烘干处理监控方法及设备
WO2024045424A1 (zh) * 2022-09-01 2024-03-07 浙江衣拿智能科技股份有限公司 一种多车协同控制方法及装置
CN115549078B (zh) * 2022-10-12 2023-08-11 国网山西省电力公司 一种基于数字孪生的电网整合规划方法
CN115549078A (zh) * 2022-10-12 2022-12-30 国网山西省电力公司 一种基于数字孪生的电网整合规划方法
CN116430712A (zh) * 2023-04-14 2023-07-14 重庆信易源智能科技有限公司 一种活动发射平台孪生装备智能控制方法
CN116449851A (zh) * 2023-06-12 2023-07-18 泰坦(天津)能源技术有限公司 一种钻工机器人的智能避障控制方法及系统
CN116449851B (zh) * 2023-06-12 2023-09-08 泰坦(天津)能源技术有限公司 一种钻工机器人的智能避障控制方法及系统
CN116448080A (zh) * 2023-06-16 2023-07-18 西安玖安科技有限公司 一种基于无人机倾斜摄影辅助土方开挖施工的方法
CN116448080B (zh) * 2023-06-16 2023-09-05 西安玖安科技有限公司 一种基于无人机倾斜摄影辅助土方开挖施工的方法
CN117196210A (zh) * 2023-09-08 2023-12-08 广州方驰信息科技有限公司 一种基于数字孪生三维场景的大数据管理控制方法

Also Published As

Publication number Publication date
CN113050649B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN113050649B (zh) 一种数字孪生驱动的巡检机器人远程控制系统及方法
CN109298699B (zh) 一种智能化矿山系统
CN103867205B (zh) 一种掘进机远程控制系统及方法
CN111176245A (zh) 基于数字孪生技术的多终端工业设备巡检监控系统及方法
CN112650272B (zh) 基于5g的煤矿井下无人机巡视信息感知方法及其感知系统
CN108590664B (zh) 基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统
CN112012756B (zh) 一种煤矿巷道智能掘进机器人控制系统
CN111813130A (zh) 一种输变电站智能巡检机器人自主导航避障系统
CN104243918A (zh) 应用蓝牙定位进行自动巡逻之机器人监控系统
EP3985182A1 (en) Position identification system for construction machinery
KR102525831B1 (ko) 제어 시스템, 컨트롤러 및 제어 방법
CN105373130A (zh) 基于立体建模的特种设备事故现场信息探测系统
CN107479500A (zh) 一种带视觉装置的加工中心运动定位数控系统及方法
CN113593284A (zh) 矿井巷道内车辆的路径规划方法及装置、电子设备
CN111140231A (zh) 面向综采装备时空运动学的煤层顶底板路径虚拟规划方法
CN112281972A (zh) 一种基于无人操作挖掘机的远程监控结构及挖掘机
CN110656975B (zh) 一种基于虚拟现实与acp平行智能的隧道救援系统及方法
CN116307638B (zh) 煤矿瓦斯巡检方法
CN115163107A (zh) 截割臂控制方法、装置、掘进机及掘进机控制系统
CN116126138A (zh) 一种基于虚拟现实的掘进工作面施工装置及方法
KR20190115506A (ko) 산업용 로봇의 원격 모니터링, 제어 및 무인 관리를 위한 이동식로봇
CN114476435A (zh) 虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法
CN105854210B (zh) 基于分布式热释电传感网络的智能灭火系统及方法
CN113685179A (zh) 一种煤矿综采工作面自动化控制系统及其控制方法
CN105134276B (zh) 急倾斜特厚煤层短壁放顶煤工作面的放煤控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant