CN115454057A - 一种煤矿机器人群数字孪生智能管控建模系统与方法 - Google Patents

Abstract

本发明公开了一种煤矿机器人群数字孪生智能管控建模系统与方法，所述孪生建模系统包括机器人端定位建模与计算装置、固定式场景更新与边缘计算装置、巷道无线通讯定位V2X装置、煤矿机器人群数字孪生智能管控平台和路标装置。本发明可以实现井下各类机器人复杂场景的实时环境建模与场景重构、基于全局大地坐标的精确定位以及群机器人协作场景更新能力。

Description

一种煤矿机器人群数字孪生智能管控建模系统与方法

技术领域

本发明属于煤矿智能化及煤矿机器人技术领域，具体涉及一种煤矿机器人群数字孪生智能管控建模系统与方法。

背景技术

当前煤矿井下移动装备的作业过程存在环境状态信息不透明、应对巷道地质条件变化能力差、集成化与系统化程度不高等问题，智能化仍停留在单台装备的机器人化阶段，未形成井下作业机器人群智能体的全系统整体管控。造成上述问题的根源在于缺乏基于地理信息的智能化数字孪生管控系统。

目前井下数字孪生的数字化场景建模依托GIS+BIM+VR技术，以现场反馈的传感器数据驱动预先建好的综采工作面三机一架与煤岩的3D模型进行可视化交互来模拟采煤作业过程，主要集中于掘进工作面和智采工作面的研究。这种方法使用的孪生数据以BIM模型提供的几何形状和属性为基础，通过贴图、渲染等步骤进行建模，无法跟随环境的变化实现高保真的动态建模，效率低、无法实现环境和设备状态动态更新过程的真实模拟。对于设备部件损坏掉落、难以预测的煤岩垮塌、柔性线缆和管路的形态变化、多机协同作业中的配合与干涉等无法预先建模的复杂系统适应能力差。

目前煤矿机器人的研发应用还处于初级阶段，尚未形成煤矿机器人群协作。造成上述情况的一个关键原因，是由于不同类型机器人缺乏统一的定位坐标系约束，难以实现井下掘进、采煤、支护、钻孔、运输、巡检、救援等全系统的机器人群协同作业，无法形成煤矿机器人群的一体化智能管控。数字孪生技术目前仍然局限于采掘工作面的局部区域应用，必须采取有效措施实现基于井下统一坐标系的机器人群全系统透明化作业。

发明内容

解决的技术问题：为了解决难以实现机器人群全系统透明化作业的技术问题，本发明提供一种煤矿机器人群数字孪生智能管控建模系统与方法，可以实现井下各类机器人复杂场景的实时环境建模与场景重构、基于全局大地坐标的精确定位以及群机器人协作场景更新能力。

技术方案：

一种煤矿机器人群数字孪生智能管控建模系统，所述孪生建模系统包括机器人端定位建模与计算装置、固定式场景更新与边缘计算装置、巷道无线通讯定位V2X装置、煤矿机器人群数字孪生智能管控平台和路标装置；

所述机器人端定位建模与计算装置搭载于井下各类移动机器人上，基于多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征和语义多尺度地图；

所述固定式场景更新与边缘计算装置朝向巷道工作面场景区域进行循环往复式扫描，对动态场景进行更新，并且基于多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征和语义多尺度地图；

所述巷道无线通讯定位V2X装置用于分别建立机器人端定位建模与计算装置、固定式场景更新与边缘计算装置与煤矿机器人群数字孪生智能管控平台之间的通讯链路；

所述路标装置包括分布设置在井下的巷道自然路标和人工路标，用于作为机器人端定位建模与计算装置、固定式场景更新与边缘计算装置的识别标识和定位标识；

所述煤矿机器人群数字孪生智能管控平台包括井下GIM数据库、场景模型数据库、孪生数据库、机器人群智能管控系统；

所述GIM数据库中存储有由GIS+BIM构建的地质模型、巷道模型和设备模型，地质模型、巷道模型和设备模型均包含有相应的地理坐标信息和参数数据；所述场景模型数据库中存储有由机器人端定位建模与计算装置、固定式场景更新与边缘计算装置执行多模态信息融合SLAM而产生并上传的栅格、特征、语义多尺度地图数据，用于对工作场景的巷道模型、设备模型进行动态重建与实时更新；所述孪生数据库中存储有包括井下所有机电装备与设备上传的状态监测与控制数据在内的构建孪生数据体系的要素，至少包含：各类煤矿移动机器人以及井下固定装备与设备的运行参数、运动状态、故障报警信息、控制参数和历史数据；包括人员定位信息、井下监测网络在内的安全与生产业务相关数据；所述机器人群智能管控系统统一接收和管理井下GIM数据库、场景模型数据库、孪生数据库的混合模型数据及状态参数数据，利用孪生建模方法生成GIM+SLAM矿井地质场景图，对孪生要素进行集成；再对机器人群的运行状态分析、运行状态仿真、规划决策功能进行封装，将产生的智能应用决策和控制指令发送给各机器人进行执行。

进一步地，所述机器人端定位建模与计算装置包括环境建模传感器单元、计算设备单元、无线通讯定位移动节点单元；

所述环境建模传感器单元，包括激光雷达、调频连续波雷达、深度红外相机与可见光相机，用于采集机器人周围场景的包括实时的点云数据、红外深度图像数据和彩色图像数据在内的的多传感器数据；

所述计算设备单元用于处理环境建模传感器单元发送的多传感器数据，运行基于环境建模传感器单元的多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征、语义多尺度地图；

所述无线通讯定位移动节点单元包含通讯模块和定位模块；通讯模块采用5G无线网络通讯节点，利用无线通讯方式与井下已有的无线通讯基站进行通讯，与煤矿机器人群数字孪生智能管控平台进行信息交换；所述定位模块采用超宽带移动节点与巷道内部署的UWB基站进行通讯，利用无线传感器网络进行移动节点的定位。

进一步地，所述固定式场景更新与边缘计算装置包括固定扫描式建模单元、边缘计算单元、井下环网接入单元和位置标签；

所述固定扫描式建模单元用于对巷道工作面场景区域进行循环往复式扫描，对巷道工作面场景区域的传感数据进行动态采集；

所述边缘计算单元用于处理环境建模传感器单元发送的巷道工作面场景区域的传感数据，运行基于场景实时重建传感器的多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征、语义多尺度地图；

所述井下环网接入单元包含分站交换机与供电装置；所述分站交换机利用光纤介质的网络通信方式实现边缘计算单元的信息接入井下已有的有线环网，通过井下骨干环网和核心交换机与煤矿机器人群数字孪生智能管控平台进行信息交换；所述供电装置将井下交流电转换为直流电，利用电缆为固定式场景更新与边缘计算装置供电；

所述位置标签采用具有指定标识符的人工标志，利用全站仪测量的导线点传导方式获得绝对位置坐标。

进一步地，所述固定扫描式建模单元包含场景实时重建传感器、伺服电机及控制器、传感器安装架；场景实时重建传感器采用激光雷达、可见光相机，安装于传感器安装架上，伺服电机驱动传感器安装架朝向巷道工作面场景区域进行循环往复式扫描，使场景实时重建传感器对巷道工作面场景区域的传感数据进行动态采集。

进一步地，采用激光LiDARTag和视觉AprilTag为原型设计满足防爆要求的人工标志。

进一步地，所述巷道无线通讯定位V2X装置包括V2X路侧通讯定位基站和井下环网接入单元；

所述V2X路侧通讯定位基站包括通讯天线模块、通讯处理模块、定位天线模块、定位处理模块、电源管理模块；所述通讯天线模块与通讯处理模块连接，所述定位天线模块与定位处理模块连接，分别与电源管理模块连接实现供电；所述V2X路侧通讯定位基站用于与机器人端定位建模与计算装置的无线通讯定位移动节点单元的通讯模块进行信息交换，利用无线传输方式将机器人端数据传输到井下环网接入单元，利用井下有线环网传输到煤矿机器人群数字孪生智能管控平台；所述V2X路侧通讯定位基站与机器人端定位建模与计算装置的无线通讯定位移动节点单元的定位模块进行信息交换，获得机器人的绝对定位信息。

进一步地，所述地质模型包含未开采区域的控制煤层与地质构造变化的相关三维形态数据，以及利用不规则三角网、模拟右三棱柱体技术生成的三维模型，所述未开采区域的控制煤层与地质构造变化的相关三维形态数据包括体现煤层顶底板数据、煤层厚度、走向特征的地质构造数据；

所述巷道模型包含用于控制断面几何形态和空间位置的巷道初期建设过程中设计的巷道相关几何参数，以及利用空间拓扑三角化成形生成巷道的三维模型；

所述设备模型包括井下全部机电装备要素，至少包括巷道中布置的采、掘、机、运、通相关装备与设备的三维模型。

进一步地，所述运行参数包括液压系统的功率、压力、流量、温度、液压缸行程、倾角，电气系统的电压、电流、功率、温度；所述运行状态包括位置、绝对坐标、相对坐标、方向、俯仰角、横滚角、航向角、油门、刹车、转向、转速、扭矩、速度、加速度、角速度、气体类型、气体浓度、风速、风向、障碍物类型、障碍物大小、障碍物距离、振动、声波、光谱；所述控制参数包括油门、刹车、转向、转速、扭矩、电压、电流、压力、流量、功率；所述故障报警信息包括调试信息、日志信息、警告信息、错误信息、严重错误信息；所述历史数据包含设定时间段内历史运行参数、运动状态、故障报警信息、控制参数数据。

进一步地，所述巷道自然路标是具有空间拓扑位置不变性的井下自然特征、机电设备对应的标识特征，包含GIM数据库中存储的井下风门、盘区岔口、通风管路、供变电设备对应的地理坐标信息，用于被所述机器人端定位建模与计算装置识别；

所述人工路标是具有指定标识符的人工标志，包含利用全站仪测量的导线点传导方式获得绝对位置坐标；所述人工路标包括激光雷达反射标靶、调频连续波雷达反射标靶、视觉标靶和超宽带测距锚节点。

本发明还提及一种煤矿机器人群数字孪生智能管控建模方法，所述建模方法基于前述的建模系统运行；

所述建模方法包括以下步骤：

步骤1，GIM初始模型构建：基于GIS+BIM技术构建地质模型、巷道模型、设备模型，将构建得到的地质模型、巷道模型、设备模型存储于煤矿机器人群数字孪生智能管控平台的GIM数据库中；

步骤2，基于GIM三维地质模型的自然语义路标构建：提取并构建井下风门、巷道交汇处岔口、水泵房、通风管道、固定设备模型对应的自然路标，利用GIS获得自然语义路标的地理坐标；

步骤3，人工路标部署：筛选出场景和传感器性能退化的区域，将人工路标部署到筛选出的区域，基于井下导线点位置利用全站仪测量获得人工路标的地理坐标，将人工路标对应的区域和地理坐标均存储到机器人端定位建模与计算装置与矿机器人群数字孪生智能管控平台的场景模型数据库；

步骤4，多模态信息融合SLAM：在机器人端定位建模与计算装置、固定式场景更新与边缘计算装置上，综合多传感器融合SLAM与自然语义路标、人工路标的多模态约束因子，基于增量式因子图优化方法，执行SLAM过程与地理坐标自动对齐，得到具有地理坐标的全局一致的无重影地图构建与绝对定位；

步骤5，基于测度-特征-语义三维混合模型的数字化实时建模与动态更新：利用多模态信息融合SLAM获得的建模数据，构建基于点云与图像的三维高程及栅格测度地图、特征地图，基于先验知识提取环境的语义信息，结合深度学习构建高层次语义地图；

步骤6：SLAM混合模型的压缩存储与实时回传：将测度-特征-语义三维混合模型进行压缩，利用机器人端定位建模与计算装置的无线通讯定位移动节点单元、固定式场景更新与边缘计算装置的井下环网接入单元与巷道无线通讯定位V2X装置进行通讯，将压缩的模型传输到机器人群智能管控系统并存储至场景模型数据库中；

步骤7：虚实耦合的孪生建模：利用煤矿机器人群数字孪生智能管控平台的GIM数据库中的GIM先验模型构建未开采区域的地质模型，利用场景模型数据库中构建的机器人工作区域内巷道、设备、机器人工况场景的混合模型，基于地理坐标信息进行匹配融合，获得井下未开采区域和机器人工作区域匹配的地质场景图，实现GIM虚拟模型+SLAM动态模型实时匹配与融合的孪生建模；

步骤8：孪生要素集成与系统化建模：在机器人群智能管控系统中对孪生建模结果和孪生数据库的数据要素进行集成归档，构建全系统全要素实时更新的机理模型，进行物理空间机器人群、井下设备及其运行环境的各层级属性、组成关系和运行机理进行系统化建模，提供几何、物理、行为和规则信息的描述和供调用的模型数据和接口。

有益效果：

(1)相比已有的矿山数字孪生系统方法中地质建模与巷道模型构建方法，本发明的面向煤矿机器人群数字孪生智能管控的孪生建模系统，通过虚实耦合的孪生建模，将GIM虚拟模型与SLAM动态模型进行实时匹配和耦合，获得了“地质场景一张图”，实现了地理坐标系下的孪生建模与精确的定位。

(2)本发明的面向煤矿机器人群数字孪生智能管控的孪生建模系统，基于GIM三维地质模型的自然语义路标、人工设计的路标，利用多传感器融合SLAM与自然语义路标、人工路标的多模态约束因子实现地理坐标系下的模型构建、实时更新、精确的定位，同时具备三维混合模型信息。构建的模型信息丰富、精度和分辨率高、更新率高、实时性强。

附图说明

图1为本发明实施例的煤矿机器人群数字孪生智能管控建模系统结构示意图；

图2为本发明实施例的煤矿机器人群数字孪生智能管控建模方法流程图。

具体实施方式

下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。

实施例一

图1为本发明实施例的煤矿机器人群数字孪生智能管控建模系统结构示意图。参见图1，该建模系统包括机器人端定位建模与计算装置101、固定式场景更新与边缘计算装置105、巷道无线通讯定位V2X装置110、煤矿机器人群数字孪生智能管控平台113、巷道自然路标118、人工路标119。

本发明实施例的煤矿机器人群数字孪生智能管控建模系统通过GIM初始模型构建、基于GIM三维地质模型的自然语义路标构建、人工路标部署、多模态信息融合SLAM、基于测度-特征-语义三维混合模型的数字化实时建模与动态更新、SLAM混合模型的压缩存储与实时回传、虚实耦合的孪生建模、孪生要素集成与系统化建模等步骤，实现井下各类机器人复杂场景的实时环境建模与场景重构、基于全局大地坐标的精确定位以及群机器人协作场景更新。

(一)机器人端定位建模与计算装置101

所述机器人端定位建模与计算装置101包括环境建模传感器单元102、计算设备单元103、无线通讯定位移动节点单元104搭载于井下各类移动机器人上，根据机器人工作环境特点组合传感器形态和数据类型。

所述环境建模传感器单元102包括激光雷达、调频连续波雷达、深度红外相机与可见光相机，用于采集场景实时的点云数据、红外深度图像数据、彩色图像数据。

所述计算设备单元103包含高性能GPU与CPU的计算模块，用于处理环境建模传感器单元102的多传感器数据，运行基于环境建模传感器单元102的多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征、语义多尺度地图。

所述无线通讯定位移动节点单元104包含通讯模块和定位模块，作为本发明的一种实施例，通讯模块采用5G无线网络通讯节点，利用无线通讯方式与井下已有的无线通讯基站进行通讯，实现与煤矿机器人群数字孪生智能管控平台113信息的交换。所述定位模块采用超宽带(UWB)移动节点与巷道内部署的UWB基站进行通讯，利用无线传感器网络实现移动节点的定位。

(二)固定式场景更新与边缘计算装置105

所述固定式场景更新与边缘计算装置105包括固定扫描式建模单元105、边缘计算单元107、井下环网接入单元108、109。

所述固定扫描式建模单元105包含场景实时重建传感器、伺服电机及控制器、传感器安装架。作为本发明的一种实施例，场景实时重建传感器采用激光雷达、可见光相机，安装于传感器安装架上，伺服电机驱动传感器安装架朝向巷道工作面特定场景区域进行循环往复式扫描，实现动态场景的高频更新。

所述边缘计算单元107包含高性能GPU与CPU的计算模块，用于处理环境建模传感器单元102的多传感器数据，运行基于场景实时重建传感器的多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征、语义多尺度地图。

所述井下环网接入单元108包含分站交换机与供电装置。所述分站交换机利用光纤介质的网络通信方式实现边缘计算单元107的信息接入井下已有的有线环网，通过井下骨干环网和核心交换机实现与煤矿机器人群数字孪生智能管控平台113信息的交换。所述供电装置将井下交流电转换为直流电，利用电缆为固定式场景更新与边缘计算装置105供电。

所述109采用具有特殊标识符的人工标志，利用全站仪测量的导线点传导方式获得绝对位置坐标。作为本发明的一种实施例，所述人工标志根据应用环境确定具体形式。作为本发明的一种实施例，采用激光LiDARTag和视觉AprilTag为原型设计满足防爆要求的人工标志。

所述巷道无线通讯定位V2X装置110包括V2X路侧通讯定位基站、井下环网接入单元108。

(三)V2X路侧通讯定位装置110

所述V2X路侧通讯定位装置110包括V2X路侧通讯定位基站111和井下环网接入单元112。

所述V2X路侧通讯定位基站111包括通讯天线模块、通讯处理模块、定位天线模块、定位处理模块、电源管理模块。所述通讯天线模块与通讯处理模块连接，所述定位天线模块与定位处理模块连接，分别与电源管理模块连接实现供电。所述V2X路侧通讯定位基站111用于与机器人端定位建模与计算装置101的无线通讯定位移动节点单元104的通讯模块进行信息交换，利用无线传输方式将机器人端数据传输到井下环网接入单元108，利用井下有线环网传输到煤矿机器人群数字孪生智能管控平台113；所述V2X路侧通讯定位基站111与机器人端定位建模与计算装置101的无线通讯定位移动节点单元104的定位模块进行信息交换，获得机器人的绝对定位信息。作为本发明的一种实施例，所述通讯处理模块采用5G无线网络通讯节点，所述定位处理模块采用超宽带定位基站。

(四)煤矿机器人群数字孪生智能管控平台113

所述煤矿机器人群数字孪生智能管控平台113包括井下GIM数据库114、场景模型数据库115、孪生数据库116、机器人群智能管控系统117。

所述GIM数据库包含由GIS+BIM构建的地质模型、巷道模型、设备模型，均包含地理坐标信息，通过巷道建设初期的钻探、物探等地质勘探及超前探测等手段获得初始参数与数据。所述地质模型包含未开采区域的控制煤层与地质构造变化的相关三维形态数据，包括煤层顶底板数据、煤层厚度、走向特征等地质构造数据，利用不规则三角网(TIN)、模拟右三棱柱体(ARTP)等技术生成三维模型；所述巷道模型包含巷道断面控制点、巷道中心线等巷道初期建设过程中设计的几何参数，用于控制断面几何形态和空间位置，利用空间拓扑三角化成形生成巷道的三维模型；所述设备模型包括井下全部机电装备要素，至少包括巷道中布置的采、掘、机、运、通相关装备与设备的三维模型。

所述场景模型数据库115包含由机器人端定位建模与计算装置101、固定式场景更新与边缘计算装置105执行多模态信息融合SLAM而产生并上传的栅格、特征、语义多尺度地图等数据，实现工作场景巷道模型、设备模型的动态重建与实时更新。

所述孪生数据库116包含井下所有机电装备与设备上传的状态监测与控制数据等构建孪生数据体系的要素，至少包含采煤、掘进、运输、安控、救援等各类煤矿移动机器人以及通风系统、皮带转载机组、刮板机组、液压支架、变电所设施等井下固定装备与设备的运行参数、运动状态、故障报警信息、控制参数、历史数据等数据，以及人员定位信息、井下监测网络等安全与生产业务相关数据。所述运行参数包括但不限于液压系统的功率、压力、流量、温度、液压缸行程、倾角，电气系统的电压、电流、功率、温度；所述运行状态包括但不限于位置、绝对坐标、相对坐标、方向、俯仰角、横滚角、航向角、油门、刹车、转向、转速、扭矩、速度、加速度、角速度、气体类型、气体浓度、风速、风向、障碍物类型、障碍物大小、障碍物距离、振动、声波、光谱；所述控制参数包括但不限于油门、刹车、转向、转速、扭矩、电压、电流、压力、流量、功率等；所述故障报警信息包括但不限于调试信息、日志信息、警告信息、错误信息、严重错误信息；所述历史数据包含设定时间段内历史运行参数、运动状态、故障报警信息、控制参数数据。

所述机器人群智能管控系统117统一接收和管理井下GIM数据库114、场景模型数据库115、孪生数据库116的混合模型数据及状态参数数据，利用孪生建模方法生成GIM+SLAM矿井地质场景一张图，实现孪生要素的集成。对机器人群的运行状态分析、运行状态仿真、规划决策功能进行封装，产生智能应用决策和控制指令发送给各机器人进行执行。

(五)巷道自然路标118

所述巷道自然路标118是具有空间拓扑位置不变性的井下自然特征、机电设备等具有特殊标识的特征，包括但不限于井下风门、盘区岔口、通风管路、供变电设备等在所述GIM数据库中可以直接获得地理坐标的特征，可以被所述机器人端定位建模与计算装置101识别。

(六)人工路标119

所述人工路标119是具有特殊标识符的人工标志，利用全站仪测量的导线点传导方式获得绝对位置坐标。作为本发明的一种实施例，所述人工标志根据应用环境确定具体形式。作为本发明的一种实施例，采用激光LiDARTag和视觉AprilTag为原型设计满足防爆要求的人工标志，可以被机器人端定位建模与计算装置101识别，包括但不限于激光雷达反射标靶、调频连续波雷达反射标靶、视觉标靶，以及超宽带测距锚节点等。

实施例二

本实施例还提及一种煤矿机器人群数字孪生智能管控建模方法，如图2所示，该建模方法包括以下步骤：

步骤1，GIM初始模型构建：基于GIS+BIM技术构建地质模型、巷道模型、设备模型，存储于煤矿机器人群数字孪生智能管控平台113的GIM数据库中。

步骤2，基于GIM三维地质模型的自然语义路标构建：提取并构建井下风门、巷道交汇处岔口、水泵房、通风管道、固定设备模型等特征长期不变的自然路标，利用GIS获得自然语义路标的地理坐标。

步骤3，人工路标119部署：将激光雷达反射标靶、调频连续波雷达反射标靶、视觉标靶，以及超宽带测距锚节点等人工路标119部署到构建地图时有利于克服场景和传感器性能退化的区域，基于井下导线点位置利用全站仪测量获得人工路标119的地理坐标，存储到机器人端定位建模与计算装置101与矿机器人群数字孪生智能管控平台的场景模型数据库115。

步骤4，多模态信息融合SLAM：在机器人端定位建模与计算装置101、固定式场景更新与边缘计算装置105上，综合多传感器融合SLAM与自然语义路标、人工路标119的多模态约束因子，基于增量式因子图优化方法，实现SLAM过程与地理坐标自动对齐，得到具有地理坐标的全局一致的无重影地图构建与绝对定位。

步骤5，基于测度-特征-语义三维混合模型的数字化实时建模与动态更新：利用多模态信息融合SLAM获得的建模数据，构建基于点云与图像的三维高程及栅格测度地图、特征地图，基于先验知识提取环境的语义信息，结合深度学习构建高层次语义地图。

步骤6：SLAM混合模型的压缩存储与实时回传：将测度-特征-语义三维混合模型进行压缩，利用机器人端定位建模与计算装置101的无线通讯定位移动节点单元104、固定式场景更新与边缘计算装置105的井下环网接入单元108与巷道无线通讯定位V2X装置110进行通讯，将压缩的模型传输到机器人群智能管控系统117并存储至场景模型数据库115中。

步骤7：虚实耦合的孪生建模：利用煤矿机器人群数字孪生智能管控平台113的GIM数据库中的GIM先验模型构建未开采区域的地质模型，利用场景模型数据库115中构建的机器人工作区域内巷道、设备、机器人工况等场景的混合模型，基于地理坐标信息进行匹配融合，获得井下未开采区域和机器人工作区域匹配的“地质场景一张图”，实现GIM虚拟模型+SLAM动态模型实时匹配与融合的孪生建模。

步骤8：孪生要素集成与系统化建模：在机器人群智能管控系统117中对孪生建模结果和孪生数据库116的数据要素进行集成归档，构建全系统全要素实时更新的机理模型，实现物理空间机器人群、井下设备及其运行环境的各层级属性、组成关系和运行机理进行系统化建模，提供几何、物理、行为和规则信息的描述和可供调用的模型数据和接口。

所述虚实耦合孪生建模基于Unity3D+ROS平台构建，基于Unity3D及相关插件与其他辅助建模软件构建GIM先验模型，基于ROS实现与SLAM的动态模型实时匹配与融合，实现孪生建模。

所述孪生要素与系统化建模为机器人群智能管控系统117进行分析、仿真、决策及控制指令发送提供数字化模型，进一步服务于井下机器人群的工艺优化、系统仿真、虚拟调试与生命周期管理、可视化及平行控制。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种煤矿机器人群数字孪生智能管控建模系统，其特征在于，所述孪生建模系统包括机器人端定位建模与计算装置、固定式场景更新与边缘计算装置、巷道无线通讯定位V2X装置、煤矿机器人群数字孪生智能管控平台和路标装置；

所述机器人端定位建模与计算装置搭载于井下各类移动机器人上，基于多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征和语义多尺度地图；

所述固定式场景更新与边缘计算装置朝向巷道工作面场景区域进行循环往复式扫描，对动态场景进行更新，并且基于多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征和语义多尺度地图；

所述巷道无线通讯定位V2X装置用于分别建立机器人端定位建模与计算装置、固定式场景更新与边缘计算装置与煤矿机器人群数字孪生智能管控平台之间的通讯链路；

所述路标装置包括分布设置在井下的巷道自然路标和人工路标，用于作为机器人端定位建模与计算装置、固定式场景更新与边缘计算装置的识别标识和定位标识；

所述煤矿机器人群数字孪生智能管控平台包括井下GIM数据库、场景模型数据库、孪生数据库、机器人群智能管控系统；

所述GIM数据库中存储有由GIS+BIM构建的地质模型、巷道模型和设备模型，地质模型、巷道模型和设备模型均包含有相应的地理坐标信息和参数数据；所述场景模型数据库中存储有由机器人端定位建模与计算装置、固定式场景更新与边缘计算装置执行多模态信息融合SLAM而产生并上传的栅格、特征、语义多尺度地图数据，用于对工作场景的巷道模型、设备模型进行动态重建与实时更新；所述孪生数据库中存储有包括井下所有机电装备与设备上传的状态监测与控制数据在内的构建孪生数据体系的要素，至少包含：各类煤矿移动机器人以及井下固定装备与设备的运行参数、运动状态、故障报警信息、控制参数和历史数据；包括人员定位信息、井下监测网络在内的安全与生产业务相关数据；所述机器人群智能管控系统统一接收和管理井下GIM数据库、场景模型数据库、孪生数据库的混合模型数据及状态参数数据，利用孪生建模方法生成GIM+SLAM矿井地质场景图，对孪生要素进行集成；再对机器人群的运行状态分析、运行状态仿真、规划决策功能进行封装，将产生的智能应用决策和控制指令发送给各机器人进行执行。

2.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统，其特征在于，所述机器人端定位建模与计算装置包括环境建模传感器单元、计算设备单元、无线通讯定位移动节点单元；

所述环境建模传感器单元，包括激光雷达、调频连续波雷达、深度红外相机与可见光相机，用于采集机器人周围场景的包括实时的点云数据、红外深度图像数据和彩色图像数据在内的的多传感器数据；

所述计算设备单元用于处理环境建模传感器单元发送的多传感器数据，运行基于环境建模传感器单元的多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征、语义多尺度地图；

所述无线通讯定位移动节点单元包含通讯模块和定位模块；通讯模块采用5G无线网络通讯节点，利用无线通讯方式与井下已有的无线通讯基站进行通讯，与煤矿机器人群数字孪生智能管控平台进行信息交换；所述定位模块采用超宽带移动节点与巷道内部署的UWB基站进行通讯，利用无线传感器网络进行移动节点的定位。

3.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统，其特征在于，所述固定式场景更新与边缘计算装置包括固定扫描式建模单元、边缘计算单元、井下环网接入单元和位置标签；

所述固定扫描式建模单元用于对巷道工作面场景区域进行循环往复式扫描，对巷道工作面场景区域的传感数据进行动态采集；

所述边缘计算单元用于处理环境建模传感器单元发送的巷道工作面场景区域的传感数据，运行基于场景实时重建传感器的多传感器融合SLAM方法，实时构建机器人周围场景的栅格、特征、语义多尺度地图；

所述井下环网接入单元包含分站交换机与供电装置；所述分站交换机利用光纤介质的网络通信方式实现边缘计算单元的信息接入井下已有的有线环网，通过井下骨干环网和核心交换机与煤矿机器人群数字孪生智能管控平台进行信息交换；所述供电装置将井下交流电转换为直流电，利用电缆为固定式场景更新与边缘计算装置供电；

所述位置标签采用具有指定标识符的人工标志，利用全站仪测量的导线点传导方式获得绝对位置坐标。

4.根据权利要求3所述的煤矿机器人群数字孪生智能管控建模系统，其特征在于，所述固定扫描式建模单元包含场景实时重建传感器、伺服电机及控制器、传感器安装架；场景实时重建传感器采用激光雷达、可见光相机，安装于传感器安装架上，伺服电机驱动传感器安装架朝向巷道工作面场景区域进行循环往复式扫描，使场景实时重建传感器对巷道工作面场景区域的传感数据进行动态采集。

5.根据权利要求3所述的煤矿机器人群数字孪生智能管控建模系统，其特征在于，采用激光LiDARTag和视觉AprilTag为原型设计满足防爆要求的人工标志。

6.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统，其特征在于，所述巷道无线通讯定位V2X装置包括V2X路侧通讯定位基站和井下环网接入单元；

所述V2X路侧通讯定位基站包括通讯天线模块、通讯处理模块、定位天线模块、定位处理模块、电源管理模块；所述通讯天线模块与通讯处理模块连接，所述定位天线模块与定位处理模块连接，分别与电源管理模块连接实现供电；所述V2X路侧通讯定位基站用于与机器人端定位建模与计算装置的无线通讯定位移动节点单元的通讯模块进行信息交换，利用无线传输方式将机器人端数据传输到井下环网接入单元，利用井下有线环网传输到煤矿机器人群数字孪生智能管控平台；所述V2X路侧通讯定位基站与机器人端定位建模与计算装置的无线通讯定位移动节点单元的定位模块进行信息交换，获得机器人的绝对定位信息。

7.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统，其特征在于，所述地质模型包含未开采区域的控制煤层与地质构造变化的相关三维形态数据，以及利用不规则三角网、模拟右三棱柱体技术生成的三维模型，所述未开采区域的控制煤层与地质构造变化的相关三维形态数据包括体现煤层顶底板数据、煤层厚度、走向特征的地质构造数据；

所述巷道模型包含用于控制断面几何形态和空间位置的巷道初期建设过程中设计的巷道相关几何参数，以及利用空间拓扑三角化成形生成巷道的三维模型；

所述设备模型包括井下全部机电装备要素，至少包括巷道中布置的采、掘、机、运、通相关装备与设备的三维模型。

8.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统，其特征在于，所述运行参数包括液压系统的功率、压力、流量、温度、液压缸行程、倾角，电气系统的电压、电流、功率、温度；所述运行状态包括位置、绝对坐标、相对坐标、方向、俯仰角、横滚角、航向角、油门、刹车、转向、转速、扭矩、速度、加速度、角速度、气体类型、气体浓度、风速、风向、障碍物类型、障碍物大小、障碍物距离、振动、声波、光谱；所述控制参数包括油门、刹车、转向、转速、扭矩、电压、电流、压力、流量、功率；所述故障报警信息包括调试信息、日志信息、警告信息、错误信息、严重错误信息；所述历史数据包含设定时间段内历史运行参数、运动状态、故障报警信息、控制参数数据。

9.根据权利要求1所述的煤矿机器人群数字孪生智能管控建模系统，其特征在于，所述巷道自然路标是具有空间拓扑位置不变性的井下自然特征、机电设备对应的标识特征，包含GIM数据库中存储的井下风门、盘区岔口、通风管路、供变电设备对应的地理坐标信息，用于被所述机器人端定位建模与计算装置识别；

所述人工路标是具有指定标识符的人工标志，包含利用全站仪测量的导线点传导方式获得绝对位置坐标；所述人工路标包括激光雷达反射标靶、调频连续波雷达反射标靶、视觉标靶和超宽带测距锚节点。

10.一种煤矿机器人群数字孪生智能管控建模方法，其特征在于，所述建模方法基于权利要求1-9任一项中所述的建模系统运行；

所述建模方法包括以下步骤：

步骤1，GIM初始模型构建：基于GIS+BIM技术构建地质模型、巷道模型、设备模型，将构建得到的地质模型、巷道模型、设备模型存储于煤矿机器人群数字孪生智能管控平台的GIM数据库中；

步骤2，基于GIM三维地质模型的自然语义路标构建：提取并构建井下风门、巷道交汇处岔口、水泵房、通风管道、固定设备模型对应的自然路标，利用GIS获得自然语义路标的地理坐标；

步骤3，人工路标部署：筛选出场景和传感器性能退化的区域，将人工路标部署到筛选出的区域，基于井下导线点位置利用全站仪测量获得人工路标的地理坐标，将人工路标对应的区域和地理坐标均存储到机器人端定位建模与计算装置与矿机器人群数字孪生智能管控平台的场景模型数据库；

步骤4，多模态信息融合SLAM：在机器人端定位建模与计算装置、固定式场景更新与边缘计算装置上，综合多传感器融合SLAM与自然语义路标、人工路标的多模态约束因子，基于增量式因子图优化方法，执行SLAM过程与地理坐标自动对齐，得到具有地理坐标的全局一致的无重影地图构建与绝对定位；

步骤5，基于测度-特征-语义三维混合模型的数字化实时建模与动态更新：利用多模态信息融合SLAM获得的建模数据，构建基于点云与图像的三维高程及栅格测度地图、特征地图，基于先验知识提取环境的语义信息，结合深度学习构建高层次语义地图；

步骤6：SLAM混合模型的压缩存储与实时回传：将测度-特征-语义三维混合模型进行压缩，利用机器人端定位建模与计算装置的无线通讯定位移动节点单元、固定式场景更新与边缘计算装置的井下环网接入单元与巷道无线通讯定位V2X装置进行通讯，将压缩的模型传输到机器人群智能管控系统并存储至场景模型数据库中；

步骤7：虚实耦合的孪生建模：利用煤矿机器人群数字孪生智能管控平台的GIM数据库中的GIM先验模型构建未开采区域的地质模型，利用场景模型数据库中构建的机器人工作区域内巷道、设备、机器人工况场景的混合模型，基于地理坐标信息进行匹配融合，获得井下未开采区域和机器人工作区域匹配的地质场景图，实现GIM虚拟模型+SLAM动态模型实时匹配与融合的孪生建模；

步骤8：孪生要素集成与系统化建模：在机器人群智能管控系统中对孪生建模结果和孪生数据库的数据要素进行集成归档，构建全系统全要素实时更新的机理模型，进行物理空间机器人群、井下设备及其运行环境的各层级属性、组成关系和运行机理进行系统化建模，提供几何、物理、行为和规则信息的描述和供调用的模型数据和接口。

Images