CN112832867B - 一种融合开采数据及地质信息的开采视频建模方法 - Google Patents

Abstract

本发明公开了一种融合开采数据及地质信息的开采视频建模方法，本发明通过对比截割模型与执行结果的差值，实时反馈到数据中心，利用执行效果评价体系和数据挖掘技术，对地质基线模型数据精度、角度转换修正精度、工况导航位置精度、机械特性定差准确度、人工干预的学习修正准确度进行偏差原因分析，适时修正规划截割模型，修正后再次下发验证，直至偏差消失。本发明利用综采工作面开采设备数据和工作面地质信息融合建立开采视频模型，实现工作面生产的全程监控，保障了矿井综采工作面的安全高效可采。

Description

一种融合开采数据及地质信息的开采视频建模方法

技术领域

本发明属于视频建模领域，具体涉及一种融合开采数据及地质信息的开采视频建模方法。

背景技术

矿井工作面现有技术方案主要是通过巷道监控中心和地面指挥控制中心实现对工作面的简易管控。现有技术方案只是针对工作面设备工作状况的简单监控，无法实现融合包括工作面地理信息等的数据建模。

发明内容

本发明的目的在于克服上述不足，提供一种融合开采数据及地质信息的开采视频建模方法，能够根据开采效率和安全指标体系评定结果，训练规划截割工艺的参数组合，修正截割工艺模型。

为了达到上述目的，本发明包括以下步骤：

S1，以综采工作面主要机械设备之间的机械运动关系和联动关系，制定主要机械设备的能动关联关系，并通过综采工作面视频监控系统持续采集视频数据；

S2，根据主要机械设备的能动关联关系，关联相关传感器测量主要机械设备的动作数据和幅度数据，并规划执行目标值投影于逻辑坐标系，作为传感器坐标系；

S3，根据综采工作面视频监控系统回传的视频数据，建立综采工作面设备的三维模型坐标系，作为视频坐标系；

S4、对传感器坐标系与视频坐标系的坐标进行传递及图像融合，完成视频建模。

主要机械设备包括采煤机、液压支架和刮板运输机。

传感器测量数据包括测高和测角。

采用电液控传感器及惯性导航采集所有支架立柱压力、推移行程、控制模式、所有支架控制器的急停状态、通信状态、驱动器与支架控制器通信状态和工作面的推进度，以及单架动作、成组推溜、成组伸、收护帮、成组伸和收伸缩梁动作的动作编码数据。

传感器测量的幅度数据包括左右摇臂高度、牵引方向速度以及液压支架的推、移、拉、升的数据。

通过视频画面中的标记点包括采煤机的滚筒视频尺寸，液压支架的护帮板尺寸，采煤机的摇臂，液压支架底板的固定尺寸及固定形态的机械构造体。

S4中，通过采煤滚筒的上沿、下沿和液压支架推移杆连接插销以及液压支架底板顶端的标识点进行坐标传递。

传感器采集采煤机的数据包括各工作电机运行电流、温度、摇臂轴温、滚筒高度及卧底量，以及采煤机的行走速度和定位采煤机位置，采煤机的俯采角度、仰采角度及采煤机行走方向的工作面倾角，液压系统压力及泵箱内液压油的高度、冷却水流量、压力、油箱温度和左右滚筒高度。

S4中，对传感器坐标系与视频坐标系的坐标提取公共点，作为WGS84直角坐标和地方坐标的直角坐标的点位，通过布尔莎模型进行计算，得到坐标公共点的平移参数、旋转参数和比例因子，将平移参数、旋转参数和比例因子对应到所有传感器坐标系与视频坐标系，完成视频建模。

与现有技术相比，本发明通过对比截割模型与执行结果的差值，实时反馈到数据中心，利用执行效果评价体系和数据挖掘技术，对地质基线模型数据精度、角度转换修正精度、工况导航位置精度、机械特性定差准确度、人工干预的学习修正准确度进行偏差原因分析，适时修正规划截割模型，修正后再次下发验证，直至偏差消失。本发明利用综采工作面开采设备数据和工作面地质信息融合建立开采视频模型，实现工作面生产的全程监控，保障了矿井综采工作面的安全高效可采。

附图说明

图1为本发明的流程图；

图2为本发明中数据流入数据库的流程图；

图3为本发明中批量数据处理工作流程图。

具体实施方式

下面结合附图对本发明做进一步说明。

参见图1，本发明包括以下步骤：

S1，以综采工作面主要机械设备之间的机械运动关系和联动关系，制定主要机械设备的能动关联关系，并通过综采工作面视频监控系统持续采集视频数据，主要机械设备包括采煤机、液压支架和刮板运输机；

S2，根据主要机械设备的能动关联关系，关联相关传感器测量主要机械设备的动作数据和幅度数据，并规划执行目标值投影于逻辑坐标系，作为传感器坐标系；

传感器测量数据包括测高和测角。

采用电液控传感器及惯性导航采集包括所有支架立柱压力、推移行程、控制模式、所有支架控制器的急停状态、通信状态、驱动器与支架控制器通信状态和工作面的推进度，以及单架动作、成组推溜、成组伸、收护帮、成组伸和收伸缩梁动作的动作编码数据。

传感器采集采煤机的数据包括各工作电机运行电流、温度、摇臂轴温、滚筒高度及卧底量，以及采煤机的行走速度和定位采煤机位置，采煤机的俯采角度、仰采角度及采煤机行走方向的工作面倾角，液压系统压力及泵箱内液压油的高度、冷却水流量、压力、油箱温度和左右滚筒高度。

传感器测量的幅度数据包括左右摇臂高度、牵引方向速度以及液压支架的推、移、拉、升的数据。

S3，根据综采工作面视频监控系统回传的视频数据，建立综采工作面设备的三维模型坐标系，作为视频坐标系；通过视频画面中的标记点包括采煤机的滚筒视频尺寸，液压支架的护帮板尺寸，采煤机的摇臂，液压支架底板的固定尺寸及固定形态的机械构造体。

S4、对传感器坐标系与视频坐标系的坐标进行传递及图像融合，完成开采视频建模。通过采煤滚筒的上沿、下沿和液压支架推移杆连接插销以及液压支架底板顶端的标识点进行坐标传递。对传感器坐标系与视频坐标系的坐标提取公共点，作为WGS84直角坐标和地方坐标的直角坐标的点位，通过布尔莎模型进行计算，得到坐标公共点的平移参数、旋转参数和比例因子，将平移参数、旋转参数和比例因子对应到所有传感器坐标系与视频坐标系，完成视频建模。

综采设备采用的通信协议各不相同，需要平台进行统一规范。本工作面配套设备涉及的通信协议主要包括：CAN(采煤机、惯性导航)、TCP/IP(三机集控)、OPC(电液控)等。针对工作面设备的传输协议各异问题，定制研发相关驱动和交互方法，实现多源数据的采集获取，使用数据融合模块进行数据的过滤、清洗、数据格式转换，通过Mqtt(数据发布/订阅传输协议)以及TCP/IP(传输控制协议/因特网互联协议)将数据流以json字符串的形式发送，根据数据流标识将数据分类存储于HDFS(分布式文件系统)内。

系统从各种设备及传感器获取到的数据，需要转换成统一的标准格式，转换方式主要包括：

(1)直接映射：直接处理数据源字段和目标字段长度、精度均一致的原始数据。

(2)字段运算：面对数值型字段数据，对源数据的进行数学运算转为为目标字段。

(3)参照转换：使用数据源的字段作为Key，去关联数组中去搜索特定值。

(4)字符串处理：数据源的字符串字段中获取以字符串形式出现特定信息数值型值。

(5)差值补全：对连续数据中值是否为空进行判断，并对空值数据位进行最近历史有效值的回填。

本项目通过边采集边转换的方式进行数据处理，确保了数据传输的实时性。在此过程中对采集到的每条数据进行数据类型转换、异常数据过滤、数据精度及单位变换、开关变量处理、数据范围及报警判断处理，最后将数据转换成的统一格式后进行数据传输。

以采煤机CAN协议数据转换结果为例，采煤机CAN通信协议点表见表1：

表1采煤机传输协议点表

转换后为Mqtt协议后的数据内容格式如下：

采煤机：

{"obj":"采煤机","Name":"左滚筒.高度","Value":"-0.8","Time":"123","Qos":"0","Note":"null"}

{"obj":"采煤机","Name":"右滚筒.电流","Value":"108.13","Time":"123","Qos":"0","Note":"null"}

{"obj":"采煤机","Name":"右滚筒.高度","Value":"2.88","Time":"123","Qos":"0","Note":"null"}

{"obj":"采煤机","Name":"左牵引.电流","Value":"122.5","Time":"123","Qos":"0","Note":"null"}

从驱动采集到设备数据后，由后台服务对设备数据进行转换并存储。

平台通过串口或网口监控设备数据发送情况，监测到数据接入后将数据传递到驱动程序进行处理，驱动程序根据各个设备的协议解析格式对数据进行解析，在解析过程中对数据进行过滤及转换，并对数据进行格式及精度转换。

通过配置工具建立内存模型，将驱动转换后的数据进行建模，并将两者进行关联。

系统中各个子系统间通过IMS交互模块，进行数据交换，系统后台定时监控各个子系统间的数据变化，通过数据绑定技术更新相应数据。

通过Mqtt协议采集的工况数据主要内容包括：

(1)采煤机工况数据：各工作电机运行电流、温度、摇臂轴温、滚筒高度及卧底量；采煤机的行走速度和定位采煤机位置，采煤机的俯、仰采角度及采煤机行走方向的工作面倾角，液压系统压力及泵箱内液压油的高度，冷却水流量、压力，油箱温度，左右滚筒高度。

(2)支架工况数据：所有支架立柱压力，推移行程，控制模式，所有支架控制器的急停状态、通信状态、驱动器与支架控制器通信状态，工作面的推进度，包括当班和累计进度。单架动作、成组推溜，成组伸、收护帮、成组伸、收伸缩梁等动作的动作编码数据。

(3)运输三机工况数据：破碎机、转载机及刮板输送机各设备减速器及电动机温度、压力、流量、位移、转速、开关状态显示、回路运行状态、电流值、电压值以及漏电、断相、过载数据。

(4)泵站工况数据:泵站出口压力、泵站油温、泵站油位状态、泵站电磁阀动作情况、液箱液位、乳化液浓度及油箱油位数据。

参见图2，通过Mqtt所采集的数据，仍存在数据异构的现象，故需要对其依据平台内配置的对应数据模型进行数据统一格式转换，系统使用Spark SQL(结构化数据处理模块)将HDFS(分布式文件系统)中的原始数据进行计算处理。使用Spark SQL(结构化数据处理模块)对透明地质“CT”切片数据、工况原始数据，进行分解、清洗、过滤、数据格式转换后，写入到MySQL数据库。

平台通过分箱方法考察数据的“近邻”来光滑有序的数据值。对于丢失的数据但属性级别较高的，平台采用多重插补法对数据变量之间的关系进行预测，利用蒙特卡洛方法生成多个完整的数据集，并对这些数据集进行分析，最后对分析结果进行汇总处理。

参见图3，Mqtt数据流的分类存储及优化；

(1)数据仓库建立

平台采用HIVE(数据仓库)基于HDFS(分布式文件系统)，可对HDFS(分布式文件系统)内数据进行建表，提高数据SQL(脚本化查询语言)查询能力，数据仓库进行动态在线扩容，并对关键数据可进行二次备份。物理留存历史数据，确保数据的完整性、一致性、原子性。

(2)数据分类存储流程如下

①将根据模型转换后的数据流，在平台内根据自动识别分类算法，对数据进行分类存储，存入临时数据区。

②经过Sqoop(数据迁移工具)按照以设备、数据类型、时间节点进行分类存储，优化数据存储机制，将非结构化数据，进行结构化处理，存入主题或集市数据区。

③按照系统自定义的数据模型整合数据(标准化、数据更新/追加)，定期对历史数据(采煤机、运输三机、支架、泵站)进行物理磁盘保存，将数据集来源(数据库、文件系统、列族数据库、内存数据库)，提取利用Sqoop(数据迁移工具)存入HDFS(分布式文件管理系统)。

按照主题数据模型整合数据并依据时间节点、数据类型对其标注，建立二级索引，将数据索引目录信息，存入数据服务器中。

实施例：

构建透明工作面数字孪生技术架构，包括物理工作面、虚拟工作面、孪生数据、系统服务和它们之间的连接共五部分。

1)物理工作面

物理工作面是指切眼煤壁信息、综采工作面设备以及它们的分布、工况信息和环境因素等。切眼煤壁信息包括煤厚信息、顶底板信息和巷道坡度等；机电设备包括采煤机、刮板输送机、液压支架、转载机、破碎机、皮带机、超前液压支架、端头异型切顶支架、水泵、泥浆泵、组合开关等，其中采煤机、刮板输送机和液压支架的运行位置和姿态是物理工作面的重点。

2)虚拟工作面

虚拟工作面是对物理工作面的数字化描述，从几何、物理、行为、规则等出发构建物理工作面的数字化模型。因此，根据物理工作面的实际情况，需要建立切眼煤壁模型和设备模型。

采煤机的数字化模型中，采煤机由左右滚筒、左右摇臂、左右牵引箱、左右行走箱、破碎机和中间控制箱组成，通过行走轮与刮板输送机的齿轨啮合以实现其在综采面的往复运动，调高油缸的伸缩可以调整滚筒的高度以适应煤层的高低起伏变化。

在割煤时，采煤机的运动主要包括左右牵引速度和方向、摇臂的旋转实现滚筒调高。因此为了在透明工作面数字孪生系统中实现采煤机的同步映射，不仅需要建立采煤机的整体三维模型，还必须对采煤机的左右滚筒和摇臂增加相应约束条件，这是实现虚实交互和同步映射的前提。

利用三维建模软件SolidWorks建立采煤机的三维模型，并对采煤机的左右滚筒和摇臂添加相应的约束条件。

刮板输送机的在采煤割煤、装煤后实现综采面的运煤动作，并在机头通过转载机、破碎机转移至皮带机上运出工作面。在透明工作面数字孪生系统中，刮板输送机的动作主要包括刮板的移动方向和速度，可仅仅用动画模拟以实现虚拟仿真。利用三维建模软件SolidWorks建立刮板输送机的三维模型。

液压支架主要由底座、前连杆、后连杆、掩护梁、顶梁、立柱、平衡千斤顶、推移千斤顶、推移杆等部件。顶梁是顶板载荷的重要承载部件，掩护梁是上端与顶梁铰接，下端与前后连杆连接的部件，其作用是隔离采空区，防止采空区冒落的岩石窜入工作区域。底座将顶板载荷传递至底板，并与立柱、前后连杆、推移千斤顶连接，并通过推移千斤顶的伸缩，完成移架动作。液压支架的底座、掩护梁、前连杆和后连杆组成一个四连杆机构，用于承受偏载扭矩，提高液压支架稳定性。立柱和平衡千斤顶是液压支架动作的主要运动部件，立柱是用于支撑顶板压力、调节支护高度的千斤顶。

在透明工作面数字孪生系统中，液压支架的主要动作包括升柱、降柱、推溜、拉架、伸护帮板、缩护帮板、起底共七个动作，因此要实现液压支架的同步映射，必须对立柱、推移油缸、护帮板、千斤顶等增加约束条件。

在采煤机、刮板输送机和液压支架的三维数字模型构建完成之后，将其组装并导入软件中，结合透明地质模型，利用C#语言编写相应脚本实现综采工作面的工作逻辑，并进行动画渲染，构建虚拟工作面。

孪生数据是透明工作面数字孪生系统的驱动链，主要包括物理工作面的实体数据、虚拟工作面数据、系统服务数据、历史数据以及融合衍生数据。

其中，物理工作面的实体数据来自于采煤机、刮板输送机和液压支架等机电设备的状态监测数据、位姿数据、环境数据；虚拟体数据包括驱动因素、运行机制和过程验证、仿真、预测等模型数据；系统服务数据包括生产管理与决策等数据；历史数据是指综采面运行的历史记录数据，可用于训练为规划截割提供预测分析等；融合衍生数据是对以上的各类数据加以转换、预处理、分类、关联、集成之后形成的海量信息数据。

在透明工作面数字孪生系统中，系统服务分为功能性服务和业务性服务两部分。功能性服务是指在综采工作面智能割煤过程中用以支撑数字孪生内部功能的运行和实现，包括数据管理和处理服务，例如数据存储、关联、挖掘、融合等；数据传输协议和接口服务；具备高保真度和高置信度的场景漫游服务；智能切割服务，可以在指定的位置生成“CT”切片数据，并存入数据库。业务性服务主要指应用软件客户端满足煤矿生产的需求，包括面向现场操作人员的操作指导服务等，由于该项服务并未在透明工作面数字孪生系统中详细构建，此处不做详细介绍。

连接主要实现物理工作面、虚拟工作面、孪生数据和系统服务四者之间的互联互通。在该系统中，利用各类传感器、数据采集卡等对物理工作面的机电设备、环境因素等进行实时采集，并通过工业以太环网根据分配的IP地址传输至虚拟工作面，用于驱动数字模型，并通过大数据分析和处理可用于更新校正相应的数字模型。

在综采自动化的环网和基本控制功能的基础上，针对复杂地质条件，设计基于人工智能与设备姿态融合的复杂地质条件下综采工作面增强可视化远程监控系统。根据液压支架支架、采煤机、刮板运输机等工作面主要设备的测量数据和动作反馈建立混合可视化模型，按照包含开采环境、设备姿态、运行轨迹等的增强可视化模型，进行综采工作面设备的远程控制。将工人从危险的工作面，转移到相对安全的顺槽集控中心，在井下和地面对复杂地质条件下的开采设备进行“一键”启停、故障预警、联锁控制和云服务智能化管控。实现矿区工作面复杂地质条件下的综采工作面少人、无人操控，顺槽远程可视化管控的开采方式。

Claims (1)

1.一种融合开采数据及地质信息的开采视频建模方法，其特征在于，包括以下步骤：

S1，以综采工作面主要机械设备之间的机械运动关系和联动关系，制定主要机械设备的能动关联关系，并通过综采工作面视频监控系统持续采集视频数据；主要机械设备包括采煤机、液压支架和刮板运输机；

S2，根据主要机械设备的能动关联关系，关联相关传感器测量主要机械设备的动作数据和幅度数据，并规划执行目标值投影于逻辑坐标系，作为传感器坐标系；传感器测量数据包括测高和测角；采用电液控传感器及惯性导航采集所有支架立柱压力、推移行程、控制模式、所有支架控制器的急停状态、通信状态、驱动器与支架控制器通信状态和工作面的推进度，以及单架动作、成组推溜、成组伸、收护帮、成组伸和收伸缩梁动作的动作编码数据；传感器测量的幅度数据包括左右摇臂高度、牵引方向速度以及液压支架的推、移、拉、升的数据；传感器采集采煤机的数据包括各工作电机运行电流、温度、摇臂轴温、滚筒高度及卧底量，以及采煤机的行走速度和定位采煤机位置，采煤机的俯采角度、仰采角度及采煤机行走方向的工作面倾角，液压系统压力及泵箱内液压油的高度、冷却水流量、压力、油箱温度和左右滚筒高度；

S3，根据综采工作面视频监控系统回传的视频数据，建立综采工作面设备的三维模型坐标系，作为视频坐标系；

S4、对传感器坐标系与视频坐标系的坐标进行传递及图像融合，完成视频建模；通过采煤滚筒的上沿、下沿和液压支架推移杆连接插销以及液压支架底板顶端的标识点进行坐标传递；通过视频画面中的标识点包括采煤机的滚筒视频尺寸，液压支架的护帮板尺寸，采煤机的摇臂，液压支架底板的固定尺寸及固定形态的机械构造体；对传感器坐标系与视频坐标系的坐标提取公共点，作为WGS84直角坐标和地方坐标的直角坐标的点位，通过布尔莎模型进行计算，得到坐标公共点的平移参数、旋转参数和比例因子，将平移参数、旋转参数和比例因子对应到所有传感器坐标系与视频坐标系，完成视频建模。