CN116466940B - 一种煤矿灾害特征数据融合处理方法 - Google Patents
一种煤矿灾害特征数据融合处理方法 Download PDFInfo
- Publication number
- CN116466940B CN116466940B CN202310448942.5A CN202310448942A CN116466940B CN 116466940 B CN116466940 B CN 116466940B CN 202310448942 A CN202310448942 A CN 202310448942A CN 116466940 B CN116466940 B CN 116466940B
- Authority
- CN
- China
- Prior art keywords
- data
- converter
- processing
- flow
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000007499 fusion processing Methods 0.000 title claims abstract description 52
- 239000003245 coal Substances 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 111
- 230000004927 fusion Effects 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000013461 design Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims description 44
- 238000013515 script Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 239000000428 dust Substances 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000005553 drilling Methods 0.000 claims description 6
- 238000009423 ventilation Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009529 body temperature measurement Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000013144 data compression Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 13
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/36—Software reuse
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Security & Cryptography (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种煤矿灾害特征数据融合处理方法，属于煤矿灾害预警领域。该方法包括建立数据转换器模板库、设计数据融合和执行数据融合；所述建立数据转换器模板库为：基于煤矿灾害数据的特征，以数据转换器组件的形式进行数据融合的功能单元拆解，所有可用的转换器形成的集合就是转换器模板库；所述设计数据融合为：基于转换器模板库，将每一次特征数据的融合过程，拆解成一系列有顺序的、互相关联的转换器处理来完成；所述执行数据融合为：通过执行设计好的数据融合流程实现最终的数据处理。数据转换器提供灵活的数据组件化处理模式应对煤矿灾害数据的特征多样性，将复杂耦合的处理流程解耦成独立可复用的独立数据处理模块，实现了功能和流程复用。
Description
技术领域
本发明属于煤矿灾害预警领域，涉及一种煤矿灾害特征数据融合处理方法。
背景技术
煤矿井下的灾害判识需要对大量的特征数据进行处理，这些数据具有以下特征：
(1)来源多，数据广泛来源于监测环境的传感器采集、施工作业的设备上传、人员的手工记录、计算机系统的输出等不同渠道；
(2)内容多，数据内容涵盖业务流转、流程处理、物联通信、环境监测等方面；
(3)格式多，数据以文本、文档、关系数据库、非关系数据库、服务接口、地图、报表等多种格式存在；
(4)类型多，数据类型除了常见的数值、日期、时间、字符等类型划分外，还需要识别工业数据中的开关量、离散量、模拟量等的类型划分；
(5)用途多，煤矿井下数据使用于安全生产的各方面：环境监测、灾害预警、风险评估、设备自动化、智能调度、态势分析等；
而煤矿现有的数据使用处理方式却相对原始与分散，由有数据使用需求的业务系统自行产生数据、寻找数据源，通过程序硬编码或依赖数据库系统计算的方式进行处理，绝大部分输出的数据内容与格式固定，用于本系统，无法有效共享使用。现有方式存在的问题有：
(1)数据处理过程与系统硬编码耦合，不同煤矿有不同数据处理需求，导致改动困难、频繁，且多在细节处修改。
(2)数据结果无法共享，或者需要更改接口双方的代码才能共享。
(3)数据处理的算法、模式、格式、编码方法等通常是通用公开的，但却硬编码在程序中，每次进行数据处理均要重新组织这些算法的调用，极易出错。
不同业务对煤矿灾害数据特征都有融合处理的需求，导致融合过程重复开发。
发明内容
有鉴于此，本发明的目的在于提供一种煤矿灾害特征数据融合处理方法。利用可自定义、可复用、组件化的数据转换器模板技术进行流程化的灾害数据处理，将现有技术下的煤矿灾害数据融合功能独立出来形成可灵活组装使用的微服务，解决现有技术下的数据融合处理过程不通用、处理过程僵化、业务人员无法上手、无法灵活适配多煤矿不同业务场景的问题。
为达到上述目的，本发明提供如下技术方案：
一种煤矿灾害特征数据融合处理方法，该方法包括建立数据转换器模板库、设计数据融合和执行数据融合；
所述建立数据转换器模板库为：基于煤矿灾害数据的特征，将对数据的相同处理操作进行功能封装，形成若干独立的、能完成特定数据特征处理的数据转换器，将所有数据转换器分类存放在一起，形成转换器模板库；
所述设计数据融合为：使用转换器模板库中的数据转换器，将每一次特征数据的融合过程，设计成由一系列前后连接的数据转换器所表示的一个数据处理流程；
所述执行数据融合为：通过执行设计好的数据融合流程实现最终的数据融合处理。
可选的，所述数据转换器是基于程序的输入-处理-输出原理设计的、实现特定数据特征处理功能的基本IPO程序单元；所述数据转换器由可视化模板设计器创建，其内容由基本信息、属性设置、输入参数、输出参数以及逻辑处理脚本代码5个部分构成；所述数据转换器通过名称进行唯一标识，实现自定义多属性、多输入参数、多输出参数、业务处理脚本程序代码设置；
所述数据转换器有3种存在形式：
(1)转换器模板
数据转换器创建完成后，分类存放于数据转换器模板库时的存在形式；
(2)转换器对象
对象形式存在于设计数据处理流程中，即用各转换器模板连接成一个有向的流程图，构成业务数据处理流程；此时对转换器模板的属性、参数、脚本进行设置以满足业务数据处理需求，在流程的定义中保存为转换器对象；
(3)转换器实例
实例形式存在于数据处理流程运行时，流程引擎依据流程中的节点顺序实例化每个转换器对象为转换器实例，设置实例属性，向实例传入参数值，执行脚本定义的代码逻辑，返回处理结果到输出参数中，然后进行下一转换器实例的处理；
所述数据转换器能够处理煤矿的灾害类型有：安全监控、人员定位、水文、火灾、瓦斯、粉尘、矿压和通风；
所述数据转换器针对每次灾害数据处理量的大小，进行数据窗口类型的拆分，分为普通型、分页型、实时型3种类型；
(1)普通型
用于一般情况下的数据融合处理，一次处理完所有到达的数据；
(2)分页型
适用于海量数据的分批处理；通过设定当前每批次处理的记录数，自动对到达的数据进行数据窗口划分，每次处理当前数据窗口中的数据，直到所有数据融合处理完成；
(3)实时型
适用于对数据进行实时变化侦测的处理场景，每次数据变化触发一次处理逻辑；
所述数据转换器根据数据处理功能特征划分为：RDB类、NoSQL类、编码类、加密类、文件类、结构类、网络类、算法类、控制类、事件类、GIS类类型。
所述数据转换器根据数据处理过程特征划分为：数据输入类、数据处理类、数据输出类类型。
可选的，所述设计数据融合步骤为：
(1)梳理数据融合过程步骤，收集数据源、数据目标、数据格式、数据协议、数据服务的具体信息；
(2)选择合适的转换器模板，使用可视化流程设计器，建立由各转换器对象相互而连接形成的数据融合流程；
(3)检测数据融合流程的有效性
流程中不能存在孤立的转换器对象，即转换器对象之间必须进行连接，连接的两个参数类型之间必须要保持一致或兼容；转换器对象不能与自身的参数进行连接；每个数据融合流程的定义是有效的JSON对象。
可选的，所述设计数据融合包括以下5种类型的应用：
(1)基于周期调度的多灾害监测数据采集流程
应用于瓦斯监测、光纤测温、粉尘监测、顶板压力灾害的监测数据采集场景，其数据融合处理流程是：连接监测设备获取原始数据、根据数据协议进行数据解析、清洗噪声数据、转换成标准数据、进行数据入库及分发操作；
(2)基于时间序列的多灾害预警计算
应用于灾害的融合预警，包括瓦斯预警涉及通风、温度、粉尘浓度的灾害特征数据；其数据融合处理流程是：从实时监测数据消息队列中获取实时数据、从标准数据库中加载历史数据、加载算法组件进行预测、预测结果分发；
(3)基于空间的井下安全区域聚合运算
应用于灾害的区域化分析，其数据融合处理流程是：从标准数据库中加载历史数据、加载煤矿地理信息数据、数据清洗整理、聚合算法运算、结果输出分发；
(4)基于业务服务的多灾害综合应用
应用于在数据融合处理流程中将数据直接传递给煤矿业务系统，或直接调用业务系统的服务对数据进行专业算法处理的场景；
(5)基于大数据的安全态势运算；
应用于在数据融合处理流程中直接调用大数据技术框架服务的灾害数据运算场景。
可选的，所述执行数据融合通过流程引擎实现；
所述流程引擎是加载并解释执行数据融合流程的程序；在完成流程内容的加载解析后，流程引擎按流程中设计的转换器对象执行顺序，逐个准备转换器实例的运行参数，执行转换器实例的脚本处理代码，完成最终结果的输出；
脚本引擎是流程引擎中用于执行转换器处理的程序，其检查转换器实例中的脚本语法，编译成内部可执行代码，并执行最后返回执行结果；
流程引擎提供流程控制功能，控制流程的启停，对流程基于时间调度设置自动运行时机；
流程引擎提供流程监控功能，监测流程的实时运行状态，查看运行日志。
可选的，所述执行数据融合通过数据输入类转换器实现多源数据的并行加载，数据加载方式如下：
仪器分站：从各煤矿安全监测仪器的分站中加载原始监测数据；
工程设备：从钻机、掘进机、风机的智能设备中加载设备的运行数据；
业务系统：从调用服务接口、查询关系数据库、订阅消息队列主题的业务系统中加载业务数据；
数据文件：从计算机上的数据文件中加载业务数据；
网络协议：基于局域网、互联网、物联网的网络协议获取所需数据；
融合流程：以执行另一个数据融合流程的输出作为数据来源。
可选的，所述执行数据融合通过数据处理类转换器实现煤矿灾害数据的特征化处理，数据处理方式如下：
数据编码：基于特定编码方式对数据进行编码与解码、加密与解密的处理，包括井下监测仪器的协议数据解码读取；
数据过滤：基于条件规则，对数据进行行选择与列选择的处理，包括从瓦斯钻孔数据中选择固定倾角的点位探测数据；
数据插值：根据数据的参数方程，基于时间序列进行插值处理；
数据去噪：根据数据的值域范围，去掉明显的错误数据，包括设备调试数据、程序测试数据；
数据合并：按照时间、地点、灾害、设备、系统、类型的维度的关联关系将多个数据集合并成一个数据集；
数据压缩：将数据分块取特征值，以减少数据量大小但并不损失数据特征；
数据分类：根据地点、灾害类型、设备类型、灾害等级进行数值的特征聚类处理；
数据预测：基于灰色预测、马尔可夫链、神经元网络的模型方法进行时间序列的灾害特征值预测；
数据统计：提供特征数值的数学运算，包括求和、平均值、方差和均差的运算。
可选的，所述执行数据融合通过输出类转换器实现融合数据的输出，数据输出方式如下：
(1)数据通知
在数据处理完成后，将完成的数据通过邮件、短信、消息队列的方式告知用户或系统，使其进行后续的处理；
(2)数据推送
在数据处理完成后，将结果数据通过消息队列、调用网络服务的方式直接推送给系统；
(3)数据写入
直接将处理的数据写入到中间介质，包括数据库系统、数据文件、数据管道，并用事件通知用户或系统处理完成；
(4)文件生成
通过模板技术将处理完成的数据生成用户直接使用的可视化报表、页面、数据表格数据文件。
本发明的有益效果在于：
(1)数据转换器提供灵活的数据组件化处理模式应对煤矿灾害数据的特征多样性，将复杂耦合的处理流程解耦成独立可复用的独立数据处理模块，实现了功能复用、流程复用。
(2)数据转换器提供属性、输入输出参数、处理逻辑脚本的自定义设置实现，便于不同煤矿相似业务需求场景下的个性化灾害特征数据处理需求，能快速、灵活的满足数据处理需求。
(3)通过可视化方式动态扩展数据转换器模板库、使用转换器进行可视化流程设计，满足各种煤矿灾害数据获取、转换、过滤、计算、输出等数据融合的场景，大大降低了数据人员的使用难度，提升工作效率。
(4)融合流程以微服务方式运行，以WebAPI方式提供调用，可无缝接入现有系统，提供数据融合处理服务。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明流程图；
图2为通过可视化流程设计器连接各转换器的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
图1是煤矿灾害特征数据融合的方法结构图；如图1所示，包括：
建立数据转换器模板库
基于煤矿灾害数据的特征，以数据转换器组件的形式进行数据融合的功能单元拆解，最终所有可用的转换器形成的集合就是转换器模板库。
数据转换器是一种动态执行的可复用、可编程的程序处理基本单元，基于程序的IPO(Input-Process-Output，即输入-处理-输出)思想设计，实现了特定的数据处理功能。其通过名称进行唯一标识，通过可视化模板设计器创建，包含基本信息、属性设置、输入参数、输出参数以及逻辑处理脚本代码5个部分，具备动态自定义的多属性、多输入参数、多输出参数、业务处理脚本程序代码设置的特点。
数据转换器有3种存在形式：
(1)转换器模板
模板形式用于创建新的转换器、更改转换器内容或停用转换器。此时定义转换器的基本信息、属性设置、输入参数、输出参数以及逻辑处理脚本代码，并对转换器分类存放，形成数据转换器模板库。
(2)转换器对象
对象形式存在于设计数据处理流程中，即用各转换器模板连接成一个有向的流程图，构成业务数据处理流程。此时对转换器模板的属性、参数、脚本进行设置以满足业务数据处理需求，在流程的定义中保存为转换器对象。
(3)转换器实例
实例形式存在于数据处理流程运行时，流程引擎依据流程中的节点顺序实例化每个转换器对象为转换器实例，设置实例属性，向实例传入参数值，执行脚本定义的代码逻辑，返回处理结果到输出参数中，然后进行下一转换器实例的处理。
数据转换器能够处理煤矿的灾害类型有：安全监控、人员定位、水文、火灾、瓦斯、粉尘、矿压和通风。
数据转换器针对每次灾害数据处理量的大小，进行数据窗口类型的拆分，分为普通型、分页型、实时型3种类型。
(1)普通型
用于一般情况下的数据融合处理，一次处理完所有到达的数据。
(2)分页型
适用于大数据量时的数据分批处理，减少对CPU、内存的资源抢占。通过设定当前可处理的记录数，自动对到达的数据进行数据窗口划分，每次处理当前数据窗口中的数据，直到所有数据处理完成。在典型的煤矿中，井下环境传感器的数据按天进行汇总处理，每天的数据量可达百万条以上，此时利用数据窗口拆分成每次处理10万条记录，然后进行汇总运算。
(3)实时型
适用于对数据进行实时变化侦测的处理场景，每次数据变化触发一次处理逻辑。典型的场景如煤矿安全监测数据向安监平台融合时，通过监测上传的FTP文件夹中的监测数据文本文件变化进行数据的融合处理。
数据转换器根据数据处理功能特征划分为：RDB类、NoSQL类、编码类、加密类、文件类、结构类、网络类、算法类、控制类、事件类、GIS类类型。
数据转换器根据数据处理过程特征划分为：数据输入类、数据处理类、数据输出类类型。
设计数据融合流程
基于转换器模板库，可将每一次特征数据的融合过程，拆解成一系列有顺序的、互相关联的转换器处理来完成。此过程即是设计数据融合流程。其步骤是：
(1)梳理数据融合过程步骤，收集数据源、数据目标、数据格式、数据协议、数据服务等的具体信息；
(2)选择合适的转换器模板，使用可视化流程设计器，建立由各转换器对象相互而连接形成的数据融合流程图；
(3)检测数据融合流程的有效性
流程中不能存在孤立的转换器对象，即转换器对象之间必须进行连接，连接的两个参数类型之间必须要保持一致或兼容。转换器对象不能与自身的参数进行连接。每个数据融合流程的定义必须是有效的JSON对象。
根据煤矿灾害数据的融合特点，数据融合流程主要但不限于有以下5种类型的应用：
(1)基于周期调度的多灾害监测数据采集流程
应用于瓦斯监测、光纤测温、粉尘监测、顶板压力等灾害的监测数据采集场景，主要数据融合处理流程是：连接监测设备获取原始数据、根据数据协议进行数据解析、清洗噪声数据、转换成标准数据、进行数据入库及分发操作。
(2)基于时间序列的多灾害预警计算
应用于灾害的融合预警，如瓦斯预警涉及通风、温度、粉尘浓度等其它灾害特征数据。主要数据融合处理流程是：从实时监测数据消息队列中获取实时数据、从标准数据库中加载历史数据、加载算法组件进行预测、预测结果分发。
(3)基于空间的井下安全区域聚合运算
应用于灾害的区域化分析，主要数据融合处理流程是：从标准数据库中加载历史数据、加载煤矿地理信息数据、数据清洗整理、聚合算法运算、结果输出分发。
(4)基于业务服务的多灾害综合应用
应用于在数据融合处理流程中将数据直接传递给煤矿业务系统，或直接调用业务系统的服务对数据进行专业算法处理的场景。
(5)基于大数据的安全态势运算
应用于在数据融合处理流程中直接调用大数据技术(如Hadoop、Spark等)框架服务的灾害数据运算场景。
执行数据融合流程
通过执行设计好的数据融合流程实现最终的数据处理。流程的执行过程通过流程引擎实现。
流程引擎是加载并解释执行数据融合流程的程序。在完成流程内容的加载解析后，流程引擎按流程中设计的转换器对象执行顺序，逐个准备转换器实例的运行参数，执行转换器实例的脚本处理代码，完成最终结果的输出。
脚本引擎是流程引擎中用于执行转换器处理的程序，其检查转换器实例中的脚本语法，编译成内部可执行代码，并执行最后返回执行结果。
流程引擎提供流程控制功能，可控制流程的启停，对流程基于时间调度设置自动运行时机。
流程引擎提供流程监控功能，可监测流程的实时运行状态，查看运行日志。
流程执行主要通过以下方式实现多源数据的并行加载：
仪器分站：从各煤矿安全监测仪器的分站中加载原始监测数据；
工程设备：从钻机、掘进机、风机等智能设备中加载设备的运行数据；
业务系统：从调用服务接口、查询关系数据库、订阅消息队列主题等业务系统中加载业务数据；
数据文件：从计算机上的数据文件中加载业务数据；
网络协议：基于局域网、互联网、物联网的网络协议获取所需数据；
融合流程：以执行另一个数据融合流程的输出作为数据来源；
流程执行主要通过以下方式实现煤矿灾害数据的特征化处理：
数据编码：基于特定编码方式对数据进行编码与解码、加密与解密的处理，如井下监测仪器的协议数据解码读取；
数据过滤：基于条件规则，对数据进行行选择与列选择的处理，如从瓦斯钻孔数据中选择固定倾角的点位探测数据；
数据插值：根据数据的参数方程，基于时间序列进行插值处理；
数据去噪：根据数据的值域范围，去掉明显的错误数据，如设备调试数据、程序测试数据；
数据合并：按照时间、地点、灾害、设备、系统、类型等维度的关联关系将多个数据集合并成一个数据集；
数据压缩：将数据分块取特征值，以减少数据量大小但并不损失数据特征；
数据分类：根据地点、灾害类型、设备类型、灾害等级进行数值的特征聚类处理；
数据预测：基于灰色预测、马尔可夫链、神经元网络等模型方法进行时间序列的灾害特征值预测；
数据统计：提供特征数值的数学运算，如求和、平均值、方差、均差等运算。
流程执行主要通过如下方式实现融合数据的输出：
(1)数据通知
在数据处理完成后，将完成的数据通过邮件、短信、消息队列(MQ)等的方式告知用户或系统，使其进行后续的处理。
(2)数据推送
在数据处理完成后，将结果数据通过消息队列(MQ)、调用网络服务(WebHook)等的方式直接推送给系统，适用于数据量小的情况。
(3)数据写入
直接将处理的数据写入到中间介质，如数据库系统、数据文件、数据管道，并用事件通知用户或系统处理完成。
(4)文件生成
通过模板技术将处理完成的数据生成用户可直接使用的可视化报表、页面、数据表格等数据文件。
实施例1
不同灾害的监测数据融合是最基础的融合。以粉尘监测数据为例，采用本发明实现煤矿粉尘灾害监测数据的标准化入库融合。具体步骤如下：
(1)使用或建立粉尘数据融合所需要的转换器模板。
本流程所需要的转换器模板有4个：
a)Socket转换器，建立基于TCP/IP协议的连接，获取原始数据流。
b)NSQ转换器，建立与消息队列服务的连接，接收或发送消息指令。
c)RDBStore转换器，提供关系数据存储功能。
d)Script转换器，提供自定义的参数与脚本定义功能。
(2)设计粉尘数据融合流程。
通过可视化流程设计器，连接各转换器模板形成如图2所示的流程图。
在流程图中，所有Script转换器对象要设置输入输出参数，并编写脚本代码实现逻辑处理。
(3)运行流程。
流程运行后，通过定期向分站发送获取数据的指令，接收原始字节码形式的粉尘监测数据，然后通过后续的格式处理、内容解析形成结构化数据，并通过RDBStore转换器将其存储在关系数据库中。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种煤矿灾害特征数据融合处理方法，其特征在于：该方法包括建立数据转换器模板库、设计数据融合和执行数据融合；
所述建立数据转换器模板库为：基于煤矿灾害数据的特征，将对数据的相同处理操作进行功能封装，形成若干独立的、能完成指定的数据特征处理的数据转换器，将所有数据转换器分类存放在一起，形成转换器模板库；
所述设计数据融合为：使用转换器模板库中的数据转换器，将每一次特征数据的融合过程，设计成由一系列前后连接的数据转换器所表示的一个数据处理流程；
所述执行数据融合为：通过执行设计好的数据融合流程实现最终的数据融合处理；
所述数据转换器是基于程序的输入-处理-输出原理设计的、实现指定的数据特征处理功能的基本IPO程序单元；所述数据转换器由可视化模板设计器创建，其内容由基本信息、属性设置、输入参数、输出参数以及逻辑处理脚本代码5个部分构成；所述数据转换器通过名称进行唯一标识，实现自定义多属性、多输入参数、多输出参数、业务处理脚本程序代码设置；
所述数据转换器有3种存在形式：
(1)转换器模板
数据转换器创建完成后，分类存放于数据转换器模板库时的存在形式；
(2)转换器对象
对象形式存在于设计数据处理流程中，即用各转换器模板连接成一个有向的流程图，构成业务数据处理流程；此时对转换器模板的属性、参数、脚本进行设置以满足业务数据处理需求，在流程的定义中保存为转换器对象；
(3)转换器实例
实例形式存在于数据处理流程运行时，流程引擎依据流程中的节点顺序实例化每个转换器对象为转换器实例，设置实例属性，向实例传入参数值，执行脚本定义的代码逻辑，返回处理结果到输出参数中，然后进行下一转换器实例的处理；
所述数据转换器能够处理煤矿的灾害类型有：安全监控、人员定位、水文、火灾、瓦斯、粉尘、矿压和通风；
所述数据转换器针对每次灾害数据处理量的大小，进行数据窗口类型的拆分，分为普通型、分页型、实时型3种类型；
(1)普通型
用于一般情况下的数据融合处理，一次处理完所有到达的数据；
(2)分页型
适用于海量数据的分批处理；通过设定当前每批次处理的记录数，自动对到达的数据进行数据窗口划分，每次处理当前数据窗口中的数据，直到所有数据融合处理完成；
(3)实时型
适用于对数据进行实时变化侦测的处理场景，每次数据变化触发一次处理逻辑；
所述数据转换器根据数据处理功能特征划分为：RDB类、NoSQL类、编码类、加密类、文件类、结构类、网络类、算法类、控制类、事件类、GIS类类型；
所述数据转换器根据数据处理过程特征划分为：数据输入类、数据处理类、数据输出类类型；
所述设计数据融合步骤为：
(1)梳理数据融合过程步骤，收集数据源、数据目标、数据格式、数据协议、数据服务的具体信息；
(2)选择合适的转换器模板，使用可视化流程设计器，建立由各转换器对象相互而连接形成的数据融合流程；
(3)检测数据融合流程的有效性
流程中不能存在孤立的转换器对象，即转换器对象之间必须进行连接，连接的两个参数类型之间必须要保持一致或兼容；转换器对象不能与自身的参数进行连接；每个数据融合流程的定义是有效的JSON对象；
所述执行数据融合通过数据处理类转换器实现煤矿灾害数据的特征化处理，数据处理方式如下：
数据编码：基于指定的编码方式对数据进行编码与解码、加密与解密的处理，包括井下监测仪器的协议数据解码读取；
数据过滤：基于条件规则，对数据进行行选择与列选择的处理，包括从瓦斯钻孔数据中选择固定倾角的点位探测数据；
数据插值：根据数据的参数方程，基于时间序列进行插值处理；
数据去噪：根据数据的值域范围，去掉明显的错误数据，包括设备调试数据、程序测试数据；
数据合并：按照时间、地点、灾害、设备、系统、类型的维度的关联关系将多个数据集合并成一个数据集；
数据压缩：将数据分块取特征值，以减少数据量大小但并不损失数据特征；
数据分类：根据地点、灾害类型、设备类型、灾害等级进行数值的特征聚类处理；
数据预测：基于灰色预测、马尔可夫链、神经元网络的模型方法进行时间序列的灾害特征值预测；
数据统计：提供特征数值的数学运算，包括求和、平均值、方差和均差的运算。
2.根据权利要求1所述的一种煤矿灾害特征数据融合处理方法，其特征在于：所述设计数据融合包括以下5种类型的应用：
(1)基于周期调度的多灾害监测数据采集流程
应用于瓦斯监测、光纤测温、粉尘监测、顶板压力灾害的监测数据采集场景，其数据融合处理流程是：连接监测设备获取原始数据、根据数据协议进行数据解析、清洗噪声数据、转换成标准数据、进行数据入库及分发操作；
(2)基于时间序列的多灾害预警计算
应用于灾害的融合预警，包括瓦斯预警涉及通风、温度、粉尘浓度的灾害特征数据；其数据融合处理流程是：从实时监测数据消息队列中获取实时数据、从标准数据库中加载历史数据、加载算法组件进行预测、预测结果分发；
(3)基于空间的井下安全区域聚合运算
应用于灾害的区域化分析，其数据融合处理流程是：从标准数据库中加载历史数据、加载煤矿地理信息数据、数据清洗整理、聚合算法运算、结果输出分发；
(4)基于业务服务的多灾害综合应用
应用于在数据融合处理流程中将数据直接传递给煤矿业务系统，或直接调用业务系统的服务对数据进行专业算法处理的场景；
(5)基于大数据的安全态势运算；
应用于在数据融合处理流程中直接调用大数据技术框架服务的灾害数据运算场景。
3.根据权利要求1所述的一种煤矿灾害特征数据融合处理方法，其特征在于：所述执行数据融合通过流程引擎实现；
所述流程引擎是加载并解释执行数据融合流程的程序；在完成流程内容的加载解析后，流程引擎按流程中设计的转换器对象执行顺序，逐个准备转换器实例的运行参数，执行转换器实例的脚本处理代码，完成最终结果的输出；
脚本引擎是流程引擎中用于执行转换器处理的程序，其检查转换器实例中的脚本语法，编译成内部可执行代码，并执行最后返回执行结果；
流程引擎提供流程控制功能，控制流程的启停，对流程基于时间调度设置自动运行时机；
流程引擎提供流程监控功能，监测流程的实时运行状态，查看运行日志。
4.根据权利要求3所述的一种煤矿灾害特征数据融合处理方法，其特征在于：所述执行数据融合通过数据输入类转换器实现多源数据的并行加载，数据加载方式如下：
仪器分站：从各煤矿安全监测仪器的分站中加载原始监测数据；
工程设备：从钻机、掘进机、风机的智能设备中加载设备的运行数据；
业务系统：从调用服务接口、查询关系数据库、订阅消息队列主题的业务系统中加载业务数据；
数据文件：从计算机上的数据文件中加载业务数据；
网络协议：基于局域网、互联网、物联网的网络协议获取所需数据；
融合流程：以执行另一个数据融合流程的输出作为数据来源。
5.根据权利要求4所述的一种煤矿灾害特征数据融合处理方法，其特征在于：所述执行数据融合通过输出类转换器实现融合数据的输出，数据输出方式如下：
(1)数据通知
在数据处理完成后，将完成的数据通过邮件、短信、消息队列的方式告知用户或系统，使其进行后续的处理；
(2)数据推送
在数据处理完成后，将结果数据通过消息队列、调用网络服务的方式直接推送给系统；
(3)数据写入
直接将处理的数据写入到中间介质，包括数据库系统、数据文件、数据管道，并用事件通知用户或系统处理完成；
(4)文件生成
通过模板技术将处理完成的数据生成用户直接使用的可视化报表、页面、数据表格数据文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310448942.5A CN116466940B (zh) | 2023-04-24 | 2023-04-24 | 一种煤矿灾害特征数据融合处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310448942.5A CN116466940B (zh) | 2023-04-24 | 2023-04-24 | 一种煤矿灾害特征数据融合处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116466940A CN116466940A (zh) | 2023-07-21 |
| CN116466940B true CN116466940B (zh) | 2024-05-31 |
Family
ID=87182178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310448942.5A Active CN116466940B (zh) | 2023-04-24 | 2023-04-24 | 一种煤矿灾害特征数据融合处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116466940B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105187559A (zh) * | 2015-09-30 | 2015-12-23 | 成都智信电子技术有限公司 | 一种数据融合治理系统 |
| CN110650137A (zh) * | 2019-09-23 | 2020-01-03 | 煤炭科学技术研究院有限公司 | 煤矿网络异常行为预警方法、系统、设备及可读存储介质 |
| CN110941612A (zh) * | 2019-11-19 | 2020-03-31 | 上海交通大学 | 基于关联数据的自治数据湖构建系统及方法 |
| CN112769822A (zh) * | 2020-12-31 | 2021-05-07 | 中国科学院上海高等研究院 | 基于边缘计算的数据采集装置、系统及方法 |
| CN213244058U (zh) * | 2020-10-14 | 2021-05-18 | 徐州信智科技有限公司 | 基于mqtt的煤矿新型安全监控系统 |
| CN113487251A (zh) * | 2021-09-07 | 2021-10-08 | 成都国星宇航科技有限公司 | 基于一键式遥感的自然灾害预警与应急响应方法与系统 |
| CN114529385A (zh) * | 2021-12-28 | 2022-05-24 | 广州软件应用技术研究院 | 一种基于智能合同企业信用数据协同处理方法及系统 |
| CN114860884A (zh) * | 2022-05-23 | 2022-08-05 | 中国科学院空天信息创新研究院 | 一种面向动态分析的时空知识图谱构建系统和方法 |
-
2023
- 2023-04-24 CN CN202310448942.5A patent/CN116466940B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105187559A (zh) * | 2015-09-30 | 2015-12-23 | 成都智信电子技术有限公司 | 一种数据融合治理系统 |
| CN110650137A (zh) * | 2019-09-23 | 2020-01-03 | 煤炭科学技术研究院有限公司 | 煤矿网络异常行为预警方法、系统、设备及可读存储介质 |
| CN110941612A (zh) * | 2019-11-19 | 2020-03-31 | 上海交通大学 | 基于关联数据的自治数据湖构建系统及方法 |
| CN213244058U (zh) * | 2020-10-14 | 2021-05-18 | 徐州信智科技有限公司 | 基于mqtt的煤矿新型安全监控系统 |
| CN112769822A (zh) * | 2020-12-31 | 2021-05-07 | 中国科学院上海高等研究院 | 基于边缘计算的数据采集装置、系统及方法 |
| CN113487251A (zh) * | 2021-09-07 | 2021-10-08 | 成都国星宇航科技有限公司 | 基于一键式遥感的自然灾害预警与应急响应方法与系统 |
| CN114529385A (zh) * | 2021-12-28 | 2022-05-24 | 广州软件应用技术研究院 | 一种基于智能合同企业信用数据协同处理方法及系统 |
| CN114860884A (zh) * | 2022-05-23 | 2022-08-05 | 中国科学院空天信息创新研究院 | 一种面向动态分析的时空知识图谱构建系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116466940A (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107147639A (zh) | 一种基于复杂事件处理的实时安全预警方法 | |
| CN108039959B (zh) | 一种数据的态势感知方法、系统及相关装置 | |
| CN112651126B (zh) | 一种基于bim的建筑工程施工优化系统、方法、终端及存储介质 | |
| CN116882978B (zh) | 一种基于产品信息框架的深海潜水器运维保障系统 | |
| KR102540257B1 (ko) | Ｅｓｇ 경영을 위한 인공지능 기반 환경설비 및 산업플랜트 관리 서비스 시스템 | |
| CN113821418B (zh) | 故障根因分析方法及装置、存储介质和电子设备 | |
| CN113468019A (zh) | 基于Hbase的指标监控方法、装置、设备及存储介质 | |
| CN113868498A (zh) | 数据存储方法、电子装置、装置及可读存储介质 | |
| CN107506422A (zh) | 一种多数据源的分布式日志处理系统及方法 | |
| CN115983809A (zh) | 一种基于智能门户平台的企业办公管理方法及系统 | |
| CN115422003A (zh) | 数据质量监控方法、装置、电子设备、存储介质 | |
| CN116466940B (zh) | 一种煤矿灾害特征数据融合处理方法 | |
| CN115373976A (zh) | 保险测试方法、装置、计算机设备及存储介质 | |
| CN116861708B (zh) | 生产设备多维模型构建方法及装置 | |
| CN110750582A (zh) | 数据处理方法、装置和系统 | |
| CN110414008B (zh) | 一种基于深度学习的关系抽取系统及其方法 | |
| CN104331517A (zh) | 一种检索方法及装置 | |
| CN116149849A (zh) | 一种面向智慧水务复杂时间尺度数据融合的边缘计算方法 | |
| Feremans et al. | A framework for pattern mining and anomaly detection in multi-dimensional time series and event logs | |
| CN112448840B (zh) | 一种通信数据质量监控方法、装置、服务器及存储介质 | |
| CN110019109B (zh) | 用于处理数据仓库数据的方法及装置 | |
| Li et al. | Data-Centric Workshop Digital Twin Conceptual Modeling Method And Application | |
| CN113297246B (zh) | 一种数据的处理方法、计算设备及存储介质 | |
| Ntalaperas et al. | WP4–Digitalization of operational processes, smart sensors configuration and DSS implementation | |
| CN118839292A (zh) | 一种应用于智慧城市的多源异构数据融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |