CN109922124A - 一种基于Hadoop的煤矿数据管理系统 - Google Patents
一种基于Hadoop的煤矿数据管理系统 Download PDFInfo
- Publication number
- CN109922124A CN109922124A CN201811635207.0A CN201811635207A CN109922124A CN 109922124 A CN109922124 A CN 109922124A CN 201811635207 A CN201811635207 A CN 201811635207A CN 109922124 A CN109922124 A CN 109922124A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- hadoop
- coal mine
- idi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003245 coal Substances 0.000 title claims abstract description 57
- 238000013523 data management Methods 0.000 title claims abstract description 13
- 238000013480 data collection Methods 0.000 claims abstract description 18
- 238000004519 manufacturing process Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims abstract description 8
- 238000007726 management method Methods 0.000 abstract description 11
- 238000005065 mining Methods 0.000 abstract description 8
- 238000003860 storage Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 241001269238 Data Species 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000009411 base construction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Hadoop的煤矿数据管理系统，包括设置在煤矿生产线上的办公数据采集模块和工业数据采集模块，办公数据采集模块通过第一IDI服务器数据连接至第一oracle服务器；工业数据采集模块通过第二IDI服务器分别数据连接至第一oracle服务器和Hadoop服务器；办公数据采集模块，用于采集煤矿企业办公系统数据，并将其经第一IDI服务器发送至第一oracle服务器；工业数据采集模块，用于采集煤矿企业的工业系统数据，工业系统数据包括正常数据和异常数据，正常数据经第二IDI服务器发送至第一oracle服务器进行存储，异常数据经第二IDI服务器发送至Hadoop服务器。解决了现有技术中煤矿企业对于大量的异构数据无法进行合理管理的问题。
Description
【技术领域】
本发明属于煤矿技术领域，具体涉及一种基于Hadoop的煤矿数据管理系统。
【背景技术】
近年来，随着煤矿企业对信息化建设认识的不断提高，各类信息系统在煤矿企业不断地进行建设。但由于种种问题和限制，近年来，煤炭行业信息化工作呈现投资巨大、标准缺失、效率不高的现象，数据“黑洞”、“孤岛”等问题越来越严重。特别是在当前在大数据时代，煤矿企业各个专业应用业务系统在数据存储、数据处理、数据管理等方面都存在不少问题。特别是业务系统的后端数据库通常为关系型数据库，其数据存储能力、支持用户的并发访问能力有限，相应的数据关系与数据结构无法进行有效的扩展；煤矿现有的数据存储模型和业务处理系统只针对结构化数据进行设计，对大量的异构数据(文本数据、图片数据、视频数据)无法进行合理的计算与分析；系统在业务流程处理上没有进行高性能“并行计算”设计，CPU、存储器等资源也没有进行合理的分配与调度。
【发明内容】
本发明的目的是提供一种基于Hadoop的煤矿数据管理系统，以解决现有技术中煤矿企业对于大量的异构数据无法进行合理管理的问题。
本发明采用以下技术方案：一种基于Hadoop的煤矿数据管理系统，包括设置在煤矿生产线上的办公数据采集模块和工业数据采集模块，办公数据采集模块通过第一IDI服务器数据连接至第一oracle服务器；
工业数据采集模块通过第二IDI服务器分别数据连接至第一oracle服务器和Hadoop服务器；
办公数据采集模块，用于采集煤矿企业办公系统数据，并将其经第一IDI服务器发送至第一oracle服务器；
工业数据采集模块，用于采集煤矿企业的工业系统数据，工业系统数据包括正常数据和异常数据，正常数据经第二IDI服务器发送至第一oracle服务器进行存储，异常数据经第二IDI服务器发送至Hadoop服务器。
进一步的，第一oracle服务器连接有第二oracle服务器。
进一步的，第一oracle服务器与Hadoop服务器连接。
进一步的，办公数据采集模块包括若干个PC主机。
进一步的，工业数据采集模块包括若干个传感器。
与现有技术相比，本发明至少具有以下有益效果：采用基于Hadoop的分布式系统框架，建设煤矿大数据采集存储平台，将煤矿财务、物资供应、煤炭营销、人力资源、安全生产、绩效考核等主题数据，从源系统中经过提取、转换、加载形成煤矿的数据池，通过Hadoop技术进行分布式进行永久存储。
【附图说明】
图1为本发明一种基于Hadoop的煤矿数据管理系统的布局结构示意图。
其中：1.办公数据采集模块，2.工业数据采集模块，3.第一IDI服务器，4.第二IDI服务器，5.第一oracle服务器，6.Hadoop服务器，7.第二oracle服务器。
【具体实施方式】
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明提供了一种基于Hadoop的煤矿数据管理系统，如图1所示布局结构，包括办公数据采集模块1和工业数据采集模块2，办公数据采集模块1通过第一IDI服务器3数据连接至第一oracle服务器5；工业数据采集模块2通过第二IDI服务器4分别数据连接至第一oracle服务器5和Hadoop服务器6。
其中，办公数据采集模块1，用于采集煤矿企业办公系统数据，并将其经第一IDI服务器3发送至第一oracle服务器5。工业数据采集模块2，用于采集煤矿企业的工业系统数据，工业系统数据包括正常数据和异常数据，正常数据经第二IDI服务器4发送至第一oracle服务器5进行存储，异常数据经第二IDI服务器4发送至Hadoop服务器6。另外，第一oracle服务器5还可以连接有第二oracle服务器7，第一oracle服务器5还与Hadoop服务器6连接。
其中，办公数据采集模块可以由24个办公网信息化系统组成，每个信息化系统所产生的数据均通过该信息化系统厂家提供的数据接口，将系统中产生的数据接入数据进行采集。工业数据采集模块可以由10个工业网信息化系统组成，每个信息化系统所产生的数据均通过该信息化系统厂家提供的数据接口，将系统中产生的数据接入数据进行采集。第一IDI服务器3和第二IDI服务器4的型号均为：浪潮NF8460M4，第一oracle服务器5和第二oracle服务器7的型号均为：浪潮TS860，Hadoop服务器7的型号为：浪潮NF5280M4。
办公数据采集模块1包括若干个PC主机，工业数据采集模块2包括若干个传感器。这两个模块是煤矿目前存在的设备时序数据、业务经营数据、异常视频数据3类数据的数据源，这三类数据分别产生和存在于当前煤矿大概二十余个不同的办公信息系统，以及工业信息系统的160个传感器中。
其中，办公数据采集模块1采集各类煤矿办公系统数据，具体包括皮带运输系统、矿井水文监测系统、冲击地压应力在线监测系统，主要是将这些系统中的业务经营数据、设备时序数据等关系型数据通过不同系统厂家提供的数据接口，利用第一IDI服务器3将各个办公系统经过抽取、交互转换、加载至第一oracle服务器5中进行存储。当煤矿在财务、运销、采购等经营环节中需要建立分析时，存储的信息可以作为数据分析基础，来为企业经营决策服务。
工业数据采集模块2采集各类煤矿工业系统工业数据，包括人员定位系统、电力监控系统、风机监控系统，主要是将这些系统中的部分业务经营数据、设备时序数据等关系型数据，以及异常视频数据等非关系型数据，通过不同系统厂家提供的数据接口，利用第二IDI服务器4，将各个工业系统系统产生的数据经过抽取、交互转换、加载至第一oracle服务器5中进行存储。另外，工业系统的部分异常视频数据不经过第一oracle服务器5，直接通过第二IDI服务器4处理后，进入Hadoop服务器6中存储。当煤矿在生产监控、矿井防冲击、防治水等环节中需要建立分析时，存储的信息可以作为数据分析基础，来为企业安全生产服务。
采用第一IDI服务器3和第二IDI服务器4来对上述办公数据采集模块1和工业数据采集模块2中的三类数据，根据其不同性质进行抽取和处理。两台IDI服务器利用ETL技术，将办公数据采集模块1和工业数据采集模块2中的数据分别加载至第一oracle服务器5中和Hadoop服务器6中。
通过以上流程，将数据进行采集、治理和加载后，最终永久性存储于基于Hadoop服务器6中，从而建立起集煤矿安全管理、生产管理、经营管理为一体的综合性大数据仓库平台。通过该仓库平台的建设，可以根据需求抽取需要的数据，搭建相应的煤矿安全生产、经营管理数据模型，直观地将数据的应用体现在出来，为企业发展服务。
采用基于Hadoop的分布式系统框架，建设煤矿大数据采集存储平台，将煤矿财务、物资供应、煤炭营销、人力资源、安全生产、绩效考核等主题数据，从源系统中经过提取、转换、加载形成煤矿的数据池，通过Hadoop技术进行分布式进行永久存储。煤矿企业通过建设的数据仓库，根据需求查询和抽取需要的数据并建立数据分析模型，使煤矿各层级人员可以透彻掌握企业的运行状况，及时发现并跟踪生产经营过程中存在的问题，制定相应决策，推动企业由传统企业向现代化企业的转型升级，进而充分发挥大数据对煤矿企业转型发展的支撑和促进作用。
煤矿企业通过建设的数据仓库，根据需求查询和抽取需要的数据并建立数据分析模型，使煤矿各层级人员可以透彻掌握企业的运行状况，及时发现并跟踪生产经营过程中存在的问题，制定相应决策，推动企业由传统企业向现代化企业的转型升级，进而充分发挥大数据对煤矿企业转型发展的支撑和促进作用。
本发明的优点：
1.该数据仓库平台采用基于Hadoop的分布式数据库建设、存储，具有海量数据的处理能力。
2.该数据仓库平台支持数据压缩存储，能有效防范多度量、多维度、多层次时的数据爆炸。
3.通过该数据仓库的建设，通过各类先进数据采集和处理技术，提高数据采集效率和存储能力，有效解决煤矿数据“黑洞”、“孤岛”等问题。
4.该数据仓库平台解决了煤矿多系统数据格式不统一、数据采集技术复杂、数据无法永久存储等多种问题，是煤矿大数据治理的典范示例。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (5)
1.一种基于Hadoop的煤矿数据管理系统，其特征在于，包括设置在煤矿生产线上的办公数据采集模块(1)和工业数据采集模块(2)，所述办公数据采集模块(1)通过第一IDI服务器(3)数据连接至第一oracle服务器(5)；
所述工业数据采集模块(2)通过第二IDI服务器(4)分别数据连接至第一oracle服务器(5)和Hadoop服务器(6)；
所述办公数据采集模块(1)，用于采集煤矿企业办公系统数据，并将其经第一IDI服务器(3)发送至第一oracle服务器(5)；
所述工业数据采集模块(2)，用于采集煤矿企业的工业系统数据，所述工业系统数据包括正常数据和异常数据，所述正常数据经第二IDI服务器(4)发送至第一oracle服务器(5)进行存储，所述异常数据经第二IDI服务器(4)发送至Hadoop服务器(6)。
2.如权利要求1所述的一种基于Hadoop的煤矿数据管理系统，其特征在于，所述第一oracle服务器(5)连接有第二oracle服务器(7)。
3.如权利要求1或2所述的一种基于Hadoop的煤矿数据管理系统，其特征在于，所述第一oracle服务器(5)与Hadoop服务器(6)连接。
4.如权利要求1或2所述的一种基于Hadoop的煤矿数据管理系统，其特征在于，所述办公数据采集模块(1)包括若干个PC主机。
5.如权利要求1或2所述的一种基于Hadoop的煤矿数据管理系统，其特征在于，所述工业数据采集模块(2)包括若干个传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811635207.0A CN109922124A (zh) | 2018-12-29 | 2018-12-29 | 一种基于Hadoop的煤矿数据管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811635207.0A CN109922124A (zh) | 2018-12-29 | 2018-12-29 | 一种基于Hadoop的煤矿数据管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109922124A true CN109922124A (zh) | 2019-06-21 |
Family
ID=66960003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811635207.0A Pending CN109922124A (zh) | 2018-12-29 | 2018-12-29 | 一种基于Hadoop的煤矿数据管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109922124A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113377776A (zh) * | 2021-06-29 | 2021-09-10 | 中煤能源研究院有限责任公司 | 一种智能矿山数据管理系统、方法、设备和可读存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023617A (zh) * | 2009-09-17 | 2011-04-20 | 上海可鲁系统软件有限公司 | 一种基于工业互联网的煤矿安全信息监控系统 |
| CN102880802A (zh) * | 2012-09-25 | 2013-01-16 | 浙江图讯科技有限公司 | 一种用于面向工矿企业安全生产云服务平台系统的重大危险源的分析评价方法 |
| CN102882969A (zh) * | 2012-09-25 | 2013-01-16 | 浙江图讯科技有限公司 | 一种工矿企业的安全生产云服务平台 |
| CN103236021A (zh) * | 2013-04-03 | 2013-08-07 | 宁夏新航信息科技有限公司 | 基于soa架构的煤矿综合信息化集成应用系统 |
| CN203614133U (zh) * | 2013-10-30 | 2014-05-28 | 西安航空学院 | 一种基于Hadoop的煤矿安全监控系统 |
| CN205179232U (zh) * | 2015-10-29 | 2016-04-20 | 焦作煤业（集团）有限责任公司计讯处 | 一种矿用瓦斯监测双网传输系统 |
| CN106354774A (zh) * | 2016-08-22 | 2017-01-25 | 东北大学 | 一种实时工业过程大数据压缩存储系统及方法 |
| CN107193245A (zh) * | 2017-04-18 | 2017-09-22 | 山东新矿信息技术有限公司 | 煤矿生产工业网信息与办公互联网信息融合的方法 |
| CN207117678U (zh) * | 2017-08-08 | 2018-03-16 | 中滦科技股份有限公司 | 一种基于宽带无线通信的煤矿开采工作面综合管控系统 |
| CN107909300A (zh) * | 2017-12-12 | 2018-04-13 | 北京可视化智能科技股份有限公司 | 智能工厂管理平台和方法 |
| WO2018147560A1 (ko) * | 2017-02-08 | 2018-08-16 | 인제대학교 산학협력단 | 생체신호 기반의 안전관리 작업복을 이용한 근로자 건강관리 시스템 및 모니터링 방법 |
| CN108460144A (zh) * | 2018-03-14 | 2018-08-28 | 西安华光信息技术有限责任公司 | 一种基于机器学习的煤炭设备故障预警系统及方法 |
| CN108320040B (zh) * | 2017-01-17 | 2021-01-26 | 国网重庆市电力公司 | 基于贝叶斯网络优化算法的采集终端故障预测方法及系统 |
-
2018
- 2018-12-29 CN CN201811635207.0A patent/CN109922124A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023617A (zh) * | 2009-09-17 | 2011-04-20 | 上海可鲁系统软件有限公司 | 一种基于工业互联网的煤矿安全信息监控系统 |
| CN102880802A (zh) * | 2012-09-25 | 2013-01-16 | 浙江图讯科技有限公司 | 一种用于面向工矿企业安全生产云服务平台系统的重大危险源的分析评价方法 |
| CN102882969A (zh) * | 2012-09-25 | 2013-01-16 | 浙江图讯科技有限公司 | 一种工矿企业的安全生产云服务平台 |
| CN103236021A (zh) * | 2013-04-03 | 2013-08-07 | 宁夏新航信息科技有限公司 | 基于soa架构的煤矿综合信息化集成应用系统 |
| CN203614133U (zh) * | 2013-10-30 | 2014-05-28 | 西安航空学院 | 一种基于Hadoop的煤矿安全监控系统 |
| CN205179232U (zh) * | 2015-10-29 | 2016-04-20 | 焦作煤业（集团）有限责任公司计讯处 | 一种矿用瓦斯监测双网传输系统 |
| CN106354774A (zh) * | 2016-08-22 | 2017-01-25 | 东北大学 | 一种实时工业过程大数据压缩存储系统及方法 |
| CN108320040B (zh) * | 2017-01-17 | 2021-01-26 | 国网重庆市电力公司 | 基于贝叶斯网络优化算法的采集终端故障预测方法及系统 |
| WO2018147560A1 (ko) * | 2017-02-08 | 2018-08-16 | 인제대학교 산학협력단 | 생체신호 기반의 안전관리 작업복을 이용한 근로자 건강관리 시스템 및 모니터링 방법 |
| CN107193245A (zh) * | 2017-04-18 | 2017-09-22 | 山东新矿信息技术有限公司 | 煤矿生产工业网信息与办公互联网信息融合的方法 |
| CN207117678U (zh) * | 2017-08-08 | 2018-03-16 | 中滦科技股份有限公司 | 一种基于宽带无线通信的煤矿开采工作面综合管控系统 |
| CN107909300A (zh) * | 2017-12-12 | 2018-04-13 | 北京可视化智能科技股份有限公司 | 智能工厂管理平台和方法 |
| CN108460144A (zh) * | 2018-03-14 | 2018-08-28 | 西安华光信息技术有限责任公司 | 一种基于机器学习的煤炭设备故障预警系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 赵嘉: ""基于Hadoop的煤炭企业数据共享平台设计与实现"", 《中国硕士学位论文全文数据库信息科技辑》 * |
| 郝天轩; 张春林: ""基于Hadoop平台的瓦斯突出预测预警方法研究"", 《中国安全科学学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113377776A (zh) * | 2021-06-29 | 2021-09-10 | 中煤能源研究院有限责任公司 | 一种智能矿山数据管理系统、方法、设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103646149B (zh) | 基于知识工程的方案自动生成、评估系统及方法 | |
| CN105260857A (zh) | 农民工信息智能管理系统及其方法 | |
| CN110321381A (zh) | 电力信息设备管理系统 | |
| CN104091034B (zh) | 基于图形匹配的线路联络图自动成图系统及方法 | |
| CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
| CN104699857A (zh) | 基于知识工程的大数据存储方法 | |
| Xianglan | Digital construction of coal mine big data for different platforms based on life cycle | |
| Jiang et al. | Supply chain resilience of mineral resources industry in China | |
| CN109922124A (zh) | 一种基于Hadoop的煤矿数据管理系统 | |
| CN106022640B (zh) | 电量指数核对系统及方法 | |
| CN114218291A (zh) | 基于目标对象的画像生成方法、装置、设备及存储介质 | |
| CN104361086A (zh) | 一种计量资产全寿命周期管理系统数据集成方法 | |
| CN206149326U (zh) | 一种数据采集分析监控系统 | |
| CN202512593U (zh) | 一种基于掌静脉的非接触型新农保信息采集认证系统 | |
| CN202094700U (zh) | 电网节能调度实时煤耗在线监控系统 | |
| Xu et al. | [Retracted] Hazard Trend Identification Model Based on Statistical Analysis of Abnormal Power Generation Behavior Data | |
| CN206506544U (zh) | 一种网络设备的智能维护装置 | |
| CN103279890A (zh) | 安全隐患闭合管理信息系统 | |
| CN103544196A (zh) | BigBase高通量大数据在线分析软硬件一体机 | |
| CN204465589U (zh) | 一种具有高运算性能的云计算设备 | |
| Wang | Practice of cloud computing in coal mine safety production | |
| Li et al. | The fast simulation architecture construction for integrated electric transmission and distribution power grid based on big data platform | |
| Shuangming et al. | Research on the construction of sports resources information platform based on big data | |
| CN110990382A (zh) | 一种信息运营监测用数据溯源管理系统 | |
| CN104463691A (zh) | 电力系统信息状态故障识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Sun Xikui Inventor after: Zhang Yuangang Inventor after: Shi Xinguo Inventor after: Zhai Bo Inventor after: Wang Qiubo Inventor after: Wang Weilong Inventor after: Ren Chen Inventor after: Liu Ke Inventor after: Zhang Ling Inventor before: Sun Xikui Inventor before: Shi Xinguo Inventor before: Zhai Bo Inventor before: Wang Qiubo Inventor before: Wang Weilong Inventor before: Ren Chen Inventor before: Zhang Ling |
|
| CB03 | Change of inventor or designer information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190621 |
|
| RJ01 | Rejection of invention patent application after publication |