CN116976808A - 一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质 - Google Patents
一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116976808A CN116976808A CN202310906382.3A CN202310906382A CN116976808A CN 116976808 A CN116976808 A CN 116976808A CN 202310906382 A CN202310906382 A CN 202310906382A CN 116976808 A CN116976808 A CN 116976808A
- Authority
- CN
- China
- Prior art keywords
- data
- coal mine
- module
- information
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003245 coal Substances 0.000 title claims abstract description 88
- 238000013523 data management Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 238000007726 management method Methods 0.000 claims abstract description 23
- 238000013500 data storage Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 abstract 2
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Economics (AREA)
- Animal Husbandry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Agronomy & Crop Science (AREA)
- Quality & Reliability (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请的实施例公开了一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质,涉及数据管理技术领域,能够有效提高煤矿地学数据的存取、管理、分析和应用。所述方法包括:获取单元,用于获取信息工单,并对信息工单中的用户需求进行分析;加工单元,用于对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工;所述元数据模型用于对信息进行规范化处理;管理单元,用于对加工后的数据进行管理,并根据所述获取单元分析得到的用户需求提供服务。本发明适用于智慧煤矿建设。
Description
技术领域
本申请涉及数据管理技术领域,具体涉及一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质。
背景技术
随着煤矿勘探技术的日益发展,例如随着万道以上的高密度地震勘探技术的广泛应用,煤矿地学数据呈现爆炸式增长,数据规模可达PB、EB量级,煤矿地学数据进入大数据时代。面对如此海量的数据,单纯通过增加硬盘数量扩展计算机设备文件系统的存储容量的方式,已经无法满足目前海量多源异构数据的存储需求。如何科学、有效地存取与管理煤矿地学大数据,提高数据的利用价值,是煤矿行业亟需解决的科学问题。
以往的数据管理系统在解决少量结构化煤矿地学数据有着很好表现,但随着数据类型和数据量增多,常常出现数据管理效率低下的情况。鉴于此,需提供一种多源异构煤矿地学数据管理系统以解决上述问题。
发明内容
为了解决现有的煤矿地学大数据管理效率低的问题,本申请提供一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质。
第一方面,本发明实施例提供一种多源异构煤矿地学数据管理系统,包括:
获取单元,用于获取信息工单,并对信息工单中的用户需求进行分析;
加工单元,用于对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工;所述元数据模型用于对信息进行规范化处理;
管理单元,用于对加工后的数据进行管理,并根据所述获取单元分析得到的用户需求提供服务。
在一种具体的实施方案中,所述获取单元包括:
采汇模块,用于获取所述信息工单,所述信息工单包括有用户信息和煤矿地学信息;
需求分析模块,用于基于所述用户信息和煤矿地学信息,分析用户需求,并将用户需求分析后的信息工单传递给所述加工单元。
在一种具体的实施方案中,所述加工单元包括:
整合模块,用于对所述信息工单按照元数据模型进行数据规范化生成,并将生成的数据实时整合到所述系统中,进行实时数据交互;
处理模块,用于对整合模块整合后的数据进行处理,以便进行规范化存储记录;
分类模块,用于对整合模块整合后的数据进行冗余处理和特征提取,按照用户的需求进行分类。
在一种具体的实施方案中,所述管理单元包括:
数据管理模块,用于将分类模块与处理模块的数据按照元数据模型存储入大数据湖存储模块,并对数据进行管理;
数据分析模块,用于基于用户需求,对所述数据管理模块管理的多源异构煤矿地学数据进行处理和分析;
数据应用模块,用于基于所述数据管理模块管理的多源异构煤矿地学数据,将查询、处理、分析完成的数据服务应用于煤矿行业安全生产;
大数据湖存储模块,用于对所述数据管理模块管理的多源异构煤矿地学数据,构建分布式数据存储集群进行数据存储。
在一种具体的实施方案中,所述大数据湖存储模块还用于根据分类模块分类后的用户需求,配置需求类型,并对所述需求类型按照时间优先级进行配置。
在一种具体的实施方案中,所述整合模块还用于将所述系统中变动的数据按照相同的覆盖规则和数据识别规则进行整合,将整合后的数据导出到所述分类模块。
在一种具体的实施方案中,所述获取单元还包括用户登录模块,用于实现用户的登录管理和业务处理,以及信息工单的提交和查询。
在一种具体的实施方案中,所述元数据模型至少实现如下一项对信息的规范化处理:标识项、扩展项、数据库、描述项、位置、时间。
在一种具体的实施方案中,所述分类模块,具体用于:
基于人工智能识别技术,测算数据边缘值,对数据进行冗余处理;
将冗余处理后的数据,根据数据的变化规律,对数据进行特征提取;
对特征提取后的数据,按照用户的需求进行分类。
第二方面,本发明的实施例还提供一种多源异构煤矿地学数据管理方法,包括:
获取信息工单,并对信息工单中的用户需求进行分析;
对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工;所述元数据模型用于对信息进行规范化处理;
对加工后的数据进行管理,并根据分析得到的用户需求提供服务。
在一种具体的实施方案中,所述获取信息工单,并对信息工单中的用户需求进行分析,具体包括:
获取所述信息工单,所述信息工单包括有用户信息和煤矿地学信息;
基于所述用户信息和煤矿地学信息,分析用户需求。
在一种具体的实施方案中,所述对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工,具体包括:
对所述信息工单按照元数据模型进行数据规范化生成,并将生成的数据实时整合,进行实时数据交互;
对整合后的数据进行处理,以便进行规范化存储记录;
对整合后的数据进行冗余处理和特征提取,按照用户的需求进行分类。
在一种具体的实施方案中,所述对加工后的数据进行管理,并根据分析得到的用户需求提供服务,具体包括:
构建分布式数据存储集群以进行数据存储;
将分类和处理后的数据按照元数据模型存储入分布式数据存储集群,并对数据进行管理;
基于用户需求,对管理的多源异构煤矿地学数据进行处理和分析;
基于管理的多源异构煤矿地学数据,将查询、处理、分析完成的数据服务应用于煤矿行业安全生产。
在一种具体的实施方案中,所述分布式数据存储集群还用于根据分类后的用户需求,配置需求类型,并对所述需求类型按照时间优先级进行配置。
在一种具体的实施方案中,所述将生成的数据实时整合,包括将所述系统中变动的数据按照相同的覆盖规则和数据识别规则进行整合。
在一种具体的实施方案中,所述获取信息工单的步骤中,包括对用户的登录管理和业务处理,以及对信息工单的提交和查询。
在一种具体的实施方案中,所述元数据模型至少实现如下一项对信息的规范化处理:标识项、扩展项、数据库、描述项、位置、时间。
在一种具体的实施方案中,所述对整合后的数据进行冗余处理和特征提取,按照用户的需求进行分类,具体包括:
基于人工智能识别技术,测算数据边缘值,对数据进行冗余处理;
将冗余处理后的数据,根据数据的变化规律,对数据进行特征提取;
对特征提取后的数据,按照用户的需求进行分类。
第三方面,本发明实施例还提供一种电子设备,包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行本发明的实施例提供的任一种多源异构煤矿地学数据管理方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本发明的实施例提供的任一种多源异构煤矿地学数据管理方法。
本发明的实施例提供的多源异构煤矿地学数据管理系统、方法、电子设备及存储介质,能够获取信息工单,并对信息工单中的用户需求进行分析,对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工,对加工后的数据进行管理,并根据用户需求提供服务。由于对信息工单进行了用户需求分析,因此就能针对用户需求进行信息加工和管理,从而避免额外的信息处理操作,又由于元数据模型能够对信息进行规范化处理,因此基于元数据模型生成的数据也都具有统一的规范,从而便于对数据进行统一管理,因此,能够有效提高数据管理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例的一种多源异构煤矿地学数据管理系统结构示意图;
图2为本申请实施例的一种多源异构煤矿地学数据管理系统的数据管理方法流程图;
图3为本申请实施例提供的电子设备的一种结构示意图;
图4为本申请实施例一种多源异构煤矿地学数据管理系统的总体架构图;
图5为本申请实施例一种多源异构煤矿地学数据管理系统的元数据模型的结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,第一方面,本发明的实施例还提供一种多源异构煤矿地学数据管理系统,包括:
获取单元11,用于获取信息工单,并对信息工单中的用户需求进行分析;
获取单元11可以对多源异构煤矿地学数据进行整理收集,获取相关数据服务的信息工单,例如可以通过包括PC端和移动端(包括移动手机、平板电脑)等设备浏览器友好访问,通过制定Web页面输入规则,获取多源异构煤矿地学数据。
加工单元12,用于对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工;所述元数据模型用于对信息进行规范化处理;
加工单元12可将用户提交的信息工单,按照系统制定的元数据模型进行数据规范化生成,提供标准的服务接口,将数据传输至相应模块进行分类,或按系统标准进行处理。
管理单元13,用于对加工后的数据进行管理,并根据所述获取单元分析得到的用户需求提供服务。
管理单元13基于数据的分类,可对数据划分不同的负责人,对信息进行数据管理,并能够对用户信息工单的相关信息进行异常情况的查阅和处理,记录多源异构煤矿地学数据的基本资料,对数据进行分类统计,对信息进行管理。
本发明的实施例提供的多源异构煤矿地学数据管理系统,其信息获取单元11能够获取信息工单,并对信息工单中的用户需求进行分析,信息加工单元12能够对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工,信息管理单元13能够对加工后的数据进行管理,并根据所述信息获取单元11分析得到的用户需求提供服务。由于对信息工单进行了用户需求分析,因此就能针对用户需求进行信息加工和管理,从而避免额外的信息处理操作,又由于元数据模型能够对信息进行规范化处理,因此基于元数据模型生成的数据也都具有统一的规范,从而便于对数据进行统一管理,因此,能够有效提高数据管理效率。
本例中,多源异构煤矿地学数据管理系统的总体系统可采用B/S架构,包括浏览器端、服务器端和数据库端,具体包括系统访问层、交互层、数据层,访问层可以是PC端、移动端的各种浏览器友好适配,页面响应式布局例如采用BootStrap、ElementPlus、Vue.js等技术实现Web页面响应式浏览器组件开发;交互层主要是实现访问层数据存储、管理、分析应用的各种需求,实现数据源和存储库交互,实现Restful风格的API接口;数据层用于实现数据的存取和管理。示例性的,多源异构煤矿地学数据管理系统的总体架构可以如图4所示。
可选的,所述元数据模型至少实现如下一项对信息的规范化处理:标识项、扩展项、数据库、描述项、位置、时间。标识项可描述煤矿地学信息的编号ID、文件名称、类别等。数据库可以包括相关信息的编号ID、文件名称、管理者、存储路径、数据源等。描述项可以具体包括有数据格式,空间表示等。所述位置可以具体包括经纬度坐标、海拔高程等。所述时间可以包括相关信息的时间编码、开始时间、结束时间等。扩展项可用于对相关信息根据具体情况的进一步描述。示例性的,一种元数据模型的结构示意图可以如图5所示。
可选的,所述获取单元包括:
采汇模块,用于获取所述信息工单,所述信息工单包括有用户信息和煤矿地学信息;
本实施例中,采汇模块将煤矿各类传感器采集地学数据通过浏览器上传汇集到多源异构煤矿地学数据管理系统,用户的信息工单通过网络传输协议TCP/IP协议,传输到所述的多源异构煤矿地学数据管理系统数据处理中心;采汇模块将普通用户上传的多源异构煤矿地学信息数据以及含有需求的用户信息汇集在一起,一并提交到需求分析模块。
需求分析模块,用于基于所述用户信息和煤矿地学信息,分析用户需求,并将用户需求分析后的信息工单传递给所述加工单元。
需求分析模块可将普通用户提交的多源异构煤矿地学数据按照提交的信息工单进行业务需求分析,并提交到加工单元进行下一步处理。
可选的,所述加工单元包括:
整合模块,用于对所述信息工单按照元数据模型进行数据规范化生成,并将生成的数据实时整合到所述系统中,进行实时数据交互;
整合模块通过调用系统的标准服务接口,基于网络传输TCP/IP协议,将需求分析模块的用户信息和数据信息实时整合到系统中,提供实时数据交互状态,支持各业务批量建立数据的需求。可选的,所述整合模块还用于将所述系统中变动的数据按照相同的覆盖规则和数据识别规则进行整合,将整合后的数据导出到所述分类模块。
处理模块,用于对整合模块整合后的数据进行处理,以便进行规范化存储记录;
分类模块,用于对整合模块整合后的数据进行冗余处理和特征提取,按照用户的需求进行分类。可选的,所述分类模块对整合模块整合后的数据进行冗余处理和特征提取,包括:
基于人工智能识别技术,测算数据边缘值,对数据进行冗余处理;
将冗余处理后的数据,根据数据的变化规律,对数据进行特征提取;
对特征提取后的数据,按照用户的需求进行分类。
本例中,分类模块对数据集进行冗余处理,利用人工智能技术中的识别模式,对复杂数据的边缘值进行测算,利用制定的元数据模型对具体的数据进行信息录入,便于后续统一处理,在对数据特征进行提取时,针对数据的变化规律逐一训练,增强对复杂数据的分类效果,提升网络数据处理的整体召回率,基于人工智能技术,或通过学习训练,进行数据量化预处理,对复杂数据特征智能提取,例如,txt、csv、xlsx等结构化数据按其数据结构特征提取关键字;xml、json、html、email、报表、日志文档等半结构化数据通过智能识别系统对相应字段特征信息进行转换,根据用户需求提取信息字段;docx、pdf、png、jpeg、mp3、mp4、segy、segyd、su、tiff、las、pcap、pcd等非结构化数据按特定的智能识别算法进行特征信息提取,按其信息字段和源文件关联的方式入库存储关联。对信息提取后的数据,按照用户的特定需求进行分类,例如按具体项目的数据需求进行分库分类,或者按地理、地质、重磁电震、遥感等数据类别进行专题分类。通过分类模块,将整合的信息数据根据制定的规则对规范化的数据进行处理,对数据实现分表、分库等分类,以便对规范化的数据进行入库管理。
可选的,所述管理单元包括:
数据管理模块,用于将分类模块与处理模块的数据按照元数据模型存储入大数据湖存储模块,并对数据进行管理;
本例中数据管理模块通过TCP/IP协议提供统一的程序访问API接口,将数据按照元数据模型进行信息录入,建立索引机制,提供数据查询、搜索,用于后续科学分析和应用。例如,将汇集的地学数据进行信息编排,常见关系型数据编入PostgreSQL数据库;其中文档数据以及系统的JSON数据编入MongoDB数据库;其他文件表编入HBase和HDFS搭建的分布式文件系统;对于煤矿地学数据之间的关联关系数据,采用Neo4j进行存储管理。数据管理模块需要统一数据访问接口,完成后端业务与数据层的交互。采用Django搭建系统数据业务功能,包括处理模块、数据管理模块与数据分析模块。
数据分析模块,用于基于用户需求,对所述数据管理模块管理的多源异构煤矿地学数据进行处理和分析;
数据应用模块,用于基于所述数据管理模块管理的多源异构煤矿地学数据,将查询、处理、分析完成的数据服务应用于煤矿行业安全生产;
大数据湖存储模块,用于对所述数据管理模块管理的多源异构煤矿地学数据,构建分布式数据存储集群进行数据存储;例如,采用PostgreSQL、HBase、MongoDB、Neo4j、HDFS等数据库构建的“混搭式”煤矿地学大数据湖,实现数据快速从数据存储库集群响应。可选的,所述大数据湖存储模块还用于根据分类模块分类后的用户需求,配置需求类型,并对所述需求类型按照时间优先级进行配置。
本实施例的管理单元从大数据湖存储模块快速获取数据,对相关数据进行需求处理与数据分析,实现了对海量多源异构煤矿地学数据的高效处理和分析,将查询、处理和分析好的数据服务于煤矿行业具体安全生产应用。
可选的,所述获取单元还包括用户登录模块,用于实现用户的登录管理和业务处理,以及信息工单的提交和查询。
本例中,用户登录模块用于系统管理员的日常业务处理和普通用户管理,用户登录模块由管理员对用户认证信息进行录入,用户登录模块中所有的用户名都是实名运行的,用户在进行登录时,模块会对客户信息进行自动匹配,登录页面会对用户输入的信息进行格式验证,对用户输入的信息与工作人员录入的信息进行比较,验证通过进入用户页面,用户能够通过用户页面对自己的订单信息进行录入、查询,对订单的实时状态进行实时查看。
可选的,本实施例数据管理系统的加工单元还包括预处理模块,用于对数据进行预处理,包括数据清洗、去噪、滤波等。
本发明的实施例提供的数据管理系统,可以采用分布式数据库集群作为数据存储和管理平台,将预处理后的数据存储到分布式数据库集群中;在分布式数据库集群中建立合适的索引,以加快数据查询速度;通过分布式数据库集群提供的强大的聚合和分组查询功能,对存储在数据库中的数据进行高效的分析和处理;通过使用数据可视化工具,将分析结果可视化展示,以便更好地理解和识别。
请参阅图2,第二方面,本发明的实施例还提供一种多源异构煤矿地学数据管理方法,包括:
S21、获取信息工单,并对信息工单中的用户需求进行分析;
S22、对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工;所述元数据模型用于对信息进行规范化处理;
S23、对加工后的数据进行管理,并根据分析得到的用户需求提供服务。
可选的,所述获取信息工单,并对信息工单中的用户需求进行分析,具体包括:
获取所述信息工单,所述信息工单包括有用户信息和煤矿地学信息;
基于所述用户信息和煤矿地学信息,分析用户需求。
可选的,所述对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工,具体包括:
对所述信息工单按照元数据模型进行数据规范化生成,并将生成的数据实时整合,进行实时数据交互;
对整合后的数据进行处理,以便进行规范化存储记录;
对整合后的数据进行冗余处理和特征提取,按照用户的需求进行分类。
可选的,所述对加工后的数据进行管理,并根据分析得到的用户需求提供服务,具体包括:
构建分布式数据存储集群以进行数据存储;
将分类和处理后的数据按照元数据模型存储入分布式数据存储集群,并对数据进行管理;
基于用户需求,对管理的多源异构煤矿地学数据进行处理和分析;
基于管理的多源异构煤矿地学数据,将查询、处理、分析完成的数据服务应用于煤矿行业安全生产。
可选的,所述分布式数据存储集群还用于根据分类后的用户需求,配置需求类型,并对所述需求类型按照时间优先级进行配置。
可选的,所述将生成的数据实时整合,包括将所述系统中变动的数据按照相同的覆盖规则和数据识别规则进行整合。
可选的,所述获取信息工单的步骤中,包括对用户的登录管理和业务处理,以及对信息工单的提交和查询。
可选的,所述元数据模型至少实现如下一项对信息的规范化处理:标识项、扩展项、数据库、描述项、位置、时间。
可选的,所述对整合后的数据进行冗余处理和特征提取,按照用户的需求进行分类,具体包括:
基于人工智能识别技术,测算数据边缘值,对数据进行冗余处理;
将冗余处理后的数据,根据数据的变化规律,对数据进行特征提取;
对特征提取后的数据,按照用户的需求进行分类。
第三方面,本发明的实施例还提供一种电子设备。
如图3所示,本发明的实施例提供的电子设备包括:壳体51、处理器52、存储器53、电路板54和电源电路55,其中,电路板54安置在壳体51围成的空间内部,处理器52和存储器53设置在电路板54上;电源电路55,用于为上述电子设备的各个电路或器件供电;存储器53用于存储可执行程序代码;处理器52通过读取存储器53中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行本发明的实施例提供的任一种多源异构煤矿地学数据管理方法。
处理器52对上述步骤的具体执行过程以及处理器52通过运行可执行程序代码来进一步执行的步骤,可以参见前述实施例的描述,在此不再赘述。
上述电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
相应的,本发明的实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本发明的实施例提供的任一种多源异构煤矿地学数据管理方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
为了描述的方便,描述以上装置是以功能分为各种单元/模块分别描述。当然,在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种多源异构煤矿地学数据管理系统,其特征在于,包括:
获取单元,用于获取信息工单,并对信息工单中的用户需求进行分析;
加工单元,用于对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工;所述元数据模型用于对信息进行规范化处理;
管理单元,用于对加工后的数据进行管理,并根据所述获取单元分析得到的用户需求提供服务。
2.如权利要求1所述的多源异构煤矿地学数据管理系统,其特征在于,所述获取单元包括:
采汇模块,用于获取所述信息工单,所述信息工单包括有用户信息和煤矿地学信息;
需求分析模块,用于基于所述用户信息和煤矿地学信息,分析用户需求,并将用户需求分析后的信息工单传递给所述加工单元。
3.如权利要求2所述的多源异构煤矿地学数据管理系统,其特征在于,所述加工单元包括:
整合模块,用于对所述信息工单按照元数据模型进行数据规范化生成,并将生成的数据实时整合到所述系统中,进行实时数据交互;
处理模块,用于对整合模块整合后的数据进行处理,以便进行规范化存储记录;
分类模块,用于对整合模块整合后的数据进行冗余处理和特征提取,按照用户的需求进行分类。
4.如权利要求3所述的多源异构煤矿地学数据管理系统,其特征在于,所述管理单元包括:
数据管理模块,用于将分类模块与处理模块的数据按照元数据模型存储入大数据湖存储模块,并对数据进行管理;
数据分析模块,用于基于用户需求,对所述数据管理模块管理的多源异构煤矿地学数据进行处理和分析;
数据应用模块,用于基于所述数据管理模块管理的多源异构煤矿地学数据,将查询、处理、分析完成的数据服务应用于煤矿行业安全生产;
大数据湖存储模块,用于对所述数据管理模块管理的多源异构煤矿地学数据,构建分布式数据存储集群进行数据存储。
5.如权利要求4所述的多源异构煤矿地学数据管理系统,其特征在于,所述大数据湖存储模块还用于根据分类模块分类后的用户需求,配置需求类型,并对所述需求类型按照时间优先级进行配置。
6.如权利要求3所述的多源异构煤矿地学数据管理系统,其特征在于,所述整合模块还用于将所述系统中变动的数据按照相同的覆盖规则和数据识别规则进行整合,将整合后的数据导出到所述分类模块。
7.如权利要求2所述的多源异构煤矿地学数据管理系统,其特征在于,所述获取单元还包括用户登录模块,用于实现用户的登录管理和业务处理,以及信息工单的提交和查询。
8.如权利要求1所述的多源异构煤矿地学数据管理系统,其特征在于,所述元数据模型至少实现如下一项对信息的规范化处理:标识项、扩展项、数据库、描述项、位置、时间。
9.如权利要求3所述的多源异构煤矿地学数据管理系统,其特征在于,所述分类模块,具体用于:
基于人工智能识别技术,测算数据边缘值,对数据进行冗余处理;
将冗余处理后的数据,根据数据的结构和变化规律,对数据进行特征提取;
对特征提取后的数据,按照用户的需求进行分类。
10.一种多源异构煤矿地学数据管理方法,其特征在于,包括:
获取信息工单,并对信息工单中的用户需求进行分析;
对用户需求分析后的所述信息工单按照预设的元数据模型进行数据生成,并对生成的数据进行加工;所述元数据模型用于对信息进行规范化处理;
对加工后的数据进行管理,并根据分析得到的用户需求提供服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310906382.3A CN116976808A (zh) | 2023-07-21 | 2023-07-21 | 一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310906382.3A CN116976808A (zh) | 2023-07-21 | 2023-07-21 | 一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116976808A true CN116976808A (zh) | 2023-10-31 |
Family
ID=88484420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310906382.3A Pending CN116976808A (zh) | 2023-07-21 | 2023-07-21 | 一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116976808A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377648A (zh) * | 2018-04-11 | 2019-10-25 | 西安邮电大学 | 一种面向智能制造的多源异构数据分析平台 |
CN115470261A (zh) * | 2022-07-29 | 2022-12-13 | 山东黄金矿业(莱州)有限公司三山岛金矿 | 一种基于矿石流的黄金矿山大数据分析方法 |
CN115587082A (zh) * | 2022-10-11 | 2023-01-10 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 多模态数据存储管理的方法及系统 |
CN116186359A (zh) * | 2023-05-04 | 2023-05-30 | 安徽宝信信息科技有限公司 | 一种高校多源异构数据的集成管理方法、系统及存储介质 |
CN116307757A (zh) * | 2023-01-18 | 2023-06-23 | 辽宁荣科智维云科技有限公司 | 一种数据智能交互方法、交互系统、计算机设备及应用 |
-
2023
- 2023-07-21 CN CN202310906382.3A patent/CN116976808A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377648A (zh) * | 2018-04-11 | 2019-10-25 | 西安邮电大学 | 一种面向智能制造的多源异构数据分析平台 |
CN115470261A (zh) * | 2022-07-29 | 2022-12-13 | 山东黄金矿业(莱州)有限公司三山岛金矿 | 一种基于矿石流的黄金矿山大数据分析方法 |
CN115587082A (zh) * | 2022-10-11 | 2023-01-10 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 多模态数据存储管理的方法及系统 |
CN116307757A (zh) * | 2023-01-18 | 2023-06-23 | 辽宁荣科智维云科技有限公司 | 一种数据智能交互方法、交互系统、计算机设备及应用 |
CN116186359A (zh) * | 2023-05-04 | 2023-05-30 | 安徽宝信信息科技有限公司 | 一种高校多源异构数据的集成管理方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11941016B2 (en) | Using specified performance attributes to configure machine learning pipepline stages for an ETL job | |
US10883345B2 (en) | Processing of computer log messages for visualization and retrieval | |
CN103838867A (zh) | 日志处理方法和装置 | |
CN113610239A (zh) | 针对机器学习的特征处理方法及特征处理系统 | |
CN111723256A (zh) | 一种基于信息资源库的政务用户画像构建方法及其系统 | |
CN111861830B (zh) | 一种情报云平台 | |
CN115827797A (zh) | 一种基于大数据的环境数据分析整合方法及系统 | |
Amghar et al. | Storing, preprocessing and analyzing tweets: finding the suitable noSQL system | |
CN104063456A (zh) | 基于向量查询的自媒体传播图谱分析方法和装置 | |
Hamzah et al. | Big Data Implementation in Malaysian Public Sector: A | |
Lian | Implementation of computer network user behavior forensic analysis system based on speech data system log | |
CN106528795B (zh) | 一种数据挖掘方法及装置 | |
CN111026940A (zh) | 一种面向电网电磁环境的网络舆情及风险信息监测系统、电子设备 | |
CN116976808A (zh) | 一种多源异构煤矿地学数据管理系统、方法、电子设备及存储介质 | |
Sachdev et al. | A new framework for securing, extracting and analyzing big forensic data | |
KR102429855B1 (ko) | 파일 기반의 다양한 기종의 로그 데이터 저장 및 분석 방법 | |
CA3106262A1 (en) | Method and system for risk determination | |
Wong et al. | A system of systems service design for social media analytics | |
CN109062551A (zh) | 基于大数据开发命令集的开发框架 | |
CN113407505A (zh) | 一种安全日志要素处理方法及系统 | |
Ali et al. | An insight of smartphone-based lifelogging research: issues, challenges, and research opportunities: insight of smartphone-based lifelogging research | |
CN112016004A (zh) | 一种基于多粒度信息融合的职务犯罪筛查系统及方法 | |
Pradeep et al. | The Different Tools and Technique to Handle Challenges in Big Data | |
CN116910174B (zh) | 面向数据方舱的数据存储管理方法、装置及存储介质 | |
CN116561242B (zh) | 一种云标记的空间要素的采集与管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |