CN117785974A - 一种基于大数据的数据共享管理平台及方法 - Google Patents
一种基于大数据的数据共享管理平台及方法 Download PDFInfo
- Publication number
- CN117785974A CN117785974A CN202311730823.5A CN202311730823A CN117785974A CN 117785974 A CN117785974 A CN 117785974A CN 202311730823 A CN202311730823 A CN 202311730823A CN 117785974 A CN117785974 A CN 117785974A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- management
- module
- big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 8
- 238000007726 management method Methods 0.000 claims abstract description 125
- 238000013523 data management Methods 0.000 claims abstract description 21
- 238000011161 development Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims description 24
- 238000005065 mining Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 11
- 238000012423 maintenance Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000013079 data visualisation Methods 0.000 claims description 7
- 238000004454 trace mineral analysis Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000007547 defect Effects 0.000 abstract description 5
- 238000009412 basement excavation Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于大数据的数据共享管理平台及方法，包括数据获取模块、数据开发模块、数据管理模块和数据服务模块；通过设置数据获取模块和数据服务模块，能够实现从大数据中进行数据获取，并将获取到的数据进行共享服务的效果，有效解决了现有技术所存在的效率低下和无法查看原始数据进行核对的缺陷，同时，通过设置数据开发模块和数据管理模块，依据数据开发模块对从大数据中获取到的数据进行挖掘处理，依据数据管理模块对从大数据中获取到的数据进行分析管理，能够有效对不符合业务需求和数据质量的数据进行过滤，并且还能够实现数据追溯和数据变更的效果，有效替换质量不合格的数据。
Description
技术领域
本发明涉及数据共享技术领域，尤其涉及一种基于大数据的数据共享管理平台及方法。
背景技术
目前，各个政府机构、事业单位之间的数据是相互独立的，这就导致办理者在政府机构或者事业单位办理事务，如申报项目时，需要提供多种数据，为了使提交的材料符合要求，办事者需要在多个机构间件来回奔波，效率低下。
除此，由于各政府机构、事业单位之间的业务数据是相互独立的，受理业务的机构也无法直接在别的机构的数据库中查看原始数据进行核对，只能凭借材料上的盖章等证明物来对材料的真实性进行判断。
发明内容
有鉴于此，本发明提出一种基于大数据的数据共享管理平台及方法，可以解决现有技术所存在的效率低下和无法查看原始数据进行核对的缺陷。
本发明的技术方案是这样实现的：
一种基于大数据的数据共享管理平台，包括数据获取模块、数据开发模块、数据管理模块和数据服务模块，所述数据获取模块用于通过多渠道从大数据中进行数据获取，所述数据开发模块用于对从大数据中获取到的数据进行挖掘处理，所述数据管理模块用于对从大数据中获取到的数据进行分析管理，所述数据服务模块用于对挖掘处理后的数据和分析管理后的数据进行共享服务，所述数据管理模块包括数据向前追溯分析单元和数据变更单元，所述数据向前追溯分析单元用于对从大数据中获取到的数据进行数据质量分析和加工链路分析，所述数据变更单元用于对质量不合格的数据进行替换。
作为所述基于大数据的数据共享管理平台的进一步可选方案，所述数据获取模块包括数据库数据采集单元、文件类数据采集单元和硬件数据采集单元，所述数据库数据采集单元用于从多种数据库中进行数据获取，所述文件类数据采集单元用于采集各种文件类的数据，所述硬件数据采集单元用于采集各种硬件设备的数据。
作为所述基于大数据的数据共享管理平台的进一步可选方案，所述数据开发模块包括数据清洗单元、数据转换单元和数据可视化单元，所述数据清洗单元用于对重复冗余的数据进行清洗操作，所述数据转换单元用于按照统一的存储标准将清洗后的数据进行格式转换，所述数据可视化单元用于将格式转换后的数据按照不同的主题类型进行可视化展示。
作为所述基于大数据的数据共享管理平台的进一步可选方案，所述数据服务模块包括数据融合单元和接口单元，所述数据融合单元用于将挖掘处理后的数据和分析管理后的数据进行数据融合，所述接口单元用于与内外部的业务系统进行传输连接。
作为所述基于大数据的数据共享管理平台的进一步可选方案，所述数据共享管理平台还包括数据运维模块和管理中心模块，所述数据运维模块用于对数据共享管理平台进行监控管理，所述管理中心模块用于对数据共享管理平台的基础功能进行管理。
作为所述基于大数据的数据共享管理平台的进一步可选方案，所述数据运维模块包括软件管理单元、配置管理单元、故障管理单元、性能管理单元、安全管理单元、租户管理单元和备份管理单元，所述软件管理单元用于对与数据共享管理平台连接的软件进行监控管理，所述配置管理单元用于对数据共享管理平台的配置进行监控管理，所述故障管理单元用于对数据共享管理平台的故障进行监控管理，所述性能管理单元用于对数据共享管理平台的进行监控管理，所述安全管理单元用于对数据共享管理平台的数据安全进行监控管理，所述租户管理单元用于对数据共享管理平台的租户信息进行监控管理，所述备份管理单元用于对数据共享管理平台的数据备份进行监控管理。
作为所述基于大数据的数据共享管理平台的进一步可选方案，所述管理中心模块包括登录认证管理单元和权限认证管理单元，所述登录认证管理单元用于对登陆数据共享管理平台的用户信息进行认证管理，所述权限认证管理单元用于对登陆数据共享管理平台的用户进行权限认证管理。
一种基于大数据的数据共享管理方法，所述方法基于上述任意一项所述基于大数据的数据共享管理平台，具体包括：
依据数据获取模块从大数据中进行数据获取；
依据数据开发模块对从大数据中获取到的数据进行挖掘处理，并将挖掘处理后的数据发送至数据服务模块中；
依据数据管理模块对从大数据中获取到的数据进行分析管理，并将分析管理后的数据发送至数据服务模块中；
数据服务模块将获取到的数据进行融合，并将融合后的数据进行数据共享服务。
本发明的有益效果是：通过设置数据获取模块和数据服务模块，能够实现从大数据中进行数据获取，并将获取到的数据进行共享服务的效果，有效解决了现有技术所存在的效率低下和无法查看原始数据进行核对的缺陷，同时，通过设置数据开发模块和数据管理模块，依据数据开发模块对从大数据中获取到的数据进行挖掘处理，依据数据管理模块对从大数据中获取到的数据进行分析管理，能够有效对不符合业务需求和数据质量的数据进行过滤，并且还能够实现数据追溯和数据变更的效果，有效替换质量不合格的数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于大数据的数据共享管理平台的组成示意图；
图2为本发明一种基于大数据的数据共享管理方法的流程示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参考图1-2，一种基于大数据的数据共享管理平台，包括数据获取模块、数据开发模块、数据管理模块和数据服务模块，所述数据获取模块用于通过多渠道从大数据中进行数据获取，所述数据开发模块用于对从大数据中获取到的数据进行挖掘处理，所述数据管理模块用于对从大数据中获取到的数据进行分析管理，所述数据服务模块用于对挖掘处理后的数据和分析管理后的数据进行共享服务，所述数据管理模块包括数据向前追溯分析单元和数据变更单元，所述数据向前追溯分析单元用于对从大数据中获取到的数据进行数据质量分析和加工链路分析，所述数据变更单元用于对质量不合格的数据进行替换。
在本实施例中，通过设置数据获取模块和数据服务模块，能够实现从大数据中进行数据获取，并将获取到的数据进行共享服务的效果，有效解决了现有技术所存在的效率低下和无法查看原始数据进行核对的缺陷，同时，通过设置数据开发模块和数据管理模块，依据数据开发模块对从大数据中获取到的数据进行挖掘处理，依据数据管理模块对从大数据中获取到的数据进行分析管理，能够有效对不符合业务需求和数据质量的数据进行过滤，并且还能够实现数据追溯和数据变更的效果，有效替换质量不合格的数据。
优选的，所述数据获取模块包括数据库数据采集单元、文件类数据采集单元和硬件数据采集单元，所述数据库数据采集单元用于从多种数据库中进行数据获取，所述文件类数据采集单元用于采集各种文件类的数据，所述硬件数据采集单元用于采集各种硬件设备的数据。
在本实施例中，通过设置数据库数据采集单元、文件类数据采集单元和硬件数据采集单元，能够采集多种类型的数据，使得数据共享平台的数据更加充足，进一步提高查看原始数据进行核对的数据多样性。
优选的，所述数据开发模块包括数据清洗单元、数据转换单元和数据可视化单元，所述数据清洗单元用于对重复冗余的数据进行清洗操作，所述数据转换单元用于按照统一的存储标准将清洗后的数据进行格式转换，所述数据可视化单元用于将格式转换后的数据按照不同的主题类型进行可视化展示。
在本实施例中，通过设置数据清洗单元，能够有效对重复冗余的数据进行清洗操作，降低数据共享平台的存储空间，同时，通过设置数据转换单元，能够按照统一的存储标准将清洗后的数据进行格式转换，实现统一标准存储的效果，避免出现不兼容的情况，此外，通过设置数据可视化单元，能够将格式转换后的数据按照不同的主题类型进行可视化展示，统一目录，便于进行数据查找，进一步提高数据共享的效率。
优选的，所述数据服务模块包括数据融合单元和接口单元，所述数据融合单元用于将挖掘处理后的数据和分析管理后的数据进行数据融合，所述接口单元用于与内外部的业务系统进行传输连接。
在本实施例中，通过设置数据融合单元将挖掘处理后的数据和分析管理后的数据进行数据融合，能够实现数据更新的效果，提高数据的准确性。
优选的，所述数据共享管理平台还包括数据运维模块和管理中心模块，所述数据运维模块用于对数据共享管理平台进行监控管理，所述管理中心模块用于对数据共享管理平台的基础功能进行管理。
优选的，所述数据运维模块包括软件管理单元、配置管理单元、故障管理单元、性能管理单元、安全管理单元、租户管理单元和备份管理单元，所述软件管理单元用于对与数据共享管理平台连接的软件进行监控管理，所述配置管理单元用于对数据共享管理平台的配置进行监控管理，所述故障管理单元用于对数据共享管理平台的故障进行监控管理，所述性能管理单元用于对数据共享管理平台的进行监控管理，所述安全管理单元用于对数据共享管理平台的数据安全进行监控管理，所述租户管理单元用于对数据共享管理平台的租户信息进行监控管理，所述备份管理单元用于对数据共享管理平台的数据备份进行监控管理。
优选的，所述管理中心模块包括登录认证管理单元和权限认证管理单元，所述登录认证管理单元用于对登陆数据共享管理平台的用户信息进行认证管理，所述权限认证管理单元用于对登陆数据共享管理平台的用户进行权限认证管理。
一种基于大数据的数据共享管理方法，所述方法基于上述任意一项所述基于大数据的数据共享管理平台，具体包括：
依据数据获取模块从大数据中进行数据获取；
依据数据开发模块对从大数据中获取到的数据进行挖掘处理，并将挖掘处理后的数据发送至数据服务模块中；
依据数据管理模块对从大数据中获取到的数据进行分析管理，并将分析管理后的数据发送至数据服务模块中；
数据服务模块将获取到的数据进行融合，并将融合后的数据进行数据共享服务。
在本实施例中，通过设置数据获取模块和数据服务模块，能够实现从大数据中进行数据获取，并将获取到的数据进行共享服务的效果，有效解决了现有技术所存在的效率低下和无法查看原始数据进行核对的缺陷，同时，通过设置数据开发模块和数据管理模块，依据数据开发模块对从大数据中获取到的数据进行挖掘处理，依据数据管理模块对从大数据中获取到的数据进行分析管理，能够有效对不符合业务需求和数据质量的数据进行过滤，并且还能够实现数据追溯和数据变更的效果，有效替换质量不合格的数据。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于大数据的数据共享管理平台，其特征在于，包括数据获取模块、数据开发模块、数据管理模块和数据服务模块，所述数据获取模块用于通过多渠道从大数据中进行数据获取，所述数据开发模块用于对从大数据中获取到的数据进行挖掘处理，所述数据管理模块用于对从大数据中获取到的数据进行分析管理，所述数据服务模块用于对挖掘处理后的数据和分析管理后的数据进行共享服务，所述数据管理模块包括数据向前追溯分析单元和数据变更单元，所述数据向前追溯分析单元用于对从大数据中获取到的数据进行数据质量分析和加工链路分析，所述数据变更单元用于对质量不合格的数据进行替换。
2.根据权利要求1所述的一种基于大数据的数据共享管理平台，其特征在于，所述数据获取模块包括数据库数据采集单元、文件类数据采集单元和硬件数据采集单元，所述数据库数据采集单元用于从多种数据库中进行数据获取，所述文件类数据采集单元用于采集各种文件类的数据，所述硬件数据采集单元用于采集各种硬件设备的数据。
3.根据权利要求2所述的一种基于大数据的数据共享管理平台，其特征在于，所述数据开发模块包括数据清洗单元、数据转换单元和数据可视化单元，所述数据清洗单元用于对重复冗余的数据进行清洗操作，所述数据转换单元用于按照统一的存储标准将清洗后的数据进行格式转换，所述数据可视化单元用于将格式转换后的数据按照不同的主题类型进行可视化展示。
4.根据权利要求3所述的一种基于大数据的数据共享管理平台，其特征在于，所述数据服务模块包括数据融合单元和接口单元，所述数据融合单元用于将挖掘处理后的数据和分析管理后的数据进行数据融合，所述接口单元用于与内外部的业务系统进行传输连接。
5.根据权利要求4所述的一种基于大数据的数据共享管理平台，其特征在于，所述数据共享管理平台还包括数据运维模块和管理中心模块，所述数据运维模块用于对数据共享管理平台进行监控管理，所述管理中心模块用于对数据共享管理平台的基础功能进行管理。
6.根据权利要求5所述的一种基于大数据的数据共享管理平台，其特征在于，所述数据运维模块包括软件管理单元、配置管理单元、故障管理单元、性能管理单元、安全管理单元、租户管理单元和备份管理单元，所述软件管理单元用于对与数据共享管理平台连接的软件进行监控管理，所述配置管理单元用于对数据共享管理平台的配置进行监控管理，所述故障管理单元用于对数据共享管理平台的故障进行监控管理，所述性能管理单元用于对数据共享管理平台的进行监控管理，所述安全管理单元用于对数据共享管理平台的数据安全进行监控管理，所述租户管理单元用于对数据共享管理平台的租户信息进行监控管理，所述备份管理单元用于对数据共享管理平台的数据备份进行监控管理。
7.根据权利要求6所述的一种基于大数据的数据共享管理平台，其特征在于，所述管理中心模块包括登录认证管理单元和权限认证管理单元，所述登录认证管理单元用于对登陆数据共享管理平台的用户信息进行认证管理，所述权限认证管理单元用于对登陆数据共享管理平台的用户进行权限认证管理。
8.一种基于大数据的数据共享管理方法，其特征在于，所述方法基于权利要求1-7中任意一项所述基于大数据的数据共享管理平台，具体包括：
依据数据获取模块从大数据中进行数据获取；
依据数据开发模块对从大数据中获取到的数据进行挖掘处理，并将挖掘处理后的数据发送至数据服务模块中；
依据数据管理模块对从大数据中获取到的数据进行分析管理，并将分析管理后的数据发送至数据服务模块中；
数据服务模块将获取到的数据进行融合，并将融合后的数据进行数据共享服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311730823.5A CN117785974A (zh) | 2023-12-15 | 2023-12-15 | 一种基于大数据的数据共享管理平台及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311730823.5A CN117785974A (zh) | 2023-12-15 | 2023-12-15 | 一种基于大数据的数据共享管理平台及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117785974A true CN117785974A (zh) | 2024-03-29 |
Family
ID=90379114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311730823.5A Pending CN117785974A (zh) | 2023-12-15 | 2023-12-15 | 一种基于大数据的数据共享管理平台及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117785974A (zh) |
-
2023
- 2023-12-15 CN CN202311730823.5A patent/CN117785974A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110855473B (zh) | 一种监控方法、装置、服务器及存储介质 | |
| CN101778264B (zh) | 视频监控方法和系统 | |
| CN110554856A (zh) | 一种微服务治理系统 | |
| CN101997709B (zh) | 一种根告警数据分析的方法及其系统 | |
| CN105159964A (zh) | 一种日志监控方法及系统 | |
| US8332502B1 (en) | Business to business network management event detection and response system and method | |
| CN109767081B (zh) | 电力工单表生成方法及装置 | |
| CN105095052B (zh) | Soa环境下的故障检测方法及装置 | |
| Cowie et al. | Impact of the 2003 blackouts on Internet communications | |
| CN102932195A (zh) | 一种基于网络协议分析的业务分析监控方法及系统 | |
| CN111245672A (zh) | 一种通用可扩展的追踪业务全链路的监控方法及系统 | |
| CN108509326A (zh) | 一种基于nginx日志的服务状态统计方法及系统 | |
| CN110209518A (zh) | 一种多数据源日志数据集中收集存储方法及装置 | |
| CN101616023A (zh) | 一种通过短信对集群实施监控的方法 | |
| CN107506422A (zh) | 一种多数据源的分布式日志处理系统及方法 | |
| CN117785974A (zh) | 一种基于大数据的数据共享管理平台及方法 | |
| US20060026466A1 (en) | Support methodology for diagnostic patterns | |
| CN113821412A (zh) | 一种设备运维管理方法及装置 | |
| CN108509293A (zh) | 一种用户日志时间戳容错方法及系统 | |
| CN116136801A (zh) | 云平台的数据处理方法、装置、电子设备及存储介质 | |
| CN114500230B (zh) | 一种基于时间轴的光传输故障录播方法及系统 | |
| CN109684159A (zh) | 分布式消息系统的状态监控方法、装置、设备及存储介质 | |
| Fiadino et al. | Towards automatic detection and diagnosis of Internet service anomalies via DNS traffic analysis | |
| CN109460342A (zh) | 一种测试硬盘性能并收集日志的方法、装置、设备及存储介质 | |
| CN111814021B (zh) | 一种具有自动除错功能的企业信息收集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |