CN112925775A - 一种大数据清洗与分析系统 - Google Patents

一种大数据清洗与分析系统 Download PDF

Info

Publication number
CN112925775A
CN112925775A CN202110168118.5A CN202110168118A CN112925775A CN 112925775 A CN112925775 A CN 112925775A CN 202110168118 A CN202110168118 A CN 202110168118A CN 112925775 A CN112925775 A CN 112925775A
Authority
CN
China
Prior art keywords
data
management
module
timing
analysis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110168118.5A
Other languages
English (en)
Inventor
陈记录
陈云亮
陈宏敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang No Coding Technology Co ltd
Original Assignee
Zhejiang No Coding Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang No Coding Technology Co ltd filed Critical Zhejiang No Coding Technology Co ltd
Priority to CN202110168118.5A priority Critical patent/CN112925775A/zh
Publication of CN112925775A publication Critical patent/CN112925775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据清洗技术领域，涉及一种大数据清洗与分析系统，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括分析系统、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口；通过大数据清洗和分析系统能实现整个城市水力客户信息大数据平台的基础统一和功能的侧重，共同完成水力客户信息资源目录及水力客户信息大数据平台中心共享数据路的数据共享和交换工作。

Description

一种大数据清洗与分析系统
技术领域
本发明涉及数据清洗技术领域，涉及一种大数据清洗与分析系统。
背景技术
大数据清洗单元装置是部门业务应用系统进入水力客户信息大数据平台的接入设备，也是水力客户信息挖掘的边界，大数据清洗单元装置与部门业务应用系统进行信息交换，使用安全管理模块保证信息的安全可靠，并采用基于XML的资源交换协议，通过中心交换前置机发送信息到信息接收端；
大数据清洗单元装置运行在各个业务部门，同时，把中心共享数据库，文件共享库等作为特殊的部门，在网络中心安装大数据清洗单元装置，供其他业务部门访问这些数据，现有的大数据清洗系统与管理系统功能比较单一，清洗速度比较低。
发明内容
为了解决上述问题，本发明提供一种功能齐全、清洗速度高的大数据清洗和分析系统。
本发明下技术方案：
一种大数据清洗，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括分析系统、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口。
所述的分析系统包括系统配置和界面配置。
所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息。
所述的元数据管理和主题管理连接远程管理接口。
所述的公共代码管理连接公共代码管理器。
所述的数据交换引擎，负责数据交换工作，包括数据检索、数据更新、数据插入、数据删除。
所述的定时处理引擎定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了分析系统人员的负担。
所述的安全管理用以管理元数据和主安全管理。
所述的服务管理包括服务定义、服务注册、服务注销操作。
本发明一种大数据分析系统，包括控制模块、数据交换模块、数据库数据传输模块、数据发布订阅模块、自定义操作模块、定时操作模块、分析系统模块、系统工具模块和安全管理模块。
所述的数据交换模块包括数据检索、数据更新、数据删除和SQL数据交换。
所述的数据库数据传输模块包括数据库传输和数据库同步。
所述的数据发布订阅模块包括发布数据声明、订阅数据声明、发布数据和订阅数据。
所述的自定义操作模块包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和自定义数据发布订阅。
所述的定时操作模块包括定时数据交换、定时数据库传输、定时SQL数据交换和定时数据发布订阅。
所述的分析系统模块包括系统配置、系统监控、日志管理和定时操作监控器。
所述的系统工具模块包括模式定义工具、动作定义工具和过滤条件定义工具。
所述的安全管理模块包括用户管理、代理安全管理和模式安全管理和SQL数据交换安全管理。
本发明提供的技术方案带来的有益效果是：
通过大数据清洗和分析系统能实现整个城市水力客户信息大数据平台的基础统一和功能的侧重，共同完成水力客户信息资源目录及水力客户信息大数据平台中心共享数据路的数据共享和交换工作，另外，本发明的大数据清洗与分析系统功能多样，清洗速度快。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明分析系统的结构示意图；
图2是本发明数据清洗结构示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一部分：
如图1-2所示，一种大数据清洗，包括引擎模块、管理模块、组件运行管理器1和接口模块，所述的引擎模块包括数据交换引擎2、数据同步复制引擎3、定时处理引擎4和服务处理引擎5，所述的管理模块包括分析系统6、系统监控7、服务管理8、安全管理9、元数据管理10、主题管理11和公共代码管理12、所述的接口模块包括数据交换与访问接口13、数据同步复制接口14和业务处理接口15。
所述的分析系统6包括系统配置16和界面设置17。
所述的系统监控7通过系统监控接口18控制系统操作信息19和系统线程信息20。
所述的元数据管理10和主题管理11连接远程管理接口21。
所述的公共代码管理12连接公共代码管理器22。
所述的数据交换引擎2，负责数据交换工作，包括数据检索、数据更新、数据插入、数据删除。
所述的定时处理引擎4定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了分析系统人员的负担。
所述的安全管理9用以管理元数据和主题安全管理。
所述的服务管理8包括服务定义、服务注册、服务注销操作。
本发明的一种大数据分析系统，包括控制模块23、数据交换模块24、数据库数据传输模块25、数据发布订阅模块26、自定义操作模块27、定时操作模块28、分析系统模块29、系统工具模块30和安全管理模块31。
所述的数据交换模块24包括数据检索、数据更新、数据删除和SQL数据交换。
所述的数据库数据传输模块25包括数据库传输和数据库同步。
所述的数据发布订阅模块26包括发布数据声明、订阅数据声明、发布数据和订阅数据。
所述的自定义操作模块27包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和定时数据发布订阅。
所述的自定义操作模块27包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和自定义数据发布订阅。
所述的，定时操作模块28包括定时数据交换、定时数据传输、定时SQL数据交换和定时数据发布订阅。
所述的分析系统模块29包括系统配置、系统监控、日志管理和定时操作监控器。
所述的系统工具模块30包括模式定义工具、动作自定义工具和过滤条件定义工具。
所述的安全管理模块31包括用户管理、代理安全管理和模式安全管理和SQL数据交换安全管理。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.一种大数据清洗，其特征在于：包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括分析系统、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口。
2.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的分析系统包括系统配置和界面配置。
3.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息。
4.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的元数据管理和主题管理连接远程管理接口。
5.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的公共代码管理连接公共代码管理器。
6.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的数据交换引擎，负责数据交换工作，包括数据检索、数据更新、数据插入、数据删除。
7.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的定时处理引擎定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了分析系统人员的负担。
8.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的安全管理用以管理元数据和主安全管理。
9.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的服务管理包括服务定义、服务注册、服务注销操作。
本发明一种大数据分析系统，包括控制模块、数据交换模块、数据库数据传输模块、数据发布订阅模块、自定义操作模块、定时操作模块、分析系统模块、系统工具模块和安全管理模块。
所述的数据交换模块包括数据检索、数据更新、数据删除和SQL数据交换。
所述的数据库数据传输模块包括数据库传输和数据库同步。
所述的数据发布订阅模块包括发布数据声明、订阅数据声明、发布数据和订阅数据。
所述的自定义操作模块包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和自定义数据发布订阅。
所述的定时操作模块包括定时数据交换、定时数据库传输、定时SQL数据交换和定时数据发布订阅。
所述的分析系统模块包括系统配置、系统监控、日志管理和定时操作监控器。
所述的系统工具模块包括模式定义工具、动作定义工具和过滤条件定义工具。
所述的安全管理模块包括用户管理、代理安全管理和模式安全管理和SQL数据交换安全管理。
CN202110168118.5A 2021-02-07 2021-02-07 一种大数据清洗与分析系统 Pending CN112925775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110168118.5A CN112925775A (zh) 2021-02-07 2021-02-07 一种大数据清洗与分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110168118.5A CN112925775A (zh) 2021-02-07 2021-02-07 一种大数据清洗与分析系统

Publications (1)

Publication Number Publication Date
CN112925775A true CN112925775A (zh) 2021-06-08

Family

ID=76171022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110168118.5A Pending CN112925775A (zh) 2021-02-07 2021-02-07 一种大数据清洗与分析系统

Country Status (1)

Country Link
CN (1) CN112925775A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766425A (zh) * 2017-09-13 2018-03-06 广西电网有限责任公司电力科学研究院 一种基于大数据的电力客户信息清洗装置
CN108573005A (zh) * 2017-03-10 2018-09-25 国网山东省电力公司潍坊供电公司 一种大数据清洗系统及管理系统
US20190205314A1 (en) * 2016-07-08 2019-07-04 Suzhou Superblock Chain Information Science & Technology Co., Ltd. Method for parallel maintenance of data consistency
CN110059117A (zh) * 2019-04-22 2019-07-26 北京那镁克科技有限公司 一种教学大数据的分析处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205314A1 (en) * 2016-07-08 2019-07-04 Suzhou Superblock Chain Information Science & Technology Co., Ltd. Method for parallel maintenance of data consistency
CN108573005A (zh) * 2017-03-10 2018-09-25 国网山东省电力公司潍坊供电公司 一种大数据清洗系统及管理系统
CN107766425A (zh) * 2017-09-13 2018-03-06 广西电网有限责任公司电力科学研究院 一种基于大数据的电力客户信息清洗装置
CN110059117A (zh) * 2019-04-22 2019-07-26 北京那镁克科技有限公司 一种教学大数据的分析处理方法及装置

Similar Documents

Publication Publication Date Title
CN107886238B (zh) 一种基于海量数据分析的业务流程管理系统及方法
CN107766205B (zh) 一种面向微服务调用过程跟踪的监控系统及方法
US7805482B2 (en) Method of correlating events in data packet streams
CN112396404A (zh) 一种数据中台系统
CN107861859A (zh) 一种基于微服务架构的日志管理方法及系统
US8156421B2 (en) Analysis of database performance reports for graphical presentation of summary results
CN108304473B (zh) 数据源之间的数据传输方法和系统
CN111984717A (zh) 一种大数据智慧政务平台信息管理方法
CN110581773A (zh) 一种自动化服务监控与报警管理系统
CN109471778B (zh) 一种电力系统的监控方法、装置及设备
CN111339175B (zh) 数据处理方法、装置、电子设备及可读存储介质
CN111061788A (zh) 一种基于云架构的多源异构数据转换整合系统及其实现方法
CN105119757A (zh) 一种企业服务器运维自动化的方法与系统
CN104657497A (zh) 一种基于分布式计算的海量用电信息并行计算系统及方法
CN115374102A (zh) 数据处理方法及系统
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN113553381A (zh) 一种基于管道的新式调度算法的分布式数据治理系统
CN107220515A (zh) 流产后关爱智能随访管理系统
CN116010494A (zh) 一种支持异构数据源的数据交换系统
CN114090529A (zh) 一种日志管理方法、装置、系统和存储介质
CN111913933A (zh) 基于统一支撑平台的电网历史数据管理方法及系统
CN111161818A (zh) 一种基于大数据技术的医疗数据交换共享系统及方法
CN113342826A (zh) 一种对不同数据采集引擎的数据操作进行统一管理的方法、存储介质及系统
CN105719072A (zh) 关联多段组件交易的系统及方法
CN112925775A (zh) 一种大数据清洗与分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210608