CN110990368A - 一种全链路数据管理系统及其管理方法 - Google Patents

一种全链路数据管理系统及其管理方法 Download PDF

Info

Publication number
CN110990368A
CN110990368A CN201911205388.8A CN201911205388A CN110990368A CN 110990368 A CN110990368 A CN 110990368A CN 201911205388 A CN201911205388 A CN 201911205388A CN 110990368 A CN110990368 A CN 110990368A
Authority
CN
China
Prior art keywords
data
batch processing
processing
engine
offline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911205388.8A
Other languages
English (en)
Inventor
谢菁
陆冰芳
翁小云
马玉林
梁仲峰
韦宗慧
张希翔
陶镇威
万义飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Power Grid Co Ltd
Original Assignee
Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Power Grid Co Ltd filed Critical Guangxi Power Grid Co Ltd
Priority to CN201911205388.8A priority Critical patent/CN110990368A/zh
Publication of CN110990368A publication Critical patent/CN110990368A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种全链路数据管理系统，包括：数据源，其包括流式数据、批量的文件数据、数据库；离线处理平台，其包括数据采集和离线批处理引擎，所述数据采集包括实时数据采集系统和批量采集系统，所述离线批处理引擎用于实现高性能的离线批处理作业运行；所述离线批处理引擎包括：Hive、MapReduce、Spark SQL、Spark、Yarn、HDFS；业务应用，其用于查询并使用批处理结果的业务应用；本发明能很好提高海量数据下数据的使用效率，解决异构数据库数据的关联使用问题，还可以很好的管控数据权限。

Description

一种全链路数据管理系统及其管理方法
技术领域
本发明属于计算机科学技术领域，具体涉及一种全链路数据管理系统及其管理方法。
背景技术
目前国内外采用的数据基础管理技术大多是通过传统关系型数据库，例如Oracle，mysql，postgresql等进行数据存储，通过数据库管理软件，例如Navicat等进行数据管理与使用。传统关系型数据库采用表格的储存方式,数据以行和列的方式进行存储,采用结构化查询语言(即SQL)来对数据库进行查询。这种方案在面对海量数据时会出现查询很慢，对服务器配置要求过高等问题，另外也无法实现异构数据库数据关联使用。在数据安全方面，这种方案也无法很好管控用户数据使用权限。为此，我们提出一种全链路数据管理系统及其管理方法，以解决上述背景技术中提到的问题。
发明内容
本发明的目的在于提供一种全链路数据管理系统及其管理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种全链路数据管理系统，包括：
数据源，其包括流式数据、批量的文件数据、数据库；
离线处理平台，其包括数据采集和离线批处理引擎，所述数据采集包括实时数据采集系统和批量采集系统，所述离线批处理引擎用于实现高性能的离线批处理作业运行；
所述离线批处理引擎包括：Hive、MapReduce、Spark SQL、Spark、Yarn、HDFS；
业务应用，其用于查询并使用批处理结果的业务应用，由ISV开发。
优选的，所述流式数据包括Socket流、OGG日志流、日志文件。
优选的，所述实时数据采集系统用于实时采集流式数据，可能的形式包括：
Flume：用于Socket流或者日志文件等的数据采集；
第三方采集工具：第三方或者定制开发的数据采集工具或程序；
所述批量采集系统：用于采集批量数据，可能的形式包括：
Flume：用于批量采集数据文件日志文件；
Sqoop：用于批量采集数据库数据；
第三方采集/ET工具：第三方数据采集、加载、处理工具。
优选的，所述Hive：传统SQL批处理引擎，用于处理SQL类批处理作业，使用广泛海量数据下表现稳定，但是处理速度较慢；
所述MapReduce：传统批处理引擎，用于处理非SQL类，尤其是数据挖掘和机器学习类批处理作业，使用广泛，海量数据下表现稳定，但是处理速度较慢；
所述Spark SQL：新型SQL批处理引擎，用于处理SQL类批处理作业，适合海量数据，处理速度高效；
所述Spark：新型批处理引擎，用于处理非SQL类，尤其是数据挖掘和机器学习类批处理作业，适合海量数据，处理速度高效；
所述Yarn：资源调度引擎，为各种批处理引擎提供资源调度能力，是多租户资源分配的基础；
所述HDFS：分布式文件系统，为各种批处理引擎提供数据存储，可以存储各种文件格式数据。
本发明还提供了一种全链路数据管理系统的管理方法，具体包括以下步骤：
S1、使用sqoop，datax或其他第三方ETL工具同步异构数据库数据至大数据平台；
S2、数据文件存储采用HDFS(分布式文件存储系统)存储；
S3、使用GaussDB 200企业级大规模并行处理关系型数据库；GaussDB 200采用MPP(Massively Parallel Processing)架构，支持行存储与列存储，提供PB(Petabyte，2的50次方字节)级别数据量的处理能力；
S4、使用MapReduce、Hive、Pig等批处理工具，以支持大数据计算作业；
S5、建立基于LDAP(Lightweight Directory Access Protocol)技术的用户、用户组、项目的用户管理体系。
与现有技术相比，本发明的有益效果是：本发明提供的一种全链路数据管理系统及其管理方法，本发明解决传统关系型数据库面对海量数据时查询过慢问题；解决异构数据库数据关联使用问题；提供一种更优的数据权限管理方案。本发明能很好提高海量数据下数据的使用效率，解决异构数据库数据的关联使用问题，还可以很好的管控数据权限，
附图说明
图1为本发明的全链路数据管理系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，实施例如下：
本发明提供如下技术方案：一种全链路数据管理系统，包括：
数据源，其包括流式数据、批量的文件数据、数据库；
离线处理平台，其包括数据采集和离线批处理引擎，所述数据采集包括实时数据采集系统和批量采集系统，所述离线批处理引擎用于实现高性能的离线批处理作业运行；
所述离线批处理引擎包括：Hive、MapReduce、Spark SQL、Spark、Yarn、HDFS；
业务应用，其用于查询并使用批处理结果的业务应用，由ISV开发。
具体的，所述流式数据包括Socket流、OGG日志流、日志文件。
具体的，所述实时数据采集系统用于实时采集流式数据，可能的形式包括：
Flume：用于Socket流或者日志文件等的数据采集；
第三方采集工具：第三方或者定制开发的数据采集工具或程序；
所述批量采集系统：用于采集批量数据，可能的形式包括：
Flume：用于批量采集数据文件日志文件；
Sqoop：用于批量采集数据库数据；
第三方采集/ET工具：第三方数据采集、加载、处理工具。
具体的，所述Hive：传统SQL批处理引擎，用于处理SQL类批处理作业，使用广泛海量数据下表现稳定，但是处理速度较慢；
所述MapReduce：传统批处理引擎，用于处理非SQL类，尤其是数据挖掘和机器学习类批处理作业，使用广泛，海量数据下表现稳定，但是处理速度较慢；
所述Spark SQL：新型SQL批处理引擎，用于处理SQL类批处理作业，适合海量数据，处理速度高效；
所述Spark：新型批处理引擎，用于处理非SQL类，尤其是数据挖掘和机器学习类批处理作业，适合海量数据，处理速度高效；
所述Yarn：资源调度引擎，为各种批处理引擎提供资源调度能力，是多租户资源分配的基础；
所述HDFS：分布式文件系统，为各种批处理引擎提供数据存储，可以存储各种文件格式数据。
本发明还提供了一种全链路数据管理系统的管理方法，具体包括以下步骤：
S1、使用sqoop，datax或其他第三方ETL工具同步异构数据库数据至大数据平台；
S2、数据文件存储采用HDFS(分布式文件存储系统)存储；
S3、使用GaussDB 200企业级大规模并行处理关系型数据库；GaussDB 200采用MPP(Massively Parallel Processing)架构，支持行存储与列存储，提供PB(Petabyte，2的50次方字节)级别数据量的处理能力；
S4、使用MapReduce、Hive、Pig等批处理工具，以支持大数据计算作业；
S5、建立基于LDAP(Lightweight Directory Access Protocol)技术的用户、用户组、项目的用户管理体系。
综上所述，与现有技术相比，本发明能很好提高海量数据下数据的使用效率，解决异构数据库数据的关联使用问题，还可以很好的管控数据权限，本发明解决传统关系型数据库面对海量数据时查询过慢问题；解决异构数据库数据关联使用问题；提供一种更优的数据权限管理方案。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种全链路数据管理系统，其特征在于，包括：
数据源，其包括流式数据、批量的文件数据、数据库；
离线处理平台，其包括数据采集和离线批处理引擎，所述数据采集包括实时数据采集系统和批量采集系统，所述离线批处理引擎用于实现高性能的离线批处理作业运行；
所述离线批处理引擎包括：Hive、MapReduce、Spark SQL、Spark、Yarn、HDFS；
业务应用，其用于查询并使用批处理结果的业务应用，由ISV开发。
2.根据权利要求1所述的一种全链路数据管理系统，其特征在于：所述流式数据包括Socket流、OGG日志流、日志文件。
3.根据权利要求1所述的一种全链路数据管理系统，其特征在于：所述实时数据采集系统用于实时采集流式数据，可能的形式包括：
Flume：用于Socket流或者日志文件等的数据采集；
第三方采集工具：第三方或者定制开发的数据采集工具或程序；
所述批量采集系统：用于采集批量数据，可能的形式包括：
Flume：用于批量采集数据文件日志文件；
Sqoop：用于批量采集数据库数据；
第三方采集/ET工具：第三方数据采集、加载、处理工具。
4.根据权利要求1所述的一种全链路数据管理系统，其特征在于：所述Hive：传统SQL批处理引擎，用于处理SQL类批处理作业，使用广泛海量数据下表现稳定，但是处理速度较慢；
所述MapReduce：传统批处理引擎，用于处理非SQL类，尤其是数据挖掘和机器学习类批处理作业，使用广泛，海量数据下表现稳定，但是处理速度较慢；
所述Spark SQL：新型SQL批处理引擎，用于处理SQL类批处理作业，适合海量数据，处理速度高效；
所述Spark：新型批处理引擎，用于处理非SQL类，尤其是数据挖掘和机器学习类批处理作业，适合海量数据，处理速度高效；
所述Yarn：资源调度引擎，为各种批处理引擎提供资源调度能力，是多租户资源分配的基础；
所述HDFS：分布式文件系统，为各种批处理引擎提供数据存储，可以存储各种文件格式数据。
5.一种权利要求1所述的全链路数据管理系统的管理方法，其特征在于：具体包括以下步骤：
S1、使用sqoop，datax或其他第三方ETL工具同步异构数据库数据至大数据平台；
S2、数据文件存储采用HDFS存储；
S3、使用GaussDB 200企业级大规模并行处理关系型数据库；GaussDB 200采用MPP架构，支持行存储与列存储，提供PB级别数据量的处理能力；
S4、使用MapReduce、Hive、Pig等批处理工具，以支持大数据计算作业；
S5、建立基于LDAP技术的用户、用户组、项目的用户管理体系。
CN201911205388.8A 2019-11-29 2019-11-29 一种全链路数据管理系统及其管理方法 Pending CN110990368A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911205388.8A CN110990368A (zh) 2019-11-29 2019-11-29 一种全链路数据管理系统及其管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205388.8A CN110990368A (zh) 2019-11-29 2019-11-29 一种全链路数据管理系统及其管理方法

Publications (1)

Publication Number Publication Date
CN110990368A true CN110990368A (zh) 2020-04-10

Family

ID=70088632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205388.8A Pending CN110990368A (zh) 2019-11-29 2019-11-29 一种全链路数据管理系统及其管理方法

Country Status (1)

Country Link
CN (1) CN110990368A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930862A (zh) * 2020-09-17 2020-11-13 国网浙江省电力有限公司 一种基于大数据平台的sql交互式分析方法及系统
CN113343065A (zh) * 2021-07-01 2021-09-03 广东电网有限责任公司 电网数据采集系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021194A (zh) * 2014-06-13 2014-09-03 浪潮(北京)电子信息产业有限公司 一种面向行业大数据多样性应用的混合型处理系统及处理方法
US20170264670A1 (en) * 2016-03-14 2017-09-14 Business Objects Software Ltd. Unified client for distributed processing platform
CN107341205A (zh) * 2017-06-23 2017-11-10 国网上海市电力公司 一种基于大数据平台的智能配用电系统
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及系统
CN109063050A (zh) * 2018-07-19 2018-12-21 郑州云海信息技术有限公司 一种数据库日志分析预警方法与装置
CN109767255A (zh) * 2018-12-06 2019-05-17 东莞团贷网互联网科技服务有限公司 一种通过大数据建模实现智能运营及精准营销的方法
CN110175788A (zh) * 2019-05-31 2019-08-27 国网上海市电力公司 一种智慧城市能源云平台

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021194A (zh) * 2014-06-13 2014-09-03 浪潮(北京)电子信息产业有限公司 一种面向行业大数据多样性应用的混合型处理系统及处理方法
US20170264670A1 (en) * 2016-03-14 2017-09-14 Business Objects Software Ltd. Unified client for distributed processing platform
CN107341205A (zh) * 2017-06-23 2017-11-10 国网上海市电力公司 一种基于大数据平台的智能配用电系统
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及系统
CN109063050A (zh) * 2018-07-19 2018-12-21 郑州云海信息技术有限公司 一种数据库日志分析预警方法与装置
CN109767255A (zh) * 2018-12-06 2019-05-17 东莞团贷网互联网科技服务有限公司 一种通过大数据建模实现智能运营及精准营销的方法
CN110175788A (zh) * 2019-05-31 2019-08-27 国网上海市电力公司 一种智慧城市能源云平台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OKU酱: "大数据开发流程图", 《简书》 *
刘汪根等: "大数据3.0――后Hadoop时代大数据的核心技术", 《数据与计算发展前沿》 *
林宗缪等: "基于Spark的网络日志分析平台研究与设计", 《自动化与仪器仪表》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930862A (zh) * 2020-09-17 2020-11-13 国网浙江省电力有限公司 一种基于大数据平台的sql交互式分析方法及系统
CN113343065A (zh) * 2021-07-01 2021-09-03 广东电网有限责任公司 电网数据采集系统

Similar Documents

Publication Publication Date Title
CN101694672B (zh) 一种分布式安全检索系统
CN104850640A (zh) 一种基于HBase的电网设备状态监测数据存储和查询方法及系统
US8620945B2 (en) Query rewind mechanism for processing a continuous stream of data
JP6898320B2 (ja) インデックス確立の方法およびデバイス
CN107066546B (zh) 一种基于mpp引擎的跨数据中心快速查询方法和系统
CA2897338A1 (en) Data stream splitting for low-latency data access
CN103646073A (zh) 一种基于HBase表的条件查询优化方法
CN102214236B (zh) 一种海量数据处理方法和系统
CN106599052B (zh) 一种基于Apache Kylin的数据查询系统及其方法
CN102906751A (zh) 一种数据存储、数据查询的方法及装置
CN107506464A (zh) 一种基于ES实现HBase二级索引的方法
CN110990368A (zh) 一种全链路数据管理系统及其管理方法
CN106776783A (zh) 非结构化数据存储管理方法、服务器和系统
US11567939B2 (en) Lazy reassembling of semi-structured data
CN107193898A (zh) 基于分级复用的日志数据流的查询共享方法和系统
CN104572505A (zh) 一种保证海量数据缓存最终一致性的系统及方法
CN110083600A (zh) 一种日志收集处理的方法、装置、计算设备及存储介质
CN115544314A (zh) 一种非结构化数据库的系统
Pilourdault et al. Distributed evaluation of top-k temporal joins
Sawyer et al. Understanding query performance in Accumulo
CN108228654A (zh) 一种大数据分布式存储方法和系统
CN108319604B (zh) 一种hive中大小表关联的优化方法
CN110781210A (zh) 一种应对大规模数据多维聚合实时查询的数据处理平台
Ding et al. Commapreduce: An improvement of mapreduce with lightweight communication mechanisms
CN111881086A (zh) 大数据的存储方法、查询方法、电子装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410

RJ01 Rejection of invention patent application after publication