CN105205156A - 一种数据管理方法、装置及系统 - Google Patents

一种数据管理方法、装置及系统 Download PDF

Info

Publication number
CN105205156A
CN105205156A CN201510623364.XA CN201510623364A CN105205156A CN 105205156 A CN105205156 A CN 105205156A CN 201510623364 A CN201510623364 A CN 201510623364A CN 105205156 A CN105205156 A CN 105205156A
Authority
CN
China
Prior art keywords
node
metadata store
data control
data
application management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510623364.XA
Other languages
English (en)
Inventor
陈歌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510623364.XA priority Critical patent/CN105205156A/zh
Publication of CN105205156A publication Critical patent/CN105205156A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据管理方法、装置及系统，上述方法包括以下步骤：预先在应用管理节点与多个元数据存储节点之间增加数据控制节点；数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据，实现了在不停机维护、不更改服务器地址的前提下，自动路由获取访问数据，提供快捷、安全、可靠的自动访问元数据的解决方案。

Description

一种数据管理方法、装置及系统
技术领域
本发明属于数据管理领域，尤其涉及一种数据管理方法、装置及系统。
背景技术
随着大数据处理技术的飞速发展，基于Hadoop的数据仓库工具Hive逐渐成为大数据处理中不可或缺的一环，它可将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行；使用Hive，可以存储、查询和分析在Hadoop集群中存放的大规模数据。
Hive定义了简单的类SQL查询语言，省去了对要操作的数据频繁编写MapReduce的麻烦；但是在实际应用中，存储Hive元数据的元数据库是是存放在一个集群中的单点MySQL服务器之上的，一旦在任务执行中该单点MySQL服务器出现故障，则会导致整个任务的执行失败以及Hive程序的故障，进而产生大量维修以及再次执行任务的时间，对使用Hive的企业造成巨大的损失。
通常解决此单点故障的方法是建立MySQL的高可用组，采用双机/多机同步复制备份，但是切换数据库主机(需要变更IP地址)时，由于操作复杂需要人工协助，造成人力资源浪费。
发明内容
本发明提供一种数据管理方法、装置及系统，以解决上述问题。
本发明提供一种数据管理方法。上述方法包括以下步骤：
预先在应用管理节点与多个元数据存储节点之间增加数据控制节点；
数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据。
本发明还提供一种数据管理装置，包括增加模块、访问模块；其中，所述增加模块与所述访问模块相连；
所述增加模块，用于预先在应用管理节点与多个元数据存储节点之间增加数据控制节点并将增加的数据控制节点信息发送至所述访问模块；
所述访问模块，用于通过所述数据控制节点，访问对应的元数据存储节点，获取访问数据。
本发明还提供一种数据管理系统，包括应用管理节点、数据控制节点、多个元数据存储节点；其中，所述应用管理节点通过所述数据控制节点与所述多个元数据存储节点相连；
所述应用管理节点，用于向所述数据控制节点发送业务操作请求；
所述数据控制节点，用于接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据。
所述多个元数据存储节点，用于存储元数据。
通过以下方案：预先在应用管理节点与多个元数据存储节点之间增加数据控制节点；数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据，实现了在不停机维护、不更改服务器地址的前提下，自动路由获取访问数据，提供快捷、安全、可靠的自动访问元数据的解决方案。
通过以下方案：若主元数据存储节点发生故障，则按照预设切换策略，切换至对应的从元数据存储节点；所述数据控制节点访问对应的从元数据存储节点，获取访问数据，实现了在主元数据存储节点发生故障时，自动获取数据的过程，减少了人工操作过程，提升了数据库管理人员的工作效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为本发明实施例1的数据管理方法处理流程图；
图2所示为本发明实施例2的数据管理装置结构图；
图3所示为本发明实施例3的数据管理系统结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1所示为本发明实施例1的数据管理方法处理流程图，包括以下步骤：
步骤101：预先在应用管理节点与多个元数据存储节点之间增加数据控制节点；
进一步地，应用管理节点为Hive节点、数据控制节点为MySQLfabric节点。
本实施例以数据控制节点即MySQLfabric节点的高可用性特征来替代传统的MySQL多节点实现高可用方案，在Hive节点与多个元数据存储节点之间添加MySQLfabric节点，来统一管理存放Hive元数据的多个元数据存储节点，以此实现高效且易于管理Hive元数据的元数据库高可用组。
所述多个元数据存储节点构成元数据存储节点集群，也可以根据规划，划分为多个集群；在元数据存储节点集群中，选择一个元数据存储节点为主元数据存储节点，其它的元数据存储节点为从元数据存储节点。
进一步地，预先在应用管理节点与多个元数据存储节点之间增加数据控制节点之前，还包括：
对所述多个元数据存储节点进行数据库配置，其中，所述数据库中存储Hive元数据。
在具体实施过程中，通过对数据库中的my.cnf配置文件的配置参数进行设置，从而获得主元数据存储节点，从元数据存储节点。
进一步地，预先在应用管理节点与多个元数据存储节点之间增加数据控制节点后，还包括：
数据控制节点获取各个元数据存储节点中的配置文件中的配置参数信息；其中，所述配置参数信息包括：元数据存储节点ID、元数据存储节点端口号、元数据存储节点中数据库的用户名、密码。
步骤102：数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据。
进一步地，数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据的过程为：
应用管理节点接收业务操作请求后，转发所述业务操作请求至所述数据控制节点；
所述数据控制节点访问对应的主元数据存储节点，获取访问数据。
进一步地，所述业务操作请求包括数据查询请求、数据添加请求、数据删除请求。
进一步地，若主元数据存储节点发生故障，则按照预设切换策略，切换至对应的从元数据存储节点；
所述数据控制节点访问对应的从元数据存储节点，获取访问数据。
进一步地，若主元数据存储节点、所有从元数据存储节点均发生故障，则无法进行切换并重新维护从元数据存储节点。
进一步地，若主元数据存储节点、部分从元数据存储节点发生故障，则按照预设切换策略，切换至对应的从元数据存储节点。
进一步地，所述预设切换策略包括：随机选择一个工作正常的从元数据存储节点、选择与数据控制节点之间路径最短的从元数据存储节点、选择发生故障率最少的从元数据存储节点。
进一步地，所述主元数据存储节点与各个从元数据存储节点之间进行实时或者定时数据同步。
进一步地，数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据的过程为：
进一步地，若主元数据存储节点发生故障，则按照业务操作请求类型，切换至对应的从元数据存储节点；
所述数据控制节点访问对应的从元数据存储节点，获取访问数据。
进一步地，所述数据控制节点存储业务操作请求类型与从元数据存储节点对照表，如表1所示：
业务操作请求类型与从元数据存储节点对照表
业务操作请求类型 从元数据存储节点
数据查询请求 从元数据存储节点1
数据添加请求 从元数据存储节点2
数据删除请求 从元数据存储节点3
表1
当然，上述表1中列举的具体业务操作请求类型仅仅是举例而已(还可以是其它业务操作请求类型)，在此不用于限定本实施例的保护范围。
图2所示为本发明实施例2的数据管理装置结构图，包括增加模块201、访问模块202；其中，所述增加模块201与所述访问模块202相连；
所述增加模块201，用于预先在应用管理节点与多个元数据存储节点之间增加数据控制节点并将增加的数据控制节点信息发送至所述访问模块202；
所述访问模块202，用于通过所述数据控制节点，访问对应的元数据存储节点，获取访问数据。
图3所示为本发明实施例3的数据管理系统结构图，包括应用管理节点301；数据控制节点302、元数据存储节点集群303(包括：元数据存储节点1、元数据存储节点2、元数据存储节点3…元数据存储节点n)；其中，所述应用管理节点301通过所述数据控制节点302与所述元数据存储节点集群相连。
所述应用管理节点301，用于向所述数据控制节点302发送业务操作请求；
所述数据控制节点302，用于接收应用管理节点301发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据。
所述元数据存储节点，用于存储元数据。
通过以下方案：预先在应用管理节点与多个元数据存储节点之间增加数据控制节点；数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据，实现了在不停机维护、不更改服务器地址的前提下，自动路由获取访问数据，提供快捷、安全、可靠的自动访问元数据的解决方案。
通过以下方案：若主元数据存储节点发生故障，则按照预设切换策略，切换至对应的从元数据存储节点；所述数据控制节点访问对应的从元数据存储节点，获取访问数据，实现了在主元数据存储节点发生故障时，自动获取数据的过程，减少了人工操作过程，提升了数据库管理人员的工作效率。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据管理方法，其特征在于，包括以下步骤：
预先在应用管理节点与多个元数据存储节点之间增加数据控制节点；
数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据。
2.根据权利要求1所述的方法，其特征在于，进一步地，预先在应用管理节点与多个元数据存储节点之间增加数据控制节点之前，还包括：
对多个元数据存储节点进行数据库配置，其中，所述数据库中存储元数据。
3.根据权利要求1所述的方法，其特征在于，进一步地，预先在应用管理节点与多个元数据存储节点之间增加数据控制节点后，还包括：
数据控制节点获取各个元数据存储节点中的配置文件中的配置参数信息；其中，所述配置参数信息包括：元数据存储节点ID、元数据存储节点端口号、元数据存储节点中数据库的用户名、密码。
4.根据权利要求1所述的方法，其特征在于，数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据的过程为：
应用管理节点接收业务操作请求后，转发所述业务操作请求至所述数据控制节点；
所述数据控制节点访问对应的主元数据存储节点，获取访问数据。
5.根据权利要求4所述的方法，其特征在于，若主元数据存储节点发生故障，则按照预设切换策略，切换至对应的从元数据存储节点；
所述数据控制节点访问对应的从元数据存储节点，获取访问数据。
6.根据权利要求5所述的方法，其特征在于，所述预设切换策略包括：随机选择一个工作正常的从元数据存储节点、选择与数据控制节点之间路径最短的从元数据存储节点、选择发生故障率最少的从元数据存储节点。
7.根据权利要求1所述的方法，其特征在于，数据控制节点接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据的过程为：
若主元数据存储节点发生故障，则按照业务操作请求类型，切换至对应的从元数据存储节点；
所述数据控制节点访问对应的从元数据存储节点，获取访问数据。
8.根据权利要求7所述的方法，其特征在于，所述数据控制节点存储业务操作请求类型与从元数据存储节点对照表。
9.一种数据管理装置，其特征在于，包括增加模块、访问模块；其中，所述增加模块与所述访问模块相连；
所述增加模块，用于预先在应用管理节点与多个元数据存储节点之间增加数据控制节点并将增加的数据控制节点信息发送至所述访问模块；
所述访问模块，用于通过所述数据控制节点，访问对应的元数据存储节点，获取访问数据。
10.一种数据管理系统，其特征在于，包括应用管理节点、数据控制节点、多个元数据存储节点；其中，所述应用管理节点通过所述数据控制节点与所述多个元数据存储节点相连；
所述应用管理节点，用于向所述数据控制节点发送业务操作请求；
所述数据控制节点，用于接收应用管理节点发送的业务操作请求后，访问对应的元数据存储节点，获取访问数据；
所述多个元数据存储节点，用于存储元数据。
CN201510623364.XA 2015-09-25 2015-09-25 一种数据管理方法、装置及系统 Pending CN105205156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510623364.XA CN105205156A (zh) 2015-09-25 2015-09-25 一种数据管理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510623364.XA CN105205156A (zh) 2015-09-25 2015-09-25 一种数据管理方法、装置及系统

Publications (1)

Publication Number Publication Date
CN105205156A true CN105205156A (zh) 2015-12-30

Family

ID=54952839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510623364.XA Pending CN105205156A (zh) 2015-09-25 2015-09-25 一种数据管理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN105205156A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920131A (zh) * 2017-12-08 2018-04-17 郑州云海信息技术有限公司 一种hdfs存储系统的元数据管理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040153481A1 (en) * 2003-01-21 2004-08-05 Srikrishna Talluri Method and system for effective utilization of data storage capacity
CN101059807A (zh) * 2007-01-26 2007-10-24 华中科技大学 一种提高元数据服务可靠性的方法及其系统
CN101170416A (zh) * 2006-10-26 2008-04-30 阿里巴巴公司 网络数据存储系统及其数据访问方法
CN103078927A (zh) * 2012-12-28 2013-05-01 合一网络技术(北京)有限公司 一种key-value数据分布式缓存系统及其方法
TW201324183A (zh) * 2011-12-09 2013-06-16 Promise Tecnnology Inc 雲端數據儲存系統
CN103581332A (zh) * 2013-11-15 2014-02-12 武汉理工大学 HDFS架构及HDFS架构中NameNode节点的压力分解方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040153481A1 (en) * 2003-01-21 2004-08-05 Srikrishna Talluri Method and system for effective utilization of data storage capacity
CN101170416A (zh) * 2006-10-26 2008-04-30 阿里巴巴公司 网络数据存储系统及其数据访问方法
CN101059807A (zh) * 2007-01-26 2007-10-24 华中科技大学 一种提高元数据服务可靠性的方法及其系统
TW201324183A (zh) * 2011-12-09 2013-06-16 Promise Tecnnology Inc 雲端數據儲存系統
CN103078927A (zh) * 2012-12-28 2013-05-01 合一网络技术(北京)有限公司 一种key-value数据分布式缓存系统及其方法
CN103581332A (zh) * 2013-11-15 2014-02-12 武汉理工大学 HDFS架构及HDFS架构中NameNode节点的压力分解方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TUZHUTUZHU: "MySQL Fabric概述", 《HTTP://BLOG.CSDN.NET/TUZHUTUZHU/ARTICLE/DETAILS/38738635》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920131A (zh) * 2017-12-08 2018-04-17 郑州云海信息技术有限公司 一种hdfs存储系统的元数据管理方法及装置

Similar Documents

Publication Publication Date Title
US9489443B1 (en) Scheduling of splits and moves of database partitions
CN106233255B (zh) 资源供应系统及方法
US10534776B2 (en) Proximity grids for an in-memory data grid
CN102546256B (zh) 用于对云计算服务进行监控的系统及方法
EP2675127B1 (en) Method and device for automatically migrating system configuration item
US10908834B2 (en) Load balancing for scalable storage system
CN102882909B (zh) 云计算服务监控系统及方法
CN104486445A (zh) 一种基于云平台的分布式可扩展资源监控系统及方法
AU2015301411A1 (en) Systems and methods for auto-scaling a big data system
CN102103518A (zh) 一种在虚拟化环境中管理资源的系统及其实现方法
CN101694626A (zh) 脚本执行系统及方法
US11698911B2 (en) System and methods for performing updated query requests in a system of multiple database engine
CN105138679A (zh) 一种基于分布式缓存的数据处理系统及处理方法
CN108848132A (zh) 一种基于云的配电调度主站系统
CN104462435A (zh) 一种分布式数据库横向扩展方法
US12086157B2 (en) Asynchronous storage management in a distributed system
CN104410511A (zh) 一种服务器管理方法及系统
CN105302817B (zh) 分布式文件系统管理方法和装置
US12026177B2 (en) Dynamic adaptive partition splitting
CN105488174B (zh) 基于bs结构的多分布式数据源管理方法及系统
CN105205156A (zh) 一种数据管理方法、装置及系统
CN102970375A (zh) 集群配置方法和装置
KR20160041615A (ko) 클라우드 플랫폼 기반 로그수집 자동화 시스템 및 그 방법
US20240176762A1 (en) Geographically dispersed hybrid cloud cluster
Chakraborty et al. A proposal for high availability of HDFS architecture based on threshold limit and saturation limit of the namenode

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151230