CN109600430A - 一种数据管理方法、系统及电子设备和存储介质 - Google Patents

一种数据管理方法、系统及电子设备和存储介质 Download PDF

Info

Publication number
CN109600430A
CN109600430A CN201811445785.8A CN201811445785A CN109600430A CN 109600430 A CN109600430 A CN 109600430A CN 201811445785 A CN201811445785 A CN 201811445785A CN 109600430 A CN109600430 A CN 109600430A
Authority
CN
China
Prior art keywords
data
computer room
client
node
inquiry request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811445785.8A
Other languages
English (en)
Inventor
庞登
曾伟纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201811445785.8A priority Critical patent/CN109600430A/zh
Publication of CN109600430A publication Critical patent/CN109600430A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1044Group management mechanisms 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据管理方法、系统及一种电子设备和计算机可读存储介质,该方法包括:接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;若是,则根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端。本申请提供的数据管理方法,在两个不同机房内分布部署存储集群,数据同步存储至这两个集群的节点上,满足数据的跨机房容灾要求,与现有技术采用三中心的方式相比,成本较低。

Description

一种数据管理方法、系统及电子设备和存储介质
技术领域
本申请涉及存储技术领域,更具体地说,涉及一种数据管理方法、系统及一种电子设备和一种计算机可读存储介质。
背景技术
在互联网行业中,数据的安全性越来越受到重视,为了应对自然灾害,机房断电、断网的影响,一般都会做数据的跨机房灾备,用来保证数据不丢失。在分布式环境中,对数据的一致性、可用性和分区容灾存在较高的要求。为了保证数据不丢失,以及数据的访问一致性,大企业都会在不同机房之间使用专网专线做数据同步,保持两地三中心的方式。但这种方式成本较高,对于大多中、小企业来说难以承受。
因此,如何以低成本的实现方式满足分布式环境的容灾需求是本领域技术人员需要解决的问题。
发明内容
本申请的目的在于提供一种数据管理方法、系统及一种电子设备和一种计算机可读存储介质,以低成本的实现方式满足分布式环境的容灾需求。
为实现上述目的,本申请提供了一种数据管理方法,应用于代理服务器,包括:
接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;
当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;
若是,则根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端。
优选的,若所述下载节点异常,则还包括:
根据所述数据查询请求从与所述客户端不同机房的存储集群中读取响应数据,并将所述响应数据返回至所述客户端。
优选的,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中包括:
确定自身在所述第一机房中对应的第一存储节点和在所述第二机房中对应的第二存储节点;
将所述数据上报任务对应的待存储数据存储至所述第一存储节点和所述第二存储节点中。
优选的,还包括:
检测自身在所述第一机房中对应的第一存储节点和在所述第二机房中对应的第二存储节点;
当所述第一存储节点存在异常时,向管理终端发送异常信息。
优选的,还包括:
当所述第一存储节点恢复正常后,将所述第二存储节点中的数据信息同步至所述第一存储节点。
优选的,所述存储集群包括redis集群。
为实现上述目的,本申请提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的数据管理程序,所述数据管理程序被所述处理器执行时实现:接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;若是,则根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端。
优选的,所述数据管理程序被所述处理器执行时还实现:根据所述数据查询请求从与所述客户端不同机房的存储集群中读取响应数据,并将所述响应数据返回至所述客户端。
为实现上述目的,本申请提供了一种数据管理系统,应用于代理服务器,包括:
存储模块,用于接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;
确定模块,用于当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;
第一响应模块,用于当所述下载节点正常时,根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端。
为实现上述目的,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有数据管理程序,所述数据管理程序被处理器执行时实现如上述数据管理方法的步骤。
为实现上述目的,本申请提供了一种计算机程序产品,包括计算机指令,当其在计算机上运行时,使得计算机可以执行上述任一项所述数据管理方法。
通过以上方案可知,本申请提供的一种数据管理方法,包括:接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;若是,则根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端。
本申请提供的数据管理方法,在两个不同机房内分布部署存储集群,数据同步存储至这两个集群的节点上,满足数据的跨机房容灾要求,与现有技术采用三中心的方式相比,成本较低。另外,在客户端进行数据查询时,优选从与该客户端同机房的存储集群下载数据,数据查询响应速度较快。本申请还公开了一种数据管理系统及一种电子设备和一种计算机可读存储介质,同样能实现上述技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种数据管理方法的流程图;
图2为本申请实施例公开的一种数据管理方法的系统环境图;
图3为图1中S101的步骤的细化流程示意图;
图4为本申请实施例公开的另一种数据管理方法的流程图;
图5为P2P(中文全称:对等网络,英文全称:Peer to Peer)点播系统的系统环境图;
图6为本申请实施例公开的一种数据管理系统的结构图;
图7为本申请实施例公开的一种电子设备的结构图;
图8为本申请实施例公开的另一种电子设备的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本申请实施例公开了一种数据管理方法,以低成本的实现方式满足分布式环境的容灾需求。
参见图1,本申请实施例公开的一种数据管理方法的流程图,如图1所示,包括:
S101:接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;
本实施例的执行主体为存储集群的代理服务器,优选的,每个代理服务器负责对存储集群中的一个或几个存储节点进行数据操作,即每个代理服务器只负责处理上报给自身的部分业务数据,可以提高数据上报效率。
需要说明的是,此处不对存储集群的具体类型进行限定,优选为redis集群,如图2所示,代理服务器具体为redis集群代理服务器,主要实现redis协议,支持redis集群协议接口,采用多机房分布式部署。可以理解的是,只要是分布式存储集群都在本实施例的保护范围内。
在具体实施中,当代理服务器接收到数据上报任务时,代理服务器自动对数据做跨机房同步,即将该数据上报任务对应的待存储数据存储至不同机房的两个存储集群的存储节点中,保证数据不丢失,满足数据的跨机房容灾要求。当两个机房的存储集群全部写入成功时,返回给用户操作成功的提示。如果某一个集群写入失败或者写入期间某一个集群中的存储节点出现故障,代理服务器可以存储失败的所有命令和key,当集群正常后,代理服务器负责将期间的业务数据从正常的集群读取出来写到恢复的集群中,将在后续实施例中进行详细介绍。
S102:当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;若是,则进入S103;若否,则进行S104;
需要说明的是,本步骤与上一步骤不存在逻辑上的先后顺序,即可以同步执行,也可以异步执行,S101描述的是数据存储过程,而S102开始描述的是数据查询过程。
在具体实施中,当代理服务器接收到客户端的数据查询请求时,优选从与该客户端同机房的存储集群中读取响应数据,数据响应速度较快。首先根据数据查询请求在与客户端同机房的存储集群中确定下载节点,当该下载节点正常时进入S103,异常时进入S104。
S103:根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端;
在具体实施中,当与客户端同机房的存储集群中的下载节点正常时,从该下载节点中读取响应数据,并返回至客户端。
S104:根据所述数据查询请求从与所述客户端不同机房的存储集群中读取响应数据,并将所述响应数据返回至所述客户端。
在具体实施中,当与客户端同机房的存储集群中的下载节点异常时,从与客户端不同机房的存储集群中读取响应数据,具体的读取步骤与上一步骤类似,首先根据数据查询请求从与客户端不同机房的存储集群中确定下载节点,并从该下载节点读取响应数据,返回至客户端。
本申请实施例提供的数据管理方法,在两个不同机房内分布部署存储集群,数据同步存储至这两个集群的节点上,满足数据的跨机房容灾要求,与现有技术采用三中心的方式相比,成本较低。另外,在客户端进行数据查询时,优选从与该客户端同机房的存储集群下载数据,数据查询响应速度较快。
下面详细介绍数据写入过程,即如图3所示,上述实施例中的步骤S101可以具体包括:
S201:接收到数据上报任务时,确定自身在所述第一机房中对应的第一存储节点和在所述第二机房中对应的第二存储节点;
在本实施例中,每个代理服务器负责对存储集群中的一个或几个存储节点进行数据操作,即每个代理服务器只负责处理上报给自身的部分业务数据。在代理服务器接收到数据上报任务时,首先确定自身在两个机房中对应的存储节点。
S202:将所述数据上报任务对应的待存储数据存储至所述第一存储节点和所述第二存储节点中。
在具体实施中,确定两个机房中的存储节点后,将该数据上报任务对应的待存储数据存储至该存储节点中。
在本实施例中,每个代理服务器只负责处理上报给自身的部分业务数据,多组业务数据可以由不同的代理服务器进行同步上报,数据上报效率较高。
可以理解的是,代理服务器实时检测其对应的存储节点是否正常,具体的:
参见图4,本申请实施例公开的另一种数据管理方法的流程图,如图4所示,包括:
S301:检测自身在所述第一机房中对应的第一存储节点和在所述第二机房中对应的第二存储节点;
与上一实施例相同,在本实施例中每个代理服务器只负责处理自身对应的部分业务数据。在本步骤中,每个代理服务器可以定时获取其对应的存储节点的状态信息,并根据该状态信息判断存储节点是否发发生异常,异常时进入S302。
S302:当所述第一存储节点存在异常时,向管理终端发送异常信息;
当存在异常节点(即本步骤中的第一存储节点)时,根据该异常节点的状态信息向管理终端发送异常信息,以便维护人员对该异常节点进行维护。
S303:当所述第一存储节点恢复正常后,将所述第二存储节点中的数据信息同步至所述第一存储节点。
在具体实施中,当异常节点(即第一存储节点)恢复正常后,将第二存储节点中的数据信息同步至第一存储节点。需要说明的是,每个代理服务器仅负责将自身的备份业务同步至恢复后的节点,不同的数据可以同步恢复,同步时间较短。
下面介绍本申请提供的数据管理方法的应用实施例,具体的,如图5所示,在P2P点播系统中,数据部署到物理机后,会生成文件索引,索引数据的上报过程如下:
步骤1:调度服务模块将索引数据发送至redis集群代理服务;
步骤2:redis集群代理服务将该索引数据双写至机房A和机房B的redis缓存集群中。
索引数据的查询过程如下:
步骤1:调度服务模块接收到客户端sdk的查询索引数据请求时,将该查询索引数据请求发送至redis集群代理服务;
步骤2:若客户端为机房A中的机器,redis集群代理服务优选从机房A中的redis缓存集群中根据该查询索引数据请求确定下载节点,当该下载节点为正常节点时进入步骤3,异常时进入步骤4;
步骤3:从该下载节点中读取索引数据经调度服务模块返回至客户端;
步骤4:从机房B中的redis缓存集群中的下载节点中读取索引数据经调度服务模块返回至客户端。
下面对本申请实施例提供的一种数据管理系统进行介绍,下文描述的一种数据管理系统与上文描述的一种数据管理方法可以相互参照。
参见图6,本申请实施例提供的一种数据管理系统的结构图,如图6所示,包括:
存储模块601,用于接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;
确定模块602,用于当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;
第一响应模块603,用于当所述下载节点正常时,根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端。
本申请实施例提供的数据管理系统,在两个不同机房内分布部署存储集群,数据同步存储至这两个集群的节点上,满足数据的跨机房容灾要求,与现有技术采用三中心的方式相比,成本较低。另外,在客户端进行数据查询时,优选从与该客户端同机房的存储集群下载数据,数据查询响应速度较快。
在上述实施例的基础上,作为一种优选实施方式,还包括:
第二响应模块,用于根据所述数据查询请求从与所述客户端不同机房的存储集群中读取响应数据,并将所述响应数据返回至所述客户端。
在上述实施例的基础上,作为一种优选实施方式,所述存储模块601包括:
确定单元,用于确定自身在所述第一机房中对应的第一存储节点和在所述第二机房中对应的第二存储节点;
存储单元,用于接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至所述第一存储节点和所述第二存储节点中。
在上述实施例的基础上,作为一种优选实施方式,还包括:
检测模块,用于检测自身在所述第一机房中对应的第一存储节点和在所述第二机房中对应的第二存储节点;
发送模块,用于当所述第一存储节点存在异常时,向管理终端发送异常信息。
在上述实施例的基础上,作为一种优选实施方式,还包括:
同步模块,用于当所述第一存储节点恢复正常后,将所述第二存储节点中的数据信息同步至所述第一存储节点。
在上述实施例的基础上,作为一种优选实施方式,所述存储集群包括redis集群。
本申请还提供了一种电子设备,该电子设备可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。
参见图7,本申请实施例提供的一种电子设备的结构图,如图7所示,可以包括存储器11、处理器12和总线13。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的硬盘。存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。进一步地,存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装电子设备的应用软件及各类数据,例如数据管理程序01的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,实现上述任一实施例提供的数据管理方法,例如执行数据管理程序01等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请实施例在两个不同机房内分布部署存储集群,数据同步存储至这两个集群的节点上,满足数据的跨机房容灾要求,与现有技术采用三中心的方式相比,成本较低。另外,在客户端进行数据查询时,优选从与该客户端同机房的存储集群下载数据,数据查询响应速度较快。
在上述实施例的基础上,作为优选实施方式,参见图8,所述电子设备还包括:
输入接口14,用于获取外部导入的计算机程序、参数和指令,经处理器12控制保存至存储器11中。该输入接口14可以与输入装置相连,接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层,也可以是终端外壳上设置的按键、轨迹球或触控板,也可以是键盘(Keyboard)、触控板或鼠标等。
显示单元15,用于显示处理器12处理的数据以及用于显示可视化的用户界面。该显示单元15可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。
网络端口16,用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术,如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。
图8仅示出了具有组件11-16以及数据管理程序01的电子设备,本领域技术人员可以理解的是,图8示出的结构并不构成对电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据管理方法,其特征在于,应用于代理服务器,包括:
接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;
当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;
若是,则根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端。
2.根据权利要求1所述数据管理方法,其特征在于,若所述下载节点异常,则还包括:
根据所述数据查询请求从与所述客户端不同机房的存储集群中读取响应数据,并将所述响应数据返回至所述客户端。
3.根据权利要求1所述数据管理方法,其特征在于,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中包括:
确定自身在所述第一机房中对应的第一存储节点和在所述第二机房中对应的第二存储节点;
将所述数据上报任务对应的待存储数据存储至所述第一存储节点和所述第二存储节点中。
4.根据权利要求1所述数据管理方法,其特征在于,还包括:
检测自身在所述第一机房中对应的第一存储节点和在所述第二机房中对应的第二存储节点;
当所述第一存储节点存在异常时,向管理终端发送异常信息。
5.根据权利要求4所述数据管理方法,其特征在于,还包括:
当所述第一存储节点恢复正常后,将所述第二存储节点中的数据信息同步至所述第一存储节点。
6.根据权利要求1-5任一项所述数据管理方法,其特征在于,所述存储集群包括redis集群。
7.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的数据管理程序,所述数据管理程序被所述处理器执行时实现:接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;若是,则根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端。
8.根据权利要求7所述电子设备,其特征在于,所述数据管理程序被所述处理器执行时还实现:根据所述数据查询请求从与所述客户端不同机房的存储集群中读取响应数据,并将所述响应数据返回至所述客户端。
9.一种数据管理系统,其特征在于,应用于代理服务器,包括:
存储模块,用于接收到数据上报任务时,将所述数据上报任务对应的待存储数据存储至第一机房和第二机房的存储集群中;
确定模块,用于当接收到客户端的数据查询请求时,根据所述数据查询请求在与所述客户端同机房的存储集群中确定下载节点,并判断所述下载节点是否正常;
第一响应模块,用于当所述下载节点正常时,根据所述数据查询请求从所述下载节点中读取响应数据,并将所述响应数据返回至所述客户端。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据管理程序,所述数据管理程序被处理器执行时实现如权利要求1至6任一项所述数据管理方法的步骤。
CN201811445785.8A 2018-11-29 2018-11-29 一种数据管理方法、系统及电子设备和存储介质 Pending CN109600430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811445785.8A CN109600430A (zh) 2018-11-29 2018-11-29 一种数据管理方法、系统及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811445785.8A CN109600430A (zh) 2018-11-29 2018-11-29 一种数据管理方法、系统及电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN109600430A true CN109600430A (zh) 2019-04-09

Family

ID=65960599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811445785.8A Pending CN109600430A (zh) 2018-11-29 2018-11-29 一种数据管理方法、系统及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN109600430A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505277A (zh) * 2019-07-18 2019-11-26 北京奇艺世纪科技有限公司 一种数据缓存方法、装置及客户端
CN110661869A (zh) * 2019-09-26 2020-01-07 苏州浪潮智能科技有限公司 一种节点上线方法、系统、装置、设备及计算机存储介质
CN110727639A (zh) * 2019-10-08 2020-01-24 深圳市网心科技有限公司 碎片数据读取方法、电子设备、系统及介质
CN112130758A (zh) * 2020-09-04 2020-12-25 苏州浪潮智能科技有限公司 一种数据读请求的处理方法、系统、电子设备及存储介质
CN113238893A (zh) * 2021-05-11 2021-08-10 鸬鹚科技(深圳)有限公司 多数据中心的容灾系统、方法、计算机设备及介质
CN115174364A (zh) * 2022-06-30 2022-10-11 济南浪潮数据技术有限公司 一种容灾场景下的数据还原方法、装置以及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923497A (zh) * 2009-06-11 2010-12-22 升东网络科技发展(上海)有限公司 企业级数据库备份系统及方法
WO2014032532A1 (zh) * 2012-09-03 2014-03-06 中兴通讯股份有限公司 一种ims网络中的enum-dns容灾方法及系统
CN105207809A (zh) * 2015-08-25 2015-12-30 广州华多网络科技有限公司 一种数据处理方法、服务器、客户端和系统
CN106341454A (zh) * 2016-08-23 2017-01-18 世纪龙信息网络有限责任公司 跨机房多活分布式数据库管理系统和方法
CN108415792A (zh) * 2018-01-15 2018-08-17 阿里巴巴集团控股有限公司 容灾系统、方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923497A (zh) * 2009-06-11 2010-12-22 升东网络科技发展(上海)有限公司 企业级数据库备份系统及方法
WO2014032532A1 (zh) * 2012-09-03 2014-03-06 中兴通讯股份有限公司 一种ims网络中的enum-dns容灾方法及系统
CN105207809A (zh) * 2015-08-25 2015-12-30 广州华多网络科技有限公司 一种数据处理方法、服务器、客户端和系统
CN106341454A (zh) * 2016-08-23 2017-01-18 世纪龙信息网络有限责任公司 跨机房多活分布式数据库管理系统和方法
CN108415792A (zh) * 2018-01-15 2018-08-17 阿里巴巴集团控股有限公司 容灾系统、方法、装置及设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505277A (zh) * 2019-07-18 2019-11-26 北京奇艺世纪科技有限公司 一种数据缓存方法、装置及客户端
CN110661869A (zh) * 2019-09-26 2020-01-07 苏州浪潮智能科技有限公司 一种节点上线方法、系统、装置、设备及计算机存储介质
CN110727639A (zh) * 2019-10-08 2020-01-24 深圳市网心科技有限公司 碎片数据读取方法、电子设备、系统及介质
CN110727639B (zh) * 2019-10-08 2023-09-19 深圳市网心科技有限公司 碎片数据读取方法、电子设备、系统及介质
CN112130758A (zh) * 2020-09-04 2020-12-25 苏州浪潮智能科技有限公司 一种数据读请求的处理方法、系统、电子设备及存储介质
CN112130758B (zh) * 2020-09-04 2023-01-10 苏州浪潮智能科技有限公司 一种数据读请求的处理方法、系统、电子设备及存储介质
CN113238893A (zh) * 2021-05-11 2021-08-10 鸬鹚科技(深圳)有限公司 多数据中心的容灾系统、方法、计算机设备及介质
CN115174364A (zh) * 2022-06-30 2022-10-11 济南浪潮数据技术有限公司 一种容灾场景下的数据还原方法、装置以及介质

Similar Documents

Publication Publication Date Title
CN109600430A (zh) 一种数据管理方法、系统及电子设备和存储介质
US9684450B2 (en) Profile-based lifecycle management for data storage servers
US11055273B1 (en) Software container event monitoring systems
CN111800462B (zh) 微服务实例处理方法、装置、计算机设备及存储介质
CN109062512A (zh) 一种分布式存储集群、数据读写方法、系统及相关装置
CN109218100A (zh) 分布式对象存储集群及其请求响应方法、系统和存储介质
US9280370B2 (en) System structure management device, system structure management method, and program
CN111694646A (zh) 资源调度方法、装置、电子设备及计算机可读存储介质
CN109634915A (zh) 文件部署方法、云服务器、系统及存储介质
CN110266505A (zh) 一种管理会话群的方法与设备
CN103412822A (zh) 操作非易失性内存和数据操作的方法和相关装置
WO2020133995A1 (zh) 副本部署方法、云服务器及存储介质
CN110493357A (zh) 一种资源部署方法、系统、装置及计算机存储介质
CN112328448A (zh) 基于Zookeeper的监控方法、监控装置、设备及存储介质
CN111770002A (zh) 测试数据转发控制方法、装置、可读存储介质和电子设备
CN105308553A (zh) 动态提供存储
CN110290399A (zh) 一种数据分发方法、系统、装置及计算机可读存储介质
CN109891849A (zh) 高度可用且可靠的秘密分发基础设施
CN104063301A (zh) 监控方法和装置
CN110109765A (zh) 存储装置识别方法、电子设备、系统及介质
CN105808374A (zh) 一种快照处理方法及相关设备
CN110457925A (zh) 内外部存储中应用数据隔离方法、装置、终端及存储介质
CN109739738A (zh) 基于html5的事件日志管理方法、系统及相关装置
CN109857579A (zh) 一种数据处理方法及相关装置
CN115004662A (zh) 数据同步方法、装置、数据存储系统及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409

RJ01 Rejection of invention patent application after publication