CN106656522A - 跨数据中心的数据计算方法及系统 - Google Patents

跨数据中心的数据计算方法及系统 Download PDF

Info

Publication number
CN106656522A
CN106656522A CN201510711677.0A CN201510711677A CN106656522A CN 106656522 A CN106656522 A CN 106656522A CN 201510711677 A CN201510711677 A CN 201510711677A CN 106656522 A CN106656522 A CN 106656522A
Authority
CN
China
Prior art keywords
statistics
cluster
statistical
shared
district
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510711677.0A
Other languages
English (en)
Inventor
王娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201510711677.0A priority Critical patent/CN106656522A/zh
Publication of CN106656522A publication Critical patent/CN106656522A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/14Charging, metering or billing arrangements for data wireline or wireless communications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种跨数据中心的数据计算方法及系统,所述方法包括:共享集群接收按照预设发送策略发送的统计信息;所述统计信息是基于至少两个数据中心访问信息系统形成的操作记录形成的;接收统计服务器发送的统计请求;根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果;将所述统计结果发送给统计服务器。

Description

跨数据中心的数据计算方法及系统
技术领域
本发明涉及信息处理技术领域,尤其涉及一种跨数据中心的数据计算方法及系统。
背景技术
云存储系统需要记录某个时间点上每个用户的实际使用容量和配额容量,对用户的存储空间的配额进行检查,保证使用容量达到配额后不能继续占用更多存储空间。如当已使用空间超过配额容量时,系统应该禁止用户执行创建操作。当用户删除部分内容后,使用空间小于配额容量时,系统应该恢复用户执行创建操作。
而云存储系统分布在多个数据中心中,同一用户的不同请求经过不同的接入节点连入云存储系统。在付费的云存储系统中,需要统计每一用户的操作记录,根据操作记录进行收费。在现有技术中在进行操作记录的统计时,采用集中的单点设备实时进行统计,这种方式的问题在于会因为单点设备的设备能力导致统计瓶颈,造成延时大,若该单点设备出现故障会导致统计结果需要重新开始计算,故统计成本很大。
发明内容
有鉴于此,本发明实施例期望提供一种跨数据中心的数据计算方法及系统,至少部分解决信息统计
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例第一方面提供一种跨数据中心的数据计算方法,所述方法包括:
共享集群接收按照预设发送策略发送的统计信息;所述统计信息是基于至少两个数据中心访问信息系统形成的操作记录形成的;
接收统计服务器发送的统计请求;
根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果;
将所述统计结果发送给统计服务器。
基于上述方案,所述共享集群包括区域共享集群;
所述统计服务器包括区域统计服务器;
所述共享集群接收按照预设发送策略发送的统计信息,包括:所述区域共享集群从所述接入节点接收操作记录;
所述接收统计服务器发送的统计请求,包括:接收区域统计发送的区域统计请求;
所述根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果,包括:根据所述区域统计请求,统计存储在所述区域共享集群内的操作记录,形成区域统计结果;
所述将所述统计结果发送给统计服务器,包括:将所述区域统计结果发送给区域统计服务器。
基于上述方案,所述共享集群还包括系统共享集群;
所述统计服务器还包括系统统计服务器;
所述共享集群接收按照预设发送策略发送的统计信息,还包括:
所述系统共享集群接收所述区域共享集群形成区域统计结果;
所述接收统计服务器发送的统计请求,包括:
所述系统共享集群接收所述系统统计服务器发送的系统统计请求;
所述根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果,包括:
所述系统共享集群根据所述系统统计请求,对所述区域统计结果进行统计处理形成系统统计结果。
基于上述方案,所述方法还包括:
所述区域共享集群对所述操作记录进行汇总,形成区域汇总文件;所述区域汇总文件用于区域级备份;
所述系统共享集群对所述区域汇总文件进行汇总,形成系统汇总文件;所述系统汇总文件用于系统级备份。
对所述统计信息进行汇总,形成汇总文件;其中,所述汇总文件能够用于备份所述统计信息。
基于上述方案,所述方法还包括:
在形成所述区域统计结果时,所述区域共享集群还生成区域成功统计记录信息;所述区域成功统计记录信息用于指示所述区域共享集群已成功统计的操作记录;
在形成所述系统统计结果时,所述系统共享集群还生成系统成功统计记录信息;所述系统级成功统计信息用于指示所述系统共享集群已成功统计的区域级统计结果。
本发明实施例第二方面提供一种跨数据中心的数据计算系统,所述系统包括:
共享集群,用于接收按照预设发送策略发送的统计信息;所述统计信息是基于至少两个数据中心访问信息系统形成的操作记录形成的;
统计服务器,用于向所述共享集群发送的统计请求;
所述共享集群,还用于根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果;及将所述统计结果发送给统计服务器。
基于上述方案,所述共享集群包括区域共享集群;
所述统计服务器包括区域统计服务器;
所述区域共享集群,用于从所述接入节点接收操作记录;接收区域统计发送的区域统计请求;根据所述区域统计请求,统计存储在所述区域共享集群内的操作记录,形成区域统计结果;及将所述区域统计结果发送给区域统计服务器。
基于上述方案,所述共享集群还包括系统共享集群;
所述统计服务器还包括系统统计服务器;
所述系统共享集群,用于接收所述区域共享集群形成区域统计结果;接收所述系统统计服务器发送的系统统计请求;根据所述系统统计请求,对所述区域统计结果进行统计处理形成系统统计结果。
基于上述方案,所述区域共享集群,还用于对所述操作记录进行汇总,形成区域汇总文件;所述区域汇总文件用于区域级备份;
所述系统共享集群,还用于对所述区域汇总文件进行汇总,形成系统汇总文件;所述系统汇总文件用于系统级备份。
基于上述方案,所述区域共享集群,还用于在形成所述区域统计结果时,还生成区域成功统计记录信息;所述区域成功统计记录信息用于指示所述区域共享集群已成功统计的操作记录;
所述系统共享集群,还用在形成所述系统统计结果时,还生成系统成功统计记录信息;所述系统级成功统计信息用于指示所述系统共享集群已成功统
本发明实施例提供一种跨数据中心的数据计算方法及系统,采用共享集群对的基统计信息进行统计,这样就实现了采用多个共享集群中的设备来进行信息统计,避免了单一设备统计的出现的效率低的现象。与此同时,采用共享集群来统计数据,还能避免单一设备统计,设备故障导致的所有统计结果均丢失,需要从头开始统计的问题,且通过统计服务器可简便的控制共享集群的信息统计。
附图说明
图1为本发明实施例提供的第一种跨数据中心的数据计算方法的流程示意图;
图2为本发明实施例提供的第二种跨数据中心的数据计算方法的流程示意图;
图3为本发明实施例提供的第三种跨数据中心的数据计算方法的流程示意图;
图4为本发明实施例提供的第四种跨数据中心的数据计算方法的流程示意图;
图5为本发明实施例提供的第一种跨数据中心的数据计算系统的结构示意图;
图6为本发明实施例提供的第二种跨数据中心的数据计算系统的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示,本实施例提供一种跨数据中心的数据计算方法,所述方法包括:
步骤S110:共享集群接收按照预设发送策略发送的统计信息;所述统计信息是基于至少两个数据中心访问信息系统形成的操作记录形成的;
步骤S120:接收统计服务器发送的统计请求;
步骤S130:根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果;
步骤S140:将所述统计结果发送给统计服务器。
本实施例提供的跨数据中心的数据计算方法可应用于共享集群中,例如用来对云存储系统的用户操作记录的统计。本实施例所述的共享集群可包括一台或一台以上的处理设备。
在步骤S110中所述共享集群接收按照预设发送策略发送的统计信息。这里的所述统计信息可为操作记录。所述操作记录可为最原始的统计信息。所述统计信息还可包括前一级共享集群形成的统计结果。该操作记录可为原始记录在云存储系统的接入设备中的操作记录。这里的预设发送策略可包括按预设时间间隔发送的操作记录,也可以按照当所述操作记录的更新量达到预设数据量时操作记录。
在步骤S120所述共享集群将会接收统计服务器发送的统计请求,在步骤S130中将在接收到统计请求之后,统计所述操作记录,形成统计结果;并在步骤S140中将统计结果发送给服务器。在本实施例中所述统计结果可包括用户在当前统计时间端内使用的存储空间容量、访问请求数以及数据交互流量等数据。
首先在本实施例中,所述统计服务器不直接参数统计,而是由存储操作记录的一个共享集群进行统计。共享集群内包括多个设备,多个设备同时参与统计,可以减少延时。由于共享集群内多个设备同时出现故障的概率低,从而相对于有统计服务器单独统计,会因为故障导致的需要重头重新统计的概率低,从而提高统计的安全性。
作为本实施例的进一步改进,所述共享集群包括区域共享集群;所述统计服务器包括区域统计服务器;
所述步骤S110可包括:所述区域共享集群按照所述第一预设时间间隔从所述接入节点接收操作记录;
所述步骤S120可包括:接收区域统计发送的区域统计请求;
所述步骤S130可包括:根据所述区域统计请求,统计存储在所述区域共享集群内的操作记录,形成区域统计结果;
所述步骤S140可包括:将所述区域统计结果发送给区域统计服务器。
在本实施例中所述接入设备会将本地数据库中存储所述操作记录。按照所述第一预设时间间隔上报所述区域共享集群。本实施例所述第一时间间隔可为预先设置的时间间隔。任意两个所述第一预设时间间隔可都相等,这样的话,所述区域共享集群将按周期接收所述操作记录。但是,两个所述第一预设时间间隔也可以不相等。例如,晚间用户访问云存储系统的访问频次相对于白天的访问频次叫低。为了实现更好的统计,在晚间的所述第一时间间隔可以大于在白天的所述第一时间间隔。
所述区域共享集群接收到所述统计记录之后,将存储所述统计记录。这样的话,即便区域共享集群出现故障,丢失部分数据,还可以从接入设备中重新提取,从而保证数据的高安全性。
所述区域共享集群接收区域统计服务器发送的统计请求,这样区域共享集群就分区域进行了统计。显然一个云存储系统中可能存在多个云存储区域;每个云存储区域都可对应设置一个区域共享集群,这样的话,即便一个区域共享集群出现故障,导致该区域内的统计结果不能及时提供,也不会干扰到其他区域内的统计结果,从而重新统计的数据量小,对于整个系统内整个统计结果的处理而言,依然能够减少延时,保证统计结果的安全性。
作为本实施例的进一步改进,所述共享集群还包括系统共享集群;所述统计服务器还包括系统统计服务器。
所述步骤S110还包括:所述系统共享集群接收所述区域共享集群形成区域统计结果。这里的区域统计结果即为前述所述的统计信息。
所述步骤S120还包括:所述系统共享集群接收所述系统统计服务器发送的系统统计请求;
所述步骤S130可包括:所述系统共享集群根据所述系统统计请求,统计存储在所述系统共享集群内的操作记录,形成系统统计结果。
在本实施例中所述统计服务器也分为两级,一级为区域统计服务器,另一级为系统统计服务器。所述共享集群也分为两级,一级为区域共性集群,另一级为系统共享集群。在本实施例的框架内,所述共享集群不局限于两级,还可以分为三级、四级或四级以上的。所述统计服务器也可以分为三级、四级或四级以上的统计服务器。
在本实施例中所述第二时间间隔可以等于所述第一时间间隔,也可以不等于所述第一时间间隔。当然任意两个所述第一时间间隔可以相等,也可以不相等。在本实施例中所述系统共享集群将从统计服务器接收已成功统计的操作记录。本实施例中所述系统共享集群接收区域共享集群统计形成的区域统计结果,对各个区域的区域统计结果进行统计处理,得到系统统计结果。在本实施例中所述系统共享集群可以直接从所述区域共享集群接收所述区域统计结果,也可以通过所述区域统计服务器来接收所述区域统计结果。
如图2所示,在本实施例中所述方法还包括:
步骤S131:所述区域共享集群对所述操作记录进行汇总,形成区域汇总文件;所述区域汇总文件用于区域级备份;
所述系统共享集群对所述区域汇总文件进行汇总,形成系统汇总文件;所述系统汇总文件用于系统级备份。
多个操作记录汇总文件可形成区域汇总文集。所述区域汇总文件还将作为下一级共享集群进行汇总的统计信息。所述系统共享集群在接收所述区域统计结果的同时,可一同从区域共享集群或区域统计服务器接收所述区域汇总文件,并对所述区域汇总文件进行汇总形成系统汇总文件。本实施例所述汇总文件是进行了信息汇总,排除了错误统计信息和冗余统计信息,进行了压缩等处理的可用于对统计信息进行备份的信息。在本实施例中,通过所述汇总文件的生成和传输,可以在共享集群和统计服务器内进行统计信息的备份,这样即便共享集群和/或统计服务器中的部分设备出现故障,也不会导致所有数据的丢失,从而增加了数据的安全性。
在具体的实现过程中,所述汇总文件可将与统计结果一通发送给统计服务器。
作为本实施例的进一步改进,如图3所示,所述方法还包括:
步骤S132:
在形成所述区域统计结果时,所述区域共享集群还生成区域成功统计记录信息;所述区域成功统计记录信息用于指示所述区域共享集群已成功统计的操作记录;
在形成所述系统统计结果时,所述系统共享集群还生成系统成功统计记录信息;所述系统级成功统计信息用于指示所述系统共享集群已成功统计的区域级统计结果。
在本实施例还将生成功统计记录信息,并按区域和系统进行生成成功统计记录信息,哪些统计信息还进一步待统计。若设备出现故障,在进行故障恢复时,可以根据所述成功统计记录信息,可以快速确定从哪开始进行统计。
例如,所述区域共享集群和所述系统集群按照周期进行统计,则所述成功统计记录信息可记录目前已经完成截止到哪个时间周期的成功统计。
在本实施例中还可以将所述成功统计记录信息由共享集群发送给统计服务器,方便统计服务器备份及后续查询。
以下结合人任意实施例提供一个具体示例:
如图4所示,在本示例中,假设有多个数据中心D1,D2…Dm;数据中心分布在不同的城市或者洲际,数据中心之间通过广域网通信。数据中心D1中有X个接入节点n1,n2,…nx;其中所述X为不小于2的整数;所述x为不大于所述X的正整数。
同一个用户的不同请求可能发给不同数据中心的不同接入节点进行处理。假设在2011年01月12日10点26分期间,接入节点1收到了大量的访问请求,其中包括用户u1发送过来的创建10MB的对象/b1/o1请求(PUT/b1/o1)、以及用户u2发送过来的创建20MB的对象/b2/o2请求(PUT/b2/o2)。在接入节点1成功处理完这两个访问请求后,其会将操作记录写到本地的操作记录文件中,每个接入节点上的操作记录文件每分钟产生一个,如上述两个请求是接入节点1在2011年01月12日10点26分期间处理完的,则产生的操作记录文件名为n1-20110112-10-26,该文件中记录格式为<操作记录时间戳ts,操作类型type(上传1、下载2、删除3等),操作是否处理成功bool(成功1、失败0),所属数据中心名Dname,用户名User,桶名Bucket,对象名Obj,大小size>,对于上述两个请求其在操作记录文件n1-20110112-10-26中的记录条目为<20110112-10:26:36;1;1;D1;u1;b1;o1;10><20110112-10:26:46;1;1;D1;u2;b2;o2;20>。
每隔一定时间周期(例如,5分钟),会在区域共享集群中创建新目录,将本数据中心的接入节点发送过来的一批记录文件迁移到新目录下。如接入节点1存放在其本地的一批记录文件n1-20110112-10-25、n1-20110112-10-26、n1-20110112-10-27、n1-20110112-10-28、n1-20110112-10-29会存放在区域共享集群的输入文件集合的/R-in/201101121025目录下。
同理接入节点x的同批记录文件也会存放在/R-in/201101121025目录下。接入节点x的n1-20110112-10-30、n1-20110112-10-31、n1-20110112-10-32、n1-20110112-10-33、n1-20110112-10-34会存放在区域共享集群的输入文件集合的/R-in/201101121030目录下。当接入节点本地的操作记录文件成功迁移后,接入节点即可删除对应的本地文件。
每隔一定时间周期(例如,5分钟),区域统计服务器会向区域共享集群自动发起统计计算请求,然后区域共享集群会启动计算模块将同一时间周期内的该数据中心内的所有接入节点的一批操作记录文件进行计算统计。如计算模块将本数据中心的输入文件集合的201101121025目录下的所有文件进行计算(如n1-20110112-10-25、n1-20110112-10-26、n1-20110112-10-27、n1-20110112-10-28、n1-20110112-10-29、…、nx-20110112-10-25、…)即可得到本数据中心在2011年01月12日10点25分至29分这段时间周期内用户统计表数据T1(如这段时间周期内用户在本数据中心的已使用空间UserSpace1、用户操作请求数UserReq1、用户操作流量UserTraffic1)、汇总输出文件/R-out/201101121025、以及更新最近统计成功目录S1(用以记录一下该时间周期内数据已成功统计,如last_succeed_dir1:201101121025)。这里的用户统计表数据T1即对应于者前述的区域统计结果。这里的最仅统计成功目录S1即对应着前述实施例中的所述成功统计记录信息。这里的汇总输出文件即为前述实施例中所述的汇总文件。
区域统计服务器将该数据中心内已成功统计的汇总输出文件/R-out/201101121025迁移到系统共享集群的输入文件集合中(如数据中心1的区域统计服务器1将该数据中心D1内已成功统计的汇总输出文件/R-out/201101121025迁移到系统共享集群的输入文件集合形成文件/R-in/201101121025/D1,数据中心m形成文件/R-in/201101121025/Dm)。
每隔一定时间周期(如5分钟),系统统计服务器会向系统共享集群自动发起统计计算请求,然后系统共享集群会启动计算模块将同一时间周期内的所有数据中心的输入文件集合进行计算统计。如计算模块将输入文件集合的201101121025目录下的所有文件进行计算(如文件/R-in/201101121025/D1、…、/R-in/201101121025/Dm)即可得到云存储系统在2011年01月12日10点25分至29分这段时间周期内用户统计表数据T(如这段时间周期内用户在整个云存储系统的已使用空间UserSpace、用户操作请求数UserReq、用户操作流量UserTraffic)、汇总输出文件/R-out/201101121025、以及更新最近统计成功目录S(用以记录一下该时间周期内数据已成功统计,如last_succeed_dir:201101121025)。
通过上述方法即可计算出用户在整个云存储系统中的使用量,对其进行收费。
以下提供一个基于上述实施例中所述的跨数据中心的数据计算方法,提供一种跨数据中心的数据计算系统。
如图5所示,在本实施例中所述跨数据中心的数据计算系统包括:
共享集群110,用于接收按照预设发送策略发送的统计信息;所述统计信息是基于至少两个数据中心访问信息系统形成的操作记录形成的;
统计服务器120,用于向所述共享集群发送的统计请求;
所述共享集群110,还用于根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果;及将所述统计结果发送给统计服务器。
在本实施例中在进行所述跨数据中心的数据计算系统,可以用于云存储系统中对用户访问的操作记录的统计。在本实施例中采用共享集群来进行信息统计,而共享集群通常至少由两台以上的设备构成,这种采用分布式的集群设备的来进行统计,可以提高统计效率,避免集中统计设备故障导致的统计结果全部丢失,同时还提供了统计结果形成的安全性和稳定性。
如图6所示,所述共享集群110包括区域共享集群111;所述统计服务器120包括区域统计服务器121;
所述区域共享集群111,用于从所述接入节点接收操作记录;接收区域统计发送的区域统计请求;根据所述区域统计请求,统计存储在所述区域共享集群内的操作记录,形成区域统计结果;及将所述区域统计结果发送给区域统计服务器。
在具体的应用过程中,可以将数据系统划分为多个区域,多个区域构成了所述数据系统。在本实施例中可以对应每一个所述区域,设置一个区域共享集群和一个区域统计服务器。该区域共享集群和区域统计服务器,用于负责该区域内统计信息的统计处理。
在本实施例中所述共享集群包括区域共享集群111,将接收接入设备发送的操作记录,对操作记录进行统计,形成区域统计结果。所述统计服务器121将根据需求,向区域共享集群111发送统计请求,并接收区域共享集群发送的区域统计结果。这样的话,在本实施例中在进行信息统计时,将会分区域进行统计,显然有多个区域集群同时进行信息统计,大大的提升了统计效率,也不会因为一个设备的故障导致统计工作的中止及已统计结果的全部丢失,显然提升了统计的安全性和稳定性。
如图6所示,所述共享集群还包括系统共享集群112;所述统计服务器120还包括系统统计服务器122;
所述系统共享集群112,用于接收所述区域共享集群形成区域统计结果;接收所述系统统计服务器122发送的系统统计请求;根据所述系统统计请求,对所述区域统计结果进行统计处理形成系统统计结果。
在本实施例中所述系统还引入例系统共享集群112,该系统共享集群112为区域共享集群111的上一层共享集群,负责对整个数据系统进行统计。在本实施例中所述系统共享集群与所述区域统计服务器121相连,还可以直接与所述区域共享集群111相连。所述系统共享集群在区域共享集群111的区域统计结果之上,进行基于系统的统计,形成系统统计结果。在本实施例中还引入控制系统共享集群112进行统计的系统统计服务器122。该系统统计服务器112可用于向系统共享集群112发送系统统计请求,并接收系统共享集群112发送的系统统计结果。
显然本实施例中所述的跨数据中心的数据计算系统,至少分为两级进行统计,这样即便有系统统计结果出现丢失,还可以根据区域统计结果快速计算出系统统计结果,而不用重头开始重新统计每一个操作记录,显然提升了故障恢复能力。
作为本实施例的进一步改进,所述共享集群110,所述区域共享集群,还用于对所述操作记录进行汇总,形成区域汇总文件;所述区域汇总文件用于区域级备份;
所述系统共享集群,还用于对所述区域汇总文件进行汇总,形成系统汇总文件;所述系统汇总文件用于系统级备份。
这样区域汇总文件和系统汇总文件至少形成两级的文件汇总,这样就能够实现多级备份,提高数据安全性。当然所述区域汇总文件可存储区域统计服务器;所述系统汇总文件可存储与系统统计服务器。
此外,所述区域共享集群,还用于在形成所述区域统计结果时,还生成区域成功统计记录信息;所述区域成功统计记录信息用于指示所述区域共享集群已成功统计的操作记录;
所述系统共享集群,还用在形成所述系统统计结果时,还生成系统成功统计记录信息;所述系统级成功统计信息用于指示所述系统共享集群已成功统。。当然这里的共享集群同样可包括区域共享集群和系统共享集群;区域共享集群和系统共享集群分别根据自己的统计处理,形成所述已成功统计记录信息。这样,后续如出现设备故障等问题,可以根据区域共享集群和系统共享集群各自的成功统计记录信息,确定需要从哪些数据开始进行处理,尽可能的减少数据恢复的统计量。
作为本实施例的进一步改进,如图6所示,所述系统还包括:
接入节点130,用于在响应完用户请求之后,根据响应结果形成的操作记录;所述操作记录为所述统计信息之一。
所述接入节点可为各种能够电子设备,如云存储系统的云存储设备,能够用于接收用户的访问请求,响应访问请求,根据响应结果来形成所述操作记录。所述操作记录可包括在一定时间内的访问请求数量、占用的存储空间及与用户交互的数据流量等信息。
接入节点在处理完用户访问请求后,会先将操作记录写到本地的操作记录文件中;在本地存储到一定数量后一起发送给区域共享集群,相比于每处理一个请求即在区域共享集群中记录一次,大大提高写效率、减少网络开销。
将每个接入节点的操作记录文件迁移到在区域共享集群中集中存储、计算、并存放产生输出统计表,便于使用区域共享集群的存储资源的数据冗余机制保证数据的冗余存放不丢失、使用共享集群的计算模块对整个数据中心进行统计计算;相比存储操作记录文件和输出统计表在接入节点或区域统计服务器上提高了计费的正确性,因为接入节点或区域统计服务器的单点故障会导致数据的丢失、进而导致计费的不准确。
区域统计服务器每隔一定时间周期向区域共享集群自动发起统计计算请求,由区域共享集群的计算模块对存储在该集群上的文件进行统计。区域统计服务器并不进行数据的存储和计算,避免区域统计服务器的单点故障会导致数据的丢失、以及单台机器计算效率低的问题。采用这种结构,即使该区域统计服务器发生故障,再加入新的区域统计服务器对区域共享集群重新发起统计计算请求即可。
在区域共享集群中形成成功统计记录信息,便于在区域统计服务器发生故障过段时间重启后、或者新的区域统计服务器加入后,向区域共享集群再次自动发起统计计算请求时,区域共享集群了解到目前的统计进展,便于从最近统计成周期的下一个时间周期开始进行统计。采用这种结构避免数据的重复统计,或者中途统计的丢失。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种跨数据中心的数据计算方法,其特征在于,所述方法包括:
共享集群接收按照预设发送策略发送的统计信息,所述统计信息是基于至少两个数据中心访问信息系统形成的操作记录形成的;
接收统计服务器发送的统计请求;
根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果;
将所述统计结果发送给统计服务器。
2.根据权利要求1所述的方法,其特征在于,
所述共享集群包括区域共享集群;
所述统计服务器包括区域统计服务器;
所述共享集群接收按照预设发送策略发送的统计信息,包括:所述区域共享集群从所述接入节点接收操作记录;
所述接收统计服务器发送的统计请求,包括:接收区域统计发送的区域统计请求;
所述根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果,包括:根据所述区域统计请求,统计存储在所述区域共享集群内的操作记录,形成区域统计结果;
所述将所述统计结果发送给统计服务器,包括:将所述区域统计结果发送给区域统计服务器。
3.根据权利要求2所述的方法,其特征在于,
所述共享集群还包括系统共享集群;
所述统计服务器还包括系统统计服务器;
所述共享集群接收按照预设发送策略发送的统计信息,还包括:
所述系统共享集群接收所述区域共享集群形成区域统计结果;
所述接收统计服务器发送的统计请求,包括:
所述系统共享集群接收所述系统统计服务器发送的系统统计请求;
所述根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果,包括:
所述系统共享集群根据所述系统统计请求,对所述区域统计结果进行统计处理形成系统统计结果。
4.根据权利要求3所述的方法,其特征在于,
所述方法还包括:
所述区域共享集群对所述操作记录进行汇总,形成区域汇总文件;所述区域汇总文件用于区域级备份;
所述系统共享集群对所述区域汇总文件进行汇总,形成系统汇总文件;所述系统汇总文件用于系统级备份;
对所述统计信息进行汇总,形成汇总文件;其中,所述汇总文件能够用于备份所述统计信息。
5.根据权利要求3或4所述的方法,其特征在于,
所述方法还包括:
在形成所述区域统计结果时,所述区域共享集群还生成区域成功统计记录信息;所述区域成功统计记录信息用于指示所述区域共享集群已成功统计的操作记录;
在形成所述系统统计结果时,所述系统共享集群还生成系统成功统计记录信息;所述系统级成功统计信息用于指示所述系统共享集群已成功统计的区域级统计结果。
6.一种跨数据中心的数据计算系统,其特征在于,所述系统包括:
共享集群,用于接收按照预设发送策略发送的统计信息;所述统计信息是基于至少两个数据中心访问信息系统形成的操作记录形成的;
统计服务器,用于向所述共享集群发送的统计请求;
所述共享集群,还用于根据所述统计请求,统计存储在所述共享集群内的统计信息,形成统计结果;及将所述统计结果发送给统计服务器。
7.根据权利要求6所述的系统,其特征在于,
所述共享集群包括区域共享集群;
所述统计服务器包括区域统计服务器;
所述区域共享集群,用于从所述接入节点接收操作记录;接收区域统计发送的区域统计请求;根据所述区域统计请求,统计存储在所述区域共享集群内的操作记录,形成区域统计结果;及将所述区域统计结果发送给区域统计服务器。
8.根据权利要求7所述的系统,其特征在于,
所述共享集群还包括系统共享集群;
所述统计服务器还包括系统统计服务器;
所述系统共享集群,用于接收所述区域共享集群形成区域统计结果;接收所述系统统计服务器发送的系统统计请求;根据所述系统统计请求,对所述区域统计结果进行统计处理形成系统统计结果。
9.根据权利要求8所述的系统,其特征在于,
所述区域共享集群,还用于对所述操作记录进行汇总,形成区域汇总文件;所述区域汇总文件用于区域级备份;
所述系统共享集群,还用于对所述区域汇总文件进行汇总,形成系统汇总文件;所述系统汇总文件用于系统级备份。
10.根据权利要求8或9所述的系统,其特征在于,
所述区域共享集群,还用于在形成所述区域统计结果时,还生成区域成功统计记录信息;所述区域成功统计记录信息用于指示所述区域共享集群已成功统计的操作记录;
所述系统共享集群,还用在形成所述系统统计结果时,还生成系统成功统计记录信息;所述系统级成功统计信息用于指示所述系统共享集群已成功统。
CN201510711677.0A 2015-10-28 2015-10-28 跨数据中心的数据计算方法及系统 Pending CN106656522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510711677.0A CN106656522A (zh) 2015-10-28 2015-10-28 跨数据中心的数据计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510711677.0A CN106656522A (zh) 2015-10-28 2015-10-28 跨数据中心的数据计算方法及系统

Publications (1)

Publication Number Publication Date
CN106656522A true CN106656522A (zh) 2017-05-10

Family

ID=58815959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510711677.0A Pending CN106656522A (zh) 2015-10-28 2015-10-28 跨数据中心的数据计算方法及系统

Country Status (1)

Country Link
CN (1) CN106656522A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480229A (zh) * 2017-08-03 2017-12-15 太原学院 用于对象检索的分布式计算机数据库系统及其检索方法
CN109886795A (zh) * 2019-01-15 2019-06-14 网联清算有限公司 跨机房分布式对账处理方法及装置
CN109934712A (zh) * 2019-01-30 2019-06-25 网联清算有限公司 应用于分布式系统的对账方法、对账装置和电子设备
CN110865985A (zh) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 数据同步方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024005A (zh) * 2009-09-22 2011-04-20 时文 信息项目集合目录的发布系统和方法
CN102325196A (zh) * 2011-10-27 2012-01-18 上海文广互动电视有限公司 分布式集群存储系统
CN102750326A (zh) * 2012-05-30 2012-10-24 浪潮电子信息产业股份有限公司 一种基于精简策略的集群系统的日志管理优化方法
CN103209087A (zh) * 2012-01-17 2013-07-17 深圳市腾讯计算机系统有限公司 分布式日志统计处理方法和系统
CN103337007A (zh) * 2013-06-08 2013-10-02 北京紫光百会科技有限公司 一种基于云平台的智慧停车管理和服务系统
US20130275543A1 (en) * 2012-04-13 2013-10-17 Citrix System, Inc. Systems and methods for caching snmp data in multi-core and cluster systems
CN103414712A (zh) * 2013-08-05 2013-11-27 深圳市杰云科技有限公司 一种分布式虚拟桌面管理系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024005A (zh) * 2009-09-22 2011-04-20 时文 信息项目集合目录的发布系统和方法
CN102325196A (zh) * 2011-10-27 2012-01-18 上海文广互动电视有限公司 分布式集群存储系统
CN103209087A (zh) * 2012-01-17 2013-07-17 深圳市腾讯计算机系统有限公司 分布式日志统计处理方法和系统
US20130275543A1 (en) * 2012-04-13 2013-10-17 Citrix System, Inc. Systems and methods for caching snmp data in multi-core and cluster systems
CN102750326A (zh) * 2012-05-30 2012-10-24 浪潮电子信息产业股份有限公司 一种基于精简策略的集群系统的日志管理优化方法
CN103337007A (zh) * 2013-06-08 2013-10-02 北京紫光百会科技有限公司 一种基于云平台的智慧停车管理和服务系统
CN103414712A (zh) * 2013-08-05 2013-11-27 深圳市杰云科技有限公司 一种分布式虚拟桌面管理系统和方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480229A (zh) * 2017-08-03 2017-12-15 太原学院 用于对象检索的分布式计算机数据库系统及其检索方法
CN107480229B (zh) * 2017-08-03 2020-10-30 太原学院 用于对象检索的分布式计算机数据库系统及其检索方法
CN110865985A (zh) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 数据同步方法、装置、电子设备和存储介质
CN110865985B (zh) * 2018-08-28 2024-04-16 阿里巴巴新加坡控股有限公司 数据同步方法、装置、电子设备和存储介质
CN109886795A (zh) * 2019-01-15 2019-06-14 网联清算有限公司 跨机房分布式对账处理方法及装置
CN109934712A (zh) * 2019-01-30 2019-06-25 网联清算有限公司 应用于分布式系统的对账方法、对账装置和电子设备
CN109934712B (zh) * 2019-01-30 2022-07-15 网联清算有限公司 应用于分布式系统的对账方法、对账装置和电子设备

Similar Documents

Publication Publication Date Title
CN107169865B (zh) 基于区块链技术的资产数据处理系统
CN110868440B (zh) 区块链公链
EP4071610A1 (en) Transaction processing method, apparatus, and device, and computer storage medium
CN110493148B (zh) 一种区块处理、区块共识和区块同步方法及装置
CN103116661B (zh) 一种数据库的数据处理方法
CN106878473A (zh) 一种消息处理方法、服务器集群及系统
CN103186554B (zh) 分布式数据镜像方法及存储数据节点
CN106656522A (zh) 跨数据中心的数据计算方法及系统
CN107464151B (zh) 高并发业务的订单数据处理方法及装置
CN111338773A (zh) 一种分布式定时任务调度方法、调度系统及服务器集群
CN104008152A (zh) 支持海量数据访问的分布式文件系统的架构方法
CN104750573B (zh) 分布式数据系统数据节点的全局一致性备份和还原方法
CN102170460A (zh) 一种集群存储系统及其数据存储方法
CN108345617A (zh) 一种数据同步方法、装置以及电子设备
CN103634411A (zh) 一种具有状态一致性的市场数据实时广播系统及方法
US11544245B2 (en) Transaction processing method, apparatus, and device and computer storage medium
CN110348826A (zh) 异地多活容灾方法、系统、设备及可读存储介质
CN112699136B (zh) 一种跨链存证方法及相关装置
CN104536852B (zh) 数据恢复方法及装置
CN111813866B (zh) 一种改进的区块链账本同步方法
CN111629022B (zh) 实用性拜占庭容错的节点设置方法
CN106506647A (zh) 一种客户端具有数据备份装置的智慧社区云存储系统
CN108881411A (zh) 一种大规模节点下ctdb集群分组的方法
CN109150593A (zh) 云数据系统中资源的管理方法和装置
CN105812203B (zh) 一种请求消息处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510