CN103118123B - 基于分布式服务器的数据回写方法及系统 - Google Patents

基于分布式服务器的数据回写方法及系统 Download PDF

Info

Publication number
CN103118123B
CN103118123B CN201310056199.5A CN201310056199A CN103118123B CN 103118123 B CN103118123 B CN 103118123B CN 201310056199 A CN201310056199 A CN 201310056199A CN 103118123 B CN103118123 B CN 103118123B
Authority
CN
China
Prior art keywords
write back
back data
server
write
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310056199.5A
Other languages
English (en)
Other versions
CN103118123A (zh
Inventor
曾洪宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Upper Marine Infotech Share Co Ltd Of Interrogating
Original Assignee
Upper Marine Infotech Share Co Ltd Of Interrogating
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Upper Marine Infotech Share Co Ltd Of Interrogating filed Critical Upper Marine Infotech Share Co Ltd Of Interrogating
Priority to CN201310056199.5A priority Critical patent/CN103118123B/zh
Publication of CN103118123A publication Critical patent/CN103118123A/zh
Application granted granted Critical
Publication of CN103118123B publication Critical patent/CN103118123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于计算机网络存储技术领域,提供了一种基于分布式服务器的数据回写方法及系统,所述方法包括步骤有:至少存在一个节点服务器向中控服务器发送数据回写请求;所述节点服务器定时向所述中控服务器发送数据回写参数;所述中控服务器根据节点所述数据回写参数和预定的权重策略,计算所述节点服务器对应的所述数据回写权重;根据所述节点服务器的所述数据回写权重计算结果进行排序,所述中控服务器控制处理所述节点服务器的数据回写请求。借此,本发明采用数据回写权重算法,由分布式架构的中控服务器智能分析各个节点服务器的数据回写操作,以便对数据回写操作进行及时而高效的判断和控制,进而提高了各个节点服务器的数据回写效率。

Description

基于分布式服务器的数据回写方法及系统
技术领域
本发明涉及计算机网络存储技术领域,尤其涉及一种基于分布式服务器的数据回写方法及系统。
背景技术
随着计算机技术、信息技术,尤其是网络技术的飞速发展,数据信息已经成为整个社会最为关键的资源。而基于分布式网络服务公司采集的数据信息越来越多、越来越大,如何能够保证各个服务器快速而又及时地进行相互之间的数据通信,将某一节点服务器(简称节点)采集的数据及时回写到中控服务器(简称中控)的数据库,以便中控进行及时、有效的信息处理,是此类公司急需解决的问题。目前,为了解决多个节点采集数据向中控的数据库进行数据回写,主要采用以下几种方式:
方式一:不加任何控制,节点有数据就向中控的数据库进行回写,这种方式显然很不科学。
方式二:节点设定一个数据回写的数据量阀值,并采用先来先服务的方式,此种方式没有考虑到优先级问题,在实际项目中是一种解决方案,但是显然不甚合理。
方式三:采用逐个节点轮询的方式,但这种方式难以保证及节点服务器回写的优先级,也没有考虑的某一节点如果没有数据需要回写,从而造成整个系统的数据回写吞吐率偏低。
在服务器性能很好的基础上,上述三种方式基本上能够解决分布式服务器之间数据传输的问题。但是,当服务器性能一般或者节点采集的数据非常巨大的时候,上述三种方式就不能解决下述几种场景所出现的问题:
一、当大量节点同时向中控进行数据回写,而此时中控的网络传输已经饱和,无法同时处理如此多的数据回写请求,中控如何有效处理传输过来的数据。
二、多个节点向中控传输数据,有些节点的链路好、传输成功率高;而有些节点的链路不好、传输成功率低;在中控可负载的情况下,如何让各个节点的数据传输效率达到最大。
三、各个节点采集的数据有多有少,链路情况也各不相同;在中控可负载的情况下,如何让各个节点的数据传输效率达到最大。
若节点分布广泛,且采集的任务信息非常多,可想象的是,当中控没有进行数据回写操作控制,大量数据回写到中控的数据库时,中控的数据库将承受非常大的压力,由此可能造成如下问题:
1、多节点回写数据,可能造成某些节点一直未能回写数据,始终处于饥饿状态;
2、某些回写数据量少的节点获得更多的回写次数,造成回写吞吐率的降低;
3、某些回写数据量非常多的节点,一直占据回写较长的时间,使得其他节点长期的等待,得不到回写数据的机会,从而一直处于饥饿状态;
4、中控的数据库一直承受巨大的数据处理压力,严重时造成中控宕机。
综上可知,现有基于分布式服务器的数据回写技术,在实际使用上显然存在不便与缺陷,所以有必要加以改进。
发明内容
针对上述的缺陷,本发明的目的在于提供一种基于分布式服务器的数据回写方法及系统,其采用数据回写权重算法,由分布式架构的中控服务器智能分析各个节点服务器的数据回写操作,以便对数据回写操作进行及时而高效的判断和控制,进而提高了各个节点服务器的数据回写效率。
为了实现上述目的,本发明提供一种基于分布式服务器的数据回写方法,包括步骤有:
至少存在一个节点服务器向中控服务器发送数据回写请求;
所述节点服务器定时向所述中控服务器发送数据回写参数;
所述中控服务器根据所述数据回写参数和预定的权重策略,计算所述节点服务器对应的所述数据回写权重;
根据所述节点服务器的所述数据回写权重计算结果进行排序,所述中控服务器控制处理所述节点服务器的数据回写请求。
根据本发明所述的数据回写方法,所述数据回写参数包括有数据回写等待时间、剩余数据回写量和/或本次数据回写量;
所述权重策略包括:
所述数据回写等待时间越长并且有数据等待回写,则所述数据回写权重越大;
所述剩余数据回写量越多并且有数据等待回写,则所述数据回写权重越大;和/或
所述本次数据回写量越多并且有数据等待回写,则所述数据回写权重越大。
根据本发明所述的数据回写方法,所述数据回写参数还包括有最大容忍等待时间;
所述中控服务器根据所述数据回写参数和预定的权重策略,计算所述节点服务器对应的数据回写权重的步骤之前还包括:
判断所述节点服务器的所述数据回写等待时间是否超过所述最大容忍等待时间并且有数据要进行回写;
若是,则第一时间处理所述节点服务器的所述数据回写请求。
根据本发明所述的数据回写方法,所述数据回写参数还包括有最大容忍数据回写量;
所述中控服务器根据所述数据回写参数和预定的权重策略,计算所述节点服务器对应的数据回写权重的步骤之前还包括:
判断所述节点服务器的所述本次数据回写量是否超过所述最大容忍数据回写量;
若是,则只回写所述最大容忍数据回写量的数据。
根据本发明所述的数据回写方法,所述节点服务器定时向所述中控服务器发送数据回写参数的步骤包括:
所述节点服务器定时向所述中控服务器发送心跳消息,所述心跳消息中包含有所述数据回写参数。
根据本发明所述的数据回写方法,所述数据回写参数包括有链路平均传输时间;
所述权重策略包括:所述链路平均传输时间越短,则所述数据回写权重越大。
本发明还提供一种基于分布式服务器的数据回写系统,包括至少存在一个节点服务器和中控服务器,所述节点服务器包括有:
请求发送模块,用于向中控服务器发送数据回写请求;
参数发送模块,用于定时向所述中控服务器发送数据回写参数;
所述中控服务器包括有:
权重计算模块,用于根据所述数据回写参数和预定的权重策略,计算所述节点服务器对应的数据回写权重;
回写控制模块,用于根据所述节点服务器的所述数据回写权重计算结果进行排序,控制处理所述节点服务器的所述数据回写请求。
根据本发明所述的数据回写系统,所述数据回写参数包括有数据回写等待时间、剩余数据回写量和/或本次数据回写量;
所述权重策略包括:
所述数据回写等待时间越长并且有数据等待回写,则所述数据回写权重越大;
所述剩余数据回写量越多并且有数据等待回写,则所述数据回写权重越大;和/或
所述本次数据回写量越多并且有数据等待回写,则所述数据回写权重越大。
根据本发明所述的数据回写系统,所述数据回写参数还包括有最大容忍等待时间;
所述中控服务器还包括:
第一判断模块,用于判断所述节点服务器的所述数据回写等待时间是否超过所述最大容忍等待时间;
所述回写控制模块,用于若所述数据回写等待时间超过所述最大容忍等待时间并且有数据要进行回写时,第一时间处理所述节点服务器的所述数据回写请求。
根据本发明所述的数据回写系统,所述数据回写参数还包括有最大容忍数据回写量;
所述中控服务器还包括:
第二判断模块,用于判断所述节点服务器的所述本次数据回写量是否超过所述最大容忍数据回写量;
所述回写控制模块,用于若所述本次数据回写量超过所述最大容忍数据回写量时,则只回写所述最大容忍数据回写量的数据。
根据本发明所述的数据回写系统,所述请求发送模块用于定时向所述中控服务器发送心跳消息,所述心跳消息中包含有所述数据回写参数。
根据本发明所述的数据回写系统,所述数据回写参数包括有链路平均传输时间;
所述权重策略包括:所述链路平均传输时间越短,则所述数据回写权重越大。
本发明在节点服务器向中控服务器发送数据回写请求后,节点服务器定时向中控服务器发送数据回写参数,优选的是,节点服务器定时向中控服务器发送中包含有数据回写参数的心跳消息,所述数据回写参数包括数据回写等待时间、剩余数据回写量、本次数据回写量、最大容忍等待时间和/或最大容忍数据回写量、链路平均传输时间等;中控服务器根据数据回写参数和预定权重策略,计算节点服务器对应的数据回写权重;并且中控服务器根据所述数据回写权重,控制处理节点服务器的数据回写请求。借此,本发明采用数据回写权重算法,由分布式架构的中控服务器智能分析各个节点服务器的数据回写操作,以便对数据回写操作进行及时而高效的判断和控制,解决了多节点服务器向中控服务器的数据库进行数据回写时所造成的数据库压力过大的问题,从而提高了各个节点服务器的数据回写效率。
附图说明
图1是本发明基于分布式服务器的数据回写系统的优选结构示意图;
图2是本发明基于分布式服务器的数据回写方法的流程图;
图3是本发明第一实施例中基于分布式服务器的数据回写方法的流程图;
图4是本发明第二实施例基于分布式服务器的数据回写系统的体系结构图;
图5是本发明第三实施例中控和节点的之间的信息传输原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1是本发明基于分布式服务器的数据回写系统的优选结构示意图,所述数据回写系统100包括采用分布式架构的至少存在一个节点服务器10(下文简称节点10)和中控服务器20(下文简称中控20)。中控20会向每个节点10发送数据采集任务,接收到该数据采集任务的节点服务器20根据任务要求采集数据,不论数据采集成功与否,节点服务器20都会向中控服务器10发送心跳,心跳中包含有数据回写请求等一系列参数,以便将采集到的数据回写到中控服务器10的数据库中。
所述节点10包括有请求发送模块11和参数发送模块12,其中:
所述请求发送模块11,用于向中控20发送数据回写请求。
所述参数发送模块12,用于在请求发送模块11发送所述数据回写请求之后,定时向中控20发送数据回写参数。
所述中控20包括有权重计算模块21和回写控制模块22,其中:
所述权重计算模块21,用于根据数据回写参数和预定的权重策略,计算节点10对应的数据回写权重。
所述回写控制模块22,用于根据节点10的数据回写权重计算结果进行排序,控制处理节点10的数据回写请求。所述数据回写权重越大,则节点10的数据回写请求越快被中控20处理。
优选的是,参数发送模块12用于定时向中控20发送心跳消息,所述心跳消息中包含有数据回写参数。所述心跳消息是节点10向中控20发送的一组参数信息,包括节点服务器的CPU(CentralProcessingUnit,中央处理器)使用率,内存使用率,采集到的数据条目,需要回写的数据条目等。本发明心跳消息涉及到的是数据回写参数,可以包括:
心跳发送时间(节点服务器发送心跳消息的时间)—EngineHeartBeatSendTime;
心跳接收时间(中控服务器收到心跳消息的时间)-ControlHeartBeatReceiveTime;
上次回写时间-LastWriteBacktTime;
系统当前时间-SystemCurrentTime;
本次回写数据量—WriteBackCount;
剩余回写数据量—RemainWriteBackCount;
数据回写等待时间—WaitTime=系统当前时间–上次回写时间;
当前心跳传输时间—HeartbeatTransferTime=心跳接收时间–心跳发送时间;
链路平均传输时间—AverageTransferTime=(1-δ)*旧的平均传输时间+δ*当前平均传输时间,所述δ为预定的比例值;
最大容忍等待时间—MAX_TOLERANCE_WAITE_TIME;和/或
最大容忍数据回写量—MAX_TOLERANCE_REMAIN_WRITE_BACK_COUNT;
优选的是,所述权重策略包括:
所述数据回写等待时间越长并且有数据等待回写,则数据回写权重越大,从而较快的获得回写数据的机会;
所述剩余数据回写量越多并且有数据等待回写,则数据回写权重越大,从而较快的获得回写数据的机会;
所述本次数据回写量越多并且有数据等待回写,则数据回写权重越大,从而较快的获得回写数据的机会;
所述链路平均传输时间越短,则数据回写权重越大,从而较快的获得回写数据的机会。
所述中控20还包括:
第一判断模块23,用于判断节点10的数据回写等待时间是否超过最大容忍等待时间并且有数据要进行回写。
所述回写控制模块22,用于若数据回写等待时间超过最大容忍等待时间并且有数据要进行回写时,第一时间处理节点10的数据回写请求。即若数据回写等待时间超过最大容忍等待时间,该节点10必须回写数据,除非没有数据。
中控服务器20还包括:
第二判断模块24,用于判断节点服务器10的本次数据回写量是否超过最大容忍数据回写量。
所述回写控制模块22,用于若本次数据回写量超过最大容忍数据回写量时,则只回写所述最大容忍数据回写量的数据。
为了更好的解决多节点服务器向中控服务器的数据库进行数据回写时所造成的数据库压力过大的问题,本发明采用了数据回写权重算法,结合节点服务器/中控服务器双向心跳发送,形成一套易于管理,易于使用,智能分析的节点服务器的数据回写技术。
图2是本发明基于分布式服务器的数据回写方法的流程图,其可以通过如图1所示的数据回写系统100实现,包括步骤有:
步骤S201,至少存在一个节点10向中控20发送数据回写请求。中控20会向每个节点10发送数据采集任务,接收到该数据采集任务的节点服务器20根据任务要求采集数据,不论数据采集成功与否,节点服务器20都会向中控服务器10发送数据回写请求,以便将采集到的数据回写到中控服务器10的数据库中。
步骤S202,节点10定时向中控20发送数据回写参数。本步骤优选的是,节点10定时向中控20发送心跳消息,心跳消息中包含有数据回写参数。所述数据回写参数包括数据回写等待时间、剩余数据回写量和/或本次数据回写量等。
步骤S203,中控20根据数据回写参数和预定的权重策略,计算节点10对应的数据回写权重。
步骤S204,根据节点10的数据回写权重计算结果进行排序,中控20控制处理节点10的数据回写请求。所述数据回写权重越大,则节点10的数据回写请求越快被中控20处理。
本发明用于对分布式的节点10的数据回写操作进行及时高效的判断,从而合理的分配中控20的数据库回写压力。
图3是本发明优选基于分布式服务器的数据回写方法的流程图,其可以通过如图1所示的数据回写系统100实现,包括步骤有:
步骤S301,至少存在一个节点10向中控20发送数据回写请求。
步骤S302,节点10定时向中控20发送心跳消息,心跳消息中包含有数据回写参数。所述心跳消息是节点10向中控20发送的一组参数信息,本发明心跳消息涉及到的是数据回写参数,可以包括:
心跳发送时间(节点服务器发送心跳消息的时间)—EngineHeartBeatSendTime;
心跳接收时间(中控服务器收到心跳消息的时间)—ControlHeartBeatReceiveTime;
上次回写时间-LastWriteBacktTime;
系统当前时间-SystemCurrentTime;
本次回写数据量-WriteBackCount;
剩余回写数据量—RemainWriteBackCount;
数据回写等待时间—WaitTime=系统当前时间–上次回写时间;
当前心跳传输时间—HeartbeatTransferTime=心跳接收时间–心跳发送时间;
链路平均传输时间—AverageTransferTime=(1-δ)*旧的平均传输时间+δ*当前平均传输时间,所述δ为预定的比例值;
最大容忍等待时间—MAX_TOLERANCE_WAITE_TIME;和/或
最大容忍数据回写量—MAX_TOLERANCE_REMAIN_WRITE_BACK_COUNT。
步骤S303,判断节点10的本次数据回写量是否超过最大容忍数据回写量,若是则执行步骤S304,否则执行步骤S305。
步骤S304,只回写所述最大容忍数据回写量的数据。
步骤S305,判断节点10的数据回写等待时间是否超过最大容忍等待时间并且有数据要进行回写,若是则执行步骤S306,否则执行步骤S307。
步骤S306,第一时间处理节点10的数据回写请求。即若数据回写等待时间超过最大容忍等待时间,该节点10必须回写数据,除非没有数据。
步骤S307,中控20根据数据回写参数和预定的权重策略,计算节点10对应的数据回写权重。
优选的是,所述权重策略包括:
所述数据回写等待时间越长并且有数据等待回写,则数据回写权重越大,从而较快的获得回写数据的机会;
所述剩余数据回写量越多并且有数据等待回写,则数据回写权重越大,从而较快的获得回写数据的机会;
所述本次数据回写量越多并且有数据等待回写,则数据回写权重越大,从而较快的获得回写数据的机会;
所述链路平均传输时间越短,则数据回写权重越大,从而较快的获得回写数据的机会。
步骤S308,根据节点10的数据回写权重计算结果进行排序,中控20控制处理节点10的数据回写请求。所述数据回写权重越大,则节点10的数据回写请求越快被中控20处理。
图4是本发明第二实施例基于分布式服务器的数据回写系统的体系结构图;由所述节点和所述中控组成,所述节点相当于客户端,所述中控就是所述节点采集数据的中央服务器。本实施例中包含一个中控(中控可以有多个,本文为了介绍方便,假设只有一个中控)、中控本地数据库、众多数据采集节点、各数据采集节点的本地数据库。
节点根据中控下发的任务(例如:对www.baidu.com进行ping命令请求),将采集到的数据保存在本地数据库,当多节点执行任务时,中控会命令各节点按照一定的策略将本地数据库中采集到的任务信息回写到中控的数据库中。
中控决定节点在一定的时间间隔内通过RMI的序列化机制向其传输数据。为了解决多节点向中控回写数据的时序问题,给每个节点回写数据请求分配一个权重函数,如公式(1)所示:
W ( δ ) = W , t ≤ δ 1 , otherwise - - - ( 1 )
其中δ表示数据回写请求的相应极限时间。当数据回写请求在δ内未能接收到中控的允许,W(权重)置1,否则按照后文的策略进行权重的计算。
基于智能分析的网络节点数据采集回写技术,就是要中控在保证每个节点都能进行回写的前提下,按照一定的策略,及时响应节点发出的数据回写请求并且保证整个系统的回写数据吞吐量最大。为此,在中控的核心程序中,数据回写请求响应的排序必须满足公式(2):
maxTm(ΣWii))(2)
其中,Tm是节点进行数据回写请求的最大响应时间,即在最大响应时间内,按照权重大小对各个节点进行排序,权重大的节点优先进行回写。
图5是本发明第三实施例中控和节点的之间的信息传输原理图,中控和节点之间通过双向心跳(心跳包含服务器有关数据回写的一些基本参数:回写请求时间、回写任务量、链路平均传输时间等),节点通过心跳向中控报告自己的回写相关信息,中控通过心跳允许/禁止节点开启数据回写任务。
考虑到各数据采集节点的性能不一,各节点与中控链接的链路情况不同,各节点数据回写请求间隔时间不一,所以,基于智能分析的网络节点数据回写技术是在中控端实现的。
中控对所有节点上报的心跳,通过最大权重算法以及其他的一些策略(防止死锁发生)对所有要进行数据回写的节点进行排序,按优先级为他们分配允许回写的时间和数据量,节点依据中控给的心跳调度,通过RMI(RemoteMethodInvocation,远程方法调用)机制,使得整个系统的数据回写吞吐率最大化。
最大权重调度算法
各节点数据回写调度问题可表述如下:假设有n个节点请求数据回写,每个请求表示为ri<hsti,lwti,lwi,rwi,Ti>,其中:
hsi为节点心跳发送时间;
lwti为节点上次成功进行数据回写;
lwi为节点上次成功回写的数据量;
rwi为节点剩余回写数据量;
Ti为节点执行的任务类型;
假定T为中控的系统当前时间,最大容忍等待时间定义为X,最大容忍数据回写量定义为Y。
Wi=T-lwti,为节点i的数据回写时间等待;
ht=T-hsti,节点i的本次心跳传输时间,
hti(t+1)=hti(t+1)*(1-β)+hti(t)*β,为可预测的节点向中控传输心跳的平均时间,以此参数来估算节点和中控之间的链路情况。
基于智能分析的数据回写调度技术,就是中控通过各节点发送的心跳,获取到相关参数,找出权重最大的节点,使得数据最迫切需要回写的节点能第一时间将数据回写到中控的数据库。可表示为如下公式(3)所示:
max∑(a1(t)+a2(t)+a3(t))(3)
其中,a1(t)、a2(t)、a3(t)分别为,
a 1 ( t ) = 0.3 , t > R W i ( t ) * &xi; , 0 < t < R 0 , otherwise
a 2 ( t ) = 0.3 , t > R ht i ( t + 1 ) * &psi; , 0 < t < R 0 , otherwise
a 3 ( t ) = 0.3 , t > R rw i ( t + 1 ) * &zeta; , 0 < t < R 0 , otherwise
其中,对于任何时间t,有Wi(t)*ξ+hti(t+1)*ψ+rwi(t)*ζ<1。ξ,ψ,ζ为三个依据实际统计结果给出的权重比重,参考的情况为:假设节点数据回写的最大容忍等待时间为:R,单个节点的最大容忍数据回写量为E,则ξ=ht/R,ζ=(1/E)*(1.2),ψ需要根据具体的网络情况进行设置。
当使用本发明技术方案时,对于节点来说,可以使得有较多数据回写量并且等待时间越长的任务,权重越大,从而较快的获得回写机会;本次数据回写量越多,权重越大,从而较快的获得回写数据的机会;链路平均传输时间越短,权重越大,从而较快的获得回写数据的机会。
当等待时间大于最大容忍等待时间,该节点必须回写数据(除非没有数据)。
当本次回写数据量小于等于最大容忍数据回写量,该节点才可以回写数据。
剩余数据回写量越多权重越大权重越大,从而较快的获得回写数据。
综上所述,本发明在节点服务器向中控服务器发送数据回写请求后,节点服务器定时向中控服务器发送数据回写参数,优选的是,节点服务器定时向中控服务器发送中包含有数据回写参数的心跳消息,所述数据回写参数包括数据回写等待时间、剩余数据回写量、本次数据回写量、最大容忍等待时间和/或最大容忍数据回写量、链路平均传输时间等;中控服务器根据数据回写参数和预定权重策略,计算节点服务器对应的数据回写权重;并且中控服务器根据所述数据回写权重,控制处理节点服务器的数据回写请求。借此,本发明采用数据回写权重算法,由分布式架构的中控服务器智能分析各个节点服务器的数据回写操作,以便对数据回写操作进行及时而高效的判断和控制,解决了多节点服务器向中控服务器的数据库进行数据回写时所造成的数据库压力过大的问题,从而提高了各个节点服务器的数据回写效率。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于分布式服务器的数据回写方法,其特征在于,包括步骤有:
至少存在一个节点服务器向中控服务器发送数据回写请求;
所述节点服务器定时向所述中控服务器发送数据回写参数;
所述中控服务器根据所述数据回写参数和预定的权重策略,计算所述节点服务器对应的数据回写权重;
根据所述节点服务器的所述数据回写权重计算结果进行排序,所述中控服务器控制处理所述节点服务器的数据回写请求;
所述数据回写参数还包括有最大容忍数据回写量;
所述中控服务器根据所述数据回写参数和预定的权重策略,计算所述节点服务器对应的数据回写权重的步骤之前还包括:
判断所述节点服务器的本次数据回写量是否超过所述最大容忍数据回写量;
若是,则只回写所述最大容忍数据回写量的数据。
2.根据权利要求1所述的数据回写方法,其特征在于,所述数据回写参数包括有数据回写等待时间、剩余数据回写量和/或本次数据回写量;
所述权重策略包括:
所述数据回写等待时间越长并且有数据等待回写,则所述数据回写权重越大;
所述剩余数据回写量越多,则所述数据回写权重越大;和/或
所述本次数据回写量越多,则所述数据回写权重越大。
3.根据权利要求2所述的数据回写方法,其特征在于,所述数据回写参数还包括有最大容忍等待时间;
所述中控服务器根据所述数据回写参数和预定的权重策略,计算所述节点服务器对应的数据回写权重的步骤之前还包括:
判断所述节点服务器的所述数据回写等待时间是否超过所述最大容忍等待时间并且有数据要进行回写;
若是,则第一时间处理所述节点服务器的所述数据回写请求。
4.根据权利要求1~3任一项所述的数据回写方法,其特征在于,所述节点服务器定时向所述中控服务器发送数据回写参数的步骤包括:
所述节点服务器定时向所述中控服务器发送心跳消息,所述心跳消息中包含有所述数据回写参数。
5.根据权利要求4所述的数据回写方法,其特征在于,所述数据回写参数包括有链路平均传输时间;
所述权重策略包括:所述链路平均传输时间越短,则所述数据回写权重越大。
6.一种基于分布式服务器的数据回写系统,包括至少存在一个节点服务器和中控服务器,其特征在于,所述节点服务器包括有:
请求发送模块,用于向中控服务器发送数据回写请求;
参数发送模块,用于定时向所述中控服务器发送数据回写参数;
所述中控服务器包括有:
权重计算模块,用于根据所述数据回写参数和预定的权重策略,计算所述节点服务器对应的数据回写权重;
回写控制模块,用于根据所述节点服务器的所述数据回写权重计算结果进行排序,控制处理所述节点服务器的所述数据回写请求;
所述数据回写参数还包括有最大容忍等待时间;
所述中控服务器还包括:
第一判断模块,用于判断所述节点服务器的数据回写等待时间是否超过所述最大容忍等待时间;
所述回写控制模块,用于若节点存在回写数据并且数据回写等待时间超过所述最大容忍等待时间并且有数据要进行回写时,第一时间处理所述节点服务器的所述数据回写请求。
7.根据权利要求6所述的数据回写系统,其特征在于,所述数据回写参数包括有数据回写等待时间、剩余数据回写量和/或本次数据回写量;
所述权重策略包括:
所述本次数据回写量越多,则所述数据回写权重越大;
节点存在较多且数据回写等待时间越长,则所述数据回写权重越大。
8.根据权利要求7所述的数据回写系统,其特征在于,所述数据回写参数还包括有最大容忍数据回写量;
所述中控服务器还包括:
第二判断模块,用于判断所述节点服务器的所述本次数据回写量是否超过所述最大容忍数据回写量;
所述回写控制模块,用于若所述本次数据回写量超过所述最大容忍数据回写量时,则只回写所述最大容忍数据回写量的数据。
CN201310056199.5A 2013-02-22 2013-02-22 基于分布式服务器的数据回写方法及系统 Active CN103118123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310056199.5A CN103118123B (zh) 2013-02-22 2013-02-22 基于分布式服务器的数据回写方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310056199.5A CN103118123B (zh) 2013-02-22 2013-02-22 基于分布式服务器的数据回写方法及系统

Publications (2)

Publication Number Publication Date
CN103118123A CN103118123A (zh) 2013-05-22
CN103118123B true CN103118123B (zh) 2016-06-08

Family

ID=48416393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310056199.5A Active CN103118123B (zh) 2013-02-22 2013-02-22 基于分布式服务器的数据回写方法及系统

Country Status (1)

Country Link
CN (1) CN103118123B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786863B (zh) * 2014-12-24 2019-07-02 中国电信股份有限公司 用于设置文件回写进程令牌有效时长的方法、装置和平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7506075B1 (en) * 1999-12-07 2009-03-17 International Business Machines Corporation Fair elevator scheduling algorithm for direct access storage device
CN102073461A (zh) * 2010-12-07 2011-05-25 成都市华为赛门铁克科技有限公司 输入输出请求调度方法、存储控制器和存储阵列
CN102739281A (zh) * 2012-06-30 2012-10-17 华为技术有限公司 一种调度的实现方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7506075B1 (en) * 1999-12-07 2009-03-17 International Business Machines Corporation Fair elevator scheduling algorithm for direct access storage device
CN102073461A (zh) * 2010-12-07 2011-05-25 成都市华为赛门铁克科技有限公司 输入输出请求调度方法、存储控制器和存储阵列
CN102739281A (zh) * 2012-06-30 2012-10-17 华为技术有限公司 一种调度的实现方法、装置及系统

Also Published As

Publication number Publication date
CN103118123A (zh) 2013-05-22

Similar Documents

Publication Publication Date Title
CN101753461B (zh) 实现负载均衡的方法、负载均衡服务器以及集群系统
CN102170396B (zh) 一种基于区分服务的云存储系统QoS控制方法
Coll et al. Using multirail networks in high‐performance clusters
CN103338252B (zh) 一种分布式数据库并发存储虚拟请求机制的实现方法
CN104158699B (zh) 一种基于优先级和分段的数据采集方法
CN103493449A (zh) 分组交换网络中的有效电路
CN109614215A (zh) 基于深度强化学习的流调度方法、装置、设备及介质
CN102891809B (zh) 多核网络设备报文按接口保序方法及系统
CN102970244A (zh) 一种多cpu核间负载均衡的网络报文处理方法
CN102821164A (zh) 一种高效并行分布式数据处理系统
CN105761039A (zh) 快递信息大数据处理方法
CN106411872A (zh) 一种基于数据报文分类的报文压缩的方法和装置
EP1561163A2 (en) A communication method with reduced response time in a distributed data processing system
CN104243348A (zh) 一种数据处理方法和装置
CN106210146A (zh) 基于b/s架构的文件加载方法、装置、服务器及系统
CN103118123B (zh) 基于分布式服务器的数据回写方法及系统
CN102281202A (zh) 一种调度方法、服务器及系统
CN102073548A (zh) 一种任务的执行方法及系统
CN102143053A (zh) 传输数据的方法、装置和系统
Hong et al. Bandwidth‐Aware Resource Allocation for Heterogeneous Computing Systems to Maximize Throughput
CN111580950A (zh) 一种提升云可靠性的自适应反馈资源调度方法
US20060140192A1 (en) Flexible mesh structure for hierarchical scheduling
Jeannot et al. Two fast and efficient message scheduling algorithms for data redistribution through a backbone
US20080034054A1 (en) System and method for reservation flow control
CN110380991A (zh) 一种IOCP机制及基于eFPGA和IOCP的物联网通信加速系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: 201203, 18 building, 88 Darwin Road, Zhangjiang hi tech park, Shanghai, Pudong New Area, 1

Applicant after: The upper marine infotech share company limited of interrogating

Address before: 201203, 18 building, 88 Darwin Road, Zhangjiang hi tech park, Shanghai, Pudong New Area, 1

Applicant before: Shanghai Suninfo Technology Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SHANGHAI SUNINFO TECHNOLOGY LTD. TO: SHANGHAI SUNINFO TECHNOLOGY CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant