CN101557419B - 一种数据读写系统和数据管理方法 - Google Patents

Abstract

本发明实施例更提供了一种数据管理方法。所述方法包括：接收用户的业务请求，所述用户的业务请求包括第一类型的业务请求和第二类型的业务请求；统计接收到的第一类型的业务请求的量；根据所述第一类型的业务请求的量，向至少一个专用于处理第二类型的业务请求的响应服务器发布指令，以将所述至少一个专用于处理第二类型的业务请求的响应服务器转换为专用于处理第一类型的业务请求的响应服务器。本发明实施例所提供的数据管理方法根据不同的业务请求的量来调整响应服务器的工作模式，可以灵活应对突发的业务流。本发明实施例还提供了相应的数据读写系统。

Description

一种数据读写系统和数据管理方法

技术领域

本发明涉及网络技术，尤其是一种数据读写系统和数据管理方法。

背景技术

随着网络技术的发展，通过分布式网络系统来管理数据的方式也早已为人们接受。请参照图1，图1所示为现有技术中的分布式数据读写系统10。所述分布式数据读写系统10包括用户端1、用于处理读写请求的响应服务器2、以及数据存储设备4。其中服务器2接收用户的读写请求，并根据所述读写请求向数据存储设备4读写数据。但是在实际应用中，由于所述服务器2要同时处理来自多个用户的各种请求，当出现大量读写请求的时候，所述服务器2的资源的资源分配容易出现冲突，造成对某些请求的响应出现延迟。比如，如果大量的用户通过所述服务器2向数据存储设备4中的数据A发送了大量的读请求，那么所述数据A则会成为热点，而所述大量的读请求则会需要消耗所述服务器2的大量的资源，这时候如果所述多个服务器2还需要处理写请求，则会造成所述服务器2的资源分配出现问题，根据服务器2内设的仲裁机制的不同，服务器2对于部分读请求或写请求的响应就会出现延迟。

因此，有必要提供一种数据管理方法和系统，以可以合理利用读写服务器的资源，应对大流量的读写请求。

发明内容

本发明实施例公开了一种数据读写系统。所述数据读写系统包括统筹服务器和响应服务器，所述响应服务器用于响应用户的业务请求，所述业务请求包括写请求和读请求，所述响应服务器的工作模式包括专用于处理写请求的第一工作模式以及专用于处理读请求的第二模式；所述统筹服务器用于当所述业务请求中的读请求的量达到或超过了预定的第一阈值时，发布指令，以将至少一个处于第一工作模式的响应服务器的工作模式转化为第二工作模式；或者当所述业务请求中的写请求的量达到或超过了预定的第二阈值时，发布指令，以将至少一个处于第二工作模式的响应服务器的工作模式转化为第一工作模式。。

本发明实施例还公开了一种统筹服务器，用于数据读写系统中。所述统筹服务器包括：请求处理模块，用于接收用户发送的业务请求，所述业务请求包括读请求和写请求；统计模块，用于统计所述用户发送的读请求或写请求的量，并发出通知信息；管理模块，用于根据所述通知信息的内容发出指令，具体包括：当所述业务请求中的读请求的量达到或超过了预定的第一阈值时，发布指令，以将至少一个处于第一工作模式的响应服务器的工作模式转化为第二工作模式；或者当所述业务请求中的写请求的量达到或超过了预定的第二阈值时，发布指令，以将至少一个处于第二工作模式的响应服务器的工作模式转化为第一工作模式。

本发明实施例更提供了一种数据管理方法。所述数据管理方法包括：接收用户的业务请求，所述用户的业务请求包括第一类型的业务请求和第二类型的业务请求；统计接收到的第一类型的业务请求的量；判断所述第一类型的业务请求的量是否达到或超过了第一阈值，如果所述第一类型的业务请求的量达到或超过了第一阈值，则向至少一个专用于处理第二类型的业务请求的响应服务器发布指令，以将所述至少一个专用于处理第二类型的业务请求的响应服务器转换为专用于处理第一类型的业务请求的响应服务器。

本发明实施例提供的数据读写系统和数据管理方法，通过统计不同类型的业务请求的量，来调整响应服务器的工作模式，使得当某一类型的业务请求过多时，数据读写系统也可以增大相应的响应服务器的数量来进行处理，保证了用户的读写业务进行的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中的分布式数据读写系统的示意图；

图2为本发明实施例所提供的数据读写系统的示意图；

图3为本发明实施例的统筹服务器的示意图；

图4为本发明实施例中所述的响应服务器的示意图；

图5为本发明实施例所提供的数据管理方法的流程图；

图6为本发明又一实施例所提供的数据管理方法的流程图；

图7为本发明第三实施例的数据管理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图2，图2所示为本发明实施例所提供的数据读写系统200的示意图。所述数据读写系统200包括统筹服务器220、多个响应服务器240、以及用于存储数据的存储空间260。

所述统筹服务器220用于管理所述多个响应服务器240的工作模式，并将满足需要的响应服务器240的地址信息发送给用户客户端150。

所述响应服务器240用于接收用户客户端150的针对于所述存储空间260的数据的业务请求，并根据所述业务请求与所述存储空间260进行数据交互操作，所述业务请求包括第一业务请求和第二业务请求，在本发明实施例中，所述第一业务请求为写请求，所述第二业务请求为读请求。

所述多个响应服务器240包括处于第一工作模式的响应服务器241，以及处于第二工作模式的响应服务器243。在本发明实施例中，所述第一工作模式响应服务器241为专用于处理写请求的响应服务器，所述第二工作模式响应服务器243为专用于处理读请求的响应服务器，在其他可选择的实施例中，所述第一工作模式响应服务器241也可以为专用于处理读请求的响应服务器，第二工作模式响应服务器243则相应的为专用于处理写请求的响应服务器。

具体的，当响应服务器240处于第一工作模式的时候，通过系统优化处理的方式使得响应服务器240对于读请求的处理速度加快；当响应服务器240处于第二工作模式的时候，则通过系统优化处理的方式使得响应服务器240对于写请求的处理速度加快。

在本发明实施例中，所述多个响应服务器240的工作模式均可以在统筹服务器220的管理下在第一工作模式和第二工作模式中转换。所述统筹服务器220根据客户端发出的读写请求的数量或比例来调整响应服务器240的工作模式。在实际应用中，一个统筹服务器220负责多个响应服务器240的管理工作。而当读请求或写请求的量增大时，统筹服务器220可以调整所述多个响应服务器240中的用于处理读请求和写请求的服务器的比例，增加用于处理读请求或写请求的响应服务器的数量，来提高整个系统对于读请求或写请求的处理速度，以避免由于读请求或写请求过多而导致的拥塞的发生。

请一同参照图3，图3所示为本发明实施例的统筹服务器220的示意图。本发明实施例的统筹服务器220包括请求处理模块222、统计模块224以及管理模块226。在实际的工作中，所述请求处理模块222确认用户发送的业务请求，并根据用户发送的业务请求的类型向用户发送相应的响应服务器的地址信息。所述统计模块224用于统计读请求或写请求的量，当所述读请求或写请求的量达到或超过预设的阈值时，所述统计模块224通知管理模块226，所述管理模块226根据预设的规则调整本发明实施例所提供的数据读写系统中的响应服务器的工作模式。其中，请求处理模块222可向用户发送多个响应服务器的地址信息，由用户端根据一定的规则自行选择要访问的响应服务器。

作为本发明的一个实施例，所述统筹服务器220根据所述读请求和写请求的数量或比例来对所述多个响应服务器240的工作模式进行调整。具体的，当用户发送的读请求或写请求的数量或比例达到或超过了预设的阈值时，统筹服务器220的请求处理模块222通知所述管理模块226，而所述管理模块226则根据所述调整至少一个响应服务器240的工作模式。比如，假设请求处理模块222接收到的读请求数量或比例达到或超过了一预设的第一阈值，按照预先制定的规则，请求处理模块222通知管理模块226，管理模块226将至少一个本处于写请求处理工作模式的响应服务器240转为读请求工作模式，以处理大量的读请求；而当请用户发送的业务请求中的写请求的数量或比例达到或超过了第二阈值，则请求处理模块222通知所述管理模块226，所述管理模块226将至少一个处于读请求处理工作模式的响应服务器240转为写请求处理工作模式。易于理解的是，所述第一阈值以及第二阈值均可包括多个层级，以使得管理模块226可根据不同的层级调整需要转换工作模式的响应服务器240的数量。

需要确认的是，在本发明实施例中，所述阈值可为根据响应服务器240的处理能力而设置的读写请求的数量或比例，从而当系统当前的处理读请求或写请求的响应服务器240无法处理用户发来的读请求或写请求时，通过将部分响应服务器240的工作模式在读请求工作模式和写请求工作模式之间转换，来提高系统对于读请求或写请求的处理能力，满足用户的业务需求。

在实际使用中，统筹服务器220首先接收用户的读写请求，然后统筹服务器240根据用户的读写请求将处于读请求工作模式或写请求工作模式的全部或部分响应服务器240的信息发送给用户，而用户会根据预设的规则(比如负载均衡、随机选取等)从中进行选择。当统筹服务器220接收到的读请求或写请求达到或超过预设的阀值的时候，统筹服务器220通知处于读请求工作模式或写请求工作模式的全部或部分响应服务器240转换工作模式，以应付大量的同类的用户请求。

当然可以理解的是，本发明实施例所提供的数据读写系统中，所述统筹服务器220自身也可以作为一个响应服务器来处理用户的读写请求。

请一同参照图4，图4为本发明实施例中所述的响应服务器240的示意图。本发明实施例所提供的响应服务器240包括上报模块242、优化处理模块244、模式管理模块246以及数据传送模块248。所述数据传送模块248用于根据用户的读写请求作为用户和存储空间260之间进行数据交换的媒介。所述模式管理模块246用于记录响应服务器240当前的工作模式，并根据统筹服务器220发送的工作模式转换的指令转换工作模式。所述上报模块242用于将响应服务器240的工作模式信息报告给统筹服务器220，当然，上报模块242也可以将响应服务器240的地址信息等其他信息一并上报给统筹服务器220。所述优化处理模块244用于根据响应服务器240当前的工作模式分配服务器资源。在本发明实施例中，对于处于读请求优化的工作模式的响应服务器240可以通过提高读请求在内存缓冲的分配的优先级的方式来提高服务器对于读请求的处理速度；对于写请求优化的工作模式的响应服务器可以通过将服务器的资源用于统计和拼凑写请求，以将写入地址相近或者写入内容相似的内容进行拼凑以便于统一输入。

其中，当响应服务器240处于读请求工作模式时，优化处理模块244通过提高读请求的处理优先级并调度系统资源的方式来提高响应服务器240对于读请求的处理速度；当响应服务器240处于写请求工作模式时，优化处理模块244采用相同或类似的方法来提高响应服务器240对于写请求的处理速度。

本发明实施例提供的数据读写系统，通过统筹服务器220接收用户的读写请求并根据读写请求的量对响应服务器240的工作模式进行调整，使得整个数据读写系统对于读请求和写请求的处理能力可以根据需要进行调整，提高了系统应对热点请求的能力。

本发明实施例还提供一种数据管理方法，请参照图5，图5所示为本发明实施例所提供的数据管理方法的流程图。本发明实施例所提供的数据管理方法包括：

步骤101：接收用户的业务请求，其中，所述业务请求包括读请求和写请求。

步骤102：统计接收到的业务请求中的读请求或写请求的量；

所述读请求和写请求的量可以为读请求和写请求的数量，也可以是读请求和写请求在总的请求中所占的比例。

步骤103：判断所述读请求的量是否达到或超过了第一阈值，或者判断所述写请求的量是否达到或超过了第二阈值，并根据结果调整响应服务器的工作模式；具体的，当所述读请求的量达到或超过了第一阈值时，将至少一个专用于处理写请求的响应服务器转为专用于处理读请求的响应服务器，或者当所述写请求的量达到或超过了第二阈值时，将至少一个专用于处理读请求的响应服务器转为专用于处理写请求的响应服务器。

所述第一阈值和所述第二阈值可以相同，也可以不同。

本发明实施例所提供的数据管理方法根据读写请求的量来调整专用于处理读请求和专用于处理写请求的响应服务器的比例，有效的提高了整个数据读写系统在面对各种读写访问热点的处理能力。

请参照图6，图6所示为本发明又一实施例所提供的数据管理方法的流程示意图。所述数据管理方法包括：

步骤201：接收用户的业务请求，所述用户的业务请求包括第一类型和第二类型；

在本发明实施例中，所述第一类型的业务请求为读请求，相应的所述第二类型的业务请求为写请求，当然，亦可以为第一类型为写请求，第二类型为读请求。

步骤202：统计接收到的第一类型的业务请求的量；

所述第一类型的业务请求的量可以为第一类型的业务请求的数量，或第一类型的业务请求在所有业务请求中所占的比例；

步骤203：判断所述类型的业务请求的量是否达到或超过了第一阈值，如果所述第一类型的业务请求的量达到或超过了第一阈值，则将至少一个专用于处理第二类型的业务请求的响应服务器转换为专用于处理第一类型的业务请求的响应服务器。

易于理解的是，所述第一阈值可包括多个层级，以根据不同的层级调整需要转换工作模式的响应服务器的数量。

同时，可以理解的是，本发明实施例也可以对第二类型的业务请求的量进行统计，以便于当第二类型的业务请求的量过多的时候，增加用于处理第二类型的业务数据的响应服务器的数量。

本发明实施例所述的数据管理方法通过业务请求中的第一类型的量来调整响应服务器中专用于第一类型的业务请求的服务器的比例，从而可以灵活应对突发的大量的第一类型的业务请求流，提高了系统的效率，避免了拥塞的发生。

请参照图7，图7所示为本发明第三实施例的数据管理方法的流程示意图。本发明实施例的数据管理方法包括：

步骤301：接收用户的业务请求，所述用户的业务请求包括第一类型的业务请求和第二类型的业务请求；

在本发明实施例中，所述第一类型的业务请求为读请求，相应的所述第二类型的业务请求为写请求，当然，亦可以为第一类型为写请求，第二类型为读请求。

步骤302：统计接收到的第一类型的业务请求的量；

所述第一类型的业务请求的量可以为第一类型的业务请求的数量，或第一类型的业务请求在所有业务请求中所占的比例；

步骤303：判断所述第一类型的业务请求的量是否达到或超过了第一阈值，如果所述第一类型的业务请求的量达到或超过了第一阈值，则向至少一个专用于处理第二类型的业务请求的响应服务器发布信息，以将所述至少一个专用于处理第二类型的业务请求的响应服务器转换为专用于处理第一类型的业务请求的响应服务器。

易于理解的是，所述第一阈值可包括多个层级，以根据不同的层级调整需要转换工作模式的响应服务器的数量。

本发明实施例所述的数据管理方法根据第一类型的业务请求的量来调整响应服务器中专用于处理第一类型的业务请求的服务器的比例，从而可以灵活应对突发的大量的第一类型的业务请求流，提高了系统的效率，避免了拥塞的发生。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (8)

1.一种数据读写系统，其特征在于，所述数据读写系统包括统筹服务器和响应服务器，

所述响应服务器用于响应用户的业务请求，所述业务请求包括写请求和读请求，所述响应服务器的工作模式包括专用于处理写请求的第一工作模式以及专用于处理读请求的第二模式；

所述统筹服务器用于当所述业务请求中的读请求的量达到或超过了预定的第一阈值时，发布指令，以将至少一个处于第一工作模式的响应服务器的工作模式转化为第二工作模式；或者当所述业务请求中的写请求的量达到或超过了预定的第二阈值时，发布指令，以将至少一个处于第二工作模式的响应服务器的工作模式转化为第一工作模式。

2.如权利要求1所述的数据读写系统，其特征在于，所述数据读写系统还包括用于存储数据的存储空间，所述用户的业务请求是针对于所述存储空间中存储的数据进行的。

3.如权利要求1所述的数据读写系统，其特征在于，所述统筹服务器还用于根据用户发送的业务请求的类型，将处于相应工作模式的响应服务器的信息发送给用户。

4.如权利要求1所述的数据读写系统，其特征在于，所述响应服务器中设有优化处理模块，以根据统筹服务器的指令，提高所述响应服务器对于读请求或写请求的处理能力。

5.一种统筹服务器，用于数据读写系统中，其特征在于，所述统筹服务器包括：

请求处理模块，用于接收用户发送的业务请求，所述业务请求包括读请求和写请求；

统计模块，用于统计所述用户发送的读请求或写请求的量，并发出通知信息；

管理模块，用于根据所述通知信息的内容发出指令，具体包括：当所述业务请求中的读请求的量达到或超过了预定的第一阈值时，发布指令，以将至少一个处于第一工作模式的响应服务器的工作模式转化为第二工作模式；或者当所述业务请求中的写请求的量达到或超过了预定的第二阈值时，发布指令，以将至少一个处于第二工作模式的响应服务器的工作模式转化为第一工作模式。

6.如权利要求5所述的统筹服务器，其特征在于，所述请求处理模块还用于根据用户发送的业务请求的类型，向用户发送处于相应工作模式的响应服务器的地址信息。

7.一种数据管理方法，其特征在于，所述方法包括：

接收用户的业务请求，所述用户的业务请求包括第一类型的业务请求和第二类型的业务请求；

统计接收到的第一类型的业务请求的量；

判断所述第一类型的业务请求的量是否达到或超过了第一阈值，如果所述第一类型的业务请求的量达到或超过了第一阈值，则向至少一个专用于处理第二类型的业务请求的响应服务器发布指令，以将所述至少一个专用于处理第二类型的业务请求的响应服务器转换为专用于处理第一类型的业务请求的响应服务器。

8.如权利要求7所述的数据管理方法，其特征在于，第一类型的业务请求的量包括第一类型的业务请求的数量或者第一类型的业务请求在所有业务请求中所占的比例。

Images