CN105207808A - 一种数据处理方法和系统 - Google Patents

Abstract

本发明公开了一种数据流控制端的确定方法和系统，包括：周期性地通过客户端分别向接入端和主服务器发送测试数据。接收接入端接收到该测试数据后返回的第一应答信息和主服务器接收到该测试数据后返回的第二应答信息。分别记录返回第一应答信息所需的第一应答时间和返回第二应答信息所需的第二应答时间。将第一应答时间和第二应答时间分别与预设的时间阈值进行比较，并将第一应答时间和第二应答时间相互进行比较，并根据比较结果确定数据流的控制端。其中，控制端为客户端、接入端和主服务器中的一个。通过本发明的方案，能够根据网络负载动态调整数据流的控制端，提高宽带利用率和数据流的处理效率。

Description

一种数据处理方法和系统

技术领域

本发明涉及服务器数据的双机热备技术，尤其涉及一种数据处理方法和系统。

背景技术

随着互联网(移动互联网)高速发展，用户越来越依赖服务器提供的数据服务，对数据的可用性需求增强，需要更加随时随地的访问服务器提供的服务(数据)；传统的双机热备，是同一机房内的热备方案，一旦该机房出现问题时，会使整个服务系统瘫痪，严重影响用户应用。并且现有的上级热备方案中，通常是由客户端直接提供数据的分发与返回结果的处理，这样在一定程度上增加了客户端的宽带消耗并且需要改变客户端的程序。

发明内容

为了解决上述问题，本发明提出了一种数据处理方法和系统，能够根据网络负载动态调整数据流的控制端，提高宽带利用率和数据流的处理效率。

为了达到上述目的，本发明提出了一种数据流控制端的确定方法，该方法包括：

周期性地通过客户端分别向接入端和主服务器发送测试数据。

接收接入端接收到该测试数据后返回的第一应答信息和主服务器接收到该测试数据后返回的第二应答信息。

分别记录返回第一应答信息所需的第一应答时间和返回第二应答信息所需的第二应答时间。

将第一应答时间和第二应答时间分别与预设的时间阈值进行比较，并将第一应答时间和第二应答时间相互进行比较，并根据比较结果确定数据流的控制端。

其中，控制端为客户端、接入端和主服务器中的一个。

优选地，根据比较结果确定数据流的控制端包括：

当第一应答时间和第二应答时间都大于或等于预设的时间阈值时，将客户端确定为数据流的控制端。

当第一应答时间和第二应答时间都小于预设的时间阈值，并且第一应答时间和第二应答时间相互比较后，判定第一应答时间最小时，将接入端确定为数据流的控制端；判定第二应答时间最小时，将主服务器确定为数据流的控制端。

优选地，该方法还包括：

当此次通过客户端分别向接入端和主服务器发送测试数据，并且获得的第一应答时间和第二应答时间与预设的时间阈值的比较结果与上一次分别向接入端和主服务器发送测试数据时获得的比较结果相比发生变化时，或者，获得的第一应答时间和第二应答时间中的最小值与上一次分别向接入端和主服务器发送测试数据时获得的最小值相比不再是同一个应答时间时，根据新的比较结果和最小值重新确定控制端。

优选地，该方法还包括：

在根据新的比较结果和最小值重新确定控制端之前，间隔预设的时间段重新向接入端和主服务器发送测试数据，重新获得第一应答时间和第二应答时间与预设的时间阈值的比较结果，以及述第一应答时间和第二应答时间之间的最小值，确定获得的比较结果和最小值所对应的应答时间在预设的时间段内是否稳定。

当比较结果和最小值所对应的应答时间在预设的时间段内稳定时，根据新的比较结果和最小值重新确定控制端；当比较结果和最小值所对应的应答时间在预设的时间段内不稳定时，忽略新的比较结果和最小值，等待下一个向接入端、主服务器和从服务器发送测试数据的时间周期。

其中，预设的时间段小于周期性地向接入端和主服务器发送测试数据的时间周期。

为了达到上述目的，本发明还提出了一种数据流控制端的确定系统，该系统包括：测试数据发送模块、应答信息接收模块、应答时间记录模块和控制端确定模块。

测试数据发送模块，用于周期性地通过客户端分别向接入端和主服务器发送测试数据。

应答信息接收模块，用于接收接入端接收到测试数据后返回的第一应答信息和主服务器接收到测试数据后返回的第二应答信息。

应答时间记录模块，用于分别记录返回第一应答信息所需的第一应答时间和返回第二应答信息所需的第二应答时间。

控制端确定模块，用于将第一应答时间和第二应答时间分别与预设的时间阈值进行比较，并将第一应答时间和第二应答时间相互进行比较，并根据比较结果确定数据流的控制端。

其中，控制端为客户端、接入端和主服务器中的一个。

优选地，控制端确定模块根据比较结果确定数据流的控制端是指：

当第一应答时间和第二应答时间都大于或等于预设的时间阈值时，将客户端确定为数据流的控制端。

当第一应答时间和第二应答时间都小于预设的时间阈值，并且第一应答时间和第二应答时间相互比较后，判定第一应答时间最小时，将接入端确定为数据流的控制端；判定第二应答时间最小时，将主服务器确定为数据流的控制端。

优选地，控制端确定模块还用于：

当此次通过客户端分别向接入端和主服务器发送测试数据，并且获得的第一应答时间和第二应答时间与预设的时间阈值的比较结果与上一次分别向接入端和主服务器发送测试数据时获得的比较结果相比发生变化时，或者，获得的第一应答时间和第二应答时间中的最小值与上一次分别向接入端和主服务器发送测试数据时获得的最小值相比不再是同一个应答时间时，根据新的比较结果和最小值重新确定控制端。

优选地，该系统还包括：稳定性确定模块。

测试数据发送模块，还用于在根据新的比较结果和最小值重新确定控制端之前，间隔预设的时间段重新向接入端和主服务器发送测试数据。

控制端确定模块，还用于重新获得第一应答时间和第二应答时间与预设的时间阈值的比较结果，以及第一应答时间和第二应答时间之间的最小值。

稳定性确定模块，用于确定获得的比较结果和最小值所对应的应答时间在预设的时间段内是否稳定。

控制端确定模块，还用于当比较结果和最小值所对应的应答时间在预设的时间段内稳定时，根据新的比较结果和最小值重新确定控制端；当比较结果和最小值所对应的应答时间在预设的时间段内不稳定时，忽略新的比较结果和最小值，等待下一个向接入端、主服务器所述从服务器发送测试数据的时间周期。

其中，预设的时间段小于周期性地向接入端和主服务器发送测试数据的时间周期。

与现有技术相比，本发明包括：周期性地通过客户端分别向接入端和主服务器发送测试数据。接收接入端接收到该测试数据后返回的第一应答信息和主服务器接收到该测试数据后返回的第二应答信息。分别记录返回第一应答信息所需的第一应答时间和返回第二应答信息所需的第二应答时间。将第一应答时间和第二应答时间分别与预设的时间阈值进行比较，并将第一应答时间和第二应答时间相互进行比较，并根据比较结果确定数据流的控制端。其中，控制端为客户端、接入端和主服务器中的一个。通过本发明的方案，能够根据网络负载动态调整数据流的控制端，提高宽带利用率和数据流的处理效率。

附图说明

下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。

图1为本发明的数据流控制端的确定方法流程图；

图2为本发明的数据流控制端的确定系统组成框图。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。

为了达到上述目的，本发明提出了一种数据流控制端的确定方法，如图1所示，该方法包括：

S101、周期性地通过客户端分别向接入端和主服务器发送测试数据。

在本发明实施例中，在复杂的网络条件下，单一的控制方式不能适应当时的网络负载条件，可以根据负载响应情况进行动态的控制端调节，将控制端调节到网络负载小的终端上。其中，控制端可以为客户端、接入端和主服务器中的一个。

这里，本发明方案首先通过客户端分别向接入端和主服务器发送测试数据，以确定客户端、接入端和主服务器中的哪一个的网络负载最小。

S102、接收接入端接收到该测试数据后返回的第一应答信息和主服务器接收到该测试数据后返回的第二应答信息。

在本发明实施例中，同样通过客户端分别接收接入端接收到该测试数据后返回的第一应答信息和主服务器接收到该测试数据后返回的第二应答信息。

S103、分别记录返回第一应答信息所需的第一应答时间和返回第二应答信息所需的第二应答时间。

在步骤S102中接收第一应答信息和第二应答信息的基础上，分别计算并记录下返回第一应答信息所需的第一应答时间和返回第二应答信息所需的第二应答时间。通过该第一应答时间和第二应答时间的长短来判断接入端和主服务器是否网络负载大或者是否发生故障(当客户端未接收到第一应答信息时确定接入端故障，或者未接收到第二应答信息时确定主服务器端故障)。具体判断方法如步骤S104。

S104、将第一应答时间和第二应答时间分别与预设的时间阈值进行比较，并将第一应答时间和第二应答时间相互进行比较，并根据比较结果确定数据流的控制端。

在本发明实施例中，预先设置一个时间阈值，该时间阈值可以根据具体的应用环境自行定义。

另外，在本发明实施例中，通过该第一应答时间和第二应答时间的长短来判断接入端和主服务器是否网络负载大或者是否发生故障的整体思路是：当获得第一应答时间和第二应答时间后，先将第一应答时间和第二应答时间分别与预设的时间阈值进行比较，判断第一应答时间和第二应答时间的关系，当第一应答时间和第二应答时间都大于该预设的时间阈值时，判定接入端和主服务器的网络负载都比较大。当第一应答时间和第二应答时间都小于该预设的时间阈值时，判定接入端和主服务器的网络负载都比较小，再进一步判定哪个网络负载更小一些，即进一步将第一应答时间和第二应答时间进行比较，时间值小的则说明网络负载更小一些。当第一应答时间和第二应答时间都一个大于该预设的时间阈值，另一个小于该预设的时间阈值时，则判定小于该预设的时间阈值的网络负载比较小。

根据上述思路，我们便可以根据步骤S104的比较结果确定数据流的控制端。

优选地，根据比较结果确定数据流的控制端包括：

S1041、当第一应答时间和第二应答时间都大于或等于预设的时间阈值时，将客户端确定为数据流的控制端。

在本发明实施例中，由上述思路可知，当第一应答时间和第二应答时间都大于或等于预设的时间阈值时，说明接入端和主服务器的网络负载都比较大，因此，这时将客户端作为控制端。

S1042、当第一应答时间和第二应答时间都小于预设的时间阈值，并且第一应答时间和第二应答时间相互比较后，判定第一应答时间最小时，将接入端确定为数据流的控制端；判定第二应答时间最小时，将主服务器确定为数据流的控制端。

在本发明实施例中，在第一应答时间和第二应答时间都小于预设的时间阈值时，说明接入端和主服务器的网络负载都比较小，这时，进一步比较第一应答时间和第二应答时间那个时间值小，来确定接入端和主服务器的网络负载哪一个更小，进而将网络负载更小的那一个作为控制端。

优选地，该方法还包括：

当此次通过客户端分别向接入端和主服务器发送测试数据，并且获得的第一应答时间和第二应答时间与预设的时间阈值的比较结果与上一次分别向接入端和主服务器发送测试数据时获得的比较结果相比发生变化时，或者，获得的第一应答时间和第二应答时间中的最小值与上一次分别向接入端和主服务器发送测试数据时获得的最小值相比不再是同一个应答时间时，根据新的比较结果和最小值重新确定控制端。

在本发明实施例中，由于网络环境在实时发生变化，因此网络负载情况也在变化，为了应对这一变化，本发明方案通过客户端分别向接入端和主服务器发送测试数据是周期性的，即，定时检查接入端和主服务器的网络负载情况，当发现网络负载情况发生变化时，更换控制端，例如，在上一周期的测试中接入端的网络负载最小时，将接入端作为数据流控制端，当这一周期测试时，检测出主服务器的负载变为最小，则将控制端转化到主服务器上。这种控制端根据网络变化情况的动态调节，提高了宽带的利用率，进一步提高了数据流的处理效率。

优选地，该方法还包括：

在根据新的比较结果和最小值重新确定控制端之前，间隔预设的时间段重新向接入端和主服务器发送测试数据，重新获得第一应答时间和第二应答时间与预设的时间阈值的比较结果，以及述第一应答时间和第二应答时间之间的最小值，确定获得的比较结果和最小值所对应的应答时间在预设的时间段内是否稳定。

当比较结果和最小值所对应的应答时间在预设的时间段内稳定时，根据新的比较结果和最小值重新确定控制端；当比较结果和最小值所对应的应答时间在预设的时间段内不稳定时，忽略新的比较结果和最小值，等待下一个向接入端、主服务器和从服务器发送测试数据的时间周期。

其中，预设的时间段小于周期性地向接入端和主服务器发送测试数据的时间周期。

在本发明实施例中，通过上述方案可知，我们可以通过周期性地向接入端和主服务器发送测试数据，来根据网络变化情况动态调节控制端，但是，在周期性调节控制端的时候还面临一个问题是，当周期性进行网络负载的测试时，如果正好处于短暂的网络波动阶段，则该周期的测试结果会不准确，为了解决这一问题，我们预先设置了了一个较小的时间段，该预设的时间段小于周期性地向接入端和主服务器发送测试数据的时间周期，我们可以在发现测试结果与上一周期的测试结果不同时，在这个预设的较小的时间段后重新进行网络负载测试，如果这一次的网络测试结果与刚刚周期性测试的结果相同，则说明该网络负载的变化不是暂时的，是稳定的，可以根据该次的测试结果重新动态调整控制端。如果这一次的网络测试结果与刚刚周期性测试的结果不相同，则说明该网络负载的变化是暂时性的，则对该测试结果给予忽略。

为了达到上述目的，本发明还提出了一种数据流控制端的确定系统01，如图2所示，该系统包括：测试数据发送模块02、应答信息接收模块03、应答时间记录模块04和控制端确定模块05。

测试数据发送模块02，用于周期性地通过客户端分别向接入端和主服务器发送测试数据。

应答信息接收模块03，用于接收接入端接收到测试数据后返回的第一应答信息和主服务器接收到测试数据后返回的第二应答信息。

应答时间记录模块04，用于分别记录返回第一应答信息所需的第一应答时间和返回第二应答信息所需的第二应答时间。

控制端确定模块05，用于将第一应答时间和第二应答时间分别与预设的时间阈值进行比较，并将第一应答时间和第二应答时间相互进行比较，并根据比较结果确定数据流的控制端。

其中，控制端为客户端、接入端和主服务器中的一个。

优选地，控制端确定模块05根据比较结果确定数据流的控制端是指：

当第一应答时间和第二应答时间都大于或等于预设的时间阈值时，将客户端确定为数据流的控制端。

当第一应答时间和第二应答时间都小于预设的时间阈值，并且第一应答时间和第二应答时间相互比较后，判定第一应答时间最小时，将接入端确定为数据流的控制端；判定第二应答时间最小时，将主服务器确定为数据流的控制端。

优选地，控制端确定模块05还用于：

当此次通过客户端分别向接入端和主服务器发送测试数据，并且获得的第一应答时间和第二应答时间与预设的时间阈值的比较结果与上一次分别向接入端和主服务器发送测试数据时获得的比较结果相比发生变化时，或者，获得的第一应答时间和第二应答时间中的最小值与上一次分别向接入端和主服务器发送测试数据时获得的最小值相比不再是同一个应答时间时，根据新的比较结果和最小值重新确定控制端。

优选地，该系统还包括：稳定性确定模块06。

测试数据发送模块02，还用于在根据新比较结果和最小值重新确定控制端之前，间隔预设的时间段重新向接入端和主服务器发送测试数据。

控制端确定模块05，还用于重新获得第一应答时间和第二应答时间与预设的时间阈值的比较结果，以及第一应答时间和第二应答时间之间的最小值。

稳定性确定模块06，用于确定获得的比较结果和最小值所对应的应答时间在预设的时间段内是否稳定。

控制端确定模块05，还用于当比较结果和最小值所对应的应答时间在预设的时间段内稳定时，根据新的比较结果和最小值重新确定控制端；当比较结果和最小值所对应的应答时间在预设的时间段内不稳定时，忽略新的比较结果和最小值，等待下一个向接入端、主服务器所述从服务器发送测试数据的时间周期。

其中，预设的时间段小于周期性地向接入端和主服务器发送测试数据的时间周期。

与现有技术相比，本发明包括：周期性地通过客户端分别向接入端和主服务器发送测试数据。接收接入端接收到该测试数据后返回的第一应答信息和主服务器接收到该测试数据后返回的第二应答信息。分别记录返回第一应答信息所需的第一应答时间和返回第二应答信息所需的第二应答时间。将第一应答时间和第二应答时间分别与预设的时间阈值进行比较，并将第一应答时间和第二应答时间相互进行比较，并根据比较结果确定数据流的控制端。其中，控制端为客户端、接入端和主服务器中的一个。通过本发明的方案，能够根据网络负载动态调整数据流的控制端，提高宽带利用率和数据流的处理效率。

需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。

Claims (8)

1.一种数据流控制端的确定方法，其特征在于，所述方法包括：

周期性地通过客户端分别向接入端和主服务器发送测试数据；

接收所述接入端接收到所述测试数据后返回的第一应答信息和所述主服务器接收到所述测试数据后返回的第二应答信息；

分别记录返回所述第一应答信息所需的第一应答时间和返回所述第二应答信息所需的第二应答时间；

将所述第一应答时间和所述第二应答时间分别与预设的时间阈值进行比较，并将所述第一应答时间和所述第二应答时间相互进行比较，并根据比较结果确定数据流的控制端；

其中，所述控制端为所述客户端、所述接入端和所述主服务器的一个。

2.如权利要求1所述的数据流控制端的确定方法，其特征在于，所述根据比较结果确定数据流的控制端包括：

当所述第一应答时间和所述第二应答时间都大于或等于所述预设的时间阈值时，将所述客户端确定为所述数据流的控制端；

当所述第一应答时间和所述第二应答时间都小于所述预设的时间阈值，并且所述第一应答时间和所述第二应答时间相互比较后，判定所述第一应答时间最小时，将所述接入端确定为所述数据流的控制端；判定所述第二应答时间最小时，将所述主服务器确定为所述数据流的控制端。

3.如权利要求2所述的数据流控制端的确定方法，其特征在于，所述方法还包括：

当此次通过客户端分别向所述接入端和所述主服务器发送所述测试数据，并且获得的所述第一应答时间和所述第二应答时间与所述预设的时间阈值的比较结果与上一次分别向所述接入端和所述主服务器发送所述测试数据时获得的比较结果相比发生变化时，或者，获得的所述第一应答时间和所述第二应答时间中的最小值与上一次分别向所述接入端和所述主服务器发送测试数据时获得的最小值相比不再是同一个应答时间时，根据新的所述比较结果和所述最小值重新确定所述控制端。

4.如权利要求3所述的数据流控制端的确定方法，其特征在于，所述方法还包括：

在根据新的所述比较结果和所述最小值重新确定所述控制端之前，间隔预设的时间段重新向所述接入端和所述主服务器发送所述测试数据，重新获得所述第一应答时间和所述第二应答时间与所述预设的时间阈值的比较结果，以及所述第一应答时间和所述第二应答时间之间的最小值，确定获得的所述比较结果和所述最小值所对应的应答时间在所述预设的时间段内是否稳定；

当所述比较结果和所述最小值所对应的应答时间在所述预设的时间段内稳定时，根据新的所述比较结果和所述最小值重新确定所述控制端；当所述比较结果和所述最小值所对应的应答时间在所述预设的时间段内不稳定时，忽略新的所述比较结果和所述最小值，等待下一个向所述接入端和所述主服务器发送所述测试数据的时间周期；

其中，所述预设的时间段小于周期性地向所述接入端和所述主服务器发送所述测试数据的所述时间周期。

5.一种数据流控制端的确定系统，其特征在于，所述系统包括：测试数据发送模块、应答信息接收模块、应答时间记录模块和控制端确定模块；

所述测试数据发送模块，用于周期性地通过客户端分别向接入端和主服务器发送测试数据；

所述应答信息接收模块，用于接收所述接入端接收到所述测试数据后返回的第一应答信息和所述主服务器接收到所述测试数据后返回的第二应答信息；

所述应答时间记录模块，用于分别记录返回所述第一应答信息所需的第一应答时间和返回所述第二应答信息所需的第二应答时间；

所述控制端确定模块，用于将所述第一应答时间和所述第二应答时间分别与预设的时间阈值进行比较，并将所述第一应答时间和所述第二应答时间相互进行比较，并根据比较结果确定数据流的控制端；

其中，所述控制端为所述客户端、所述接入端和所述主服务器中的一个。

6.如权利要求5所述的数据流控制端的确定系统，其特征在于，所述控制端确定模块根据比较结果确定数据流的控制端是指：

当所述第一应答时间和所述第二应答时间都大于或等于所述预设的时间阈值时，将所述客户端确定为所述数据流的控制端；

当所述第一应答时间和所述第二应答时间都小于所述预设的时间阈值，并且所述第一应答时间和所述第二应答时间相互比较后，判定所述第一应答时间最小时，将所述接入端确定为所述数据流的控制端；判定所述第二应答时间最小时，将所述主服务器确定为所述数据流的控制端。

7.如权利要求6所述的数据流控制端的确定系统，其特征在于，所述控制端确定模块还用于：

当此次通过客户端分别向所述接入端和所述主服务器发送所述测试数据，并且获得的所述第一应答时间和所述第二应答时间与所述预设的时间阈值的比较结果与上一次分别向所述接入端和所述主服务器发送测试数据时获得的比较结果相比发生变化时，或者，获得的所述第一应答时间和所述第二应答时间中的最小值与上一次分别向所述接入端和所述主服务器发送所述测试数据时获得的最小值相比不再是同一个应答时间时，根据新的所述比较结果和所述最小值重新确定所述控制端。

8.如权利要求7所述的数据流控制端的确定系统，其特征在于，所述系统还包括：稳定性确定模块；

所述测试数据发送模块，还用于在根据新的所述比较结果和所述最小值重新确定所述控制端之前，间隔预设的时间段重新向所述接入端和所述主服务器发送所述测试数据；

所述控制端确定模块，还用于重新获得所述第一应答时间和所述第二应答时间与所述预设的时间阈值的比较结果，以及所述第一应答时间和所述第二应答时间之间的最小值；

所述稳定性确定模块，用于确定获得的所述比较结果和所述最小值所对应的应答时间在所述预设的时间段内是否稳定；

所述控制端确定模块，还用于当所述比较结果和所述最小值所对应的应答时间在所述预设的时间段内稳定时，根据新的所述比较结果和所述最小值重新确定所述控制端；当所述比较结果和所述最小值所对应的应答时间在所述预设的时间段内不稳定时，忽略新的所述比较结果和所述最小值，等待下一个向所述接入端、所述主服务器和所述从服务器发送所述测试数据的时间周期；

其中，所述预设的时间段小于周期性地向所述接入端和所述主服务器发送所述测试数据的所述时间周期。