CN105138427A - 数据处理方法和系统 - Google Patents

Abstract

本发明涉及一种数据处理方法和系统，接收存储数据发送至第一存储服务器进行存储，将存入第一存储服务器的存储数据备份至第二存储服务器。接收数据查询指令，根据数据查询指令从第二存储服务器获取对应查询数据并输出。分别利用第一存储服务器和第二存储服务器进行数据读写，降低数据库存储压力。通过读写分离的形式实现负载均衡和数据的冗余分布，且自动备份数据库数据，极大地减轻了数据库管理员的工作量，数据不需要手动备份。不仅可以通过分流减轻服务器的压力，而且便于进行主备切换，解决单点故障的问题，提高稳定性。

Description

数据处理方法和系统

技术领域

本发明涉及数据库服务器技术领域，特别是涉及一种数据处理方法和系统。

背景技术

数据库服务器为客户应用提供查询、更新、事务管理、索引、高速缓存、查询优化、安全及多用户存取控制等服务，为人们的日常工作和生活带来极大的便利。

传统的数据处理方式是使用一台单节点服务器来存储用户产生的数据。在实际应用中，由于磁盘转速很快，容易造成磁盘故障对数据存储和查询造成不便。对重要数据需要进行实时的备份也给数据库管理员带来不便，而且当数据被不当操作删除或丢失的话，硬盘数据恢复代价较大。传统的数据处理方式存在存储可靠性低的缺点。

发明内容

基于此，有必要针对上述问题，提供一种存储可靠性高的数据处理方法和系统。

一种数据处理方法，包括以下步骤：

接收存储数据发送至第一存储服务器进行存储；

将存入所述第一存储服务器的存储数据备份至第二存储服务器；

接收数据查询指令，根据所述数据查询指令从所述第二存储服务器获取对应查询数据并输出。

一种数据处理系统，包括：

存储模块，用于接收存储数据发送至第一存储服务器进行存储；

备份模块，用于将存入所述第一存储服务器的存储数据备份至第二存储服务器；

查询模块，用于接收数据查询指令，根据所述数据查询指令从所述第二存储服务器获取对应查询数据并输出。

上述数据处理方法和系统，接收存储数据发送至第一存储服务器进行存储，将存入第一存储服务器的存储数据备份至第二存储服务器。接收数据查询指令，根据数据查询指令从第二存储服务器获取对应查询数据并输出。分别利用第一存储服务器和第二存储服务器进行数据读写，降低数据库存储压力。通过读写分离的形式实现负载均衡和数据的冗余分布，且自动备份数据库数据，极大地减轻了数据库管理员的工作量，数据不需要手动备份。不仅可以通过分流减轻服务器的压力，而且便于进行主备切换，解决单点故障的问题，提高稳定性。

附图说明

图1为一实施例中数据处理方法的流程图；

图2为一实施例中接收数据查询指令，根据数据查询指令从第二存储服务器获取对应查询数据并输出的流程图；

图3为另一实施例中数据处理方法的流程图；

图4为一实施例中数据处理系统的结构图；

图5为一实施例中查询模块的结构图；

图6为另一实施例中数据处理系统的结构图。

具体实施方式

一种数据处理方法，如图1所示，包括以下步骤：

步骤S110：接收存储数据发送至第一存储服务器进行存储。存储数据即需要存储的数据，具体可以是由客户端或互联网服务器发送。在接收到存储数据后发送至第一存储服务器进行存储。

步骤S120：将存入第一存储服务器的存储数据备份至第二存储服务器。在将存储数据存入第一存储服务器后，自动将存储数据备份至第二存储服务器进行存储，自动备份数据库数据，数据不需要手动备份，减轻了数据库管理员的工作量。具体可将第一存储服务器作为主服务器，将第二存储服务器作为备份服务器，管理人员根据实际需求可进行主备切换操作，即使一个服务器崩溃了，另一服务器也可以继续运行提供服务，能够解决单点故障的问题，提高稳定性。

步骤S130：接收数据查询指令，根据数据查询指令从第二存储服务器获取对应查询数据并输出。数据查询指令用于进行数据查询，具体可包含所需要查询数据的名称、大小和存储地址等信息。在接收到数据查询指令后，根据数据查询指令从第二存储服务器中获取对应的查询数据并输出。通过读写分离的方式实现负载均衡和数据的冗余分布，减轻服务器的压力。输出查询数据具体可以是输出至数据查询指令的来源，也可以是直接发送至显示器进行显示。

在其中一个实施例中，第二存储服务器的数量为多个且组成服务器集群。如图2所示，步骤S130包括步骤：

步骤S132：在接收到数据查询指令后，检测服务器集群中各服务器的活跃度。服务器的活跃度可表征服务器的工作状态，例如服务器是否有故障，是否超负载运行等。本实施例中具体为通过定时ping服务器集群检测各服务器的活跃度。Ping为一个用于测试网络连接量的命令，它是用来检查网络是否通畅或者网络连接速度的命令。利用网络上服务器IP(InternetProtocol，网络协议)地址的唯一性，给目标IP地址发送一个数据包，再要求对方返回一个同样大小的数据包来确定两台网络服务器是否连接相通，时延是多少等。通过自动检查服务器的数据工作状态，提升了数据处理的稳定性与可靠性。可以理解，根据实际需求不同，具体测试方式也会有所不同。

步骤S134：从服务器集群中活跃度最高的服务器获取与数据查询指令对应的查询数据并输出。获取服务器集群中活跃度最高的服务器中与数据查询指令对应的查询数据，即是利用负载压力最小的服务器进行数据查询和提取操作，进一步降低服务器负担，提高数据处理可靠性。

本实施例中利用服务器集群进行数据备份和查询处理，当某个节点服务器单点故障时，不会影响系统的运行，不会造成数据的丢失。采用多结点数据库形式进行数据备份也便于平台扩展。

上述数据处理方法，分别利用第一存储服务器和第二存储服务器进行数据读写，降低数据库存储压力。通过读写分离的形式实现负载均衡和数据的冗余分布，且自动备份数据库数据，极大地减轻了数据库管理员的工作量，数据不需要手动备份。不仅可以通过分流减轻服务器的压力，而且便于进行主备切换，解决单点故障的问题，提高稳定性。

在其中一个实施例中，如图3所示，在步骤S132之后，数据处理方法还包括步骤S140。

步骤S140：在服务器集群中各服务器的活跃度均低于预设值时输出扩容提示信息。若服务器集群中各服务器的活跃度均低于预设值，则可认为服务器集群已超负载运行，输出扩容提示信息提醒管理人员进行服务器扩容处理，避免因服务器超负载影响数据查询和管理等操作，进一步提高数据处理可靠性。输出扩容提示信息的方式具体可以是控制提示灯点亮或闪烁，控制扬声器发生，或者控制显示屏输出预设信息等，可根据实际情况进行调整。

进一步地，在其中一个实施例中，继续参照图3，步骤S140后，数据处理方法还包括步骤S150。

步骤S150：根据接收的扩容地址信息将扩容服务器接入服务器集群。扩容地址信息具体指扩容服务器的IP地址信息，管理人员在在看到扩容提示信息后可判断是否需要对服务器集群进行扩容，若需要扩容则可通过键盘或触控屏等输入终端输入扩容地址信息。根据接收到的扩容地址信息可直接找到需要接入的扩容服务器，与扩容服务器监理通信连接后接入服务器集群。在服务器集群超负载后对其进行扩容，以确保可时刻保证数据查询和管理等操作需求，进一步提高数据处理可靠性。

本发明还提供了一种数据处理系统，如图4所示，包括存储模块110、备份模块120和查询模块130。

存储模块110用于接收存储数据发送至第一存储服务器进行存储。存储数据即需要存储的数据，具体可以是由客户端或互联网服务器发送。在接收到存储数据后发送至第一存储服务器进行存储。

备份模块120用于将存入第一存储服务器的存储数据备份至第二存储服务器。在将存储数据存入第一存储服务器后，自动将存储数据备份至第二存储服务器进行存储，自动备份数据库数据，数据不需要手动备份，减轻了数据库管理员的工作量。具体可将第一存储服务器作为主服务器，将第二存储服务器作为备份服务器，管理人员根据实际需求可进行主备切换操作，即使一个服务器崩溃了，另一服务器也可以继续运行提供服务，能够解决单点故障的问题，提高稳定性。

查询模块130用于接收数据查询指令，根据数据查询指令从第二存储服务器获取对应查询数据并输出。数据查询指令用于进行数据查询，具体可包含所需要查询数据的名称、大小和存储地址等信息。在接收到数据查询指令后，根据数据查询指令从第二存储服务器中获取对应的查询数据并输出。通过读写分离的方式实现负载均衡和数据的冗余分布，减轻服务器的压力。输出查询数据具体可以是输出至数据查询指令的来源，也可以是直接发送至显示器进行显示。

在其中一个实施例中，第二存储服务器的数量为多个且组成服务器集群。如图5所示，查询模块130包括检测单元132和查询单元134。

检测单元132用于在接收到数据查询指令后，检测服务器集群中各服务器的活跃度。服务器的活跃度可表征服务器的工作状态，例如服务器是否有故障，是否超负载运行等。本实施例中具体为通过定时ping服务器集群检测各服务器的活跃度。Ping为一个用于测试网络连接量的命令，它是用来检查网络是否通畅或者网络连接速度的命令。利用网络上服务器IP地址的唯一性，给目标IP地址发送一个数据包，再要求对方返回一个同样大小的数据包来确定两台网络服务器是否连接相通，时延是多少等。通过自动检查服务器的数据工作状态，提升了数据处理的稳定性与可靠性。可以理解，根据实际需求不同，具体测试方式也会有所不同。

查询单元134用于从服务器集群中活跃度最高的服务器获取与数据查询指令对应的查询数据并输出。获取服务器集群中活跃度最高的服务器获取与数据查询指令对应的查询数据，即是利用负载压力最小的服务器进行数据查询和提取操作，进一步降低服务器负担，提高数据处理可靠性。

本实施例中利用服务器集群进行数据备份和查询处理，当某个节点服务器单点故障时，不会影响系统的运行，不会造成数据的丢失。采用多结点数据库形式进行数据备份也便于平台扩展。

上述数据处理系统，分别利用第一存储服务器和第二存储服务器进行数据读写，降低数据库存储压力。通过读写分离的形式实现负载均衡和数据的冗余分布，且自动备份数据库数据，极大地减轻了数据库管理员的工作量，数据不需要手动备份。不仅可以通过分流减轻服务器的压力，而且便于进行主备切换，解决单点故障的问题，提高稳定性。

在其中一个实施例中，如图6所示，数据处理系统还包括提示模块140，提示模块140用于在检测单元132检测服务器集群中各服务器的活跃度之后，在服务器集群中各服务器的活跃度均低于预设值时输出扩容提示信息。

若服务器集群中各服务器的活跃度均低于预设值，则可认为服务器集群已超负载运行，输出扩容提示信息提醒管理人员进行服务器扩容处理，避免因服务器超负载影响数据查询和管理等操作，进一步提高数据处理可靠性。输出扩容提示信息的方式具体可以是控制提示灯点亮或闪烁，控制扬声器发生，或者控制显示屏输出预设信息等，可根据实际情况进行调整。

进一步地，在其中一个实施例中，继续参照图6，数据处理系统还包括扩容模块150，扩容模块150用于在提示模块140在服务器集群中各服务器的活跃度均低于预设值时输出扩容提示信息之后，根据接收的扩容地址信息将扩容服务器接入服务器集群。

扩容地址信息具体指扩容服务器的IP地址信息，管理人员在在看到扩容提示信息后可判断是否需要对服务器集群进行扩容，若需要扩容则可通过键盘或触控屏等输入终端输入扩容地址信息。根据接收到的扩容地址信息可直接找到需要接入的扩容服务器，与扩容服务器监理通信连接后接入服务器集群。在服务器集群超负载后对其进行扩容，以确保可时刻保证数据查询和管理等操作需求，进一步提高数据处理可靠性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：

接收存储数据发送至第一存储服务器进行存储；

将存入所述第一存储服务器的存储数据备份至第二存储服务器；

接收数据查询指令，根据所述数据查询指令从所述第二存储服务器获取对应查询数据并输出。

2.根据权利要求1所述的数据处理方法，其特征在于，所述第二存储服务器的数量为多个且组成服务器集群；所述接收数据查询指令，根据所述数据查询指令从所述第二存储服务器获取对应查询数据并输出的步骤，包括以下步骤：

在接收到数据查询指令后，检测所述服务器集群中各服务器的活跃度；

从所述服务器集群中活跃度最高的服务器获取与所述数据查询指令对应的查询数据并输出。

3.根据权利要求2所述的数据处理方法，其特征在于，所述检测所述服务器集群中各服务器的活跃度为，通过定时ping所述服务器集群检测各服务器的活跃度。

4.根据权利要求2所述的数据处理方法，其特征在于，所述在接收到数据查询指令后，检测所述服务器集群中各服务器的活跃度的步骤之后，还包括在所述服务器集群中各服务器的活跃度均低于预设值时输出扩容提示信息的步骤。

5.根据权利要求4所述的数据处理方法，其特征在于，所述在所述服务器集群中各服务器的活跃度均低于预设值时输出扩容提示信息的步骤之后，还包括根据接收的扩容地址信息将扩容服务器接入所述服务器集群的步骤。

6.一种数据处理系统，其特征在于，包括：

存储模块，用于接收存储数据发送至第一存储服务器进行存储；

备份模块，用于将存入所述第一存储服务器的存储数据备份至第二存储服务器；

查询模块，用于接收数据查询指令，根据所述数据查询指令从所述第二存储服务器获取对应查询数据并输出。

7.根据权利要求6所述的数据处理系统，其特征在于，所述第二存储服务器的数量为多个且组成服务器集群；所述查询模块包括：

检测单元，用于在接收到数据查询指令后，检测所述服务器集群中各服务器的活跃度；

查询单元，用于从所述服务器集群中活跃度最高的服务器获取与所述数据查询指令对应的查询数据并输出。

8.根据权利要求7所述的数据处理系统，其特征在于，所述检测单元检测所述服务器集群中各服务器的活跃度为，通过定时ping所述服务器集群检测各服务器的活跃度。

9.根据权利要求7所述的数据处理系统，其特征在于，还包括提示模块，所述提示模块用于在所述检测单元检测所述服务器集群中各服务器的活跃度之后，在所述服务器集群中各服务器的活跃度均低于预设值时输出扩容提示信息。

10.根据权利要求9所述的数据处理系统，其特征在于，还包括扩容模块，所述扩容模块用于在所述提示模块在所述服务器集群中各服务器的活跃度均低于预设值时输出扩容提示信息之后，根据接收的扩容地址信息将扩容服务器接入所述服务器集群。