CN103514173A - 数据处理的方法和节点设备 - Google Patents

Abstract

本发明实施例公开了一种数据处理的方法和节点设备，属于信息技术领域。所述方法包括：所述数据备份节点接收数据主节点发送的消息；所述数据备份节点判断所述消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到本地的非易失存储模块中，并向所述主数据节点返回备份成功响应。本发明数据备份节点识别出数据主节点发送的消息为数据备份更新消息时，将所述消息存储到非易失存储模块中，并立即组装备份成功响应返回给数据主节点，缩短了数据备份节点对数据备份更新消息的响应时间，从而减少了数据主节点等待备份成功响应的时间，提高了系统的事务响应能力。

Description

数据处理的方法和节点设备

技术领域

本发明涉及信息技术领域，特别涉及一种数据处理的方法和节点设备。

背景技术

伴随着企业数据量呈几何级的增长以及计算机网络的发展，分布式数据库已经成为信息处理技术领域中的重要组成部分。分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库。其中，对数据可靠性要求高的行业和应用,其数据库系统需采用备份机制来保障数据安全和系统的可用性，即将一份数据在多个节点备份，其中每个节点就是一个数据库单元，这样当一个节点失效时，其它节点能够接替该节点继续提供服务。

现有技术中，分布式系统中包括数据主节点和数据备份节点，当对数据主节点的数据库操作改变了数据内容时，如进行了数据插入、删除、修改的操作，数据主节点发送备份更新消息到数据备份节点，数据备份节点根据该数据备份更新消息更新本地数据库应用层中的数据，并在完成数据的更新后，向数据主节点返回备份成功响应，数据主节点在接收到数据备份成功响应后获知数据备份成功，再继续执行其它操作。下面以数据插入操作为例，对现有技术中的数据更新流程进行说明：

步骤1、数据主节点收到数据插入操作消息，完成该数据在本节点数据库应用层的插入；

步骤2、数据主节点向该数据的备份节点发送数据备份更新消息；

步骤3、数据备份节点的网卡的物理层接口收到备份更新消息后，将其转换为数据内部传递的PHY与MAC间的接口消息发送到MAC/数据处理模块，进而将其写入到缓存（FIFObuffer）模块；

步骤4、当缓存模块中存储的数据达到门限值后，经主机接口模块通知操作系统，通过主机接口模块将数据写入到操作系统中；

步骤5、数据备份节点的数据库应用层从操作系统中读取完整备份数据更新消息包，在数据库应用层中完成对消息的解析，并据此更新备份数据，写入到持久化介质中；

步骤6、备份数据更新完成后，数据备份节点的数据库应用层将组装应答数据报文消息，即备份成功响应，返回给数据主节点；

步骤7、数据主节点收到数据备份节点的备份成功响应后，返回数据插入成功响应。

对现有技术的分析中可知，数据主节点需要等待数据备份节点数据更新成功后，才会收到数据备份节点返回的备份成功响应，而数据备份节点进行数据更新的时间包括：网卡到缓存模块的时间，缓存模块到操作系统的时间，操作系统到数据库应用层的时间、数据库应用层的数据处理时间以及数据库应用层将数据写入到持久化介质的更新时间，其中涉及计算机系统的多个总线接口以及在软硬件多层之间的交互，且还需要等到缓存模块达到门限值后，数据库应用层才会处理缓存模块中的数据，占用时间非常多，因此数据主节点的等待时间非常长，影响了数据主节点的后续其它操作，降低了系统的事务响应性能。

发明内容

本发明实施例提供了一种数据处理的方法和节点设备，以提高分布式数据库系统的事务响应性能。所述技术方案如下：

一方面，提供了一种数据处理的方法，所述方法包括：

所述数据备份节点接收数据主节点发送的消息；

所述数据备份节点判断所述消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到本地的非易失存储模块中，并向所述主数据节点返回备份成功响应。

所述数据备份节点判断所述消息是否为数据备份更新消息，包括：

所述数据备份节点判断所述消息的帧类型中是否包含预设的数值标志位，如果是，则确认所述消息为数据备份更新消息；或，

所述数据备份节点判断所述消息中是否包含预设的IP协议端口号，如果是，则确认所述消息为数据备份更新消息；或，

所述数据备份节点判断所述消息的应用层字段中是否携带预设标识，如果是，则确认所述消息为数据备份更新消息。

所述数据备份节点将所述数据备份更新消息存储到所本地的非易失存储模块中之后,还包括：

所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，如果是，则执行向所述主数据节点返回备份成功响应的步骤。

所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，包括：

判断所述存储的数据备份更新消息的消息元素是否齐全，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

判断所述存储的数据备份更新消息的长度是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

判断所述存储的数据备份更新消息中的命令指示是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确。

所述数据备份节点将所述数据备份更新消息存储到本地的非易失存储模块中之后，还包括：

所述数据备份节点的数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据。

所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：

所述数据备份节点的数据库应用模块接收所述非易失存储模块中有未处理的数据备份更新消息的通知，所述通知是所述数据备份节点的数据处理模块或所述非易失存储模块通过所述数据备份节点的主机接口模块发出的；

所述数据库应用模块在接收到所述主机接口模块的通知后，触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述数据备份节点的操作系统模块；

所述数据库应用模块读取所述操作系统模块中的未处理的数据备份更新消息，以更新本地数据。

所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：

每隔预设时间所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述操作系统模块；

所述数据库应用模块读取所述操作系统中的未处理的数据备份更新消息，以更新本地数据。

所述方法还包括：

如果所述数据备份节点判断所述接收的消息为主备切换消息，则所述数据备份节点中的数据处理模块将所述主备切换消息通知给所述数据备份节点的数据库应用模块，触发所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；

所述数据备份节点在所述数据库应用模块更新本地数据后，根据所述主备切换消息执行所述主备切换操作。

所述方法还包括：

当所述数据备份节点启动时，所述数据备份节点的数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；

所述数据备份节点在所述数据库应用模块更新本地数据后，执行所述启动操作。

所述方法还包括：

当所述数据备份节点接收到数据读取请求时，所述数据备份节点的数据库应用模块层将所述数据读取请求路由到所述数据主节点上，使所述数据主节点读取所述数据读取请求的数据并返回所述数据读取请求的数据；或，

所述数据库应用模块查询所述非易失存储模块中是否有与所述数据读取请求的数据相关的未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据，读取并返回本地更新后的所述数据读取请求的数据；如果否，则读取并返回本地存储的所述数据读取请求的数据。

另一方面，还提供了一种节点设备，所述节点设备包括：数据处理模块和非易失存储模块；

所述数据处理模块，用于接收数据主节点发送的消息，并判断所述接收到的消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到所述非易失存储模块中，并向所述主数据节点返回备份成功响应。

所述数据处理模块，包括：

第一判断单元，用于判断所述消息接收模块接收到的消息的帧类型中是否包含预设的数值标志位，如果是，则确认所述消息为数据备份更新消息；或，

第二判断单元，用于判断所述消息接收模块接收到的消息中是否包含预设的IP协议端口号，如果是，则确认所述消息为数据备份更新消息；或，

第三判断单元，用于判断所述消息接收模块接收到的消息的应用层字段中是否携带预设标识，如果是，则确认所述消息为数据备份更新消息。

所述数据处理模块还包括：

消息格式判断单元，用于将所述数据备份更新消息存储到非易失存储模块中之后，判断所述存储的数据备份更新消息的格式是否正确，如果是，则触发所述消息识别模块执行向所述主数据节点返回备份成功响应的步骤。

所述消息格式判断单元，包括：

第一判断子单元，用于判断所述存储的数据备份更新消息的消息元素是否齐全，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

第二判断子单元，用于判断所述存储的数据备份更新消息的长度是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

第二判断子单元，用于判断所述存储的数据备份更新消息中的命令指示是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确。

所述节点还包括：数据库应用模块；

在所述数据处理模块将所述数据备份更新消息存储到本地的非易失存储模块中之后，所述数据库应用模块用于根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据。

所述节点还包括主机接口模块和操作系统模块；其中所述数据库应用模块，包括：

接收子模块，用于接收所述非易失存储模块中有未处理的数据备份更新消息的通知，所述通知是所述数据处理模块或所述非易失存储模块通过所述主机接口模块发出的；

触发子模块，用于在所述接收模块接收到所述主机接口模块的通知后，触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述操作系统模块；

第一更新子模块，用于读取所述触发子模块触发读入到所述操作系统模块中的未处理的数据备份更新消息，以更新本地数据。

所述数据备份节点包括主机接口模块和操作系统模块，其中所述数据库应用模块，包括：

查询子模块，用于每隔预设时间查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述操作系统模块；

第二更新子模块，用于读取所述查询子模块触发读入到操作系统模块中的未处理的数据备份更新消息，以更新本地数据。

如果所述数据处理模块判断出所述接收的消息为主备切换消息，则所述数据处理模块将所述主备切换消息通知给所述数据备份节点的数据库应用模块，触发所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据；

主备切换执行模块，用于在所述数据库应用模块更新本地数据后，根据所述主备切换消息执行所述主备切换操作。

当节点设备启动时，所述节点设备的数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据；

启动模块，用于在所述数据库应用模块更新本地数据后，执行所述启动操作。

当节点设备接收到数据读取请求时，所述节点设备的数据库应用模块将所述数据读取请求路由到所述数据主节点上，使所述数据主节点读取所述数据读取请求的数据并返回所述数据读取请求的数据；或，

所述数据库应用模块查询所述非易失存储模块中是否有与所述数据读取请求的数据相关的未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据，读取并返回本地更新后的所述数据读取请求的数据；如果否，则所述数据库应用模块读取并返回本地存储的所述数据读取请求的数据。

本发明实施例提供的技术方案带来的有益效果是：数据备份节点识别出数据主节点发送的消息为数据备份更新消息时，将所述消息存储到非易失存储模块中，并立即组装备份成功响应返回给数据主节点，缩短了数据备份节点对数据备份更新消息的响应时间，从而减少了数据主节点等待备份成功响应的时间，提高了系统的事务响应能力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中提供的一种数据处理的方法的流程图；

图2是本发明实施例中提供的另一中数据处理的方法的流程图；

图3是本发明实施例中提供的一种节点设备的示意图；

图4是本发明实施例中提供的另一种节点设备的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，本实施例中提供了一种数据处理的方法，包括：

101、数据备份节点接收数据主节点发送的消息；

102、所述数据备份节点判断所述消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到本地的非易失存储模块中，并向所述主数据节点返回备份成功响应。

可选地，数据备份节点判断所述消息是否为数据备份更新消息，包括：

所述数据备份节点判断所述消息的帧类型中是否包含预设的数值标志位，如果是，则确认所述消息为数据备份更新消息；或，

所述数据备份节点判断所述消息中是否包含预设的IP协议端口号，如果是，则确认所述消息为数据备份更新消息；或，

所述数据备份节点判断所述消息的应用层字段中是否携带预设标识，如果是，则确认所述消息为数据备份更新消息。

可选地，所述数据备份节点将所述数据备份更新消息存储到所本地的非易失存储模块中之后,还包括：

所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，如果是，则执行向所述主数据节点返回备份成功响应的步骤。

可选地，所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，包括：

判断所述存储的数据备份更新消息的消息元素是否齐全，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

判断所述存储的数据备份更新消息的长度是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

判断所述存储的数据备份更新消息中的命令指示是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确。

进一步地，所述数据备份节点将所述数据备份更新消息存储到本地的非易失存储模块中之后，还包括：

所述数据备份节点的数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据。

可选地，所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：

所述数据备份节点的数据库应用模块接收所述非易失存储模块中有未处理的数据备份更新消息的通知，所述通知是所述数据备份节点的数据处理模块或所述非易失存储模块通过所述数据备份节点的主机接口模块发出的；

所述数据库应用模块在接收到所述主机接口模块的通知后，触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述数据备份节点的操作系统模块；

所述数据库应用模块读取所述操作系统模块中的未处理的数据备份更新消息，以更新本地数据。

可选地，所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：

每隔预设时间所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述操作系统模块；

所述数据库应用模块读取所述操作系统中的未处理的数据备份更新消息，以更新本地数据。

其中，如果所述数据备份节点判断所述接收的消息为主备切换消息，则所述数据备份节点中的数据处理模块将所述主备切换消息通知给所述数据备份节点的数据库应用模块，触发所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；

所述数据备份节点在所述数据库应用模块更新本地数据后，根据所述主备切换消息执行所述主备切换操作。

本实施例中，当所述数据备份节点启动时，所述数据备份节点的数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；

所述数据备份节点在所述数据库应用模块更新本地数据后，执行所述启动操作。

本实施例中，当所述数据备份节点接收到数据读取请求时，所述数据备份节点的数据库应用模块层将所述数据读取请求路由到所述数据主节点上，使所述数据主节点读取所述数据读取请求的数据并返回所述数据读取请求的数据；或，

所述数据库应用模块查询所述非易失存储模块中是否有与所述数据读取请求的数据相关的未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据，读取并返回本地更新后的所述数据读取请求的数据；如果否，则读取并返回本地存储的所述数据读取请求的数据。

本实施例的有益效果是：数据备份节点识别出数据主节点发送的消息为数据备份更新消息时，将所述消息存储到非易失存储模块中，并立即组装备份成功响应返回给数据主节点，缩短了数据备份节点对数据备份更新消息的响应时间，从而减少了数据主节点等待备份成功响应的时间，提高了系统的事务响应能力。

参见图2，本实施例中提供了一种数据处理的方法，本实施例中的分布式系统包括数据主节点和数据备份节点，其中数据备份节点中包括：网卡、数据库应用层和操作系统，其中网卡包括：数据处理模块、非易失存储模块、主机接口模块、缓存模块和物理层接口模块。数据处理模块能够识别接收到的消息类型，非易失存储模块能够根据数据处理模块的指示存储消息。当数据备份节点收到数据备份更新消息后，节点网卡数据处理模块识别该消息为备份更新消息后，将该消息存储到非易失存储模块并返回备份成功响应，这样数据主节点就能够及时收到响应消息，继续后续操作，另一方面，数据备份节点的数据库应用层后续也将依据非易失存储模块存储的消息，完成数据在数据库应用层备份更新。

具体的本实施例中提供的数据处理方法包括：

201、当备份数据需要更新时，数据主节点的数据库应用层生成数据备份更新消息，经本地网卡转换成单帧物理信号发送到数据备份节点。

本步骤中，数据主节点向数据备份节点发送备份数据更新消息的步骤与现有技术类似，对此本实施例不再赘述。其中单帧物理信号也是数据备份更新消息，只是其数据存在形式与数据库应用层生成的数据备份更新消息的数据存在形式不一样。

值的说明的是，本实施例中的数据主节点中的网卡可以本实施例中的数据备份节点的网络结构一样，或是数据主节点中的网卡仍使用现有技术中的结构，对此本实施例不做具体限定。

202、数据备份节点网卡的物理层接口模块收到数据主节点发送的信号后，将其转换为数据内部传递的PHY（物理层）与MAC（数据链路层）间的接口消息发送到数据处理模块。

本步骤中物理层接口模块将接收到的信号进行转换的方法与现有技术类似，对此本实施例不再赘述。其中，转换后的消息可以为MII(media independent interface介质无关接口），GMII(Gigabit（千兆位）MII)格式的消息，对此本实施例不做具体限定。

203、数据处理模块判断该消息是否是数据备份更新消息，如果是，则将该消息存入网卡非易失存储模块。

本实施例中，为了使得数据处理模块能够识别接收到的消息类型，数据主节点在生成数据备份更新消息时，在该消息的帧类型中添加预设的数值标志位，和/或预设的IP协议端口号，和/或在消息应用层字段中添加预设标识，这样，数据处理模块就可以根据上述任意一个标识识别出该消息为数据备份更新消息。所以数据处理模块判断接收到的消息是否为数据备份更新消息，包括：

所述数据处理模块判断所述消息的帧类型中是否包含预设的数值标志位，如果是，则确认所述更新消息为数据备份更新消息；或，

所述数据处理模块判断所述消息中是否包含预设的IP协议端口号，如果是，则确认所述更新消息为数据备份更新消息；或，

所述数据处理模块采用DPI深度包检测技术，判断所述消息的应用层字段中是否携带预设标识，如果是，则确认所述更新消息为数据备份更新消息。

本实施例中，如果数据备份节点接收到的消息不是数据备份更新消息，则将该消息按现有技术中的方法进行处理，对此本实施例不再赘述。

204、数据处理模块组装备份成功响应并将该备份成功响应写入网卡的缓冲区模块，物理层接口模块将该备份成功响应从发送缓冲区读出，并将其转换为单帧物理信号后发送到数据主节点。

其中数据模块组成的备份成功响应即应答消息，其与现有技术中的应答消息类似，对此本实施例不再赘述。

本实施例中，数据备份节点识别出数据主节点发送的消息为数据备份更新消息时，将所述消息存储到非易失存储模块中，并立即组装备份成功响应返回给数据主节点，缩短了数据备份节点对数据备份更新消息的响应时间，从而减少了数据主节点等待备份成功响应的时间，提高了系统的事务响应能力。

本实施例中可选地，所述数据处理模块将所述数据备份更新消息存储到所述非易失存储模块中之后,还包括：所述数据处理模块判断所述接收的数据备份更新消息的格式是否正确，如果是，则组装备份成功响应返回个数据主节点，否则，组装消息格式错误响应返回给数据主节点，使数据主节点重新发送数据备份更新消息。

其中可选地，可以预先设置数据备份更新消息的格式，如设定其消息中包括的元素、消息长度或是消息中的命令指示，这样当数据处理模块确认非易失存储模块中的消息存储完毕后，就可以根据预先设置的数据备份更新消息的格式，确认该消息格式是否正确，以免在数据传输过程中出现丢包或是干扰导致数据接收错误的问题。其中，所述数据处理模块判断所述接收的数据备份更新消息的格式是否正确，包括：

判断所述接收的数据备份更新消息的消息元素是否齐全，如果是，则确认所述接收的数据备份更新消息的格式正确；或，

判断所述接收的数据备份更新消息的长度是否正确，如果是，则确认所述接收的数据备份更新消息的格式正确；或，

判断所述接收的数据备份更新消息中的命令指示是否正确，如果是，则确认所述接收的数据备份更新消息的格式正确。

本实施例中进一步地，所述数据处理模块将所述备份更新消息存储到所述非易失存储模块中之后，还包括：所述数据库应用层根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据。

可选地，所述数据库应用层根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：

1）数据处理模块或非易失存储模块通过所述主机接口模块通知数据库应用层非易失存储模块中有未处理的数据备份更新消息；

2）数据库应用层接收到通知后，触发非易失存储模块将未处理的数据备份更新消息通过主机接口模块读入到操作系统中，；

3）数据库应用层读取操作系统中的未处理的数据备份更新消息以更新本地数据。

上述数据库应用层更新本地数据的操作是由数据处理模块或是非易失存储模块触发的，可选地，数据库应用层更新本地数据的操作也可以是数据库应用层主动发出的，数据库应用层主动定期轮询，查看非易失存储模块中是否有未处理的消息，所以可选地，所述数据库应用层根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：每隔预设时间所述数据库应用层查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则触发所述非易失存储模块将所述未处理的数据备份更新消息通过主机接口模块读入到所述主机接口模块；所述数据库应用层读取所述操作系统中的未处理的数据备份更新消息以更新本地数据。

本实施例中，非易失存储模块中有未处理的数据备份更新消息后，主动通知数据库应用层或是数据库应用层定期轮询查看非易失存储模块模块，以更新数据库应用层的数据，其中从非易失存储到数据库应用层的更新可以在系统不忙的时候进行，所需要的主机CPU处理能力和存储设备IO可以在系统不忙的时候占用，这样数据主节点等待备份更成功响应的时间就除去了操作系统到数据库应用层的时间、数据库应用层的数据处理时间以及数据库应用层将数据写入到持久化介质的更新时间，从而减少了数据主节点的等待时间，进一步提高了系统整体的事务处理能力。

进一步地，本实施例中，在分布式数据库系统中，经常发生主备切换的情况，需要将数据备份节点切换为数据主节点进行数据处理，其中，当数据主节点需要与数据备份节点进行主备切换时，其流程如下：

1）数据数据主节点向数据备份节点发送主备切换消息；

2）数据备份节点的数据处理模块判断接收到的消息为主备切换消息，则所述数据处理模块将所述主备切换消息通知给所述数据备份节点的数据库应用层；

3）数据库应用层接收到所述主备切换消息后，查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；

4）数据备份节点在所述数据库应用层更新本地数据后，根据所述主备切换消息执行所述主备切换操作并返回主备切换应答响应。

本实施例中，在进行主备切换时，与现有技术的区别是，数据备份节点的数据库应用层需要查看非易失存储模块中是否有未处理的数据备份更新消息，如果有未更新的数据备份更新消息，则根据该消息更新本地数据，并在更新数据完毕后进行主备切换。其中涉及的其它操作与现有技术类似，对此本实施例不再赘述。

另一方面，本实施例中，当数据备份节点由于异常退出需要重新启动加入到系统中时，如因突然断电或用户误操作等原因，需先查看网卡中的非易失存储模块中是否有未处理的数据备份更新消息，如果有未处理的数据备份更新消息，则数据库应用层将获取这些消息，并根据这些消息完成备份数据在数据库应用层的更新。当非易失存储模块中的所有消息处理完后，该数据备份节点才能重新加入系统，进行其它节点数据同步等操作。所以本实施例中提供的数据处理方法还包括：

当所述数据备份节点启动时，所述数据备份节点的数据库应用层查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；所述数据备份节点在所述数据库应用层更新本地数据后，执行所述启动操作。

另一方面，本实施例中，当所述数据备份节点接收到数据读取请求时，所述数据备份节点的数据库应用层将所述数据读取请求路由到所述数据主节点上，使所述数据主节点读取所述数据读取请求的数据并返回所述数据读取请求的数据；或，所述数据库应用层查询所述非易失存储模块中是否有与所述数据读取请求的数据相关的未处理的数据备份更新消息，如果是，则所述数据库应用层根据所述未处理的数据备份更新消息更新本地数据，读取并返回本地更新后的所述数据读取请求的数据；如果否，则读取并返回本地存储的所述数据读取请求的数据。

由上可知，本实施例中，为了保证数据读取时候的一致性，当数据备份节点收到数据读取请求时，一种方法可以将数据读取请求路由到数据主节点上，由数据主节点读取数据并返回结果给客户端，其中将数据读取请求路由到数据主节点上的方法与现有技术类似，本实施例对此不再赘述。本实施例中的另一种方法是，在数据备份节点的本地读取数据并返回结果，其中需要数据库应用层先去查看非易失存储模块中是否有与请求相关的未处理的数据备份更新消息，如果有，则触发数据库应用层更新本地数据，使得数据库应用层中的数据与数据主节点中的数据保持一致，这样数据备份节点的数据库应用层读取的数据就会与从数据主节点中的数据一致。其中如果非易失存储模块中没有与请求相关的未处理的数据备份更新消息，则表明数据库应用层中的数据不需要进行更新，已经是最终的数据，直接从数据库应用层读取请求数据即可。

其中数据库应用层本身有一套规则和方法来判断未处理的数据备份更新消息是否与所要读取的数据相关，具体的规则和方法与现有技术类似，对此本实施例不再赘述。

参见图3，本实施例中提供了一种节点设备，包括：数据处理模块301和非易失存储模块302；

所述数据处理模块301，用于接收数据主节点发送的消息，并判断所述接收到的消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到所述非易失存储模块302中，并向所述主数据节点返回备份成功响应。

可选地，所述数据处理模块301，包括：

第一判断单元，用于判断所述接收到的消息的帧类型中是否包含预设的数值标志位，如果是，则确认所述消息为数据备份更新消息；或，

第二判断单元，用于判断所述接收到的消息中是否包含预设的IP协议端口号，如果是，则确认所述消息为数据备份更新消息；或，

第三判断单元，用于判断所述接收到的消息的应用层字段中是否携带预设标识，如果是，则确认所述消息为数据备份更新消息。

可选地，所述数据处理模块301还包括：

消息格式判断单元，用于所述数据处理模块301将所述数据备份更新消息存储到非易失存储模块302中之后，判断所述存储的数据备份更新消息的格式是否正确，如果是，则触发所述数据处理模块301执行向所述主数据节点返回备份成功响应的步骤。

可选地，所述消息格式判断单元，包括：

第一判断子单元，用于判断所述存储的数据备份更新消息的消息元素是否齐全，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

第二判断子单元，用于判断所述存储的数据备份更新消息的长度是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

第二判断子单元，用于判断所述存储的数据备份更新消息中的命令指示是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确。

参见图4，所述节点还包括：数据库应用模块303；

在所述数据处理模块301将所述数据备份更新消息存储到本地的非易失存储模块302中之后，所述数据库应用模块303用于根据所述非易失存储模块302中存储的数据备份更新消息，更新本地存储的数据。

参见图4，所述节点还包括主机接口模块304和操作系统模块305；其中所述数据库应用模块303，包括：

接收单元，用于接收所述非易失存储模块302中有未处理的数据备份更新消息的通知，所述通知是所述数据处理模块301或所述非易失存储模块302通过所述主机接口模块304发出的；

触发单元，用于在所述接收单元接收到所述主机接口模块304的通知后，触发所述非易失存储模块302将所述未处理的数据备份更新消息通过所述主机接口模块304读入到所述操作系统模块305；

第一更新子模块，用于读取所述触发子模块触发读入到所述操作系统模块中的未处理的数据备份更新消息，以更新本地数据。

可选地，所述数据库应用模块303，包括：

查询单元，用于每隔预设时间查询所述非易失存储模块302中是否有未处理的数据备份更新消息，如果是，则触发所述非易失存储模块302将所述未处理的数据备份更新消息通过所述主机接口模块303读入到所述操作系统模块304；

第二更新单元，用于读取所述查询单元触发读入到操作系统模块305中的未处理的数据备份更新消息，以更新本地数据。

本实施例中，如果所述数据处理模块301判断出所述接收的消息为主备切换消息，则所述数据处理模块301将所述主备切换消息通知给所述数据备份节点的数据库应用模块303，触发所述数据库应用模块303查询所述非易失存储模块302中是否有未处理的数据备份更新消息，如果是，则所述数据库应用模块303根据所述未处理的数据备份更新消息更新本地数据；

参见图4，所述节点还包括：主备切换执行模块306，用于在所述数据库应用模块303更新本地数据后，根据所述主备切换消息执行所述主备切换操作。

本实施例中，当节点设备启动时，所述节点设备的数据库应用模块303查询所述非易失存储模块302中是否有未处理的数据备份更新消息，如果是，则所述数据库应用模块303根据所述未处理的数据备份更新消息更新本地数据；

参见图4，所述节点还包括：启动模块307，用于在所述数据库应用模块更新本地数据后，执行所述启动操作。

进一步地，本实施例中，当节点设备接收到数据读取请求时，所述节点设备的数据库应用模块303将所述数据读取请求路由到所述数据主节点上，使所述数据主节点读取所述数据读取请求的数据并返回所述数据读取请求的数据；或，

所述数据库应用模块303查询所述非易失存储模块302中是否有与所述数据读取请求的数据相关的未处理的数据备份更新消息，如果是，则所述数据库应用模块303根据所述未处理的数据备份更新消息更新本地数据，读取并返回本地更新后的所述数据读取请求的数据；如果否，则所述数据库应用模块303读取并返回本地存储的所述数据读取请求的数据。

本实施例的有益效果是：数据备份节点识别出数据主节点发送的消息为数据备份更新消息时，将所述消息存储到非易失存储模块中，并立即组装备份成功响应返回给数据主节点，缩短了数据备份节点对数据备份更新消息的响应时间，从而减少了数据主节点等待备份成功响应的时间，提高了系统的事务响应能力。

本实施例提供的节点设备，具体可以与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

值得注意的是，上述节点设备实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种数据处理的方法，其特征在于，所述方法包括：

数据备份节点接收数据主节点发送的消息；

所述数据备份节点判断所述消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到本地的非易失存储模块中，并向所述主数据节点返回备份成功响应。

2.根据权利要求1所述的方法，其特征在于，所述数据备份节点判断所述消息是否为数据备份更新消息，包括：

所述数据备份节点判断所述消息的帧类型中是否包含预设的数值标志位，如果是，则确认所述消息为数据备份更新消息；或，

所述数据备份节点判断所述消息中是否包含预设的IP协议端口号，如果是，则确认所述消息为数据备份更新消息；或，

所述数据备份节点判断所述消息的应用层字段中是否携带预设标识，如果是，则确认所述消息为数据备份更新消息。

3.根据权利要求1或2所述的方法，其特征在于，所述数据备份节点将所述数据备份更新消息存储到所本地的非易失存储模块中之后,还包括：

所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，如果是，则执行向所述主数据节点返回备份成功响应的步骤。

4.根据权利要求3所述的方法，其特征在于，所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，包括：

判断所述存储的数据备份更新消息的消息元素是否齐全，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

判断所述存储的数据备份更新消息的长度是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

判断所述存储的数据备份更新消息中的命令指示是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确。

5.根据权利要求1或4任一项所述的方法，其特征在于，所述数据备份节点将所述数据备份更新消息存储到本地的非易失存储模块中之后，还包括：

所述数据备份节点的数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据。

6.根据权利要求5所述的方法，其特征在于，所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：

所述数据备份节点的数据库应用模块接收所述非易失存储模块中有未处理的数据备份更新消息的通知，所述通知是所述数据备份节点的数据处理模块或所述非易失存储模块通过所述数据备份节点的主机接口模块发出的；

所述数据库应用模块在接收到所述主机接口模块的通知后，触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述数据备份节点的操作系统模块；

所述数据库应用模块读取所述操作系统模块中的未处理的数据备份更新消息，以更新本地数据。

7.根据权利要求5所述的方法，其特征在于，所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：

每隔预设时间所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述操作系统模块；

所述数据库应用模块读取所述操作系统中的未处理的数据备份更新消息，以更新本地数据。

8.根据权利要求1-7任一项权利要求所述的方法，其特征在于，所述方法还包括：

如果所述数据备份节点判断所述接收的消息为主备切换消息，则所述数据备份节点中的数据处理模块将所述主备切换消息通知给所述数据备份节点的数据库应用模块，触发所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；

所述数据备份节点在所述数据库应用模块更新本地数据后，根据所述主备切换消息执行所述主备切换操作。

9.根据权利要求1-8任一项权利要求所述的方法，其特征在于，所述方法还包括：

当所述数据备份节点启动时，所述数据备份节点的数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；

所述数据备份节点在所述数据库应用模块更新本地数据后，执行所述启动操作。

10.根据权利要求1-9任一项权利要求所述的方法，其特征在于，所述方法还包括：

当所述数据备份节点接收到数据读取请求时，所述数据备份节点的数据库应用模块层将所述数据读取请求路由到所述数据主节点上，使所述数据主节点读取所述数据读取请求的数据并返回所述数据读取请求的数据；或，

所述数据库应用模块查询所述非易失存储模块中是否有与所述数据读取请求的数据相关的未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据，读取并返回本地更新后的所述数据读取请求的数据；如果否，则读取并返回本地存储的所述数据读取请求的数据。

11.一种节点设备，其特征在于，所述节点设备包括：数据处理模块和非易失存储模块；

所述数据处理模块，用于接收数据主节点发送的消息，并判断所述接收到的消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到所述非易失存储模块中，并向所述主数据节点返回备份成功响应。

12.根据权利要求11所述的节点设备，其特征在于，所述数据处理模块，包括：

第一判断单元，用于判断所述块接收到的消息的帧类型中是否包含预设的数值标志位，如果是，则确认所述消息为数据备份更新消息；或，

第二判断单元，用于判断所述接收到的消息中是否包含预设的IP协议端口号，如果是，则确认所述消息为数据备份更新消息；或，

第三判断单元，用于判断所述接收到的消息的应用层字段中是否携带预设标识，如果是，则确认所述消息为数据备份更新消息。

13.根据权利要求11或12所述的节点设备，其特征在于，所述数据处理模块还包括：

消息格式判断单元，用于将所述数据备份更新消息存储到非易失存储模块中之后，判断所述存储的数据备份更新消息的格式是否正确，如果是，则触发所述数据处理模块执行向所述主数据节点返回备份成功响应的步骤。

14.根据权利要求13所述的节点设备，其特征在于，所述消息格式判断单元，包括：

第一判断子单元，用于判断所述存储的数据备份更新消息的消息元素是否齐全，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

第二判断子单元，用于判断所述存储的数据备份更新消息的长度是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确；或，

第二判断子单元，用于判断所述存储的数据备份更新消息中的命令指示是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确。

15.根据权利要求11-14任一项所述的节点设备，其特征在于，所述节点还包括：数据库应用模块；

在所述数据处理模块将所述数据备份更新消息存储到本地的非易失存储模块中之后，所述数据库应用模块用于根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据。

16.根据权利要求15所述的节点设备，其特征在于，所述节点还包括主机接口模块和操作系统模块；其中所述数据库应用模块，包括：

接收单元，用于接收所述非易失存储模块中有未处理的数据备份更新消息的通知，所述通知是所述数据处理模块或所述非易失存储模块通过所述主机接口模块发出的；

触发单元，用于在所述接收单元接收到所述主机接口模块的通知后，触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述操作系统模块；

第一更新子模块，用于读取所述触发子模块触发读入到所述操作系统模块中的未处理的数据备份更新消息，以更新本地数据。

17.根据权利要求15所述的节点设备，其特征在于，所述数据备份节点包括主机接口模块和操作系统模块，其中所述数据库应用模块，包括：

查询单元，用于每隔预设时间查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述操作系统模块；

第二更新单元，用于读取所述查询单元触发读入到操作系统模块中的未处理的数据备份更新消息，以更新本地数据。

18.根据权利要求11-17任一项权利要求所述的节点设备，其特征在于，

如果所述数据处理模块判断出所述接收的消息为主备切换消息，则所述数据处理模块将所述主备切换消息通知给所述数据备份节点的数据库应用模块，触发所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据；

主备切换执行模块，用于在所述数据库应用模块更新本地数据后，根据所述主备切换消息执行所述主备切换操作。

19.根据权利要求11-18任一项权利要求所述的节点设备，其特征在于，

当节点设备启动时，所述节点设备的数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据；

启动模块，用于在所述数据库应用模块更新本地数据后，执行所述启动操作。

20.根据权利要求11-19任一项权利要求所述的节点设备，其特征在于，

当节点设备接收到数据读取请求时，所述节点设备的数据库应用模块将所述数据读取请求路由到所述数据主节点上，使所述数据主节点读取所述数据读取请求的数据并返回所述数据读取请求的数据；或，

所述数据库应用模块查询所述非易失存储模块中是否有与所述数据读取请求的数据相关的未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据，读取并返回本地更新后的所述数据读取请求的数据；如果否，则所述数据库应用模块读取并返回本地存储的所述数据读取请求的数据。

Images