CN103514212B - 数据写入方法及系统 - Google Patents

Abstract

一种数据写入方法，包括：获取数据访问请求，获取所述数据访问请求对应的数据标识；根据缓存的路由信息获取所述数据标识的状态信息，在所述状态信息为迁移状态时，根据所述路由信息建立与所述数据标识对应的目标存储节点的连接；根据所述数据访问请求以互斥的方式更新所述目标存储节点上与所述数据标识对应的数据。此外，还提供了一种数据写入系统。上述数据写入方法和系统可以提高数据迁移时的完整性。

Description

数据写入方法及系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据写入方法及系统。

背景技术

分布式系统中通常包括多台存储节点，每个存储节点上的数据分为多组，对应不同的数据标识。当某个存储节点发生故障需要维修时，需要对存储节点进行数据迁移，即将源存储节点上的数据迁移到目标存储节点上进行存储，并将接入节点与源存储节点的连接重定向至目标存储节点。

传统技术中，数据迁移工作由迁移服务器完成。迁移服务器先将源存储节点上的与数据标识对应的原始数据的置为迁移状态，然后读取该原始数据并写入到目标存储节点中。迁移服务器在迁移数据时，为了防止数据冲突，通常只允许接入节点对存储节点进行读操作，而禁止接入节点对存储节点进行写操作。

而传统技术中，在某些允许写操作的数据迁移过程中，接入节点与源存储节点保持连接。可获取数据访问请求，并根据数据访问请求在源存储节点上写入增量内容。迁移服务器完成原始数据的迁移后，再读取源存储节点上的增量内容并写入到目标存储节点中。

数据迁移完成后，接入节点再将与源存储节点的连接重定向至目标存储节点，并根据接收到的数据访问请求向接入节点写入数据。

然而传统技术中的数据写入方法使得迁移过程需要很严格的执行顺序。若接入节点重定向过早，则迁移服务器还未将增量内容完全写入目标存储节点，接入节点对目标存储节点的写入操作可能会引起数据冲突；若接入节点重定向过晚，接入节点又会在源存储节点写入新的增量内容。因此，传统技术中，数据写入方法使得迁移过程容易造成数据的遗失和冲突，从而降低了数据迁移时的数据完整性。

发明内容

基于此，有必要提供一种能提高数据迁移时的数据完整性的数据写入方法。

一种数据写入方法，包括：

获取数据访问请求，获取所述数据访问请求对应的数据标识；

根据缓存的路由信息获取所述数据标识的状态信息，在所述状态信息为迁移状态时，根据所述路由信息建立与所述数据标识对应的目标存储节点的连接；

根据所述数据访问请求以互斥的方式更新所述目标存储节点上与所述数据标识对应的数据。

此外，还有必要提供一种能提高数据迁移时的数据完整性的数据写入系统。

一种数据写入系统，包括接入节点，所述接入节点包括：

请求获取模块，用于获取数据访问请求，获取所述数据访问请求对应的数据标识；

状态信息获取模块，用于根据缓存的路由信息获取所述数据标识的状态信息。

连接建立模块，用于在所述状态信息为迁移状态时，根据所述路由信息建立与所述数据标识对应的目标存储节点的连接。

互斥写入模块，用于根据所述数据访问请求以互斥的方式更新所述目标存储节点上与所述数据标识对应的数据。

上述数据写入方法和系统，在获取到数据访问请求，并获取所述数据访问请求对应的数据标识后，根据与该数据标识对应的路由信息判断该数据标识对应的数据是否处于迁移状态中，并在该数据标识对应的数据处于迁移状态时，直接与目标存储节点建立连接，通过互斥写入的方式将增量内容写入目标存储节点。使得接入节点无需先在源存储节点上写入增量内容然后再重定向至目标存储节点，从而使得增量内容不会造成数据遗失和冲突，从而提高了数据完整性。

附图说明

图1为一个实施例中数据写入方法的流程图；

图2为一个实施例中接入节点、路由节点、存储节点和迁移服务器的连接关系图；

图3为一个实施例中数据写入系统的结构示意图；

图4为另一个实施例中数据写入系统的结构示意图。

具体实施方式

在一个实施例中，如图1所示，一种数据写入方法，包括：

步骤S102，获取数据访问请求，获取数据访问请求对应的数据标识。

客户端可向接入节点发起数据访问请求。接入节点为对数据访问请求进行处理的服务器，用于根据数据访问请求对存储节点（存储服务器）进行读写操作。在一个实施例中，数据访问请求中可包括增量内容以及和增量内容对应的数据标识。接入节点可从接收到的数据访问请求中提取数据标识。

在另一个实施例中，接入节点还可根据接收到的数据访问请求计算数据标识。具体的，数据访问请求中可包括增量内容的数据名称，可通过计算数据名称的哈希值来获取数据标识，即将数据名称的哈希值作为数据标识。

步骤S104，根据缓存的路由信息获取数据标识的状态信息，在状态信息为迁移状态时，根据路由信息建立与数据标识对应的目标存储节点的连接。

在一个实施例中，在步骤S104之前，还可获取路由节点下发的路由信息，并更新存储于缓存中。

在本实施例中，如图2所示，接入节点、存储节点以及迁移服务器分别与路由节点连接。迁移服务器在接收到迁移指令后，获取迁移指令对应的数据标识，读取源存储节点上与该数据标识对应的数据，并将该数据对应写入目标存储节点。

路由节点中存储有与数据标识对应的路由信息。路由节点可获取数据标识对应的存储节点（即存储了与数据标识对应的数据的存储节点）的标识或连接路由，并生成路由信息下发给各个接入节点。

路由信息中包含有与数据标识对应的状态信息，状态信息可使用状态码表示，状态信息可包括迁移状态和正常状态。

在本实施例中，迁移服务器在接收到迁移指令后，获取迁移指令对应的数据标识并通知路由节点，则路由节点更新路由信息中与数据标识对应的状态信息为迁移状态，然后将路由信息下发给各个接入节点。

在本实施例中，迁移服务器完成与数据标识对应的数据的迁移后通知路由节点，则路由节点更新路由信息中与数据标识对应的状态信息为正常状态，然后将路由信息下发给各个接入节点。

当数据标识对应的状态信息为正常状态时，路由信息中可包括与该数据标识对应的源存储节点的标识或连接路由；当数据标识对应的状态信息为迁移状态时，路由信息中可包括与该数据标识对应的源存储节点和目标存储节点这两者的标识或连接路由。

在一个实施例中，接入节点接收到的路由信息如表1所示：

数据标识	源存储节点	目标存储节点	状态
				00001	A		正常
00002	A	B	迁移
				00003	B	C	迁移

其中，数据00001存储于存储节点A上，没有被迁移，数据00002存储于存储节点A上，正在被迁移。需要说明的是，表1只是说明路由信息包含的内容，实际产品中路由信息并不需要以该实体表的形式存在。

在一个实施例中，根据缓存的路由信息获取数据标识的状态信息的步骤之后还可判断状态信息是否为正常状态，若是，则根据路由信息与源存储节点建立连接，根据数据访问请求对源存储节点进行读写操作。

具体的，当数据标识对应的数据没有处于迁移中时，接入节点可根据路由信息查找到存储该数据标识对应的数据的源存储节点，然后根据数据访问请求对该源存储节点直接进行读写操作。

步骤S106，根据数据访问请求以互斥的方式更新目标存储节点上与数据标识对应的数据。

在一个实施例中，根据数据访问请求以互斥的方式更新目标存储节点上与数据标识对应的数据的步骤可具体为：

获取数据访问请求中与数据标识对应的增量内容；在目标存储节点上查找与该数据标识对应的原始数据；若找到，则根据增量内容更新对应的原始数据，否则，将该增量内容合并写入目标存储节点。

在本实施例中，将该增量内容合并写入目标存储节点的步骤可具体为：在未找到与该数据标识对应的原始数据时，根据路由信息与源存储节点建立连接，从源存储节点读取与该数据标识对应的原始数据，并将读取的原始数据与该增量内容合并后写入目标存储节点。

迁移服务器在向目标存储节点写入与数据标识对应的原始数据之前，还可在目标存储节点上查找与该数据标识对应的数据；若找到，则丢弃该原始数据；否则，将与数据标识对应的原始数据写入目标存储节点。

进一步的，迁移服务器在找到与该原始数据对应的数据之后，还可通知路由节点将路由信息中数据标识与源存储节点的对应关系更改为数据标识对应目标存储节点，并通知路由节点将该数据标识对应的状态信息更改为正常状态。

迁移服务器若在目标存储节点上找到与数据标识对应的数据，则迁移服务器由源存储节点读取的原始数据已经过期，接入节点已将较新版本的与该数据标识对应的数据写入目标存储节点，也就是说，与数据标识对应的数据迁移已经完成。迁移服务器可通知路由节点修改与数据标识对应的路由状态。

迁移服务器在写入读取的原始数据之前，先在目标存储节点上查找与数据标识对应的数据，并根据查找结果来判断是否写入该原始数据，可以使迁移服务器在进行数据迁移时，对目标存储节点写入的原始数据不会对接入节点写入的较新的数据产生覆盖，从而避免了接入节点和迁移服务器之间的写入冲突。

在一个实施例中，获取数据访问请求中与数据标识对应的增量内容之后还可生成与数据标识对应的版本信息；在目标存储节点上查找与该数据标识对应的版本信息；若找到，则根据增量内容和版本信息更新目标存储节点上与数据标识对应的数据，否则，继续执行在目标存储节点上查找与该数据标识对应的数据的步骤。

在一个实施例中，可根据递增的数字生成与增量内容对应的版本信息。在另一个实施例中，还可根据获取到增量内容时的时间信息生成与增量内容对应的版本信息。

进一步的，根据增量内容和版本信息更新目标存储节点上与数据标识对应的数据的步骤可具体为：

比较增量内容的版本信息和查找到的版本信息，当增量内容的版本信息高于查找到的版本信息时，则更新增量内容和版本信息，否则不更新增量内容，可将增量内容丢弃。

进一步的，将读取的原始数据与该增量内容合并后写入目标存储节点的步骤之后还可将与数据标识对应的版本信息写入目标存储节点。

接入节点通过比较增量内容的版本信息和查找到的版本信息来判断是否需要更新增量内容，可以使得多个接入节点在对同一个目标存储节点写入增量内容时，相互之间可根据版本信息确定是否写入增量内容，从而保证了接入节点写入的增量内容均为最新的内容，避免了接入节点之间的写入冲突。

在一个实施例中，与目标存储节点建立连接的步骤之后，还可读取目标存储节点上与数据标识对应的数据，若未读取到，则根据路由信息读取源存储节点上与数据标识对应的数据，并将读取到的数据互斥写入目标存储节点。

在一个实施例中，如图3所示，一种数据写入系统，包括接入节点10。接入节点10包括：请求获取模块102、状态信息获取模块104、连接建立模块106和互斥写入模块108，其中：

请求获取模块102用于获取数据访问请求，获取数据访问请求对应的数据标识。

客户端可向接入节点10发起数据访问请求。接入节点10为对数据访问请求进行处理的服务器，用于根据数据访问请求对存储节点（存储服务器）进行读写操作。在一个实施例中，数据访问请求中可包括增量内容以及和增量内容对应的数据标识。请求获取模块102可用于从接收到的数据访问请求中提取数据标识。

在另一个实施例中，请求获取模块102还可用于根据接收到的数据访问请求计算数据标识。具体的，数据访问请求中可包括增量内容的数据名称，可通过计算数据名称的哈希值来获取数据标识，即将数据名称的哈希值作为数据标识。

状态信息获取模块104用于根据缓存的路由信息获取数据标识的状态信息。

连接建立模块106用于在状态信息为迁移状态时，根据路由信息建立与数据标识对应的目标存储节点的连接。

在一个实施例中，如图4所示，接入节点10还包括路由信息获取模块110，可用于获取路由节点下发的路由信息，并更新存储于缓存中。

在本实施例中，如图4所示，数据写入系统还包括接入节点10、迁移服务器20、路由节点30、源存储节点40和目标存储节点50。

迁移服务器20可用于在接收到迁移指令后，获取迁移指令对应的数据标识，读取源存储节点40上与该数据标识对应的数据，并将该数据对应写入目标存储节点50。

路由节点30中存储有与数据标识对应的路由信息。路由节点30可用于获取数据标识对应的源存储节点和/或目标存储节点（即存储了与数据标识对应的数据的存储节点）的标识或连接路由，并生成路由信息下发给各个接入节点。

路由信息中包含有与数据标识对应的状态信息，状态信息可使用状态码表示，状态信息可包括迁移状态和正常状态。

在本实施例中，迁移服务器20可用于在接收到迁移指令后，获取迁移指令对应的数据标识并通知路由节点。路由节点30可用于更新路由信息中与数据标识对应的状态信息为迁移状态，然后将路由信息下发给各个接入节点。

在本实施例中，迁移服务器20可用于在完成与数据标识对应的数据的迁移后通知路由节点。路由节点30可用于更新路由信息中与数据标识对应的状态信息为正常状态，然后将路由信息下发给各个接入节点。

当数据标识对应的状态信息为正常状态时，路由信息中可包括与该数据标识对应的源存储节点的标识或连接路由；当数据标识对应的状态信息为迁移状态时，路由信息中可包括与该数据标识对应的源存储节点和目标存储节点这两者的标识或连接路由。

在一个实施例中，如图4所示，接入节点10还包括源存储节点读写模块112，用于在状态信息为正常状态时，根据路由信息与源存储节点建立连接，根据数据访问请求对源存储节点进行读写操作。

具体的，当数据标识对应的数据没有处于迁移中时，源存储节点读写模块112可用于根据路由信息查找到存储该数据标识对应的数据的源存储节点，然后根据数据访问请求对源存储节点直接进行读写操作。

互斥写入模块108，用于根据数据访问请求以互斥的方式更新目标存储节点上与数据标识对应的数据。

在一个实施例中，互斥写入模块108还可用于获取数据访问请求中与数据标识对应的增量内容；在目标存储节点上查找与该数据标识对应的原始数据；若找到，则根据增量内容更新对应的原始数据，否则，将该增量内容合并写入目标存储节点。

在本实施例中，互斥写入模块108还可用于在未找到与该数据标识对应的原始数据时，根据路由信息与源存储节点建立连接，从源存储节点读取与该数据标识对应的原始数据，并将读取的原始数据与该增量内容合并后写入目标存储节点。

迁移服务器20还用于在向目标存储节点写入与数据标识对应的原始数据之前在目标存储节点上查找与该数据标识对应的数据；若找到，则丢弃该原始数据；否则，将与数据标识对应的原始数据写入目标存储节点。

进一步的，迁移服务器20还可用于在找到与该原始数据对应的数据之后通知路由节点将路由信息中数据标识与源存储节点的对应关系更改为数据标识对应目标存储节点，并通知路由节点将该数据标识对应的状态信息更改为正常状态。

迁移服务器若在目标存储节点上找到与数据标识对应的数据，则迁移服务器由源存储节点读取的原始数据已经过期，接入节点已将较新版本的与该数据标识对应的数据写入目标存储节点，也就是说，与数据标识对应的数据迁移已经完成。迁移服务器可通知路由节点修改与数据标识对应的路由状态。

迁移服务器在写入读取的原始数据之前，先在目标存储节点上查找与数据标识对应的数据，并根据查找结果来判断是否写入该原始数据，可以使迁移服务器在进行数据迁移时，对目标存储节点写入的原始数据不会对接入节点写入的较新的数据产生覆盖，从而避免了接入节点和迁移服务器之间的写入冲突。

在一个实施例中，互斥写入模块108还可用于在获取数据访问请求中与数据标识对应的增量内容之后生成与数据标识对应的版本信息；在目标存储节点上查找与该数据标识对应的版本信息；若找到，则根据增量内容和版本信息更新目标存储节点上与数据标识对应的数据，否则，继续在目标存储节点上查找与该数据标识对应的原始数据。

在一个实施例中，互斥写入模块108还可用于根据递增的数字生成与增量内容对应的版本信息。在另一个实施例中，互斥写入模块108还可用于根据获取到增量内容时的时间信息生成与增量内容对应的版本信息。

进一步的，互斥写入模块108还可用于比较增量内容的版本信息和查找到的版本信息，当增量内容的版本信息高于查找到的版本信息时，则更新增量内容和版本信息，否则不更新增量内容，可将增量内容丢弃。

进一步的，互斥写入模块108还可用于在将读取的原始数据与该增量内容合并后写入目标存储节点时，将与数据标识对应的版本信息写入目标存储节点。

接入节点10通过比较增量内容的版本信息和查找到的版本信息来判断是否需要更新增量内容，可以使得多个接入节点在对同一个目标存储节点写入增量内容时，相互之间可根据版本信息确定是否写入增量内容，从而保证了接入节点10写入的增量内容均为最新的内容，避免了接入节点10之间的写入冲突。

在一个实施例中，如图4所示，接入节点10还包括数据读取模块114，用于读取目标存储节点上与数据标识对应的数据，若未读取到，则根据路由信息读取源存储节点上与数据标识对应的数据。

本实施例中，互斥写入模块108还用于将数据读取模块114读取到的数据互斥写入目标存储节点。

上述数据写入方法和系统，在获取到数据访问请求，并获取所述数据访问请求对应的数据标识后，根据与该数据标识对应的路由信息判断该数据标识对应的数据是否处于迁移状态中，并在该数据标识对应的数据处于迁移状态时，直接与目标存储节点建立连接，通过互斥写入的方式将增量内容写入目标存储节点。使得接入节点无需先在源存储节点上写入增量内容然后再重定向至目标存储节点，从而使得增量内容不会造成数据遗失和冲突，从而提高了数据完整性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）或随机存储记忆体（RandomAccessMemory，RAM）等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种数据写入方法，包括：

获取数据访问请求，获取所述数据访问请求对应的数据标识；

根据缓存的路由信息获取所述数据标识的状态信息，在所述状态信息为迁移状态时，根据所述路由信息建立与所述数据标识对应的目标存储节点的连接；

根据所述数据访问请求以互斥的方式更新所述目标存储节点上与所述数据标识对应的数据，具体为：获取数据访问请求中与所述数据标识对应的增量内容，在所述目标存储节点上查找与所述数据标识对应的原始数据，若找到，则根据所述增量内容更新对应的原始数据，否则，将所述增量内容合并写入所述目标存储节点。

2.根据权利要求1所述的数据写入方法，其特征在于，所述根据缓存的路由信息获取所述数据标识的状态信息的步骤之后还包括：

判断所述状态信息是否为正常状态，若是，则根据所述路由信息与源存储节点建立连接，根据数据访问请求对所述源存储节点进行读写操作。

3.根据权利要求1所述的数据写入方法，其特征在于，所述根据所述路由信息建立与所述数据标识对应的目标存储节点的连接的步骤之后，还包括：

读取目标存储节点上与所述数据标识对应的数据，若未读取到，则根据所述路由信息读取源存储节点上与所述数据标识对应的数据；

将所述读取到的数据互斥写入所述目标存储节点。

4.根据权利要求1所述的数据写入方法，其特征在于，所述方法还包括：

获取路由节点下发的路由信息并进行缓存。

5.根据权利要求1所述的数据写入方法，其特征在于，所述获取数据访问请求中与数据标识对应的增量内容的步骤之后还包括：

生成与所述数据标识对应的版本信息；

在所述目标存储节点上查找与所述数据标识对应的版本信息；若找到，则根据所述增量内容和版本信息更新所述目标存储节点上与所述数据标识对应的数据，否则，继续执行在目标存储节点上查找与该数据标识对应的原始数据的步骤。

6.一种数据写入系统，包括接入节点，其特征在于，所述接入节点包括：

请求获取模块，用于获取数据访问请求，获取所述数据访问请求对应的数据标识；

状态信息获取模块，用于根据缓存的路由信息获取所述数据标识的状态信息；

连接建立模块，用于在所述状态信息为迁移状态时，根据所述路由信息建立与所述数据标识对应的目标存储节点的连接；

互斥写入模块，用于根据所述数据访问请求以互斥的方式更新所述目标存储节点上与所述数据标识对应的数据，获取数据访问请求中与所述数据标识对应的增量内容，在所述目标存储节点上查找与所述数据标识对应的原始数据，若找到，则根据所述增量内容更新对应的原始数据，否则，将所述增量内容合并写入所述目标存储节点。

7.根据权利要求6所述的数据写入系统，其特征在于，所述接入节点还包括：

源存储节点读写模块，用于在所述状态信息为正常状态时，根据所述路由信息与源存储节点建立连接，根据数据访问请求对所述源存储节点进行读写操作。

8.根据权利要求6所述的数据写入系统，其特征在于，所述接入节点还包括：

数据读取模块，用于读取目标存储节点上与所述数据标识对应的数据，若未读取到，则根据所述路由信息读取源存储节点上与所述数据标识对应的数据；

所述互斥写入模块还用于将所述数据读取模块读取到的数据互斥写入所述目标存储节点。

9.根据权利要求6所述的数据写入系统，其特征在于，所述接入节点还包括：

路由信息获取模块，用于获取路由节点下发的路由信息并进行缓存。

10.根据权利要求6所述的数据写入系统，其特征在于，所述互斥写入模块还用于在获取数据访问请求中与数据标识对应的增量内容之后生成与所述数据标识对应的版本信息，在所述目标存储节点上查找与所述数据标识对应的版本信息；若找到，则根据所述增量内容和版本信息更新所述目标存储节点上与所述数据标识对应的数据，否则，继续在目标存储节点上查找与该数据标识对应的原始数据。

11.根据权利要求6所述的数据写入系统，其特征在于，所述数据写入系统还包括：

路由节点，用于获取数据标识对应的源存储节点和/或目标存储节点的标识或连接路由，并生成路由信息下发给各个接入节点。

12.根据权利要求6所述的数据写入系统，其特征在于，所述数据写入系统还包括：

迁移服务器，用于在接收到迁移指令后，获取迁移指令对应的数据标识，读取源存储节点上与该数据标识对应的原始数据，并将所述原始数据对应写入目标存储节点。

13.根据权利要求12所述的数据写入系统，其特征在于，所述迁移服务器还用于在向所述目标存储节点写入与所述数据标识对应的原始数据之前在目标存储节点上查找与该数据标识对应的数据；若找到，则丢弃该原始数据；否则，写入该原始数据。