CN106257450B - 集群系统的文件定位、存储方法和装置 - Google Patents

Abstract

本发明公开了一种集群系统的文件定位、存储方法和装置。其中，该方法包括：接收客户终端发送的定位目标文件指令，定位目标文件指令中携带有待定位目标文件的路径信息；根据路径信息，计算待定位目标文件的特征值；根据特征值确定待定位目标文件所在的存储地址映射的取值区间；根据存储地址映射的取值区间确定待定位目标文件所在的第一集群节点；判断第一集群节点是否正常通信；在判断出第一集群节点正常通信的情况下，确定待定位目标文件存储在第一集群节点上。通过本发明，解决了现有技术中主服务器故障导致集群无法定位的问题，达到了提高集群系统可用性的目的，从而实现了准确确定文件所处位置的技术效果。

Description

集群系统的文件定位、存储方法和装置

技术领域

本发明涉及集群系统文件定位领域，具体而言，涉及一种集群系统的文件定位、存储方法和装置。

背景技术

目前常见的集群文件索引定位方法是通过在集群中布置主数据服务器来实现的，以GFS(全局文件系统Global File System，简称GFS)为例进行说明：GFS文件系统由客户端、主服务器和多台数据块服务器组成，主服务器重放元数据服务器的角色，文件的索引定位信息保存在主服务器上。客户端在定位文件时首先向主服务器发送请求，获取文件信息和文件所在的数据块服务器位置后，再向数据块服务器发出请求访问文件数据。这种方法的缺点是文件索引依赖于主服务器，当主服务器故障时，整个集群的文件检索定位都无法执行。其他集群文件系统例如lustre(一种平行分布式文件系统)，虽然在集群中设置了2个主数据服务器来降低单个主数据服务器故障对整个集群的影响，但是仍然无法解决2个主服务器均故障时整个集群无法进行定位工作的问题。

针对上述现有技术中主服务器故障导致集群无法定位的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种集群系统的文件定位、存储方法和装置，以至少解决现有技术中主服务器故障导致集群无法定位的技术问题。

根据本发明实施例的一个方面，提供了一种集群系统的文件定位方法，所述集群系统包括至少两个对等分布的集群节点，每个所述集群节点具有相应的存储地址映射取值区间，所述集群节点之间互相通信连接，所述方法包括：接收客户终端发送的定位目标文件指令，所述定位目标文件指令中携带有待定位目标文件的路径信息；根据所述路径信息，计算所述待定位目标文件的特征值；根据所述特征值确定所述待定位目标文件所在的存储地址映射的取值区间；根据所述存储地址映射的取值区间确定所述待定位目标文件所在的第一集群节点；判断所述第一集群节点是否正常通信；在判断出所述第一集群节点正常通信的情况下，确定所述待定位目标文件存储在所述第一集群节点上。

进一步地，判断出所述第一集群节点不能正常通信的情况下，所述方法还包括：更新所述集群节点中正常通信节点的取值区间；对所述特征值进行取整计算；获取经过取整计算后所述特征值所处的取值区间；确定所述待定位目标文件存储在第二集群节点上，其中，所述第二集群节点为取整计算后所述特征值所处的取值区间对应的节点。

进一步地，对所述特征值进行取整计算包括：计算所述特征值和所述第一集群节点的取值区间起始值之差，得到差值；计算所述差值除以第一集群节点的区间长度，得到中间结果，其中，第一集群节点的区间长度为目标最大值与目标最小值之差，所述目标最大值为所述第一集群节点的取值区间的最大值，所述目标最小值为所述第一集群节点的取值区间的最小值；计算所述中间结果乘以所述集群节点中正常通信节点的数量，得到目标结果；向上取整所述目标结果得到取整计算后的所述特征值。

进一步地，更新所述集群节点中正常通信节点的取值区间包括：根据所述集群节点中正常通信节点的数量将所述第一集群节点的取值区间等分，得到多个取值子区间；将所述多个取值子区间一一对应地分配给所述集群节点中正常通信的节点。

进一步地，根据所述路径信息，计算所述待定位目标文件的特征值包括：将所述路径信息转换成固定长度；对所述固定长度取余计算，得到所述特征值。

根据本发明实施例的另一方面，还提供了一种集群系统的文件定位装置，包括：第一接收单元，用于接收客户终端发送的定位目标文件指令，所述定位目标文件指令中携带有待定位目标文件的路径信息；第一计算单元，用于根据所述路径信息，计算所述待定位目标文件的特征值；第一确定单元，用于根据所述特征值确定所述待定位目标文件所在的存储地址映射的取值区间；第二确定单元，用于根据所述存储地址映射的取值区间确定所述待定位目标文件所在的第一集群节点；第一判断单元，用于判断所述第一集群节点是否正常通信；第三确定单元，用于在判断出所述第一集群节点正常通信的情况下，确定所述待定位目标文件存储在所述第一集群节点上。

进一步地，所述装置包括：第一更新单元，用于更新所述集群节点中正常通信节点的取值区间；第二计算单元，用于对所述特征值进行取整计算；第一获取单元，用于获取经过取整计算后所述特征值所处的取值区间；第四确定单元，用于确定所述待定位目标文件存储在第二集群节点上，其中，所述第二集群节点为取整计算后所述特征值所处的取值区间对应的节点。

进一步地，所述第二计算单元包括：第一计算模块，用于计算所述特征值和所述第一集群节点的取值区间起始值之差，得到差值；第二计算模块，用于计算所述差值除以第一集群节点的区间长度，得到中间结果，其中，第一集群节点的区间长度为目标最大值与目标最小值之差，所述目标最大值为所述第一集群节点的取值区间的最大值，所述目标最小值为所述第一集群节点的取值区间的最小值；第三计算模块，用于计算所述中间结果乘以所述集群节点中正常通信节点的数量，得到目标结果；第四计算模块，用于向上取整所述目标结果得到取整计算后的所述特征值。

进一步地，所述更新单元包括：第五计算模块，用于根据所述集群节点中正常通信节点的数量将所述第一集群节点的取值区间等分，得到多个取值子区间；分配模块，用于将所述多个取值子区间一一对应地分配给所述集群节点中正常通信的节点。

进一步地，所述第一计算单元包括：转换模块，用于将所述路径信息转换成固定长度；计算模块，用于对所述固定长度取余计算，得到所述特征值。

根据本发明实施例的一个方面，提供了一种集群系统的文件存储方法，所述集群系统包括至少两个对等分布的集群节点，每个所述集群节点具有相应的存储地址映射的取值区间，所述集群节点之间互相通信连接，所述方法包括：接收客户终端发送的存储目标文件指令，所述存储目标文件指令中携带有待存储目标文件的路径信息；根据所述路径信息，计算所述待存储目标文件的特征值；根据所述特征值确定所述待存储目标文件所在的存储地址映射的取值区间；根据所述存储地址映射的取值区间确定所述待存储目标文件所存储的第一集群节点；判断所述第一集群节点是否正常通信；在判断出所述第一集群节点正常通信的情况下，存储所述待存储目标文件于所述第一集群节点上。

进一步地，在判断出所述第一集群节点不能正常通信的情况下，所述方法还包括：更新所述集群节点中正常通信节点的取值区间；对所述特征值进行取整计算；获取经过取整计算后所述特征值所处的取值区间；将所述待存储目标文件存储在第二集群节点上，其中，所述第二集群节点为取整计算后所述特征值所处的取值区间对应的节点。

根据本发明实施例的另一方面，还提供了一种集群系统的文件存储装置，包括：第二接收单元，用于接收客户终端发送的存储目标文件指令，所述存储目标文件指令中携带有待存储目标文件的路径信息；第三计算单元，用于根据所述路径信息，计算所述待存储目标文件的特征值；第五确定单元，用于根据所述特征值确定所述待存储目标文件所在的存储地址映射的取值区间；第六确定单元，用于根据所述存储地址映射的取值区间确定所述待存储目标文件所存储的第一集群节点；第二判断单元，用于判断所述第一集群节点是否正常通信；第一存储单元，在判断出所述第一集群节点正常通信的情况下，存储所述待存储目标文件于所述第一集群节点上。

进一步地，所述装置包括：第二更新单元，用于更新所述集群节点中正常通信节点的取值区间；第四计算单元，用于对所述特征值进行取整计算；第二获取单元，用于获取经过取整计算后所述特征值所处的取值区间；第二存储单元，用于将所述待存储目标文件存储在第二集群节点上，其中，所述第二集群节点为取整计算后所述特征值所处的取值区间对应的节点。

在本发明实施例中，采用接收客户终端发送的定位目标文件指令，定位目标文件指令中携带有待定位目标文件的路径信息；根据路径信息，计算待定位目标文件的特征值；根据特征值确定待定位目标文件所在的存储地址映射的取值区间；根据存储地址映射的取值区间确定待定位目标文件所在的第一集群节点；判断第一集群节点是否正常通信；在判断出第一集群节点正常通信的情况下，确定待定位目标文件存储在第一集群节点上。通过接收来自客户终端的定位目标文件的指令，其中，在定位目标文件的指令中带有待定位目标文件的路径信息，根据路径信息计算待定位目标文件的特征值，然后将待定位目标文件的特征值与集群系统中各集群节点的取值区间进行比较，确定出待定位目标文件的特征值所在的存储地址映射的取值区间，然后根据该取值区间对应的第一集群节点的通信状态来确定待定位目标文件的位置，当判断出第一集群节点能够正常通信的情况下，就可以确定出待定位目标文件存储于第一集群节点上，此种根据待定位目标文件特征值进行文件定位的方式，不涉及集群系统中主从服务器的布置。这样就解决了现有技术中主服务器故障导致集群无法定位的问题，达到了提高集群系统可用性的目的，从而实现了准确确定文件所处位置的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例可选的一种集群系统的文件定位方法的流程图；

图2是根据本发明实施例可选的另一种集群系统的文件定位方法的流程图；

图3是根据本发明实施例集群系统的文件定位方法中对特征值进行取整计算的流程图；

图4是根据本发明实施例集群系统的文件定位方法中更新集群节点中正常通信节点的取值区间的流程图；

图5是根据本发明实施例集群系统的文件定位方法中计算待定位目标文件特征值的流程图；

图6是根据本发明实施例可选的另一种集群系统的文件定位方法的流程图；

图7是根据本发明实施例可选的一种集群系统的文件定位装置的结构框图；

图8是根据本发明实施例可选的另一种集群系统的文件定位装置的结构框图；

图9是根据本发明实施例集群系统的文件定位装置中第二计算单元的结构框图；

图10是根据本发明实施例集群系统的文件定位装置中更新单元的结构框图；

图11是根据本发明实施例集群系统的文件定位装置中第一计算单元的结构框图；

图12是根据本发明实施例可选的一种集群系统的文件存储方法的流程图；以及

图13是根据本发明实施例可选的一种集群系统的文件存储装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种集群系统的文件定位方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例可选的一种集群系统的文件定位方法的流程图，如图1所示，该方法包括如下步骤S102至步骤S112：

步骤S102，接收客户终端发送的定位目标文件指令，定位目标文件指令中携带有待定位目标文件的路径信息。

步骤S104，根据路径信息，计算待定位目标文件的特征值，具体地，可以将待定位目标文件的路径信息通过哈希算法转换成固定长度，在本发明实施例中，固定长度为十六进制数值，可以以0xffffffff为除数，将固定长度的十六进制数值除以0xffffffff，得到余数，该余数作为待定位目标文件的特征值，其中，选用的哈希算法为JS算法。

步骤S106，根据特征值确定待定位目标文件所在的存储地址映射的取值区间，具体地，集群系统中包含多个节点，每个节点代表集群系统中的每一台服务器，将集群系统内每个节点进行编号，并将系统使用的特征值取值范围均分，为集群系统中每个节点依次分配取值区间，然后将待定位目标文件的特征值映射到集群系统中每个集群节点的特征值取值范围内，确定出待定位目标文件所处的取值区间。

步骤S108，根据存储地址映射的取值区间确定待定位目标文件所在的第一集群节点。

步骤S110，判断第一集群节点是否正常通信，具体地，在本发明实施例中，集群系统可以根据节点间的心跳握手情况得到各节点的接入状态，从而判断集群系统中节点是否能够正常通信，当第一集群节点可以正常通信，可以确定第一集群节点健康，当第一集群节点不能正常通信，可以确定第一集群节点发生了故障。

步骤S112，在判断出第一集群节点正常通信的情况下，确定待定位目标文件存储在第一集群节点上。

本发明实施例所提供的集群系统的文件定位方法，通过接收来自客户终端的定位目标文件的指令，其中，在定位目标文件的指令中带有待定位目标文件的路径信息，根据路径信息计算待定位目标文件的特征值，然后将待定位目标文件的特征值与集群系统中各集群节点的取值区间进行比较，确定出待定位目标文件的特征值所在的存储地址映射的取值区间，然后根据该取值区间对应的第一集群节点的通信状态来确定待定位目标文件的位置，当判断出第一集群节点能够正常通信的情况下，就可以确定出待定位目标文件存储于第一集群节点上，此种根据待定位目标文件特征值进行文件定位的方式，不涉及集群系统中主从服务器的布置。这样就解决了现有技术中主服务器故障导致集群无法定位的问题，达到了提高集群系统可用性的目的，从而实现了准确确定文件所处位置的技术效果。

图2是根据本发明实施例可选的另一种集群系统的文件定位方法的流程图，如图2所示，该方法包括如下步骤S202至步骤S216：

步骤S202：接收客户终端发送的定位目标文件指令，定位目标文件指令中携带有待定位目标文件的路径信息。

步骤S204：根据路径信息，计算待定位目标文件的特征值，具体地，可以将待定位目标文件的路径信息通过哈希算法转换成固定长度，在本发明实施例中，固定长度为十六进制数值，可以以0xffffffff为除数，将固定长度的十六进制数值除以0xffffffff，得到余数，该余数作为待定位目标文件的特征值，其中，选用的哈希算法为JS算法。

步骤S206：根据特征值确定待定位目标文件所在的存储地址映射取值区间，具体地，集群系统中包含多个节点，每个节点代表集群系统中的每一台服务器，将集群系统内每个节点进行编号，并将系统使用的特征值取值范围均分，为集群系统中每个节点依次分配取值区间，然后将待定位目标文件的特征值映射到集群系统中每个集群节点的特征值取值范围内，确定出待定位目标文件所处的取值区间。

步骤S208：根据存储地址映射的取值区间确定待定位目标文件所在的第一集群节点。

步骤S210：在判断出第一集群节点不能正常通信的情况下，更新集群节点中正常通信节点的取值区间。

步骤S212：对特征值进行取整计算。

步骤S214：获取经过取整计算后特征值所处的取值区间。

步骤S216：确定待定位目标文件存储在第二集群节点上，其中，第二集群节点为取整计算后特征值所处的取值区间对应的节点。

具体地，利用节点间心跳握手判断出第一集群节点不能正常通信，即确定出第一集群节点出现故障，处于离线状态。此种情况，需要重新获取剩余正常通信的集群节点的数量，其中，正常通信的集群节点表示健康的集群节点，此时健康的集群节点处于在线状态。将第一集群节点的取值区间等分，得到多个取值子区间，多个取值子区间的个数等于剩余正常通信的集群节点的数量，为剩余正常通信的集群节点重新分配取值区间，将多个取值子区间一一对应分配给剩余正常通信的集群节点，然后计算处理待定位目标文件的特征值，得到经过计算处理之后的特征值所处的取值区间，与特征值所处的取值区间对应的第二集群节点即为待定位目标文件所在的集群节点。

图3是根据本发明实施例集群系统的文件定位方法中对特征值进行取整计算的流程图，如图3所示，该方法包括如下步骤S302至步骤S308：

步骤S302：计算特征值和第一集群节点的取值区间起始值之差，得到差值。

步骤S304：计算差值除以第一集群节点的区间长度，得到中间结果，其中，第一集群节点的区间长度为目标最大值与目标最小值之差，目标最大值为第一集群节点的取值区间的最大值，目标最小值为第一集群节点的取值区间的最小值。

步骤S306：计算中间结果乘以集群节点中正常通信节点的数量，得到目标结果。

步骤S308：向上取整目标结果得到取整计算后的特征值。

具体地，当判断第一集群节点不能正常通信，需要对待定位目标文件的特征值进行进一步的取整计算处理，首先将待定位目标文件的特征值减去第一集群节点的取值区间起始值，得到差值，将差值除以第一集群节点的区间长度，得到中间结果，再将中间结果乘以集群节点中剩余的能够正常通信的节点的数量，得到目标结果，最后将目标结果进行向上取整处理，最后得到计算处理之后的特征值。经过取整计算之后待定位目标文件的特征值对应集群节点中剩余能够正常通信的节点的一个编号，编号所在的节点即为第二集群节点。采用本发明实施例所提供的特征值的计算方式，完成对文件的索引定位的工作主要是通过计算而非查询，由于定位待定位目标文件是基于计算而非查询，提高了目标文件定位的处理速度。

图4是根据本发明实施例集群系统的文件定位方法中更新集群节点中正常通信节点的取值区间的流程图，如图4所示，该方法包括如下步骤S402至步骤S404：

步骤S402：根据集群节点中正常通信节点的数量将第一集群节点的取值区间等分，得到多个取值子区间。

步骤S404：将多个取值子区间一一对应地分配给集群节点中正常通信的节点。

具体地，当判断出第一集群节点不能正常通信，需要更新集群节点中剩余正常通信节点的取值区间，将第一集群节点的取值区间按照集群节点中剩余正常通信节点的数量等分，得到多个子区间的个数等于集群节点中剩余正常通信节点的数量，将多个取值子区间一一对应分配给集群节点中剩余正常通信的节点，从而避免了单个或者几个集群节点故障导致整个集群系统不可用的问题。

图5是根据本发明实施例集群系统的文件定位方法中计算待定位目标文件特征值的流程图，如图5所示，该方法包括如下步骤S502至步骤S504：

步骤S502：将路径信息转换成固定长度。

步骤S504：对固定长度取余计算，得到特征值。

具体地，为了确定待定位目标文件的定位位置，需要计算待定位目标文件特征值，特征值计算可以选用哈希算法，所选用的哈希算法可以为JS算法，通过JS算法将待定位目标文件的路径信息转换成固定长度，其中所述路径信息以字符串形式表示，固定长度表示为十六进制数，将固定长度的十六进制数值除以0xffffffff，求十六进制数值的余数得到特征值。

图6是根据本发明实施例可选的另一种集群系统的文件定位方法的流程图，以下结合图6进一步举例说明本发明实施例所提供的集群系统的文件定位方法，包括如下步骤S602至步骤S618：

步骤S602：获取集群系统内集群节点数量信息。

步骤S604：将集群系统内各集群节点编号，对每个集群节点设置取值空间。

步骤S606：接收到待定位目标文件的指令。

步骤S608：计算待定位目标文件的特征值，判断特征值所在区间归属的第一集群节点。

步骤S610：判断第一集群节点是否可以正常通信，其中，在判断出第一集群节点可以正常通信的情况下，执行步骤S612；在判断出第一集群节点不可以正常通信的情况下，执行步骤S616。

步骤S612：确定出第一集群节点能够正常通信，可知待定位目标文件在第一集群节点上。

步骤S614：输出该待定位目标文件。

步骤S616：确定出第一集群节点不能正常通信，统计集群系统内正常通信集群节点的数量，数量用m表示，将待定位目标文件重新定向到第二集群节点上。

步骤S618：在重新定向后的第二集群节点上同步该待定位目标文件。

具体地，假设集群系统内有4个集群节点：a集群节点，b集群节点，c集群节点，d集群节点，待定位目标文件的文件名为“/1.txt”。

根据本发明上述实施例，首先集群系统初始化，获取集群系统内集群节点总数量为4，集群系统内的各集群节点被依次编号为a，b，c，d，预先设定集群系统采用[0x00000000，0xffffffff]取值空间。将[0x00000000，0xffffffff]取值空间依次平均分配给上述4个集群节点，那么4个集群节点的取值区间为a∈[0x00000000，0x3ffffffff]，b∈[0x400000000，0x7fffffff]，c∈[0x80000000，0xbfffffff]，d∈[0xc0000000，0xffffffff]，通过每个集群节点间心跳握手获取当前集群节点的在线状态。计算待定位目标文件文件名为“/1.txt”的特征值为0x1bd5933f，通过匹配判断出属于a集群节点的取值范围，即表示步骤S608中的第一集群节点。随后判断a集群节点的接入状态，若a集群节点可以正常通信，即a集群节点的接入状态为健康状态，可知文件名为“/1.txt”的待定位目标文件位于a集群节点上，从而完成了文件名为“/1.txt”的待定位目标文件的索引定位工作；若a集群节点不可以正常通信，即a集群节点的接入状态为故障状态，重新统计集群系统内正常通信的集群节点的数量为3，依次是b集群节点，c集群节点和d集群节点，利用上述集群节点取值区间分配方法和集群节点的接入状态判断方法为集群系统中剩余健康的b集群节点，c集群节点和d集群节点重新分配取值区间，经过重新分配之后获知各自的取值区间为b∈[0x400000000，0x7fffffff]∪[0x00000000，0x15555554]，c∈[0x80000000，0xbfffffff]∪[0x15555555，0x2aaaaaa9]，d∈[0xc0000000，0xffffffff]∪[0x2aaaaaaa，0x3fffffff]。已知故障集群节点a的取值区间为a∈[0x00000000，0x3ffffffff]，计算故障集群节点a的区间长度，可以用下列计算公式来表示：(0x3fffffff-0x0000000+1)＝0x40000000，将文件名为“/1.txt”的待定位目标文件的特征值0x1bd5933f减去0x00000000，得到差值，将差值除以0x40000000，得到中间结果，将中间结果乘以健康集群节点数量，得到目标结果，对目标结果并向上取整，最终结果等于2，得到的2即为取整计算后的特征值，其中，健康集群节点的数量为3。故应该在b，c，d三个集群节点中选取第2个集群节点，即为c集群节点，也就是步骤S616中所描述的第二集群节点，可以确定文件名为“/1.txt”的待定位目标文件的元数据和文件数据位于集群节点c上。

本发明实施例还提供了一种集群系统的文件定位装置。该装置可以通过上述集群系统的文件定位方法实现其功能。需要说明的是，本发明实施例的集群系统的文件定位装置可以用于执行本发明实施例所提供的集群系统的文件定位方法，本发明实施例集群系统的文件定位装置也可以通过本发明实施例所提供的集群系统的文件定位装置来执行。

图7是根据本发明实施例可选的一种集群系统的文件定位装置的结构框图，如图7所示，根据本发明实施例的集群系统的文件定位装置包括：第一接收单元1、第一计算单元2、第一确定单元3、第二确定单元4、第一判断单元5以及第三确定单元6，具体地：第一接收单元1用于接收客户终端发送的定位目标文件指令，定位目标文件指令中携带有待定位目标文件的路径信息；第一计算单元2用于根据路径信息，计算待定位目标文件的特征值；第一确定单元3用于根据特征值确定待定位目标文件所在的存储地址映射的取值区间；第二确定单元4用于根据存储地址映射的取值区间确定待定位目标文件所在的第一集群节点；第一判断单元5用于判断第一集群节点是否正常通信；第三确定单元6用于在判断出第一集群节点正常通信的情况下，确定待定位目标文件存储在第一集群节点上。

具体地，第一接收单元1接收来自客户终端的定位目标文件的指令，其中，定位目标文件指令中带有待定位目标文件的路径信息。第一计算单元2根据第一接收单元1接收的指令中带有的路径信息将待定位目标文件的路径信息通过哈希算法转换成固定长度，其中，选用的哈希算法可以为JS算法，然后计算出固定长度的余数，得到待定位目标文件的特征值。第一确定单元3将待定位目标文件的特征值映射到集群节点的取值区间上，第二确定单元4根据存储地址映射的取值区间确定待定位目标文件位于第一集群节点。根据第一判断单元5来判断第一集群节点的通信是否正常，在第一判断单元5判断出第一集群节点通信正常的情况下，第三确定单元6可以确定出待定位目标文件存储于第一集群节点。

本发明实施例所提供的集群系统的文件定位方法，通过接收来自客户终端的定位目标文件的指令，其中，在定位目标文件的指令中带有待定位目标文件的路径信息，根据路径信息计算待定位目标文件的特征值，然后将待定位目标文件的特征值与集群系统中各集群节点的取值区间进行比较，确定出待定位目标文件的特征值所在的存储地址映射的取值区间，然后根据该取值区间对应的第一集群节点的通信状态来确定待定位目标文件的位置，当判断出第一集群节点能够正常通信的情况下，就可以确定出待定位目标文件存储于第一集群节点上，此种根据待定位目标文件特征值进行文件定位的方式，不涉及集群系统中主从服务器的布置。这样就解决了现有技术中主服务器故障导致集群无法定位的问题，达到了提高集群系统可用性的目的，从而实现了准确确定文件所处位置的技术效果。

图8是根据本发明实施例可选的另一种集群系统的文件定位装置的结构框图，如图8所示，根据本发明实施例的集群系统的文件定位装置还包括：第一更新单元7、第二计算单元8、第一获取单元9以及第四确定单元10，其中，更新单元7用于更新集群节点中正常通信节点的取值区间；第二计算单元8用于对特征值进行取整计算；获取单元9用于获取经过取整计算后特征值所处的取值区间；第四确定单元10用于确定待定位目标文件存储在第二集群节点上，其中，第二集群节点为取整计算后特征值所处的取值区间对应的节点。

具体地，当第一判断单元5根据各集群节点间心跳握手判断出第一集群节点不能正常通信的情况下，此时代表第一集群节点发生了故障，此种情况下，第一更新单元7需要重新计算集群节点中剩余能够正常通信节点的取值区间并对集群节点中剩余能够正常通信节点的取值区间进行重新分配，第二计算单元8将待定位目标文件的特征值进行进一步计算处理，利用第一获取单元9获取待定位目标文件的特征值所处的取值区间，第四确定单元10根据第一获取单元9获取到的取值区间确定待定位目标文件所在的第二集群节点。

图9是根据本发明实施例集群系统的文件定位装置中第二计算单元的结构框图，如图9所示，第二计算单元8包括：第一计算模块81、第二计算模块82、第三计算模块83和第四计算模块84，第一计算模块81用于计算特征值和第一集群节点的取值区间起始值之差，得到差值；第二计算模块82用于计算差值除以第一集群节点的区间长度，得到中间结果，其中，第一集群节点的区间长度为目标最大值与目标最小值之差，目标最大值为第一集群节点的取值区间的最大值，目标最小值为第一集群节点取值区间的最小值；第三计算模块83用于计算将中间结果乘以集群节点中正常通信节点的数量，得到目标结果；第四计算模块84用于向上取整目标结果得到取整计算后的特征值。

具体地，根据第二计算单元8中的第一计算模块81、第二计算模块82、第三计算模块83和第四计算模块84计算出经过取整计算后待定位目标文件的特征值。首先第一计算模块81计算待定位目标文件的特征值和第一集群节点的起始值之差，得到差值，第二计算模块82将差值除以第一集群节点的区间长度，得到中间结果，然后第三计算模块83将中间结果乘以集群节点中剩余可以正常通信节点的数量，得到目标结果，最后第四计算模块84将目标结果向上取整得到经过取整计算后待定位目标文件的特征值。第四计算模块84对目标结果向上取整，即当目标结果不属于正整数范围时，取目标结果向上的整数，得到取整计算后待定位目标文件的特征值。

图10是根据本发明实施例集群系统的文件定位装置中更新单元的结构框图，如图10所示，第一更新单元7包括：第五计算模块71和分配模块72，第五计算模块71用于根据集群节点中正常通信节点的数量将第一集群节点的取值区间等分，得到多个取值子区间；分配模块72用于将多个取值子区间一一对应地分配给集群节点中正常通信的节点。

具体地，第一更新单元7需要重新计算并重新分配剩余可以正常通信集群节点的取值区间，重新获取剩余可以正常通信集群节点的数量，第五计算模块71将第一集群节点的取值区间平均分配，得到多个取值子区间，分配模块72然后将多个分配子模块对应分配给剩余可以正常通信的集群节点。

图11是根据本发明实施例集群系统的文件定位装置中第一计算单元的结构框图，如图11所示，第一计算单元2包括：转换模块21和计算模块22，转换模块21用于将路径信息转换成固定长度；计算模块22用于对固定长度取余计算，得到特征值。

具体地，第一计算单元2中包含转换模块21和计算模块22。转换模块21利用哈希算法中的JS算法将待定位目标文件的路径信息转换成固定的长度，其中固定长度表示为十六进制，计算模块22中，将固定长度除以0xffffffff，计算得出固定长度的余数。

根据本发明实施例，提供了一种集群系统的文件存储方法的实施例，如图12所示，图12是根据本发明实施例可选的一种集群系统的文件存储方法的流程图，该方法包括如下步骤S1202至步骤S1212：

步骤S1202，接收客户终端发送的存储目标文件指令，存储目标文件指令中携带有待存储目标文件的路径信息。

步骤S1204，根据路径信息，计算待存储目标文件的特征值，具体地，可以将待存储目标文件的路径信息通过哈希算法转换成固定长度，在本发明实施例中，固定长度为十六进制数值，可以以0xffffffff为除数，将固定长度的十六进制数值除以0xffffffff，得到余数，该余数作为待存储目标文件的特征值，其中，选用的哈希算法为JS算法。

步骤S1206，根据特征值确定待存储目标文件所在的存储地址映射的取值区间，具体地，集群系统中包含多个集群节点，每个集群节点代表集群系统中的每一台服务器，将集群系统内每个集群节点进行编号，并将系统使用的特征值取值范围均分，为集群系统中每个集群节点依次分配取值区间，然后将待存储目标文件的特征值映射到集群系统中每个集群节点的特征值取值范围内，确定出待存储目标文件所处的取值区间。

步骤S1208，根据存储地址映射的取值区间确定待存储目标文件所存储的第一集群节点。

步骤S1210，判断第一集群节点是否正常通信，具体地，在本发明实施例中，集群系统可以根据集群节点间的心跳握手情况得到各集群节点的接入状态，从而判断集群系统中集群节点是否能够正常通信，当第一集群节点可以正常通信，可以确定第一集群节点健康，当第一集群节点不能正常通信，可以确定第一集群节点发生了故障。

步骤S1212，在判断出第一集群节点正常通信的情况下，存储待存储目标文件于第一集群节点上。

本发明实施例所提供的集群系统的文件存储方法，通过接收来自客户终端的定位目标文件的指令，其中，在存储目标文件的指令中带有待存储目标文件的路径信息，根据路径信息计算待存储目标文件的特征值，然后将待存储目标文件的特征值与集群系统中各集群节点的取值区间进行比较，确定待存储目标文件所在的存储地址映射的取值区间，然后根据该取值区间对应的第一集群节点的通信状态来确定是否将待存储目标文件存储于第一集群节点上，当判断出第一集群节点能够正常通信的情况下，就可以确定将待存储目标文件存储于第一集群节点上，此种根据待存储目标文件特征值进行文件存储的方式，不涉及集群系统中主从服务器的布置。这样就解决了现有技术中主服务器故障导致集群无法存储的问题，达到了提高集群系统可用性的目的，从而实现了准确存储文件的技术效果。

根据本发明上述实施例，在判断出第一集群节点不能正常通信的情况下，集群系统的文件存储方法还包括：更新集群节点中正常通信节点的取值区间；对特征值进行取整计算；获取经过取整计算后特征值所处的取值区间；将待存储目标文件存储在第二集群节点上，其中，第二集群节点为取整计算后特征值所处的取值区间对应的节点。

具体地，利用节点间心跳握手判断出第一集群节点不能正常通信，即确定出第一集群节点出现故障，处于离线状态。此种情况，需要重新获取剩余正常通信的集群节点的数量，其中，正常通信的集群节点表示健康的集群节点，此时健康的集群节点处于在线状态。将第一集群节点的取值区间等分，得到多个取值子区间，多个取值子区间的个数等于剩余正常通信的集群节点的数量，为剩余正常通信的集群节点重新分配取值区间，将多个取值子区间一一对应分配给剩余正常通信的集群节点，然后计算处理待存储目标文件的特征值，得到经过计算处理之后的特征值所处的取值区间，与特征值所处的取值区间对应的第二集群节点即为待存储目标文件所要存储的集群节点。

本发明实施例还提供了一种集群系统的文件存储装置。该装置可以通过上述集群系统的文件存储方法实现其功能。需要说明的是，本发明实施例的集群系统的文件存储装置可以用于执行本发明实施例所提供的集群系统的文件存储方法，本发明实施例集群系统的文件存储装置也可以通过本发明实施例所提供的集群系统的文件存储装置来执行。

图13是根据本发明实施例可选的一种集群系统的文件存储装置的结构框图，如图13所示，根据本发明实施例的集群系统的文件存储装置包括：第二接收单元11、第三计算单元12、第五确定单元13、第六确定单元14、第二判断单元15和第一存储单元16，其中，第二接收单元11，用于接收客户终端发送的存储目标文件指令，存储目标文件指令中携带有待存储目标文件的路径信息；第三计算单元12，用于根据路径信息，计算待存储目标文件的特征值；第五确定单元13，用于根据特征值确定待存储目标文件所在的存储地址映射的取值区间；第六确定单元14，用于根据存储地址映射的取值区间确定待存储目标文件所存储的第一集群节点；第二判断单元15，用于判断第一集群节点是否正常通信；第一存储单元16，在判断出第一集群节点正常通信的情况下，存储待存储目标文件于第一集群节点上。

具体地，第二接收单元11接收来自客户端发送的存储文件的指令，其中，指令中带有待存储目标文件的路径信息，路径信息是字符串形式的路径信息，第三计算单元12根据字符串形式的路径信息计算待存储目标文件的特征值，第五确定单元13根据第三计算单元12计算出的特征值确定待存储目标文件的所在的存储地址映射的取值区间，第六确定单元14根据第五确定单元13确定出的取值区间确定待存储目标文件将存储于第一集群节点，第二判断单元15判断第一集群节点是否能够正常通信，也就是判断第一集群节点是否在线，在第二判断单元15判断出第一集群节点能够正常通信的情况下，第一存储单元16将待存储的目标文件存储于第一集群节点上。

本发明实施例所提供的集群系统的文件存储方法，通过接收来自客户终端的定位目标文件的指令，其中，在存储目标文件的指令中带有待存储目标文件的路径信息，根据路径信息计算待存储目标文件的特征值，然后将待存储目标文件的特征值与集群系统中各集群节点的取值区间进行比较，确定待存储目标文件所在的存储地址映射的取值区间，然后根据该取值区间对应的第一集群节点的通信状态来确定是否将待存储目标文件存储于第一集群节点上，当判断出第一集群节点能够正常通信的情况下，就可以确定将待存储目标文件存储于第一集群节点上，此种根据待存储目标文件特征值进行文件存储的方式，不涉及集群系统中主从服务器的布置。这样就解决了现有技术中主服务器故障导致集群无法存储的问题，达到了提高集群系统可用性的目的，从而实现了准确存储文件的技术效果。

根据本发明上述实施例，在第二判断单元15判断出第一集群节点不能正常通信的情况下，集群系统的文件存储装置还包括：第二更新单元、第四计算单元、第二获取单元和第二存储单元，其中，第二更新单元用于更新集群节点中正常通信节点的取值区间；第四计算单元用于对特征值进行取整计算；第二获取单元用于获取经过取整计算后特征值所处的取值区间；第二存储单元用于将待存储目标文件存储在第二集群节点上，其中，第二集群节点为取整计算后特征值所处的取值区间对应的节点。

具体地，若第二判断单元15判断出第一集群节点不能正常通信，需要重新选取要存储的集群节点，利用第二更新单元对集群系统中剩余的能够正常通信的集群节点的取值区间进行更新，具体过程是将第一集群节点的取值区间等分，得到多个取值子区间，多个取值子区间的个数等于剩余正常通信的集群节点的数量，为剩余正常通信的集群节点重新分配取值区间，将多个取值子区间一一对应分配给剩余正常通信的集群节点，之后，第四计算单元将第三计算单元12计算出的待存储目标文件的特征值进行取整计算处理，经过取整计算之后的结果为一个整数，利用第二获取单元获取特征值经过取整计算之后所对应的集群节点，此时的集群节点为第二集群节点，第二集群节点为取整计算后特征值所处的取值区间对应的节点，第二存储单元将待存储的目标文件存储于第二集群节点上。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种集群系统的文件定位方法，其特征在于，所述集群系统包括至少两个对等分布的集群节点，每个所述集群节点具有相应的存储地址映射的取值区间，所述集群节点之间互相通信连接，所述方法包括：

接收客户终端发送的定位目标文件指令，所述定位目标文件指令中携带有待定位目标文件的路径信息；

根据所述路径信息，计算所述待定位目标文件的特征值；

根据所述特征值确定所述待定位目标文件所在的存储地址映射的取值区间；

根据所述存储地址映射的取值区间确定所述待定位目标文件所在的第一集群节点；

判断所述第一集群节点是否正常通信；以及

在判断出所述第一集群节点正常通信的情况下，确定所述待定位目标文件存储在所述第一集群节点上；

在判断出所述第一集群节点不能正常通信的情况下，更新所述集群节点中正常通信节点的取值区间；对所述特征值进行取整计算；获取经过取整计算后所述特征值所处的取值区间；以及确定所述待定位目标文件存储在第二集群节点上，其中，所述第二集群节点为取整计算后所述特征值所处的取值区间对应的节点。

2.根据权利要求1所述的方法，其特征在于，对所述特征值进行取整计算包括：

计算所述特征值和所述第一集群节点的取值区间起始值之差，得到差值；

计算所述差值除以第一集群节点的区间长度，得到中间结果，其中，第一集群节点的区间长度为目标最大值与目标最小值之差，所述目标最大值为所述第一集群节点的取值区间的最大值，所述目标最小值为所述第一集群节点的取值区间的最小值；

计算所述中间结果乘以所述集群节点中正常通信节点的数量，得到目标结果；以及

向上取整所述目标结果得到取整计算后的所述特征值。

3.根据权利要求1所述的方法，其特征在于，更新所述集群节点中正常通信节点的取值区间包括：

根据所述集群节点中正常通信节点的数量将所述第一集群节点的取值区间等分，得到多个取值子区间；以及

将所述多个取值子区间一一对应地分配给所述集群节点中正常通信的节点。

4.根据权利要求1所述的方法，其特征在于，根据所述路径信息，计算所述待定位目标文件的特征值包括：

将所述路径信息转换成固定长度；以及

对所述固定长度取余计算，得到所述特征值。

5.一种集群系统的文件定位装置，其特征在于，所述集群系统包括至少两个对等分布的集群节点，每个所述集群节点具有相应的存储地址映射的取值区间，所述集群节点之间互相通信连接，包括：

第一接收单元，用于接收客户终端发送的定位目标文件指令，所述定位目标文件指令中携带有待定位目标文件的路径信息；

第一计算单元，用于根据所述路径信息，计算所述待定位目标文件的特征值；

第一确定单元，用于根据所述特征值确定所述待定位目标文件所在的存储地址映射的取值区间；

第二确定单元，用于根据所述存储地址映射的取值区间确定所述待定位目标文件所在的第一集群节点；

第一判断单元，用于判断所述第一集群节点是否正常通信；以及

第三确定单元，用于在判断出所述第一集群节点正常通信的情况下，确定所述待定位目标文件存储在所述第一集群节点上；

第一更新单元，用于更新所述集群节点中正常通信节点的取值区间；

第二计算单元，用于对所述特征值进行取整计算；

第一获取单元，用于获取经过取整计算后所述特征值所处的取值区间；以及

第四确定单元，用于确定所述待定位目标文件存储在第二集群节点上，其中，所述第二集群节点为取整计算后所述特征值所处的取值区间对应的节点。

6.根据权利要求5所述的装置，其特征在于，所述第二计算单元包括：

第一计算模块，用于计算所述特征值和所述第一集群节点的取值区间起始值之差，得到差值；

第二计算模块，用于计算所述差值除以第一集群节点的区间长度，得到中间结果，其中，第一集群节点的区间长度为目标最大值与目标最小值之差，所述目标最大值为所述第一集群节点的取值区间的最大值，所述目标最小值为所述第一集群节点的取值区间的最小值；

第三计算模块，用于计算所述中间结果乘以所述集群节点中正常通信节点的数量，得到目标结果；以及

第四计算模块，用于向上取整所述目标结果得到取整计算后的所述特征值。

7.根据权利要求5所述的装置，其特征在于，所述第一更新单元包括：

第五计算模块，用于根据所述集群节点中正常通信节点的数量将所述第一集群节点的取值区间等分，得到多个取值子区间；以及

分配模块，用于将所述多个取值子区间一一对应地分配给所述集群节点中正常通信的节点。

8.根据权利要求5所述的装置，其特征在于，所述第一计算单元包括：

转换模块，用于将所述路径信息转换成固定长度；以及

计算模块，用于对所述固定长度取余计算，得到所述特征值。

9.一种集群系统的文件存储方法，其特征在于，所述集群系统包括至少两个对等分布的集群节点，每个所述集群节点具有相应的存储地址映射的取值区间，所述集群节点之间互相通信连接，所述方法包括：

接收客户终端发送的存储目标文件指令，所述存储目标文件指令中携带有待存储目标文件的路径信息；

根据所述路径信息，计算所述待存储目标文件的特征值；

根据所述特征值确定所述待存储目标文件所在的存储地址映射的取值区间；

根据所述存储地址映射的取值区间确定所述待存储目标文件所存储的第一集群节点；

判断所述第一集群节点是否正常通信；以及

在判断出所述第一集群节点正常通信的情况下，存储所述待存储目标文件于所述第一集群节点上；

在判断出所述第一集群节点不能正常通信的情况下，更新所述集群节点中正常通信节点的取值区间；对所述特征值进行取整计算；获取经过取整计算后所述特征值所处的取值区间；以及将所述待存储目标文件存储在第二集群节点上，其中，所述第二集群节点为取整计算后所述特征值所处的取值区间对应的节点。

10.一种集群系统的文件存储装置，其特征在于，包括：

第二接收单元，用于接收客户终端发送的存储目标文件指令，所述存储目标文件指令中携带有待存储目标文件的路径信息；

第三计算单元，用于根据所述路径信息，计算所述待存储目标文件的特征值；

第五确定单元，用于根据所述特征值确定所述待存储目标文件所在的存储地址映射的取值区间；

第六确定单元，用于根据所述存储地址映射的取值区间确定所述待存储目标文件所存储的第一集群节点；

第二判断单元，用于判断所述第一集群节点是否正常通信；以及

第一存储单元，在判断出所述第一集群节点正常通信的情况下，存储所述待存储目标文件于所述第一集群节点上；

第二更新单元，用于更新所述集群节点中正常通信节点的取值区间；

第四计算单元，用于对所述特征值进行取整计算；

第二获取单元，用于获取经过取整计算后所述特征值所处的取值区间；以及

第二存储单元，用于将所述待存储目标文件存储在第二集群节点上，其中，所述第二集群节点为取整计算后所述特征值所处的取值区间对应的节点。