CN116991333A - 分布式数据存储方法、装置、电子设备及存储介质 - Google Patents

分布式数据存储方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116991333A
CN116991333A CN202311243987.5A CN202311243987A CN116991333A CN 116991333 A CN116991333 A CN 116991333A CN 202311243987 A CN202311243987 A CN 202311243987A CN 116991333 A CN116991333 A CN 116991333A
Authority
CN
China
Prior art keywords
server
service request
storage
distributed data
cache hit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311243987.5A
Other languages
English (en)
Other versions
CN116991333B (zh
Inventor
马林
石鹏
崔子浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Metabrain Intelligent Technology Co Ltd
Original Assignee
Suzhou Metabrain Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Metabrain Intelligent Technology Co Ltd filed Critical Suzhou Metabrain Intelligent Technology Co Ltd
Priority to CN202311243987.5A priority Critical patent/CN116991333B/zh
Publication of CN116991333A publication Critical patent/CN116991333A/zh
Application granted granted Critical
Publication of CN116991333B publication Critical patent/CN116991333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供分布式数据存储方法、装置、电子设备及非易失性可读存储介质。方法包括：通过多个并发管理节点获取分布式数据的存储服务请求；根据存储服务请求与预先缓存的第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果；当第一缓存命中判断结果为存储服务请求未命中第一服务器的身份信息时，将存储服务请求发送到第二服务器；接收第二服务器返回的第二服务器响应信息；根据第二服务器响应信息对分布式数据执行存储动作，得到第一存储结果。解决了现有技术中单管理节点必须将所有元数据加载到内存，存储效率低的问题，满足了海量的大数据存储需求，进一步提高了分布式数据存储效果。

Description

分布式数据存储方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种分布式数据存储方法、装置、电子设备及非易失性可读存储介质。
背景技术
现有的HDFS存储方式通过文件系统的管理节点，例如NameNode节点提供NameSpace命名空间的服务，通过主从模式的NameNode的部署设置，能够支持十亿级的数据运算，满足了分布式数据，尤其是分布式大数据的存储需求。
但是，这种HDFS存储系统中单独一个NameNode需要加载所有的元数据信息到内存，内存占用大，元数据受节点内存限制。当出现故障需要切换时，往往需要将所有元数据信息均加载到内存，存储启动时间长，存储效率低，影响了分布式数据，尤其是分布式大数据的存储效果。
发明内容
本申请提供了一种分布式数据存储方法、装置、电子设备及非易失性可读存储介质。通过多个并发管理节点获取存储服务请求，每个并发管理节点只需要存储部分元数据，解决了现有技术中单管理节点必须将所有元数据加载到内存，存储效率低的问题。
第一方面，本申请提供了一种分布式数据存储方法，该方法包括：
获取分布式数据的存储服务请求；
根据存储服务请求与预先缓存的第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果；
当第一缓存命中判断结果为存储服务请求未命中第一服务器的身份信息时，将存储服务请求发送到第二服务器；
根据存储服务请求与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果；
当第二缓存命中判断结果为存储服务请求命中第二服务器的身份信息时，接收第二服务器返回的第二服务器响应信息；
根据第二服务器响应信息对分布式数据执行存储动作，得到第一存储结果。
可选的，本申请提供的分布式数据存储方法还包括：
根据请求路径信息获取分布式数据的归属缓存信息；
根据归属缓存信息和第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果。
可选的，本申请提供的分布式数据存储方法还包括：
根据请求路径信息获取文件归属缓存信息。
可选的，本申请提供的分布式数据存储方法还包括：
当第一缓存命中判断结果为存储服务请求命中第一服务器的身份信息时，将存储服务请求发送到第一服务器获取第一服务器响应信息；
根据第一服务器响应信息对分布式数据执行存储动作，得到第二存储结果。
可选的，本申请提供的分布式数据存储方法还包括：
根据归属缓存信息与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果；
当第二缓存命中判断结果为归属缓存信息命中第二服务器的身份信息时，接收第二服务器返回的第二服务器归属响应信息；
根据第二服务器归属响应信息对分布式数据执行存储动作，得到第三存储结果。
可选的，本申请提供的分布式数据存储方法还包括：
当第二缓存命中判断结果为文件归属缓存信息未命中第二服务器的身份信息时，接收第二服务器返回的第三服务器的身份信息，其中，第三服务器为文件归属缓存信息对应的服务器；
将存储服务请求发送到第三服务器；
接收第三服务器返回的第三服务器响应信息；
根据第三服务器响应信息对分布式数据执行存储动作，得到第四存储结果。
可选的，本申请提供的分布式数据存储方法还包括：
通过第二服务器中的元数据进行归属查找，得到第三服务器的身份信息；
接收第三服务器的身份信息。
可选的，本申请提供的分布式数据存储方法还包括：
对第三服务器的身份信息进行缓存处理。
可选的，本申请提供的分布式数据存储方法还包括：
根据请求路径信息获取目录归属缓存信息。
可选的，本申请提供的分布式数据存储方法还包括：
根据目录归属缓存信息与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果。
可选的，本申请提供的分布式数据存储方法还包括：
获取分布式数据的加密请求，其中，加密请求包括第一客户名称；
将分布式数据和第一客户名称发送到第二服务器；
接收第二服务器返回的分布式数据租约检测结果；
当分布式数据租约检测结果为第二服务器不存在客户名称时，对分布式数据执行存储动作，得到第一存储结果。
可选的，本申请提供的分布式数据存储方法还包括：
将第一客户名称写入第二服务器。
可选的，本申请提供的分布式数据存储方法还包括：
向第二服务器发送租约释放请求，其中，租约释放请求用于供第二服务器删除第一客户名称。
可选的，本申请提供的分布式数据存储方法还包括：
当分布式数据租约检测结果为第二服务器存在第二客户名称时，停止对分布式数据执行存储动作，其中，第二客户名称与第一客户名称不同。
第二方面，本申请提供了一种分布式数据存储方法，该方法包括：
获取分布式数据的存储服务请求，其中存储服务请求包括第一服务请求和第二服务请求；
通过第一并发管理节点将第一服务请求发送到第四服务器，其中，第四服务器与第一服务请求对应；
当通过第一并发管理节点将第一服务请求发送到第四服务器时，通过第二并发管理节点将第二服务请求发送到第五服务器，其中，第五服务器与第二服务请求对应；
根据第一服务请求与第四服务器的身份信息进行缓存命中判断，得到第四缓存命中判断结果，根据第二服务请求与第五服务器的身份信息进行缓存命中判断，得到第五缓存命中判断结果；
当第四缓存命中判断结果为第一服务请求命中第四服务器的身份信息且所述第五缓存命中判断结果为所述第二服务请求命中第五服务器的身份信息时，接收第四服务器返回的第四服务器响应信息和第五服务器返回的第五服务器响应信息；
根据第四服务器响应信息和第五服务器响应信息对分布式数据执行存储动作，得到第五存储结果。
可选的，本申请提供的分布式数据存储方法还包括：
根据管理节点身份信息和管理节点数量从多个并发管理节点获取第一并发管理节点和第二并发管理节点。
可选的，本申请提供的分布式数据存储方法还包括：
获取所述第一服务请求和第二服务请求对应的加密请求，其中，所述加密请求包括所述第一并发管理节点对应的第四客户名称和所述第二并发管理节点对应的第五客户名称；
将所述第一服务请求对应的分布式数据和所述第四客户名称发送到所述第四服务器，将所述第二服务请求对应的分布式数据和所述第五客户名称发送到所述第五服务器；
接收所述第四服务器返回的第四服务器租约检测结果和所述第五服务器返回的第五服务器租约检测结果；
当所述第四服务器租约检测结果为所述第四服务器不存在客户名称时，对所述分布式数据执行存储动作；
当所述第五服务器租约检测结果为所述第五服务器不存在客户名称时，对所述分布式数据执行存储动作。
第三方面，本申请还提供一种分布式数据存储装置，包括：
第一存储服务请求获取模块，用于获取分布式数据的存储服务请求；
第一缓存命中模块，用于根据存储服务请求与预先缓存的第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果；
第二服务器发送模块，用于当第一缓存命中判断结果为存储服务请求未命中第一服务器的身份信息时，将存储服务请求发送到第二服务器；
第二缓存命中模块，用于根据所述存储服务请求与所述第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果；
第二服务器接收模块，用于当所述第二缓存命中判断结果为所述存储服务请求命中所述第二服务器的身份信息时，接收第二服务器返回的第二服务器响应信息；
第一存储模块，用于根据第二服务器响应信息对分布式数据执行存储动作，得到第一存储结果。
第四方面，本申请还提供一种分布式数据存储装置，包括：
第二存储服务请求获取模块，用于获取分布式数据的存储服务请求，其中存储服务请求包括第一服务请求和第二服务请求；
第四服务器发送模块，用于通过第一并发管理节点将第一服务请求发送到第四服务器，其中，第四服务器与第一服务请求对应；
第五服务器发送模块，用于当通过第一并发管理节点将第一服务请求发送到第五服务器时，通过第二并发管理节点将第一服务请求发送到第五服务器，其中，第五服务器与第二服务请求对应；
第五缓存命中模块，用于根据第一服务请求与第四服务器的身份信息进行缓存命中判断，得到第四缓存命中判断结果，根据第二服务请求与第五服务器的身份信息进行缓存命中判断，得到第五缓存命中判断结果；
第四服务器接收模块，用于当第四缓存命中判断结果为第一服务请求命中第四服务器的身份信息且第五缓存命中判断结果为第二服务请求命中所述第五服务器的身份信息时，接收第四服务器返回的第四服务器响应信息和第五服务器返回的第五服务器响应信息；
第五存储模块，用于根据第四服务器响应信息和第五服务器响应信息对分布式数据执行存储动作，得到第五存储结果。
第五方面，本申请还提供了一种电子设备，该电子设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面或第二方面的分布式数据存储方法的步骤。
第六方面，本申请实施例提供了一种非易失性可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面或第二方面的分布式数据存储方法的步骤。
本申请提供的技术方案通过多个并发管理节点获取存储服务请求，每个并发管理节点只需要存储部分元数据，解决了现有技术中单管理节点必须将所有元数据加载到内存，存储效率低的问题。
并且，本申请提供的技术方案中管理节点为HDFS并发管理节点，一个管理节点能够与多个元数据服务器连接，避免了元数据请求单点瓶颈问题，满足了海量的大数据存储需求，进一步提高了分布式数据存储效果。
上述说明仅是本申请提供的技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请实施例提供的分布式数据存储方法示意图之一；
图2是本申请实施例提供的分布式数据存储方法示意图之二；
图3是本申请实施例提供的分布式数据存储方法示意图之三；
图4是本申请实施例提供的分布式数据存储方法示意图之四；
图5是本申请实施例提供的分布式数据存储方法示意图之五；
图6是本申请实施例提供的分布式数据存储方法示意图之六；
图7是本申请实施例提供的分布式数据存储方法示意图之七；
图8是本申请实施例提供的分布式数据存储方法示意图之八；
图9是本申请实施例提供的分布式数据存储方法示意图之九；
图10是本申请实施例提供的分布式数据存储方法示意图之十；
图11是本申请实施例提供的分布式数据存储方法示意图之十一；
图12是本申请实施例提供的分布式数据存储方法示意图之十二；
图13是本申请实施例提供的分布式数据存储方法示意图之十三；
图14是本申请实施例提供的分布式数据存储方法示意图之十四；
图15是本申请提供的一种分布式数据存储管理节点模块示例；
图16是本申请提供的一种分布式数据存储租约流程示例；
图17是本申请提供的一种分布式数据存储系统部署示例；
图18是本申请实施例提供的分布式数据存储装置示意图之一；
图19是本申请实施例提供的分布式数据存储装置示意图之二；
图20是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
现有的大数据HDFS存储方式中，命名空间（NameSpace）通过管理节点（NameNode）提供服务。但是由于NameNode单服务提供业务的方式和现有HDFS存储采用粒度较粗的全局锁机制，导致元数据请求的单点瓶颈问题时常发生，难以满足海量数据的请求需求。并且，单独一个NameNode需要加载所有的元数据信息到内存，内存占用大，元数据受节点内存限制。当出现故障需要切换时，往往需要将所有元数据信息均加载到内存，系统启动时间长，分布式大数据的存储效率受到严重影响。
针对上述问题，本申请提供的技术方案基于分布式文件，适配对接大数据HDFS命名空间，提供对称式并发管理节点服务。其中，每一个并发管理节点均能提供服务，进行数据存储。多个并发管理节点同时提供数据存储服务的方式相比现有的单管理节点提供服务的方式，不仅提高了数据处理与存储效率，还提高了数据存储的可靠性。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的分布式数据存储方法进行详细地说明。
本申请的第一实施方式涉及一种分布式数据存储方法，应用于一种HDFS并发管理节点，并发管理节点分别与多个元数据服务器连接，元数据服务器包括第一服务器和第二服务器，如图1所示，包括：
步骤101、通过多个并发管理节点获取分布式数据的存储服务请求；
步骤102、根据存储服务请求与预先缓存的第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果；
步骤103、当第一缓存命中判断结果为存储服务请求未命中第一服务器的身份信息时，将存储服务请求发送到第二服务器；
步骤104、接收第二服务器返回的第二服务器响应信息；
步骤105、根据第二服务器响应信息对分布式数据执行存储动作，得到第一存储结果。
此外，在步骤104之前，本申请还对第二服务器的身份信息进行缓存命中判断，本申请还包括：
步骤108、根据存储服务请求与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果。
此时，本申请提供的技术方案中，步骤104包括：
当第二缓存命中判断结果为存储服务请求命中第二服务器的身份信息时，接收第二服务器返回的第二服务器响应信息。
具体的，本申请提供的分布式数据存储方法中,首先通过多个并发管理节点（NameNode）获取分布式数据的存储服务请求，例如元数据请求信息。其中，提供数据存储服务的并发管理节点数量，本申请不作限制。随后，NameNode节点根据存储服务请求进行缓存归属判断，例如将存储服务请求中分布式数据的归属缓存与预先存储或缓存的第一服务器身份信息（id）进行命中判断。当发现存储服务请求未命中第一服务器的身份信息，即根据存储服务请求找不到对应身份信息的元数据服务器时，将存储服务请求发送给与NameNode节点连接的另一个元数据服务器，第二服务器中。其中，第二服务器的选取方式本申请不作限制，可以通过随机方式从与NameNode节点连接的多个元数据服务器中挑选出的任意一个服务器作为第二服务器。此时，当第二服务器是存储服务请求对应的元数据服务器时，第二服务器根据存储服务请求进行归属节点处理，生成第二服务器响应信息并返回NameNode节点，随后，NameNode节点执行数据存储动作，将存储服务请求对应的分布式数据进行存储处理，得到第一存储结果。
本申请提供的技术方案通过多个并发管理节点获取存储服务请求，每个并发管理节点只需要存储部分元数据，解决了现有技术中单管理节点必须将所有元数据加载到内存，存储效率低的问题。
并且，本申请提供的技术方案中管理节点为HDFS并发管理节点，一个管理节点能够与多个元数据服务器连接，避免了元数据请求单点瓶颈问题，满足了海量的大数据存储需求，进一步提高了分布式数据存储效果。
此外，本申请提供的技术方案中一个并发管理节点不需要预先缓存所有服务器的身份信息，进一步降低了管理节点内存缓存压力，提高了管理节点存储效率。
在上述实施方式的基础上，如图2所示，存储服务请求包括请求路径信息，本申请提供的分布式数据存储方法中，步骤102包括：
步骤121、根据请求路径信息获取分布式数据的归属缓存信息；
步骤122、根据归属缓存信息和第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果。
具体的，本申请提供的分布式数据存储方法中，NameNode节点可以根据请求路径查看存储服务请求对应的归属缓存信息，并根据归属缓存信息，例如一个服务器的身份信息与第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果。
在上述实施方式的基础上，如图3所示，归属缓存信息包括文件归属缓存信息，本申请提供的分布式数据存储方法中，步骤121包括：
步骤123、根据请求路径信息获取文件归属缓存信息。
具体的，本申请提供的分布式数据存储方法中，存储服务请求对应的归属缓存信息可以为文件归属缓存，NameNode节点将文件归属缓存与预先存储的第一服务器的文件归属节点进行缓存命中判断，得到第一缓存命中判断结果。
在上述实施方式的基础上，如图4所示，本申请提供的分布式数据存储方法中，步骤102之后，还包括：
步骤106、当第一缓存命中判断结果为存储服务请求命中第一服务器的身份信息时，将存储服务请求发送到第一服务器获取第一服务器响应信息；
步骤107、根据第一服务器响应信息对分布式数据执行存储动作，得到第二存储结果。
具体的，本申请提供的分布式数据存储方法中，当NameNode节点根据请求路径获取的归属缓存信息与预先存储的第一服务器的身份信息一致，存储服务请求命中第一服务器的身份信息时，NameNode节点将数据存储请求发送到对应的第一服务器中，接收第一服务器反馈的第一服务器响应信息并根据第一服务器响应信息对分布式数据执行数据存储动作，得到第二存储结果。
在上述实施方式的基础上，如图5所示，第二服务器响应信息包括第二服务器归属响应信息，本申请提供的分布式数据存储方法中，步骤104包括：
步骤141、根据归属缓存信息与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果；
步骤142、当第二缓存命中判断结果为归属缓存信息命中第二服务器的身份信息时，接收第二服务器返回的第二服务器归属响应信息；
步骤143、根据第二服务器归属响应信息对分布式数据执行存储动作，得到第三存储结果。
具体的，本申请提供的分布式数据存储方法中，当数据存储请求没有命中NameNode节点预先存储的第一服务器的身份信息时，将数据存储请求发送到随机的第二服务器后，还需要对归属缓存信息与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果。当第二服务器是存储服务请求对应归属节点时，第二服务器向NameNode节点发送第二服务器归属响应信息，NameNode节点根据第二服务器归属响应信息对分布式数据进行数据存储，得到第三存储结果。
在上述实施方式的基础上，如图6所示，第二服务器响应信息还包括第三服务器的身份信息，本申请提供的分布式数据存储方法中，步骤141之后，还包括：
步骤144、当第二缓存命中判断结果为文件归属缓存信息未命中第二服务器的身份信息时，接收第二服务器返回的第三服务器的身份信息，其中，第三服务器为文件归属缓存信息对应的服务器；
步骤145、将存储服务请求发送到第三服务器；
步骤146、接收第三服务器返回的第三服务器响应信息；
步骤147、根据第三服务器响应信息对分布式数据执行存储动作，得到第四存储结果。
具体的，当数据存储请求没有命中NameNode节点预先存储的第一服务器的身份信息时，将数据存储请求发送到随机的第二服务器后，还需要对归属缓存信息与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果。当第二服务器不是存储服务请求对应归属节点时，第二服务器根据自身存储的元数据获取存储服务请求实质对应的第三服务器的身份信息，并向NameNode节点发送第三服务器的身份信息，NameNode节点根据第三服务器的身份信息向第三服务器发送存储服务请求，接收第三服务器返回的第三服务器响应信息，并根据第三服务器响应信息对分布式数据进行数据存储，得到第四存储结果。
在上述实施方式的基础上，如图7所示，本申请提供的分布式数据存储方法中，步骤144包括：
步骤148、通过第二服务器中的元数据进行归属查找，得到第三服务器的身份信息；
步骤149、接收第三服务器的身份信息。
具体的，本申请提供的分布式数据存储方法中，第二服务器根据自身存储的元数据获取存储服务请求实质对应的第三服务器的身份信息可以通过一下方式实现：
第二服务器在接收到存储服务请求后，通过第二服务器中各个元数据依次查找的方式进行归属查找，将归属元数据身份信息，例如第三服务器的身份信息发送到NameNode节点，NameNode节点接收第三服务器的身份信息并进行分布式数据的存储动作。
在上述实施方式的基础上，如图8所示，本申请提供的分布式数据存储方法中，步骤144之后，步骤145之前，还包括：
步骤150、对第三服务器的身份信息进行缓存处理。
具体的，NameNode节点在接收到第三服务器的身份信息后，将第三服务器的身份信息刷新到内存中进行缓存，供后续接收新的数据存储服务时进行缓存命中判断。
在上述实施方式的基础上，如图9所示，归属缓存信息包括目录归属缓存信息，本申请提供的分布式数据存储方法中，步骤121包括：
步骤124、根据请求路径信息获取目录归属缓存信息。
具体的，本申请提供的分布式数据存储方法中，存储服务请求对应的归属缓存信息可以为目录归属缓存，NameNode节点将文件归属缓存与预先存储的第一服务器的目录归属节点进行缓存命中判断，得到第一缓存命中判断结果。
在上述实施方式的基础上，如图10所示，本申请提供的分布式数据存储方法中，步骤141包括：
步骤151、根据目录归属缓存信息与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果。
具体的，本申请提供的分布式数据存储方法中，当数据存储请求没有命中NameNode节点预先存储的第一服务器的身份信息时，将数据存储请求发送到随机的第二服务器后，还需要对目录归属缓存信息与第二服务器的身份信息，例如第二服务器的处理目录的归属节点进行缓存命中判断，得到第二缓存命中判断结果。
在上述实施方式的基础上，如图11所示，本申请提供的分布式数据存储方法中，步骤105包括：
步骤152、获取分布式数据的加密请求，其中，加密请求包括第一客户名称；
步骤153、将分布式数据和第一客户名称发送到第二服务器；
步骤154、接收第二服务器返回的分布式数据租约检测结果；
步骤155、当分布式数据租约检测结果为第二服务器不存在客户名称时，对分布式数据执行存储动作，得到第一存储结果。
本申请提供的分布式数据存储方法中，还提供了一种HDFS租约机制，从而保证存储数据一致性，保证HDFS协议无损耗。
具体的，当NameNode节点确定第二服务器为数据存储请求对应的元数据服务器时，根据分布式数据的加密（addBlock）请求，将客户名称，例如NameNode节点和分布式数据发送到第二服务器。第二服务器根据客户名称对分布式数据进行租约检测，判断分布式数据是否被其他NameNode节点节点打开，当判断第二服务器未收到其他NameNode节点发送的客户名称时，判断分布式数据未被打开，生成租约检测结果并返回NameNode节点，NameNode节点对分布式数据执行存储动作，得到第一存储结果。
在上述实施方式的基础上，如图12所示，本申请提供的分布式数据存储方法中，步骤155之后，还包括：
步骤156、将第一客户名称写入第二服务器。
具体的，当第二服务器未收到其他NameNode节点发送的客户名称时，判断分布式数据未被打开时，为了避免分布式数据被其他NameNode节点打开，将目前发送分布式数据的NameNode节点对应的客户名称，例如第一客户名称进行存储处理。
在上述实施方式的基础上，本申请提供的分布式数据存储方法中，步骤156之后，还包括：
步骤157、向第二服务器发送租约释放请求，其中，租约释放请求用于供第二服务器删除第一客户名称。
具体的，当分布式数据完成存储动作后，NameNode节点向第二服务器发送租约释放请求，第二服务器接收到租约释放请求后删除缓存的第一客户名称，避免缓存的第一客户名称对其他数据存储请求造成干扰。
在上述实施方式的基础上，本申请提供的分布式数据存储方法中，步骤154之后，还包括：
步骤158、当分布式数据租约检测结果为第二服务器存在第二客户名称时，停止对分布式数据执行存储动作，其中，第二客户名称与第一客户名称不同。
具体的，当判断第二服务器收到其他NameNode节点发送的客户名称，例如NameNode节点的第二客户名称时，判断分布式数据已经被打开，向NameNode节点返回租约禁止信息，停止数据存储动作。
本申请的第二实施方式涉及一种分布式数据存储方法，如图13所示，应用于一种HDFS并发管理系统，HDFS并发管理系统包括多个并发管理节点和多个元数据服务器，多个所述并发管理节点包括第一并发管理节点、第二并发管理节点，第一并发管理节点、第二并发管理节点分别与多个所述元数据服务器连接，所述多个元数据服务器还包括第四服务器和第五服务器，本申请提供的分布式数据存储方法中，包括：
步骤201、获取分布式数据的存储服务请求，其中存储服务请求包括第一服务请求和第二服务请求；
步骤202、通过第一并发管理节点将第一服务请求发送到第四服务器，其中，第四服务器与第一服务请求对应；
步骤203、当通过第一并发管理节点将第一服务请求发送到第四服务器时，通过第二并发管理节点将第二服务请求发送到第五服务器，其中，第五服务器与第二服务请求对应；
步骤204、接收第四服务器返回的第四服务器响应信息和第五服务器返回的第五服务器响应信息；
步骤205、根据第四服务器响应信息和第五服务器响应信息对分布式数据执行存储动作，得到第五存储结果。
此外，在步骤204之前，本申请还对第四服务器的身份信息、第五服务器的身份信息进行缓存命中判断，本申请还包括：
步骤208、根据所述第一服务请求与所述第四服务器的身份信息进行缓存命中判断，得到第四缓存命中判断结果，根据所述第二服务请求与所述第五服务器的身份信息进行缓存命中判断，得到第五缓存命中判断结果。
此时，本申请提供的技术方案中，步骤204包括：
当所述第四缓存命中判断结果为所述第一服务请求命中所述第四服务器的身份信息且所述第五缓存命中判断结果为所述第二服务请求命中所述第五服务器的身份信息时，接收所述第四服务器返回的第四服务器响应信息和第五服务器返回的第五服务器响应信息。
具体的，本申请提供的分布式数据存储方法中，一个存储服务请求包括第一服务请求和第二服务请求，可以由多个并发管理节点同时提供存储服务。每个管理节点根据各自的服务请求获取服务器身份信息，例如第四服务器身份信息和第五服务器身份信息，并分别进行数据存储动作，得到第五存储结果。
在上述实施方式的基础上，如图14所示，存储服务请求还包括管理节点身份信息和管理节点数量，本申请提供的分布式数据存储方法中，步骤201之后，步骤202之前，还包括：
步骤206、根据管理节点身份信息和管理节点数量从多个并发管理节点获取第一并发管理节点和第二并发管理节点。
具体的，本申请提供的分布式数据存储方法中，存储服务请求还包括管理节点身份信息和管理节点数量。HDFS并发管理系统根据用户提供的相关信息从多个并发管理节点中挑选出对应的并发管理节点，例如第一并发管理节点和第二并发管理节点并执行相应动作。
在上述实施方式的基础上，本申请提供的分布式数据存储方法中，步骤205包括：
获取第一服务请求和第二服务请求对应的加密请求，其中，加密请求包括第一并发管理节点对应的第四客户名称和第二并发管理节点对应的第五客户名称；
将第一服务请求对应的分布式数据和第四客户名称发送到第四服务器，将第二服务请求对应的分布式数据和第五客户名称发送到第五服务器；
接收第四服务器返回的第四服务器租约检测结果和第五服务器返回的第五服务器租约检测结果；
当第四服务器租约检测结果为第四服务器不存在客户名称时，对分布式数据执行存储动作；
当第五服务器租约检测结果为第五服务器不存在客户名称时，对分布式数据执行存储动作。
在上述实施方式的基础上，本申请还提供一种HDFS并发管理系统的命名空间架构部署示例：
如图15所示，首先，管理界面触发分布式大数据存储命名空间（NameSpace）创建；其次，管理界面配置HDFS NameSpace域名时选择NameSpace对应的命名服务节点（NameNode），域名记录增加NameSpace服务信息；接着，启动HDFS服务，所有存储节点启动NameNode服务，最后HDFS NameNode业务通过域名访问对应的NameNode服务，此时NameNode模块启动时，与各个元数据服务器建立请求链接。
其中，如图16所示，HDFS并发管理系统中通过命名服务节点（NameNode）模块实现上述分布式数据存储中的相应功能：
NameNode模块包括归属缓存模块、转发处理模块和请求发送模块，与元数据服务器A和元数据服务器B分别建立请求。归属缓存模块用于预先缓存第一服务器的身份信息，供之后接收到存储服务请求时进行缓存命中判断，还能够在获取存储服务请求真正对应的服务器身份信息，例如第三服务器的身份信息时进行缓存处理。转发处理模块和请求发送模块用于接收HDFS并发管理系统发送的存储服务请求并发送到相连的多个元数据服务器中。
在上述实施方式的基础上，如图17所示，本申请还提供一种HDFS租约示例：
HDFS并发管理系统有3个提供存储服务的并发管理节点，一个元数据服务器同时与这三个并发管理节点连接。当元数据服务器接收到其中一个并发管理节点发送的客户名称（ClientName）时，例如第一节点客户名称（Hdfsclient_1），根据元数据服务器内预先存储的客户名称进行租约判断。当判断客户名称对应的分布式数据未被其他并发管理节点打开时，记录记录HDFS客户端租约信息（hdfs_wopen_info），即“flag>> hdfs_wopen_info”信息；分布式数据的文件号（ino），即“map<ino”信息；打开此分布式数据文件的HDFS客户名称，即“map<hdfs_clientName”信息等信息，生成元数据服务器内临时缓存的第一客户名称。
本申请提供的技术方案，基于分布式文件，适配对接大数据HDFS NameSpace，提供对称式并发NameNode服务，解决原生HDFS单点问题，同时设计租约机制，保证HDFS协议无损耗。
其中，本申请提升资源利用率，降低企业成本：每个节点都可以提供NameNode服务，充分利用存储资源；降低非对称NameNode服务下，资源占用不均问题，降低维护成本；降低NameNode切换时间，提升系统故障处理能力；在传统的Namenode架构中，由于只有一个节点负责管理整个文件系统，该节点会成为系统的瓶颈，限制了文件系统的性能。而全对称Namenode架构中，每个节点都可以同时处理请求，减轻了主节点的压力，从而提高了整个文件系统的性能，并降低了延迟；增加可伸缩性，随着数据中心规模的不断扩大，文件系统需要快速地扩展来应对更多的存储需求。然而传统的Namenode架构由于其单一的主节点，限制了文件系统的扩展性。在全对称Namenode架构中，每个节点都可以作为主节点，从硬件和软件上提供并行度，使得文件系统可以更加容易地进行扩展，无论是增加节点数量还是增加节点的处理能力。
此外，本申请提供的技术方案，还提供适配HDFS租约机制，防止多个客户端对该文件的同时写入，保证数据一致性，保证协议无损耗。
本申请的第三实施方式涉及一种分布式数据存储装置，如图18所示，包括：
第一存储服务请求获取模块301，用于获取分布式数据的存储服务请求；
第一缓存命中模块302，用于根据所述存储服务请求与预先缓存的第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果；
第二服务器发送模块303，用于当所述第一缓存命中判断结果为所述存储服务请求未命中所述第一服务器的身份信息时，将所述存储服务请求发送到所述第二服务器；
第二缓存命中模块308，用于根据所述存储服务请求与所述第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果；
第二服务器接收模块304，用于当所述第二缓存命中判断结果为所述存储服务请求命中所述第二服务器的身份信息时，接收所述第二服务器返回的第二服务器响应信息；
第一存储模块305，用于根据所述第二服务器响应信息对所述分布式数据执行存储动作，得到第一存储结果。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第一缓存命中模块302包括：
归属缓存获取单元，用于根据请求路径信息获取分布式数据的归属缓存信息；
第一缓存判断单元，用于根据归属缓存信息和第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，归属缓存获取单元包括：
文件归属缓存获取单元，用于根据请求路径信息获取文件归属缓存信息。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，还包括：
第一服务器发送模块，用于当第一缓存命中判断结果为存储服务请求命中第一服务器的身份信息时，将存储服务请求发送到第一服务器获取第一服务器响应信息；
第二存储模块，用于根据第一服务器响应信息对分布式数据执行存储动作，得到第二存储结果。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第二服务器接收模块304包括：
第一缓存命中判断单元，用于根据归属缓存信息与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果；
第二服务器归属响应单元，用于当第二缓存命中判断结果为归属缓存信息命中第二服务器的身份信息时，接收第二服务器返回的第二服务器归属响应信息；
第三存储单元，用于根据第二服务器归属响应信息对分布式数据执行存储动作，得到第三存储结果。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第二服务器接收模块304还包括：
第三服务器响应接收单元，用于当第二缓存命中判断结果为文件归属缓存信息未命中第二服务器的身份信息时，接收第二服务器返回的第三服务器的身份信息，其中，第三服务器为文件归属缓存信息对应的服务器；
第三存储请求发送单元，用于将存储服务请求发送到第三服务器；
第三服务器响应接收单元，用于接收第三服务器返回的第三服务器响应信息；
第四存储单元，用于根据第三服务器响应信息对分布式数据执行存储动作，得到第四存储结果。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第三服务器响应接收单元包括：
第三服务器查询单元，用于通过第二服务器中的元数据进行归属查找，得到第三服务器的身份信息；
第三服务器身份信息接收单元，用于接收第三服务器的身份信息。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第二服务器接收模块304还包括：
身份信息缓存单元，用于对第三服务器的身份信息进行缓存处理。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，归属缓存获取单元包括：
目录归属缓存获取单元，用于根据请求路径信息获取目录归属缓存信息。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第一缓存命中判断单元包括：
目录归属缓存命中判断单元，用于根据目录归属缓存信息与第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果.
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第一存储模块305包括：
加密请求获取单元，用于获取分布式数据的加密请求，其中，加密请求包括第一客户名称；
客户名称发送单元，用于将分布式数据和客户名称发送到第二服务器；
租约检测结果获取单元，用于接收第二服务器返回的分布式数据租约检测结果；
租约存储单元，用于当分布式数据租约检测结果为第二服务器不存在客户名称时，对分布式数据执行存储动作，得到第一存储结果。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第一存储模块305还包括：
客户名称写入单元，用于将第一客户名称写入第二服务器。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第一存储模块305还包括：
租约释放单元，用于向第二服务器发送租约释放请求，其中，租约释放请求用于供第二服务器删除第一客户名称。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，第一存储模块305还包括：
租约占用暂停单元，用于当分布式数据租约检测结果为第二服务器存在第二客户名称时，停止对分布式数据执行存储动作，其中，第二客户名称与第一客户名称不同.
本申请的第四实施方式涉及一种分布式数据存储装置，如图19所示，包括：
第二存储服务请求获取模块401，用于获取分布式数据的存储服务请求，其中所述存储服务请求包括第一服务请求和第二服务请求；
第四服务器发送模块402，用于通过所述第一并发管理节点将所述第一服务请求发送到第四服务器，其中，所述第四服务器与所述第一服务请求对应；
第五服务器发送模块403，用于当通过所述第一并发管理节点将所述第一服务请求发送到第五服务器时，通过所述第二并发管理节点将所述第一服务请求发送到第五服务器，其中，所述第五服务器与所述第二服务请求对应；
第五缓存命中模块408，用于根据第一服务请求与第四服务器的身份信息进行缓存命中判断，得到第四缓存命中判断结果，根据第二服务请求与第五服务器的身份信息进行缓存命中判断，得到第五缓存命中判断结果；
第四服务器接收模块404，用于当第四缓存命中判断结果为第一服务请求命中第四服务器的身份信息且第五缓存命中判断结果为第二服务请求命中所述第五服务器的身份信息时，接收所述第四服务器返回的第四服务器响应信息和第五服务器返回的第五服务器响应信息；
第五存储模块405，用于根据所述第四服务器响应信息和所述第五服务器响应信息对所述分布式数据执行存储动作，得到第五存储结果。
在上述实施方式的基础上，本申请提供的分布式数据存储装置中，还包括：
管理节点需求获取模块，用于根据管理节点身份信息和管理节点数量从多个并发管理节点获取第一并发管理节点和第二并发管理节点。
本申请的第五实施方式涉及一种电子设备，如图20所示，包括：
至少一个处理器501；以及，
与所述至少一个处理器501通信连接的存储器502；其中，
所述存储器502存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器501执行，以使所述至少一个处理器501能够实现本申请第一实施方式所述的分布式数据存储方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请第六实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现本申请第一实施方式所述的分布式数据存储方法。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (20)

1.一种分布式数据存储方法，其特征在于，应用于一种HDFS并发管理节点，所述并发管理节点分别与多个元数据服务器连接，所述元数据服务器包括第一服务器和第二服务器，所述方法包括：
获取分布式数据的存储服务请求；
根据所述存储服务请求与预先缓存的第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果；
当所述第一缓存命中判断结果为所述存储服务请求未命中所述第一服务器的身份信息时，将所述存储服务请求发送到所述第二服务器；
根据所述存储服务请求与所述第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果；
当所述第二缓存命中判断结果为所述存储服务请求命中所述第二服务器的身份信息时，接收所述第二服务器返回的第二服务器响应信息；
根据所述第二服务器响应信息对所述分布式数据执行存储动作，得到第一存储结果。
2.根据权利要求1所述的方法，其特征在于，所述存储服务请求包括请求路径信息，所述根据所述存储服务请求与预先缓存的第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果包括：
根据所述请求路径信息获取所述分布式数据的归属缓存信息；
根据所述归属缓存信息和所述第一服务器的身份信息进行缓存命中判断，得到所述第一缓存命中判断结果。
3.根据权利要求2所述的方法，其特征在于，所述归属缓存信息包括文件归属缓存信息，所述根据所述请求路径信息获取所述分布式数据的归属缓存信息包括：
根据所述请求路径信息获取所述文件归属缓存信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述存储服务请求与预先缓存的第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果之后，还包括：
当所述第一缓存命中判断结果为所述存储服务请求命中所述第一服务器的身份信息时，将所述存储服务请求发送到所述第一服务器获取第一服务器响应信息；
根据所述第一服务器响应信息对所述分布式数据执行存储动作，得到第二存储结果。
5.根据权利要求3所述的方法，其特征在于，所述第二服务器响应信息还包括第三服务器的身份信息，所述根据所述文件归属缓存信息与所述第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果之后，还包括：
当所述第二缓存命中判断结果为所述文件归属缓存信息未命中所述第二服务器的身份信息时，接收所述第二服务器返回的所述第三服务器的身份信息，其中，所述第三服务器为所述文件归属缓存信息对应的服务器；
将所述存储服务请求发送到所述第三服务器；
接收所述第三服务器返回的第三服务器响应信息；
根据所述第三服务器响应信息对所述分布式数据执行存储动作，得到第四存储结果。
6.根据权利要求5所述的方法，其特征在于，所述当所述第二缓存命中判断结果为所述文件归属缓存信息未命中所述第二服务器的身份信息时，接收所述第二服务器返回的第三服务器的身份信息包括：
通过所述第二服务器中的元数据进行归属查找，得到所述第三服务器的身份信息；
接收所述第三服务器的身份信息。
7.根据权利要求5所述的方法，其特征在于，所述当所述第二缓存命中判断结果为所述文件归属缓存信息未命中所述第二服务器的身份信息时，接收所述第二服务器返回的所述第三服务器的身份信息之后，所述将所述存储服务请求发送到所述第三服务器之前，还包括：
对所述第三服务器的身份信息进行缓存处理。
8.根据权利要求4所述的方法，其特征在于，所述归属缓存信息包括目录归属缓存信息，所述根据所述请求路径信息获取所述分布式数据的归属缓存信息包括：
根据所述请求路径信息获取所述目录归属缓存信息。
9.根据权利要求8所述的方法，其特征在于，所述根据所述归属缓存信息与所述第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果包括：
根据所述目录归属缓存信息与所述第二服务器的身份信息进行缓存命中判断，得到所述第二缓存命中判断结果。
10.根据权利要求1所述的方法，其特征在于，所述根据所述第二服务器响应信息对所述分布式数据执行存储动作，得到第一存储结果包括：
获取所述分布式数据的加密请求，其中，所述加密请求包括第一客户名称；
将所述分布式数据和所述第一客户名称发送到所述第二服务器；
接收所述第二服务器返回的分布式数据租约检测结果；
当所述分布式数据租约检测结果为所述第二服务器不存在客户名称时，对所述分布式数据执行存储动作，得到所述第一存储结果。
11.根据权利要求10所述的方法，其特征在于，所述当所述分布式数据租约检测结果为所述第二服务器不存在客户名称时，对所述分布式数据执行存储动作，得到所述第一存储结果之后，还包括：
将所述第一客户名称写入所述第二服务器。
12.根据权利要求11所述的方法，其特征在于，所述将所述第一客户名称写入所述第二服务器之后，还包括：
向所述第二服务器发送租约释放请求，其中，所述租约释放请求用于供所述第二服务器删除所述第一客户名称。
13.根据权利要求10所述的方法，其特征在于，所述接收所述第二服务器返回的分布式数据租约检测结果之后，还包括：
当所述分布式数据租约检测结果为所述第二服务器存在第二客户名称时，停止对所述分布式数据执行存储动作，其中，所述第二客户名称与所述第一客户名称不同。
14.一种分布式数据存储方法，其特征在于，应用于一种全对称HDFS并发管理系统，所述HDFS并发管理系统包括多个并发管理节点和多个元数据服务器，多个所述并发管理节点包括第一并发管理节点、第二并发管理节点，所述第一并发管理节点、所述第二并发管理节点分别与多个所述元数据服务器连接，所述多个元数据服务器还包括第四服务器和第五服务器，所述方法包括：
获取分布式数据的存储服务请求，其中所述存储服务请求包括第一服务请求和第二服务请求；
通过所述第一并发管理节点将所述第一服务请求发送到第四服务器，其中，所述第四服务器与所述第一服务请求对应；
当通过所述第一并发管理节点将所述第一服务请求发送到第四服务器时，通过所述第二并发管理节点将所述第二服务请求发送到第五服务器，其中，所述第五服务器与所述第二服务请求对应；
根据所述第一服务请求与所述第四服务器的身份信息进行缓存命中判断，得到第四缓存命中判断结果，根据所述第二服务请求与所述第五服务器的身份信息进行缓存命中判断，得到第五缓存命中判断结果；
当所述第四缓存命中判断结果为所述第一服务请求命中所述第四服务器的身份信息且所述第五缓存命中判断结果为所述第二服务请求命中所述第五服务器的身份信息时，接收所述第四服务器返回的第四服务器响应信息和第五服务器返回的第五服务器响应信息；
根据所述第四服务器响应信息和所述第五服务器响应信息对所述分布式数据执行存储动作，得到第五存储结果。
15.根据权利要求14所述的方法，其特征在于，所述存储服务请求还包括管理节点身份信息和管理节点数量，所述获取分布式数据的存储服务请求之后，所述通过所述第一并发管理节点将所述第一服务请求发送到第四服务器之前，还包括：
根据所述管理节点身份信息和所述管理节点数量从多个所述并发管理节点获取所述第一并发管理节点和所述第二并发管理节点。
16.根据权利要求14所述的方法，其特征在于，所述根据所述第四服务器响应信息和所述第五服务器响应信息对所述分布式数据执行存储动作，得到第五存储结果包括：
获取所述第一服务请求和第二服务请求对应的加密请求，其中，所述加密请求包括所述第一并发管理节点对应的第四客户名称和所述第二并发管理节点对应的第五客户名称；
将所述第一服务请求对应的分布式数据和所述第四客户名称发送到所述第四服务器，将所述第二服务请求对应的分布式数据和所述第五客户名称发送到所述第五服务器；
接收所述第四服务器返回的第四服务器租约检测结果和所述第五服务器返回的第五服务器租约检测结果；
当所述第四服务器租约检测结果为所述第四服务器不存在客户名称时，对所述分布式数据执行存储动作；
当所述第五服务器租约检测结果为所述第五服务器不存在客户名称时，对所述分布式数据执行存储动作。
17.一种分布式数据存储装置，其特征在于，应用于一种HDFS并发管理节点，所述并发管理节点分别与多个元数据服务器连接，所述元数据服务器包括第一服务器和第二服务器，包括：
第一存储服务请求获取模块，用于获取分布式数据的存储服务请求；
第一缓存命中模块，用于根据所述存储服务请求与预先缓存的第一服务器的身份信息进行缓存命中判断，得到第一缓存命中判断结果；
第二服务器发送模块，用于当所述第一缓存命中判断结果为所述存储服务请求未命中所述第一服务器的身份信息时，将所述存储服务请求发送到所述第二服务器；
第二缓存命中模块，用于根据所述存储服务请求与所述第二服务器的身份信息进行缓存命中判断，得到第二缓存命中判断结果；
第二服务器接收模块，用于当所述第二缓存命中判断结果为所述存储服务请求命中所述第二服务器的身份信息时，接收所述第二服务器返回的第二服务器响应信息；
第一存储模块，用于根据所述第二服务器响应信息对所述分布式数据执行存储动作，得到第一存储结果。
18.一种分布式数据存储装置，其特征在于，应用于一种全对称HDFS并发管理系统，所述HDFS并发管理系统包括多个并发管理节点和多个元数据服务器，多个所述并发管理节点包括第一并发管理节点、第二并发管理节点，所述第一并发管理节点、所述第二并发管理节点分别与多个所述元数据服务器连接，所述多个元数据服务器还包括第四服务器和第五服务器，包括：
第二存储服务请求获取模块，用于获取分布式数据的存储服务请求，其中所述存储服务请求包括第一服务请求和第二服务请求；
第四服务器发送模块，用于通过所述第一并发管理节点将所述第一服务请求发送到第四服务器，其中，所述第四服务器与所述第一服务请求对应；
第五服务器发送模块，用于当通过所述第一并发管理节点将所述第一服务请求发送到第四服务器时，通过所述第二并发管理节点将所述第二服务请求发送到第五服务器，其中，所述第五服务器与所述第二服务请求对应；
第五缓存命中模块，用于根据所述第一服务请求与所述第四服务器的身份信息进行缓存命中判断，得到第四缓存命中判断结果，根据所述第二服务请求与所述第五服务器的身份信息进行缓存命中判断，得到第五缓存命中判断结果；
第四服务器接收模块，用于当所述第四缓存命中判断结果为所述第一服务请求命中所述第四服务器的身份信息且所述第五缓存命中判断结果为所述第二服务请求命中所述第五服务器的身份信息时，接收所述第四服务器返回的第四服务器响应信息和第五服务器返回的第五服务器响应信息；
第五存储模块，用于根据所述第四服务器响应信息和所述第五服务器响应信息对所述分布式数据执行存储动作，得到第五存储结果。
19.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-13或权利要求14-16任一项所述的分布式数据存储方法的步骤。
20.一种非易失性可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-13或权利要求14-16任一项所述的分布式数据存储方法。
CN202311243987.5A 2023-09-25 2023-09-25 分布式数据存储方法、装置、电子设备及存储介质 Active CN116991333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311243987.5A CN116991333B (zh) 2023-09-25 2023-09-25 分布式数据存储方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311243987.5A CN116991333B (zh) 2023-09-25 2023-09-25 分布式数据存储方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116991333A true CN116991333A (zh) 2023-11-03
CN116991333B CN116991333B (zh) 2024-01-26

Family

ID=88532459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311243987.5A Active CN116991333B (zh) 2023-09-25 2023-09-25 分布式数据存储方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116991333B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577123A (zh) * 2013-11-12 2014-02-12 河海大学 一种基于hdfs的小文件优化存储方法
CN105354250A (zh) * 2015-10-16 2016-02-24 浪潮(北京)电子信息产业有限公司 一种面向云存储的数据存储方法及装置
CN106255967A (zh) * 2014-03-31 2016-12-21 亚马逊科技公司 分布式存储系统中的命名空间管理
CN106462544A (zh) * 2014-03-31 2017-02-22 亚马逊科技公司 分布式存储系统中的会话管理
US20170277715A1 (en) * 2016-03-25 2017-09-28 Amazon Technologies, Inc. File system mode switching in a distributed storage service
CN206932239U (zh) * 2017-07-12 2018-01-26 长沙学院 一种基于Hadoop的云存储平台
CN107920131A (zh) * 2017-12-08 2018-04-17 郑州云海信息技术有限公司 一种hdfs存储系统的元数据管理方法及装置
US20180136842A1 (en) * 2016-11-11 2018-05-17 Hewlett Packard Enterprise Development Lp Partition metadata for distributed data objects
CN109766318A (zh) * 2018-12-17 2019-05-17 新华三大数据技术有限公司 文件读取方法及装置
CN111158597A (zh) * 2019-12-28 2020-05-15 浪潮电子信息产业股份有限公司 一种元数据读取方法、装置及电子设备和存储介质
US10740005B1 (en) * 2015-09-29 2020-08-11 EMC IP Holding Company LLC Distributed file system deployment on a data storage system
CN111949633A (zh) * 2020-08-03 2020-11-17 杭州电子科技大学 一种基于并行流处理的ict系统运行日志分析方法
US20210223988A1 (en) * 2020-01-22 2021-07-22 International Business Machines Corporation Selecting data nodes for wan caching in a hybrid cloud environment
CN113377868A (zh) * 2021-06-16 2021-09-10 浪潮卓数大数据产业发展有限公司 一种基于分布式kv数据库的离线存储系统
US20220019364A1 (en) * 2020-07-15 2022-01-20 Dynavisor, Inc. Method and System for Dynamic Storage Scaling
CN114201446A (zh) * 2021-11-22 2022-03-18 苏州浪潮智能科技有限公司 实现hdfs远端存储挂载的方法及系统
CN114513530A (zh) * 2022-04-19 2022-05-17 山东省计算中心（国家超级计算济南中心） 一种跨域存储空间双向供给方法和系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577123A (zh) * 2013-11-12 2014-02-12 河海大学 一种基于hdfs的小文件优化存储方法
CN106255967A (zh) * 2014-03-31 2016-12-21 亚马逊科技公司 分布式存储系统中的命名空间管理
CN106462544A (zh) * 2014-03-31 2017-02-22 亚马逊科技公司 分布式存储系统中的会话管理
US10740005B1 (en) * 2015-09-29 2020-08-11 EMC IP Holding Company LLC Distributed file system deployment on a data storage system
CN105354250A (zh) * 2015-10-16 2016-02-24 浪潮(北京)电子信息产业有限公司 一种面向云存储的数据存储方法及装置
US20170277715A1 (en) * 2016-03-25 2017-09-28 Amazon Technologies, Inc. File system mode switching in a distributed storage service
US20180136842A1 (en) * 2016-11-11 2018-05-17 Hewlett Packard Enterprise Development Lp Partition metadata for distributed data objects
CN206932239U (zh) * 2017-07-12 2018-01-26 长沙学院 一种基于Hadoop的云存储平台
CN107920131A (zh) * 2017-12-08 2018-04-17 郑州云海信息技术有限公司 一种hdfs存储系统的元数据管理方法及装置
CN109766318A (zh) * 2018-12-17 2019-05-17 新华三大数据技术有限公司 文件读取方法及装置
CN111158597A (zh) * 2019-12-28 2020-05-15 浪潮电子信息产业股份有限公司 一种元数据读取方法、装置及电子设备和存储介质
US20210223988A1 (en) * 2020-01-22 2021-07-22 International Business Machines Corporation Selecting data nodes for wan caching in a hybrid cloud environment
US20220019364A1 (en) * 2020-07-15 2022-01-20 Dynavisor, Inc. Method and System for Dynamic Storage Scaling
CN111949633A (zh) * 2020-08-03 2020-11-17 杭州电子科技大学 一种基于并行流处理的ict系统运行日志分析方法
CN113377868A (zh) * 2021-06-16 2021-09-10 浪潮卓数大数据产业发展有限公司 一种基于分布式kv数据库的离线存储系统
CN114201446A (zh) * 2021-11-22 2022-03-18 苏州浪潮智能科技有限公司 实现hdfs远端存储挂载的方法及系统
CN114513530A (zh) * 2022-04-19 2022-05-17 山东省计算中心（国家超级计算济南中心） 一种跨域存储空间双向供给方法和系统

Also Published As

Publication number Publication date
CN116991333B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN107943594B (zh) 数据获取方法和装置
US11349940B2 (en) Server side data cache system
CN110324177B (zh) 一种微服务架构下的服务请求处理方法、系统及介质
US8069224B2 (en) Method, equipment and system for resource acquisition
EP2710477B1 (en) Distributed caching and cache analysis
CN111291079A (zh) 一种数据的查询方法和装置
CN106933548B (zh) 全局信息获取、处理及更新、方法、装置和系统
CN106933550B (zh) 全局信息获取、处理及更新方法、装置和系统
CN111049928B (zh) 数据同步方法、系统、电子设备及计算机可读存储介质
CN111221469B (zh) 同步缓存数据的方法、装置和系统
CN103607424A (zh) 一种服务器连接方法及服务器系统
US9380127B2 (en) Distributed caching and cache analysis
WO2019041670A1 (zh) 一种降低功能页面请求次数的方法、存储介质、设备及系统
CN114629883B (zh) 服务请求的处理方法、装置、电子设备及存储介质
CN114238518A (zh) 数据处理方法、装置、设备及存储介质
CN107181773A (zh) 分布式存储系统的数据存储及数据管理方法、设备
CN109062717B (zh) 数据缓存及缓存容灾方法和系统、缓存系统
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
CN107547605B (zh) 一种基于节点队列的消息读写方法及节点设备
CN116991333B (zh) 分布式数据存储方法、装置、电子设备及存储介质
CN115118612B (zh) 资源配额管理方法、装置、计算机设备和存储介质
CN112995723A (zh) 一种epg数据管理方法、服务器及可读存储介质
CN111382132A (zh) 医学影像数据云存储系统
CN111367921A (zh) 数据对象的刷新方法及装置
CN103838682A (zh) 一种文件目录的读取方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant