CN112632075A - 集群元数据的存储、读取方法和装置 - Google Patents

集群元数据的存储、读取方法和装置 Download PDF

Info

Publication number
CN112632075A
CN112632075A CN202011566142.6A CN202011566142A CN112632075A CN 112632075 A CN112632075 A CN 112632075A CN 202011566142 A CN202011566142 A CN 202011566142A CN 112632075 A CN112632075 A CN 112632075A
Authority
CN
China
Prior art keywords
fields
node
cluster metadata
nodes
current node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011566142.6A
Other languages
English (en)
Inventor
黄文华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Technology Co ltd
Original Assignee
Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Technology Co ltd filed Critical Innovation Technology Co ltd
Priority to CN202011566142.6A priority Critical patent/CN112632075A/zh
Publication of CN112632075A publication Critical patent/CN112632075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了集群元数据的存储、读取方法和装置，包括：获取集群元数据，集群元数据包括多个字段；将多个字段进行分割得到N组字段；将N组字段以分布的方式存储到M个节点上；从M个节点中选取任一节点，作为当前节点；通过当前节点接收客户端发送的读取请求信息，并将读取请求信息发送给除当前节点以外的其他节点；根据读取请求信息获取当前节点对应的字段和其他节点对应的字段；将当前节点对应的字段和其他节点对应的字段进行拼接，得到包括N组字段的集群元数据；将集群元数据分割后以分布的方式存储到每个节点上，可以节省空间；当客户端需要读取数据时，即使其中一个节点处于非工作状态，也不会影响客户端读取集群元数据，提高用户体验。

Description

集群元数据的存储、读取方法和装置
技术领域
本发明涉及计算机存储技术领域，尤其是涉及集群元数据的存储、读取方法和装置。
背景技术
目前，将集群元数据存储到一个节点上，其中，节点为集群中的一台服务器。由于将整个集群元数据都存储到一个节点上，会占用该节点较多空间。
另外，当该节点处于故障、关节或离线状态时，由于整个集群元数据只存储在这个节点上，其他节点并没有存储。如果客户端需要读取这个节点上的集群元数据时，则无法读取，导致用户体验差。
发明内容
有鉴于此，本发明的目的在于提供集群元数据的存储、读取方法和装置，通过将集群元数据分割后以分布的方式存储到每个节点上，从而可以节省空间；当客户端需要读取数据时，即使其中一个节点处于非工作状态，也不会影响客户端读取集群元数据，可以提高用户体验。
第一方面，本发明实施例提供了集群元数据的存储方法，所述方法包括：
获取集群元数据，所述集群元数据包括多个字段；
将所述多个字段进行分割，得到N组字段，N为正整数；
将所述N组字段以分布的方式存储到M个节点上，M为正整数。
进一步的，所述将所述多个字段进行分割，得到N组字段，包括：
将所述多个字段按照预设字段阈值进行分割，得到所述N组字段。
第二方面，本发明实施例提供了集群元数据的读取方法，所述方法包括：
从M个节点中选取任一节点，并作为当前节点；
通过所述当前节点接收客户端发送的读取请求信息，并将所述读取请求信息发送给除所述当前节点以外的其他节点；
根据所述读取请求信息获取所述当前节点对应的字段和所述其他节点对应的字段；
将所述当前节点对应的字段和所述其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并将所述集群元数据发送给所述客户端。
进一步的，所述从M个节点中选取任一节点，并作为当前节点，包括：
从所述M个节点上选取任一节点；
判断选取的节点的状态；
如果所述选取的节点处于工作状态，则将所述选取的节点作为所述当前节点；
如果所述选取的节点处于非工作状态，则重新选取节点。
进一步的，所述非工作状态为故障状态、关机状态或离线状态。
第三方面，本发明实施例提供了集群元数据的存储装置，所述装置包括：
集群元数据获取单元，用于获取集群元数据，所述集群元数据包括多个字段；
分割单元，用于将所述多个字段进行分割，得到N组字段，N为正整数；
存储单元，用于将所述N组字段以分布的方式存储到M个节点上，M为正整数。
进一步的，所述分割单元具体用于：
将所述多个字段按照预设字段阈值进行分割，得到所述N组字段。
第四方面，本发明实施例提供了集群元数据的读取装置，所述装置包括：
选取单元，用于从M个节点中选取任一节点，并作为当前节点；
接收单元，用于通过所述当前节点接收客户端发送的读取请求信息，并将所述读取请求信息发送给除所述当前节点以外的其他节点；
字段获取单元，用于根据所述读取请求信息获取所述当前节点对应的字段和所述其他节点对应的字段；
拼接单元，用于将所述当前节点对应的字段和所述其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并将所述集群元数据发送给所述客户端。
第五方面，本发明实施例提供了电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
第六方面，本发明实施例提供了具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行如上所述的方法。
本发明实施例提供了集群元数据的存储、读取方法和装置，包括：获取集群元数据，集群元数据包括多个字段；将多个字段进行分割，得到N组字段；将N组字段以分布的方式存储到M个节点上；从M个节点中选取任一节点，并作为当前节点；通过当前节点接收客户端发送的读取请求信息，并将读取请求信息发送给除当前节点以外的其他节点；根据读取请求信息获取当前节点对应的字段和其他节点对应的字段；将当前节点对应的字段和其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并将集群元数据发送给客户端；通过将集群元数据分割后以分布的方式存储到每个节点上，从而可以节省空间；当客户端需要读取数据时，即使其中一个节点处于非工作状态，也不会影响客户端读取集群元数据，可以提高用户体验。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的集群元数据的存储方法流程图；
图2为本发明实施例一提供的集群元数据分割示意图；
图3为本发明实施例二提供的集群元数据的读取方法流程图；
图4为本发明实施例三提供的集群元数据的存储装置示意图；
图5为本发明实施例四提供的集群元数据的读取装置示意图。
图标：
1-集群元数据获取单元；2-分割单元；3-存储单元；4-选取单元；5-接收单元；6-字段获取单元；7-拼接单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，对于集群元数据的存储，是将集群元数据存储到一个节点上，其中，节点为集群中的一台服务器。由于将整个集群元数据都存储到一个节点上，会占用该节点较多空间。
另外，当该节点处于故障、关节或离线状态时，由于整个集群元数据只存储在这个节点上，其他节点并没有存储。如果客户端需要读取这个节点上的集群元数据时，则无法读取，导致用户体验差。
为便于对本实施例进行理解，下面对本发明实施例进行详细介绍。
实施例一：
图1为本发明实施例一提供的集群元数据的存储方法流程图。
参照图1，该方法包括以下步骤：
步骤S101，获取集群元数据，集群元数据包括多个字段；
步骤S102，将多个字段进行分割，得到N组字段，N为正整数；
步骤S103，将N组字段以分布的方式存储到M个节点上，M为正整数。
本实施例中，集群元数据为完整的数据，集群元数据包括多个字段，这些字段可以为字符串；将多个字段进行分割后，得到N组字段，然后将N组字段以分布式存储的方式存储到M个节点上，这样可以使N组字段分布到每个节点上，从而节省存储空间。其中，节点为集群中的一台服务器，M个节点为集群中的M台服务器。
进一步的，步骤S102包括：
将多个字段按照预设字段阈值进行分割，得到N组字段。
具体地，预设字段阈值是通过程序设定的，用户可以设定5个字段为一组，也可以设定4个字段为一组，具体情况根据设定进行分组。参照图2，集群元数据包括多个字段，具体为：D1D2D3D4D5D6D7D8D9，预设字段阈值为5，即将5个字段分割为一组，故将多个字段按照预设字段阈值进行分割后，得到9组字段，具体为：D1-D5、D2-D6、D3-D7、D4-D8、D5-D9、D6-D1、D7-D2、D8-D3和D9-D4。
将分割后的9组字段以分布的方式存储到M个节点上。当M等于5时，节点依次为A1、A2、A3、A4和A5。将D1-D5和D2-D6存储到A1上，将D3-D7和D4-D8存储到A2上，将D5-D9和D6-D1存储到A3上，将D7-D2和D8-D3存储到A4上，将D9-D4存储到A5上。
当M等于6时，节点依次为A1、A2、A3、A4、A5和A6。将D1-D5和D2-D6存储到A1上，将D3-D7和D4-D8存储到A2上，将D5-D9和D6-D1存储到A3上，将D7-D2存储到A4上，将D8-D3存储到A5上，将D9-D4存储到A6上。M点还可以为其他值，并不限于以上的值，具体分配方式此处不再赘述。
本发明实施例提供了集群元数据的存储方法，包括：获取集群元数据，集群元数据包括多个字段；将多个字段进行分割，得到N组字段；将N组字段以分布的方式存储到M个节点上；通过将集群元数据分割后以分布的方式存储到每个节点上，从而可以节省空间。
实施例二：
图3为本发明实施例二提供的集群元数据的读取方法流程图。
参照图3，该方法包括以下步骤：
步骤S201，从M个节点中选取任一节点，并作为当前节点；
步骤S202，通过当前节点接收客户端发送的读取请求信息，并将读取请求信息发送给除当前节点以外的其他节点；
步骤S203，根据读取请求信息获取当前节点对应的字段和其他节点对应的字段；
步骤S204，将当前节点对应的字段和其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并将集群元数据发送给客户端。
本实施例中，当客户端需要读取集群元数据时，会向其中一个节点发送读取请求信息，此时，从M个节点选取任一节点，作为当前节点。此时的当前节点处于工作状态，如果处于非工作状态，则无法接收客户端发送的读取请求信息，读取请求信息包括客户端需要获取的数据信息。通过当前节点接收客户端发送的读取请求信息，并将读取请求信息发送给除当前节点以外的其他节点。判断其他节点是否处于工作状态，如果处于工作状态，则获取处于工作状态的其他节点对应的字段，如果其他节点中的某个节点处于非工作状态，则不需要获取该节点对应的字段；然后将当前节点对应的字段和处于工作状态的其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并发送给客户端。当客户端需要读取数据时，即使其中一个节点处于非工作状态，也不会影响客户端读取集群元数据，可以提高用户体验。其中，非工作状态为故障状态、关机状态或离线状态。
进一步的，步骤S201包括以下步骤：
步骤S301，从M个节点上选取任一节点；
步骤S302，判断选取的节点的状态；
步骤S303，将选取的节点作为当前节点；
步骤S304，如果选取的节点处于非工作状态，则重新选取节点。
具体地，从M个节点中选取任一节点，然后判断该节点的状态，如果处于工作状态，则说明该节点可以接收客户端发送的读取请求信息；如果处于非工作状态，则说明该节点不可以接收客户端发送的读取请求信息，此时，需要从其余的M-1个节点中重新选取，以确保可以接收客户端发送的读取请求信息。因此，当客户端需要读取数据时，即使从M个节点中选取的任一节点处于非工作状态，也不会影响客户读取集群元数据，还可以从其余的节点中选取当前节点，并将当前节点对应的字段和处于工作状态的其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并发送给客户端。
本发明实施例提供了集群元数据的读取方法，包括：从M个节点中选取任一节点，并作为当前节点；通过当前节点接收客户端发送的读取请求信息，并将读取请求信息发送给除当前节点以外的其他节点；根据读取请求信息获取当前节点对应的字段和其他节点对应的字段；将当前节点对应的字段和其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并将集群元数据发送给客户端；当客户端需要读取数据时，即使其中一个节点处于非工作状态，也不会影响客户端读取集群元数据，可以提高用户体验。
实施例三：
图4为本发明实施例三提供的集群元数据的存储装置示意图。
参照图4，该装置包括：
集群元数据获取单元1，用于获取集群元数据，集群元数据包括多个字段；
分割单元2，用于将多个字段进行分割，得到N组字段，N为正整数；
存储单元3，用于将N组字段以分布的方式存储到M个节点上，M为正整数。
进一步的，分割单元2具体用于：
将多个字段按照预设字段阈值进行分割，得到N组字段。
本发明实施例提供了集群元数据的存储装置，包括：获取集群元数据，集群元数据包括多个字段；将多个字段进行分割，得到N组字段；将N组字段以分布的方式存储到M个节点上；通过将集群元数据分割后以分布的方式存储到每个节点上，从而可以节省空间。
实施例四：
图5为本发明实施例四提供的集群元数据的读取装置示意图。
参照图5，该装置包括：
选取单元4，用于从M个节点中选取任一节点，并作为当前节点；
接收单元5，用于通过当前节点接收客户端发送的读取请求信息，并将读取请求信息发送给除当前节点以外的其他节点；
字段获取单元6，用于根据读取请求信息获取当前节点对应的字段和其他节点对应的字段；
拼接单元7，用于将当前节点对应的字段和其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并将集群元数据发送给客户端。
进一步的，选取单元4具体用于：
从M个节点上选取任一节点；
判断选取的节点的状态；
如果选取的节点处于工作状态，则将选取的节点作为当前节点；
如果选取的节点处于非工作状态，则重新选取节点。
进一步的，非工作状态为故障状态、关机状态或离线状态。
本发明实施例提供了集群元数据的读取装置，包括：从M个节点中选取任一节点，并作为当前节点；通过当前节点接收客户端发送的读取请求信息，并将读取请求信息发送给除当前节点以外的其他节点；根据读取请求信息获取当前节点对应的字段和其他节点对应的字段；将当前节点对应的字段和其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并将集群元数据发送给客户端；当客户端需要读取数据时，即使其中一个节点处于非工作状态，也不会影响客户端读取集群元数据，可以提高用户体验。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的集群元数据的存储、读取方法的步骤。
本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，计算机可读介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的集群元数据的存储、读取方法的步骤。
本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种集群元数据的存储方法，其特征在于，所述方法包括：
获取集群元数据，所述集群元数据包括多个字段；
将所述多个字段进行分割，得到N组字段，N为正整数；
将所述N组字段以分布的方式存储到M个节点上，M为正整数。
2.根据权利要求1所述的集群元数据的存储方法，其特征在于，所述将所述多个字段进行分割，得到N组字段，包括：
将所述多个字段按照预设字段阈值进行分割，得到所述N组字段。
3.一种集群元数据的读取方法，其特征在于，所述方法包括：
从M个节点中选取任一节点，并作为当前节点；
通过所述当前节点接收客户端发送的读取请求信息，并将所述读取请求信息发送给除所述当前节点以外的其他节点；
根据所述读取请求信息获取所述当前节点对应的字段和所述其他节点对应的字段；
将所述当前节点对应的字段和所述其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并将所述集群元数据发送给所述客户端。
4.根据权利要求3所述的集群元数据的读取方法，其特征在于，所述从M个节点中选取任一节点，并作为当前节点，包括：
从所述M个节点上选取任一节点；
判断选取的节点的状态；
如果所述选取的节点处于工作状态，则将所述选取的节点作为所述当前节点；
如果所述选取的节点处于非工作状态，则重新选取节点。
5.根据权利要求4所述的集群元数据的读取方法，其特征在于，所述非工作状态为故障状态、关机状态或离线状态。
6.一种集群元数据的存储装置，其特征在于，所述装置包括：
集群元数据获取单元，用于获取集群元数据，所述集群元数据包括多个字段；
分割单元，用于将所述多个字段进行分割，得到N组字段，N为正整数；
存储单元，用于将所述N组字段以分布的方式存储到M个节点上，M为正整数。
7.根据权利要求6所述的集群元数据的存储装置，其特征在于，所述分割单元具体用于：
将所述多个字段按照预设字段阈值进行分割，得到所述N组字段。
8.一种集群元数据的读取装置，其特征在于，所述装置包括：
选取单元，用于从M个节点中选取任一节点，并作为当前节点；
接收单元，用于通过所述当前节点接收客户端发送的读取请求信息，并将所述读取请求信息发送给除所述当前节点以外的其他节点；
字段获取单元，用于根据所述读取请求信息获取所述当前节点对应的字段和所述其他节点对应的字段；
拼接单元，用于将所述当前节点对应的字段和所述其他节点对应的字段进行拼接，得到包括N组字段的集群元数据，并将所述集群元数据发送给所述客户端。
9.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至5任一项所述的方法。
CN202011566142.6A 2020-12-25 2020-12-25 集群元数据的存储、读取方法和装置 Pending CN112632075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011566142.6A CN112632075A (zh) 2020-12-25 2020-12-25 集群元数据的存储、读取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011566142.6A CN112632075A (zh) 2020-12-25 2020-12-25 集群元数据的存储、读取方法和装置

Publications (1)

Publication Number Publication Date
CN112632075A true CN112632075A (zh) 2021-04-09

Family

ID=75325480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011566142.6A Pending CN112632075A (zh) 2020-12-25 2020-12-25 集群元数据的存储、读取方法和装置

Country Status (1)

Country Link
CN (1) CN112632075A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090037432A1 (en) * 2007-07-31 2009-02-05 Kabushiki Kaisha Toshiba Information communication system and data sharing method
CN101510223A (zh) * 2009-04-03 2009-08-19 成都市华为赛门铁克科技有限公司 一种数据处理方法和系统
JP2009289165A (ja) * 2008-05-30 2009-12-10 Panasonic Electric Works Co Ltd データ保存システム
KR20100065768A (ko) * 2008-12-08 2010-06-17 주식회사 케이티 객체기반 스토리지 시스템에서 클라이언트 요청빈도에 따른데이터 관리 방법
CN102332030A (zh) * 2011-10-17 2012-01-25 中国科学院计算技术研究所 用于分布式键-值存储系统的数据存储、管理和查询方法及系统
CN105430078A (zh) * 2015-11-17 2016-03-23 浪潮(北京)电子信息产业有限公司 一种海量数据的分布式存储方法
CN106484881A (zh) * 2016-10-14 2017-03-08 北京百度网讯科技有限公司 文件处理方法和装置
CN109547574A (zh) * 2019-01-04 2019-03-29 平安科技（深圳）有限公司 一种数据传输方法及相关装置
CN111339183A (zh) * 2020-02-11 2020-06-26 腾讯云计算（北京）有限责任公司 数据处理方法、边缘节点、数据中心及存储介质
CN111414346A (zh) * 2020-04-30 2020-07-14 武汉众邦银行股份有限公司 一种海量非结构化数据文件分布式颗粒化的存储方法
CN111625592A (zh) * 2019-02-28 2020-09-04 北京京东尚科信息技术有限公司 分布式数据库的负载均衡方法和装置
CN111680198A (zh) * 2020-04-29 2020-09-18 浙江海洋大学 基于文件分割与特征提取的档案管理系统及方法
KR20200121583A (ko) * 2019-04-16 2020-10-26 주식회사 바스랩 데이터 비식별화처리를 이용한 데이터 분산처리 장치 및 방법

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090037432A1 (en) * 2007-07-31 2009-02-05 Kabushiki Kaisha Toshiba Information communication system and data sharing method
JP2009289165A (ja) * 2008-05-30 2009-12-10 Panasonic Electric Works Co Ltd データ保存システム
KR20100065768A (ko) * 2008-12-08 2010-06-17 주식회사 케이티 객체기반 스토리지 시스템에서 클라이언트 요청빈도에 따른데이터 관리 방법
CN101510223A (zh) * 2009-04-03 2009-08-19 成都市华为赛门铁克科技有限公司 一种数据处理方法和系统
CN102332030A (zh) * 2011-10-17 2012-01-25 中国科学院计算技术研究所 用于分布式键-值存储系统的数据存储、管理和查询方法及系统
CN105430078A (zh) * 2015-11-17 2016-03-23 浪潮(北京)电子信息产业有限公司 一种海量数据的分布式存储方法
CN106484881A (zh) * 2016-10-14 2017-03-08 北京百度网讯科技有限公司 文件处理方法和装置
CN109547574A (zh) * 2019-01-04 2019-03-29 平安科技（深圳）有限公司 一种数据传输方法及相关装置
CN111625592A (zh) * 2019-02-28 2020-09-04 北京京东尚科信息技术有限公司 分布式数据库的负载均衡方法和装置
KR20200121583A (ko) * 2019-04-16 2020-10-26 주식회사 바스랩 데이터 비식별화처리를 이용한 데이터 분산처리 장치 및 방법
CN111339183A (zh) * 2020-02-11 2020-06-26 腾讯云计算（北京）有限责任公司 数据处理方法、边缘节点、数据中心及存储介质
CN111680198A (zh) * 2020-04-29 2020-09-18 浙江海洋大学 基于文件分割与特征提取的档案管理系统及方法
CN111414346A (zh) * 2020-04-30 2020-07-14 武汉众邦银行股份有限公司 一种海量非结构化数据文件分布式颗粒化的存储方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICHAEL D. BEYNON ET AL.: "Distributed processing of very large datasets with DataCutter", 《PARALLEL COMPUTING》, 31 July 2001 (2001-07-31), pages 1457 - 1478 *
薛荷: "大数据存储优化及快速检索技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 8, 15 August 2018 (2018-08-15), pages 138 - 392 *

Similar Documents

Publication Publication Date Title
CN108494799B (zh) 数据共享方法和系统
CN110048879B (zh) 微服务注册方法、装置、电子设备和计算机可读存储介质
CN112422320B (zh) 服务器的主从切换方法、装置和服务器
CN108268296A (zh) 页面布局的加载方法、客户端和服务器
CN110618889A (zh) 服务可用性的探测方法、装置、计算机设备和存储介质
CN111694703B (zh) 缓存区管理方法、装置和计算机设备
CN112559217A (zh) 一种消息可靠性消费幂等处理方法及处理装置
CN112632075A (zh) 集群元数据的存储、读取方法和装置
CN116705129B (zh) 固态硬盘的测试方法
CN114546537B (zh) 一种多操作系统的启动顺序部署方法及相关装置
CN116633766A (zh) 故障处理方法、装置、电子设备及存储介质
CN116610336A (zh) 一种固件升级方法、系统、装置及可读存储介质
CN110765732A (zh) 序列号生成方法、装置及服务器
CN113132241A (zh) Acl模板动态配置方法及装置
JP6467010B2 (ja) モバイルデバイスへのフィルタリング規則をダウンロードするシステム及び方法
CN113031861B (zh) 一种数据存储方法、装置、设备及计算机可读存储介质
CN111711976A (zh) 节点入簇方法、系统、终端设备及计算机可读存储介质
CN112801769B (zh) 账务数据处理方法、装置及系统
CN110727416A (zh) 开发框架的生成方法及相关装置
CN112667158A (zh) 磁盘的存储方法和系统
CN107864096B (zh) 路径调整方法及装置
CN114138191B (zh) 一种存储池数据校验方法、系统、设备以及介质
CN112968933B (zh) 数据传输方法、装置、服务器及存储介质
CN110519349B (zh) 一种基于DNS固定分配虚拟ip的负载均衡方法及装置
CN116541313B (zh) 一种人脸核身方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination