CN111835848A - 数据分片方法、装置、电子设备及计算机可读介质 - Google Patents

数据分片方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN111835848A
CN111835848A CN202010662841.4A CN202010662841A CN111835848A CN 111835848 A CN111835848 A CN 111835848A CN 202010662841 A CN202010662841 A CN 202010662841A CN 111835848 A CN111835848 A CN 111835848A
Authority
CN
China
Prior art keywords
data
terminal
node
terminals
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010662841.4A
Other languages
English (en)
Other versions
CN111835848B (zh
Inventor
白戈
袁志伟
王长虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010662841.4A priority Critical patent/CN111835848B/zh
Publication of CN111835848A publication Critical patent/CN111835848A/zh
Application granted granted Critical
Publication of CN111835848B publication Critical patent/CN111835848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种数据分片方法、装置、电子设备及计算机可读介质，涉及数据处理技术领域。数据分片方法包括：按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，所述数据分组的数量至少为所述节点终端数量的两倍；根据所述分片数据的数量和所述节点终端的数量，确定向每个节点终端分配的分片数据，每个所述节点终端至少被分配两个分组的分片数据；分别发送加载指令给所述多个节点终端，所述加载指令用于使接收所述存储指令的节点终端加载所述节点终端被分配的分片数据，所述节点终端并根据加载的分片数据创建对应所述分片数据的索引信息。本公开实施例的节点终端中的索引信息创建和更新的速度得到较大提升。

Description

数据分片方法、装置、电子设备及计算机可读介质
技术领域
本公开实施例涉及数据处理技术领域，具体而言，本公开涉及一种数据分片方法、装置、电子设备及计算机可读介质。
背景技术
随着计算机的发展，数据的规模越来越大。为了便于数据的存储，通常会将数据分片，不同的分片数据存储在不同的节点终端中，分片数据的数量和节点终端的数量相同，每个节点终端中存储一个分片数据。在需要时，将分布在节点终端的分片数据中的部分或全部数据召回。
节点终端会给每个分片数据创建对应的索引信息，以便于分片数据中的数据的查询和召回。而需要分片存储的数据是海量的，分成的分片数据份数较少，每个分片数据中的数据量极多，在针对每个分片数据建立索引信息或更新索引信息时，建立和更新索引信息的速度较慢。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，提供了一种数据分片方法，该方法包括：
按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，所述数据分组的数量至少为所述节点终端数量的两倍；
根据所述分片数据的数量和所述节点终端的数量，确定向每个节点终端分配的分片数据，每个所述节点终端至少被分配两个分组的分片数据；
分别发送加载指令给所述多个节点终端，所述加载指令用于使接收所述存储指令的节点终端加载所述节点终端被分配的分片数据，所述节点终端并根据加载的分片数据创建对应所述分片数据的索引信息。
第二方面，还提供一种数据分片装置，该装置包括：
分组模块，用于按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，所述数据分组的数量至少为所述节点终端数量的两倍；
分配模块，用于根据所述分片数据的数量和所述节点终端的数量，确定向每个节点终端分配的分片数据，每个所述节点终端至少被分配两个分组的分片数据；
指令发送模块，用于分别发送加载指令给所述多个节点终端，所述加载指令用于使接收所述存储指令的节点终端加载所述节点终端被分配的分片数据，所述节点终端并根据加载的分片数据创建对应所述分片数据的索引信息。
第三方面，还提供一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行本公开第一方面所示的数据分片方法。
第四方面，还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所示的数据分片方法。
与现有技术相比，本公开实施例提供一种数据分片方法、装置、电子设备及计算机可读介质，按照预设规则，将多个数据分为多个分组，数据分组的数量至少为节点终端数量的两倍，能使每个分组的分片数据包括的数据更少，分片数据的粒度更细，根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据，使得每个节点终端的被分配的分片数据的数量更加均匀，节点终端加载该节点终端被分配的分片数据，解决了在信息海量时，一个终端的内存有限的问题，节点终端针对每个分片数据建立索引信息后，由于片数据的粒度更细，在对索引信息进行更新时，能降低对每个分片数据的索引信息的更新时间，且在需要时，根据索引信息，可以快速查询需要的数据，以使节点终端返回查询的结果加快。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种数据分片方法的应用环境示意图；
图2为本公开实施例提供的一种数据分片方法的流程示意图；
图3为图1中步骤S201的详细流程示意图；
图4为本公开实施例提供的一种数据分片方法还包括的流程示意图；
图5为图4中步骤S401的详细流程示意图；
图6为本公开实施例提供的一种数据分片装置的结构示意图；
图7为本公开实施例提供的一种数据分片的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对装置、模块或单元进行区分，并非用于限定这些装置、模块或单元一定为不同的装置、模块或单元，也并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开提供的数据分片方法、装置、电子设备及介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
本公开提供的数据分片方法，可以应用于如图1所示的应用环境中。具体的，包括数据分片终端101和节点终端，数据分片终端101和节点终端通信连接，节点终端可以包括多个，图1中显示了三个节点终端，分别为节点终端102a、节点终端102b和节点终端102c。其中，数据分片终端101按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，数据分组的数量至少为节点终端数量的两倍；根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据；分别发送加载指令给多个节点终端，加载指令用于使接收存储指令的节点终端加载节点终端被分配的分片数据，节点终端并根据加载的分片数据创建对应分片数据的索引信息。
本技术领域技术人员可以理解，数据分片终端101和节点终端都可以是终端，以执行相应的程序。在其他实施例中，数据分片终端101和节点终端也可以采用服务器代替。
本技术领域技术人员可以理解，这里所使用的“终端”可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、MID(Mobile Internet Device，移动互联网设备)等；“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
请参阅图2，本公开实施例中提供了一种数据分片方法，可以应用于如图1所示的数据分片终端，该方法包括：
步骤S201：按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，数据分组的数量至少为节点终端数量的两倍。
数据的类型不做限定，如数据可以为向量。具体的，向量可以包括唯一序列号(Identity document，ID)和浮点数列表。数据的数量，以及分组的具体数量不做限定。分组的数量可以根据需要进行设置。节点终端的数量不做限定。在本公开一个可选的实施例中，数据分组的数量可以为节点终端的数量的6倍-10倍，例如节点终端有10个，则数据分组的数量可以为50个，60个，65个，77个、100个等。
预设的规则不做限定，如可以将数据随机分为多个分组，或将多个数据按序依次分入多个分组中。
步骤S202：根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据。
分配给每个节点终端的分片数据的规则不做限定。如可以将多个分组的分片数据随机分配给多个节点终端，或将多个分片数据按序分配给节点终端。每个节点终端至少被分配两个分组的分片数据，使得每个节点终端加载的分片数据的分组数量更平均。
步骤S203：分别发送加载指令给多个节点终端，加载指令用于使接收存储指令的节点终端加载节点终端被分配的分片数据，节点终端并根据加载的分片数据创建对应分片数据的索引信息。
数据分片终端可以通过网关和多个节点终端通信。可以理解，网关可以是数据分片终端的一部分，或独立于数据分片终端。数据分片终端可以通过网关发送加载指令给多个节点终端。在一个节点终端接收到加载指令时，节点终端会被通知被分配的不同分组的分片数据，节点终端会加载相应的分片数据。具体地，如数据分片终端将分组编号为0、1和2的分片数据分配给节点终端B，则节点终端B在接收到加载指令时，节点终端B加载分组编号为0、1和2的分片数据，并分别针对分组编号为0、1和2的分片数据创建索引信息。索引信息的具体类型不做限定，索引信息可以基于分层可导航小世界图(Hierarchcal NavigableSmall World graphs，HNSW)算法创建的，即索引信息可以为HNSW索引信息。一个分片数据中包括的数据越多，创建和更新索引信息的所需要的时间越长。
创建索引信息，能便于数据分片终端对节点终端中的分片数据中数据的查询和召回。
分片数据的数量至少为节点终端的数量的2倍，每个节点终端至少被分配两个分组的分片数据，在数据相同的情况下，相对于一个节点终端仅加载存储一个分片数据，每个节点终端加载的分片数据数量变多，每个分片数据所包含的数据变少，即每个分片数据的粒度变小，则每个分片数据在创建或更新索引信息的时间会减少，另在通过索引信息查询一个分片数据中的数据时，一个分片数据中的数据较少，也增加了每个分片数据中的数据的查询速度。
本公开的实施例提供的数据分片方法，按照预设规则，将多个数据分为多个分组，数据分组的数量至少为节点终端数量的两倍，能使每个分组的分片数据包括的数据更少，分片数据的粒度更细，根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据，使得每个节点终端的被分配的分片数据的数量更加均匀，节点终端加载该节点终端被分配的分片数据，解决了在信息海量时，一个终端的内存有限的问题，节点终端针对每个分片数据建立索引信息后，由于片数据的粒度更细，在对索引信息进行更新时，能降低对每个分片数据的索引信息的更新时间，且在需要时，根据索引信息，可以快速查询需要的数据，以使节点终端返回查询的结果加快。
请参阅图3，可选地，数据包括ID，其中，按照预设规则，将多个数据分为多个分组，包括：
S301：创建m个数据表，m至少为节点终端数量的两倍，m个数据表的编号依次为0至m－1。
数据表的数量m的具体数值不做限定。m可以是节点终端数量的整数倍，也可以不是节点终端数量的整数倍。例如，节点终端的数量为5个，m可以为25，29，30，50等。若m为29，则m个数据表的编号依次为0到28。
S302：根据每个数据的ID确定数据对应的消息摘要算法MD5值。
每个数据都包括一个ID，可以根据数据的ID计算MD5(Message Digest AlgorithmMD5，消息摘要算法)值。如何求取MD5值为现有技术，本公开的实施例不再展开说明。
S303：确定每个数据的MD5值对m的余数i。
余数为数学用语，在整数的除法中，只有能整除与不能整除两种情况。当不能整除时，就产生余数。例如，一个数据的MD5值为35，在m为29时，则该数据的MD5值相对m的余数为6。
S304：将每个数据放入对应数据的余数i的分组编号的数据表中。
余数和分组编号是对应的，例如，一个数据的MD5值，相对m的余数为6，则把该数据放入分组编号为6的数据表中。据此，可以将所有的数据放入不同的分组编号的数据表中，将数据放入数据表中的速度快，分配方案合理，每个分组的分片数据和其他分组的分片数据不重复。
可选地，确定向每个节点终端分配的分片数据，包括：
确定将多个分片数据按序依次分配给多个节点终端进行加载；或
计算分片数据的数量与节点终端的数量的倍数和余数；
确定将倍数数值个分片数据分配给每个节点终端进行加载，并确定将余数数值个分片数据分配给任意余数数值个节点终端进行加载。
分配的方案可以将分片数据依次分给多个节点终端进行加载。例如，节点终端包括5个，分别为node_0，node_1，node_2，node_3和node_4，如果分片数据包括29个分组的分片数据，分别为shard_0，shard_1，shard_2，直至shard_38，则将分片数据依次分给多个节点终端的结果为：
node_0 shard_0 shard_5 shard_10 shard_15 shard_20 shard_25
node_1 shard_1 shard_6 shard_11 shard_16 shard_21 shard_26
node_2 shard_2 shard_7 shard_12 shard_17 shard_22 shard_27
node_3 shard_3 shard_8 shard_13 shard_18 shard_23 shard_28
node_4 shard_4 shard_9 shard_14 shard_19 shard_24
表格中，每个节点终端右侧的分片数据，均为确定分配给该节点终端分片数据。
在不依据按序依次分配的方案进行分配时，可以确定分片数据的数量与节点终端的数量的倍数和余数，在节点终端包括5个，分片数据包括29个时，则分片数据是节点终端倍数的5倍，余数是4，则先确定给每个节点终端分配倍数个分片数据，也即每个节点终端分配5个不同分组编号的分片数据，每个节点终端分配的5个不同分组编号分片数据可以按顺序分配，也可以从没被分配的分片数据中随机挑选5个不同分组分片数据。在将余数数值个分片数据分配给任意余数数值个节点终端，也即将剩下的4个不同分组的分片数据分配给5个节点终端中的任意4个节点终端。分配结果可以如下表：
node_0 shard_1 shard_3 shard_10 shard_16 shard_20
node_1 shard_0 shard_6 shard_11 shard_18 shard_21 shard_26
node_2 shard_2 shard_7 shard_12 shard_17 shard_22 shard_25
node_3 shard_5 shard_8 shard_13 shard_15 shard_23 shard_28
node_4 shard_4 shard_9 shard_14 shard_19 shard_24 shard_27
表格中，每个节点终端右侧的分片数据，均为确定分配给该节点终端分配的数据。每个节点终端的分片数据，和其他节点终端的分片数据不重复。
确定将多个分片数据按序依次分配给多个节点终端进行加载；或确定将倍数数值个分片数据分配给每个节点终端进行加载，并确定将余数数值个分片数据分配给任意余数数值个节点终端进行加载，能使每个节点终端加载的分片数据的数量保持接近或统一，合理分配了分片数据。
可选地，还包括多个冗余终端，冗余终端和数据分片终端通信，每个节点终端至少对应一个冗余终端，冗余终端存储有对应节点终端的分片数据和索引信息。
本公开实施例中，冗余终端即为冗余的节点终端，在冗余终端不存在时，数据分配终端还可以工作。每个节点终端对应的冗余终端的具体数量不做限定，冗余终端的数量可以根据需要进行设置。节点终端和与该节点终端对应的一个或多个冗余终端存储的分片数据、索引信息相同。具体地，如一个节点终端node_0中加载存储了分片数据shard_1、分片数据shard_3、分片数据shard_16和shard_20，以及对应的索引信息，节点终端node_0对应的冗余终端中也包括分片数据shard_1、分片数据shard_3、分片数据shard_16和shard_20，以及对应的索引信息。
在本公开实施例中，若数据分片终端每秒请求的次数为p，冗余终端和节点终端支持响应的最大次数都为q，p为q的r倍，每个节点终端至少对应r个冗余终端。具体的，若节点终端和冗余终端支持响应的次数为1万次，若数据分片终端每秒请求的次数为1万次，则需要存在至少1个冗余终端，若数据分片终端每秒请求的次数为5万次，则需要存在至少5个冗余终端，若数据分片终端每秒请求的次数为5.5万次，则需要存在至少6个冗余终端。
每个节点终端至少对应一个冗余终端，由于冗余终端存储了和节点终端相同分组的分片数据以及和分片数据对应的索引信息，即使在节点终端出现故障时，也不会出现因节点终端的故障导致数据无法正常查询和召回的问题。另节点终端存在对应的冗余终端，若数据分片终端查询数据时仅给一个节点终端或节点终端对应的其中一个冗余终端发送数据请求指令即可，提高了数据分片终端查询数据的并发性，节点终端或冗余终端的响应更快，提高了数据查询的速度。
请参阅图4，可选地，数据分片方法还包括：
S401：获取每个节点终端、每个冗余终端分别包括的分片数据的分组的信息和每个节点终端、每个冗余终端分别的权重。
在查询数据时，数据分片终端会获取所有节点终端包括的分片数据的分组信息和所有节点终端的权重，还获取所有冗余终端包括的分片数据的分组信息和所有冗余终端的权重。其中，分片数据分组的信息，即为将数据进行分组时的分组编号，以区分不同的分片数据。
节点终端的权重和节点终端的使用率有关，在本公开的实施例中，节点终端的权重与节点终端在预设时间段的使用率成正比。冗余终端的权重和冗余终端的使用率有关，在本公开的实施例中，冗余终端的权重与冗余终端在预设时间段的使用率成正比。预设的时间段的为距当前时间的预设时长，如距当前时间的半小时内，距当前时间的5分钟内等。数据分片终端、节点终端和冗余终端在使用过程中，一个节点终端和与该节点终端对应的冗余终端中，有一个终端会被使用，以对索引信息进行更新，更新索引信息过程中，会造成更新索引信息的终端CPU利用率变高，更新索引信息的终端同时还会需要响应数据分片终端的请求，若向更新索引信息的终端查询数据，则会造成查询数据的速度变慢。
本公开实施例中，权重的取值范围为0到1，如权重可以为0，0.3，0.6，1等。例如，获取到节点终端A1包括分组信息为B1的分片数据，节点终端A1的权重为0.1，获取到冗余终端A2包括分组信息为B1的分片数据，冗余终端A2的权重为0.7；获取到节点终端A3包括分组信息为B2的分片数据，节点终端A3的权重为0.3，获取到冗余终端A4包括分组信息为B2的分片数据，冗余终端A4的权重为1。
可以理解，节点终端和冗余终端也会返回对应的终端信息，终端信息用于使数据分片终端确定分片数据的种类信息和权重是哪个终端返回的。
S402：根据分片数据的分组的信息和权重，从节点终端和冗余终端中确定返回每种分组的分片数据的目标终端。
根据分组信息，则可确定分片数据包括多少分组，根据同一分组信息的分片数据的不同终端的权重，可从节点终端和冗余终端中确定需要返回该分组信息的分片数据的目标终端。依据该方案，可依次确定返回每一种分组信息的分片数据的目标终端。
例如，确定出分组信息为B1的分片数据对应的目标终端为A2，确定出分组信息为B2的分片数据的目标终端为A4。
S403：分别向包括不同分组的分片数据的目标终端发送数据请求指令发送数据请求指令。
若分片数据的分组信息包括B1和B2，确定出分组信息为B1的分片数据对应的目标终端为A2，确定出分组信息为B2的分片数据的目标终端为A4，则将数据请求指令分别发送给目标终端A2和目标终端A4。
在根据分片数据的分组的信息和权重，从节点终端和冗余终端中确定返回每种分组的分片数据的目标终端，目标终端的使用率较低，目标终端的CPU利用率也较低，增加了数据分片终端、节点终端和冗余终端运行过程的稳定性，提高了查询数据的速度。
S404：接收不同目标终端返回的对应数据请求指令的数据。
目标终端接收到数据请求指令时，目标终端会将对应数据请求指令的数据发送给数据分片终端。若分片数据包括K组，则收到的数据包括K个。不同的数据，可能是由同一个目标终端返回。可以理解，在数据分片终端与目标终端通过网关通信时，网关会把所有的对应数据请求指令的数据进行排序，并将排序后的数据发送给数据分片终端。
本公开实施例的方法，根据分片数据的分组的信息和权重，从节点终端和冗余终端中确定返回每种分组的分片数据的目标终端，目标终端的使用率较低，增加了数据分片终端、节点终端和冗余终端运行过程的稳定性，提高了查询数据的速度。
请参阅图5，根据分片数据的分组的信息和权重，从节点终端和冗余终端中确定返回每种分组的分片数据的目标终端，包括：
S501：分别将同一分组的分片数据对应的节点终端的权重和冗余终端的权重进行归一化，以得到权重归一化结果。
同一分组的分片数据，对应的不仅包括节点终端，还包括冗余终端，需要从一个节点终端、一个或多个冗余终端中选出一个终端作为目标终端。分别对节点终端的权重和冗余终端的权重进行归一化时，归一化的具体方式不做限定。在本公开实施例中，归一化的方式为将以分片数据对应的一个节点终端的权重除以该分片数据对应的所有节点终端、冗余终端的权重之和。如获取到节点终端A1包括分组信息为B1的分片数据，节点终端A1的权重为0.1，获取到冗余终端A2包括分组信息为B1的分片数据，冗余终端A2的权重为0.7，则针对分片数据B1，节点终端A1的权重为0.1÷(0.1+0.7)＝0.125，冗余终端A2的权重为0.7÷(0.1+0.7)＝0.875。
S502：根据同一分组的分片数据和同一分组的分片数据对应的权重归一化结果，分别确定包括同一分组的分片数据的节点终端和冗余终端被选中的概率。
被选中的概率，即被选中作为目标终端的概率。确定包括同一分组的分片数据的节点终端和冗余终端被选中的概率的方式不做限定。本公开实施例中，若一个节点终端的使用率越高，则该节点终端的权重的归一化结果越高，该节点终端被选中的概率越低；若一个冗余终端的使用率越高，则该冗余终端的权重的归一化结果越大，该冗余终端被选中的概率越低。即节点终端被选中的概率与节点终端的使用率成反比，冗余终端被选中的概率与冗余终端的使用率成反比。在本公开实施例中，目标终端被选中的概率为1减去该终端的权重归一化结果，如针对分组信息为B1的分片数据，节点终端A1被选中的概率为1－0.125＝0.875，冗余终端A2被选中的概率为1-0.875＝0.125。
S503：根据包括同一分组的分片数据的节点终端和冗余终端被选中的概率分别确定返回同一分组的分片数据的目标终端。
针对一分组信息的分片数据对应的节点终端和冗余终端，将节点终端和冗余终端中被选中概率最高的终端作为该分组的分片数据的目标终端。
本公开实施例的确定目标终端的方案，能快速确定目标终端，确定目标终端的方式简单，且被确定的目标终端的使用率低，目标终端不易死机，增加了在查询数据时的稳定性。
请参阅图6，本公开的实施例提供了一种数据分片装置50，该数据分片装置60应用于前述公开实施例的数据分片终端，该数据分片装置可实现上述实施例的数据分片方法，数据分片装置60可以包括：分组模块601、分配模块602和指令发送模块603，其中，
分组模块601，用于按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，数据分组的数量至少为节点终端数量的两倍；
分配模块602，用于根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据；
指令发送模块603，用于分别发送加载指令给多个节点终端，加载指令用于使接收存储指令的节点终端加载节点终端被分配的分片数据，节点终端并根据加载的分片数据创建对应分片数据的索引信息。
本公开的实施例提供的数据分片装置，本公开的实施例提供的数据分片方法，按照预设规则，将多个数据分为多个分组，数据分组的数量至少为节点终端数量的两倍，能使每个分组的分片数据包括的数据更少，分片数据的粒度更细，根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据，使得每个节点终端的被分配的分片数据的数量更加均匀，节点终端加载该节点终端被分配的分片数据，解决了在信息海量时，一个终端的内存有限的问题，节点终端针对每个分片数据建立索引信息后，由于片数据的粒度更细，在对索引信息进行更新时，能降低对每个分片数据的索引信息的更新时间，且在需要时，根据索引信息，可以快速查询需要的数据，以使节点终端返回查询的结果加快。。
其中，分组模块601可以包括：
创建单元，用于创建m个数据表，m至少为节点终端数量的两倍，m个数据表的编号依次为0至m－1；
MD5值确定单元，用于根据每个数据的ID确定数据对应的消息摘要算法MD5值；
余数确定单元，用于确定每个数据的MD5值对m的余数i；
分组单元，用于将每个数据放入对应数据的余数i的分组编号的数据表中。
其中，分配模块602，可以包括：
按序确定单元，用于确定将多个分片数据按序依次分配给多个节点终端进行加载；或
关系确定单元，用于计算分片数据的数量与节点终端的数量的倍数和余数；
分配单元，用于确定将倍数数值个分片数据分配给每个节点终端进行加载，并确定将余数数值个分片数据分配给任意余数数值个节点终端进行加载。
其中，数据分片装置60还可以包括：
权重获取模块，用于获取每个节点终端、每个冗余终端分别包括的分片数据的分组的信息和每个节点终端、每个冗余终端分别的权重；
目标确定模块，用于根据分片数据的分组的信息和权重，从节点终端和冗余终端中确定返回每种分组的分片数据的目标终端；
请求发送模块，用于分别向包括不同分组的分片数据的目标终端发送数据请求指令发送数据请求指令；
数据接收模块，用于接收不同目标终端返回的对应数据请求指令的数据。
其中，目标确定模块可以包括：
归一化单元，用于分别将同一分组的分片数据对应的节点终端的权重和冗余终端的权重进行归一化，以得到权重归一化结果；
概率单元，用于根据同一分组的分片数据和同一分组的分片数据对应的权重归一化结果，分别确定包括同一分组的分片数据的节点终端和冗余终端被选中的概率；
选择单元，用于根据包括同一分组的分片数据的节点终端和冗余终端被选中的概率分别确定返回同一分组的分片数据的目标终端。
请参阅图7，其示出了适于用来实现本公开实施例的电子设备700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文的处理装置701，存储器可以包括下文中的只读存储器(ROM)702、随机访问存储器(RAM)703以及存储装置708中的至少一项，具体如下所示：
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperTextTransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，数据分组的数量至少为节点终端数量的两倍；根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据；分别发送加载指令给多个节点终端，加载指令用于使接收存储指令的节点终端加载节点终端被分配的分片数据，节点终端并根据加载的分片数据创建对应分片数据的索引信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块或单元的名称在某种情况下并不构成对该单元本身的限定，例如，数据接收模块还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，提供了一种数据分片方法，包括：
按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，数据分组的数量至少为节点终端数量的两倍；
根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据；
分别发送加载指令给多个节点终端，加载指令用于使接收存储指令的节点终端加载节点终端被分配的分片数据，节点终端并根据加载的分片数据创建对应分片数据的索引信息。
根据本公开的一个或多个实施例，按照预设规则，将多个数据分为多个分组，包括：
创建m个数据表，m至少为节点终端数量的两倍，m个数据表的编号依次为0至m－1；
根据每个数据的ID确定数据对应的消息摘要算法MD5值；
确定每个数据的MD5值对m的余数i；
将每个数据放入对应数据的余数i的分组编号的数据表中。
根据本公开的一个或多个实施例，确定向每个节点终端分配的分片数据，包括：
确定将多个分片数据按序依次分配给多个节点终端进行加载；或
计算分片数据的数量与节点终端的数量的倍数和余数；
确定将倍数数值个分片数据分配给每个节点终端进行加载，并确定将余数数值个分片数据分配给任意余数数值个节点终端进行加载。
根据本公开的一个或多个实施例，还包括多个冗余终端，冗余终端和数据分片终端通信，每个节点终端至少对应一个冗余终端，冗余终端存储有对应节点终端的分片数据和索引信息。
根据本公开的一个或多个实施例，数据分片方法，其特征在于，方法还包括：
获取每个节点终端、每个冗余终端分别包括的分片数据的分组的信息和每个节点终端、每个冗余终端分别的权重；
根据分片数据的分组的信息和权重，从节点终端和冗余终端中确定返回每种分组的分片数据的目标终端；
分别向包括不同分组的分片数据的目标终端发送数据请求指令发送数据请求指令；
接收不同目标终端返回的对应数据请求指令的数据。
根据本公开的一个或多个实施例，根据分片数据的分组的信息和权重，从节点终端和冗余终端中确定返回每种分组的分片数据的目标终端，包括：
分别将同一分组的分片数据对应的节点终端的权重和冗余终端的权重进行归一化，以得到权重归一化结果；
根据同一分组的分片数据和同一分组的分片数据对应的权重归一化结果，分别确定包括同一分组的分片数据的节点终端和冗余终端被选中的概率；
根据包括同一分组的分片数据的节点终端和冗余终端被选中的概率分别确定返回同一分组的分片数据的目标终端。
根据本公开的一个或多个实施例，提供了一种数据分片装置，包括：
分组模块，用于按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，数据分组的数量至少为节点终端数量的两倍；
分配模块，用于根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据；
指令发送模块，用于分别发送加载指令给多个节点终端，加载指令用于使接收存储指令的节点终端加载节点终端被分配的分片数据，节点终端并根据加载的分片数据创建对应分片数据的索引信息。
本公开的实施例提供的数据分片装置，本公开的实施例提供的数据分片方法，按照预设规则，将多个数据分为多个分组，数据分组的数量至少为节点终端数量的两倍，能使每个分组的分片数据包括的数据更少，分片数据的粒度更细，根据分片数据的数量和节点终端的数量，确定向每个节点终端分配的分片数据，每个节点终端至少被分配两个分组的分片数据，使得每个节点终端的被分配的分片数据的数量更加均匀，节点终端加载该节点终端被分配的分片数据，解决了在信息海量时，一个终端的内存有限的问题，节点终端针对每个分片数据建立索引信息后，由于片数据的粒度更细，在对索引信息进行更新时，能降低对每个分片数据的索引信息的更新时间，且在需要时，根据索引信息，可以快速查询需要的数据，以使节点终端返回查询的结果加快。。
其中，分组模块可以包括：
创建单元，用于创建m个数据表，m至少为节点终端数量的两倍，m个数据表的编号依次为0至m－1；
MD5值确定单元，用于根据每个数据的ID确定数据对应的消息摘要算法MD5值；
余数确定单元，用于确定每个数据的MD5值对m的余数i；
分组单元，用于将每个数据放入对应数据的余数i的分组编号的数据表中。
其中，分配模块，可以包括：
按序确定单元，用于确定将多个分片数据按序依次分配给多个节点终端进行加载；或
关系确定单元，用于计算分片数据的数量与节点终端的数量的倍数和余数；
分配单元，用于确定将倍数数值个分片数据分配给每个节点终端进行加载，并确定将余数数值个分片数据分配给任意余数数值个节点终端进行加载。
其中，数据分片装置还可以包括：
权重获取模块，用于获取每个节点终端、每个冗余终端分别包括的分片数据的分组的信息和每个节点终端、每个冗余终端分别的权重；
目标确定模块，用于根据分片数据的分组的信息和权重，从节点终端和冗余终端中确定返回每种分组的分片数据的目标终端；
请求发送模块，用于分别向包括不同分组的分片数据的目标终端发送数据请求指令发送数据请求指令；
数据接收模块，用于接收不同目标终端返回的对应数据请求指令的数据。
其中，目标确定模块可以包括：
归一化单元，用于分别将同一分组的分片数据对应的节点终端的权重和冗余终端的权重进行归一化，以得到权重归一化结果；
概率单元，用于根据同一分组的分片数据和同一分组的分片数据对应的权重归一化结果，分别确定包括同一分组的分片数据的节点终端和冗余终端被选中的概率；
选择单元，用于根据包括同一分组的分片数据的节点终端和冗余终端被选中的概率分别确定返回同一分组的分片数据的目标终端。
根据本公开的一个或多个实施例，提供了一种电子设备，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据任一上述实施例的数据分片方法。
根据本公开的一个或多个实施例，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现任一上述实施例的数据分片方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种数据分片方法，应用于数据分片终端，所述数据分片终端与多个节点终端通信连接，其特征在于，包括：
按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，所述数据分组的数量至少为所述节点终端数量的两倍；
根据所述分片数据的数量和所述节点终端的数量，确定向每个节点终端分配的分片数据，每个所述节点终端至少被分配两个分组的分片数据；
分别发送加载指令给所述多个节点终端，所述加载指令用于使接收所述存储指令的节点终端加载所述节点终端被分配的分片数据，所述节点终端并根据加载的分片数据创建对应所述分片数据的索引信息。
2.根据权利要求1所述的数据分片方法，其特征在于，所述数据包括序列号ID，所述按照预设规则，将多个数据分为多个分组，包括：
创建m个数据表，所述m至少为所述节点终端数量的两倍，m个数据表的编号依次为0至m－1；
根据每个数据的ID确定所述数据对应的消息摘要算法MD5值；
确定每个数据的MD5值对m的余数i；
将每个数据放入对应所述数据的余数i的分组编号的数据表中。
3.根据权利要求1所述的数据分片方法，其特征在于，所述确定向每个节点终端分配的分片数据，包括：
确定将多个所述分片数据按序依次分配给所述多个节点终端进行加载；或
计算所述分片数据的数量与所述节点终端的数量的倍数和余数；
确定将倍数数值个分片数据分配给每个节点终端进行加载，并确定将余数数值个分片数据分配给任意余数数值个节点终端进行加载。
4.根据权利要求1所述的数据分片方法，其特征在于：还包括多个冗余终端，所述冗余终端和所述数据分片终端通信，每个节点终端至少对应一个冗余终端，所述冗余终端存储有对应所述节点终端的分片数据和索引信息。
5.根据权利要求4所述的数据分片方法，其特征在于，所述方法还包括：
获取每个节点终端、每个冗余终端分别包括的分片数据的分组的信息和每个节点终端、每个冗余终端分别的权重；
根据所述分片数据的分组的信息和所述权重，从所述节点终端和冗余终端中确定返回每种分组的分片数据的目标终端；
分别向包括不同分组的分片数据的目标终端发送数据请求指令发送数据请求指令；
接收不同目标终端返回的对应所述数据请求指令的数据。
6.根据权利要求5所述的数据分片方法，其特征在于，所述根据所述分片数据的分组的信息和所述权重，从所述节点终端和冗余终端中确定返回每种分组的分片数据的目标终端，包括：
分别将同一分组的分片数据对应的节点终端的权重和冗余终端的权重进行归一化，以得到权重归一化结果；
根据同一分组的分片数据和同一分组的分片数据对应的权重归一化结果，分别确定包括同一分组的分片数据的节点终端和冗余终端被选中的概率；
根据包括同一分组的分片数据的节点终端和冗余终端被选中的概率分别确定返回同一分组的分片数据的目标终端。
7.根据权利要求5所述的数据分片方法，其特征在于：所述权重与所述节点终端或冗余终端在预设时间段的使用率成正比。
8.一种数据分片装置，其特征在于，包括：
分组模块，用于按照预设规则，将多个数据分为多个分组，每个分组的数据包括至少一个数据，每个分组的数据为一个分片数据，所述数据分组的数量至少为所述节点终端数量的两倍；
分配模块，用于根据所述分片数据的数量和所述节点终端的数量，确定向每个节点终端分配的分片数据，每个所述节点终端至少被分配两个分组的分片数据；
指令发送模块，用于分别发送加载指令给所述多个节点终端，所述加载指令用于使接收所述存储指令的节点终端加载所述节点终端被分配的分片数据，所述节点终端并根据加载的分片数据创建对应所述分片数据的索引信息。
9.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1-7任一项所述的数据分片方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的数据分片方法。
CN202010662841.4A 2020-07-10 2020-07-10 数据分片方法、装置、电子设备及计算机可读介质 Active CN111835848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010662841.4A CN111835848B (zh) 2020-07-10 2020-07-10 数据分片方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010662841.4A CN111835848B (zh) 2020-07-10 2020-07-10 数据分片方法、装置、电子设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN111835848A true CN111835848A (zh) 2020-10-27
CN111835848B CN111835848B (zh) 2022-08-23

Family

ID=72900425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010662841.4A Active CN111835848B (zh) 2020-07-10 2020-07-10 数据分片方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN111835848B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411862B1 (en) * 2013-12-03 2016-08-09 Google Inc. Systems and methods for dynamic sharding of hierarchical data
WO2016197994A1 (zh) * 2015-12-03 2016-12-15 中兴通讯股份有限公司 容量扩展方法及装置
WO2017097059A1 (zh) * 2015-12-07 2017-06-15 中兴通讯股份有限公司 分布式数据库系统及其自适应方法
US9838042B1 (en) * 2015-06-17 2017-12-05 Amazon Technologies, Inc. Data retrieval optimization for redundancy coded data storage systems with static redundancy ratios
CN107515878A (zh) * 2016-06-16 2017-12-26 苏宁云商集团股份有限公司 一种数据索引的管理方法及装置
US20190171537A1 (en) * 2016-08-10 2019-06-06 Huawei Technologies Co., Ltd. Method for storing data shards, apparatus, and system
CN109857710A (zh) * 2019-01-04 2019-06-07 平安科技（深圳）有限公司 文件存储方法及终端设备
CN111124309A (zh) * 2019-12-22 2020-05-08 浪潮电子信息产业股份有限公司 一种分片映射关系确定方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411862B1 (en) * 2013-12-03 2016-08-09 Google Inc. Systems and methods for dynamic sharding of hierarchical data
US9838042B1 (en) * 2015-06-17 2017-12-05 Amazon Technologies, Inc. Data retrieval optimization for redundancy coded data storage systems with static redundancy ratios
WO2016197994A1 (zh) * 2015-12-03 2016-12-15 中兴通讯股份有限公司 容量扩展方法及装置
WO2017097059A1 (zh) * 2015-12-07 2017-06-15 中兴通讯股份有限公司 分布式数据库系统及其自适应方法
CN107515878A (zh) * 2016-06-16 2017-12-26 苏宁云商集团股份有限公司 一种数据索引的管理方法及装置
US20190171537A1 (en) * 2016-08-10 2019-06-06 Huawei Technologies Co., Ltd. Method for storing data shards, apparatus, and system
CN109857710A (zh) * 2019-01-04 2019-06-07 平安科技（深圳）有限公司 文件存储方法及终端设备
CN111124309A (zh) * 2019-12-22 2020-05-08 浪潮电子信息产业股份有限公司 一种分片映射关系确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111835848B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN110909521B (zh) 在线文档信息的同步处理方法、装置及电子设备
CN113553178A (zh) 任务处理方法、装置和电子设备
CN114625536A (zh) 显存分配方法、装置、介质及电子设备
CN111262907A (zh) 服务实例访问方法、装置和电子设备
CN111835848B (zh) 数据分片方法、装置、电子设备及计算机可读介质
CN108810130B (zh) 一种分配请求规划的方法和装置
CN111756833B (zh) 节点处理方法、装置、电子设备及计算机可读介质
CN113157695B (zh) 数据处理方法、装置、可读介质及电子设备
CN113420400B (zh) 一种路由关系建立方法、请求处理方法、装置及设备
CN111552469B (zh) 应用程序工程中的文件处理方法、装置及电子设备
CN108683608B (zh) 分配流量的方法和装置
CN113391882A (zh) 虚拟机内存管理方法、装置、存储介质及电子设备
CN113283830A (zh) 运单信息序列生成方法、装置、设备和计算机可读介质
CN112115154A (zh) 数据处理和数据查询方法、装置、设备和计算机可读介质
CN111694670A (zh) 资源分配方法、装置、设备和计算机可读介质
CA2986758C (en) Systems and methods for server failover and load balancing
CN112183799A (zh) 用于合成任务单的任务分配方法及装置
CN116431523B (zh) 一种测试数据管理方法、装置、设备及存储介质
CN112148448B (zh) 资源分配方法、装置、设备和计算机可读介质
CN117591048A (zh) 任务信息处理方法、装置、电子设备和计算机可读介质
CN113505297B (zh) 数据查询方法、装置、电子设备和计算机可读介质
CN112035529B (zh) 缓存方法、装置、电子设备及计算机可读存储介质
CN111309549B (zh) 监控方法、系统、可读介质及电子设备
CN113469630B (zh) 基于配送信息的货架摆放方法、装置、电子设备和介质
CN105260324A (zh) 用于分布式缓存系统的键值对数据操作方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder