CN111382200A - 信息加载方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明实施例公开了一种信息加载方法、装置、服务器及存储介质。其中，方法包括：分别获取多个待加载信息中的键；根据多个待加载信息中的键与存储所述键的数据节点的映射关系，确定多个键存储在的目标数据节点；从目标数据节点，加载所述多个待加载信息。本实施例提供的方法能够减少加载时间。

Description

信息加载方法、装置、服务器及存储介质

技术领域

本发明实施例涉及计算机技术，尤其涉及一种信息加载方法、装置、服务器及存储介质。

背景技术

在动态编码的分布式存储环境中，大多采用一致性哈希算法将信息(如键值对)映射到虚拟节点，再从虚拟节点映射到数据节点中，从而使信息尽可能分布到所有的数据节点中，使得所有数据节点的空间得以利用。

鉴于上述存储方式，在从数据节点中加载某一信息到内存时，需要先将该信息中的键映射到虚拟节点，再从虚拟节点映射到数据节点，继而通过通信链路从该数据节点加载键对应的信息。当需要加载的信息数量较大时，每个信息均需要执行上述两层映射操作，大量的信息将会导致大量的映射操作，导致加载时间过长。

发明内容

本发明实施例提供一种信息加载方法、装置、服务器及存储介质，以减少加载时间。

第一方面，本发明实施例提供了一种信息加载方法，包括：

分别获取多个待加载信息中的键；

根据多个待加载信息中的键与存储所述键的数据节点的映射关系，确定多个键存储在的目标数据节点；

从目标数据节点，加载所述多个待加载信息。

第二方面，本发明实施例还提供了一种信息加载装置，包括：

获取模块，用于分别获取多个待加载信息中的键；

确定模块，用于根据多个待加载信息中的键与存储所述键的数据节点的映射关系，确定多个键存储在的目标数据节点；

加载模块，用于从目标数据节点，加载所述多个待加载信息。

第三方面，本发明实施例还提供了一种服务器，所述服务器包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的信息加载方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的信息加载方法。

本发明实施例中，通过获取多个待加载信息中的键；根据键与存储所述键的数据节点的映射关系，确定多个键存储在的目标数据节点；从目标数据节点，加载所述多个待加载信息，则根据多个待加载信息中的键与数据节点的映射关系，得到键存储在的目标数据节点，从而直接从目标数据节点加载信息，无需该信息中的键映射到虚拟节点，再从虚拟节点映射到数据节点，从而减少加载时间，尤其是当待加载信息为千万量级时，本实施例提供的方法能将加载速度控制在秒级，加载时间控制在1分钟之内，满足了实时性的需求，提高了用户体验。

附图说明

图1是本发明实施例一提供的一种信息加载方法的流程图；

图2是本发明实施例二提供的一种信息加载方法的流程图；

图3a是本发明实施例三提供的一种信息加载方法的流程图；

图3b是本发明实施例三提供的Redis Sharding应用场景下的信息加载流程图；

图4是本发明实施例四提供的一种信息加载装置的结构示意图；

图5是本发明实施例五提供的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种信息加载方法的流程图，本实施例可适用于在采用一致性哈希算法的分布式存储环境中，从数据节点加载信息的情况，该方法可以由信息加载装置来执行，该装置可以由硬件和/或软件来执行，并一般集成在服务器中，具体包括如下操作：

S110、分别获取多个待加载信息中的键。

待加载信息可以是键值对(key-value)的形式，待加载信息中的键具有唯一性。可选地，从本地加载多个待加载信息中的键key，例如key1、key2、key3等。

在一应用场景中，信息加载装置在每次关闭后，将已经加载的信息删除，在每次启动后，获取多个待加载信息中的键，从数据节点中重新加载信息。信息加载装置所加载的信息将用于向对应的终端进行分发。例如，key为终端用户订阅的主题，value为终端用户的标识User_ID，则信息加载装置向User_ID对应的终端下发key对应的主题内容。

值得说明的是，大多数情况下，键(key)的数据量比值(value)的数据量较小，且键具有唯一性，则相比于获取值，能够较快地获取多个待加载信息中的键。

S120、根据多个待加载信息中的键与存储键的数据节点的映射关系，确定多个键存储在的目标数据节点。

S130、从目标数据节点，加载多个待加载信息。

本申请中的数据节点的数量为至少两个，至少两个数据节点实现信息的分布式存储。在向数据节点中存储信息的过程中，一般采用哈希一致性算法，首先将信息映射到多个虚拟节点上，再从多个虚拟节点映射到对应的数据节点上，因而，将信息存储在多个数据节点上。

在将信息存储在多个数据节点上之后，在需要加载数据节点上的信息时，首先获取多个待加载信息中的键。然后，正是因为上述存储过程，信息中的键与虚拟节点具有映射关系，虚拟节点与数据节点具有映射关系，则可以得到待加载信息中的键与存储键的数据节点的映射关系，进而得到多个键存储在的目标数据节点。为了方便描述和区分，将待加载信息中的键所存储在的数据节点称为目标数据节点。可选地，多个键可能存储在一个目标数据节点中，也可以存储在至少两个目标数据节点中。

在一示例中，数据节点1存储信息1(key1-value1)，数据节点2存储信息2(key2-value2)，数据节点3存储信息3(key2-value2)和信息4(key2-value2)，待加载信息中的键包括key1、key2、key3、和key4，前述键与存储键的数据节点的映射关系为key1-数据节点1，key2-数据节点2，key3、4-数据节点3。则根据该映射关系，确定目标数据节点为数据节点1、数据节点2和数据节点3。然后，从数据节点1加载信息1(key1-value1)，从数据节点2加载信息2(key2-value2)，从数据节点3加载信息3和信息4。

本发明实施例中，通过获取多个待加载信息中的键；根据键与存储键的数据节点的映射关系，确定多个键存储在的目标数据节点；从目标数据节点，加载多个待加载信息，则根据多个待加载信息中的键与数据节点的映射关系，得到键存储在的目标数据节点，从而直接从目标数据节点加载信息，无需该信息中的键映射到虚拟节点，再从虚拟节点映射到数据节点，从而减少加载时间，尤其是当待加载信息为千万量级时，本实施例提供的方法能将加载速度控制在秒级，加载时间控制在1分钟之内，满足了实时性的需求，提高了用户体验。

实施例二

图2是本发明实施例二提供的一种信息加载方法的流程图。本实施例在上述实施例的各可选实施方式的基础上进一步优化。可选地，在根据多个待加载信息中的键与存储键的数据节点的映射关系，确定多个键存储在的目标数据节点之前追加操作“获取多个待加载信息中的键与存储键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系；根据多个待加载信息中的键与存储键的虚拟节点的映射关系以及数据节点与数据节点生成的虚拟节点的映射关系，得到键与存储键的数据节点的映射关系”，从而通过两层映射关系得到多个待加载信息中的键与数据节点的映射关系。结合图2，本实施例提供的方法包括以下操作：

S210、分别获取多个待加载信息中的键。

S220、获取多个待加载信息中的键与存储键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系。

可选地，并行获取多个待加载信息中的键与存储键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系，从而快速得到键与数据节点的映射关系。具体地，通过计算多个待加载信息中的键的哈希值，得到键与存储键的虚拟节点的映射关系；同时，通过计算数据节点信息的哈希值，生成与数据节点具有映射关系的虚拟节点。

在得到键与虚拟节点的映射关系时，计算键的哈希值，即hash(key),将键映射到环形哈希空间中，从键在环形哈希空间的位置起，沿顺时针方向找到第一个虚拟节点为键映射的虚拟节点。在得到数据节点与虚拟节点的映射关系时，数据节点信息根据数据节点标识、生成的虚拟节点的编号以及与数据节点的存储空间匹配的权重得到，进而通过计算数据节点信息的哈希值，生成与数据节点具有映射关系的虚拟节点。

在一示例中，采用公式：虚拟节点vnode＝hash(数据节点node标识*权重虚拟节点的编号)生成虚拟节点。数据节点标识可以是数据节点的名字。数据节点的存储空间越大，权重越大，则数据节点生成的虚拟节点数量越多，以便使存储的信息数据量匹配数据节点的存储空间。通过上述公式，一个数据节点与多个虚拟节点具有映射关系。在一具体实施方式中，数据节点的存储空间均相同，权重相同，虚拟节点的编号均为1-160，则每个数据节点映射160个虚拟节点，10个数据节点共映射1600个虚拟节点。

S230、根据多个待加载信息中的键与存储键的虚拟节点的映射关系以及数据节点与数据节点生成的虚拟节点的映射关系，得到键与存储键的数据节点的映射关系。

可选地，首先计算待加载信息中的键的哈希值hash(key)，沿顺时针方向找到第一个虚拟节点vnode；进而根据虚拟节点vnode找到映射的数据节点node，存储为映射关系node—List(key)。

S240、根据多个待加载信息中的键与存储键的数据节点的映射关系，确定多个键存储在的目标数据节点。

S250、从目标数据节点，加载多个待加载信息。

本实施例中，通过获取多个待加载信息中的键与存储键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系，得到键与存储键的数据节点的映射关系，从而通过预处理映射关系，用计算量换取数据传输时间，减少加载时间。

实施例三

图3a是本发明实施例三提供的一种信息加载方法的流程图。本实施例在上述各实施例的各可选实施方式基础上进一步优化。可选地，将“从目标数据节点，加载多个待加载信息”细化为“将目标数据节点存储的待加载信息中的键划分为多个批次，每个批次包括多个键；按照每个批次中的键，分批次从目标数据节点加载多个待加载信息”，从而批量传输待加载信息；将“从目标数据节点，加载多个待加载信息”细化为“启动与目标数据节点的数量相同的线程；分别通过每个线程从对应的目标数据节点加载多个待加载信息”从而并行从多个数据节点加载信息。结合图3a，本实施例提供的方法包括以下操作：

S310、分别获取多个待加载信息中的键。

S320、根据多个待加载信息中的键与存储键的数据节点的映射关系，确定多个键存储在的目标数据节点。

S330、将目标数据节点存储的待加载信息中的键划分为多个批次，每个批次包括多个键。

在确定多个键存储在的目标数据节点之后，汇总每个目标数据节点存储的待加载信息中的键，例如，数据节点1存储5000个待加载信息中的key，即5000个key，数据节点2存储6000个key。然后，将每个目标数据节点存储的键每1000个划分为一个批次，数据节点1中的键共划分为5个批次，数据节点2中的键共划分6个批次。

S340、按照每个批次中的键，分批次从目标数据节点加载多个待加载信息。

采用管道pipeline方式，按照每个批次中的键，分批次从目标数据节点加载多个待加载信息。例如，将一目标数据节点的第一批次中的键放入管道中，从该目标数据节点加载待加载信息；加载完成后，再将该目标数据节点的第二批次中的键放入管道中，从该目标数据节点加载待加载信息，以此类推，直到加载全部信息。

可选地，目标数据节点的数量为多个时，启动与目标数据节点的数量相同的线程，例如针对3个目标数据节点启动3个线程；然后，分别通过每个线程从对应的目标数据节点加载多个待加载信息。进一步可选地，分别通过每个线程分批次从目标数据节点加载多个待加载信息，从而实现并行、批量循环加载。

本实施例中，通过将目标数据节点存储的待加载信息中的键划分为多个批次，按照每个批次中的键，分批次从目标数据节点加载多个待加载信息，从而批量传输待加载信息，无需对每个键均进行一次网络传输，有效节省网络资源，同时节省加载时间；通过启动与目标数据节点的数量相同的线程；分别通过每个线程从对应的目标数据节点加载多个待加载信息，从而多线程并行加载信息，充分利用系统线程资源，并进一步节省加载时间。

下面结合图3b，以Redis分片(Sharding)应用场景详细说明本发明实施例提供的信息加载方法。其中，Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、key-value数据库，并提供多种语言的应用程序编程接口API。

图3b中，对象池用于生成多个对象，即多个信息，信息首先映射到虚拟节点，在从虚拟节点进入Redis客户端(client)，Redis客户端与Redis服务器(server)一一通信连接，Redis客户端通过TCP协议，将虚拟节点存储的信息映射到Redis服务器(即数据节点)，从而将信息存储至Redis服务器中。其中，Redis客户端集成在本地服务器主机中，Redis服务器集成在远端的服务器主机中。在Redis客户端正常运行过程中，其内也存储有信息，用于向终端用户下发。Redis客户端关闭后，其内存储的信息将会删除，待下一次Redis客户端启动后，通过TCP协议重新从Redis服务器加载信息，即开始执行本实施例提供的方法。首先，Redis客户端获取多个待加载信息中的键，根据多个待加载信息中的键与存储键的Redis服务器的映射关系，确定多个键存储在的目标Redis服务器，例如Redis服务器1-N，无需通过虚拟节点进行映射。接着，将Redis服务器1-N中的键分别划分为M个批次，每个批次包括多个键，并启动N个线程，分别通过每个线程分批次从对应的Redis服务器中加载信息。N个线程加载均循环加载M次后，将全部信息加载完成，从而实现并行、批量循环加载。

实施例四

图4是本发明实施例四提供的一种信息加载装置的结构示意图，本实施例适用于在采用一致性哈希算法的分布式存储环境中，从数据节点加载信息的情况。结合图4，该装置包括：获取模块41、确定模块42和加载模块43。

获取模块41，用于分别获取多个待加载信息中的键；

确定模块42，用于根据多个待加载信息中的键与存储键的数据节点的映射关系，确定多个键存储在的目标数据节点；

加载模块43，用于从目标数据节点，加载多个待加载信息。

本发明实施例中，通过获取多个待加载信息中的键；根据键与存储键的数据节点的映射关系，确定多个键存储在的目标数据节点；从目标数据节点，加载多个待加载信息，则根据多个待加载信息中的键与数据节点的映射关系，得到键存储在的目标数据节点，从而直接从目标数据节点加载信息，无需该信息中的键映射到虚拟节点，再从虚拟节点映射到数据节点，从而减少加载时间，尤其是当待加载信息为千万量级时，本实施例提供的方法能将加载速度控制在秒级，加载时间控制在1分钟之内，满足了实时性的需求，提高了用户体验。

可选地，该装置还包括映射关系获取模块，用于在根据多个待加载信息中的键与存储键的数据节点的映射关系，确定多个键存储在的目标数据节点之前，获取多个待加载信息中的键与存储键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系；根据多个待加载信息中的键与存储键的虚拟节点的映射关系以及数据节点与数据节点生成的虚拟节点的映射关系，得到键与存储键的数据节点的映射关系。

可选地，加载模块43在从目标数据节点，加载多个待加载信息时，具体用于：将目标数据节点存储的待加载信息中的键划分为多个批次，每个批次包括多个键；按照每个批次中的键，分批次从目标数据节点加载多个待加载信息。

可选地，加载模块43在按照每个批次中的键，分批次从目标数据节点加载多个待加载信息时，具体用于：采用管道方式，按照每个批次中的键，分批次从目标数据节点加载多个待加载信息。

可选地，目标数据节点的数量为至少两个，加载模块43在从目标数据节点，加载多个待加载信息时，具体用于：启动与目标数据节点的数量相同的线程；分别通过每个线程从对应的目标数据节点加载多个待加载信息。

可选地，映射关系获取模块在获取多个待加载信息中的键与存储键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系时，具体用于：并行获取多个待加载信息中的键与存储键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系。

可选地，映射关系获取模块在并行获取多个待加载信息中的键与存储键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系时，具体用于：通过计算多个待加载信息中的键的哈希值，得到键与存储键的虚拟节点的映射关系；同时，通过计算数据节点信息的哈希值，生成与数据节点具有映射关系的虚拟节点；其中，数据节点信息根据数据节点标识、生成的虚拟节点的编号以及与数据节点的存储空间匹配的权重得到。

本发明实施例所提供的信息加载装置可执行本发明任意实施例所提供的信息加载方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五提供的一种服务器的结构示意图，如图5所示，该服务器包括处理器50、存储器51；服务器中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；服务器中的处理器50、存储器51可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的信息加载方法对应的程序指令/模块(例如，信息加载装置中的获取模块41、确定模块42和加载模块43。)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的信息加载方法。

存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实施例六

本发明实施例六还提供一种其上存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种信息加载方法，该方法包括：

分别获取多个待加载信息中的键；

根据多个待加载信息中的键与存储键的数据节点的映射关系，确定多个键存储在的目标数据节点；

从目标数据节点，加载多个待加载信息。

当然，本发明实施例所提供的一种其上存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的信息加载方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

值得注意的是，上述信息加载装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种信息加载方法，其特征在于，包括：

分别获取多个待加载信息中的键；

根据多个待加载信息中的键与存储所述键的数据节点的映射关系，确定多个键存储在的目标数据节点；

从目标数据节点，加载所述多个待加载信息。

2.根据权利要求1所述的方法，其特征在于，在所述根据多个待加载信息中的键与存储所述键的数据节点的映射关系，确定多个键存储在的目标数据节点之前，还包括：

获取多个待加载信息中的键与存储所述键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系；

根据多个待加载信息中的键与存储所述键的虚拟节点的映射关系以及数据节点与数据节点生成的虚拟节点的映射关系，得到所述键与存储所述键的数据节点的映射关系。

3.根据权利要求1所述的方法，其特征在于，所述从目标数据节点，加载所述多个待加载信息，包括：

将所述目标数据节点存储的待加载信息中的键划分为多个批次，每个批次包括多个键；

按照每个批次中的键，分批次从目标数据节点加载所述多个待加载信息。

4.根据权利要求3所述的方法，其特征在于，所述按照每个批次中的键，分批次从目标数据节点加载所述多个待加载信息，包括：

采用管道方式，按照每个批次中的键，分批次从目标数据节点加载所述多个待加载信息。

5.根据权利要求1所述的方法，其特征在于，所述目标数据节点的数量为至少两个；

所述从目标数据节点，加载所述多个待加载信息，包括：

启动与目标数据节点的数量相同的线程；

分别通过每个线程从对应的目标数据节点加载所述多个待加载信息。

6.根据权利要求2所述的方法，其特征在于，所述获取多个待加载信息中的键与存储所述键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系，包括：

并行获取多个待加载信息中的键与存储所述键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系。

7.根据权利要求6所述的方法，其特征在于，所述并行获取多个待加载信息中的键与存储所述键的虚拟节点的映射关系，以及数据节点与数据节点生成的虚拟节点的映射关系，包括：

通过计算多个待加载信息中的键的哈希值，得到所述键与存储所述键的虚拟节点的映射关系；同时，

通过计算数据节点信息的哈希值，生成与数据节点具有映射关系的虚拟节点；

其中，数据节点信息根据数据节点标识、生成的虚拟节点的编号以及与数据节点的存储空间匹配的权重得到。

8.一种信息加载装置，其特征在于，包括：

获取模块，用于分别获取多个待加载信息中的键；

确定模块，用于根据多个待加载信息中的键与存储所述键的数据节点的映射关系，确定多个键存储在的目标数据节点；

加载模块，用于从目标数据节点，加载所述多个待加载信息。

9.一种服务器，其特征在于，所述服务器包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的信息加载方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的信息加载方法。

Images