CN113254464B - 一种数据加载方法和装置 - Google Patents

Abstract

本发明公开了一种数据加载方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收数据加载请求，确定数据加载请求中的键名的状态为普通状态；按照当前偏移量平移键名，将平移后的键名与当前偏移量进行拼接，生成键名对应的新键名，更新当前偏移量，之后判断缓存中是否存在新键名，如果缓存中存在新键名，且新键名对应的键值类型为标识码类型，则等待设定时间后，重复执行本步骤，直至缓存中不存在新键名；对缓存中的当前键名进行加锁，生成标识码作为当前键名对应的键值；从数据库中获取键名对应的数据，确定标识码有效，更新缓存中的当前键名和键值。该实施方式在避免重复加载的同时，防止其他请求被阻塞，提高数据加载效率。

Description

一种数据加载方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据加载方法和装置。

背景技术

使用Redis缓存过程中，会涉及两类问题，一是缓存单例加载，二是避免热key(键名)问题。其中，热key问题是指同一时间由于大量的请求访问同一个key，造成Redis的单节点压力过大，进而导致缓存奔溃的问题。

为了实现缓存单例加载，现有技术通常通过分布式锁方式实现。为了消除热key对Redis的影响，现有技术通常会在key后加随机值，使得一个key在不同节点有多个备份，以避免单节点压力；还可以增加本地缓存，在访问时优先访问本地缓存，从而减少对Redis的访问量，减轻节点压力。

在实现本发明过程中，现有技术中至少存在如下问题：

使用分布式锁的方式来控制缓存的单例加载，当获取到锁的请求由于某种原因意外中断，获取的锁需要等待一定的超时时间才能被释放，导致后面的请求全部被阻塞，对系统的查询效率造成影响；使用随机值消除热key问题，无法准确删除缓存数据；使用本地缓存消除热key问题，系统复杂性高。

发明内容

有鉴于此，本发明实施例提供一种数据加载方法和装置，通过按照偏移量将键名平移，生成新键名，在缓存中不存在新键名时，锁定缓存中的键名，并将键值设置为标识码，之后获取数据库中的数据，并将键值替换为获取的数据，实现缓存加载；在缓存中存在新键名时，使用更新后的偏移量重新生成新键名，并进行缓存加载，在避免重复加载的同时，防止其他请求被阻塞，提高数据加载效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据加载方法。

本发明实施例的一种数据加载方法，包括：接收数据加载请求，确定所述数据加载请求中的键名的状态为普通状态；按照当前偏移量平移所述键名，将平移后的所述键名与所述当前偏移量进行拼接，生成所述键名对应的新键名，更新所述当前偏移量，之后判断缓存中是否存在所述新键名，如果缓存中存在所述新键名，且所述新键名对应的键值类型为标识码类型，则等待设定时间后，重复执行本步骤，直至缓存中不存在所述新键名；对缓存中的当前键名进行加锁，生成标识码作为所述当前键名对应的键值；其中，所述当前键名的初始值为所述键名；从数据库中获取所述键名对应的数据，确定所述标识码有效，更新缓存中的所述当前键名为所述新键名，所述键值为所述数据。

可选地，所述将平移后的所述键名与所述当前偏移量进行拼接，生成所述键名对应的新键名，包括：使用设定的连接符，将平移后的所述键名与所述当前偏移量进行拼接，得到初始拼接结果；使用所述连接符，将设定的键标识与所述初始拼接结果进行拼接，得到最终拼接结果，将所述最终拼接结果作为所述键名对应的新键名。

可选地，所述更新所述当前偏移量，包括：将所述当前偏移量与设定的平移步长相加，得到相加结果；其中，所述当前偏移量的初始值为指定数值；将设定的最大平行副本数与所述平移步长相乘，得到相乘结果；其中，所述最大平行副本数是为所述键名生成的副本的最大数量；将所述相加结果和所述相乘结果进行取余运算，得到新的当前偏移量。

可选地，所述对缓存中的当前键名进行加锁的步骤之后，所述方法还包括：确定加锁成功，启动定时任务；其中，所述定时任务用于定时更新所述当前键名的过期时间。

可选地，所述按照当前偏移量平移所述键名的步骤之前，所述方法还包括：自增当前尝试次数，判断自增后的当前尝试次数是否大于或者等于设定的尝试次数阈值；如果所述自增后的当前尝试次数大于或者等于所述尝试次数阈值，则降级处理；所述按照当前偏移量平移所述键名，包括：如果所述自增后的当前尝试次数小于所述尝试次数阈值，则按照当前偏移量平移所述键名。

可选地，所述等待设定时间的步骤之后，所述方法还包括：自增当前等待次数，判断所述新键名对应的键值类型是否为所述标识码类型；如果所述新键名对应的键值类型为所述标识码类型，则判断自增后的当前等待次数是否大于或者等于设定的最大等待次数，如果所述当前等待次数大于或者等于所述最大等待次数，则执行所述自增当前尝试次数的步骤；如果所述新键名对应的键值类型为数据库中数据的格式类型，则返回所述新键名对应的键值；所述等待设定时间，包括：如果所述当前等待次数小于所述最大等待次数，则等待设定时间。

可选地，所述降级处理，包括：判断缓存中的所述键值与内存中的标识码是否相同，如果所述键值与所述标识码相同，则删除缓存中的所述当前键名和所述键值，返回提示信息；如果所述键值与所述标识码不同，则返回所述提示信息。

可选地，所述方法还包括：监听所述键名的状态，确定所述键名的状态为热键状态；根据设定的平移步长和随机种子，计算所述当前偏移量的初始值。

为实现上述目的，根据本发明实施例的另一方面，提供了一种数据加载装置。

本发明实施例的一种数据加载装置，包括：状态确定模块，用于接收数据加载请求，确定所述数据加载请求中的键名的状态为普通状态；循环处理模块，用于按照当前偏移量平移所述键名，将平移后的所述键名与所述当前偏移量进行拼接，生成所述键名对应的新键名，更新所述当前偏移量；以及判断缓存中是否存在所述新键名，如果缓存中存在所述新键名，且所述新键名对应的键值类型为标识码类型，则等待设定时间后，重复执行所述循环处理模块所执行的步骤，直至缓存中不存在所述新键名；数据锁定模块，用于对缓存中的当前键名进行加锁，生成标识码作为所述当前键名对应的键值；其中，所述当前键名的初始值为所述键名；数据更新模块，用于从数据库中获取所述键名对应的数据，确定所述标识码有效，更新缓存中的所述当前键名为所述新键名，所述键值为所述数据。

可选地，所述循环处理模块，还用于使用设定的连接符，将平移后的所述键名与所述当前偏移量进行拼接，得到初始拼接结果；使用所述连接符，将设定的键标识与所述初始拼接结果进行拼接，得到最终拼接结果，将所述最终拼接结果作为所述键名对应的新键名。

可选地，所述循环处理模块，还用于将所述当前偏移量与设定的平移步长相加，得到相加结果；其中，所述当前偏移量的初始值为指定数值；将设定的最大平行副本数与所述平移步长相乘，得到相乘结果；其中，所述最大平行副本数是为所述键名生成的副本的最大数量；将所述相加结果和所述相乘结果进行取余运算，得到新的当前偏移量。

可选地，所述装置还包括：定时更新模块，用于确定加锁成功，启动定时任务；其中，所述定时任务用于定时更新所述当前键名的过期时间。

可选地，所述装置还包括：尝试处理模块，用于自增当前尝试次数，判断自增后的当前尝试次数是否大于或者等于设定的尝试次数阈值；如果所述自增后的当前尝试次数大于或者等于所述尝试次数阈值，则降级处理；所述循环处理模块，还用于如果所述自增后的当前尝试次数小于所述尝试次数阈值，则按照当前偏移量平移所述键名。

可选地，所述装置还包括：等待重试模块，用于自增当前等待次数，判断所述新键名对应的键值类型是否为所述标识码类型；如果所述新键名对应的键值类型为所述标识码类型，则判断自增后的当前等待次数是否大于或者等于设定的最大等待次数，如果所述当前等待次数大于或者等于所述最大等待次数，则执行所述自增当前尝试次数的步骤；如果所述新键名对应的键值类型为数据库中数据的格式类型，则返回所述新键名对应的键值；所述循环处理模块，还用于如果所述当前等待次数小于所述最大等待次数，则等待设定时间。

可选地，所述尝试处理模块，还用于判断缓存中的所述键值与内存中的标识码是否相同，如果所述键值与所述标识码相同，则删除缓存中的所述当前键名和所述键值，返回提示信息；如果所述键值与所述标识码不同，则返回所述提示信息。

可选地，所述装置还包括：监听处理模块，用于监听所述键名的状态，确定所述键名的状态为热键状态；根据设定的平移步长和随机种子，计算所述当前偏移量的初始值。

为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。

本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种数据加载方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种数据加载方法。

上述发明中的一个实施例具有如下优点或有益效果：通过按照偏移量将键名平移，生成新键名，在缓存中不存在新键名时，锁定缓存中的键名，并将键值设置为标识码，之后获取数据库中的数据，并将键值替换为获取的数据，实现缓存加载；在缓存中存在新键名时，使用更新后的偏移量重新生成新键名，并进行缓存加载，在避免重复加载的同时，防止其他请求被阻塞，提高数据加载效率。

通过按照自定义的数据结构，生成新键名，保证平移后键名的唯一性，而且便于与其他键名区分。通过取余运算，更新偏移量，在按照平移步长来平移键名的同时，保证生成的键名的数量不超过最大平行副本数。加锁操作中设置有锁的过期时间，通过开启定时任务，可以在本线程存活的情况下，延长锁的过期时间，保证能够更新缓存。

通过将尝试次数与设定的尝试次数阈值比较，在超出尝试次数阈值时，进行降级处理，避免一直循环处理，导致偏移量越来越高，占用存储空间。通过在每次等待设定时间后，将等待次数与设定的最大等待次数比较，保证键名被其他线程释放后，能够及时获取数据。

通过判断键值是否为自己生成的标识码，保证具有删除键名的权利。通过将偏移量初始化为随机值，在防止其他请求被阻塞的同时，分散了节点压力，而且降低了系统复杂度，可以基于新键名准确删除数据。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据加载方法的主要步骤的示意图；

图2是根据本发明实施例的数据加载方法的主要流程示意图；

图3是根据本发明实施例的普通模式下的数据加载方法的主要流程示意图；

图4是根据本发明实施例的热键模式下的数据加载方法的主要流程示意图；

图5是根据本发明实施例的数据加载装置的主要模块的示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适用于来实现本发明实施例的电子设备的计算机装置的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如背景技术所述，使用Redis缓存过程中，需要避免缓存单例加载。其中，缓存单例加载是指如下情况：如果缓存中某个key对应的缓存不存在时，需要去其他数据源(比如数据库)加载数据到缓存中。在加载数据过程中，为了保护数据库，需要限制访问数据库的请求数量。即对于同一个key，只允许一个或者一定量的请求去加载，其余请求需要等待key被加载到缓存中再去缓存中获取。

使用分布式锁的方式来控制缓存的单例加载，如果获取到锁的请求由于某种原因意外中断，获取的锁需要等待一定的超时时间才能释放，这会导致后面的请求全部被阻塞，对系统的QPS(每秒查询率，Queries-per-second)造成影响。

另外，现有技术在使用Redis缓存过程中，使用随机值的方式避免热key问题，但是该方式下，每个节点或者一组节点拥有自己的随机值，各个节点之间没有统一的全局key，当需要删除Redis缓存中的数据时，难以确定所有key的变形体，导致无法准确删除缓存数据。使用本地缓存避免热key问题时，需保持本地缓存、Redis缓存、数据库中数据的一致性，增加了系统的复杂性。

为了解决现有技术的上述问题，本实施例提供了一种数据加载方法，通过在第一阶段锁定缓存中的键名，并将键值设置为锁定时生成的标识码，第二阶段获取数据库中真正的数据，并在确定标识码未改变的情况下，将标识码替换为获取到的数据，以及使用key平移生成副本的方式，在当前请求意外中断或者阻塞时，会按照平移步长依次增加偏移量，防止其他请求被阻塞。下面进行详细说明。

图1是根据本发明实施例的数据加载方法的主要步骤的示意图。

如图1所示，本发明实施例的数据加载方法，主要包括如下步骤：

步骤S101：接收数据加载请求，确定所述数据加载请求中的键名的状态为普通状态。数据加载请求包括所请求加载数据的键名。该键名有两个状态，普通状态(normal状态)和热键状态(hot状态)。

数据加载方法启动时，键名为normal状态，会处于normal模式运行；当监听到该键名为热key事件后，切换到hot模式运行；当监听到该键名不是热key事件后，切换回normal模式运行。

步骤S102：按照当前偏移量平移所述键名，将平移后的所述键名与所述当前偏移量进行拼接，生成所述键名对应的新键名，更新所述当前偏移量。当前偏移量(offset)的初始值为指定数值，比如0。

实施例中，使用设定的连接符(比如冒号、下换线等)，将按照当前偏移量平移后的键名与当前偏移量进行拼接，生成对应的新键名。以连接符为“：”为例，该新键名的结构可以为offset：move_key，也可以为move_key：offset。其中，move_key为按照当前偏移量平移后的键名。

在生成新键名后，更新当前偏移量。在更新当前偏移量时，需要保证偏移量按照设定的平移步长进行平移，且生成的键名的数量不超过最大平行副本数。实施例中，通过将当前偏移量与设定的平移步长相加，得到相加结果；将设定的最大平行副本数与平移步长相乘，得到相乘结果；之后将两者取余，得到新的当前偏移量。

步骤S103：判断缓存中是否存在所述新键名，如果缓存中存在所述新键名，则执行步骤S104；如果缓存中不存在所述新键名，则执行步骤S105。查找缓存中是否存在新键名，如果存在新键名，说明已经有其他线程更新过缓存中该键名对应的数据记录；如果不存在新键名，说明没有线程更新过缓存中该键名对应的数据记录。

步骤S104：确定所述新键名对应的键值类型为标识码类型，则等待设定时间后，执行步骤S102。缓存中新键名对应的键值类型可以是标识码类型，也可以是数据库中数据的格式类型，比如json(是一种轻量级的数据交换格式)数据类型，如果是标识码类型，说明新键名处于第一阶段，即被其他线程锁定；如果是json数据类型，说明已经将数据库中该新键名对应的数据加载到缓存。

当确定新键名对应的键值类型为标识码类型时，由于新键名被其他线程锁定，无法获取对应的键值，此时可以等待设定时间后，再次执行步骤S102-步骤S104，直至缓存中不存在最新生成的新键名。

步骤S105：对缓存中的当前键名进行加锁，生成标识码作为所述当前键名对应的键值。如果缓存中不存在新键名，可以使用锁命令，锁定缓存中的当前键名，其中，当前键名的初始值为数据加载请求中的键名。在锁定的同时，生成全局唯一的标识码，作为该当前键名对应的键值。

标识码保证全局唯一即可，实施例中，标识码可以为通用唯一识别码(Universally Unique Identifier，UUID)，也可以使用能够生成唯一标识的算法来生成，比如雪花算法(Snow Flake算法)。

步骤S106：从数据库中获取所述键名对应的数据，确定所述标识码有效，更新缓存中的所述当前键名为所述新键名，所述键值为所述数据。在获取到数据库中的数据后，检测缓存中的标识码与内存中的标识码是否一致，如果两者不一致，说明当前线程已经不是第一阶段的锁定者，不能更新缓存的数据记录；如果两者一致，说明当前线程是第一阶段的锁定者，标识码有效，可以使用获取的数据更新缓存。

上述实施例，通过两段更新(包括第一阶段锁定缓存中的键名，并将键值设置为锁定时生成的标识码，第二阶段获取数据库中真正的数据，并在确定标识码未改变的情况下，将标识码替换为获取到的数据)以及键名平移生成副本的方式，在当前请求意外中断或者阻塞时，会按照平移步长依次增加偏移量，防止其他请求被阻塞。

图2是根据本发明实施例的数据加载方法的主要流程示意图。如图2所示，本发明实施例的数据加载方法，主要包括如下步骤：

步骤S201：接收数据加载请求，以普通模式运行数据加载方法。在接收到数据加载请求后，启动数据加载方法，此时以普通模式运行数据加载方法。其中，普通模式下的数据加载方法的具体实现流程见图3以及相关说明。

步骤S202：在运行过程中，监听数据加载请求中键名的状态，如果键名的状态由普通状态修改为热键状态，则切换到热键模式运行数据加载方法；如果键名的状态由热键状态修改为普通状态，则切换回普通模式运行数据加载方法。

在运行过程中，使用热key发现算法，监听键名的状态，如果键名的状态由普通状态修改为热键状态，则切换到热键模式运行数据加载方法，其中，热键模式下的数据加载方法的具体实现流程见图4以及相关说明。如果键名的状态由热键状态修改为普通状态，则切换回普通模式运行数据加载方法。

图3是根据本发明实施例的普通模式下的数据加载方法的主要流程示意图。如图3所示，本发明实施例的数据加载方法，主要包括如下步骤：

步骤S301：初始化偏移量为0。normal模式下，偏移量offset的初始值为0。

步骤S302：自增当前尝试次数。当前尝试次数tries的初始值为0。

步骤S303：判断自增后的当前尝试次数是否大于或者等于设定的尝试次数阈值，如果自增后的当前尝试次数大于或者等于所述尝试次数阈值，则执行步骤S314；如果自增后的当前尝试次数小于尝试次数阈值，则执行步骤S304。该步骤用于比较自增后的tries与尝试次数阈值try_limit的大小，并根据比较结果进行不同处理。

步骤S304：按照当前偏移量平移键名，将平移后的键名与当前偏移量进行拼接，生成键名对应的新键名，更新当前偏移量。本实施例中，自定义了新键名(new_key)的结构，具体可以为：键标识：offset：move_key。其中，键标识用于与其他类型的key进行区分，比如可以是字符串cache。move_key可以是将key向右或者向左平移的结果。比如，key为abc，向右平移两位为bca，向右平移四位为cab。

上述new_key的结构，避免了不同平移步长下，生成的move_key相同的情况，保证了平移后key的唯一性，而且便于与其他并非用于数据加载的key区分。可以理解的是，实施例中并不限定new_key中使用连接符连接的三个字段的顺序，也不限定连接符的类型。按照上述结构，依次拼接三个字段即可得到new_key。

offset的更新公式如下：

offset＝(offset+step)％(parallel*step)

公式1式中，step为平移步长，可自定义设置；parallel为最大平行副本数，可自定义设置。其中，平行副本是指经过key平移后，对同一份数据所生成的不同副本。

下面对offset的更新过程进行举例说明。

假设key＝abc，step＝2，parallel＝3，则根据公式1，offset只能为0，2和4。

当offset＝0时，new_key为cache:0:abc；当offset＝2时，new_key为cache:2:bca；当offset＝4时，new_key为cache:4:cab。

步骤S305：判断缓存中是否存在新键名，如果缓存中存在新键名，则执行步骤S306；如果缓存中不存在新键名，则执行步骤S310。该实施例中缓存为Redis缓存，其是一个key-value(键名-键值)数据库。该步骤用于判断缓存中是否存在new_key，并根据判断结果进行不同处理。

步骤S306：判断是否为第一阶段锁定，如果不是第一阶段锁定，则执行步骤S307；如果是第一阶段锁定，则执行步骤S313。实施例中，由于第一阶段写入缓存的键值是UUID，第二阶段写入的json数据，因此，可以通过判断键值是否为UUID长度的字符串，来确定是否为第一阶段锁定。

步骤S307：等待设定时间，自增当前等待次数。当前等待次数round的初始值为0。其中，round为等待其他线程获取结果时的等待次数。

步骤S308：判断是否为第一阶段锁定，如果不是第一阶段锁定，则执行步骤S309；如果是第一阶段锁定，则执行步骤S313。

步骤S309：判断自增后的当前等待次数是否大于或者等于设定的最大等待次数，如果当前等待次数大于或者等于所述最大等待次数，则执行步骤S302；否则，执行步骤S307。最大等待次数可用max_round表示，代表等待其他线程获取结果时的等待次数上限。该步骤用于比较round与max_round的大小，并根据比较结果进行不同处理。

步骤S310：进行第一阶段锁定，判断是否锁定成功，如果锁定成功，执行步骤S311；如果锁定失败，执行步骤S306。第一阶段锁定的过程即使用锁命令，比如setnx命令、set命令，锁定缓存中的当前key，并将value设置为锁定时生成的UUID。根据锁命令的返回结果即可确定锁定是否成功。

步骤S311：启动定时程序，从数据库获取数据，判断数据是否获取成功，如果获取成功，则执行步骤S312；如果获取失败，则执行步骤S314。

在第一阶段锁定时，为了保证原子性，可以使用set(key，value，是否存在覆盖，过期时间)命令实现锁定，该命令中设置有过期时间，用于避免由于某个请求意外中断导致锁无法释放。因此如果第一阶段锁定成功，则可以在后台线程启动定时程序，在本线程存活的情况下，延长锁的过期时间。实施例中，定时程序在第二阶段更新完毕或者数据获取失败，降级完毕后，结束执行。

步骤S312：进行第二阶段更新，执行步骤S313。第二阶段更新的过程即获取数据库中真正的数据，检测缓存中的UUID与内存中的UUID是否一致，如果两者一致，则将缓存中的当前key替换为new_key，将UUID替换为获取到的数据。

步骤S313：返回结果，结束本流程。实施例中，可以返回加载成功的提示信息。

步骤S314：降级处理，结束本流程。实施例中，可以通过返回提示信息实现降级处理，比如返回加载失败的提示信息。

在一优选的实施例中，在降级处理时，先释放锁，即判断缓存中的键值与内存中的标识码是否相同，如果键值与标识码相同，则删除缓存中的当前键名和键值，返回提示信息；如果键值与标识码不同，则直接返回提示信息。上述判断用于确定第一阶段的key是自己生成的，具有删除缓存中数据记录的权利。

上述实施例中，offset总是从0开始，当系统比较稳定时，可以在较低的offset(即offset的取值小于设定值)完成缓存加载，后续线程也可以从较低的offset所对应的key中获取缓存好的数据，相比较高的offset(即offset的取值大于等于设定值)缓存，能够节省存储空间。当系统不稳定，导致较低的offset加载缓存较慢时，则会依次增加offset来防止其他请求被阻塞。系统稳定性越差，offset增加的越多。

图4是根据本发明实施例的热键模式下的数据加载方法的主要流程示意图。如图4所示，本发明实施例的数据加载方法，主要包括如下步骤：

步骤S401：根据设定的平移步长和随机种子，计算偏移量的初始值。hot模式下，偏移量的初始值为随机数。其中，随机种子seed为[0，parallel-1]之间的随机数，offset＝seed*step。

步骤S402：自增当前尝试次数。

步骤S403：判断自增后的当前尝试次数是否大于或者等于设定的尝试次数阈值，如果自增后的当前尝试次数大于或者等于所述尝试次数阈值，则执行步骤S414；如果自增后的当前尝试次数小于尝试次数阈值，则执行步骤S404。

步骤S404：按照当前偏移量平移键名，将平移后的键名与当前偏移量进行拼接，生成键名对应的新键名，更新当前偏移量。

步骤S405：判断缓存中是否存在新键名，如果缓存中存在新键名，则执行步骤S406；如果缓存中不存在新键名，则执行步骤S410。

步骤S406：判断是否为第一阶段锁定，如果不是第一阶段锁定，则执行步骤S407；如果是第一阶段锁定，则执行步骤S413。

步骤S407：等待设定时间，自增当前等待次数。当前等待次数round的初始值为0。

步骤S408：判断是否为第一阶段锁定，如果不是第一阶段锁定，则执行步骤S409；如果是第一阶段锁定，则执行步骤S413。

步骤S409：判断自增后的当前等待次数是否大于或者等于设定的最大等待次数，如果当前等待次数大于或者等于所述最大等待次数，则执行步骤S402；否则，执行步骤S407。

步骤S410：进行第一阶段锁定，判断是否锁定成功，如果锁定成功，执行步骤S411；如果锁定失败，执行步骤S406。

步骤S411：启动定时程序，从数据库获取数据，判断数据是否获取成功，如果获取成功，则执行步骤S412；如果获取失败，则执行步骤S414。

步骤S412：进行第二阶段更新，执行步骤S413。

步骤S413：返回结果，结束本流程。

步骤S414：降级处理，结束本流程。

步骤S402-步骤S414的具体实现对应参见步骤S302-步骤S314，此处不再赘述。

上述实施例中，由于热key的访问量巨大，故offset在初始化时采用了随机的方式，以尽量分散集群中单节点的压力。同时由于本实施例在较低的offset加载缓存慢时，依次增加了offset，使得本实施例也能够防止其他请求被阻塞。

图5是根据本发明实施例的数据加载装置的主要模块的示意图。

如图5所示，本发明实施例的数据加载装置500，主要包括：

状态确定模块501，用于接收数据加载请求，确定所述数据加载请求中的键名的状态为普通状态。数据加载请求包括所请求加载数据的键名。该键名有两个状态，普通状态(normal状态)和热键状态(hot状态)。

数据加载方法启动时，键名为normal状态，会处于normal模式运行；当监听到该键名为热key事件后，切换到hot模式运行；当监听到该键名不是热key事件后，切换回normal模式运行。

循环处理模块502，用于按照当前偏移量平移所述键名，将平移后的所述键名与所述当前偏移量进行拼接，生成所述键名对应的新键名，更新所述当前偏移量；以及判断缓存中是否存在所述新键名，如果缓存中存在所述新键名，且所述新键名对应的键值类型为标识码类型，则等待设定时间后，重复执行本模块所执行的步骤，直至缓存中不存在所述新键名。

使用设定的连接符(比如冒号、下换线等)，将按照当前偏移量平移后的键名与当前偏移量进行拼接，生成对应的新键名。在生成新键名后，更新当前偏移量。在更新当前偏移量时，需要保证偏移量按照设定的平移步长进行平移，且生成的键名的数量不超过最大平行副本数。

更新当前偏移量之后，查找缓存中是否存在新键名，如果存在新键名，说明已经有其他线程更新过缓存中该键名对应的数据记录；如果不存在新键名，说明没有线程更新过缓存中该键名对应的数据记录。

缓存中新键名对应的键值类型可以是标识码类型，也可以是数据库中数据的格式类型，当确定新键名对应的键值类型为标识码类型时，由于新键名被其他线程锁定，无法获取对应的键值，此时可以等待设定时间后，再次执行本模块，直至缓存中不存在最新生成的新键名。

数据锁定模块503，用于对缓存中的当前键名进行加锁，生成标识码作为所述当前键名对应的键值；其中，所述当前键名的初始值为所述键名。如果缓存中不存在新键名，可以使用锁命令，锁定缓存中的当前键名，其中，当前键名的初始值为数据加载请求中的键名。在锁定的同时，生成全局唯一的标识码，作为该当前键名对应的键值。

数据更新模块504，用于从数据库中获取所述键名对应的数据，确定所述标识码有效，更新缓存中的所述当前键名为所述新键名，所述键值为所述数据。在获取到数据库中的数据后，检测缓存中的标识码与内存中的标识码是否一致，如果两者不一致，说明当前线程已经不是第一阶段的锁定者，不能更新缓存的数据记录；如果两者一致，说明当前线程是第一阶段的锁定者，标识码有效，可以使用获取的数据更新缓存。

另外，本发明实施例的数据加载装置500还可以包括：定时更新模块、尝试处理模块、等待重试模块和监听处理模块(图5中未示出)。其中，定时更新模块，用于确定加锁成功，启动定时任务；其中，所述定时任务用于定时更新所述当前键名的过期时间。尝试处理模块，用于自增当前尝试次数，判断自增后的当前尝试次数是否大于或者等于设定的尝试次数阈值；如果所述自增后的当前尝试次数大于或者等于所述尝试次数阈值，则降级处理。

等待重试模块，用于自增当前等待次数，判断所述新键名对应的键值类型是否为所述标识码类型；如果所述新键名对应的键值类型为所述标识码类型，则判断自增后的当前等待次数是否大于或者等于设定的最大等待次数，如果所述当前等待次数大于或者等于所述最大等待次数，则执行所述自增当前尝试次数的步骤；如果所述新键名对应的键值类型为数据库中数据的格式类型，则返回所述新键名对应的键值。

监听处理模块，用于监听所述键名的状态，确定所述键名的状态为热键状态；根据设定的平移步长和随机种子，计算所述当前偏移量的初始值。

从以上描述可以看出，通过按照偏移量将键名平移，生成新键名，在缓存中不存在新键名时，锁定缓存中的键名，并将键值设置为标识码，之后获取数据库中的数据，并将键值替换为获取的数据，实现缓存加载；在缓存中存在新键名时，使用更新后的偏移量重新生成新键名，并进行缓存加载，在避免重复加载的同时，防止其他请求被阻塞，提高数据加载效率。

图6示出了可以应用本发明实施例的数据加载方法或数据加载装置的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对管理员利用终端设备601、602、603发送的数据加载请求进行处理的后台管理服务器。后台管理服务器可以确定键名的状态，在键名的状态为普通状态时，执行普通模式下的数据加载过程，并将处理结果(例如数据加载成功的提示信息)反馈给终端设备。

需要说明的是，本申请实施例所提供的数据加载方法一般由服务器605执行，相应地，数据加载装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读介质。

本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种数据加载方法。

本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种数据加载方法。

下面参考图7，其示出了适用于来实现本发明实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有计算机系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文主要步骤图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括状态确定模块、循环处理模块、数据锁定模块和数据更新模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，状态确定模块还可以被描述为“接收数据加载请求，确定所述数据加载请求中的键名的状态为普通状态的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收数据加载请求，确定所述数据加载请求中的键名的状态为普通状态；按照当前偏移量平移所述键名，将平移后的所述键名与所述当前偏移量进行拼接，生成所述键名对应的新键名，更新所述当前偏移量，之后判断缓存中是否存在所述新键名，如果缓存中存在所述新键名，且所述新键名对应的键值类型为标识码类型，则等待设定时间后，重复执行本步骤，直至缓存中不存在所述新键名；对缓存中的当前键名进行加锁，生成标识码作为所述当前键名对应的键值；其中，所述当前键名的初始值为所述键名；从数据库中获取所述键名对应的数据，确定所述标识码有效，更新缓存中的所述当前键名为所述新键名，所述键值为所述数据。

根据本发明实施例的技术方案，通过按照偏移量将键名平移，生成新键名，在缓存中不存在新键名时，锁定缓存中的键名，并将键值设置为标识码，之后获取数据库中的数据，并将键值替换为获取的数据，实现缓存加载；在缓存中存在新键名时，使用更新后的偏移量重新生成新键名，并进行缓存加载，在避免重复加载的同时，防止其他请求被阻塞，提高数据加载效率。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种数据加载方法，其特征在于，包括：

接收数据加载请求，确定所述数据加载请求中的键名的状态为普通状态；

按照当前偏移量平移所述键名，将平移后的所述键名与所述当前偏移量进行拼接，生成所述键名对应的新键名，更新所述当前偏移量，之后判断缓存中是否存在所述新键名，如果缓存中存在所述新键名，且所述新键名对应的键值类型为标识码类型，则等待设定时间后，重复执行本步骤，直至缓存中不存在所述新键名；

对缓存中的当前键名进行加锁，生成标识码作为所述当前键名对应的键值；其中，所述当前键名的初始值为所述键名；

从数据库中获取所述键名对应的数据，确定所述标识码有效，更新缓存中的所述当前键名为所述新键名，所述键值为所述数据。

2.根据权利要求1所述的方法，其特征在于，所述将平移后的所述键名与所述当前偏移量进行拼接，生成所述键名对应的新键名，包括：

使用设定的连接符，将平移后的所述键名与所述当前偏移量进行拼接，得到初始拼接结果；

使用所述连接符，将设定的键标识与所述初始拼接结果进行拼接，得到最终拼接结果，将所述最终拼接结果作为所述键名对应的新键名。

3.根据权利要求1所述的方法，其特征在于，所述更新所述当前偏移量，包括：

将所述当前偏移量与设定的平移步长相加，得到相加结果；其中，所述当前偏移量的初始值为指定数值；

将设定的最大平行副本数与所述平移步长相乘，得到相乘结果；其中，所述最大平行副本数是为所述键名生成的副本的最大数量；

将所述相加结果和所述相乘结果进行取余运算，得到新的当前偏移量。

4.根据权利要求1所述的方法，其特征在于，所述对缓存中的当前键名进行加锁的步骤之后，所述方法还包括：

确定加锁成功，启动定时任务；其中，所述定时任务用于定时更新所述当前键名的过期时间。

5.根据权利要求1所述的方法，其特征在于，所述按照当前偏移量平移所述键名的步骤之前，所述方法还包括：

自增当前尝试次数，判断自增后的当前尝试次数是否大于或者等于设定的尝试次数阈值；

如果所述自增后的当前尝试次数大于或者等于所述尝试次数阈值，则降级处理；

所述按照当前偏移量平移所述键名，包括：如果所述自增后的当前尝试次数小于所述尝试次数阈值，则按照当前偏移量平移所述键名。

6.根据权利要求5所述的方法，其特征在于，所述等待设定时间的步骤之后，所述方法还包括：

自增当前等待次数，判断所述新键名对应的键值类型是否为所述标识码类型；

如果所述新键名对应的键值类型为所述标识码类型，则判断自增后的当前等待次数是否大于或者等于设定的最大等待次数，如果所述当前等待次数大于或者等于所述最大等待次数，则执行所述自增当前尝试次数的步骤；

如果所述新键名对应的键值类型为数据库中数据的格式类型，则返回所述新键名对应的键值；

所述等待设定时间，包括：如果所述当前等待次数小于所述最大等待次数，则等待设定时间。

7.根据权利要求5所述的方法，其特征在于，所述降级处理，包括：

判断缓存中的所述键值与内存中的标识码是否相同，如果所述键值与所述标识码相同，则删除缓存中的所述当前键名和所述键值，返回提示信息；如果所述键值与所述标识码不同，则返回所述提示信息。

8.根据权利要求1至7的任一项所述的方法，其特征在于，所述方法还包括：

监听所述键名的状态，确定所述键名的状态为热键状态；

根据设定的平移步长和随机种子，计算所述当前偏移量的初始值。

9.一种数据加载装置，其特征在于，包括：

状态确定模块，用于接收数据加载请求，确定所述数据加载请求中的键名的状态为普通状态；

循环处理模块，用于按照当前偏移量平移所述键名，将平移后的所述键名与所述当前偏移量进行拼接，生成所述键名对应的新键名，更新所述当前偏移量；以及判断缓存中是否存在所述新键名，如果缓存中存在所述新键名，且所述新键名对应的键值类型为标识码类型，则等待设定时间后，重复执行所述循环处理模块所执行的步骤，直至缓存中不存在所述新键名；

数据锁定模块，用于对缓存中的当前键名进行加锁，生成标识码作为所述当前键名对应的键值；其中，所述当前键名的初始值为所述键名；

数据更新模块，用于从数据库中获取所述键名对应的数据，确定所述标识码有效，更新缓存中的所述当前键名为所述新键名，所述键值为所述数据。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。