具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1为本实施例提供的一种数据存储系统10的示意图,所述数据存储系统10包括第一数据库100及第二数据库200。其中,所述第一数据库100用于进行数据缓存,可以进行较少量数据的高速读写。所述第二数据库200用于数据的长效存储,可以对长时间地存储较大的数据量。
在从所述数据存储系统10读取数据的过程中,从所述第二数据库200中将读写量较大的热数据缓存至所述第一数据库100中,以方便用户的快速读写。用户向所述数据存储系统10请求目标查询数据时,先检查所述第一数据库100是否缓存有目标数据,在所述第一数据库100中没有缓存有目标数据时,再向所述第二数据库200请求查询数据,将查到的数据缓存至所述第一数据库100中,然后返回给用户。
在本实施例中,所述数据存储系统10可以为分布式系统,其中,所述第一数据库100及第二数据库200可以设置于所述分布式系统中独立运行的电子设备中。所述数据存储系统10也可以是一个独立的计算机系统或设备,所述第一数据库100及所述第二数据库200可以为该计算机系统或设备中相对独立运行的部分。
在本实施例中,所述第一数据库100可以为REDIS数据库,所述第二数据库200可以为MYSQL数据库。
请参照图2,图2为应用于图1所述数据存储系统10的一种数据查询方法,下面对该方法的各个步骤进行详细阐述。
步骤S110,在接收到至少一个用户对目标数据的查询请求时,判断所述第一数据库100中是否缓存有该目标数据。若所述第一数据库100中未缓存有该目标数据时,进入步骤S120;若所述第一数据库100中缓存有该目标数据时,进入步骤S140。
进一步地,在本实施例中,所述数据存储系统10可以包括至少两个第一数据库100。所述数据存储系统10在接收所述查询请求后,根据所述查询请求,通过一致性哈希算法计算寻找其中一个对应的第一数据库100,判断该第一数据库100中是否缓存有该目标数据。
步骤S120,响应其中一个用户的查询请求,从第二数据库200中进行查询,将查询到的目标数据导入所述第一数据库100并返回给该用户。
具体地,请参照图3,在本实施例中,步骤S120可以包括子步骤S121、子步骤S122、子步骤S123、子步骤S124及子步骤S125,下面对上述子步骤进行详细阐述。
步骤S121,在接收到用户的查询请求时,检测所述数据存储系统10中预设的互斥锁标识的状态。
在本实施例中,当所述数据存储系统10接收到多个并发的查询请求时,需要将一互斥锁标识设置为有效,其中,当所述互斥锁标识被设置为有效时,所述数据存储系统10响应其中一个用户的查询请求,向所述第二数据库200请求查询数据,并暂停响应用户的查询请求。
步骤S122,当检测到所述互斥锁标识被设置为无效时,响应该用户的查询请求,向所述第二数据库200请求查询所述目标数据,并将所述互斥锁标识设置为有效。
所述数据存储系统10响应其中一个用户的查询请求的同时,将所述互斥锁标识设置为有效,以使在接收到其他用户的查询请求时,暂停响应其他用户的查询请求,以避免多个其他用户在未从所述第一数据库100中查询到目标数据时,并发地向所述第二数据库200请求查询目标数据,造成所述第二数据库200负荷过大。
进一步地,在本实施例中,所述数据存储系统10中包括一数据库节点对应表及哈希对应表,所述数据库节点对应表中包括查询请求与所述第二数据库节点的对应关系,所述哈希对应表中包括查询请求与数据的库名及表名的对应关系。所述数据存储系统10向所述第二数据库200请求查询目标数据时,根据所述查询请求在所述数据库节点对应表中查找相应的第二数据库节点作为目标第二数据库节点。然后根据所述查询请求在所述哈希对应表查找所述目标第二数据库节点对应的库名及表头,从查找到的库名及表头中获取目标数据。
基于上述设计,本实施例提供的数据查询方法可以支持REDIS MYSQL路由,例如MYSQL分库分表,HASH REDIS节点等。
步骤S123,判断是否在所述第二数据库200中查询到所述目标数据。若在所述第二数据库200中查询到目标数据,进入步骤S124;若在所述第二数据库200中未查询到目标数据,进入步骤S125。
步骤S124,将所述目标数据缓存至所述第一数据库100,将缓存的所述目标数据发送给该用户,并将所述互斥锁标识设置为无效。
数据存储系统10将从第二数据库200中查询到的目标数据缓存至所述第一数据库100后,将所述互斥锁标识设置为无效,以使其他用户请求查询所述目标数据时可以从所述第一数据库100中将缓存的目标数据发送给其他用户。
步骤S124,返回预设数据给用户,并将所述互斥锁标识设置为无效。其中,所述预设数据可以为空数据(如,null)。
若从第二数据库200中未查询所述目标数据,表示该目标数据未存储于所述数据存储系统10中,则将所述互斥锁标识设置为无效,以使所述目标数据存入所述数据存储系统10后,所述数据存储系统10可以响应用户的查询请求。
步骤S130,响应其他用户的查询请求,从第一数据库100查询目标数据并将查询到的目标数据返回给其他用户。
在本实施例中,所述数据存储系统10在检测到所述互斥锁标识有效时,等待一预设时长后响应该其他用户的查询请求。
具体地,请参照图4,在本实施例中,步骤S130可以包括步骤子步骤S131、子步骤S132、子步骤S133、子步骤S134、及子步骤S136。下面对上述子步骤进行详细阐述。
子步骤S131,在检测到所述互斥锁标识有效时,等待一预设时长后检测所述第一数据库100中是否缓存有所述目标数据。若所述第一数据库100中缓存有所述目标数据,进入子步骤S132;若所述第一数据库100中未缓存有所述目标数据,进入子步骤S133。
子步骤S132,将该目标数据返回给该其他用户。
若此时所述第一数据库100中已缓存有所述目标数据,则表示所述数据存储系统10在上述步骤S123中从所述第二数据库200中查询到了目标数据,并将所述目标数据缓存至了所述第一数据库100,所述数据存储系统10直接将所述第一数据库100中缓存的目标数据发送给该其他用户。
子步骤S133,向所述第二数据库200请求查询所述目标数据。
子步骤S134,判断是否在所述第二数据库200中查询到所述目标数据。若在所述第二数据库200中查询到目标数据,进入子步骤S135;若在所述第二数据库200中未查询到目标数据,进入子步骤S136。
若此时所述第一数据库100中未缓存有所述目标数据,则表示所述存储系统在上述步骤S124中未从所述第二数据库200中查询到目标数据,所述数据存储系统10再次向所述第二数据库200请求查询目标数据。
子步骤S135,将所述目标数据缓存至所述第一数据库100,将缓存的所述目标数据发送给所述其他用户,并将所述互斥锁标识设置为无效。
所述数据存储系统10将从第二数据库200中查询到的目标数据缓存至所述第一数据库100后,将所述互斥锁标识设置为无效,以使其他用户请求查询所述目标数据时可以从所述第一数据库100中将缓存的目标数据发送给其他用户。
子步骤S136,返回预设数据给所述其他用户,并将所述互斥锁标识设置为无效。其中,所述预设数据可以为空数据(如,null)。
若从第二数据库200中未查询所述目标数据,表示该目标数据库未存储于所述数据存储系统10中,则将所述互斥锁标识设置为无效,以使所述目标数据存入所述数据存储系统10后,所述数据存储系统10可以响应用户的查询请求。
基于上述设计,在接收到多个对目标数据的查询请求时,所述数据存储系统10响应其中一个用户的查询请求,并暂停响应其他用户的查询请求,其中一个用户在所述第二数据库200中查询目标数据,若查询到了目标数据,将目标数据缓存至所述第一数据库100,使其他用户在等待第一预设时长后可以从所述第一数据库100直接查询获得所述目标数据。如此,防止多个并发请求同时向所述第二数据库200查询目标数据时导致的第二数据库200负荷过大,即防止了冷数据变为热数据的内存渗透。
S140,查询该目标数据的过期时间,当所述过期时间小于一个预设时长时,重置该目标数据的过期时间,并将所述目标数据返回给用户。
基于上述设计,可以查询量较大的热数据持续缓存在所述第一数据库100中,可以减少从第二数据库200查询热数据的次数,即防止了热数据变为冷数据的内存渗透。
请参照图5,所述数据存储系统10还可以包括数据查询装置300,请参照图6,所述数据查询装置300包括请求接收模块311、第一响应模块312及第二响应模块313。
所述请求接收模块311,用于在接收到至少一个用户对目标数据的查询请求时,判断所述第一数据库100中是否缓存有该目标数据。
本实施例中,所述请求接收模块311可用于执行图2所示的步骤S110,关于所述请求接收模块311的具体描述可参对所述步骤S110的描述。
进一步地,在本实施例中,所述数据存储系统10包括至少两个第一数据库100,所述请求接收模块311判断所述第一数据库100中是否缓存有该目标数据的方式包括:
根据所述查询请求,通过一致性哈希算法计算寻找其中一个对应的第一数据库100,判断该第一数据库100中是否缓存有该目标数据。
所述第一响应模块312,用于在所述第一数据库100中未缓存有该目标数据时,响应其中一个用户的查询请求,从第二数据库200中进行查询,将查询到的目标数据导入所述第一数据库100并返回给该用户。
本实施例中,所述第一响应模块312可用于执行图2所示的步骤S120,关于所述第一响应模块312的具体描述可参对所述步骤S120的描述。
进一步地,在本实施例中,所述第一响应模块312响应其中一个用户的查询请求的方式,包括:
在接收到用户的查询请求时,检测所述数据存储系统10中预设的互斥锁标识的状态,其中,当所述互斥锁标识被设置为有效时,所述数据存储系统10暂停响应用户的查询请求。
当检测到所述互斥锁标识被设置为无效时,响应该用户的查询请求,向所述第二数据库200请求查询所述目标数据,并将所述互斥锁标识设置为有效。
若在所述第二数据库200中查询到目标数据,将所述目标数据缓存至所述第一数据库100,将缓存的所述目标数据发送给该用户,并将所述互斥锁标识设置为无效。
若在所述第二数据库200中未查询到目标数据,返回预设数据给该用户,并将所述互斥锁标识设置为无效。
所述第二响应模块313,用于响应其他用户的查询请求,从第一数据库100查询目标数据并将查询到的目标数据返回给其他用户。
本实施例中,所述第二响应模块313可用于执行图2所示的步骤S130,关于所述第二响应模块313的具体描述可参对所述步骤S130的描述。
进一步地,在本实施例中,所述第二响应模块313响应其他用户的查询请求的方式,包括:
在检测到所述互斥锁标识有效时,等待一预设时长后响应该其他用户的查询请求。
所述第二响应模块313等待一预设时长后检测所述第一数据库100中是否缓存有所述目标数据。
当所述第一数据库100中缓存有所述目标数据时,将该目标数据返回给该其他用户。
当所述第一数据库100中未缓存有所述目标数据时,向所述第二数据库200请求查询所述目标数据。
若在所述第二数据库200中查询到目标数据,将所述目标数据缓存至所述第一数据库100,将缓存的所述目标数据发送给所述其他用户,并将所述互斥锁标识设置为无效。
若在所述第二数据库200中未查询到目标数据,返回预设数据给所述其他用户,并将所述互斥锁标识设置为无效。
进一步地,在本实施例中,所述数据存储系统10中包括一数据库节点对应表及哈希对应表,所述数据库节点对应表中包括查询请求与所述第二数据库节点的对应关系,所述哈希对应表中包括查询请求与数据的库名及表名的对应关系;所述第一响应模块312或第二响应模块313向所述第二数据库200请求查询目标数据的方式,包括:
根据所述查询请求在所述数据库节点对应中查找相应的第二数据库节点作为目标第二数据库节点;
根据所述查询请求在所述哈希对应表查找所述第二数据库节点中对应的库名及表头,从查找到的库名及表头中获取目标数据。
进一步地,请再次参照图5,所述装置还包括第三响应模块314。
所述第三响应模块314,用于在所述第一数据库100中缓存有所述目标数据时,查询该目标数据的过期时间;当所述过期时间小于一个预设时长时,重置该目标数据的过期时间,并将所述目标数据返回给用户。
综上所述,本发明提供的数据查询方法、装置及数据存储系统10,通过在接收到多个对没有缓存在第一数据库100中的目标数据的查询请求时,响应其中一个用户向第二数据库200请求查询目标数据,并暂停响应其他用户的查询请求。在从所述第二数据库200查询到目标数据缓存至第一数据库100后,再响应其他用户查询请求将第一数据库100中缓存的目标数据发送给其他用户。如此,减少了多个并发查询请求向第二数据库200请求数据时导致第二数据库200负荷过大的风险。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。