CN106790422A - 一种用于web应用的数据缓存集群和数据检索方法 - Google Patents

一种用于web应用的数据缓存集群和数据检索方法 Download PDF

Info

Publication number
CN106790422A
CN106790422A CN201611095454.7A CN201611095454A CN106790422A CN 106790422 A CN106790422 A CN 106790422A CN 201611095454 A CN201611095454 A CN 201611095454A CN 106790422 A CN106790422 A CN 106790422A
Authority
CN
China
Prior art keywords
node
data
control node
main control
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611095454.7A
Other languages
English (en)
Inventor
陈岳峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201611095454.7A priority Critical patent/CN106790422A/zh
Publication of CN106790422A publication Critical patent/CN106790422A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明涉及一种用于WEB应用的数据缓存集群和数据检索方法。该数据缓存集群，包括控制节点、普通存储节点和高速存储节点；所述普通存储节点是基于永久性存储器的存储节点；所述高速存储节点是基于内存的高速访问节点；所述控制节点负责缓存数据的存储控制和请求的分发工作，将来自应用服务器的数据存储或访问请求分发送给所述普通存储节点和所述高速存储节点；所述普通存储节点和所述高速存储节点负责具体数据的存储和访问。本发明通过为应用系统创建缓存服务，能够减少搜索引擎的请求次数，有效地避免大量数据重复请求的情况，同时还可以提高应用系统的查询速度。

Description

一种用于WEB应用的数据缓存集群和数据检索方法
技术领域
本发明涉及计算机网络应用领域，具体涉及一种用于WEB应用的数据缓存集群，以及基于该数据缓存集群的数据检索方法。
背景技术
大数据搜索现在已是热门话题，大数据搜索大致可以包含几部分：支持大数据检索的数据库、大数据搜索引擎和各个基于大数据接口查询的应用系统。其中支持大数据检索的数据库例如HBase等是处于整个系统的底层，主要负责数据的存储。大数据搜索引擎位于数据库和应用系统的中间位置，主要负责数据的组织，并按照约定的规则将服务接口暴露给应用系统，供应用系统调用检索。各个应用系统通过调用大数据搜索引擎获取需要检索的数据，并将数据展现给用户。
由于有些数据是可以重复使用的，而且各个系统都调用搜索引擎，如果频繁重复调用就会使得搜索引擎压力过大，甚至可能会导致搜索引擎服务器瘫痪和崩溃。
发明内容
本发明针对上述问题，提供一种用于WEB应用的数据缓存方法和缓存集群，能够减少搜索引擎的请求次数，提高应用系统的查询速度。
为实现上述目的，本发明采用的技术方案如下：
一种用于WEB应用的数据缓存集群，包括控制节点、普通存储节点和高速存储节点；所述普通存储节点是基于永久性存储器的存储节点；所述高速存储节点是基于内存的高速访问节点；所述控制节点负责缓存数据的存储控制和请求的分发工作，将来自应用服务器的数据存储或访问请求分发送给所述普通存储节点和所述高速存储节点；所述普通存储节点和所述高速存储节点负责具体数据的存储和访问。
进一步地，所述控制节点包括主控制节点和备用控制节点，所述备用控制节点负责在主控制节点无法提供服务时代替主控制节点提供控制服务。
进一步地，所述备用控制节点间隔指定时间向主控制节点发送请求确定主控制节点是否能正常提供服务，如果主控制节点服务正常，主控制节点会响应备用控制节点；如果超过一定时间没有接收主控制节点的响应，则备用控制节点认定主控制节点处于故障中。
进一步地，所述备用控制节点为一个或多个；若备用控制节点为一个，则在主控制节点无法提供服务时，该备用控制节点立即替代主控制节点，并将原先的主控制节点的虚拟IP映射到该备用控制节点的服务器上；若备用控制节点为多个，则在主控制节点无法提供服务时，按照事先设置的备用控制节点的优先级将优先级最高的备用控制节点设置为主控制节点，并将原先的主控制节点的虚拟IP映射到该备用控制节点的服务器上。
进一步地，所述备用控制节点在替代原先主控制节点后，发送短信告知服务器管理员进行故障处理，当故障处理完毕后，管理员登录管理系统，发送请求告知其他控制节点此故障节点已恢复，并成为备用控制节点；所述主控制节点定时发送请求以确定各个存储节点是否能正常提供服务，如果存储节点超过一定时间无法响应，则主控制节点认定此存储节点已处于故障中，并发送短信告知服务器管理员进行故障处理。
进一步地，所述普通存储节点通过Solr和Mongodb数据库将数据存储在磁盘上，所述高速存储节点将缓存数据中的热点数据存储在内存中。
进一步地，通过以下方法解决存储节点的数据老化问题：在保存数据到存储节点之前，生成一个字段来存储此数据的时间戳，根据存储的数据的时间戳设定相应的时间对数据进行清理，以释放存储空间。
一种基于所述数据缓存集群的数据检索方法，包括以下步骤：
1)应用系统向数据缓存集群发送数据检索请求；
2)数据缓存集群中的控制节点接收到数据检索请求后，确定普通存储节点和高速存储节点中是否存在所查询的数据，如果存在则返回相关数据，如果不存在则返回空数据；
3)当数据缓存集群返回空数据时，应用系统发送请求到搜索引擎进行检索，并将检索到的数据存储到数据缓存集群中。
进一步地，所述应用系统将数据检索请求的参数拼接成一个字符串，并将此字符串进行MD5加密最后生成一个MD5串，然后将该MD5串发送到所述数据缓存集群中进行查询；所述数据缓存集群中的控制节点接收到查询请求时，将MD5串进行HASH计算，从而确定存在此数据的能正常提供服务的存储节点。
与现有技术相比，本发明的有益效果如下：
本发明通过为应用系统创建缓存服务，一方面可以减少搜索引擎的请求次数，另一方面可以有效的避免大量数据重复请求的情况，同时还可以提高应用系统的查询速度。本发明兼顾查询效率和容错机制，在大部分情况下集群中的节点能正常稳定的运行，本缓存机制可以有效提供缓存和快速访问。当集群部分节点由于偶然的故障导致节点失效时，本机制避免复杂的设计，避免要兼顾偶然性而增加正常缓存和访问的而带来的开销和成本。本发明应对故障能够自动检测并处理，并人性化的短信通知服务器管理员进行硬件级别的恢复。同时在恢复硬件故障后，无需重启集群，只要手工或者自动的通过消息机制，将已恢复故障的节点重新加入集群，避免暂停服务而造成的诸多方面损失。
附图说明
图1是本发明的缓存集群的架构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。
图1是本发明的缓存集群的架构示意图。如该图所示，本发明包含几个部分：应用服务器节点、主控制节点、备用控制节点、普通存储节点(或称永久存储节点)和高速存储节点。应用服务器节点主要指应用程序，主控制节点主要指负责控制整个集群的节点，备用控制节点主要在主控制节点无法提供服务时代替主控制节点提供控制服务，普通存储节点是指数据存储服务中基于磁盘等永久性存储器的节点，高速存储节点是指数据存储服务中基于内存的高速访问节点。应用服务器节点向主控制节点发送存储和访问请求，主控制节点将具体数据的存储或者访问请求分发送给具体存储节点，普通存储节点和高速存储节点负责具体数据的存储和提供具体数据的访问。
本实施例为Tomcat缓存集群，其缓存部分可以分为永久存储和高速存储部分，永久存储主要通过Solr和Mongodb数据库存储在磁盘上，高速存储部分主要将缓存数据中的热点数据存储在内存中。Mongodb数据库主要负责全部数据的缓存存储，包含每条数据的全部字段。在每条数据的全部字段中我们会挑选出一部分供查询的关键字段创建索引，并保存在Solr库中。我们利用Solr数据库的检索功能负责索引的检索，并从Solr的检索数据中获取命中索引在Mongodb库中的主键ID。最后我们通过对应Mongodb库中的主键ID获取想要数据的全部字段。高速存储部分是将一些可以大量重复利用的数据例如需要转码的键值对等存储在内存中，这部分数据请求最频繁，响应也最快，当然服务器重启后也会消失而需要重新加载。
上面是阐述缓存集群中存储部分，下面主要阐述如何创建基于Tomcat的缓存集群。Tomcat的缓存集群主要分为Tomcat控制节点、Tomcat存储节点和Tomcat高速缓存节点。其中控制节点主要负责缓存数据的存储控制和请求的分发，控制节点也分主控制节点和备用控制节点。存储节点利用Solr和Mongodb来存储数据，并暴露接口提供数据查询服务。高速缓存节点主要将数据保存在内存中，并暴露接口提供数据查询服务。
控制节点原理如下，控制节点分为主控制节点和备用控制节点，在正常情况下主控制节点负责数据的存储控制和请求的分发工作，当主控制节点处于瘫痪或者暂时无法提供服务时，备用控制节点会立即替代主控制节点提供数据的存储控制和请求的分发。
首先，主控制节点会有一台Tomcat服务器，备用控制节点会有一台或者多台Tomcat服务器。备用控制节点会间隔指定时间向主控制节点发送请求确定主控制节点是否能正常提供服务，如果主控制节点服务正常，会响应备用控制节点告知主控制节点服务正常。如果主控制节点服务不正常，备用控制节点会无法接收到响应，如果超过一定时间没有接收主控制节点的响应，则备用控制节点认定主控制节点处于故障中。如果只有一个备用控制节点则此备用控制节点立即替代主控制节点，并将原先的主控制节点的虚拟IP映射到本服务器上。如果备用控制节点有多台服务器，则此时按照事先设置的备用控制节点的优先级将优先级最高的备用控制节点设置为主控制节点，并将主控制节点的虚拟IP映射到本服务器上。同时此时替代原先主控制节点的节点服务器会通过短信Modem发送短信告知服务器管理员进行故障处理，当故障处理完毕后，管理员会登录管理系统，发送请求告知其他控制节点此故障节点已恢复，将成为备用控制节点。
对于存储节点，主控制节点会定时发送请求以确定各个存储节点是否能正常提供服务，如果存储节点超过一定时间无法响应，则主控制节点认定此存储节点已经处于故障中，并发送短信告知服务器管理员进行故障处理。当管理员处理完故障后，管理员会登录管理系统，发送请求告知控制节点此故障节点已经恢复，将成为存储节点。
对于主控制节点，当接收请求需要存储数据时，会将请求报文中的请求参数MD5值进行HASH算法计算，确定将此部分数据保存到哪个能正常提供服务的存储节点。请求参数的MD5值为，当应用系统发送请求调用搜索引擎时，此时应用系统将前端的请求参数进行拼接，并将拼接好的参数串进行MD5加密得到的一个MD5串，请求相同的数据会生成相同的MD5串，当然请求不同的数据生成的MD5串会不一样。当主控制节点通知被HASH算法计算命中的存储节点存储相应数据时，发现存储节点无法响应，超过一定时间主控制节点会认定此存储节点已发生故障并短信通知服务器管理员进行故障处理，同时主控制节点会重新进行HASH计算，并将数据保存到新的无故障的存储节点。
当用户检索数据时，首先应用系统会将请求参数按照规定的顺序拼接成一个字符串，并将此字符串进行MD5加密最后生成一个MD5串。在应用系统发送请求到搜索引擎进行检索之前，应用系统会通过请求参数的MD5串到Tomcat缓存集群中查询，如果缓存中有想要的数据，则向用户展示缓存中的数据，如果缓存中不存在想要的数据，则应用系统再向搜索引擎发送检索请求。当控制节点接收到查询请求时，会将MD5串进行HASH计算，确定此数据可能存在于能正常提供服务的哪个存储节点，如果此存储节点包含所需要查询的数据则返回相关数据，如果此存储节点不包含所需要的数据则返回空数据。当返回空数据的时候，应用系统会发送请求到搜索引擎进行检索，并将检索到的数据存储到缓存服务器集群中。对于高速缓存服务器，一开始加载数据时，会将此数据的唯一身份作为应用系统Map中的key，存储此数据高速缓存服务器的IP做为Map中的value保存在应用系统的内存中。加载数据时会将相关数据保存到相关高速缓存服务器。请求数据时，会通过应用系统中Map的key找到此数据保存的高速缓存服务器的IP，再到指定的IP请求相关数据。
对于存储节点的数据老化问题，有以下解决方案。保存数据到存储节点之前，会生成一个字段来存储此数据的时间戳，此时间戳精确到分钟，并以10、20、30、40和50为计量单位，例如：201609101200、201609101210、201609101220、201609101230、201609101240和201609101250，每个小时的1到9分钟存储的数据归到00，10到19分钟存储的数据归到10，20到29分钟存储的数据归到20，30到39分钟存储的数据归到30，40到49分钟存储的数据归到40，50到59分钟存储的数据归到50。对于老化机制可以通过配置文件配置数值1-24，配置1时系统会定时清理一个小时前的数据，配置12时系统会定时清理十二小时前的数据。例如配置1时，系统会计算需要清理的数据的时间戳，假设现在为2016年9月10日12点，则需要清理的数据的时间戳为201609101100、201609101110、201609101120、201609101130、201609101140和201609101150。确定时间戳后，通过Solr的索引检索功能，检索符合条件的数据，并得到相关数据在Mongodb中的主键ID，最后删除Mongodb和Solr中的相关数据以完成缓存服务器中的数据老化，释放不需要的空间。
至此便完全实现了可以应对故障的Tomcat缓存集群。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种用于WEB应用的数据缓存集群，其特征在于，包括控制节点、普通存储节点和高速存储节点；所述普通存储节点是基于永久性存储器的存储节点；所述高速存储节点是基于内存的高速访问节点；所述控制节点负责缓存数据的存储控制和请求的分发工作，将来自应用服务器的数据存储或访问请求分发送给所述普通存储节点和所述高速存储节点；所述普通存储节点和所述高速存储节点负责具体数据的存储和访问。
2.如权利要求1所述的数据缓存集群，其特征在于：所述控制节点包括主控制节点和备用控制节点，所述备用控制节点负责在主控制节点无法提供服务时代替主控制节点提供控制服务。
3.如权利要求2所述的数据缓存集群，其特征在于：所述备用控制节点间隔指定时间向主控制节点发送请求确定主控制节点是否能正常提供服务，如果主控制节点服务正常，主控制节点会响应备用控制节点；如果超过一定时间没有接收主控制节点的响应，则备用控制节点认定主控制节点处于故障中。
4.如权利要求3所述的数据缓存集群，其特征在于：所述备用控制节点为一个或多个；若备用控制节点为一个，则在主控制节点无法提供服务时，该备用控制节点立即替代主控制节点，并将原先的主控制节点的虚拟IP映射到该备用控制节点的服务器上；若备用控制节点为多个，则在主控制节点无法提供服务时，按照事先设置的备用控制节点的优先级将优先级最高的备用控制节点设置为主控制节点，并将原先的主控制节点的虚拟IP映射到该备用控制节点的服务器上。
5.如权利要求2至4中任一权利要求所述的数据缓存集群，其特征在于：所述备用控制节点在替代原先主控制节点后，发送短信告知服务器管理员进行故障处理，当故障处理完毕后，管理员登录管理系统，发送请求告知其他控制节点此故障节点已恢复，并成为备用控制节点；所述主控制节点定时发送请求以确定各个存储节点是否能正常提供服务，如果存储节点超过一定时间无法响应，则主控制节点认定此存储节点已处于故障中，并发送短信告知服务器管理员进行故障处理。
6.如权利要求1所述的数据缓存集群，其特征在于：所述普通存储节点通过Solr和Mongodb数据库将数据存储在磁盘上，所述高速存储节点将缓存数据中的热点数据存储在内存中。
7.如权利要求6所述的数据缓存集群，其特征在于：所述Mongodb数据库负责全部数据的缓存存储，包含每条数据的全部字段；在每条数据的全部字段中挑选出一部分供查询的关键字段创建索引，并保存在Solr数据库中；利用Solr数据库的检索功能负责索引的检索，并从Solr数据库的检索数据中获取命中索引在Mongodb数据库中的主键ID，最后通过对应Mongodb库中的主键ID获取想要数据的全部字段。
8.如权利要求1所述的数据缓存集群，其特征在于，通过以下方法解决存储节点的数据老化问题：在保存数据到存储节点之前，生成一个字段来存储此数据的时间戳，根据存储的数据的时间戳设定相应的时间对数据进行清理，以释放存储空间。
9.一种基于权利要求1所述数据缓存集群的数据检索方法，其特征在于，包括以下步骤：
1)应用系统向数据缓存集群发送数据检索请求；
2)数据缓存集群中的控制节点接收到数据检索请求后，确定普通存储节点和高速存储节点中是否存在所查询的数据，如果存在则返回相关数据，如果不存在则返回空数据；
3)当数据缓存集群返回空数据时，应用系统发送请求到搜索引擎进行检索，并将检索到的数据存储到数据缓存集群中。
10.如权利要求9所述的数据检索方法，其特征在于：所述应用系统将数据检索请求的参数拼接成一个字符串，并将此字符串进行MD5加密最后生成一个MD5串，然后将该MD5串发送到所述数据缓存集群中进行查询；所述数据缓存集群中的控制节点接收到查询请求时，将MD5串进行HASH计算，从而确定存在此数据的能正常提供服务的存储节点。
CN201611095454.7A 2016-12-02 2016-12-02 一种用于web应用的数据缓存集群和数据检索方法 Pending CN106790422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611095454.7A CN106790422A (zh) 2016-12-02 2016-12-02 一种用于web应用的数据缓存集群和数据检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611095454.7A CN106790422A (zh) 2016-12-02 2016-12-02 一种用于web应用的数据缓存集群和数据检索方法

Publications (1)

Publication Number Publication Date
CN106790422A true CN106790422A (zh) 2017-05-31

Family

ID=58883412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611095454.7A Pending CN106790422A (zh) 2016-12-02 2016-12-02 一种用于web应用的数据缓存集群和数据检索方法

Country Status (1)

Country Link
CN (1) CN106790422A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107276828A (zh) * 2017-07-26 2017-10-20 郑州云海信息技术有限公司 一种集群中节点的调度方法及装置
CN107291633A (zh) * 2017-07-14 2017-10-24 长沙开雅电子科技有限公司 一种新型集群存储写缓存分级管理方法
CN107357532A (zh) * 2017-07-14 2017-11-17 长沙开雅电子科技有限公司 一种新型集群存储新型缓存预读实现方法
CN107832017A (zh) * 2017-11-14 2018-03-23 中国石油集团川庆钻探工程有限公司地球物理勘探公司 一种提高地震数据存储io性能的方法及装置
CN109150929A (zh) * 2017-06-15 2019-01-04 北京京东尚科信息技术有限公司 高并发场景下的数据请求处理方法和装置
WO2021098433A1 (zh) * 2019-11-21 2021-05-27 山东众阳健康科技集团有限公司 基于各级区域平台的数据索引同步方法及其数据访问方法
CN113486133A (zh) * 2021-07-14 2021-10-08 智慧足迹数据科技有限公司 人口分布信息生成方法、装置、服务器及存储介质
CN114157681A (zh) * 2021-12-22 2022-03-08 南京瀚海伏羲防务科技有限公司 一种无人集群及感知数据集中管理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028819A1 (en) * 2001-05-07 2003-02-06 International Business Machines Corporation Method and apparatus for a global cache directory in a storage cluster
CN102006330A (zh) * 2010-12-01 2011-04-06 北京瑞信在线系统技术有限公司 分布式缓存系统、数据的缓存方法及缓存数据的查询方法
CN102143215A (zh) * 2011-01-20 2011-08-03 中国人民解放军理工大学 一种基于网络的pb级云存储系统及其处理方法
CN102833352A (zh) * 2012-09-17 2012-12-19 深圳中兴网信科技有限公司 分布式缓存管理系统和实现分布式缓存管理的方法
CN102968310A (zh) * 2012-12-05 2013-03-13 武汉烽火普天信息技术有限公司 一种一体化高性能应用软件架构及构建方法
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术（北京）股份有限公司 一种分布式数据存储设备处理数据的方法及装置
CN104011701A (zh) * 2011-12-14 2014-08-27 第三雷沃通讯有限责任公司 内容传送网络
CN104580432A (zh) * 2014-12-23 2015-04-29 上海帝联信息科技股份有限公司 memcached系统及内存缓存数据提供、维护和集群维护方法及装置
CN105554106A (zh) * 2015-12-15 2016-05-04 上海仪电(集团)有限公司 一种memcache分布式缓存系统
CN106027661A (zh) * 2016-06-24 2016-10-12 四川福豆科技有限公司 数据集群存储终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028819A1 (en) * 2001-05-07 2003-02-06 International Business Machines Corporation Method and apparatus for a global cache directory in a storage cluster
CN102006330A (zh) * 2010-12-01 2011-04-06 北京瑞信在线系统技术有限公司 分布式缓存系统、数据的缓存方法及缓存数据的查询方法
CN102143215A (zh) * 2011-01-20 2011-08-03 中国人民解放军理工大学 一种基于网络的pb级云存储系统及其处理方法
CN104011701A (zh) * 2011-12-14 2014-08-27 第三雷沃通讯有限责任公司 内容传送网络
CN102833352A (zh) * 2012-09-17 2012-12-19 深圳中兴网信科技有限公司 分布式缓存管理系统和实现分布式缓存管理的方法
CN102968310A (zh) * 2012-12-05 2013-03-13 武汉烽火普天信息技术有限公司 一种一体化高性能应用软件架构及构建方法
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术（北京）股份有限公司 一种分布式数据存储设备处理数据的方法及装置
CN104580432A (zh) * 2014-12-23 2015-04-29 上海帝联信息科技股份有限公司 memcached系统及内存缓存数据提供、维护和集群维护方法及装置
CN105554106A (zh) * 2015-12-15 2016-05-04 上海仪电(集团)有限公司 一种memcache分布式缓存系统
CN106027661A (zh) * 2016-06-24 2016-10-12 四川福豆科技有限公司 数据集群存储终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150929A (zh) * 2017-06-15 2019-01-04 北京京东尚科信息技术有限公司 高并发场景下的数据请求处理方法和装置
CN107291633A (zh) * 2017-07-14 2017-10-24 长沙开雅电子科技有限公司 一种新型集群存储写缓存分级管理方法
CN107357532A (zh) * 2017-07-14 2017-11-17 长沙开雅电子科技有限公司 一种新型集群存储新型缓存预读实现方法
CN107276828A (zh) * 2017-07-26 2017-10-20 郑州云海信息技术有限公司 一种集群中节点的调度方法及装置
CN107832017A (zh) * 2017-11-14 2018-03-23 中国石油集团川庆钻探工程有限公司地球物理勘探公司 一种提高地震数据存储io性能的方法及装置
WO2021098433A1 (zh) * 2019-11-21 2021-05-27 山东众阳健康科技集团有限公司 基于各级区域平台的数据索引同步方法及其数据访问方法
CN113486133A (zh) * 2021-07-14 2021-10-08 智慧足迹数据科技有限公司 人口分布信息生成方法、装置、服务器及存储介质
CN114157681A (zh) * 2021-12-22 2022-03-08 南京瀚海伏羲防务科技有限公司 一种无人集群及感知数据集中管理方法

Similar Documents

Publication Publication Date Title
CN106790422A (zh) 一种用于web应用的数据缓存集群和数据检索方法
US9268806B1 (en) Efficient reference counting in content addressable storage
CN107025243B (zh) 一种资源数据的查询方法、查询客户端和查询系统
US9465819B2 (en) Distributed database
CN108287660A (zh) 数据存储方法和设备
CN105608188A (zh) 数据处理方法和数据处理装置
CN102591970A (zh) 一种分布式键-值查询方法和查询引擎系统
CN105159845A (zh) 存储器读取方法
CN105095313B (zh) 一种数据访问方法和设备
CN112445863A (zh) 一种数据实时同步方法及系统
CN111596922A (zh) 基于redis实现自定义缓存注解的方法
CN112016030B (zh) 消息推送的方法、装置、服务器和计算机存储介质
CN112506973B (zh) 一种存储数据管理的方法及装置
WO2020181820A1 (zh) 数据缓存方法、装置、计算机设备和存储介质
CN110647542B (zh) 一种数据获取方法和装置
CN107992270B (zh) 一种多控存储系统全局共享缓存的方法及装置
CN115587118A (zh) 任务数据的维表关联处理方法及装置、电子设备
US10705978B2 (en) Asynchronous tracking for high-frequency and high-volume storage
CN112632157B (zh) 一种分布式系统下的多条件分页查询方法
CN102724301B (zh) 云数据库系统以及云数据读写处理方法、设备
CN106549983B (zh) 一种数据库的访问方法及终端、服务器
CN107659626A (zh) 面向临时元数据的分离存储方法
EP3649532B1 (en) Methods, systems, databases and network nodes of data communication networks for handling data posts
JP5353682B2 (ja) 構成情報管理装置、分散情報管理システム、分散情報管理方法および分散情報管理プログラム
CN113821461A (zh) 域名解析缓存方法、dns服务器及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531