CN111277621A - 一种缓存动态管理方法及系统 - Google Patents

一种缓存动态管理方法及系统 Download PDF

Info

Publication number
CN111277621A
CN111277621A CN201811482830.7A CN201811482830A CN111277621A CN 111277621 A CN111277621 A CN 111277621A CN 201811482830 A CN201811482830 A CN 201811482830A CN 111277621 A CN111277621 A CN 111277621A
Authority
CN
China
Prior art keywords
cache
data
middleware
dynamic
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811482830.7A
Other languages
English (en)
Inventor
王金贵
裴照华
李明
张耀华
李红杰
张旭
赵斌
柳叶青
皇甫淑铭
陈瑾华
王亚军
曹瑞波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Henan Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Henan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Henan Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201811482830.7A priority Critical patent/CN111277621A/zh
Publication of CN111277621A publication Critical patent/CN111277621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/2871—Implementation details of single intermediate entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种缓存动态管理方法及系统，方法包括：基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；对所述缓存中间件数据进行动态监测并在线更新。本发明实施例提供的一种缓存动态管理方法及系统，通过提供统一的缓存中间件客户端、缓存管理平台等组件，从而从开发到运维全面提升了效率。同时运维人员能实时掌握系统的运行状况，一旦出现问题可自动修复，减少了大量的运维工作量。

Description

一种缓存动态管理方法及系统
技术领域
本发明实施例涉及移动通信技术领域，尤其涉及一种缓存动态管理方法及系统。
背景技术
目前业务支撑系统缓存中间件管理都是根据不同的业务场景以及各种缓存中间件的自身优势来选取的，导致系统中存在很多不同的缓存中间件，并根据各自系统编写缓存客户端，接入层和监控平台等组件。
但现有技术提供的方案中，各业务系统编写各自缓存中间件客户端，接入层，监控平台等组件，重复工作较多。并且，各中间件权限管理分散或无权限管理，以至于缺乏统一授权管理系统，导致权限管理分散且不宜维护，增加缓存中间件权限复杂度和缓存数据的不安全。
因此，现在亟需一种缓存动态管理方法来解决上述问题。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种缓存动态管理方法及系统。
第一方面本发明实施例提供一种缓存动态管理方法，包括：
基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；
对所述缓存中间件数据进行动态监测并在线更新。
第二方面本发明实施例提供了一种缓存动态管理系统，包括：
缓存客户端模块，用于基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；
缓存云管理平台模块，用于对所述缓存中间件数据进行动态监测并在线更新。
第三方面本发明实施例提供了一种电子设备，包括：
处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述缓存动态管理方法。
第四方面本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的缓存动态管理方法。
本发明实施例提供的一种缓存动态管理方法及系统，通过提供统一的缓存中间件客户端、缓存管理平台等组件，从而从开发到运维全面提升了效率。同时运维人员能实时掌握系统的运行状况，一旦出现问题可自动修复，减少了大量的运维工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种缓存动态管理方法流程示意图；
图2是本发明实施例提供的一种缓存动态管理系统结构示意图；
图3是本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前现有技术中对于业务支撑系统缓存中间的管理都是根据不同的业务场景以及各种缓存中间的自身优势进行选取的。
这种现有技术提供的管理方式容易出现以下问题：1、各业务系统编写各自缓存中间件客户端，接入层，监控平台等组件，重复工作较多；2、业务系统存在缓存中间件使用不当或缺乏监控等问题，导致出了问题之后，定位和解决问题的时间较长；3、各中间件权限管理分散或无权限管理，以至于缺乏统一授权管理系统，导致权限管理分散且不宜维护，增加缓存中间件权限复杂度和缓存数据的不安全；4、业务系统直接与缓存中间件集成形成强耦合，不利于中间件升级和代码维护；5、当业务系统缓存来自数据库时，会出现数据库的压力大，数据加载慢等问题；6、缓存数据无法实时在线更新，必须重启业务系统才能更新缓存数据，影响业务系统受理业务不间断性。
针对上述现有技术中存在的问题，图1是本发明实施例提供的一种缓存动态管理方法流程示意图，如图1所示，包括：
101、基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；
102、对所述缓存中间件数据进行动态监测并在线更新。
需要说明的是，本发明实施例的执行主体是业务支撑系统，可以理解的是，通过在现有的业务支撑系统中添加核心管理组件，使得业务支撑系统能够完成对缓存数据的动态管理功能。进一步说明的是，在本发明所有实施例中系统均指代该业务支撑系统，业务支撑系统下进行业务的具体单元为业务中心，以下实施例中对此不再赘述。
具体的，在步骤101中，本发明实施例实质上是在业务支撑系统中添加了一个客户端开发包，该客户端开发包安装在业务支撑系统服务端，对现有业务支撑系统集成中间件进行下沉，并在业务系统访问中间件之间引入缓存客户端组件开发包，从而通过客户端提供的统一接口来分离业务系统对中间件系统的强耦合。可以理解的是，通过统一的缓存客户端接口，能够避免业务系统重复编写缓存中间件客户端，并规范化中间件访问方式，解耦业务系统和中间件，利于中间件升级和代码维护，从而能够直接获取各个类型的缓存中间件数据。
进一步的，在步骤102中，本发明实施例实质上是在业务支撑系统中增设缓存云管理平台组件，通过缓存云管理平台提供统一的动态更新组件保证缓存数据动态实时更新，并监控缓存系统各种运行态监控数据并且能够对缓存中间件数据提供在线更新功能，使得业务系统在运行过程中也可以动态更新缓存数据，减少非必要业务系统重启，保证业务系统持续稳定运行。
需要说明的是，本发明实施例设置的缓存云管理平台组件主要包括web端和app端，能够实现对缓存运行状态监控的功能。并且该缓存云管理平台组件还提供的在线扩容和接入层组件灰度发布功能，使得系统具有更好的水平扩展能力。
本发明实施例提供的一种缓存动态管理方法，通过提供统一的缓存中间件客户端、缓存管理平台等组件，从而从开发到运维全面提升了效率。同时运维人员能实时掌握系统的运行状况，一旦出现问题可自动修复，减少了大量的运维工作量。
在上述实施例的基础上，在所述基于统一的缓存客户端接口，获取各个类型的缓存中间件数据之后，所述方法还包括：
对于每个类型的缓存中间件数据，以不同的图形化数据进行展示。
由上述实施例的内容可知，本发明实施例在业务支撑系统中增加了缓存云管理平台组件，该组件能够提供缓存中间件数据在线更新功能。
可以理解的是，为了立体的且实时显示系统的运行状况，本发明实施例优选的可以将各种不同类型的缓存中间件数据以图像化的形式展示。具体的，本发明实施例为每一种类型的缓存中间数据，均提供其相对应的图形展示方法，从而能够立体的且实时显示系统的运行状况，能够极大提升系统的透明度，促进运维人员对系统的感知。
在上述实施例的基础上，所述方法还包括：
将业务中心的缓存数据同步到缓存中间件集群中，以供所述业务中心从所述缓存中间件集群中直接获取所述缓存数据。
由上述实施例的内容可知，本发明实施例提供了一个客户端开发包组件和一个缓存云管理平台组件，那么在中间件数据的获取过程中，为了保证系统中间件拓展性并提供统一的接入规范，本发明实施例还需要设置一个接入层组件。
该接入层组件能够负责同步业务中心缓存数据到缓存中间件集群中，然后业务中心直接从中间件中获取业务数据，减小数据库压力，并提升数据访问效率。
在上述实施例的基础上，所述方法还包括：
基于zookeeper集群，在对缓存动态管理过程中进行全局协调。
由上述实施例的内容可知，本发明实施例主要提供了客户端开发包组件和一个缓存云管理平台组件来对缓存数据进行动态管理。那么在管理过程中，整个业务支撑系统的服务功能协调工作，本发明实施例采用的是zookeeper集群架构进行实现。
具体的，zookeeper集群是一个分布式的，开放源码的分布式应用程序协调服务，它能够为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
在上述实施例的基础上，若需要缓存的数据为静态数据；相应的，所述方法还包括：
在预设的redis集群中直接获取所述静态数据。
可以理解的是，缓存数据可能存在的一种类型为静态数据。对于静态数据，本发明实施例优选的提供了一个redis集群，其他常用的缓存中间件集群例如memcache、coherence等本发明实施例也进行了预设。
具体的，本发明实施例首先将一些数据库静态数据加载到redis集群，然后业务系统服务端需要缓存数据直接从redis集群中获取，从而减少对数据库的访问，减轻数据库压力，并增加数据加载效率，防止频繁重启业务系统。
在上述实施例的基础上，所述在预设的redis集群中直接获取所述静态数据，具体包括：
根据部署在后台进程中的业务员中心缓存实现类，加载所述静态数据；
将所述静态数据写入所述预设的redis集群中。
由上述实施例的内容可知，对于静态数据，本发明实施例提供了一个redis集群使得业务系统服务端能够直接在redis集群中获取。具体的过程为：首先将业务中心缓存实现类部署到后台进程中，然后后台进程根据部署的业务中心缓存实现类，加载静态业务数据，接着后台进程将加载的静态数据写入redis集群，最后业务中心系统通过缓存云管理平台提供的统一客户端接口直接从redis集群中获取静态数据。
通过本发明实施例上述过程，能够直接从redis集群中获取静态数据，从而减少对数据库的访问，减轻数据库压力，并增加数据加载效率，防止频繁重启业务系统。
图2是本发明实施例提供的一种缓存动态管理系统结构示意图，如图2所示，包括：缓存客户端模块201和缓存云管理平台模块202，其中：
缓存客户端模块201用于基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；
缓存云管理平台模块202用于对所述缓存中间件数据进行动态监测并在线更新。
具体的如何通过缓存客户端模块201和缓存云管理平台模块202对软件安全需求分析可用于执行图1所示的缓存动态管理分析方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例提供的一种缓存动态管理系统，通过提供统一的缓存中间件客户端、缓存管理平台等组件，从而从开发到运维全面提升了效率。同时运维人员能实时掌握系统的运行状况，一旦出现问题可自动修复，减少了大量的运维工作量。
在上述实施例的基础上，所述缓存动态管理系统还包括：
图形展示模块，用于对于每个类型的缓存中间件数据，以不同的图形化数据进行展示。
在上述实施例的基础上，所述缓存动态管理系统还包括：
中间件接入层模块，用于将业务中心的缓存数据同步到缓存中间件集群中，以供所述业务中心从所述缓存中间件集群中直接获取所述缓存数据。
在上述实施例的基础上，所述缓存动态管理系统还包括：
zookeeper集群模块，用于基于zookeeper集群，在对缓存动态管理过程中进行全局协调。
在上述实施例的基础上，若需要缓存的数据为静态数据；相应的，所述缓存动态管理系统还包括：
静态数据获取模块，用于在预设的redis集群中直接获取所述静态数据。
在上述实施例的基础上，所述静态数据获取模块具体包括：
加载单元，用于根据部署在后台进程中的业务员中心缓存实现类，加载所述静态数据；
静态数据写入单元，用于将所述静态数据写入所述预设的redis集群中。
本发明实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：
图3是本发明实施例提供的电子设备的结构框图，参照图3，所述电子设备，包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和总线304，其中，处理器301，通信接口302，存储器303通过总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行如下方法：基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；对所述缓存中间件数据进行动态监测并在线更新。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；对所述缓存中间件数据进行动态监测并在线更新。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；对所述缓存中间件数据进行动态监测并在线更新。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行每个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种缓存动态管理方法，其特征在于，包括：
基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；
对所述缓存中间件数据进行动态监测并在线更新。
2.根据权利要求1所述的方法，其特征在于，在所述基于统一的缓存客户端接口，获取各个类型的缓存中间件数据之后，所述方法还包括：
对于每个类型的缓存中间件数据，以不同的图形化数据进行展示。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将业务中心的缓存数据同步到缓存中间件集群中，以供所述业务中心从所述缓存中间件集群中直接获取所述缓存数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于zookeeper集群，在对缓存动态管理过程中进行全局协调。
5.根据权利要求1所述的方法，其特征在于，若需要缓存的数据为静态数据；相应的，所述方法还包括：
在预设的redis集群中直接获取所述静态数据。
6.根据权利要求5所述的方法，其特征在于，所述在预设的redis集群中直接获取所述静态数据，具体包括：
根据部署在后台进程中的业务员中心缓存实现类，加载所述静态数据；
将所述静态数据写入所述预设的redis集群中。
7.一种缓存动态管理系统，其特征在于，包括：
缓存客户端模块，用于基于统一的缓存客户端接口，获取各个类型的缓存中间件数据；
缓存云管理平台模块，用于对所述缓存中间件数据进行动态监测并在线更新。
8.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一项所述的方法。
CN201811482830.7A 2018-12-05 2018-12-05 一种缓存动态管理方法及系统 Pending CN111277621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811482830.7A CN111277621A (zh) 2018-12-05 2018-12-05 一种缓存动态管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811482830.7A CN111277621A (zh) 2018-12-05 2018-12-05 一种缓存动态管理方法及系统

Publications (1)

Publication Number Publication Date
CN111277621A true CN111277621A (zh) 2020-06-12

Family

ID=70998620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811482830.7A Pending CN111277621A (zh) 2018-12-05 2018-12-05 一种缓存动态管理方法及系统

Country Status (1)

Country Link
CN (1) CN111277621A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130219397A1 (en) * 2010-08-30 2013-08-22 David C. Adams Methods and Apparatus for State Objects in Cluster Computing
CN103312791A (zh) * 2013-05-24 2013-09-18 上海和伍新材料科技有限公司 物联网异构数据存储方法及系统
CN106557561A (zh) * 2016-11-16 2017-04-05 贵州大学 基于HBase的海量传感器数据存储系统及方法
CN108519908A (zh) * 2018-02-24 2018-09-11 国家计算机网络与信息安全管理中心 一种任务动态管理方法和装置
CN108600321A (zh) * 2018-03-26 2018-09-28 中国科学院计算技术研究所 一种基于分布式内存云的图数据存储方法和系统
US20180293275A1 (en) * 2017-04-10 2018-10-11 Sap Se Massively parallel processing database middleware connector

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130219397A1 (en) * 2010-08-30 2013-08-22 David C. Adams Methods and Apparatus for State Objects in Cluster Computing
CN103312791A (zh) * 2013-05-24 2013-09-18 上海和伍新材料科技有限公司 物联网异构数据存储方法及系统
CN106557561A (zh) * 2016-11-16 2017-04-05 贵州大学 基于HBase的海量传感器数据存储系统及方法
US20180293275A1 (en) * 2017-04-10 2018-10-11 Sap Se Massively parallel processing database middleware connector
CN108519908A (zh) * 2018-02-24 2018-09-11 国家计算机网络与信息安全管理中心 一种任务动态管理方法和装置
CN108600321A (zh) * 2018-03-26 2018-09-28 中国科学院计算技术研究所 一种基于分布式内存云的图数据存储方法和系统

Similar Documents

Publication Publication Date Title
US11194721B2 (en) Invalidation and refresh of multi-tier distributed caches
CN106878376B (zh) 一种配置管理方法与系统
CN109309693B (zh) 基于docker的多服务系统、部署方法及装置、设备及存储介质
US9077613B2 (en) System and method for graph based K-redundant resiliency for IT cloud
CN106406925A (zh) 用于支持在线升级的设备和方法
US10089711B2 (en) Reconstructable digital image cache
CN109783151B (zh) 规则变更的方法和装置
CN107423404B (zh) 流程实例数据同步处理方法和装置
CN103353860B (zh) 内存管理方法及装置
CN108881379B (zh) 一种服务器集群间数据同步的方法和装置
CN104881444B (zh) 网站中更新缓存服务器的方法及系统
CN114706690B (zh) 一种Kubernetes容器共享GPU方法及系统
CN113204425B (zh) 供进程管理内部线程的方法、装置、电子设备及存储介质
WO2015019538A1 (ja) 仮想リソース制御システムおよび仮想リソース制御方法
CN107092556B (zh) 测试方法、装置及设备
CN108737485B (zh) 针对物联网资源的操作的方法及系统
CN111277621A (zh) 一种缓存动态管理方法及系统
CN112783494A (zh) 一种骨架屏自动生成方法、应用程序页面更新方法及装置
CN115455097A (zh) 风控数据处理方法、系统、计算机设备及存储介质
CN110990280B (zh) 一种测试数据自动生成系统及方法
CN109582730B (zh) 缓存同步方法、装置、电子设备及计算机可读存储介质
CN107590286B (zh) 在集群文件系统中事务信息的管理方法和装置
CN110618814A (zh) 数据可视化方法、装置、电子设备及计算机可读存储介质
CN106411547B (zh) 一种redis调用监控方法和装置
CN116893834B (zh) 负载更新方法、装置、系统、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612