CN112039979B - 分布式数据缓存管理方法、装置、设备及存储介质 - Google Patents

分布式数据缓存管理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112039979B
CN112039979B CN202010880813.XA CN202010880813A CN112039979B CN 112039979 B CN112039979 B CN 112039979B CN 202010880813 A CN202010880813 A CN 202010880813A CN 112039979 B CN112039979 B CN 112039979B
Authority
CN
China
Prior art keywords
data
owner
preset
cache
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010880813.XA
Other languages
English (en)
Other versions
CN112039979A (zh
Inventor
朱欢敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202010880813.XA priority Critical patent/CN112039979B/zh
Publication of CN112039979A publication Critical patent/CN112039979A/zh
Application granted granted Critical
Publication of CN112039979B publication Critical patent/CN112039979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及云服务技术领域，公开了一种分布式数据缓存管理方法、装置、设备及存储介质，用于提高检测数据发生异常的准确性。分布式数据缓存管理方法包括：接收数据更新请求，数据更新请求包括目标属主标识；采用目标属主标识判断目标终端是否为数据属主；若目标终端不为数据属主，则发送提示信息；若目标终端为数据属主，则对缓存中间件集群进行数据更新，并通过预置消息队列将更新数据集消息分发至多个订阅终端中；按照已更新数据集请求获取并发送已更新数据集；当检测到至少一个缓存中间件集群中的各预设指标数据存在异常时，对至少一个缓存中间件集群进行扩容或缩容处理。本发明还涉及区块链技术，所述已更新数据集存储于区块链中。

Description

分布式数据缓存管理方法、装置、设备及存储介质
技术领域
本发明涉及云服务技术的负载监控领域，尤其涉及一种分布式数据缓存管理方法、装置、设备及存储介质。
背景技术
数据缓存是指在硬盘内部的高速存储器，将一些数据暂时性的保存起来，以供读取和再读取操作，对于大数据缓存的硬盘在存取零散文件时具有很大的优势。
现有的数据缓存系统一般包括两种方式，第一种方式是每个系统新建缓存中间件，第二种方式是采用一个公共的缓存平台。第一种方式存在的问题很明显，一是造成大量的资源浪费，例如，有些数据缓存系统是写多读少的系统，内存数据库redis用于存储少量的会话信息，但是为了确保服务的高可用性，redis进行高可用处理，导致redis实例数量成倍浪费；二是将一些公共缓存的数据同步多份到各自的缓存中间件，导致数据的一致性较差和对数据的维护较复杂。第二种方式由于缺少资源隔离，对于不同数据的重要性无法按照优先级进行资源隔离，弹性伸缩能力较弱，对于一些高并发访问请求，需要先部署大量的缓存实例支撑高峰的流量，请求结束后，再减少缓存实例。
以上两种方式都可以对公共缓存数据进行更新，但各应用服务均能够对相同的缓存数据进行更新，导致更新数据不准确以及难以定位更新数据异常的问题。
发明内容
本发明的主要目的在于解决公共缓存平台中各应用服务均对相同缓存数据进行更新，导致更新数据不准确和难以准确定位更新数据异常的问题。
为实现上述目的，本发明第一方面提供了一种分布式数据缓存管理方法，包括：获取目标终端发送的数据更新请求，所述数据更新请求包括目标属主标识；采用所述目标属主标识判断所述目标终端是否为数据属主，所述数据属主具有数据读写权限；若所述目标终端不为所述数据属主，则生成提示信息，并将所述提示信息发送到所述目标终端，所述提示信息用于提示所述目标终端不具有数据更新权限；若所述目标终端为所述数据属主，则根据所述目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将所述更新数据集消息分发至多个订阅终端中；接收所述多个订阅终端发送的获取已更新数据集请求，按照所述获取已更新数据集请求查询所述对应的缓存中间件集群，得到已更新数据集，并将所述已更新数据集发送到所述多个订阅终端中；当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，对所述至少一个缓存中间件集群进行扩容或缩容处理。
可选的，在本发明第一方面的第一种实现方式中，所述获取目标终端发送的数据更新请求，所述数据更新请求包括目标属主标识，包括：接收目标终端发送的数据更新请求，并对所述数据更新请求进行参数解析，得到解析结果；从所述解析结果中获取目标属主标识、数据操作类型和待更新数据。
可选的，在本发明第一方面的第二种实现方式中，所述采用所述目标属主标识判断所述目标终端是否为数据属主，所述数据属主具有数据读写权限，包括：判断所述目标属主标识与目标值是否一致，所述目标值为预先设置的标识数据属主的数值；若所述目标属主标识与目标值一致，则确定所述目标终端为数据属主，所述数据属主具有数据读写权限；若所述目标属主标识与目标值不一致，则确定所述目标终端不为所述数据属主。
可选的，在本发明第一方面的第三种实现方式中，所述若所述目标终端为所述数据属主，则根据所述目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将所述更新数据集消息分发至多个订阅终端中，包括：若所述目标终端为所述数据属主，则根据所述目标属主标识和所述数据操作类型查询预设访问授权信息表，得到对应的第一应用程序接口；调用所述对应的第一应用程序接口按照所述待更新数据对对应的缓存中间件集群进行数据更新，得到更新结果；当所述更新结果为更新成功时，生成更新数据集消息，将所述更新数据集消息推送到预置消息队列中，并通过所述预置消息队列将所述更新数据集消息分发到多个订阅终端中，所述更新数据集消息包括对应的数据标识。
可选的，在本发明第一方面的第四种实现方式中，所述接收所述多个订阅终端发送的获取已更新数据集请求，按照所述获取已更新数据集请求查询所述对应的缓存中间件集群，得到已更新数据集，并将所述已更新数据集发送到所述多个订阅终端中，包括：接收所述多个订阅终端发送的获取已更新数据集请求，并按照所述获取已更新数据集请求从所述预设访问授权信息表中确定对应的第二应用程序接口；通过所述对应的第二应用程序接口和所述对应的数据标识从所述对应的缓存中间件集群中获取已更新数据集；将所述已更新数据集按照预设数据格式进行数据封装，得到已封装数据集，并将所述已封装数据集发送到所述多个订阅终端中。
可选的，在本发明第一方面的第五种实现方式中，所述检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，对所述至少一个缓存中间件集群进行扩容或缩容处理，包括：当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，判断所述预设指标数据是大于对应的预置指标上限阈值还是小于对应的预置指标下限阈值；若所述预设指标数据大于对应的预置指标上限阈值，则对所述至少一个缓存中间件集群中进行扩容处理；若所述预设指标数据小于对应的预置指标下限阈值，则对所述至少一个缓存中间件集群进行缩容处理。
可选的，在本发明第一方面的第六种实现方式中，在所述获取目标终端发送的数据更新请求，所述数据更新请求包括目标属主标识之前，所述分布式数据缓存管理方法还包括：通过预置缓存平台按照预置业务对多个待注册终端分别配置对应的属主标识和对应的优先级，所述对应的属主标识用于指示待注册终端的数据读写权限，所述多个待注册终端包括所述目标终端和所述多个订阅终端，每个待注册终端对应的数据读写权限不完全相同；按照预置应用程序接口和所述各自对应的属主标识将每个待注册终端与所述至少一个缓存中间件集群进行映射关联，得到预设访问授权信息表，所述预置应用程序接口包括所述对应的第一应用程序接口和所述对应的第二应用程序接口，所述至少一个缓存中间件集群包括数据共享集群。
本发明第二方面提供了一种分布式数据缓存管理装置，包括：获取模块，用于获取目标终端发送的数据更新请求，所述数据更新请求包括目标属主标识；判断模块，用于采用所述目标属主标识判断所述目标终端是否为数据属主，所述数据属主具有数据读写权限；生成模块，若所述目标终端不为所述数据属主，则用于生成提示信息，并将所述提示信息发送到所述目标终端，所述提示信息用于提示所述目标终端不具有数据更新权限；更新模块，若所述目标终端为所述数据属主，则用于根据所述目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将所述更新数据集消息分发至多个订阅终端中；查询模块，用于接收所述多个订阅终端发送的获取已更新数据集请求，按照所述获取已更新数据集请求查询所述对应的缓存中间件集群，得到已更新数据集，并将所述已更新数据集发送到所述多个订阅终端中；处理模块，当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，用于对所述至少一个缓存中间件集群进行扩容或缩容处理。
可选的，在本发明第二方面的第一种实现方式中，所述获取模块具体用于：接收目标终端发送的数据更新请求，并对所述数据更新请求进行参数解析，得到解析结果；从所述解析结果中获取目标属主标识、数据操作类型和待更新数据。
可选的，在本发明第二方面的第二种实现方式中，所述判断模块具体用于：判断所述目标属主标识与目标值是否一致，所述目标值为预先设置的标识数据属主的数值；若所述目标属主标识与目标值一致，则确定所述目标终端为数据属主，所述数据属主具有数据读写权限；若所述目标属主标识与目标值不一致，则确定所述目标终端不为所述数据属主。
可选的，在本发明第二方面的第三种实现方式中，所述更新模块具体用于：若所述目标终端为所述数据属主，则根据所述目标属主标识和所述数据操作类型查询预设访问授权信息表，得到对应的第一应用程序接口；调用所述对应的第一应用程序接口按照所述待更新数据对对应的缓存中间件集群进行数据更新，得到更新结果；当所述更新结果为更新成功时，生成更新数据集消息，将所述更新数据集消息推送到预置消息队列中，并通过所述预置消息队列将所述更新数据集消息分发到多个订阅终端中，所述更新数据集消息包括对应的数据标识。
可选的，在本发明第二方面的第四种实现方式中，所述查询模块具体用于：接收所述多个订阅终端发送的获取已更新数据集请求，并按照所述获取已更新数据集请求从所述预设访问授权信息表中确定对应的第二应用程序接口；通过所述对应的第二应用程序接口和所述对应的数据标识从所述对应的缓存中间件集群中获取已更新数据集；将所述已更新数据集按照预设数据格式进行数据封装，得到已封装数据集，并将所述已封装数据集发送到所述多个订阅终端中。
可选的，在本发明第二方面的第五种实现方式中，所述处理模块具体用于：当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，判断所述预设指标数据是大于对应的预置指标上限阈值还是小于对应的预置指标下限阈值；若所述预设指标数据大于对应的预置指标上限阈值，则对所述至少一个缓存中间件集群中进行扩容处理；若所述预设指标数据小于对应的预置指标下限阈值，则对所述至少一个缓存中间件集群进行缩容处理。
可选的，在本发明第二方面的第六种实现方式中，所述分布式数据缓存管理装置还包括：配置模块，用于通过预置缓存平台按照预置业务对多个待注册终端分别配置对应的属主标识和对应的优先级，所述对应的属主标识用于指示待注册终端的数据读写权限，所述多个待注册终端包括所述目标终端和所述多个订阅终端，每个待注册终端对应的数据读写权限不完全相同；映射模块，用于按照预置应用程序接口和所述各自对应的属主标识将每个待注册终端与所述至少一个缓存中间件集群进行映射关联，得到预设访问授权信息表，所述预置应用程序接口包括所述对应的第一应用程序接口和所述对应的第二应用程序接口，所述至少一个缓存中间件集群包括数据共享集群。
本发明第三方面提供了一种分布式数据缓存管理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述分布式数据缓存管理设备执行上述的分布式数据缓存管理方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的分布式数据缓存管理方法。
本发明提供的技术方案中，获取目标终端发送的数据更新请求，所述数据更新请求包括目标属主标识；采用所述目标属主标识判断所述目标终端是否为数据属主，所述数据属主具有数据读写权限；若所述目标终端不为所述数据属主，则生成提示信息，并将所述提示信息发送到所述目标终端，所述提示信息用于提示所述目标终端不具有数据更新权限；若所述目标终端为所述数据属主，则根据所述目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将所述更新数据集消息分发至多个订阅终端中；接收所述多个订阅终端发送的获取已更新数据集请求，按照所述获取已更新数据集请求查询所述对应的缓存中间件集群，得到已更新数据集，并将所述已更新数据集发送到所述多个订阅终端中；当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，对所述至少一个缓存中间件集群进行扩容或缩容处理。本发明实施例中，通过预置缓存平台对待注册终端设置属主标识，并对待注册终端与缓存中间件按照属主标识和预置应用程序接口进行关联，采用具有数据属主的待注册终端对缓存中间件进行数据更新操作，实现数据读写权限分离，同时通过预置缓存平台对缓存中间件进行性能指标监控，实现动态扩容和缩容处理，提高了更新数据的准确性和定位更新数据异常的准确性。
附图说明
图1为本发明实施例中分布式数据缓存管理方法的一个实施例示意图；
图2为本发明实施例中分布式数据缓存管理方法的另一个实施例示意图；
图3为本发明实施例中分布式数据缓存管理装置的一个实施例示意图；
图4为本发明实施例中分布式数据缓存管理装置的另一个实施例示意图；
图5为本发明实施例中分布式数据缓存管理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种分布式数据缓存管理方法、装置、设备及存储介质，用于通过预置缓存平台对待注册终端设置属主标识，并对待注册终端与缓存中间件按照属主标识和预置应用程序接口进行关联，采用具有数据属主的待注册终端对缓存中间件进行数据更新操作，实现数据读写权限分离。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中分布式数据缓存管理方法的一个实施例包括：
101、获取目标终端发送的数据更新请求，数据更新请求包括目标属主标识。
其中，目标终端为预先在预置缓存平台中注册了用户信息，并且分配了用户权限的终端。具体的，服务器接收目标终端发送的数据更新请求，并解析数据更新请求，得到属主标识、数据操作类型和待更新数据。其中，数据操作类型包括增加数据、删除数据和修改数据，服务器可以采用预设类型规则设置数据操作类型。例如，服务器采用预设类型规则add、update和del分别表示增加数据、删除数据和修改数据，也可以采用预设类型规则1、2和3分别表示增加数据、删除数据和修改数据，具体此处不做限定。
可以理解的是，本发明的执行主体可以为分布式数据缓存管理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
102、采用目标属主标识判断目标终端是否为数据属主，数据属主具有数据读写权限。
其中，目标终端发送的数据更新请求还可包括属主标识和待更新数据，服务器可以通过属主标识判断目标终端是否为数据属主，其中，数据属主具有读取数据权限和更新数据权限，更新数据权限包括增加数据、删除数据、修改数据。
具体的，服务器判断属主标识与目标值是否相等，也就是，服务器确定属主标识与目标值的一致性。例如，目标值为owner_11，若属主标识为00，则服务器确定属主标识与目标值不一致，进一步地，服务器执行步骤103；若属主标识为owner_11，则服务器确定属主标识与目标值一致，进一步地，服务器执行步骤104。
103、若目标终端不为数据属主，则生成提示信息，并将提示信息发送到目标终端，提示信息用于提示目标终端不具有数据更新权限。
其中，提示信息包括提示码和提示文字，提示码可以为501或者502，提示码还可以采用其他字符或者数字进行表示，具体此处不做限定。提示文字用于提示目标终端没有更新权限。进一步地，若目标终端不为数据属主，则服务器根据预设信息规则生成提示信息，并将提示信息发送到目标终端。
104、若目标终端为数据属主，则根据目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将更新数据集消息分发至多个订阅终端中。
进一步地，若目标终端为数据属主，则服务器根据目标属主标识确定目标终端对对应的缓存中间件(至少一个缓存中间件)访问的预置应用程序接口，服务器调用预置应用程序接口对对应的缓存中间件集群进行数据更新，得到更新数据集消息，服务器将更新数据集消息发送到预置消息队列中，并通过预置消息队列将更新数据集消息分发至多个订阅终端中。例如，服务器在预置缓存平台中注册目标终端A是元数据DataA的数据属主，并记录这组元数据到缓存中间件中，当服务器通过预置应用程序接口对缓存中间件中的元数据进行更新时，服务器将更新数据集的信息发到预置消息队列，服务器通过预置消息队列通知目标终端B和目标终端C更新在目标终端缓存的元数据信息。
105、接收多个订阅终端发送的获取已更新数据集请求，按照获取已更新数据集请求查询对应的缓存中间件集群，得到已更新数据集，并将已更新数据集发送到多个订阅终端中。
当多个订阅终端接收到预置消息队列发送的更新数据集的消息时，每个订阅终端按照预置请求格式生成获取已更新数据集的请求，并向服务器发送获取已更新数据集的请求，其中，该获取已更新数据集的请求用于获取数据并更新终端缓存的数据，服务器根据属主标识和访问授权信息从对应的缓存中间件中查询的到已更新数据集。其中，访问授权信息包括预置应用程序接口，服务器通过在预置缓存平台中注册的缓存中间件匹配到对应的预置应用程序接口。例如，保存保险产品数据，若使用的缓存中间件是远程字典服务redis集群，那么，每个订阅终端调用访问get请求时，被匹配到使用redis的预置应用程序接口get获取保险产品数据集InsuranceProduct；若保存的数据存储在搜索与数据分析引擎ES集群中，那么将其匹配到ES集群提供query接口，也就是每个订阅终端的请求、预置应用程序接口与对应的缓存中间件(至少一个缓存中间件)存在映射关系。
进一步地，将已更新数据集存储于区块链数据库中，具体此处不做限定。
106、当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，对至少一个缓存中间件集群进行扩容或缩容处理。
其中，缓存中间件包括redis集群、分布式的高速缓存系统memcache集群和ES集群，服务器通过预置缓存平台实时获取缓存中间件的多个预设指标数据，并将多个预设指标数据分别与对应的预置指标阈值进行比较，得到比较结果，当服务器根据比较结果确定至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，对对应的缓存中间件(至少一个缓存中间件)进行扩容或缩容处理。例如，当redis集群的CPU使用率大于80％时，服务器通过预置扩容脚本命令进行扩容，分散redis压力。
本发明实施例中，通过预置缓存平台对待注册终端设置属主标识，并对待注册终端与缓存中间件按照属主标识和预置应用程序接口进行关联，采用具有数据属主的待注册终端对缓存中间件进行数据更新操作，实现数据读写权限分离，同时通过预置缓存平台对缓存中间件进行性能指标监控，实现动态扩容和缩容处理，提高了更新数据的准确性和定位更新数据异常的准确性。
请参阅图2，本发明实施例中分布式数据缓存管理方法的另一个实施例包括：
201、获取目标终端发送的数据更新请求，数据更新请求包括目标属主标识。
具体的，服务器接收目标终端发送的数据更新请求，并对数据更新请求进行参数解析，得到解析结果；服务器从解析结果中获取目标属主标识、数据操作类型和待更新数据。例如，目标属主标识为1，可表示目标终端为数据属主；数据操作类型为update，表示修改操作；待更新数据用于指示将标识为001的个人信息进行修改。
可选的，服务器通过预置缓存平台按照预置业务对多个待注册终端分别配置对应的属主标识和对应的优先级，对应的属主标识用于指示待注册终端的数据读写权限，多个待注册终端包括目标终端和多个订阅终端，待注册终端对应的数据读写权限不完全相同。例如，待注册终端A对应的数据读写权限包括查询权限，待注册终端B对应的数据读写权限包括查询权限、修改权限、插入权限和删除权限；服务器按照预置应用程序接口和各自对应的属主标识将每个待注册终端与至少一个缓存中间件集群进行映射关联，得到预设访问授权信息表，预置应用程序接口包括对应的第一应用程序接口和对应的第二应用程序接口，至少一个缓存中间件集群包括数据共享集群。
202、采用目标属主标识判断目标终端是否为数据属主，数据属主具有数据读写权限。
具体的，服务器判断目标属主标识与目标值是否一致，目标值为预先设置的标识数据属主的数值；若目标属主标识与目标值一致，则服务器确定目标终端为数据属主，数据属主具有数据读写权限，其中，属主标识用于指示目标终端是否具有读取数据权限和/或更新数据权限。进一步地，服务器执行步骤204。当按照创建目标终端的属主标识时，基于数据安全性考虑，一般不可更新，访问控制信息所在的访问控制信息表在初始化时为空数据表。若目标属主标识与目标值不一致，则服务器确定目标终端不为数据属主，进一步地，服务器执行步骤203。需要说明的是，属主标识为按照预置规则设置的字符串，字符串包括数字、英文字符和下划线，例如，属主标识可以为11、也可以为owner或者owner_11，具体此处不做限定。
203、若目标终端不为数据属主，则生成提示信息，并将提示信息发送到目标终端，提示信息用于提示目标终端不具有数据更新权限。
该步骤203与步骤103的描述相似，具体此处不再赘述。
204、若目标终端为数据属主，则根据目标属主标识和数据操作类型查询预设访问授权信息表，得到对应的第一应用程序接口。
其中，第一应用程序接口为预先抽象的写缓存接口、读缓存接口或者设置失效缓存接口，对应多个目标终端操作接口。例如，第一应用程序接口为保存接口save、修改接口update、获取接口get或者失效接口evict，可分别用于写缓存、读缓存和设置失效。因此，服务器按照目标属主标识和数据操作类型查询预设访问授权信息表，得到对应的写缓存、读缓存或者设置失效缓存的接口。
需要说明的是，预设访问授权信息表中目标终端的属主标识和目标终端对对应的缓存中间件(至少一个缓存中间件)访问的预置应用程序接口，预置应用程序接口包括第一应用程序接口和第二应用程序接口。
205、调用对应的第一应用程序接口按照待更新数据对对应的缓存中间件集群进行数据更新，得到更新结果。
数据更新是指对元数据进行增加、删除和修改操作，具体的，服务器调用对应的写缓存、读缓存以及设置失效缓存的接口，并按照待更新数据对至少一个缓存中间件进行数据更新，得到更新结果，其中，更新结果包括更新成功和更新失败。例如，服务器调用对应的写缓存接口对待更新数据对至少一个缓存中间件进行数据更新，得到更新结果；当更新结果为逻辑假false时，服务器确定更新结果为更新失败，当更新结果为更新失败时，服务器将更新结果返回目标终端；当更新结果为逻辑真true时，服务器确定更新结果为更新成功，进一步地，服务器执行步骤206。
需要说明的是，更新结果还可以与预设值进行大小比较，也就是，当更新结果为预设值时，服务器确定更新结果为更新成功；当更新结果不为预设值时，服务器确定更新结果为更新失败，其中，预设值可为1或者0，具体此处不做限定。
206、当更新结果为更新成功时，生成更新数据集消息，将更新数据集消息推送到预置消息队列中，并通过预置消息队列将更新数据集消息分发到多个订阅终端中，更新数据集消息包括对应的数据标识。
具体的，服务器按照第一数据操作类型获取预设的消息模板；服务器按照预设的消息模板和待更新数据生成更新数据集消息；服务器将更新数据集消息写入预置消息队列中，更新数据集消息包括数据标识，数据标识用于指示已更新的数据集，数据标识与已更新的数据集一一对应。
可以理解的是，当数据属主按照待更新数据对至少一个缓存中间件中的元数据进行更新时，调用预置缓存平台中对应的第一应用程序接口对元数据进行更新；当更新数据成功时，发布更新消息到预置消息队列中。进一步地，服务器按照预置业务从配置信息表中获取至少一个订阅终端，每个订阅终端包括各自对应的唯一标识，服务器将各自对应的唯一标识与更新数据集消息进行关联，并按照各自对应的唯一标识、预设频率和优先级从大到小的顺序将更新数据集消息分发到多个订阅终端中。
207、接收多个订阅终端发送的获取已更新数据集请求，按照获取已更新数据集请求查询对应的缓存中间件集群，得到已更新数据集，并将已更新数据集发送到多个订阅终端中。
具体的，服务器接收多个订阅终端发送的获取已更新数据集请求，并按照获取已更新数据集请求从预设访问授权信息表中确定对应的第二应用程序接口；服务器通过对应的第二应用程序接口和对应的数据标识从对应的缓存中间件集群(至少一个缓存中间件集群)中获取已更新数据集；服务器将已更新数据集按照预设数据格式进行数据封装，得到已封装数据集，并将已封装数据集发送到多个订阅终端中。其中，预设数据格式包括JS对象简谱(javaScript object notation，JSON)的数据格式，还可以为其他数据格式，具体此处不做限定。
208、当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，对至少一个缓存中间件集群进行扩容或缩容处理。
具体的，当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，服务器判断预设指标数据是大于对应的预置指标上限阈值还是小于对应的预置指标下限阈值，进一步地，服务器将预设指标数据与对应的预置指标上限阈值进行比较，得到比较结果，若比较结果大于目标值，则确定服务器确定指标数据大于预置指标上限阈值；若比较结果小于或者等于目标值，则确定服务器确定指标数据小于或者等于预置指标上限阈值。例如，当至少一个缓存中间件集群redis中预设指标数据CPU使用率大于50％时，服务器确定预设指标数据大于预置指标上限阈值；当至少一个缓存中间件集群memcache中linux系统的负载值Linux load超过3时，服务器确定预设指标数据大于预置指标上限阈值；当至少一个缓存中间件ES中Java虚拟机的垃圾数据收集总时长指标collection_time_in_millis(预设指标数据)超过200ms时，服务器确定预设指标数据大于预置指标上限阈值。反之，服务器确定预设指标数据不大于预置指标上限阈值，则服务器判断预设指标数据是否小于对应的预置指标下限阈值。
若预设指标数据大于对应的预置指标上限阈值，则服务器对至少一个缓存中间件集群中进行扩容处理。具体的，若预设指标数据大于预置指标阈值，则服务器确定至少一个缓存中间件的类型；服务器至少一个缓存中间件的类型选取预置扩容指令；服务器基于预设指标数据和对应预置指标阈值计算得到扩容数据；服务器基于扩容指令和扩容数据对至少一个缓存中间件进行扩容处理，例如：对缓存中间件redis-master集群进行扩容的命令如下所示，
kubectl scale rc redis-master--replicas＝3；
若预设指标数据小于对应的预置指标下限阈值，则服务器对至少一个缓存中间件集群进行缩容处理。例如，当redis集群的CPU使用率小于5％时，服务器可以采用预置扩容脚本命令对redis集群缩容百分之五十，减少存储空间。
可选的，服务器将至少一个缓存中间件定时上报数据到预置性能监控工具的普罗米修斯prometheus中，当服务器检测到至少一个缓存中间件的预设指标数据与预置指标上限阈值或者预置指标上下限阈值不一致时，服务器还可以向目标终端发送警示信息，以便于目标人员及时查看扩容和/或缩容处理的结果是否成功。
需要说明的是，服务器根据预设时长定时获取多个预设指标数据；在预设时长范围内，服务器可以采集至少一个缓存中间件集群的多个预设指标数据，也可以采集多个缓存中间件的多个预设指标数据，同时，同一缓存中间件集群不会重复上报相同的预设指标数据。
其中，Prometheus为预先安装在预置缓存平台中的软件包，指标监控包括对CPU使用率、可用内存、linux系统的负载值和IO指标等进行监控。对多个缓存中间件进行指标监控，需要根据缓存中间件的类型设置监控指标。例如，redis的监控指标包括阻塞客户端数量、使用内存峰值、内存碎片率、缓存命中率和CPU使用率等；memcache的控指标包括使用内存峰值、内存碎片率、缓存命中率和CPU使用率等；ES的监控指标包括java虚拟机JVM相关性能参数。
需要说明的是，服务器根据预置缓存平台中的注册信息设置不同类型的缓存中间件，并设置缓存中间件的集群类型(独立集群或者共享集群)，注册信息包括预期的数据量大小、数据的优先级和数据存储结构，如表1所示：
表1：集群类型
预期的数据量大小 数据的优先级 采用的集群类型
数据量大于1000G 1级 共享集群
数据量大于500G 2级 独立集群
数据量大于100G 3级 独立集群
数据量大于50G 4级 独立集群
数据量大于0G 5级 独立集群
其中，数据存储结构用于确定缓存中间件的类型，当数据存储结构为键值对结构可以采用memcache；当数据存储结构为关系型时，可以采用ES；当数据存储结构为哈希集或者有序集时，可以采用redis。数据的优先级为最高级别的优先级时，服务器将缓存中间件设置为共享集群，其他情况可以设置为独立集群。
本发明实施例中，通过预置缓存平台对待注册终端设置属主标识，并对待注册终端与缓存中间件按照属主标识和预置应用程序接口进行关联，采用具有数据属主的待注册终端对缓存中间件进行数据更新操作，实现数据读写权限分离，同时通过预置缓存平台对缓存中间件进行性能指标监控，实现动态扩容和缩容处理，提高了更新数据的准确性和定位更新数据异常的准确性。
上面对本发明实施例中分布式数据缓存管理方法进行了描述，下面对本发明实施例中分布式数据缓存管理装置进行描述，请参阅图3，本发明实施例中分布式数据缓存管理装置的一个实施例包括：
获取模块301，用于获取目标终端发送的数据更新请求，数据更新请求包括目标属主标识；
判断模块302，用于采用目标属主标识判断目标终端是否为数据属主，数据属主具有数据读写权限，提示信息用于提示目标终端不具有数据更新权限；
生成模块303，若目标终端不为数据属主，则用于生成提示信息，并将提示信息发送到目标终端；
更新模块304，若目标终端为数据属主，则用于根据目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将更新数据集消息分发至多个订阅终端中；
查询模块305，用于接收多个订阅终端发送的获取已更新数据集请求，按照获取已更新数据集请求查询对应的缓存中间件集群，得到已更新数据集，并将已更新数据集发送到多个订阅终端中；
处理模块306，当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，用于对至少一个缓存中间件集群进行扩容或缩容处理。
本发明实施例中，通过预置缓存平台对待注册终端设置属主标识，并对待注册终端与缓存中间件按照属主标识和预置应用程序接口进行关联，采用具有数据属主的待注册终端对缓存中间件进行数据更新操作，实现数据读写权限分离，同时通过预置缓存平台对缓存中间件进行性能指标监控，实现动态扩容和缩容处理，提高了更新数据的准确性和定位更新数据异常的准确性。
请参阅图4，本发明实施例中分布式数据缓存管理装置的另一个实施例包括：
获取模块301，用于获取目标终端发送的数据更新请求，数据更新请求包括目标属主标识；
判断模块302，用于采用目标属主标识判断目标终端是否为数据属主，数据属主具有数据读写权限；
生成模块303，若目标终端不为数据属主，则用于生成提示信息，并将提示信息发送到目标终端，提示信息用于提示目标终端不具有数据更新权限；
更新模块304，若目标终端为数据属主，则用于根据目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将更新数据集消息分发至多个订阅终端中；
查询模块305，用于接收多个订阅终端发送的获取已更新数据集请求，按照获取已更新数据集请求查询对应的缓存中间件集群，得到已更新数据集，并将已更新数据集发送到多个订阅终端中；
处理模块306，当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，用于对至少一个缓存中间件集群进行扩容或缩容处理。
可选的，获取模块301还可以具体用于：
接收目标终端发送的数据更新请求，并对数据更新请求进行参数解析，得到解析结果；
从解析结果中获取目标属主标识、数据操作类型和待更新数据。
可选的，判断模块302还可以具体用于：
判断目标属主标识与目标值是否一致，目标值为预先设置的标识数据属主的数值；
若目标属主标识与目标值一致，则确定目标终端为数据属主，数据属主具有数据读写权限；
若目标属主标识与目标值不一致，则确定目标终端不为数据属主。
可选的，更新模块304还可以具体用于：
若目标终端为数据属主，则根据目标属主标识和数据操作类型查询预设访问授权信息表，得到对应的第一应用程序接口；
调用对应的第一应用程序接口按照待更新数据对对应的缓存中间件集群进行数据更新，得到更新结果；
当更新结果为更新成功时，生成更新数据集消息，将更新数据集消息推送到预置消息队列中，并通过预置消息队列将更新数据集消息分发到多个订阅终端中，更新数据集消息包括对应的数据标识。
可选的，查询模块305还可以具体用于：
接收多个订阅终端发送的获取已更新数据集请求，并按照获取已更新数据集请求从预设访问授权信息表中确定对应的第二应用程序接口；
通过对应的第二应用程序接口和对应的数据标识从对应的缓存中间件集群中获取已更新数据集；
将已更新数据集按照预设数据格式进行数据封装，得到已封装数据集，并将已封装数据集发送到多个订阅终端中。
进一步地，将已更新数据集存储于区块链数据库中，具体此处不做限定。
可选的，处理模块306还可以具体用于：
当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，判断预设指标数据是大于对应的预置指标上限阈值还是小于对应的预置指标下限阈值；
若预设指标数据大于对应的预置指标上限阈值，则对至少一个缓存中间件集群中进行扩容处理；
若预设指标数据小于对应的预置指标下限阈值，则对至少一个缓存中间件集群进行缩容处理。
可选的，分布式数据缓存管理装置还包括：
配置模块307，用于通过预置缓存平台按照预置业务对多个待注册终端分别配置对应的属主标识和对应的优先级，对应的属主标识用于指示待注册终端的数据读写权限，多个待注册终端包括目标终端和多个订阅终端，每个待注册终端对应的数据读写权限不完全相同；
映射模块308，用于按照预置应用程序接口和各自对应的属主标识将每个待注册终端与至少一个缓存中间件集群进行映射关联，得到预设访问授权信息表，预置应用程序接口包括对应的第一应用程序接口和对应的第二应用程序接口，至少一个缓存中间件集群包括数据共享集群。
本发明实施例中，通过预置缓存平台对待注册终端设置属主标识，并对待注册终端与缓存中间件按照属主标识和预置应用程序接口进行关联，采用具有数据属主的待注册终端对缓存中间件进行数据更新操作，实现数据读写权限分离，同时通过预置缓存平台对缓存中间件进行性能指标监控，实现动态扩容和缩容处理，提高了更新数据的准确性和定位更新数据异常的准确性。
上面图3和图4从模块化功能实体的角度对本发明实施例中的分布式数据缓存管理装置进行详细描述，下面从硬件处理的角度对本发明实施例中分布式数据缓存管理设备进行详细描述。
图5是本发明实施例提供的一种分布式数据缓存管理设备的结构示意图，该分布式数据缓存管理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对分布式数据缓存管理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在分布式数据缓存管理设备500上执行存储介质530中的一系列指令操作。
分布式数据缓存管理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的分布式数据缓存管理设备结构并不构成对分布式数据缓存管理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述分布式数据缓存管理方法的步骤。
本发明还提供一种分布式数据缓存管理设备，所述分布式数据缓存管理设备包括存储器和处理器，存储器中存储有指令，所述指令被处理器执行时，使得处理器执行上述各实施例中的所述分布式数据缓存管理方法的步骤。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行更新，或者对其中部分技术特征进行等同替换；而这些更新或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种分布式数据缓存管理方法，其特征在于，所述分布式数据缓存管理方法包括：
获取目标终端发送的数据更新请求，所述数据更新请求包括目标属主标识；
采用所述目标属主标识判断所述目标终端是否为数据属主，所述数据属主具有数据读写权限；
若所述目标终端不为所述数据属主，则生成提示信息，并将所述提示信息发送到所述目标终端，所述提示信息用于提示所述目标终端不具有数据更新权限；
若所述目标终端为所述数据属主，则根据所述目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将所述更新数据集消息分发至多个订阅终端中；
接收所述多个订阅终端发送的获取已更新数据集请求，按照所述获取已更新数据集请求查询所述对应的缓存中间件集群，得到已更新数据集，并将所述已更新数据集发送到所述多个订阅终端中；
当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，对所述至少一个缓存中间件集群进行扩容或缩容处理；
所述若所述目标终端为所述数据属主，则根据所述目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将所述更新数据集消息分发至多个订阅终端中，包括：
若所述目标终端为所述数据属主，则根据所述目标属主标识和数据操作类型查询预设访问授权信息表，得到对应的第一应用程序接口；
调用所述对应的第一应用程序接口按照待更新数据对对应的缓存中间件集群进行数据更新，得到更新结果；
当所述更新结果为更新成功时，生成更新数据集消息，将所述更新数据集消息推送到预置消息队列中，并通过所述预置消息队列将所述更新数据集消息分发到多个订阅终端中，所述更新数据集消息包括对应的数据标识；
所述接收所述多个订阅终端发送的获取已更新数据集请求，按照所述获取已更新数据集请求查询所述对应的缓存中间件集群，得到已更新数据集，并将所述已更新数据集发送到所述多个订阅终端中，包括：
接收所述多个订阅终端发送的获取已更新数据集请求，并按照所述获取已更新数据集请求从所述预设访问授权信息表中确定对应的第二应用程序接口；
通过所述对应的第二应用程序接口和所述对应的数据标识从所述对应的缓存中间件集群中获取已更新数据集；
将所述已更新数据集按照预设数据格式进行数据封装，得到已封装数据集，并将所述已封装数据集发送到所述多个订阅终端中。
2.根据权利要求1所述的分布式数据缓存管理方法，其特征在于，所述获取目标终端发送的数据更新请求，所述数据更新请求包括目标属主标识，包括：
接收目标终端发送的数据更新请求，并对所述数据更新请求进行参数解析，得到解析结果；
从所述解析结果中获取目标属主标识、数据操作类型和待更新数据。
3.根据权利要求1所述的分布式数据缓存管理方法，其特征在于，所述采用所述目标属主标识判断所述目标终端是否为数据属主，所述数据属主具有数据读写权限，包括：
判断所述目标属主标识与目标值是否一致，所述目标值为预先设置的标识数据属主的数值；
若所述目标属主标识与目标值一致，则确定所述目标终端为数据属主，所述数据属主具有数据读写权限；
若所述目标属主标识与目标值不一致，则确定所述目标终端不为所述数据属主。
4.根据权利要求1所述的分布式数据缓存管理方法，其特征在于，所述当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，对所述至少一个缓存中间件集群进行扩容或缩容处理，包括：
当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，判断所述预设指标数据是大于对应的预置指标上限阈值还是小于对应的预置指标下限阈值；
若所述预设指标数据大于对应的预置指标上限阈值，则对所述至少一个缓存中间件集群中进行扩容处理；
若所述预设指标数据小于对应的预置指标下限阈值，则对所述至少一个缓存中间件集群进行缩容处理。
5.根据权利要求1-4中任意一项所述的分布式数据缓存管理方法，其特征在于，在所述获取目标终端发送的数据更新请求，所述数据更新请求包括目标属主标识之前，所述分布式数据缓存管理方法还包括：
通过预置缓存平台按照预置业务对多个待注册终端分别配置对应的属主标识和对应的优先级，所述对应的属主标识用于指示待注册终端的数据读写权限，所述多个待注册终端包括所述目标终端和所述多个订阅终端，每个待注册终端对应的数据读写权限不完全相同；
按照预置应用程序接口和各自对应的属主标识将每个待注册终端与所述至少一个缓存中间件集群进行映射关联，得到预设访问授权信息表，所述预置应用程序接口包括所述对应的第一应用程序接口和所述对应的第二应用程序接口，所述至少一个缓存中间件集群包括数据共享集群。
6.一种分布式数据缓存管理装置，其特征在于，所述分布式数据缓存管理装置包括：
获取模块，用于获取目标终端发送的数据更新请求，所述数据更新请求包括目标属主标识；
判断模块，用于采用所述目标属主标识判断所述目标终端是否为数据属主，所述数据属主具有数据读写权限；
生成模块，若所述目标终端不为所述数据属主，则用于生成提示信息，并将所述提示信息发送到所述目标终端，所述提示信息用于提示所述目标终端不具有数据更新权限；
更新模块，若所述目标终端为所述数据属主，则用于根据所述目标属主标识对对应的缓存中间件集群进行数据更新，得到更新数据集消息，并通过预置消息队列将所述更新数据集消息分发至多个订阅终端中；
查询模块，用于接收所述多个订阅终端发送的获取已更新数据集请求，按照所述获取已更新数据集请求查询所述对应的缓存中间件集群，得到已更新数据集，并将所述已更新数据集发送到所述多个订阅终端中；
处理模块，当检测到至少一个缓存中间件集群中的多个预设指标数据中的任意一个预设指标数据存在异常时，用于对所述至少一个缓存中间件集群进行扩容或缩容处理；
所述更新模块，具体用于：若所述目标终端为所述数据属主，则根据所述目标属主标识和数据操作类型查询预设访问授权信息表，得到对应的第一应用程序接口；
调用所述对应的第一应用程序接口按照待更新数据对对应的缓存中间件集群进行数据更新，得到更新结果；
当所述更新结果为更新成功时，生成更新数据集消息，将所述更新数据集消息推送到预置消息队列中，并通过所述预置消息队列将所述更新数据集消息分发到多个订阅终端中，所述更新数据集消息包括对应的数据标识
所述查询模块，具体用于：接收所述多个订阅终端发送的获取已更新数据集请求，并按照所述获取已更新数据集请求从所述预设访问授权信息表中确定对应的第二应用程序接口；
通过所述对应的第二应用程序接口和所述对应的数据标识从所述对应的缓存中间件集群中获取已更新数据集；
将所述已更新数据集按照预设数据格式进行数据封装，得到已封装数据集，并将所述已封装数据集发送到所述多个订阅终端中。
7.一种分布式数据缓存管理设备，其特征在于，所述分布式数据缓存管理设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述分布式数据缓存管理设备执行如权利要求1-5中任意一项所述的分布式数据缓存管理方法。
8.一种计算机可读存储介质，其上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任意一项所述的分布式数据缓存管理方法。
CN202010880813.XA 2020-08-27 2020-08-27 分布式数据缓存管理方法、装置、设备及存储介质 Active CN112039979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010880813.XA CN112039979B (zh) 2020-08-27 2020-08-27 分布式数据缓存管理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010880813.XA CN112039979B (zh) 2020-08-27 2020-08-27 分布式数据缓存管理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112039979A CN112039979A (zh) 2020-12-04
CN112039979B true CN112039979B (zh) 2023-06-20

Family

ID=73585961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010880813.XA Active CN112039979B (zh) 2020-08-27 2020-08-27 分布式数据缓存管理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112039979B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112632092A (zh) * 2020-12-18 2021-04-09 北京浪潮数据技术有限公司 一种集群管理方法、装置、设备及存储介质
CN114840264A (zh) * 2021-01-14 2022-08-02 宝能汽车集团有限公司 配置数据管理方法、配置数据管理装置和车辆管理系统
CN112395116B (zh) * 2021-01-20 2021-04-30 北京东方通软件有限公司 一种针对消息中间件的调优方法及系统
CN113342606A (zh) * 2021-06-07 2021-09-03 平安证券股份有限公司 基于消息中间件的数据监控方法、装置、设备和存储介质
CN113626483B (zh) * 2021-08-18 2022-04-26 重庆允成互联网科技有限公司 一种填写表单的前端缓存方法、系统、设备及存储介质
CN113760933B (zh) * 2021-08-25 2023-11-03 福建天泉教育科技有限公司 一种数据更新方法及终端
CN114238518A (zh) * 2021-12-22 2022-03-25 中国建设银行股份有限公司 数据处理方法、装置、设备及存储介质
CN115277596B (zh) * 2022-09-22 2023-02-07 沐曦集成电路(上海)有限公司 基于多优先级的缓存分发系统
CN115314551B (zh) * 2022-10-12 2022-12-20 东方合智数据科技(广东)有限责任公司 设备数据推送方法及设备数据推送系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888293A (zh) * 2014-02-25 2014-06-25 电子科技大学 多通道fc网络数据仿真系统的数据通道调度方法
CN105721152A (zh) * 2014-11-30 2016-06-29 中国科学院沈阳自动化研究所 一种面向无线智能电表的安全路由方法
CN106708636A (zh) * 2016-12-29 2017-05-24 北京奇虎科技有限公司 基于集群的数据缓存方法及装置
CN109905243A (zh) * 2017-12-11 2019-06-18 航天信息股份有限公司 一种处理数字证书更新请求的方法及服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888293A (zh) * 2014-02-25 2014-06-25 电子科技大学 多通道fc网络数据仿真系统的数据通道调度方法
CN105721152A (zh) * 2014-11-30 2016-06-29 中国科学院沈阳自动化研究所 一种面向无线智能电表的安全路由方法
CN106708636A (zh) * 2016-12-29 2017-05-24 北京奇虎科技有限公司 基于集群的数据缓存方法及装置
CN109905243A (zh) * 2017-12-11 2019-06-18 航天信息股份有限公司 一种处理数字证书更新请求的方法及服务器

Also Published As

Publication number Publication date
CN112039979A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112039979B (zh) 分布式数据缓存管理方法、装置、设备及存储介质
US8498995B1 (en) Optimizing data retrieval during event data query processing
WO2017092447A1 (en) Method and apparatus for data quality management and control
CN112579606A (zh) 工作流数据处理方法、装置、计算机设备及存储介质
TW201800967A (zh) 分布式流式資料處理的方法和裝置
EP2414963A2 (en) Dynamic hash table for efficient data access in a relational database system
US8386445B2 (en) Reorganizing database tables
CN111475105B (zh) 监控数据存储方法、设备、服务器及存储介质
CN109542894B (zh) 用户数据集中存储方法、装置、介质和计算机设备
CN110662184A (zh) 信息推送方法、装置、计算机设备及存储介质
CN111475519B (zh) 数据缓存方法及装置
US11082494B2 (en) Cross storage protocol access response for object data stores
CN107491463B (zh) 数据查询的优化方法和系统
EP2572300A2 (en) Smart database caching
US20220342888A1 (en) Object tagging
CN111680275A (zh) 工控机控制系统的权限管理方法、系统、存储介质及设备
CN111831688A (zh) 运维数据的管理方法和管理系统
CN115687359A (zh) 数据表分区方法及装置、存储介质、计算机设备
US8281000B1 (en) Variable-length nonce generation
US20160147838A1 (en) Receiving node, data management system, data management method and strage medium
US11580082B2 (en) Object storage system with control entity quota usage mapping
CN112835873A (zh) 电网调控异构系统服务化访问方法、系统、设备及介质
US11204717B2 (en) Object storage system with access control quota status check
CN110555080B (zh) 一种联机分析处理方法、装置及系统
JP2020119445A (ja) 情報処理装置、情報処理プログラム、及び情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant