CN113448997A - 缓存处理方法、装置、电子设备和存储介质 - Google Patents
缓存处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113448997A CN113448997A CN202110692746.3A CN202110692746A CN113448997A CN 113448997 A CN113448997 A CN 113448997A CN 202110692746 A CN202110692746 A CN 202110692746A CN 113448997 A CN113448997 A CN 113448997A
- Authority
- CN
- China
- Prior art keywords
- data
- type
- cache
- cached
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 230000002776 aggregation Effects 0.000 claims abstract description 135
- 238000004220 aggregation Methods 0.000 claims abstract description 135
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000013500 data storage Methods 0.000 abstract description 22
- 238000007726 management method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 19
- 238000013467 fragmentation Methods 0.000 description 9
- 238000006062 fragmentation reaction Methods 0.000 description 9
- 241001178520 Stomatepia mongo Species 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种缓存处理方法、装置、电子设备和存储介质，该方法包括：获取待缓存的集群数据；按照待缓存的集群数据中每一类数据的数据类型，对待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果；聚合结果包括至少一类数据的聚合数据；根据至少一类数据中每类数据的聚合数据，建立待缓存的集群数据对应的缓存数据。基于本申请提供的缓存处理方法，可以提高对待缓存的集群数据进行数据存储的实时性。
Description
技术领域
本申请实施例涉及分布式存储技术领域，尤其涉及一种缓存处理方法、装置、电子设备和计算机存储介质。
背景技术
在分布式云场景下，待缓存的集群数据可以包括云平台纳管的节点资源的结构化数据、云平台服务的业务数据库的数据、节点资源的运行状态数据、节点资源的监控数据等，在将待缓存的集群数据组装成符合云平台的业务需求的数据时，需要对待缓存的集群数据进行持续的、周期性的数据采集。
同时，为了保障对待缓存的集群数据进行数据存储的可靠性，需要将待缓存的集群数据进行冗余备份，为此，云平台的后端采用数据一写多读的方式进行数据存储，在冗余备份时数据写入的效率低。
随着云平台纳管的集群资源的数量越来越多，待缓存的集群数据的数据量呈现持续增长，使得对待缓存的集群数据进行数据采集时的压力、云平台的后端在数据写入时的压力线性增长，对待缓存的集群数据进行数据存储的实时性难以保证。因此，如何提高对待缓存的集群数据进行数据存储的实时性成为亟待解决的重要问题。
发明内容
本申请实施例提供了一种缓存处理方法、装置、电子设备和计算机存储介质，可以提高对待缓存的集群数据进行数据存储的实时性。
本申请实施例提供的一种缓存处理方法，包括：
获取待缓存的集群数据；
按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果；所述聚合结果包括至少一类数据的聚合数据；
根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据。
在一种实现方式中，所述根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据，包括：
确定第一对应关系，所述第一对应关系表示所述聚合数据的数据类型和缓存表的标识的对应关系；
根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的缓存表。
在一种实现方式中，所述根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的缓存表，包括：
确定第二对应关系，所述第二对应关系表示所述每类数据的聚合数据对应的缓存表和缓存单元的对应关系；所述缓存单元用于存储所述缓存表；
根据所述第一对应关系和所述第二对应关系，将所述每类数据的聚合数据缓存至对应的缓存单元中的缓存表。
在一种实现方式中，所述根据所述第一对应关系和所述第二对应关系，将所述每类数据的聚合数据缓存至对应的缓存单元中的缓存表，包括：
确定缓存单元集合，所述缓存单元集合包括至少一个所述缓存单元；
在所述缓存单元集合中增加新的缓存单元时，将所述至少一个所述缓存单元中的缓存表迁移至所述新的缓存单元。
在一种实现方式中，所述按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
获取配置信息，所述配置信息用于指示所述至少一类数据中的目标数据类型；所述目标数据类型为待进行数据聚合的数据类型；
根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
在一种实现方式中，所述根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
监测所述配置信息的更新状态；
在所述配置信息更新后，根据所述更新后的配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
本申请实施例提供的一种缓存同步装置，包括：
获取模块，用于获取集群中的待缓存的集群数据；
处理模块，用于按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果；所述聚合结果包括至少一类数据的聚合数据；
缓存模块，用于根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据。
在一种实现方式中，所述缓存模块，用于根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据，包括：
确定第一对应关系，所述第一对应关系表示所述聚合数据的数据类型和缓存表的标识的对应关系；
根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的缓存表。
在一种实现方式中，所述缓存模块，用于根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的缓存表，包括：
确定第二对应关系，所述第二对应关系表示所述每类数据的聚合数据对应的缓存表和缓存单元的对应关系；所述缓存单元用于存储所述缓存表；
根据所述第一对应关系和所述第二对应关系，将所述每类数据的聚合数据缓存至对应的缓存单元中的缓存表。
在一种实现方式中，所述缓存模块用于根据所述第一对应关系和所述第二对应关系，将所述每类数据的聚合数据缓存至对应的缓存单元中的缓存表，包括：
确定缓存单元集合，所述缓存单元集合包括至少一个所述缓存单元；
在所述缓存单元集合中增加新的缓存单元时，将所述至少一个所述缓存单元中的缓存表迁移至所述新的缓存单元。
在一种实现方式中，所述处理模块，用于按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
获取配置信息，所述配置信息用于指示所述至少一类数据中的目标数据类型；所述目标数据类型为待进行数据聚合的数据类型；
根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
在一种实现方式中，所述处理模块，用于根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
监测所述配置信息的更新状态；
在所述配置信息更新后，根据所述更新后的配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
本申请实施例提供一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述一个或多个技术方案提供的缓存处理方法。
本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序；所述计算机程序被执行后能够实现前述一个或多个技术方案提供的缓存处理方法。
基于本申请提供的缓存处理方法，获取待缓存的集群数据，按照待缓存的集群数据中每一类数据的数据类型，对待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果；根据至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据。因此，可以对待缓存的集群数据进行分类存储，采用分布式的方式对每类数据的聚合数据进行独立存储，从而，提高对待缓存的集群数据进行数据存储的实时性。同时，由于缓存数据属于已经聚合完成的、符合数据聚合项对应的数据接口的数据，可以提高缓存数据加载的实时性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
图1为相关技术中提供的采用MongoDB数据库的数据分片进行资源部署的应用场景图；
图2为相关技术中提供的采用MongoDB数据库的主从模式进行资源部署的应用场景图；
图3为本申请实施例提供的一种缓存处理方法的应用场景图；
图4为本申请实施例提供的一种缓存处理方法的网络架构图；
图5为本申请实施例提供的一种缓存处理方法的流程示意图；
图6为本申请实施例提供的另一种缓存处理方法的应用场景图；
图7为本申请实施例提供的又一种缓存处理方法的流程示意图；
图8为本申请实施例提供的一种建立缓存数据的应用场景图；
图9为本申请实施例提供的一种执行缓存同步任务的应用场景图；
图10为本申请实施例提供的一种缓存处理方法的应用场景图；
图11为本申请实施例提供的另一种缓存处理方法的应用场景图；
图12为本申请实施例提供的一种缓存数据转移的应用场景图；
图13为本申请实施例提供的一种集群节点横向扩展的应用场景图；
图14为本申请实施例提供的又一种缓存处理方法的流程示意图；
图15为本申请实施例提供的一种云计算管理平台的界面示意图；
图16为本申请实施例提供的一种缓存同步装置的示意图；
图17为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本申请，不用于限定本申请。另外，以下所提供的实施例是用于实施本申请的部分实施例，而非提供实施本申请的全部实施例，在不冲突的情况下，本申请实施例记载的技术方案可以任意组合的方式实施。
在相关技术中，基于MongoDB数据库的数据分片、主从模式进行资源部署时，云计算(Cloud Computing)管理平台，在对缓存数据在用户界面进行数据展示时，需要对缓存数据进行数据聚合，将缓存数据聚合成数据接口对应的数据格式。因此，缓存数据的加载速度较慢，对缓存数据进行展示的实时性较差。
图1示出了相关技术中提供的一种缓存处理方法的应用场景图。参见图1，在相关技术中，为了对物理资源的缓存数据进行分布式存储(Distributed Storage)，采用MongoDB数据库的数据分片、主从模式进行资源部署，其中，数据分片将数据分拆到不同的服务器上，以达到存储更多的数据，处理更大的负载。不同服务器保存不同的数据，不同服务器的数据总和即为整个数据集。
参见图1，MongoDB数据库的分片包括Shard1、Shard2、Shard3。其中，Shard1包括Shard1主节点、Shard1从节点、Shard1仲裁节点，Shard2包括Shard2主节点、Shard2从节点、Shard2仲裁节点，Shard3包括Shard3主节点、Shard3从节点、Shard3仲裁节点。
这里，MongoDB数据库是一个基于分布式文件存储的数据库，由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。
在相关技术中，基于MongoDB数据库的体系结构，采用Mongos服务器1、Mongos服务器2、Mongos服务器3，存储MongoDB数据库的分片包括Shard1、Shard2、Shard3。其中，Mongos服务器1用于存储Shard1主节点、Shard2从节点、Shard3仲裁节点；Mongos服务器2用于存储Shard2主节点、Shard3从节点、Shard1仲裁节点；Mongos服务器3用于存储Shard3主节点、Shard1从节点、Shard2仲裁节点。
应理解，采用MongoDB数据库的分片+副本方式对物理资源的缓存数据进行分布式存储，需要将数据分拆到不同的服务器上，因此，部署资源时的资源开销过高，同时，在缓存节点异常时，缓存收敛的速度慢。
图2示出了相关技术中提供的一种缓存处理方法的应用场景图。参见图2，在相关技术中，为了对物理资源的缓存数据进行分布式存储，采用MongoDB数据库的数据分片、主从模式进行资源部署，其中，MongoDB数据库的主从模式，建立一个主节点和一个或多个从节点，每个从节点关联主节点的地址，达到双机备份的效果。作为一种数据库同步备份的集群技术，主从模式可用于数据备份，故障恢复。在主节点故障后，从节点可以接替主节点继续提供服务。
采用MongoDB数据库的分片+副本方式对物理资源的缓存数据进行数据存储，MongoDB数据库的主从模式，建立一个主节点和一个或多个从节点，每个从节点关联主节点的地址。客户端应用程序(Client Application)基于驱动器(Driver)对主节点(Primary)进行读写操作；在主节点故障后，从节点可以接替主节点继续提供服务。
应理解，采用MongoDB数据库的分片+副本方式对物理资源的缓存数据进行分布式存储，需要建立一个主节点和一个或多个从节点，在从节点建立节点的缓存数据的副本，因此，缓存组件过于冗余，部署资源开销过高，在缓存单元异常时，缓存收敛速度慢。
相关技术中，采用MongoDB数据库的分片+副本方式对物理资源的缓存数据进行分布式存储，云计算管理平台在对缓存数据进行展示时，需要对缓存数据进行数据聚合，将缓存数据聚合成数据接口对应的数据格式。因此，缓存数据的加载速度较慢，对缓存数据进行展示的实时性较差。
图3示出了相关技术中提供的一种缓存处理方法的应用场景图。参见图3分布式采集的方式对集群中的至少一个物理资源的数据进行数据采集，得到每一个数据表对应的缓存数据，采用缓存单元对每一个数据表对应的缓存数据进行分布式存储。
在示例中，参见图3，缓存单元包括缓存单元1、缓存单元2、缓存单元3。在采用缓存单元对每一个数据表对应的缓存数据进行分布式存储时，可以采用缓存单元1对数据表1、数据表2进行存储，采用缓存单元2对数据表3、数据表4进行存储，采用缓存单元3对数据表5、数据表5进行数据存储。
在示例中，云计算管理平台根据物理资源的数据的数据类型，对物理资源的数据进行监听，针对单个数据类型的数据进行数据更新。根据物理资源的数据的数据类型，对至少一个物理资源的数据进行增删改操作，生成不同的事件通知。
图4示出了本申请实施例提供的一种缓存处理方法的网络架构图。参见图4，云计算管理平台包括事件监测组件、数据聚合组件、数据存储组件。其中，事件监测组件用于监测数据聚合项的配置信息；数据聚合组件用于根据数据聚合项定义的数据类型，采集物理资源的数据；根据物理资源的数据的数据类型对物理资源的数据进行数据聚合，得到聚合结果；数据存储组件，用于根据物理资源的数据的数据类型和数据表的对应关系，将结合结果存储在对应的数据表中。
在示例中，参见图4，用户可以选择在一个物理资源上创建物理资源，例如，在物理资源上创建一个物理主机或者云主机。此时，物理资源的数据可以是物理主机或者云主机的数据。
在示例中，参见图4，在物理资源上创建物理资源时，用户在数据库中写入物理资源的数据记录时，物理资源可以将用户写入的信息作为事件通知，推送给云计算管理平台的事件监测组件。
在示例中，在事件监测组件接收到的事件通知中，根据事件通知的事件类型，可以将事件通知分为以下事件类型中的任一项：全局(Full)事件、聚合项创建(Create)事件、聚合项更新(Update)事件、聚合项删除(Delete)事件。其中，全局(Full)事件即，缓存同步事件用于指示执行缓存同步任务。
在示例中，事件监测组件将缓存同步事件推送给数据聚合组件，由数据聚合组件根据数据聚合项定义的数据类型，采集物理资源的数据；根据物理资源的数据的数据类型对物理资源的数据进行数据聚合，得到聚合结果。
在示例中，事件监测组件接收到缓存同步事件后，将数据聚合项对应的数据聚合任务，加入数据聚合组件的数据聚合任务的任务队列。数据聚合组件在数据聚合任务的任务队列中，获取到数据聚合项对应的数据聚合任务后，采用多个数据接口对数据聚合项对应的数据进行数据采集，得到至少一个物理资源的数据。
图5示出了本申请实施例提供的缓存处理方法的示意性流程图。参见图5，本申请实施例提供的缓存处理方法，应用于云计算管理平台，可以包括以下步骤：
步骤A501：获取待缓存的集群数据。
这里，待缓存的集群数据可以包括以下数据中的任一项：云平台下纳管的节点资源的结构化数据、云平台服务的业务数据库的数据、节点资源的运行状态数据、节点资源的监控数据等。
在示例中，集群节点上的物理资源的数据可以包括以下数据中的任一项：物理资源的运行状态数据、物理资源执行计算任务得到的计算结果数据。
其中，物理资源的运行状态数据可以包括以下中的任一项：物理资源的中央处理器(Central Processing Unit，CPU)的使用率、物理资源的内存的使用率、物理资源的存储的使用率。
在示例中，按照物理资源提供的云服务的类型划分，物理资源可以是一个用于提供计算服务的计算节点的资源，或者一个用于提供存储服务的存储节点的资源。
在示例中，按照物理资源在集群中的功能类型划分，物理资源可以是一个管理节点的资源，或者一个任务节点的资源。
在示例中，按照物理资源在集群中的部署方式划分，物理资源可以是一个云主机的物理资源，或者一个物理主机的物理资源。
在示例中，云计算管理平台采用事件监测组件，根据数据聚合项定义的数据类型，采集数据聚合项对应的数据类型的集群数据，获取待缓存的集群数据。
步骤A502：按照待缓存的集群数据中每一类数据的数据类型，对待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果；聚合结果包括至少一类数据的聚合数据。
在示例中，云计算管理平台采用数据聚合组件，采用数据聚合项定义待缓存的集群数据中每一类数据的数据类型，一个数据聚合项对应一种数据类型。
在示例中，根据待缓存的集群数据的数据类型，对待缓存的集群数据进行数据聚合，得到至少一类数据的聚合数据。
在示例中，数据聚合组件根据数据聚合项的标识确定数据聚合项对应的数据接口，调用数据聚合项对应的数据接口，对待缓存的集群数据进行数据聚合，得到至少一类数据的聚合数据。
在示例中，数据聚合组件在数据缓存聚合完成后，按照数据类型将至少一类数据的聚合数据，推送到数据类型对应的数据存储组件。
这里，聚合数据为数据接口对应数据类型的数据，因此，符合用户对于缓存数据的实际使用需求。
在示例中，对于多个数据聚合项，每一个数据聚合项对应一个数据聚合服务。数据聚合组件调用每一个数据聚合项对应的数据接口，对各个数据聚合项分散的源数据进行数据聚合，得到至少一类数据的聚合数据。
步骤A503：根据至少一类数据中每类数据的聚合数据，建立待缓存的集群数据对应的缓存数据。
在示例中，云计算管理平台采用数据聚合组件，将至少一类数据的聚合数据推送给数据存储组件，数据存储组件可以基于调度算法，将至少一类数据的聚合数据写入聚合数据的数据类型对应的数据表中。从而，将每类数据的聚合数据缓存到对应的数据表中。
在示例中，对每类数据的聚合数据采用一个数据表进行独立存储，多个数据表中的每个数据表可以分别存储到不同的缓存单元上。此时，所有缓存单元上的数据表，可以构成一个完整的缓存数据库。
基于本申请提供的缓存处理方法，获取待缓存的集群数据，按照待缓存的集群数据的数据类型，对待缓存的集群数据进行数据聚合，得到聚合结果；根据至少一类数据中每类数据的聚合数据，建立待缓存的集群数据对应的缓存数据。因此，可以对待缓存的集群数据进行分类存储，采用分布式的方式对每类数据的聚合数据进行独立存储，从而，提高对待缓存的集群数据进行数据存储的实时性。同时，由于缓存数据属于已经聚合完成的、符合数据聚合项对应的数据接口的数据，可以提高缓存数据加载的实时性。
应理解，由于缓存数据属于已经聚合完成的、符合数据聚合项对应的数据接口的数据，在用户在访问云计算管理平台时，可以快速获取目标集群节点对应的缓存数据。
在实际应用中，上述步骤A501至步骤A503可以采用处理器实现，上述处理器可以为专用集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal ProcessingDevice，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)、中央处理器、控制器、微控制器、微处理器中的至少一种。
在一种实现方式中，所述根据所述至少一类数据中每类数据的聚合数据，建立待缓存的集群数据对应的缓存数据，参见图6，可以包括以下步骤：
步骤A601：确定第一对应关系，第一对应关系表示所述聚合数据的数据类型和数据表的标识的对应关系。
这里，每一类数据的聚合数据的数据结构和每一类数据的数据表的数据结构一致。
步骤A602：根据第一对应关系，将每类数据的聚合数据缓存至对应的数据表。
在示例中，根据待缓存的集群数据的数据类型和缓存单元的对应关系，将每类数据的聚合数据缓存至对应的数据表，建立待缓存的集群数据对应的缓存数据。
即，提前将待缓存的集群数据聚合在缓存数据库中，因此，可以根据目标待缓存的集群数据的数据类型和缓存单元的对应关系，从缓存单元中读取目标待缓存的集群数据，提高缓存数据加载的实时性。
在一种实现方式中，所述根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的数据表，参见图7，可以包括以下步骤：
步骤A701：确定第二对应关系，第二对应关系表示每类数据的聚合数据对应的数据表和缓存单元的对应关系；缓存单元用于存储所述数据表。
这里，第一对应关系，可以是某一类数据的聚合数据的数据类型和数据类型归属的数据表的对应关系；第二对应关系，可以是某一个数据表和数据表归属的缓存单元的对应关系。
在实际应用中，缓存单元可以采用一个存储节点进行数据存储，此时，一个缓存单元可以称为一个缓存节点。
步骤A702：根据第一对应关系和第二对应关系，将每类数据的聚合数据缓存至对应的缓存单元中的数据表。
在示例中，参见图8，在对聚合数据进行数据存储时，基于调度算法根据第一对应关系和所述第二对应关系，将每类数据的聚合数据缓存至目标缓存单元中的数据表。
在示例中，在对聚合数据进行数据读取时，基于调度算法根据第一对应关系和所述第二对应关系，查询数据表归属的目标缓存单元，从目标缓存单元中读取缓存数据。
例如，用户在访问云计算管理平台，获取物理资源配置数据时，根据调度算法确定每类数据的聚合数据对应的数据表所在缓存单元，从数据表中获取资源的缓存数据。
在示例中，每个缓存单元中存储的数据表都不一样，每一缓存单元可以包括至少一个子缓存单元；所有分布式的子缓存单元构成一个完整的缓存数据库。
在示例中，在缓存单元中，采用单副本对缓存数据进行分布式存储，在异常场景下可以对缓存单元进行快速调度或者及时恢复。
应理解，多个分布式的缓存单元构成一个完整的数据库，数据分布式读写，每个缓存单元可读可写。在缓存单元越多时，缓存的收敛速度越快，分布式缓存的性能越高。
在示例中，参见图9，在缓存单元处于离线状态时，数据存储组件基于调度算法，将离线的缓存单元中存储的数据表，分配给当前处于在线状态的缓存单元。
在一种实现方式中，所述按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
获取配置信息，所述配置信息用于指示所述至少一类数据中的目标数据类型；所述目标数据类型为待进行数据聚合的数据类型。
根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
在示例中，事件监测组件检测到资源数据表变更，根据资源表的配置信息，对需要主动同步的缓存数据的数据聚合项进行数据聚合，推送给事件监测组件。
在一种实现方式中，所述根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
监测所述配置信息的更新状态；在所述配置信息更新后，根据所述更新后的配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
在示例中，参见图10，事件监测组件监测配置信息的更新状态；将创建聚合项事件、更新聚合项事件、删除聚合项事件，
在示例中，参见图10，事件检测组件以事件通知消息的形式推送给数据聚合组件，由数据聚合组件，根据更新后的配置信息中指示的目标数据类型，对待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
在示例中，参见图10，数据聚合组件向数据存储组件发送聚合结果，由存储组件将数目标数据类型对应的聚合结果，存储在缓存单元中的数据表中，从而，更新缓存单元中数据表的数据。
在示例中，参见图10，用户在访问云计算管理平台获取目标数据时，可以感知物理资源创建成功，查看到用户在创建物理资源时主动提供的数据。
在示例中，参见图11，用户在创建物理资源时主动提供的数据，可以是用户创建物理资源时，自定义的物理主机的名称、自定义的云主机的名称。例如，定义云主机Mock-101的名称为自用mock，定义物理主机tenant_11的名称为tenant_11vm。
在示例中，如果创建聚合项事件、更新聚合项事件、删除聚合项事件本身修改了数据库，则触发缓存同步事件。
应理解，用户针对物理资源的配置操作，直接同步到缓存数据中，在用户使用云计算管理平台时，可以快速得到的操作反馈，增强了用户的体验效果。
例如，在用户选择删除一个资源时。事件监测组件，监测到数据库发生数据删除，将删除的数据信息推送到事件监测组件。
在示例中，事件组件将接收的信息做处理，提取删除的物理资源的标识信息，封装成聚合项删除事件发送给存储服务。
在示例中，数据存储组件接收到聚合项删除事件，将这个资源从对应数据表删除，用户可以在云计算管理平台中，查看到物理资源被删除。
在本申请实施例中，根据配置信息，在数据变化时才去更新缓存。用户操作数据时，缓存秒级更新。避免了持续周期轮训同步缓存，降低了稳态情况下的资源开销，提高了集群资源的系统稳定性。
在一种实现方式中，所述根据所述第一对应关系和所述第二对应关系，将所述每类数据的聚合数据缓存至对应的缓存单元中的数据表，包括：
确定缓存单元集合，所述缓存单元集合包括至少一个所述缓存单元；在所述缓存单元集合中增加新的缓存单元时，将所述至少一个所述缓存单元中的数据表迁移至所述新的缓存单元。
这里，在缓存单元中，缓存数据符合数据接口定义的数据类型，属于某一数据类型对应的结构数据，和数据库的表数据属于不同的数据。
在示例中，基于调度算法，将多个数据表均匀分散存储到多个缓存单元上，所有的缓存单元上的数据表，构成一个完整的缓存数据库。用户请求自适应无感知，用户请求通过负载调度到某一个节点，节点发生故障，无感知切换。
在示例中，参见图12，已存在的缓存单元包括：缓存单元1、缓存单元2、缓存单元3，其中，缓存单元1可以用于存储数据表1和数据表2，缓存单元2可以用于存储数据表3和数据表4，缓存单元3可以用于存储数据表5和数据表6。
在示例中，缓存单元支持横向扩展，即，可以动态扩展缓存单元。参见图12，将新增的一个缓存单元记作缓存单元4，在新增缓存单元4时，调度算法根据新加入的缓存单元4的标识信息，触发数据表4、数据表6的数据迁移，将已有的缓存单元中的数据表4、数据表5，调度分配给新增的缓存单元4。
在示例中，在将已存在的缓存单元中的数据表4、数据表5迁移到新增的缓存单元4时，读取数据表4、数据表5对应的缓存数据，将数据表4、数据表5对应的缓存数据写入到新增的缓存单元4。
在此情况下，已存在的缓存单元中的作为原有的缓存单元，在原有的缓存单元中存储的数据表减少，因此，可以提高原有的缓存单元的缓存性能。扩展缓存单元越多，每个缓存单元中分配的数据表越少，每个缓存单元的缓存性能越高。
在示例中，多个缓存单元采用冗余备份方式对待缓存的集群数据进行数据存储，一写多读，在分配给缓存单元的物理资源足够时，可以达到相近的缓存效果。
在示例中，在扩展缓存单元后，根据调度算法进行采集待缓存的集群数据，采集的数据统一推送到数据存储组件进行数据存储。
在示例中，基于缓存单元横向扩展，自适应缓存数据读取查询，解决单个缓存单元在性能故障时的数据读取异常情况，提高了缓存单元的存储性能。
在示例中，参见图13，在对集群节点的运行状态数据进行数据采集时，支持集群节点的横向扩展，支持单个进程对多个集群节点进行数据采集，因此，可以提高了缓存同步的并发速度。
图14示出了本申请实施例提供的缓存处理方法的示意性流程图。参见图14，本申请实施例提供的缓存处理方法，应用于云计算管理平台，可以包括以下步骤：
步骤A1401：确定用户查询的目标数据的数据聚合项。
步骤A1402：缓存单元中是否存在数据聚合项对应的数据表。
示例性地，在缓存单元中存在数据聚合项对应的数据表时，执行以下步骤A1407，否则，执行以下步骤A1403。
步骤A1403：事件检测组件确定数据聚合项对应的数据表所在的缓存单元处于离线状态。
应理解，在用户查询目标缓存数据时，云计算管理平台获取目标缓存数据，在确定目标缓存数据获取失败时，说明数据聚合项对应的数据表所在的缓存单元处于离线状态。
在此情况下，则触发缓存数据的缓存同步事件，执行以下步骤A1404，建立目标缓存数据的数据聚合项对应的数据缓存任务。
步骤A1404：建立数据聚合项对应的数据缓存任务。
步骤A1405：对数据聚合项对应的数据进行数据同步。
步骤A1406：在缓存单元中建立数据聚合项对应的数据表。
步骤A1407：向用户返回数据聚合项对应的数据。
在示例中，在待缓存的集群数据产生数据变化时，采集待缓存的集群数据，根据待缓存的集群数据的数据类型同步发送事件通知，根据事件通知更新缓存单元中的数据表，在大规模云场景下达到缓存数据的高效性。
在示例中，在数据聚合项对应的数据表所在的缓存单元处于离线状态时，缓存数据的快速迁移、实时同步，用户不感知缓存数据的丢失，在大规模云场景下达到缓存数据的实时性。
基于前述实施例相同的技术构思，图15示出了本申请实施例提供的一种缓存处理方法的应用场景图。参见图15，云平台纳管多个集群节点，采集多个集群节点的运行状态数据，对多个集群节点的运行状态数据进行缓存同步，调用数据接口对多个集群节点的运行状态数据可视化展示。
在示例中，参见图15，在云计算管理平台的用户界面上，菜单栏包括以下菜单项中的任一项：产品与服务、可靠中心、运营中心、应用中心、监控中心、系统管理。
在示例中，参见图15，在云计算管理平台的用户界面上，可以展示告警信息、告警信息涉及的物理资源的信息、待处理工单的数量信息，物理资源可以是物理主机或者云主机、网络设备。
这里，告警信息可以包括普通告警信息或者紧急告警信息。
例如，在云计算管理平台的用户界面上，展示紧急告警信息2项，普通告警信息999+项，未读的告警信息999+项。
在示例中，单节点支持同时管理40+集群，获取多个集群节点中某一集群节点的总体概览信息，接口返回时间3秒内。支持获取从20000资源中查询部分集群虚拟机的缓存数据，接口返回1秒内。
在示例中，总体概览信息可以包括以下至少一项：多个集群节点中每个集群节点的运行状态数据、处于在线状态的物理主机的数量、处于离线状态的物理主机的数量、处于在线状态的云主机的数量、处于离线状态的云主机的数量、CPU使用率实时变化曲线、内存使用率实时变化曲线、存储使用率实时变化曲线。
表1示出了本申请实施例提供的缓存处理方法的应用效果。参见表1，在改进前，云计算管理平台可以管理的集群节点的数量为25，同步缓存资源的数量为8000，缓存同步时间大于6秒。在改进后，云计算管理平台可以管理的集群节点的数量为125+，同步缓存资源的数量为40000，缓存同步时间小于3秒。
表1优化对比
| 缓存集群数 | 同步缓存资源数 | 缓存同步时间 | |
| 改进前 | 25 | 8000 | 大于6S |
| 改进后 | 125+ | 40000 | 小于3S |
基于前述实施例相同的技术构思，参见图16，本申请实施例提供的缓存同步装置，可以包括：
获取模块1601，用于获取待缓存的集群数据；
处理模块1602，用于按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果；所述聚合结果包括至少一类数据的聚合数据；
缓存模块1603，用于根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据。
在一种实现方式中，所述缓存模块1603，用于根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据，包括：
确定第一对应关系，所述第一对应关系表示所述聚合数据的数据类型和数据表的标识的对应关系；
根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的数据表。
在一种实现方式中，所述缓存模块1603，用于根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的数据表，包括：
确定第二对应关系，所述第二对应关系表示所述每类数据的聚合数据对应的数据表和缓存单元的对应关系；所述缓存单元用于存储所述数据表；
根据所述第一对应关系和所述第二对应关系，将所述每类数据的聚合数据缓存至对应的缓存单元中的数据表。
在一种实现方式中，所述缓存模块1603，用于根据所述第一对应关系和所述第二对应关系，将所述每类数据的聚合数据缓存至对应的缓存单元中的数据表，包括：
确定缓存单元集合，所述缓存单元集合包括至少一个所述缓存单元；
在所述缓存单元集合中增加新的缓存单元时，将所述至少一个所述缓存单元中的数据表迁移至所述新的缓存单元。
在一种实现方式中，所述处理模块1602，用于按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
获取配置信息，所述配置信息用于指示所述至少一类数据中的目标数据类型；所述目标数据类型为待进行数据聚合的数据类型；
根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
在一种实现方式中，所述处理模块1602，用于根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
监测所述配置信息的更新状态；
在所述配置信息更新后，根据所述更新后的配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
在实际应用中，获取模块1601、处理模块1602和缓存模块1603均可以采用电子设备的处理器实现，上述处理器可以是ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种，本申请实施例对此不作限制。
基于前述实施例相同的技术构思，参见图17，本申请实施例提供的电子设备1700，可以包括：存储器1710和处理器1720；其中，
存储器1710，用于存储计算机程序和数据；
处理器1720，用于执行存储器中存储的计算机程序，以实现前述实施例中的任意一种缓存处理方法。
在实际应用中，上述存储器1710可以是易失性存储器(volatile memory)，示例性地RAM；或者非易失性存储器(non-volatile memory)，示例性地ROM，快闪存储器(flashmemory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合。上述存储器1710可以向处理器1720提供指令和数据。
上文对各个实施例的描述倾向于强调各个实施例间的不同处，其相同或相似处可以互相参考，为了简洁，本文不再赘述
本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，示例性地，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网格单元上；可以根据实际的可以选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤。
以上，仅为本申请的具体实施方式，但本申请的保护范围不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种缓存处理方法，其特征在于，包括：
获取待缓存的集群数据；
按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果；所述聚合结果包括至少一类数据的聚合数据；
根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据，包括：
确定第一对应关系，所述第一对应关系表示所述聚合数据的数据类型和缓存表的标识的对应关系；
根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的缓存表。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的缓存表，包括：
确定第二对应关系，所述第二对应关系表示所述每类数据的聚合数据对应的缓存表和缓存单元的对应关系；所述缓存单元用于存储所述缓存表；
根据所述第一对应关系和所述第二对应关系，将所述每类数据的聚合数据缓存至对应的缓存单元中的缓存表。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一对应关系和所述第二对应关系，将所述每类数据的聚合数据缓存至对应的缓存单元中的缓存表，包括：
确定缓存单元集合，所述缓存单元集合包括至少一个所述缓存单元；
在所述缓存单元集合中增加新的缓存单元时，将所述至少一个所述缓存单元中的缓存表迁移至所述新的缓存单元。
5.根据权利要求1所述的方法，其特征在于，所述按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
获取配置信息，所述配置信息用于指示所述至少一类数据中的目标数据类型；所述目标数据类型为待进行数据聚合的数据类型；
根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
6.根据权利要求5所述的方法，其特征在于，所述根据所述配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果，包括：
监测所述配置信息的更新状态；
在所述配置信息更新后，根据所述更新后的配置信息中指示的目标数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果。
7.一种缓存同步装置，其特征在于，包括：
获取模块，用于获取待缓存的集群数据；
处理模块，用于按照所述待缓存的集群数据中每一类数据的数据类型，对所述待缓存的集群数据中至少一类数据进行数据聚合，得到聚合结果；所述聚合结果包括至少一类数据的聚合数据；
缓存模块，用于根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据。
8.根据权利要求7所述的装置，其特征在于，所述缓存模块，用于根据所述至少一类数据中每类数据的聚合数据，建立所述待缓存的集群数据对应的缓存数据，包括：
确定第一对应关系，所述第一对应关系表示所述聚合数据的数据类型和缓存表的标识的对应关系；
根据所述第一对应关系，将所述每类数据的聚合数据缓存至对应的缓存表。
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至6中任一项所述的缓存处理方法。
10.一种计算机存储介质，所述存储介质存储有计算机程序；其特征在于，所述计算机程序被执行后能够实现权利要求1至6中任一项所述的缓存处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110692746.3A CN113448997A (zh) | 2021-06-22 | 2021-06-22 | 缓存处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110692746.3A CN113448997A (zh) | 2021-06-22 | 2021-06-22 | 缓存处理方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113448997A true CN113448997A (zh) | 2021-09-28 |
Family
ID=77812190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110692746.3A Pending CN113448997A (zh) | 2021-06-22 | 2021-06-22 | 缓存处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113448997A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114266572A (zh) * | 2021-12-23 | 2022-04-01 | 百果园技术(新加坡)有限公司 | 汇率数据的收集方法、装置、设备、存储介质及程序产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150189033A1 (en) * | 2013-12-31 | 2015-07-02 | Successfactors, Inc. | Distributed Cache System |
| CN105303467A (zh) * | 2015-11-18 | 2016-02-03 | 国网山东省电力公司济宁供电公司 | 保持电力营销系统与配电系统数据一致性的方法及其系统 |
| CN106033324A (zh) * | 2015-03-09 | 2016-10-19 | 杭州海康威视数字技术股份有限公司 | 一种数据存储的方法和装置 |
| CN109388657A (zh) * | 2018-09-10 | 2019-02-26 | 平安科技（深圳）有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN111881165A (zh) * | 2020-07-15 | 2020-11-03 | 杭州安恒信息技术股份有限公司 | 一种数据聚合方法、装置和计算机可读存储介质 |
| CN111897819A (zh) * | 2020-07-31 | 2020-11-06 | 平安普惠企业管理有限公司 | 数据存储方法、装置、电子设备及存储介质 |
| CN112800092A (zh) * | 2021-01-26 | 2021-05-14 | 苏州浪潮智能科技有限公司 | 一种数据缓存管理方法、装置、设备及可读存储介质 |
-
2021
- 2021-06-22 CN CN202110692746.3A patent/CN113448997A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150189033A1 (en) * | 2013-12-31 | 2015-07-02 | Successfactors, Inc. | Distributed Cache System |
| CN106033324A (zh) * | 2015-03-09 | 2016-10-19 | 杭州海康威视数字技术股份有限公司 | 一种数据存储的方法和装置 |
| CN105303467A (zh) * | 2015-11-18 | 2016-02-03 | 国网山东省电力公司济宁供电公司 | 保持电力营销系统与配电系统数据一致性的方法及其系统 |
| CN109388657A (zh) * | 2018-09-10 | 2019-02-26 | 平安科技（深圳）有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN111881165A (zh) * | 2020-07-15 | 2020-11-03 | 杭州安恒信息技术股份有限公司 | 一种数据聚合方法、装置和计算机可读存储介质 |
| CN111897819A (zh) * | 2020-07-31 | 2020-11-06 | 平安普惠企业管理有限公司 | 数据存储方法、装置、电子设备及存储介质 |
| CN112800092A (zh) * | 2021-01-26 | 2021-05-14 | 苏州浪潮智能科技有限公司 | 一种数据缓存管理方法、装置、设备及可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114266572A (zh) * | 2021-12-23 | 2022-04-01 | 百果园技术(新加坡)有限公司 | 汇率数据的收集方法、装置、设备、存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6778795B2 (ja) | データを記憶するための方法、装置及びシステム | |
| US11226777B2 (en) | Cluster configuration information replication | |
| US11016864B2 (en) | Cluster-wide service agents | |
| US10831614B2 (en) | Visualizing restoration operation granularity for a database | |
| CN106662983B (zh) | 分布式存储系统中的数据重建的方法、装置和系统 | |
| US10339101B1 (en) | Distributed write journals that support fast snapshotting for a distributed file system | |
| CN111078147B (zh) | 一种缓存数据的处理方法、装置、设备及存储介质 | |
| US11080237B2 (en) | Stale data detection | |
| US10838829B2 (en) | Method and apparatus for loading data from a mirror server and a non-transitory computer readable storage medium | |
| US10684994B2 (en) | Data synchronization | |
| CN112084258A (zh) | 一种数据同步方法和装置 | |
| US9348715B2 (en) | Storage device health status synchronization | |
| JP5686034B2 (ja) | クラスタシステム、同期制御方法、サーバ装置および同期制御プログラム | |
| CN104735110A (zh) | 元数据管理方法和系统 | |
| CN103138912A (zh) | 数据同步方法及系统 | |
| CN114385561A (zh) | 文件管理方法和装置及hdfs系统 | |
| KR20100048130A (ko) | 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법 | |
| JP7038864B2 (ja) | 検索サーバの集中型ストレージ | |
| US11886225B2 (en) | Message processing method and apparatus in distributed system | |
| CN113448997A (zh) | 缓存处理方法、装置、电子设备和存储介质 | |
| CN116389233B (zh) | 容器云管理平台主备切换系统、方法、装置和计算机设备 | |
| CN114925075B (zh) | 一种多源时空监测信息实时动态融合方法 | |
| US20200401313A1 (en) | Object Storage System with Priority Meta Object Replication | |
| CN109992447B (zh) | 数据复制方法、装置及存储介质 | |
| JP6376626B2 (ja) | データ格納方法、データストレージ装置、及びストレージデバイス |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210928 |