CN106528448A - 一种多源异构电商大数据的分布式高速缓存机制 - Google Patents

一种多源异构电商大数据的分布式高速缓存机制 Download PDF

Info

Publication number
CN106528448A
CN106528448A CN201610886027.4A CN201610886027A CN106528448A CN 106528448 A CN106528448 A CN 106528448A CN 201610886027 A CN201610886027 A CN 201610886027A CN 106528448 A CN106528448 A CN 106528448A
Authority
CN
China
Prior art keywords
cache
caching
key
data
thread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610886027.4A
Other languages
English (en)
Inventor
龚峰
龚一峰
殷章华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Several Strong Network Technology Co Ltd
Original Assignee
Hangzhou Several Strong Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Several Strong Network Technology Co Ltd filed Critical Hangzhou Several Strong Network Technology Co Ltd
Priority to CN201610886027.4A priority Critical patent/CN106528448A/zh
Publication of CN106528448A publication Critical patent/CN106528448A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种多源异构电商大数据的分布式高速缓存机制，包括三个等级的缓存位置，分别是线程缓存、虚拟机缓存和群集缓存；随着层级的升高，缓存存取效率降低，维护成本增加，而缓存容量增大，提供缓存服务的能力更强；缓存分层能够进一步提高缓存响应速度，并节约系统的资源。

Description

一种多源异构电商大数据的分布式高速缓存机制
技术领域
本发明属于计算机缓存技术领域范围，具体涉及一种多源异构电商大数据的分布式高速缓存机制。
背景技术
随着移动互联网、物联网、云计算等新兴信息技术在电商领域的不断应用，全球数据量正呈现出前所未有的爆发式增长态势。与此同时，数据类型及来源的多样性、数据产生与分析的实时性、数据的低价值密度等复杂特征日益显著。电子商务大数据伴随着消费者和企业的行为实时产生，广泛分布在电子商务平台、社交媒体、智能终端、企业内部系统和其它第三方服务平台上。电子商务数据类型多种多样，既包含消费者交易信息、消费者基本信息、企业的产品信息与交易信息，也包括消费者评论信息、行为信息、社交信息和地理位置信息等；电子商务数据数据来源也是错综复杂，包含各类关系型数据库的数据来源以及文件系统、操作系统等的各类数据来源，综上形成了多源异构电商大数据。
数据源的频繁操作、网络拥塞、服务器超载等问题是电商类企业应用系统的普遍问题，此类性能问题加剧了服务提供方的资源消耗并严重影响着用户的使用体验。为企业系统增加缓存机制是解决这一问题的重要方法之一。系统缓存是位于应用程序与物理数据源之间，用于暂存数据的内存空间，其目的是为了减少直接对数据源进行访问的次数，从而节约系统资源，提高系统效率。
当前，缓存对于大型的互联网企业，每时每刻都有无数的用户在使用它们提供的互联网服务，这些服务带来的是大量的数据吞吐量，在同一时间，并发的会有成千上万的连接对数据库进行操作。在这种情况下，单台服务器或者几台服务器远远不能满足这些数据的处理需求，单靠提升服务器性也已经改变不了该情况，所以唯一可以采用的办法就是扩展服务器的规模。服务器规模扩展通常有两种方法：一种是仍然采用关系型数据库，然后通过对数据库的垂直和水平切割将整个数据库部署到一个集群上，这种方法的优点在于可以采用基于关系型数据库(RDBMS)的技术，但缺点在于它是针对特定应用，实施非常困难；另外一种方法就是Google和Amazon所采用的方法，抛弃关系型数据库，采用Key-Value形式的存储，这样可以极大地增强系统的可扩展性。事实上，基于Key-Value的分布式缓存就是由于Google的BigTable，Amazon的Dynamo以及Facebook的Cassandra等相关论文的发表而慢慢进入人们的视野，这些互联网巨头在分布式缓存上的成功实践也使之成为了云计算的核心技术。
发明内容
本发明克服了现有技术的不足，提供了一种多源异构电商大数据的分布式高速缓存机制。
为了解决上述技术问题，本发明的技术方案如下：
一种多源异构电商大数据的分布式高速缓存机制，具体包括如下步骤：
101生成键值对，生成多层级缓存所要读取的键值对；
102调用线程缓存，在步骤101之后，系统要调用相应数据时，则首先执行线程缓存进行查找相应键值对，来获取对应数据；
103调用虚拟机缓存，如果步骤102中无法找到相应键值对，则在虚拟机缓存中进行查找，如果在虚拟机缓存中查找到存在的数据，则根据缓存机制来决定对线程缓存的更新；
104调用群集缓存，如果步骤103中无法找到相应键值对，则在群集缓存中进行查找，如果在群集缓存中查找到存在的数据，则依次根据缓存机制来决定虚拟机缓存和线程缓存的更新；如果未在群集缓存中查找到存在的数据，则从硬盘中读取对应数据，并更新群集缓存，依次根据缓存机制来决定虚拟机缓存和线程缓存的更新。
进一步的，所述多层级缓存的键值对包括对实体类缓存对象和非实体类缓存对象的键值对的生成；
实体类缓存对象的键值对的生成：采用物理文件地址数据库中数据项的主键作为键值对的唯一标识的键名；
非实体类缓存对象的键值对的生成：采用对非实体类缓存对象对应的标识信息进行计算得到新的唯一标识的键名。
进一步的，所述多层级缓存的键值对，对所有缓存对象采用对缓存的原始信息进行统一的计算得到新的键名，生成唯一标识的键名。
进一步的，所述缓存对象中包括缓存对象的键值对、缓存数据的大小、缓存数据进入缓存的时间、缓存数据被命中的次数、缓存对象残留的信息素浓度。
进一步的，所述线程缓存为当用户对系统进行访问操作，在服务器端会对应一个线程进行处理，将该线程所使用的数据进行缓存存储。
进一步的，所述线程缓存采用Java虚拟机技术中的ThreadLocal实现。
进一步的，所述服务器端线程在开始执行时，就初始化线程缓存每个子缓存所对应的ThreadLocal，并在线程结束时进行销毁。
进一步的，所述虚拟机缓存自编程序实现，将每一个子缓存，通过一个多线程安全的全局Map容器进行存储。
进一步的，所述群集缓存，在该缓存中的每个节点都是对等关系，相互识别对方，知道其他节点的信息，当某个节点的缓存发生变化时，其他节点立即更新相应数据。
本发明相比现有技术优点在于：
本发明采用多级分布式高速缓存，是一个高性能的分布式数据或文件对象缓存系统，用以减轻数据源负载，通过缓存数据和文件对象来减少读取数据源的次数，并解决面对大规模的数据缓存的问题。本发明缓存按照存储位置分为线程缓存、虚拟机缓存、群集缓存三个层次，每个层次缓存都设置有开或关的两个状态。随着层级的升高，缓存存取效率降低，维护成本增加，而缓存容量增大，提供缓存服务的能力更强。缓存分层能够进一步提高缓存响应速度，并节约系统的资源。
附图说明
图1为本发明的高速缓存查找与更新流程图；
图2为本发明的线程缓存注册与重置示意图；
图3为本发明的群集缓存示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1所示，一种多源异构电商大数据的分布式高速缓存机制，具体包括如下步骤：
101生成键值对，生成多层级缓存所要读取的键值对；
102调用线程缓存，在步骤101之后，系统要调用相应数据时，则首先执行线程缓存进行查找相应键值对，来获取对应数据；
103调用虚拟机缓存，如果步骤102中无法找到相应键值对，则在虚拟机缓存中进行查找，如果在虚拟机缓存中查找到存在的数据，则根据缓存机制来决定对线程缓存的更新；
104调用群集缓存，如果步骤103中无法找到相应键值对，则在群集缓存中进行查找，如果在群集缓存中查找到存在的数据，则对线程缓存的更新；则依次根据缓存机制来决定虚拟机缓存和线程缓存的更新；如果未在群集缓存中查找到存在的数据，则从硬盘中读取对应数据，并更新群集缓存，依次根据缓存机制来决定虚拟机缓存和线程缓存的更新。
因为电商领域的特殊性，进而在采用分布式高速缓存时，电商各类大数据统计和分析过程中也采用缓存机制以避免频繁对异构数据源的读取操作，从而降低了数据的读取速率。
所述缓存是按照存储位置而分为线程缓存、虚拟机缓存、群集缓存这三个层级，每个层级缓存都可以在实际应用中设置为开或关的两个状态。并且随着层级的升高，缓存存取效率降低，但维护成本增加，缓存容量增大，提供缓存服务的能力也更强。这就使得通过缓存分层能够进一步提高缓存响应速度，并节约了系统的资源，优化了系统的内存和运行速度。
进行缓存操作，首先要解决缓存对象，也就是异构数据源。所述缓存对象以键值对的形式存在，键名为缓存项唯一标识，键值为缓存项内容。所述缓存对象分为两类:
(1) 实体对象:实体类缓存对象是指本身存储于物理介质的资源，包括物理文件、数据库配置文件等。实体类缓存的意义主要在于减少输入输出次数，以提高缓存系统效率。因实体类缓存项本身含有能够在系统中进行唯一标识的信息，因此物理文件地址数据库中数据项的主键等可以直接作为键名使用。
(2) 非实体对象: 非实体类缓存对象是指本身并未存储于物理介质的资源，往往为系统进行服务过程中生成的中间计算结果，例如用户的检索记录登录状态权限判断结果等。非实体类缓存的意义主要在于减少长时间重复计算次数，以提高系统缓存效率。非实体类缓存也对应着相应的标识信息，如检索记录类缓存项的检索词与检索对象，用户认证类缓存的用户ID号等。
上述这些作为键值对所需的信息都可以直接使用，作为此类原始的缓存标识信息，并直接或者间接的做简单处理后作为键名，但为了更好地组织缓存并避免出现键值重复，则采用缓存的原始信息并进行计算得到新的键名。
实际应用中，由于电商领域的特殊性，异构数据来源存在其独特的关系型数据库，因此根据异构数据来源的不同，缓存类别也不同，各层次缓存进行键名生成的元素也不同，如侵权系统SQLServer数据库，渠道数据系统Mysql数据库，以及外部的文件系统库（图片库，文本库）。在对这些异构数据进行缓存时，缓存对象在键名命名中会加入区别其来源的前缀标识，再进行计算得到新的键名，以此来更好的避免重复。
所述缓存对象中不仅包括缓存对象的键值对，还包括缓存数据的大小、缓存数据进入缓存的时间、缓存数据被命中的次数、缓存对象残留的信息素浓度，将依据上述缓存对象的信息建立更新缓存的机制。以此增加缓存数据的高复用率，加快程序的响应速率。
系统在进行数据请求时，首先到低层缓存进行查找，如果无法找到数据，再到更高一级缓存中进行查找。如果在高层缓存中查找到存在的数据，则依次根据缓存机制更新低层缓存。低层缓存比高层缓存容量更小，查找速度更快。如果底层缓存能够具备较高命中率，就能够大幅度提高缓存速度。
其低层缓存首先为线程缓存：即当用户对系统的每一次访问操作，在服务器端都对应一个线程进行处理，在执行线程缓存进行查找相应键值对，来获取对应数据。如果线程缓存中无法找到相应键值对，则在虚拟机缓存中进行查找，如果在虚拟机缓存中查找到存在的数据，则根据缓存机制来决定对线程缓存的更新。如果虚拟机缓存中无法找到相应键值对，则在群集缓存中进行查找，如果在群集缓存中查找到存在的数据，则依次根据缓存机制来决定虚拟机缓存和线程缓存的更新；如果未在群集缓存中查找到存在的数据，则从硬盘中读取对应数据，并更新群集缓存，依次根据缓存机制来决定虚拟机缓存和线程缓存的更新。
期间对所述新的缓存对象都建立缓存对象的键值对，缓存数据的大小、缓存数据进入缓存的时间、缓存数据被命中的次数、缓存对象残留的信息素浓度。以缓存数据进入缓存的时间和缓存数据被命中的次数为主要判断依据求得缓存数据被重复利用率，根据重复利用率对缓存数据存放在哪个数据缓冲层进行主要判断。再根据缓存数据的大小和缓存对象残留的信息素浓度为辅助判断，对缓存数据进行更换。因为在用户对系统进行访问的过程中，所使用的数据往往具备高度的重复性，而线程缓存就存储某个用户再次与系统交互过程中相应线程所使用的数据，这将直接提高用户的响应速度。
在操作中，线程缓存通过Java虚拟机技术中的ThreadLocal技术实现。ThreadLocal可以视为一个线程内的全局变量。使静态的ThreadLocal<LRUMap>作为某一个子缓存的线程缓存。服务器端线程在开始执行时，初始化每个子缓存所对应的ThreadLocal<LRUMap>，并在线程结束时进行销毁。
每个服务器端线程在不同时间段内将为不同的用户请求进行服务，这些请求未必属于同一用户，这在某些情况下将导致数据不一致问题。假如使用ThreadLocal来缓存用户的认证信息，用户A通过线程T登录系统，认证信息将缓存在线程中完成，并对用户A 服务后，未进行重置，即未清空缓存；而同时用户B在没有登录的情况下访问了该系统，且本请求也接受了来自T的服务，T将使用用户A的认证信息。这将为系统带来灾难。本方案为每个线程维护，设立了一个ThreadLocal注册表，每个请求完成时对表内所有 ThreadLocal进行重置，以保证数据的独立性。
如图2所示，请求1的①、② 两步操作分别使用了两个ThreadLocal数据，如果不进行步骤③的数据清空操作，请求2的④、⑤两步操作，将使用请求1的数据。
在低层未找到对应缓存信息，则进入高一层的虚拟机缓存。虚拟机缓存是指存储于服务器虚拟机的缓存。虚拟机缓存采用独立实现，将每一个子缓存(每个子缓存对应系统中的某个类)，通过一个多线程安全的全局Map容器ConcurrentHashMap<Key, Value,Size,StrTime,ClickNum,News> 进行存储。
如图3所示，在虚拟机缓存中还没找到相信缓存信息则进入群集缓存中。一旦将应用部署在群集缓存环境中，每一个节点将维护各自的缓存数据。即当某个节点的缓存数据进行更新后，如果更新的数据无法在其他节点中共享，则必然将降低节点运行的效率，并导致数据不同步，而产生错误。对此采用群集缓存模式时使用两种方案：
一种群集缓存中的每个节点都是对等关系，并不存在主节点或者从节点的概念，从而节点间有一个机制能够互相识别对方，知道其他节点的信息，包括主机地址端口号等。使得缓存之间相互连接后，当某个单机的缓存发生变化时，能立即将数据变化通知到其他所有节点，其他节点通过通知及时更新数据以保持数据的一致性。
另一种群集缓存中的每个节点则采用存储周边10%的节点信息，从而达到在某个10%的居于范围内节点间可相互识别，其同样包括主机地址端口号等。当某个单机的缓存发生变化时，立即将数据变化通知到其所在节点周边10%的节点，根据通知及时更新数据以保持数据的一致性，此方法较于前一种方法能极大增加集群缓存的数量，增加的搜索时间也极少，并提高了集群缓存的命中率，提高了用户的响应速度。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (9)

1.一种多源异构电商大数据的分布式高速缓存机制，其特征在于，具体包括如下步骤：
101生成键值对，生成多层级缓存所要读取的键值对；
102调用线程缓存，在步骤101之后，系统要调用相应数据时，则首先执行线程缓存进行查找相应键值对，来获取对应数据；
103调用虚拟机缓存，如果步骤102中无法找到相应键值对，则在虚拟机缓存中进行查找，如果在虚拟机缓存中查找到存在的数据，则根据缓存机制来决定对线程缓存的更新；
104调用群集缓存，如果步骤103中无法找到相应键值对，则在群集缓存中进行查找，如果在群集缓存中查找到存在的数据，则依次根据缓存机制来决定虚拟机缓存和线程缓存的更新；如果未在群集缓存中查找到存在的数据，则从硬盘中读取对应数据，并更新群集缓存，依次根据缓存机制来决定虚拟机缓存和线程缓存的更新。
2.根据权利要求1所述的一种多源异构电商大数据的分布式高速缓存机制，其特征在于：所述多层级缓存的键值对包括对实体类缓存对象和非实体类缓存对象的键值对的生成；
实体类缓存对象的键值对的生成：采用物理文件地址数据库中数据项的主键作为键值对的唯一标识的键名；
非实体类缓存对象的键值对的生成：采用对非实体类缓存对象对应的标识信息进行计算得到新的唯一标识的键名。
3.根据权利要求1所述的一种多源异构电商大数据的分布式高速缓存机制，其特征在于：所述多层级缓存的键值对，对所有缓存对象采用对缓存的原始信息进行统一的计算得到新的键名，生成唯一标识的键名。
4.根据权利要求1或权利要求2或权利要求3所述的一种多源异构电商大数据的分布式高速缓存机制，其特征在于：所述缓存对象中包括缓存对象的键值对、缓存数据的大小、缓存数据进入缓存的时间、缓存数据被命中的次数、缓存对象残留的信息素浓度。
5.根据权利要求1所述的一种多源异构电商大数据的分布式高速缓存机制，其特征在于：所述线程缓存为当用户对系统进行访问操作，在服务器端会对应一个线程进行处理，将该线程所使用的数据进行缓存存储。
6.根据权利要求1或权利要求3所述的一种多源异构电商大数据的分布式高速缓存机制，其特征在于：所述线程缓存采用Java虚拟机技术中的ThreadLocal实现。
7.根据权利要求1或权利要求3所述的一种多源异构电商大数据的分布式高速缓存机制，其特征在于：所述服务器端线程在开始执行时，就初始化线程缓存每个子缓存所对应的ThreadLocal，并在线程结束时进行销毁。
8.根据权利要求1所述的一种多源异构电商大数据的分布式高速缓存机制，其特征在于：所述虚拟机缓存自编程序实现，将每一个子缓存，通过一个多线程安全的全局Map容器进行存储。
9.根据权利要求1所述的一种多源异构电商大数据的分布式高速缓存机制，其特征在于：所述群集缓存，在该缓存中的每个节点都是对等关系，相互识别对方，知道其他节点的信息，当某个节点的缓存发生变化时，其他节点立即更新相应数据。
CN201610886027.4A 2016-10-11 2016-10-11 一种多源异构电商大数据的分布式高速缓存机制 Pending CN106528448A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610886027.4A CN106528448A (zh) 2016-10-11 2016-10-11 一种多源异构电商大数据的分布式高速缓存机制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610886027.4A CN106528448A (zh) 2016-10-11 2016-10-11 一种多源异构电商大数据的分布式高速缓存机制

Publications (1)

Publication Number Publication Date
CN106528448A true CN106528448A (zh) 2017-03-22

Family

ID=58331850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610886027.4A Pending CN106528448A (zh) 2016-10-11 2016-10-11 一种多源异构电商大数据的分布式高速缓存机制

Country Status (1)

Country Link
CN (1) CN106528448A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154984A (zh) * 2017-07-03 2017-09-12 罗征 新型线上门店Saas系统的分布式控制方法
CN108536823A (zh) * 2018-04-10 2018-09-14 北京工业大学 一种物联网感知大数据的缓存设计和查询方法
CN108647042A (zh) * 2018-05-11 2018-10-12 成都六零加信息技术有限公司 一种模块管理方法及装置
CN109947736A (zh) * 2017-10-30 2019-06-28 北京京东尚科信息技术有限公司 实时计算的方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523285A (zh) * 2011-12-15 2012-06-27 杭州电子科技大学 一种基于对象分布式文件系统的存储缓存方法
CN102880557A (zh) * 2012-09-13 2013-01-16 浙江金大科技有限公司 一种异构数据源的多级分布式高速缓存
CN103164347A (zh) * 2013-02-18 2013-06-19 中国农业银行股份有限公司 数据缓存的方法和装置
CN103678603A (zh) * 2013-12-13 2014-03-26 江苏物联网研究发展中心 多源异构数据高效汇聚存取架构系统
CN105404595A (zh) * 2014-09-10 2016-03-16 阿里巴巴集团控股有限公司 缓存管理方法及装置
CN105824763A (zh) * 2015-11-16 2016-08-03 广东亿迅科技有限公司 一种缓存服务实现方法
CN105979273A (zh) * 2016-05-06 2016-09-28 苏州清云网络科技有限公司 基于大数据及云计算的智能商用电视的云监控与云运维

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523285A (zh) * 2011-12-15 2012-06-27 杭州电子科技大学 一种基于对象分布式文件系统的存储缓存方法
CN102880557A (zh) * 2012-09-13 2013-01-16 浙江金大科技有限公司 一种异构数据源的多级分布式高速缓存
CN103164347A (zh) * 2013-02-18 2013-06-19 中国农业银行股份有限公司 数据缓存的方法和装置
CN103678603A (zh) * 2013-12-13 2014-03-26 江苏物联网研究发展中心 多源异构数据高效汇聚存取架构系统
CN105404595A (zh) * 2014-09-10 2016-03-16 阿里巴巴集团控股有限公司 缓存管理方法及装置
CN105824763A (zh) * 2015-11-16 2016-08-03 广东亿迅科技有限公司 一种缓存服务实现方法
CN105979273A (zh) * 2016-05-06 2016-09-28 苏州清云网络科技有限公司 基于大数据及云计算的智能商用电视的云监控与云运维

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154984A (zh) * 2017-07-03 2017-09-12 罗征 新型线上门店Saas系统的分布式控制方法
CN109947736A (zh) * 2017-10-30 2019-06-28 北京京东尚科信息技术有限公司 实时计算的方法和系统
CN109947736B (zh) * 2017-10-30 2021-06-29 北京京东尚科信息技术有限公司 实时计算的方法和系统
CN108536823A (zh) * 2018-04-10 2018-09-14 北京工业大学 一种物联网感知大数据的缓存设计和查询方法
CN108536823B (zh) * 2018-04-10 2022-02-15 北京工业大学 一种物联网感知大数据的缓存设计和查询方法
CN108647042A (zh) * 2018-05-11 2018-10-12 成都六零加信息技术有限公司 一种模块管理方法及装置
CN108647042B (zh) * 2018-05-11 2021-10-22 成都六零加信息技术有限公司 一种模块管理方法及装置

Similar Documents

Publication Publication Date Title
US10922316B2 (en) Using computing resources to perform database queries according to a dynamically determined query size
CN103577440B (zh) 一种非关系型数据库中的数据处理方法和装置
US20190081876A1 (en) Real time anomaly detection for data streams
US10936589B1 (en) Capability-based query planning for heterogenous processing nodes
KR101592479B1 (ko) 그래프 데이터용 분산형 캐시
US9317223B2 (en) Method and apparatus for automated migration of data among storage centers
US10657154B1 (en) Providing access to data within a migrating data partition
CN112860695B (zh) 监控数据查询方法、装置、设备、存储介质及程序产品
US11381506B1 (en) Adaptive load balancing for distributed systems
US10970303B1 (en) Selecting resources hosted in different networks to perform queries according to available capacity
US11061930B1 (en) Dynamic management of storage object partitioning
CN106528448A (zh) 一种多源异构电商大数据的分布式高速缓存机制
CN108021809A (zh) 一种数据处理方法及系统
CN105574054B (zh) 一种分布式缓存范围查询方法、装置及系统
CN102880557A (zh) 一种异构数据源的多级分布式高速缓存
US9292454B2 (en) Data caching policy in multiple tenant enterprise resource planning system
US20230327875A1 (en) Data flow control in distributed computing systems
US11762860B1 (en) Dynamic concurrency level management for database queries
CN107577787A (zh) 关联数据信息入库的方法及系统
JP2021525907A (ja) 分散システムの頻繁パターン分析
CN109165096A (zh) web集群的缓存利用系统及方法
CN108337100B (zh) 一种云平台监测的方法和装置
US11537616B1 (en) Predicting query performance for prioritizing query execution
Lee et al. A big data management system for energy consumption prediction models
WO2021102216A9 (en) Managed data export to a remote network from edge devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322