CN111464629A - 热点数据确定方法及装置 - Google Patents
热点数据确定方法及装置 Download PDFInfo
- Publication number
- CN111464629A CN111464629A CN202010242098.7A CN202010242098A CN111464629A CN 111464629 A CN111464629 A CN 111464629A CN 202010242098 A CN202010242098 A CN 202010242098A CN 111464629 A CN111464629 A CN 111464629A
- Authority
- CN
- China
- Prior art keywords
- redis
- data
- time interval
- preset time
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
Abstract
本发明公开了一种热点数据确定方法及装置，该方法包括：获取统计的Redis集群中的各Redis服务端在预设时间区间内执行的所有Redis命令；根据所述Redis命令确定在所述预设时间区间内各Redis服务端对应的第一访问关键词数据，其中，Redis命令中包含数据访问关键词；根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。本发明提供了一种准确的确定Redis集群中的热点数据的方法。
Description
技术领域
本发明涉及分布式缓存系统，具体而言，涉及一种热点数据确定方法及装置。
背景技术
热点数据是指缓存集群中的某个关键词(key)对应的数据，短时间被大量并发请求所访问。比如：热门新闻事件或商品通常会带来巨大的访问流量，用户通过搜索关键词(key)来访问对应的数据。对存储这类数据的Redis集群来说是一个巨大的挑战。以RedisCluster为例，它会造成整体流量的不均衡，个别节点出现OPS过大的情况，极端情况下热点数据的访问量甚至会超过Redis本身能够承受的OPS，因此寻找热点数据对于开发和运维人员非常重要。
发明内容
本发明为了解决上述背景技术中的至少一个技术问题，提出了一种热点数据确定方法及装置。
为了实现上述目的，根据本发明的一个方面，提供了一种热点数据确定方法，该方法包括：
获取统计的Redis集群中的各Redis服务端在预设时间区间内执行的所有Redis命令；
根据所述Redis命令确定在所述预设时间区间内各Redis服务端对应的第一访问关键词数据，其中，Redis命令中包含数据访问关键词；
根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
可选的，该热点数据确定方法还包括：
获取抓取的在所述预设时间区间内各Redis服务端与客户端交互的TCP数据；
通过对所述TCP数据进行分析得到在所述预设时间区间内各Redis服务端对应的第二访问关键词数据；
所述根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词，具体为：
根据所述第一访问关键词数据、所述第二访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
可选的，该热点数据确定方法还包括：
获取统计的各客户端在所述预设时间区间内向所述Redis集群发送的所有Redis命令；
根据各客户端发送的Redis命令确定在所述预设时间区间内各客户端对应的第三访问关键词数据；
所述根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词，具体为：
根据所述第一访问关键词数据、所述第三访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
可选的，该热点数据确定方法还包括：
获取统计的在所述预设时间区间内代理端接收的客户端发送的所有Redis命令，其中，各客户端通过代理端与Redis集群连接；
根据所述代理端接收的Redis命令确定第四访问关键词数据；
所述根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词，具体为：
根据所述第一访问关键词数据、所述第四访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
为了实现上述目的，根据本发明的另一方面，提供了一种热点数据确定装置，该装置包括：
第一Redis命令获取单元，用于获取统计的Redis集群中的各Redis服务端在预设时间区间内执行的所有Redis命令；
第一访问关键词数据确定单元，用于根据所述Redis命令确定在所述预设时间区间内各Redis服务端对应的第一访问关键词数据，其中，Redis命令中包含数据访问关键词；
热点关键词确定单元，用于根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
可选的，该热点数据确定装置还包括：
TCP数据获取单元，用于获取抓取的在所述预设时间区间内各Redis服务端与客户端交互的TCP数据；
第二访问关键词数据确定单元，用于通过对所述TCP数据进行分析得到在所述预设时间区间内各Redis服务端对应的第二访问关键词数据；
所述热点关键词确定单元，具体用于根据所述第一访问关键词数据、所述第二访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
可选的，该热点数据确定装置还包括：
第二Redis命令获取单元，用于获取统计的各客户端在所述预设时间区间内向所述Redis集群发送的所有Redis命令；
第三访问关键词数据确定单元，用于根据各客户端发送的Redis命令确定在所述预设时间区间内各客户端对应的第三访问关键词数据；
所述热点关键词确定单元，具体用于根据所述第一访问关键词数据、所述第三访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
可选的，该热点数据确定装置还包括：
第三Redis命令获取单元，用于获取统计的在所述预设时间区间内代理端接收的客户端发送的所有Redis命令，其中，各客户端通过代理端与Redis集群连接；
第四访问关键词数据确定单元，用于根据所述代理端接收的Redis命令确定第四访问关键词数据；
所述热点关键词确定单元，具体用于根据所述第一访问关键词数据、所述第四访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述热点数据确定方法中的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述热点数据确定方法中的步骤。
本发明的有益效果为：本发明通过统计Redis集群中的各Redis服务端在预设时间区间内执行的所有Redis命令，来确定预设时间区间内的用户访问热点关键词，热点关键词对应的数据即为Redis集群中的热点数据，本发明实现了快速，准确的确定Redis集群中的热点数据的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例热点数据确定方法的第一流程图；
图2是本发明实施例热点数据确定方法的第二流程图；
图3是本发明实施例热点数据确定方法的第三流程图；
图4是本发明实施例热点数据确定方法的第四流程图；
图5是本发明实施例热点数据确定装置的结构框图；
图6是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明的目的是在分布式缓存线上环境中遇到问题时，尤其是在遇到高并发，高QPS时出现的棘手的线上问题时，提供一种可靠的热点数据发现方法，有助于帮助开发人员和运维人员快速的解决问题，恢复分布式缓存的性能。本发明可以从客户端、代理端、Redis集群发现热点数据。在本发明可选实施例中，多个客户端通过代理端与Redis集群连接，Redis集群包含多个Redis服务端(即Redis节点)，每个客户端对应一个或多个Redis服务端。
本发明在原理上通过统计预设时间内Redis命令中各关键词(key)出现的次数来确定出热点关键词，而热点关键词在Redis集群中对应的数据即为热点数据。
图1是本发明实施例热点数据确定方法的第一流程图，为在Redis集群端确定热点数据的方法，如图1所示，本实施例的热点数据确定方法包括步骤S101至步骤S103。
步骤S101，获取统计的Redis集群中的各Redis服务端在预设时间区间内执行的所有Redis命令。
在本发明可选实施例中，可以针对Redis集群中的各Redis服务端使用monitor命令统计各Redis服务端在预设时间区间内执行的所有Redis命令。在本发明可选实施例中，Redis命令为客户端向Redis集群发送的数据访问命令或数据查询命令，Redis命令中包含数据访问关键词。
步骤S102，根据所述Redis命令确定在所述预设时间区间内各Redis服务端对应的第一访问关键词数据，其中，Redis命令中包含数据访问关键词。
在本发明可选实施例中，访问关键词数据可以为在所述预设时间区间内各Redis服务端执行的所有Redis命令中包含的每种数据访问关键词以及各数据访问关键词的出现次数。
步骤S103，根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
在本发明实施例中，本步骤可以汇总Redis集群中的各Redis服务端的所述第一访问关键词数据，得到Redis集群的总的访问关键词数据，总的访问关键词数据汇总包含各Redis服务端执行的所有Redis命令中包含的每种访问关键词的出现次数。进而可以根据每种访问关键词的出现次数以及预设的筛选规则确定出热点关键词。在本发明可选实施例中，所述筛选规则可以为当某个访问关键词的出现次数大于预设值时确定该访问关键词为热点关键词。在本发明其他可选实施例中，所述筛选规则可以为根据访问关键词的出现次数进行排序得到关键词排行榜，进而将关键词排行榜中前n位的关键词作为热点关键词，其中n为大于0的整数。
图2是本发明实施例热点数据确定方法的第二流程图，提供了在另一种在Redis集群端确定热点数据的方法，如图2所示，本实施例的热点数据确定方法包括步骤S201至步骤S203。
步骤S201，获取抓取的在所述预设时间区间内各Redis服务端与客户端交互的TCP数据。
在本发明可选实施例中，客户端使用TCP协议与Redis服务端进行交互，通信协议采用的是RESP。本发明可以对各Redis服务端的Redis端口的TCP数据包进行抓取，进而进行访问关键词的统计。
步骤S202，通过对所述TCP数据进行分析得到在所述预设时间区间内各Redis服务端对应的第二访问关键词数据。
在本发明可选实施例中，本步骤通过对所述TCP数据进行分析，确定出所述TCP数据中出现的所有访问关键词，并统计各访问关键词的出现次数。各Redis服务端对应的第二访问关键词数据可以为各Redis服务端对应的TCP数据中出现的所有访问关键词以及各访问关键词的出现次数。
本发明通过抓取各Redis服务端的Redis端口的TCP数据包来统计访问关键词数据，对于客户端和Redis服务端无侵入和影响，不影响正常业务。
步骤S203，根据所述第一访问关键词数据、所述第二访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
在本发明可选实施例中，本发明可以结合通过抓取的TCP数据包统计出的各Redis服务端对应的第二访问关键词数据以及通过上述步骤S101和步骤S102得到的各Redis服务端对应的第一访问关键词数据综合确定出热点关键词。具体可以为，将各Redis服务端对应的第一访问关键词数据以及第二访问关键词数据进行求和，进而针对Redis集群中的各Redis服务端进行汇总，得到总的访问关键词数据，总的关键词数据包含各访问关键词以及各访问关键词的出现次数。最终根据上述预设的筛选规则从总的访问关键词数据中确定出热点关键词。
本实施例针对Redis服务端采用从内部和外部两种方法进行结合，统计出访问关键词数据，相较于仅从Redis服务端内部进行统计得到的结果更为准确。
图3是本发明实施例热点数据确定方法的第三流程图，为在结合客户端数据确定热点数据的方法，如图3所示，本实施例的热点数据确定方法包括步骤S301至步骤S303。
步骤S301，获取统计的各客户端在所述预设时间区间内向所述Redis集群发送的所有Redis命令。
步骤S302，根据各客户端发送的Redis命令确定在所述预设时间区间内各客户端对应的第三访问关键词数据。
在本发明可选实施例中，各客户端对应的第三访问关键词数据可以为各客户端向所述Redis集群发送的所有Redis命令中出现的所有访问关键词以及各访问关键词的出现次数。
步骤S303，根据所述第一访问关键词数据、所述第三访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
在本发明可选实施例中，本发明可以结合统计的各客户端对应的第三访问关键词数据以及通过上述步骤S101和步骤S102得到的各Redis服务端对应的第一访问关键词数据综合确定出热点关键词。具体可以为，将各客户端对应的第三访问关键词数据以及各Redis服务端对应的第一访问关键词数据进行汇总，得到总的访问关键词数据，总的关键词数据包含访问关键词以及各访问关键词的出现次数。最终根据上述预设的筛选规则从总的访问关键词数据中确定出热点关键词。
本实施例从Redis服务端以及客户端两端统计访问关键词数据，相较于仅从Redis服务端进行统计得到的结果更为准确。
图4是本发明实施例热点数据确定方法的第四流程图，为在结合代理端数据确定热点数据的方法，如图4所示，本实施例的热点数据确定方法包括步骤S401至步骤S403。
步骤S401，获取统计的在所述预设时间区间内代理端接收的客户端发送的所有Redis命令，其中，各客户端通过代理端与Redis集群连接。
在本发明可选实施例中，代理端为代理端与Redis集群交互的中间件，所有客户端发送的Redis命令需要通过代理端发送到Redis集群，因此代理端非常适合做热点关键词统计。
步骤S402，根据所述代理端接收的Redis命令确定第四访问关键词数据。
在本发明实施例中，本步骤第四访问关键词数据可以为预设时间内代理端接收的所有Redis命令中出现的所有访问关键词以及各访问关键词的出现次数。
步骤S403，根据所述第一访问关键词数据、所述第四访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
在本发明可选实施例中，本发明可以结合统计的第四访问关键词数据以及通过上述步骤S101和步骤S102得到的各Redis服务端对应的第一访问关键词数据综合确定出热点关键词。具体可以为，将第四访问关键词数据以及各Redis服务端对应的第一访问关键词数据进行汇总，得到总的访问关键词数据，总的关键词数据包含访问关键词以及各访问关键词的出现次数。最终根据上述预设的筛选规则从总的访问关键词数据中确定出热点关键词。
本实施例从代理端以及客户端两端统计访问关键词数据，相较于仅从Redis服务端进行统计得到的结果更为准确。
在本发明的可选实施例中，上述步骤S103、S203、S303以及S403的确定热点关键词的步骤具体也可以为，根据所述第一访问关键词数据、所述第二访问关键词数据、所述第三访问关键词数据以及所述第四访问关键词数据中的至少一个及任意组合并结合预设的筛选规则来确定Redis集群在所述预设时间区间内的热点关键词。具体也可以为，根据所述第一访问关键词数据、所述第二访问关键词数据、所述第三访问关键词数据以及所述第四访问关键词数据中的至少一个统计出总的访问关键词数据，进而根据上述预设的筛选规则从总的访问关键词数据中确定出热点关键词。
此外，本发明还提供了如下三种解决热点数据带来的问题的方法，具体选用那种要根据具体业务场景来决定。
1、拆分复杂数据结构：如果当前热点数据的类型是一个二级数据结构，例如哈希类型。如果该哈希元素个数较多，可以考虑将当前hash进行拆分，这样该热点数据可以拆分为若干个新的数据分布到不同Redis服务器上，从而减轻压力。
2、迁移热点数据：以Redis Cluster为例，可以将热点关键词对应的数据单独迁移到一个新的Redis服务器上。
3、本地缓存加通知机制：可以将热点关键词对应的数据放在业务端的本地缓存中，因为是在业务端的本地内存中，处理能力要高出Redis数十倍，但当数据更新时，此种模式会造成各个业务端和Redis数据不一致，通常会使用发布订阅机制来解决类似问题。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
基于同一发明构思，本发明实施例还提供了一种热点数据确定装置，可以用于实现上述实施例所描述的热点数据确定方法，如下面的实施例所述。由于热点数据确定装置解决问题的原理与热点数据确定方法相似，因此热点数据确定装置的实施例可以参见热点数据确定方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是本发明实施例热点数据确定装置的结构框图，如图5所示，本发明实施例热点数据确定装置包括：第一Redis命令获取单元1、第一访问关键词数据确定单元2和热点关键词确定单元3。
第一Redis命令获取单元1，用于获取统计的Redis集群中的各Redis服务端在预设时间区间内执行的所有Redis命令。
第一访问关键词数据确定单元2，用于根据所述Redis命令确定在所述预设时间区间内各Redis服务端对应的第一访问关键词数据，其中，Redis命令中包含数据访问关键词。
热点关键词确定单元3，用于根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
在本发明可选实施例中，本发明的热点数据确定装置还包括：TCP数据获取单元，用于获取抓取的在所述预设时间区间内各Redis服务端与客户端交互的TCP数据；第二访问关键词数据确定单元，用于通过对所述TCP数据进行分析得到在所述预设时间区间内各Redis服务端对应的第二访问关键词数据。
所述热点关键词确定单元3，具体可以根据所述第一访问关键词数据、所述第二访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
在本发明可选实施例中，本发明的热点数据确定装置还包括：第二Redis命令获取单元，用于获取统计的各客户端在所述预设时间区间内向所述Redis集群发送的所有Redis命令；第三访问关键词数据确定单元，用于根据各客户端发送的Redis命令确定在所述预设时间区间内各客户端对应的第三访问关键词数据。
所述热点关键词确定单元3，具体还可以根据所述第一访问关键词数据、所述第三访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
在本发明可选实施例中，本发明的热点数据确定装置还包括：第三Redis命令获取单元，用于获取统计的在所述预设时间区间内代理端接收的客户端发送的所有Redis命令，其中，各客户端通过代理端与Redis集群连接；第四访问关键词数据确定单元，用于根据所述代理端接收的Redis命令确定第四访问关键词数据。
所述热点关键词确定单元，具体还可以根据所述第一访问关键词数据、所述第四访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图6所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述热点数据确定方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种热点数据确定方法，其特征在于，包括：
获取统计的Redis集群中的各Redis服务端在预设时间区间内执行的所有Redis命令；
根据所述Redis命令确定在所述预设时间区间内各Redis服务端对应的第一访问关键词数据，其中，Redis命令中包含数据访问关键词；
根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
2.根据权利要求1所述的热点数据确定方法，其特征在于，还包括：
获取抓取的在所述预设时间区间内各Redis服务端与客户端交互的TCP数据；
通过对所述TCP数据进行分析得到在所述预设时间区间内各Redis服务端对应的第二访问关键词数据；
所述根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词，具体为：
根据所述第一访问关键词数据、所述第二访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
3.根据权利要求1所述的热点数据确定方法，其特征在于，还包括：
获取统计的各客户端在所述预设时间区间内向所述Redis集群发送的所有Redis命令；
根据各客户端发送的Redis命令确定在所述预设时间区间内各客户端对应的第三访问关键词数据；
所述根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词，具体为：
根据所述第一访问关键词数据、所述第三访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
4.根据权利要求1所述的热点数据确定方法，其特征在于，还包括：
获取统计的在所述预设时间区间内代理端接收的客户端发送的所有Redis命令，其中，各客户端通过代理端与Redis集群连接；
根据所述代理端接收的Redis命令确定第四访问关键词数据；
所述根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词，具体为：
根据所述第一访问关键词数据、所述第四访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
5.一种热点数据确定装置，其特征在于，包括：
第一Redis命令获取单元，用于获取统计的Redis集群中的各Redis服务端在预设时间区间内执行的所有Redis命令；
第一访问关键词数据确定单元，用于根据所述Redis命令确定在所述预设时间区间内各Redis服务端对应的第一访问关键词数据，其中，Redis命令中包含数据访问关键词；
热点关键词确定单元，用于根据所述第一访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
6.根据权利要求5所述的热点数据确定装置，其特征在于，还包括：
TCP数据获取单元，用于获取抓取的在所述预设时间区间内各Redis服务端与客户端交互的TCP数据；
第二访问关键词数据确定单元，用于通过对所述TCP数据进行分析得到在所述预设时间区间内各Redis服务端对应的第二访问关键词数据；
所述热点关键词确定单元，具体用于根据所述第一访问关键词数据、所述第二访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
7.根据权利要求5所述的热点数据确定装置，其特征在于，还包括：
第二Redis命令获取单元，用于获取统计的各客户端在所述预设时间区间内向所述Redis集群发送的所有Redis命令；
第三访问关键词数据确定单元，用于根据各客户端发送的Redis命令确定在所述预设时间区间内各客户端对应的第三访问关键词数据；
所述热点关键词确定单元，具体用于根据所述第一访问关键词数据、所述第三访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
8.根据权利要求5所述的热点数据确定装置，其特征在于，还包括：
第三Redis命令获取单元，用于获取统计的在所述预设时间区间内代理端接收的客户端发送的所有Redis命令，其中，各客户端通过代理端与Redis集群连接；
第四访问关键词数据确定单元，用于根据所述代理端接收的Redis命令确定第四访问关键词数据；
所述热点关键词确定单元，具体用于根据所述第一访问关键词数据、所述第四访问关键词数据以及预设的筛选规则确定所述Redis集群在所述预设时间区间内的热点关键词。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至4任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010242098.7A CN111464629B (zh) | 2020-03-31 | 2020-03-31 | 热点数据确定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010242098.7A CN111464629B (zh) | 2020-03-31 | 2020-03-31 | 热点数据确定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111464629A true CN111464629A (zh) | 2020-07-28 |
| CN111464629B CN111464629B (zh) | 2022-08-02 |
Family
ID=71680650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010242098.7A Active CN111464629B (zh) | 2020-03-31 | 2020-03-31 | 热点数据确定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111464629B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112835892A (zh) * | 2021-01-15 | 2021-05-25 | 卓望数码技术（深圳）有限公司 | 热点数据检测方法、装置、电子设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6681251B1 (en) * | 1999-11-18 | 2004-01-20 | International Business Machines Corporation | Workload balancing in clustered application servers |
| US20100121940A1 (en) * | 2008-11-13 | 2010-05-13 | At&T Corp. | System and Method for Selectively Caching Hot Content in a Content Delivery System |
| CN103218416A (zh) * | 2013-03-27 | 2013-07-24 | 华为技术有限公司 | 一种数据库加载方法、装置及系统 |
| US20140095582A1 (en) * | 2012-09-28 | 2014-04-03 | International Business Machines Corporation | Coordinated access to a file system's shared storage using dynamic creation of file access layout |
| CN105072172A (zh) * | 2015-07-31 | 2015-11-18 | 网宿科技股份有限公司 | 一种基于内容分发网络的热点统计及推送方法及系统 |
| CN108683695A (zh) * | 2018-03-23 | 2018-10-19 | 阿里巴巴集团控股有限公司 | 热点访问处理方法、缓存访问代理设备及分布式缓存系统 |
| CN109040153A (zh) * | 2017-06-08 | 2018-12-18 | 中兴通讯股份有限公司 | 缓存内容的缓存方法、相关设备和计算机可读存储介质 |
| CN109407980A (zh) * | 2018-09-29 | 2019-03-01 | 武汉极意网络科技有限公司 | 基于Redis集群的数据存储系统 |
| CN109446417A (zh) * | 2018-10-12 | 2019-03-08 | 武汉朴琢知识产权咨询服务有限公司 | 一种智能化检索方法和装置 |
| CN109542612A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 一种热点关键字获取方法、装置及服务器 |
| CN109992597A (zh) * | 2019-03-11 | 2019-07-09 | 福建天泉教育科技有限公司 | 一种热点数据的存储方法及终端 |
| CN110471939A (zh) * | 2019-07-11 | 2019-11-19 | 平安普惠企业管理有限公司 | 数据访问方法、装置、计算机设备及存储介质 |
-
2020
- 2020-03-31 CN CN202010242098.7A patent/CN111464629B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6681251B1 (en) * | 1999-11-18 | 2004-01-20 | International Business Machines Corporation | Workload balancing in clustered application servers |
| US20100121940A1 (en) * | 2008-11-13 | 2010-05-13 | At&T Corp. | System and Method for Selectively Caching Hot Content in a Content Delivery System |
| US20140095582A1 (en) * | 2012-09-28 | 2014-04-03 | International Business Machines Corporation | Coordinated access to a file system's shared storage using dynamic creation of file access layout |
| CN103218416A (zh) * | 2013-03-27 | 2013-07-24 | 华为技术有限公司 | 一种数据库加载方法、装置及系统 |
| CN105072172A (zh) * | 2015-07-31 | 2015-11-18 | 网宿科技股份有限公司 | 一种基于内容分发网络的热点统计及推送方法及系统 |
| CN109040153A (zh) * | 2017-06-08 | 2018-12-18 | 中兴通讯股份有限公司 | 缓存内容的缓存方法、相关设备和计算机可读存储介质 |
| CN109542612A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 一种热点关键字获取方法、装置及服务器 |
| CN108683695A (zh) * | 2018-03-23 | 2018-10-19 | 阿里巴巴集团控股有限公司 | 热点访问处理方法、缓存访问代理设备及分布式缓存系统 |
| CN109407980A (zh) * | 2018-09-29 | 2019-03-01 | 武汉极意网络科技有限公司 | 基于Redis集群的数据存储系统 |
| CN109446417A (zh) * | 2018-10-12 | 2019-03-08 | 武汉朴琢知识产权咨询服务有限公司 | 一种智能化检索方法和装置 |
| CN109992597A (zh) * | 2019-03-11 | 2019-07-09 | 福建天泉教育科技有限公司 | 一种热点数据的存储方法及终端 |
| CN110471939A (zh) * | 2019-07-11 | 2019-11-19 | 平安普惠企业管理有限公司 | 数据访问方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 聂凯等: "Mysql数据库的访问方法浅析", 《科技资讯》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112835892A (zh) * | 2021-01-15 | 2021-05-25 | 卓望数码技术（深圳）有限公司 | 热点数据检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111464629B (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2563062B1 (en) | Long connection management apparatus and link resource management method for long connection communication | |
| US20170185678A1 (en) | Crawler system and method | |
| US11671402B2 (en) | Service resource scheduling method and apparatus | |
| CN111459750A (zh) | 基于非扁平网络的私有云监控方法、装置、计算机设备及存储介质 | |
| CN111181798B (zh) | 网络时延测量方法、装置、电子设备及存储介质 | |
| CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
| CN108900374B (zh) | 一种应用于dpi设备的数据处理方法和装置 | |
| US20170185454A1 (en) | Method and Electronic Device for Determining Resource Consumption of Task | |
| CN110198251B (zh) | 一种获得客户端地址的方法及装置 | |
| CA2896865A1 (en) | Method and system for using a recursive event listener on a node in hierarchical data structure | |
| CN111740868A (zh) | 告警数据的处理方法和装置及存储介质 | |
| CN111263409A (zh) | 提供网络功能服务的元数据信息的方法、系统以及相关设备 | |
| CN112751847A (zh) | 接口调用请求的处理方法、装置、电子设备及存储介质 | |
| CN111339183A (zh) | 数据处理方法、边缘节点、数据中心及存储介质 | |
| EP2634699B1 (en) | Application monitoring | |
| CN111464629B (zh) | 热点数据确定方法及装置 | |
| CN106156258B (zh) | 一种在分布式存储系统中统计数据的方法、装置及系统 | |
| Hao et al. | EdgeStore: Integrating edge computing into cloud-based storage systems | |
| CN110708209B (zh) | 虚拟机流量采集方法、装置、电子设备及存储介质 | |
| CN112650755A (zh) | 数据存储方法、查询数据的方法、数据库、以及可读介质 | |
| CN112732756A (zh) | 数据查询方法、装置、设备及存储介质 | |
| CN112437074B (zh) | 计数处理方法、装置、电子设备及存储介质 | |
| CN114928638A (zh) | 一种网络行为的解析方法、装置及监控设备 | |
| WO2023278574A1 (en) | Streaming analytics using a serverless compute system | |
| Sun et al. | Adaptive trade‐off between consistency and performance in data replication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221010 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Patentee after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Patentee before: CHINA CONSTRUCTION BANK Corp. Patentee before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |