CN113765978A - 热点请求探测系统、方法、装置、服务器及介质 - Google Patents
热点请求探测系统、方法、装置、服务器及介质 Download PDFInfo
- Publication number
- CN113765978A CN113765978A CN202011289034.9A CN202011289034A CN113765978A CN 113765978 A CN113765978 A CN 113765978A CN 202011289034 A CN202011289034 A CN 202011289034A CN 113765978 A CN113765978 A CN 113765978A
- Authority
- CN
- China
- Prior art keywords
- request
- server
- access request
- hotspot
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims description 29
- 238000005192 partition Methods 0.000 claims abstract description 210
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 238000004891 communication Methods 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 73
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1061—Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
- H04L67/1065—Discovery involving distributed pre-established resource-based relationships among peers, e.g. based on distributed hash tables [DHT]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种热点请求探测系统、方法、装置、服务器及介质。该系统包括：监控服务器、多个应用服务器和多个统计服务器；监控服务器与应用服务器通信连接，用于存储各统计服务器的第一分区信息，将第一分区信息发送至应用服务器；应用服务器与统计服务器通信连接，用于根据第一分区信息和访问请求的访问对象确定第一目标分区，将访问请求的日志发送至第一目标分区的统计服务器；统计服务器，用于根据各访问请求的日志统计各访问请求的QPS值；QPS值达到预设阈值的访问请求的信息为热点请求的信息发送至应用服务器，应用服务器根据热点请求的信息确定接收到的访问请求是否为热点请求。实现了提高热点请求探测效率及准确率的效果。
Description
技术领域
本发明实施例涉及数据访问技术领域，尤其涉及热点请求探测系统、方法、装置、服务器及介质。
背景技术
在日常工作生活中一些突发的事件，例如：双十一期间某些热门商品的降价促销，当这其中的某一件商品被数万次点击浏览或者购买时，会形成一个较大的需求量，这种情况下就会造成热点请求问题。同理，被大量刊发、浏览的热点新闻、热点评论、明星直播等，这些典型的读多写少的场景也会产生热点请求问题。
在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：在对热点请求进行探测时，通常通过客户端进行热点请求的统计或通过人工凭借经验对热点请求进行预测，通过客户端进行热点请求的统计只能了解当前客户端的热点请求，无法实现规模化运维统计。凭借经验对热点请求进行预测则会出现热点请求预测不准确的问题。
发明内容
本发明实施例提供一种热点请求探测系统、方法、装置、服务器及介质，以实现提高热点请求探测效率及准确率的效果。
第一方面，本发明实施例提供了一种热点请求探测系统，该系统包括：
监控服务器、多个应用服务器和多个统计服务器；
其中，所述监控服务器与所述应用服务器通信连接，用于存储各统计服务器的第一分区信息，并将所述第一分区信息发送至所述应用服务器；
所述应用服务器与所述统计服务器通信连接，用于接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器；
所述统计服务器，用于根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值；将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求。
第二方面，本发明实施例还提供了一种热点请求探测方法，应用于应用服务器，该方法包括：
接收监控服务器发送的各统计服务器的第一分区信息，将所述第一分区信息进行存储；
接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器，以使统计服务器根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值，并将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器；
接收统计服务器发送的所述热点请求的信息，根据所述热点请求的信息确定接收的访问请求是否为热点请求。
第三方面，本发明实施例还提供了另一种热点请求探测方法，应用于统计服务器，该方法包括：
接收应用服务器发送的访问请求的日志；其中，所述访问请求是应用服务器接收客户端发送的访问请求；
根据所述日志统计所述访问请求的QPS值；
将所述QPS值超过预设阈值的访问请求作为热点请求；
将所述热点请求的信息发送至应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求。
第四方面，本发明实施例还提供了一种热点请求探测装置，该装置包括：
第一分区信息接收模块，用于接收监控服务器发送的各统计服务器的第一分区信息，将所述第一分区信息进行存储；
日志发送模块，用于接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器，以使统计服务器根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值，并将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器；
热点请求确定模块，用于接收统计服务器发送的所述热点请求的信息，根据所述热点请求的信息确定接收的访问请求是否为热点请求。
第五方面，本发明实施例还提供了另一种热点请求探测装置，该装置包括：
日志接收模块，用于接收应用服务器发送的访问请求的日志；其中，所述访问请求是应用服务器接收客户端发送的访问请求；
QPS值统计模块，用于根据所述日志统计所述访问请求的QPS值；
热点请求确定模块，用于将所述QPS值超过预设阈值的访问请求作为热点请求；
信息发送模块，用于将所述热点请求的信息发送至应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求。
第六方面，本发明实施例还提供了一种服务器，其中，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的热点请求探测方法。
第七方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本发明任意实施例所提供的热点请求探测方法。
本发明实施例通过监控服务器存储各统计服务器的第一分区信息，并将各统计服务器的分区信息发送至应用服务器，应用服务器接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器；统计服务器接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值；将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求解决了通过客户端探测热点请求效率低，且凭借经验预测对热点请求不准确的问题，实现了提高热点请求探测效率及准确率的效果。
附图说明
图1是本发明实施例一中的一种热点请求探测系统的结构示意图；
图2是本发明实施例二中的一种热点请求探测方法的流程图；
图3是本发明实施例二中的一种热点请求探测系统的结构示意图；
图4是本发明实施例二中的一种请求响应服务器集群的示意图；
图5是本发明实施例三中的一种热点请求探测方法的流程图；
图6是本发明实施例四中的一种热点请求探测装置的结构图；
图7是本发明实施例五中的一种热点请求探测装置的结构图；
图8是本发明实施例六中的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的热点请求探测系统的结构示意图，本实施例提供一种热点请求探测系统1，该系统包括：监控服务器11、多个应用服务器12和多个统计服务器13；其中，所述监控服务器11与所述应用服务器12通信连接，用于存储各统计服务器13的第一分区信息，并将所述各统计服务器13的分区信息发送至所述应用服务器12；所述应用服务器12与所述统计服务器13通信连接，用于接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器13；所述统计服务器13，用于根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值；将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器12，以使所述应用服务器12根据所述热点请求的信息确定接收到的访问请求是否为热点请求。
示例性的，共有16384个哈希值，将多个统计服务器13进行分区，每个分区对应部分哈希值。如将统计服务器13分为4个分区，则第一分区对应的哈希值为1365-5460；第二分区对应的哈希值为6827-10922；第三分区对应的哈希值为12288-16383；第四分区对应的哈希值为0-1364,5461-6826,10923-12287。统计服务器13被划分到对应的分区中。将统计服务器13的第一分区信息存储于监控服务器11中。应用服务器12接收客户端发送的访问请求，并接收监控服务器11发送的各统计服务器13的第一分区信息；应用服务器12计算访问请求的访问对象的哈希值，通过应用服务器与对应分区的统计服务器13预先建立的长连接，将访问请求日志发送至与哈希值对应的分区的统计服务器13；统计服务器13根据接收的访问请求日志统计各访问请求的每秒查询次数(Query Per Second,QPS),当访问请求的QPS值达到预设阈值时，将该访问请求作为热点请求，并将热点请求的信息发送至应用服务器12；应用服务器12根据热点请求信息判断接收的访问请求是否为热点请求。
可选的，多个统计服务器13根据哈希值被划分为至少两个统计服务器分区，每个所述统计服务器分区对应部分哈希值。应用服务器12根据访问请求的访问对象的哈希值，将访问请求的日志发送至对应分区的统计服务器13；将哈希值在同一预设范围内的访问请求会发送至同一分区的服务器上。每个所述统计服务器分区包括一个主统计服务器和至少一个从统计服务器；所述主统计服务器用于统计所述QPS值，并将统计结果发送至所述从统计服务器；所述从统计服务器用于接收并存储所述统计结果；当所述主统计服务器无法统计所述QPS值时，根据存储的统计结果继续统计所述QPS值。每个分区包括一个主统计服务器和多个从统计服务器。为了防止服务器出现过负载现象，一个统计服务器只能担任一个分区的主统计服务器，不能同时担任多个分区的主统计服务器。一个分区的主统计服务器可以为其他分区的从统计服务器。每个分区的主统计服务器负责统计访问请求的QPS。并将统计结果发送至同一分区的从统计服务器，从服务器存储该统计结果。当主统计服务器出现如宕机的情况，无法统计QPS值时，从多个从服务器中选择一个服务器担任主服务器，根据存储的统计结果继续统计QPS值。
可选的，所述统计服务器13与所述监控服务11器通信连接，所述统计服务器13还用于将自身状态发送至所述监控服务器11；所述监控服务器11还用于当任一分区中的统计服务器均不可用时，从第一分区信息中删除该分区，并将新的第一分区信息发送至所述应用服务器12。统计服务器13会将自身的状态信息上报至监控服务器11，当任一分区中的主统计服务器出现宕机的情况无法统计QPS值时，从该分区中的从统计服务器选择出新的主统计服务器，并将新的主统计服务器信息上报至监控服务器11。应用服务器12根据监控服务器11发送的新的主统计服务器信息，将访问请求的日志发送至新的主统计服务器。当任一分区中的统计服务器均不可用时，监控服务器11将该分区从第一分区信息中删除，并重新根据哈希值将统计服务器13进行划分，生成统计服务器13的新的第一分区信息，并将新的第一分区信息发送至应用服务器12。应用服务器12。根据新的第一分区信息发送访问请求的日志至统计服务器13。
可选的，应用服务器12还用于当所述统计服务器13无法统计QPS值时，根据所述访问请求的日志统计各访问请求的QPS值，当所述QPS值超过预设阈值时，确定该访问请求为热点请求。当所有分区的统计服务器13均不可用时，应用服务器12统计访问请求的QPS值。当统计的QPS值超过预设阈值时，确定该访问请求为热点请求。预设阈值根据如下公式计算。在统计服务器13全部不可用时，通过应用服务器12依然可以对访问请求的QPS进行统计，保证系统的正常运行。
其中，N为应用服务器的数量；access_weighti为第i各应用服务器的访问权重；QPS为N个应用服务器的总QPS值。
可选的，热点请求探测系统1还包括：多个请求响应服务器；所述监控服务器11还用于存储各所述请求响应服务器的第二分区信息，并将所述各请求响应服务器的第二分区信息发送至所述应用服务器12；所述应用服务器12与各所述请求响应服务器通信连接，还用于根据接收到的访问请求的访问对象和所述第二分区信息确定第二目标分区，将所述访问请求发送至第二目标分区的请求响应服务器；所述请求响应服务器，用于响应接收到的访问请求，将所述访问请求对应的访问数据发送至所述应用服务器12。可选的，多个请求响应服务器被划分为至少两个请求响应服务器分区，每个所述请求响应服务器分区包括一个主请求响应服务器和至少一个从请求响应服务器。可选的，请求响应服务器为REDIS服务器。监控服务器11存储请求响应服务器的第二分区信息。
可选的，应用服务器12还用于：当根据存储的所述热点请求的信息确定接收的访问请求为热点请求时，根据预设路由规则将接收的访问请求发送至第二目标分区中的主请求响应服务器或从请求响应服务器；当根据存储的所述热点请求的信息确定接收的访问请求不是热点请求时，将访问请求发送至第二目标分区中的主请求响应服务器。
因应用服务器12是根据访问请求的访问对象的key值，将访问请求发送至对应分区的请求响应服务器，key值相同的访问请求会视为同一类访问请求，故同一类访问请求会发送至同一分区的请求响应服务器。当应用服务器12接收客户端发送的访问请求时，根据存储的热点请求信息判断接收的访问请求是否为热点请求。当访问请求不是热点请求时，证明该访问请求的次数不多，应用服务器12将类访问请求只发送至对应分区的主请求响应服务器，仅通过主请求响应服务器完成对该类访问请求的响应。
当访问请求是热点请求时，表明该类访问请求的次数很多，仅通过一台响应服务器无法完成对该类访问请求的响应。此时，应用服务器12会根据该类访问请求的访问对象的key值，将该类访问请求发送至对应分区的主请求访问服务器和从请求访问服务器上，由主请求访问服务器和从请求访问服务器同时对该类访问请求进行响应，以缓解主请求访问服务器的压力，保证访问请求的及时响应，增强用户体验。
本实施例的技术方案，通过监控服务器存储各统计服务器的第一分区信息，并将各统计服务器的分区信息发送至应用服务器，应用服务器接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器；统计服务器接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值；将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求解决了通过客户端探测热点请求效率低，且凭借经验预测对热点请求不准确的问题，实现了提高热点请求探测效率及准确率的效果。
实施例二
图2是为本发明实施例二提供的一种热点请求探测方法的流程图，本实施例可适用于热点请求探测的情况，该方法可以由热点请求探测装置来执行，本实施例提供的热点请求探测方法应用于应用服务器，如图2所示，具体包括如下步骤：
S210、接收监控服务器发送的各统计服务器的第一分区信息，将第一分区信息进行存储。
将各统计服务器进行分区，每个分区有一个主统计服务器和至少一个从统计服务器。每个分区的统计服务器对应部分哈希值。将统计服务器的第一分区信息存储至监控服务器。当应用服务器接收到客户端发送的访问请求时，从监控服务器获取第一分区信息，并将第一分区信息进行存储。
S220、接收客户端发送的访问请求，根据第一分区信息和访问请求的访问对象确定第一目标分区，并将访问请求的日志发送至第一目标分区的统计服务器，以使统计服务器根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值，并将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至应用服务器。
第一分区信息为统计服务器的分区信息。第一目标分区为应用服务器将访问请求的日志发送至对应的统计服务器所在的分区。可选的，所述根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，包括：对所述访问请求的访问对象的对象标识进行哈希运算得到所述对象标识的哈希值；根据所述第一分区信息和所述哈希值确定第一目标分区。对各访问请求的访问对象的key值进行哈希运算得到哈希值，根据哈希值和第一分区信息得到各访问请求对应的统计服务器分区。如图3所示，示例性的，将3个统计服务器划分为两个分区，每个分区对应部分哈希值。将统计服务器1和统计服务器2划分在分区P1中，将统计服务器2和统计服务器3划分在分区P2中。其中，统计服务器1为分区P1的主统计服务器，统计服务器2为分区P1的从统计服务器，统计服务器3为分区P2的主统计服务器，统计服务器2为分区P2的从统计服务器。监控服务器与应用服务器连接。当各应用服务器接收到客户端发送的访问请求时，从监控服务器中获取统计服务器的第一分区信息，需通过计算访问请求中访问对象key值的哈希值，通过预先建立的应用服务器与对应分区的统计服务器的长连接，根据第一分区将访问请求发送至哈希值对应的分区的主统计服务器。使该分区的主统计服务器统计访问请求的QPS值，主统计服务器将QPS值达到预设阈值的访问请求的信息作为热点请求信息发送至应用服务器。相比于通过应用服务器统计QPS值确定访问请求是否为热点请求，通过统计服务器统计访问请求的QPS值，提高了QPS值的统计效率，且使为热点请求的判断更加准确。
监控服务器还与统计服务器连接，用于监控统计服务器的状态，当任一分区的统计服务器不可用时，从存储的第一分区信息中删除该分区信息，各统计服务器重新分区后，监控服务器保存新的统计服务器的第一分区信息。
如图3所示，统计服务器和应用服务器均可统计QPS值。在上述实施例的基础上，热点请求探测方法还包括：当所述统计服务器无法统计QPS值时，根据所述访问请求的日志统计各访问请求的QPS值；将QPS值超过预设阈值的访问请求作为热点请求；保存所述热点请求的信息，以根据所述热点请求的信息判断接收到的访问请求是否是热点请求。
当所有分区的统计服务器均不可用时，应用服务器统计访问请求的QPS值。当统计的QPS值超过预设阈值时，确定该访问请求为热点请求。预设阈值根据如下公式计算。
其中，N为应用服务器的数量；access_weighti为第i各应用服务器的访问权重；QPS为N个应用服务器的总QPS值。
在统计服务器全部不可用时，通过应用服务器依然可以对访问请求的QPS进行统计，保证系统的正常运行。
S230、接收统计服务器发送的所述热点请求的信息，根据热点请求的信息确定接收的访问请求是否为热点请求。
应用服务器接收统计服务器发送的热点请求的信息，并将热点请求的信息进行存储。当应用服务器接收到客户端发送的新的访问请求时，根据存储的热点请求信息判断新的访问请求是否是热点请求。
在上述实施例的基础上，热点请求探测方法还包括：接收各请求响应服务器的第二分区信息，根据所述第二分区信息和所述访问请求的访问对象确定第二目标分区，将所述访问请求发送至第二目标分区的请求响应服务器。第二分区信息为各请求响应服务器的分区信息。第二目标分区为应用服务器将访问请求发送至对应请求响应服务器所在的分区。将请求响应服务器划分为至少两个分区，每个分区包括一个主请求响应服务器和至少一个从请求响应服务器。将请求响应服务器的第二分区信息存储在监控服务器上。如图4所示，示例性的，将请求响应服务器划分为三个分区，每个分区包括一个主请求响应服务器和一个从请求响应服务器。应用服务器接收监控服务器发送的第二分区信息和客户端发送的访问请求。应用服务器根据访问请求中访问对象的key值和第二分区信息，将访问请求发送至对应分区的请求响应服务器。
在上述实施例的基础上，热点请求探测方法还包括：当根据存储的所述热点请求的信息确定接收的访问请求为热点请求时，根据预设路由规则将接收的访问请求发送至第二目标分区中的主请求响应服务器或从请求响应服务器；当根据存储的所述热点请求的信息确定接收的访问请求不是热点请求时，将访问请求发送至第二目标分区中的主请求响应服务器。
当应用服务器接收客户端发送的访问请求时，根据存储的热点请求信息判断接收的访问请求是否为热点请求。当访问请求不是热点请求时，证明该访问请求的次数不多，应用服务器将类访问请求只发送至对应分区的主请求响应服务器，仅通过主请求响应服务器完成对该类访问请求的响应。
当访问请求是热点请求时，表明该类访问请求的次数很多，仅通过一台响应服务器无法完成对该类访问请求的响应。此时，应用服务器会根据该类访问请求的访问对象的key值，将该类访问请求发送至对应分区的主请求访问服务器和从请求访问服务器上，由主请求访问服务器和从请求访问服务器同时对该类访问请求进行响应，以缓解主请求访问服务器的压力，保证访问请求的及时响应，增强用户体验。如图4所示，示例性的，当访问请求是热点请求时，应用服务器将访问请求发送至对应分区的主请求响应服务器和从请求响应服务器。当访问请求是非热点请求时，应用服务器将访问请求只发送至对应分区的主请求响应服务器。
本实施例的技术方案，通过接收监控服务器发送的各统计服务器的第一分区信息，将所述第一分区信息进行存储；接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器，以使统计服务器根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值，并将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器；接收统计服务器发送的所述热点请求的信息，根据所述热点请求的信息确定接收的访问请求是否为热点请求。解决了通过客户端探测热点请求效率低，且凭借经验预测对热点请求不准确的问题，实现了提高热点请求探测效率及准确率的效果。
实施例三
图5是为本发明实施例四提供的一种热点请求探测方法的流程图，本实施例可适用于热点请求探测的情况，该方法可以由热点请求探测装置来执行，本实施例提供的热点请求探测方法应用于统计服务器，如图5所示，具体包括如下步骤：
S310、接收应用服务器发送的访问请求的日志；其中，访问请求是应用服务器接收客户端发送的访问请求。
S320、根据日志统计访问请求的QPS值。
S330、将QPS值超过预设阈值的访问请求作为热点请求。
S340、将热点请求的信息发送至应用服务器，以使应用服务器根据热点请求的信息确定接收到的访问请求是否为热点请求。
可选的，在上述实施例的基础上，热点探测方法还包括：多个所述统计服务器被划分为至少两个统计服务器分区，每个所述统计服务器分区包括一个主统计服务器和至少一个从统计服务器；所述方法还包括：所述主统计服务器统计所述QPS值，并将统计结果发送至所述从统计服务器；所述从统计服务器用于接收并存储所述统计结果；当所述主统计服务器无法统计所述QPS值时，根据存储的统计结果继续统计所述QPS值。当一个主统计服务器无法统计QPS值时，通过在同一分区中设置从统计服务器，使该分区可以继续统计QPS，保证系统的正常运行。
本发明实施例通过接收应用服务器发送的访问请求的日志；其中，所述访问请求是应用服务器接收客户端发送的访问请求；根据所述日志统计所述访问请求的QPS值；将所述QPS值超过预设阈值的访问请求作为热点请求；将所述热点请求的信息发送至应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求。解决了通过客户端探测热点请求效率低，且凭借经验预测对热点请求不准确的问题，实现了提高热点请求探测效率及准确率的效果。
实施例四
图6为本发明实施例提供的一种热点请求探测装置的结构图，该热点请求探测装置包括：第一分区信息接收模块510、日志发送模块520和热点请求确定模块530。
其中，第一分区信息接收模块510，用于接收监控服务器发送的各统计服务器的第一分区信息，将所述第一分区信息进行存储；日志发送模块520，用于接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器，以使统计服务器根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值，并将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器；热点请求确定模块530，用于接收统计服务器发送的所述热点请求的信息，根据所述热点请求的信息确定接收的访问请求是否为热点请求。
在上述实施例的技术方案中，日志发送模块520，包括：
哈希值计算单元，用于对所述访问请求的访问对象的对象标识进行哈希运算得到所述对象标识的哈希值；
第一目标分区确定单元，用于根据所述第一分区信息和所述哈希值确定第一目标分区。
在上述实施例的技术方案中，热点请求探测装置，还包括：
QPS值统计模块，用于当所述统计服务器无法统计QPS值时，根据所述访问请求的日志统计各访问请求的QPS值；
热点请求确定模块，用于将QPS值超过预设阈值的访问请求作为热点请求；
信息保存模块，用于保存所述热点请求的信息，以根据所述热点请求的信息判断接收到的访问请求是否是热点请求。
在上述实施例的技术方案中，热点请求探测装置，还包括：
访问请求发送模块，用于当根据存储的所述热点请求的信息确定接收的访问请求为热点请求时，根据预设路由规则将接收的访问请求发送至第二目标分区中的主请求响应服务器或从请求响应服务器；当根据存储的所述热点请求的信息确定接收的访问请求不是热点请求时，将访问请求发送至第二目标分区中的主请求响应服务器。
本实施例的技术方案，通过接收监控服务器发送的各统计服务器的第一分区信息，将所述第一分区信息进行存储；接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器，以使统计服务器根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值，并将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器；接收统计服务器发送的所述热点请求的信息，根据所述热点请求的信息确定接收的访问请求是否为热点请求。解决了通过客户端探测热点请求效率低，且凭借经验预测对热点请求不准确的问题，实现了提高热点请求探测效率及准确率的效果。
本发明实施例所提供的热点请求探测装置可执行本发明任意实施例所提供的热点请求探测方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7为本发明实施例提供的一种热点请求探测装置的结构图，该热点请求探测装置包括：日志接收模块610、QPS值统计模块620、热点请求确定模块630和信息发送模块640。
其中，日志接收模块610，用于接收应用服务器发送的访问请求的日志；其中，所述访问请求是应用服务器接收客户端发送的访问请求；QPS值统计模块620，用于根据所述日志统计所述访问请求的QPS值；热点请求确定模块630，用于将所述QPS值超过预设阈值的访问请求作为热点请求；信息发送模块640，用于将所述热点请求的信息发送至应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求。
本发明实施例通过接收应用服务器发送的访问请求的日志；其中，所述访问请求是应用服务器接收客户端发送的访问请求；根据所述日志统计所述访问请求的QPS值；将所述QPS值超过预设阈值的访问请求作为热点请求；将所述热点请求的信息发送至应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求。解决了通过客户端探测热点请求效率低，且凭借经验预测对热点请求不准确的问题，实现了提高热点请求探测效率及准确率的效果。
实施例六
图8为本发明实施例七提供的一种服务器的结构示意图，如图8所示，该服务器包括处理器70、存储器71、输入装置72和输出装置73；服务器中处理器70的数量可以是一个或多个，图8中以一个处理器70为例；服务器中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的热点请求探测方法对应的程序指令/模块。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的热点请求探测方法。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
实施例七
本发明实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种热点请求探测方法，
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的热点请求探测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述热点请求探测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (19)
1.一种热点请求探测系统，其特征在于，包括：监控服务器、多个应用服务器和多个统计服务器；
其中，所述监控服务器与所述应用服务器通信连接，用于存储各统计服务器的第一分区信息，并将所述第一分区信息发送至所述应用服务器；
所述应用服务器与所述统计服务器通信连接，用于接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器；
所述统计服务器，用于根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值；将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求。
2.根据权利要求1所述的系统，其特征在于，所述多个统计服务器被划分为至少两个统计服务器分区，每个所述统计服务器分区包括一个主统计服务器和至少一个从统计服务器；
所述主统计服务器用于统计所述QPS值，并将统计结果发送至所述从统计服务器；
所述从统计服务器用于接收并存储所述统计结果；当所述主统计服务器无法统计所述QPS值时，根据存储的统计结果继续统计所述QPS值。
3.根据权利要求1所述的系统，其特征在于，所述系统还包括：多个请求响应服务器；
所述监控服务器还用于存储各所述请求响应服务器的第二分区信息，并将所述各请求响应服务器的第二分区信息发送至所述应用服务器；
所述应用服务器与各所述请求响应服务器通信连接，还用于根据接收到的访问请求的访问对象和所述第二分区信息确定第二目标分区，将所述访问请求发送至第二目标分区的请求响应服务器；
所述请求响应服务器，用于响应接收到的访问请求，将所述访问请求对应的访问数据发送至所述应用服务器。
4.根据权利要求3所述的系统，其特征在于，所述多个请求响应服务器被划分为至少两个请求响应服务器分区，每个所述请求响应服务器分区包括一个主请求响应服务器和至少一个从请求响应服务器。
5.根据权利要求4所述的系统，其特征在于，所述应用服务器还用于：当根据存储的所述热点请求的信息确定接收的访问请求为热点请求时，根据预设路由规则将接收的访问请求发送至第二目标分区中的主请求响应服务器或从请求响应服务器；
当根据存储的所述热点请求的信息确定接收的访问请求不是热点请求时，将访问请求发送至第二目标分区中的主请求响应服务器上。
6.根据权利要求3所述的系统，其特征在于，所述请求响应服务器为REDIS服务器。
7.根据权利要求1所述的系统，其特征在于，所述应用服务器还用于当所述统计服务器无法统计QPS值时，根据所述访问请求的日志统计各访问请求的QPS值，当所述QPS值超过预设阈值时，确定该访问请求为热点请求。
8.根据权利要求1所述的系统，其特征在于，所述统计服务器与所述监控服务器通信连接，所述统计服务器还用于将自身状态发送至所述监控服务器；
所述监控服务器还用于当任一分区中的统计服务器均不可用时，从第一分区信息中删除该分区，并将新的第一分区信息发送至所述应用服务器。
9.一种热点请求探测方法，其特征在于，应用于应用服务器，所述方法包括：
接收监控服务器发送的各统计服务器的第一分区信息，将所述第一分区信息进行存储；
接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器，以使统计服务器根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值，并将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器；
接收统计服务器发送的所述热点请求的信息，根据所述热点请求的信息确定接收的访问请求是否为热点请求。
10.据权利要求9所述的方法，其特征在于，所述根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，包括：
对所述访问请求的访问对象的对象标识进行哈希运算得到所述对象标识的哈希值；
根据所述第一分区信息和所述哈希值确定第一目标分区。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：
当所述统计服务器无法统计QPS值时，根据所述访问请求的日志统计各访问请求的QPS值；
将QPS值超过预设阈值的访问请求作为热点请求；
保存所述热点请求的信息，以根据所述热点请求的信息判断接收到的访问请求是否是热点请求。
12.根据权利要求9所述的方法，其特征在于，所述方法还包括：
接收各请求响应服务器的第二分区信息，根据所述第二分区信息和所述访问请求的访问对象确定第二目标分区，将所述访问请求发送至第二目标分区的请求响应服务器。
13.根据权利要求12所述的方法，其特征在于，所述将所述访问请求发送至第二目标分区的请求响应服务器，包括：
当根据存储的所述热点请求的信息确定接收的访问请求为热点请求时，根据预设路由规则将接收的访问请求发送至第二目标分区中的主请求响应服务器或从请求响应服务器；
当根据存储的所述热点请求的信息确定接收的访问请求不是热点请求时，将访问请求发送至第二目标分区中的主请求响应服务器。
14.一种热点请求探测方法，其特征在于，应用于统计服务器，所述方法包括：
接收应用服务器发送的访问请求的日志；其中，所述访问请求是应用服务器接收的客户端发送的访问请求；
根据所述日志统计所述访问请求的QPS值；
将所述QPS值超过预设阈值的访问请求作为热点请求；
将所述热点请求的信息发送至应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求。
15.根据权利要求14所述的方法，其特征在于，所述方法还包括：
当所述统计服务器为主统计服务器统时，将QPS值的统计结果发送至从统计服务器；
当所述统计服务器为从统计服务器时，接收并存储主统计服务器发送的QPS值的统计结果；当所述主统计服务器无法统计所述QPS值时，根据存储的统计结果继续统计所述QPS值。
16.一种热点请求探测装置，其特征在于，配置于应用服务器，所述装置包括：
第一分区信息接收模块，用于接收监控服务器发送的各统计服务器的第一分区信息，将所述第一分区信息进行存储；
日志发送模块，用于接收客户端发送的访问请求，根据所述第一分区信息和所述访问请求的访问对象确定第一目标分区，并将所述访问请求的日志发送至第一目标分区的统计服务器，以使统计服务器根据接收的各访问请求的日志统计各访问请求的每秒查询次数QPS值，并将QPS值达到预设阈值的访问请求的信息作为热点请求的信息发送至所述应用服务器；
热点请求确定模块，用于接收统计服务器发送的所述热点请求的信息，根据所述热点请求的信息确定接收的访问请求是否为热点请求。
17.一种热点请求探测装置，其特征在于，配置于统计服务器，所述装置包括：
日志接收模块，用于接收应用服务器发送的访问请求的日志；其中，所述访问请求是应用服务器接收客户端发送的访问请求；
QPS值统计模块，用于根据所述日志统计所述访问请求的QPS值；
热点请求确定模块，用于将所述QPS值超过预设阈值的访问请求作为热点请求；
信息发送模块，用于将所述热点请求的信息发送至应用服务器，以使所述应用服务器根据所述热点请求的信息确定接收到的访问请求是否为热点请求。
18.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-15中任一所述的方法。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-15中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011289034.9A CN113765978A (zh) | 2020-11-17 | 2020-11-17 | 热点请求探测系统、方法、装置、服务器及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011289034.9A CN113765978A (zh) | 2020-11-17 | 2020-11-17 | 热点请求探测系统、方法、装置、服务器及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113765978A true CN113765978A (zh) | 2021-12-07 |
Family
ID=78786124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011289034.9A Pending CN113765978A (zh) | 2020-11-17 | 2020-11-17 | 热点请求探测系统、方法、装置、服务器及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113765978A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170149753A1 (en) * | 2014-06-23 | 2017-05-25 | Baidu Online Network Technology (Beijing) Co., Ltd. | Hotspot information analysis method and apparatus and computer storage medium |
| CN107918617A (zh) * | 2016-10-10 | 2018-04-17 | 北京京东尚科信息技术有限公司 | 数据查询方法和装置 |
| CN108683695A (zh) * | 2018-03-23 | 2018-10-19 | 阿里巴巴集团控股有限公司 | 热点访问处理方法、缓存访问代理设备及分布式缓存系统 |
| CN109729108A (zh) * | 2017-10-27 | 2019-05-07 | 阿里巴巴集团控股有限公司 | 一种防止缓存击穿的方法、相关服务器及系统 |
-
2020
- 2020-11-17 CN CN202011289034.9A patent/CN113765978A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170149753A1 (en) * | 2014-06-23 | 2017-05-25 | Baidu Online Network Technology (Beijing) Co., Ltd. | Hotspot information analysis method and apparatus and computer storage medium |
| CN107918617A (zh) * | 2016-10-10 | 2018-04-17 | 北京京东尚科信息技术有限公司 | 数据查询方法和装置 |
| CN109729108A (zh) * | 2017-10-27 | 2019-05-07 | 阿里巴巴集团控股有限公司 | 一种防止缓存击穿的方法、相关服务器及系统 |
| CN108683695A (zh) * | 2018-03-23 | 2018-10-19 | 阿里巴巴集团控股有限公司 | 热点访问处理方法、缓存访问代理设备及分布式缓存系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109660607B (zh) | 一种业务请求分发方法、接收方法、装置及服务器集群 | |
| CN108009236B (zh) | 一种大数据查询方法、系统、计算机及存储介质 | |
| CN107872402B (zh) | 全局流量调度的方法、装置及电子设备 | |
| CN107864063B (zh) | 一种异常监控方法、装置及电子设备 | |
| CN106230997B (zh) | 一种资源调度方法和装置 | |
| US10432455B2 (en) | Distributed processing system, data processing method, and control node device | |
| WO2018036549A1 (zh) | 分布式数据库查询方法、装置及管理系统 | |
| CN109800204B (zh) | 数据分配方法及相关产品 | |
| US11706114B2 (en) | Network flow measurement method, network measurement device, and control plane device | |
| CN110955704A (zh) | 一种数据管理方法、装置、设备及存储介质 | |
| US10282245B1 (en) | Root cause detection and monitoring for storage systems | |
| EP4075749A1 (en) | Detection method and detection device for heavy flow data stream | |
| CN112328688B (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| CN111432039A (zh) | Cdn中数据请求方法、装置、设备和cdn节点 | |
| CN114461407B (zh) | 数据处理方法、装置、分发服务器、系统及存储介质 | |
| JPWO2015182629A1 (ja) | 監視システム、監視装置及び監視プログラム | |
| CN114490160A (zh) | 一种数据倾斜优化因子自动调整方法、装置、设备和介质 | |
| US10223189B1 (en) | Root cause detection and monitoring for storage systems | |
| CN112261019B (zh) | 分布式拒绝服务攻击检测方法、装置及存储介质 | |
| CN108337100A (zh) | 一种云平台监测的方法和装置 | |
| CN111159131A (zh) | 性能优化方法、装置、设备及计算机可读存储介质 | |
| CN117633116A (zh) | 数据同步方法、装置、电子设备及存储介质 | |
| CN113765978A (zh) | 热点请求探测系统、方法、装置、服务器及介质 | |
| CN109361658B (zh) | 基于工控行业的异常流量信息存储方法、装置及电子设备 | |
| CN116318800A (zh) | 一种bgp路由数据的监测方法、装置、及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |