CN110224943B - 基于url的流量服务限流方法、电子设备及计算机存储介质 - Google Patents

基于url的流量服务限流方法、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN110224943B
CN110224943B CN201910459055.1A CN201910459055A CN110224943B CN 110224943 B CN110224943 B CN 110224943B CN 201910459055 A CN201910459055 A CN 201910459055A CN 110224943 B CN110224943 B CN 110224943B
Authority
CN
China
Prior art keywords
url
request data
statistical
url request
summarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910459055.1A
Other languages
English (en)
Other versions
CN110224943A (zh
Inventor
冯威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangyue Technology Co Ltd
Original Assignee
Zhangyue Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhangyue Technology Co Ltd filed Critical Zhangyue Technology Co Ltd
Priority to CN201910459055.1A priority Critical patent/CN110224943B/zh
Publication of CN110224943A publication Critical patent/CN110224943A/zh
Application granted granted Critical
Publication of CN110224943B publication Critical patent/CN110224943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于URL的流量服务限流方法、电子设备及计算机存储介质。其中方法包括：启动多个统计线程及至少一个汇总线程；任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库；每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段，实现了精细化地限流，避免了现有技术对服务器中的网卡进行限流，对服务器提供的所有流量服务都进行限流，导致服务器资源利用率低，且影响正常流量服务的缺陷。

Description

基于URL的流量服务限流方法、电子设备及计算机存储介质
技术领域
本发明涉及互联网技术领域，具体涉及一种基于URL的流量服务限流方法、电子设备及计算机存储介质。
背景技术
通常用户的访问行为是针对某一URL的，可能会出现大量用户集中访问该URL，使得该URL的流量服务出现问题，例如，响应比较慢，服务器崩溃等问题，此时，就需要进行限流处理。
现有的技术方案都是对服务器的网卡进行流量服务限流，这种限流方式针对的是某个服务器，是对服务器提供的所有流量服务进行了限流，通常情况下，一个服务器所提供的流量服务可能达到亿级别、甚至百亿级别，然而可能仅是部分URL的流量服务存在限流的需求，若对服务器的网卡进行限流，就会导致该服务器上其它URL的流量服务存在问题，影响正常的流量服务；另外，通常某一URL的流量服务可能分布在多个服务器上，每台服务器提供的流量服务不同，仅对某一服务器进行限流并不能达到很好的限流效果，而对多个服务器同时进行限流就会影响正常的流量服务。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于URL的流量服务限流方法、电子设备及计算机存储介质。
根据本发明的一个方面，提供了一种基于URL的流量服务限流方法，包括：
启动多个统计线程及至少一个汇总线程；
任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；
汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库；
每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段。
根据本发明的另一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行以下操作：
启动多个统计线程及至少一个汇总线程；
任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；
汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库；
每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段。
根据本发明的又一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行以下操作：
启动多个统计线程及至少一个汇总线程；
任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；
汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库；
每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段。
根据本发明公开的方案，启动多个统计线程及至少一个汇总线程；任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库；每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段。本发明提供的方案能够实现对某一URL的流量服务进行限流，能够精细化地限流，避免了现有技术对服务器中的网卡进行限流，对服务器提供的所有流量服务都进行限流，导致服务器资源利用率低，且影响正常流量服务的缺陷；另外，通过对URL的流量服务进行限流，实现了全量限流，提升了限流效率，避免了URL的流量服务分布在多个服务器时，仅对某一个服务器进行限流，导致限流效果较差，而对多个服务器同时进行限流就会严重影响正常流量服务器的缺陷；通过设置使第二预设时间段大于第一预设时间段，能够保证限流的及时性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的基于URL的流量服务限流方法的流程示意图；
图2示出了根据本发明另一个实施例的基于URL的流量服务限流方法的流程示意图；
图3示出了根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的基于URL的流量服务限流方法的流程示意图。如图1所示，该方法包括以下步骤：
步骤S100，启动多个统计线程及至少一个汇总线程。
本实施例是基于URL进行流量服务限流的方案，是将对流量服务的限流处理具体落实到对某一URL的流量服务限流，而不再是单机限流(即，对某一个服务器进行流量服务限流，限制了整个服务器提供的流量服务)。此外，该限流方案与URL的流量服务分布在哪个服务器无关，是对分布在至少一个服务器上的URL的流量服务进行限流，是全量限流方案。
在本实施例中，基于URL进行流量服务限流，就需要对URL请求数据进行统计，因此，需要启动多个统计线程及至少一个汇总线程，其中，多个统计线程负责对URL请求数据进行统计，而汇总线程负责对多个统计线程统计的URL请求数据进行汇总。
步骤S101，任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程。
在启动多个统计线程及至少一个汇总线程后，多个统计线程中的任一统计线程开始对URL请求数据进行统计，统计线程对存在URL请求的URL进行URL请求数据统计，对于不同的URL，统计得到的URL请求数据不同，其中，URL请求数据包含：URL请求的数量及URL请求的响应时间，URL请求的数量是用户对某一URL发起访问请求的请求数量，URL请求的响应时间是针对某一URL在用户发起访问请求后，针对该访问请求作出响应的时间。
任一统计线程不仅需要对URL请求数据进行统计，还需要定期将统计的URL请求数据发送给汇总线程，由汇总线程对多个统计线程发送的URL请求数据进行汇总，例如，任一统计线程每隔第一预设时间段将URL请求数据发送至汇总线程，举例说明，第一预设时间段为5秒，也就是说，任一统计线程每隔5将统计的URL请求数据发送给汇总线程，发送给汇总线程的URL请求数据是统计线程在这5秒内所统计的URL请求数据，本领域技术人员可以根据实际需要灵活设定第一预设时间段的时长，这里仅是举例说明，不具有任何限定作用。
步骤S102，汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库。
汇总线程接收任一统计线程发送的URL请求数据，并将多个统计线程发送的URL请求数据汇总到一起，举例说明，启动了四个统计线程，四个统计线程每隔第一预设时间段发送给汇总线程的URL请求数据分别是URL请求数据1、URL请求数据2、URL请求数据3、URL请求数据4，汇总线程在接收到URL请求数据1、URL请求数据2、URL请求数据3、URL请求数据4后，进行数据汇总，在汇总完成后，汇总线程将汇总URL请求数据写入到数据库中，数据库中存储所有汇总线程写入的汇总URL请求数据。
步骤S103，每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段。
为了能够确定某一URL的流量服务是否存在问题，就需要进行比较，比较对象是预设统计周期内的累计的汇总URL请求数据与同期的汇总URL请求数据，在本实施例中，可以通过以下方式获得预设统计周期内的累计的汇总URL请求数据：每个第二预设时间段启动数据库查询服务，在启动数据库查询服务后，查询预设统计周期内的累计的汇总URL请求数据，预设统计周期是根据比较需要而灵活设定的，例如，当前时间为2019年5月5日9:01，想要确定过去一分钟内即9:00-9:01期间URL的流量服务是否存在问题，可以查询统计上一分钟累计的汇总URL请求数据，将上一分钟累计的汇总URL请求数据与同期的累计的汇总URL请求数据进行比较，这里所说的同期的累计的汇总URL请求数据例如可以是过去一周内9:00-9:01累计的汇总URL请求数据，比较周期可以根据实际需要灵活设置。根据比较结果确定是否对URL的流量服务进行限流。
为了保证流量服务限流的实时性，在本实施例中，设定第二预设时间段大于第一预设时间段，例如，第一预设时间段为5秒，那么第二预设时间段可以是6秒，这里仅是举例说明，不具有任何限定作用，本领域技术人员可以灵活设定第二预设时间段的时长。通过这种设置，能够保证在需要对URL的流量服务限流时，能够及时限流，保证URL能够正常提供流量服务。
根据本发明上述实施例提供的方法，启动多个统计线程及至少一个汇总线程；任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库；每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段。本发明提供的方案能够实现对某一URL的流量服务进行限流，能够精细化地限流，避免了现有技术对服务器中的网卡进行限流，对服务器提供的所有流量服务都进行限流，导致服务器资源利用率低，且影响正常流量服务的缺陷；另外，通过对URL的流量服务进行限流，实现了全量限流，提升了限流效率，避免了URL的流量服务分布在多个服务器时，仅对某一个服务器进行限流，导致限流效果较差，而对多个服务器同时进行限流就会严重影响正常流量服务器的缺陷；通过设置使第二预设时间段大于第一预设时间段，能够保证限流的及时性。
图2示出了根据本发明另一个实施例的基于URL的流量服务限流方法的流程示意图。如图2所示，该方法包括以下步骤：
步骤S200，启动多个统计线程及至少一个汇总线程。
在本实施例中，启动的统计线程的数量与CPU核心数对应，例如，若CPU核心数为四核，那么就启动四个统计线程；若CPU核心数为八核，那么就启动八个统计线程，这里仅是举例说明，不具有任何限定作用。设定启动的统计线程的数量与CPU核心数对应，能够保证充分利用CPU资源，提升限流效率。
在本实施例中，基于URL进行流量服务限流，就需要对URL请求数据进行统计，因此，需要启动多个统计线程及至少一个汇总线程，其中，多个统计线程负责对URL请求数据进行统计，而汇总线程负责对多个统计线程统计的URL请求数据进行汇总。
客户端通过异步方式将URL请求发送给统计线程，异步指客户端可以正常处理URL请求，并在处理完成后，将URL请求发送给多个统计线程。通过异步方式将URL请求发送给统计线程，并不影响客户端对URL请求的正常响应，本实施例中的客户端是ng客户端，具体地，ng客户端通过syslog协议将URL请求异步地发送给统计线程，任一统计线程接收客户端通过异步方式发送的URL请求。
步骤S201，任一统计线程根据路径或者路径及参数对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程。
在本实施例中，是针对URL的流量服务进行限流，那么在确定是否对URL的流量服务进行限流之前，需要先对URL进行区分，通常情况下，URL由以下几个部分组成：protocol://hostname[:port]/path/[；parameters][？query]#fragment，其中，protocol(协议)，常用的协议是http；hostname(主机地址)，可以是域名，也可以是IP地址；port(端口)http协议默认端口是：80端口，如果不写默认就是:80端口；path(路径)网络资源在服务器中的指定路径；parameter(参数)如果要向服务器传入参数，在这部分输入；query(查询字符串)如果需要从服务器那里查询内容，在这里编辑；fragment(信息片段)网页中可能会分为不同的片段，如果想访问网页后直接到达指定位置，可以在这部分设置；由此可以通过路径将不同的URL区分开来，然而，也可能存在部分URL的路径相同的情况，对于这些URL则可以通过路径及参数相结合的方式将URL区分开来，因此，可以利用URL的路径(path)或者路径及参数对URL进行唯一性标识，从而将多个URL区分开来。
任一统计线程在接收到客户端通过异步方式发送的URL请求后，负责进行URL请求数据的统计，统计过程是建立URL与URL请求数据的对应关系的过程，本实施例中的URL请求数据包含：URL请求的数量及URL请求的响应时间，因此，统计的是针对URL作出的请求的数量以及针对该URL请求而作出的响应时间。
任一统计线程不仅需要对URL请求数据进行统计，还需要定期将统计的URL请求数据发送给汇总线程，由汇总线程对多个统计线程发送的URL请求数据进行汇总，例如，任一统计线程每隔第一预设时间段将URL请求数据发送至汇总线程，举例说明，第一预设时间段为5秒，也就是说，任一统计线程每隔5将统计的URL请求数据发送给汇总线程，发送给汇总线程的URL请求数据是统计线程在这5秒内所统计的URL请求数据，本领域技术人员可以根据实际需要灵活设定第一预设时间段的时长，这里仅是举例说明，不具有任何限定作用。
步骤S202，汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库。
汇总线程接收任一统计线程发送的URL请求数据，并将多个统计线程发送的URL请求数据汇总到一起，举例说明，启动了四个统计线程，四个统计线程每隔第一预设时间段发送给汇总线程的URL请求数据分别是URL请求数据1、URL请求数据2、URL请求数据3、URL请求数据4，汇总线程在接收到URL请求数据1、URL请求数据2、URL请求数据3、URL请求数据4后，进行数据汇总，在汇总完成后，汇总线程将汇总URL请求数据写入到数据库中，数据库中存储所有汇总线程写入的汇总URL请求数据。
举例说明，汇总线程接收到多个统计线程5秒时发送的URL请求数据，对接收到的数据汇总，写入至数据库，然后，汇总线程再一次接收到多个统计线程10秒时发送的URL请求数据，汇总后写入至数据库，依此类推。
步骤S203，每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求的数量和/或累计的汇总URL请求的响应时间。
为了能够确定某一URL的流量服务是否存在问题，就需要进行比较，比较对象是预设统计周期内的累计的汇总URL请求数据与同期的汇总URL请求数据，在本实施例中，可以通过以下方式获得预设统计周期内的累计的汇总URL请求数据：每个第二预设时间段启动数据库查询服务，在启动数据库查询服务后，查询预设统计周期内的累计的汇总URL请求的数量和/或累计的汇总URL请求的响应时间，预设统计周期是根据比较需要而灵活设定的，例如，当前时间为2019年5月5日9:01，想要确定过去一分钟内即9:00-9:01期间URL的流量服务是否存在问题，可以查询统计上一分钟累计的汇总URL请求数据，将上一分钟累计的汇总URL请求数据与同期的累计的汇总URL请求数据进行比较，这里所说的同期的累计的汇总URL请求数据例如可以是过去一周内9:00-9:01累计的汇总URL请求数据，比较周期可以根据实际需要灵活设置。
为了保证流量服务限流的实时性，在本实施例中，设定第二预设时间段大于第一预设时间段，例如，第一预设时间段为5秒，那么第二预设时间段可以是6秒，这里仅是举例说明，不具有任何限定作用，本领域技术人员可以灵活设定第二预设时间段的时长。通过这种设置，能够保证在需要对URL的流量服务限流时，能够及时限流，保证URL能够正常提供流量服务。
步骤S204，将查询到的预设统计周期内累计的汇总URL请求的数量与同期的URL请求的数量进行比较，根据比较结果确定是否对URL的流量服务进行限流。
在查询到预设统计周期内的累计的汇总URL请求的数量之后，可以根据预设统计周期内累计的汇总URL请求的数量来确定是否对URL的流量服务进行限流，具体地，可以将查询到的预设统计周期内累计的汇总URL请求的数量与同期的URL请求的数量进行比较，若比较结果为预设统计周期内累计的汇总URL请求的数量与同期的URL请求的数量的百分比大于或等于预设数量阈值，可以确定需要对URL的流量服务进行限流。
步骤S205，根据累计的汇总URL请求的数量及累计的汇总URL请求的响应时间计算平均URL请求的响应时间。
URL请求的响应时间反映了响应请求所需的时间，URL请求的响应时间的长短也能反映出URL的流量服务是否存在问题。由于针对不同的URL，URL请求的数量不同，每个URL请求的响应时间不同，因此，需要借助平均URL请求的响应时间来确定是否对URL的流量服务进行限流。在本实施例中，是将预设统计周期作为累计时间，在查询到累计的汇总URL请求的数量及累计的汇总URL请求的响应时间之后，可以将累计的汇总URL请求的响应时间与累计的汇总URL请求的数量的商作为平均URL请求的响应时间。例如，累计的汇总URL请求的响应时间为150秒，累计的汇总URL请求的数量为100，那么平均URL请求的响应时间＝150/100＝1.5秒。
步骤S206，将计算得到的平均URL请求的响应时间与同期的平均URL请求的响应时间进行比较，根据比较结果确定是否对URL的流量服务进行限流。
在计算得到平均URL请求的响应时间后，将计算得到的平均URL请求的响应时间与同期的平均URL请求的响应时间进行比较，若比较结果为计算得到的平均URL请求的响应时间与同期的平均URL请求的响应时间之差大于或等于预设时间阈值，则确定需要对URL的流量服务进行限流；若比较结果为计算得到的平均URL请求的响应时间与同期的平均URL请求的响应时间之差小于预设时间阈值，则不需要对URL的流量服务进行限流。
在本发明可选实施方式中，可以仅利用步骤S204中的方法确定是否对URL的流量服务进行限流，也可以仅利用步骤S205-步骤S206中的方法确定是否对URL的流量服务进行限流，也可以同时利用步骤S204-步骤S206中的方法确定是否对URL的流量服务进行限流。
步骤S207，若确定对URL的流量服务进行限流，则查询该URL对应的限流策略，依据限流策略对URL的流量服务进行限流。
在确定对URL的流量服务进行限流的情况下，需要对URL的流量服务进行限流不同，不同的URL所对应的限流策略可能并不相同，具体地，可以查询该URL对应的限流策略，在得到该URL对应的限流策略后，依据所查询到的限流策略对URL的流量服务进行限流，例如，对于某一URL需要拦截50％的URL请求，而对于另一URL需要拦截30％的URL请求，这里仅是举例说明，不具有任何限定作用。
在本发明一种可选实施方式中，在查询到预设统计周期内累计的汇总URL请求数据后，还可以依据同期比较策略，确定是否针对该URL生成报警信息以进行报警，例如，若预设统计周期内累计的汇总URL请求的数量与同期的URL请求的数量的百分比大于或等于预设数量阈值，可以确定需要针对该URL生成报警信息以进行报警。
本发明提供的方案能够实现对某一URL的流量服务进行限流，能够精细化地限流，避免了现有技术对服务器中的网卡进行限流，对服务器提供的所有流量服务都进行限流，导致服务器资源利用率低，且影响正常流量服务的缺陷；另外，通过对URL的流量服务进行限流，实现了全量限流，提升了限流效率，避免了URL的流量服务分布在多个服务器时，仅对某一个服务器进行限流，导致限流效果较差，而对多个服务器同时进行限流就会严重影响正常流量服务器的缺陷；从URL请求的数量和URL请求的响应时间两个方面考虑是否对对URL的流量服务进行限流，提升了限流的准确性；通过设置使第二预设时间段大于第一预设时间段，能够保证限流的及时性，克服了因限流不及时导致URL无法正常提供流量服务；设置启动的统计线程的数量与CPU核心数对应，可以充分利用CPU资源，提高了限流效率。
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于URL的流量服务限流方法。
可执行指令具体可以用于使得处理器执行以下操作：
启动多个统计线程及至少一个汇总线程；
任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；
汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库；
每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段。
在一种可选的实施方式中，URL请求数据包含：URL请求的数量及URL请求的响应时间。
在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：查询预设统计周期内的累计的汇总URL请求的数量和/或累计的汇总URL请求的响应时间。
在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：将查询到的预设统计周期内累计的汇总URL请求的数量与同期的URL请求的数量进行比较，根据比较结果确定是否对URL的流量服务进行限流。
在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：
根据累计的汇总URL请求的数量及累计的汇总URL请求的响应时间计算平均URL请求的响应时间；
将计算得到的平均URL请求的响应时间与同期的平均URL请求的响应时间进行比较，根据比较结果确定是否对URL的流量服务进行限流。
在一种可选的实施方式中，可执行指令还使处理器执行以下操作：若确定对URL的流量服务进行限流，则查询该URL对应的限流策略，依据限流策略对URL的流量服务进行限流。
在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：任一统计线程根据路径或者路径及参数对URL请求数据进行统计。
在一种可选的实施方式中，可执行指令还使处理器执行以下操作：依据同期比较策略，确定是否针对该URL生成报警信息以进行报警。
在一种可选的实施方式中，启动的统计线程的数量与CPU核心数对应。
在一种可选的实施方式中，任一统计线程接收客户端通过异步方式发送的URL请求。
图3示出了根据本发明一个实施例的电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图3所示，该电子设备可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。
其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。
通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器302，用于执行程序310，具体可以执行上述基于URL的流量服务限流方法实施例中的相关步骤。
具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。
处理器302可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序310具体可以用于使得处理器302执行以下操作：
启动多个统计线程及至少一个汇总线程；
任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；
汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库；
每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段。
在一种可选的实施方式中，URL请求数据包含：URL请求的数量及URL请求的响应时间。
在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：查询预设统计周期内的累计的汇总URL请求的数量和/或累计的汇总URL请求的响应时间。
在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：将查询到的预设统计周期内累计的汇总URL请求的数量与同期的URL请求的数量进行比较，根据比较结果确定是否对URL的流量服务进行限流。
在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：根据累计的汇总URL请求的数量及累计的汇总URL请求的响应时间计算平均URL请求的响应时间；
将计算得到的平均URL请求的响应时间与同期的平均URL请求的响应时间进行比较，根据比较结果确定是否对URL的流量服务进行限流。
在一种可选的实施方式中，程序310还使处理器302执行以下操作：若确定对URL的流量服务进行限流，则查询该URL对应的限流策略，依据限流策略对URL的流量服务进行限流。
在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：任一统计线程根据路径或者路径及参数对URL请求数据进行统计。
在一种可选的实施方式中，程序310还使处理器302执行以下操作：依据同期比较策略，确定是否针对该URL生成报警信息以进行报警。
在一种可选的实施方式中，启动的统计线程的数量与CPU核心数对应。
在一种可选的实施方式中，任一统计线程接收客户端通过异步方式发送的URL请求。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (30)

1.一种基于URL的流量服务限流方法，其中，URL的流量服务分布在多个服务器上，所述方法包括：
启动多个统计线程及至少一个汇总线程；
任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；
汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库，其中，所述URL请求数据包含：URL请求的响应时间；
每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段；
所述查询预设统计周期内的累计的汇总URL请求数据进一步包括：
查询预设统计周期内的累计的汇总URL请求的响应时间。
2.根据权利要求1所述的方法，其中，所述URL请求数据还包含：URL请求的数量。
3.根据权利要求2所述的方法，其中，所述查询预设统计周期内的累计的汇总URL请求数据进一步包括：
查询预设统计周期内的累计的汇总URL请求的数量。
4.根据权利要求3所述的方法，其中，所述依据同期比较策略，确定是否对URL的流量服务进行限流进一步包括：
将查询到的预设统计周期内累计的汇总URL请求的数量与同期的URL请求的数量进行比较，根据比较结果确定是否对URL的流量服务进行限流。
5.根据权利要求3所述的方法，其中，所述依据同期比较策略，确定是否对URL的流量服务进行限流进一步包括：
根据累计的汇总URL请求的数量及累计的汇总URL请求的响应时间计算平均URL请求的响应时间；
将计算得到的平均URL请求的响应时间与同期的平均URL请求的响应时间进行比较，根据比较结果确定是否对URL的流量服务进行限流。
6.根据权利要求1-5中任一项所述的方法，其中，所述方法还包括：若确定对URL的流量服务进行限流，则查询该URL对应的限流策略，依据所述限流策略对所述URL的流量服务进行限流。
7.根据权利要求1-6中任一项所述的方法，其中，所述任一统计线程对URL请求数据进行统计进一步包括：
任一统计线程根据路径或者路径及参数对URL请求数据进行统计。
8.根据权利要求1-7中任一项所述的方法，其中，所述方法还包括：依据同期比较策略，确定是否针对该URL生成报警信息以进行报警。
9.根据权利要求1-8中任一项所述的方法，其中，启动的统计线程的数量与CPU核心数对应。
10.根据权利要求1-9中任一项所述的方法，其中，任一统计线程接收客户端通过异步方式发送的URL请求。
11.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：
启动多个统计线程及至少一个汇总线程；
任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；
汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库，其中，所述URL请求数据包含：URL请求的响应时间；
每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段；
所述可执行指令进一步使所述处理器执行以下操作：查询预设统计周期内的累计的汇总URL请求的响应时间。
12.根据权利要求11所述的电子设备，其中，所述URL请求数据还包含：URL请求的数量。
13.根据权利要求12所述的电子设备，其中，所述可执行指令进一步使所述处理器执行以下操作：查询预设统计周期内的累计的汇总URL请求的数量。
14.根据权利要求13所述的电子设备，其中，所述可执行指令进一步使所述处理器执行以下操作：将查询到的预设统计周期内累计的汇总URL请求的数量与同期的URL请求的数量进行比较，根据比较结果确定是否对URL的流量服务进行限流。
15.根据权利要求13所述的电子设备，其中，所述可执行指令进一步使所述处理器执行以下操作：根据累计的汇总URL请求的数量及累计的汇总URL请求的响应时间计算平均URL请求的响应时间；
将计算得到的平均URL请求的响应时间与同期的平均URL请求的响应时间进行比较，根据比较结果确定是否对URL的流量服务进行限流。
16.根据权利要求11-15中任一项所述的电子设备，其中，所述可执行指令还使所述处理器执行以下操作：若确定对URL的流量服务进行限流，则查询该URL对应的限流策略，依据所述限流策略对所述URL的流量服务进行限流。
17.根据权利要求11-16中任一项所述的电子设备，其中，所述可执行指令进一步使所述处理器执行以下操作：任一统计线程根据路径或者路径及参数对URL请求数据进行统计。
18.根据权利要求11-17中任一项所述的电子设备，其中，所述可执行指令还使所述处理器执行以下操作：依据同期比较策略，确定是否针对该URL生成报警信息以进行报警。
19.根据权利要求11-17中任一项所述的电子设备，其中，启动的统计线程的数量与CPU核心数对应。
20.根据权利要求11-19中任一项所述的电子设备，其中，任一统计线程接收客户端通过异步方式发送的URL请求。
21.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行以下操作：
启动多个统计线程及至少一个汇总线程；
任一统计线程对URL请求数据进行统计，并每隔第一预设时间段将URL请求数据发送至汇总线程；
汇总线程将多个统计线程发送的URL请求数据进行汇总，将汇总URL请求数据写入至数据库，其中，所述URL请求数据包含：URL请求的响应时间；
每隔第二预设时间段启动数据库查询服务，查询预设统计周期内的累计的汇总URL请求数据，依据同期比较策略，确定是否对URL的流量服务进行限流，其中，第二预设时间段大于第一预设时间段；
所述可执行指令进一步使所述处理器执行以下操作：查询预设统计周期内的累计的汇总URL请求的响应时间。
22.根据权利要求21所述的计算机存储介质，其中，所述URL请求数据还包含：URL请求的数量。
23.根据权利要求22所述的计算机存储介质，其中，所述可执行指令进一步使所述处理器执行以下操作：查询预设统计周期内的累计的汇总URL请求的数量。
24.根据权利要求23所述的计算机存储介质，其中，所述可执行指令进一步使所述处理器执行以下操作：将查询到的预设统计周期内累计的汇总URL请求的数量与同期的URL请求的数量进行比较，根据比较结果确定是否对URL的流量服务进行限流。
25.根据权利要求23所述的计算机存储介质，其中，所述可执行指令进一步使所述处理器执行以下操作：
根据累计的汇总URL请求的数量及累计的汇总URL请求的响应时间计算平均URL请求的响应时间；
将计算得到的平均URL请求的响应时间与同期的平均URL请求的响应时间进行比较，根据比较结果确定是否对URL的流量服务进行限流。
26.根据权利要求21-25中任一项所述的计算机存储介质，其中，所述可执行指令还使所述处理器执行以下操作：若确定对URL的流量服务进行限流，则查询该URL对应的限流策略，依据所述限流策略对所述URL的流量服务进行限流。
27.根据权利要求21-26中任一项所述的计算机存储介质，其中，所述可执行指令进一步使所述处理器执行以下操作：任一统计线程根据路径或者路径及参数对URL请求数据进行统计。
28.根据权利要求21-27中任一项所述的计算机存储介质，其中，所述可执行指令还使所述处理器执行以下操作：依据同期比较策略，确定是否针对该URL生成报警信息以进行报警。
29.根据权利要求21-28中任一项所述的计算机存储介质，其中，启动的统计线程的数量与CPU核心数对应。
30.根据权利要求21-29中任一项所述的计算机存储介质，其中，任一统计线程接收客户端通过异步方式发送的URL请求。
CN201910459055.1A 2019-05-29 2019-05-29 基于url的流量服务限流方法、电子设备及计算机存储介质 Active CN110224943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910459055.1A CN110224943B (zh) 2019-05-29 2019-05-29 基于url的流量服务限流方法、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910459055.1A CN110224943B (zh) 2019-05-29 2019-05-29 基于url的流量服务限流方法、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110224943A CN110224943A (zh) 2019-09-10
CN110224943B true CN110224943B (zh) 2022-09-16

Family

ID=67818905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910459055.1A Active CN110224943B (zh) 2019-05-29 2019-05-29 基于url的流量服务限流方法、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110224943B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110932987A (zh) * 2019-10-28 2020-03-27 苏宁云计算有限公司 用于流控url连接数的方法及装置
CN111083012B (zh) * 2019-12-18 2021-10-26 苏州浪潮智能科技有限公司 一种数据中心交换机流量统计方法和设备
CN113268518B (zh) * 2020-02-17 2024-03-29 百度在线网络技术（北京）有限公司 流量统计方法及装置、分布式流量统计系统
CN111899858A (zh) * 2020-07-29 2020-11-06 广州海鹚网络科技有限公司 一种医院流量的限制方法、装置、计算机设备和存储介质
CN112612618B (zh) * 2020-12-30 2022-07-19 深圳我家云网络科技有限公司 接口限流方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103368860A (zh) * 2013-07-03 2013-10-23 北京奇虎科技有限公司 一种智能限速方法、装置以及系统
CN106375472A (zh) * 2016-09-29 2017-02-01 北京三快在线科技有限公司 访问请求处理方法、装置和服务器
CN107707488A (zh) * 2017-10-25 2018-02-16 北京数码视讯支付技术有限公司 支付联机交易流量控制方法、限流服务端及客户端
CN108989369A (zh) * 2017-05-31 2018-12-11 北京京东尚科信息技术有限公司 对用户请求进行限流的方法及其系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100375013C (zh) * 2002-04-08 2008-03-12 国际商业机器公司 用于在分布式企业应用中进行问题确定的方法和系统
US8631401B2 (en) * 2007-07-24 2014-01-14 Ca, Inc. Capacity planning by transaction type

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103368860A (zh) * 2013-07-03 2013-10-23 北京奇虎科技有限公司 一种智能限速方法、装置以及系统
CN106375472A (zh) * 2016-09-29 2017-02-01 北京三快在线科技有限公司 访问请求处理方法、装置和服务器
CN108989369A (zh) * 2017-05-31 2018-12-11 北京京东尚科信息技术有限公司 对用户请求进行限流的方法及其系统
CN107707488A (zh) * 2017-10-25 2018-02-16 北京数码视讯支付技术有限公司 支付联机交易流量控制方法、限流服务端及客户端

Also Published As

Publication number Publication date
CN110224943A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110224943B (zh) 基于url的流量服务限流方法、电子设备及计算机存储介质
CN108881448B (zh) Api请求的处理方法及装置
CN109428922B (zh) 一种订阅发布方法及服务器
CN103200128B (zh) 一种网络包处理的方法、装置和系统
CN109150930B (zh) 配置信息加载方法及装置、业务处理方法及装置
US8589537B2 (en) Methods and computer program products for aggregating network application performance metrics by process pool
CN110830564A (zh) Cdn调度方法、装置、系统及计算机可读存储介质
CN108933829A (zh) 一种负载均衡方法及装置
CN113067875B (zh) 基于微服务网关动态流控的访问方法和装置以及设备
CN110247857B (zh) 限流方法及装置
CN110830565A (zh) 资源下载方法、装置、系统、电子设备及存储介质
CN112751847A (zh) 接口调用请求的处理方法、装置、电子设备及存储介质
CN111782692A (zh) 一种频率控制方法及装置
CN109561054A (zh) 一种数据传输方法、控制器及接入设备
CN113361913A (zh) 一种通信业务编排方法、装置、计算机设备及存储介质
CN111064802B (zh) 一种网络请求的处理方法、装置、电子设备及存储介质
CN111858014A (zh) 资源分配方法及装置
CN108512673B (zh) 一种云服务质量监控方法、装置及服务器
CN109862134B (zh) 一种ip地址的租约时间配置方法和系统及dhcp客户端
CN108924128A (zh) 一种移动终端及其进程间通信的限制方法、存储介质
CN110808967B (zh) 挑战黑洞攻击的检测方法及相关装置
CN113596105B (zh) 内容的获取方法、边缘节点及计算机可读存储介质
CN108243225B (zh) 一种分布式系统、管理方法及访问方法
CN113268327A (zh) 事务请求的处理方法、装置和电子设备
CN112882646A (zh) 一种资源缓存方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant