CN109922013A - 服务访问流量控制方法、装置、服务器和存储介质 - Google Patents
服务访问流量控制方法、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN109922013A CN109922013A CN201910080892.3A CN201910080892A CN109922013A CN 109922013 A CN109922013 A CN 109922013A CN 201910080892 A CN201910080892 A CN 201910080892A CN 109922013 A CN109922013 A CN 109922013A
- Authority
- CN
- China
- Prior art keywords
- service
- model
- state
- output
- current limliting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000007246 mechanism Effects 0.000 claims abstract description 37
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及服务访问流量控制方法、装置、服务器和存储介质，应用于服务器。所述方法包括：接收访问请求；获取所述访问请求对应的服务的状态特征信息；将所述访问请求和所述状态特征信息作为限流分析模型的输入；所述限流分析模型通过无监督学习和监督学习联合训练得到，所述限流分析模型的输出为服务的状态是否符合限流条件；获取所述限流分析模型的输出，根据所述输出启动/禁用所述服务对应的限流机制；在所述服务对应的限流机制启动状态下，拒绝所述访问请求，在所述服务对应的限流机制禁用状态下，响应所述访问请求。本发明实施例解决了现有服务访问限流方案灵活性/适应性不足的问题，有效保障的服务的正常可用。
Description
技术领域
本发明涉及网络技术领域，特别是涉及服务访问流量控制方法、装置、服务器和存储介质。
背景技术
目前，在应对大流量高并发时，互联网企业的服务平台都会引入限流方案，以保护服务正常可用，常见限流方案有：
访问量限流，设定最大访问量MAX，每次进入访问前计数器+1，将结果和最大并发量MAX比较，如果大于等于MAX，则直接返回；如果小于MAX，则继续执行；
并发量限流，确定访问的最大并发量MAX，每次进入访问前计数器+1，将结果和最大并发量MAX比较，如果大于等于MAX，则直接返回；如果小于MAX，则继续执行；退出访问后计数器-1；
漏桶算法限流，不论流量流入的情况如何，流量流出按照一定的频率。如果流入过大的流量，超过桶的大小，则丢弃掉多余的流量；
令牌桶算法限流，如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务；
然而，以上限流方案均需要依靠预设的经验值，灵活性/适应性存在明显不足。
发明内容
基于此，有必要针对现有服务访问限流方案灵活性/适应性不足的问题，提供一种服务访问流量控制方法、装置、服务器和存储介质。
一方面，本发明实施例提供一种服务访问流量控制方法，包括：
接收访问请求；
获取所述访问请求对应的服务的状态特征信息；
将所述访问请求和所述服务的状态特征信息作为限流分析模型的输入，所述限流分析模型通过无监督学习和监督学习联合训练得到，所述限流分析模型的输出为所述服务的状态是否符合限流条件；
获取所述限流分析模型的输出，根据所述输出启动/禁用所述服务对应的限流机制；在所述服务对应的限流机制启动状态下，拒绝所述访问请求，在所述服务对应的限流机制禁用状态下，响应所述访问请求。
在其中一个实施例中，通过如下步骤训练所述限流分析模型：
获取多个时刻所述服务的状态特征信息，作为第一训练样本数据；对所述第一训练样本数据进行无监督学习，由此构建第一模型，所述第一模型的输出为所述服务的状态判定结果；检测所述第一模型的输出准确度；若所述第一模型的输出准确度达到第一设定条件，将所述第一模型确定为无监督学习模型；
将所述无监督学习模型的输出作为第二训练样本数据；对所述第二训练样本数据进行监督学习，由此构建第二模型，所述第二模型的输出为所述服务的状态是否满足限流条件；检测所述第二模型的输出准确度；若所述第二模型的输出准确度达到第二设定条件，将所述第二模型确定为监督学习模型；
根据所述无监督学习模型和监督学习模型，得到所述限流分析模型。
在其中一个实施例中，按照设定的时间周期，重新获取多个时刻所述服务的状态特征信息，并基于重新获取到的状态特征信息进行无监督学习和监督学习，以此对所述限流分析模型进行更新。
在其中一个实施例中，所述对所述第一训练样本数据进行无监督学习的步骤包括：对所述第一训练样本数据进行K-mean聚类学习；
和/或，
所述对所述第二训练样本数据进行监督学习的步骤包括：对所述第二训练样本数据进行支持向量机学习。
在其中一个实施例中，所述获取所述服务的状态特征信息的步骤，包括：
获取所述服务的状态信息；
对所述状态信息进行预处理，基于处理后的状态信息提取所述服务的状态特征信息。
在其中一个实施例中，所述服务的状态特征信息包括：请求响应状态信息、服务器负载状态信息、数据库负载状态信息、系统运行状态信息、网络状态信息中的至少两项。
在其中一个实施例中，所述根据所述输出启动/禁用所述服务对应的限流机制的步骤，包括：
若所述限流分析模型的输出为所述服务的状态符合限流条件，启动所述服务对应的限流机制；
若所述限流分析模型的输出为所述服务的状态不符合限流条件，禁用所述服务对应的限流机制。
又一方面，本发明实施例提供一种服务访问流量控制装置，包括：
请求接收模块，用于接收访问请求；
状态获取模块，用于获取所述访问请求对应的服务的状态特征信息；
分析模块，用于将所述访问请求和所述服务的状态特征信息作为限流分析模型的输入，所述限流分析模型通过无监督学习和监督学习联合训练得到，所述限流分析模型的输出为所述服务的状态是否符合限流条件；
流量控制模块，用于获取所述限流分析模型的输出，根据所述输出启动/禁用所述服务对应的限流机制；在所述服务对应的限流机制启动状态下，拒绝所述访问请求，在所述服务对应的限流机制禁用状态下，响应所述访问请求。
在其中一个实施例中，还包括：
无监督学习模块，用于获取所述服务的状态特征信息，作为第一训练样本数据；对所述第一训练样本数据进行无监督学习，由此构建第一模型，所述第一模型的输出为所述服务的状态判定结果；检测所述第一模型的输出准确度；若所述第一模型的输出准确度达到第一设定条件，将所述第一模型确定为无监督学习模型；
监督学习模块，用于将所述无监督学习模型的输出作为第二训练样本数据；对所述第二训练样本数据进行监督学习，由此构建第二模型，所述第二模型的输出为所述服务的状态是否满足限流条件；检测所述第二模型的输出准确度；若所述第二模型的输出准确度达到第二设定条件，将所述第二模型确定为监督学习模型；
限流模型构建模块，用于根据所述无监督学习模型和监督学习模型，得到所述限流分析模型。
在其中一个实施例中，还包括：
模型更新模块，用于按照设定的时间周期，重新获取多个时刻所述服务的状态特征信息，并基于重新获取到的状态特征信息进行无监督学习和监督学习，以此对所述限流分析模型进行更新。
在其中一个实施例中，所述无督学习模块，具体用于对所述第一训练样本数据进行K-mean聚类学习。
在其中一个实施例中，所述督学习模块，具体用于对所述第二训练样本数据进行支持向量机学习。
再一方面，本发明实施例提供一种服务器，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述服务访问流量控制方法。
再一方面，本发明实施例提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述服务访问流量控制方法。
上述技术方案中的一个技术方案具有如下优点或有益效果：在接收到访问请求时，通过需请求的服务的当前状态以及训练好的限流分析模型，确定服务的当前状态是否符合限流条件，基于此启动或者禁用所述服务对应的限流机制；以拒绝所述访问请求或者响应所述访问请求；由于结合了无监督学习、监督学习算法针对服务的状态进行实时、多维度、多方面评估，并基于服务状态，实现对服务限流机制进行灵活的、自适应的调整处理，保障了服务的正常可用。
附图说明
图1为一个实施例中服务访问流量控制方法的应用环境图；
图2为一实施例的服务访问流量控制方法的示意性流程图；
图3为另一实施例的服务访问流量控制方法的示意性流程图；
图4为一实施例的K-means算法的效果示意图；
图5为一实施例的支持向量机算法的效果示意图；
图6为一实施例的服务访问流量控制装置的示意性结构图；
图7为一个实施例中服务器的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供的服务访问流量控制方法，可以应用于如图1所示的应用环境中。其中，访问请求端100通过网络与服务器200通过网络进行通信。其中，访问请求端100可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，或者，访问请求端100也可以为服务器200之外的其他服务器；该访问请求端100可通过网络向服务器200发送访问请求，服务器200可响应该访问请求，为访问请求端100提供相应的服务。
本发明实施例中，服务器200可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些实施例中，服务器200为访问请求端100提供的服务可以包括多种，针对不同的访问请求端100，服务器200可提供相同或者不同的服务。本发明实施例中，服务可理解为应用服务，包括但不限于网页服务、邮箱服务、应用程序后台服务等等。
在一个实施例中，如图2所示，提供了一种服务访问流量控制方法，以该方法应用于图1中的服务器200为例进行说明，包括以下步骤：
S110，接收访问请求。
本发明实施例中，访问请求用于访问服务器200提供的相关服务，访问请求可以由访问请求终端100发出。
S120，获取所述访问请求对应的服务的状态特征信息。
服务器200在接收到访问请求之后，可获取服务器200中相应服务的当前状态信息，基于该状态信息提取状态特征信息，该状态特征信息包括服务负载状态信息、该服务对应的数据库负载状态信息、服务器系统运行状态信息、网络状态信息等。
S130，将所述访问请求和所述服务的状态特征信息作为限流分析模型的输入，所述限流分析模型通过无监督学习和监督学习联合训练得到，所述限流分析模型的输出为所述服务的状态是否符合限流条件。
S140，获取所述限流分析模型的输出，根据所述输出启动/禁用所述服务对应的限流机制；在所述服务对应的限流机制启动状态下，拒绝所述访问请求，在所述服务对应的限流机制禁用状态下，响应所述访问请求。
根据本发明一个实施例，上述的根据所述输出启动/禁用所述服务对应的限流机制的步骤可以包括：若限流分析模型的输出为所述服务的状态符合限流条件，启动所述服务对应的限流机制；若限流分析模型的输出为所述服务的状态不符合限流条件，禁用所述服务对应的限流机制；由此实现对服务的访问限流进行自适应调整处理。
本发明实施例的限流分析模型通过无监督学习和监督学习联合训练得到，能够综合请求针对的服务当前的状态信息，判断服务的当前状态是否需要符合限流的条件，由此控制启动或者禁用对应的限流机制；由此可以针对服务当前运行情况进行实时、多维度、多方面的评估，实现对访问限流的自适应的调整处理。
通过上述实施例的服务访问流量控制方法，服务器在接收到访问请求时，可通过请求针对的服务的当前状态信息以及训练好的限流分析模型，确定所述服务的当前状态是否符合限流条件，基于此启动或者禁用所述服务对应的限流机制；以拒绝所述访问请求或者响应所述访问请求；由于结合了无监督学习、监督学习算法针对服务的状态进行实时、多维度、多方面评估，并基于服务状态，实现对服务限流机制进行灵活的、自适应的调整处理，保障了服务的正常可用。
根据本发明一个实施例，结合图3所示，可通过如下步骤训练上述的限流分析模型：
获取多个时刻服务的状态特征信息，作为第一训练样本数据；对所述第一训练样本数据进行无监督学习，由此构建第一模型，所述第一模型的输出为所述服务的状态判定结果；检测所述第一模型的输出准确度；若所述第一模型的输出准确度达到第一设定条件，将所述第一模型确定为无监督学习模型。具体例如：提取服务状态特征数据(应用服务负载状态、数据库负载状态、系统运行状态、网络状态等等)，使用状态特征数据进行无监督学习建模处理，建模完成后，输出正常、异常服务状态数据；然后，人工对正常、异常服务状态数据进行准确率分析，若准确率达到99％及以上，完成无监督模型建设。
进一步地，将上述步骤得到的无监督学习模型的输出作为第二训练样本数据；对所述第二训练样本数据进行监督学习，由此构建第二模型，所述第二模型的输出为所述服务的状态是否满足限流条件；检测所述第二模型的输出准确度；若所述第二模型的输出准确度达到第二设定条件，将所述第二模型确定为监督学习模型。例如：通过无监督学习模型分析出的正常、异常服务状态数据，进行监督学习模型建设，然后根据此模型随机对服务的状态是否符合限流条件进行分析，当分析结果准确率到99％及以上时，完成监督学习模型建设。
最后，根据所述无监督学习模型和监督学习模型，得到本发明实施例的限流分析模型。由此，在得到限流分析模型之后，当服务器中服务被访问时，输入被访问服务当前的状态特征信息，调用训练好的限流分析模型，可自动判断被访问服务当前的状态是否符合限流条件，当符合限流条件时，服务器将拒绝访问对应服务；当检测不符合限流条件时，服务被正常访问。
根据本发明一个实施例，限流分析模型并非固定不变的，而是不断的对服务器的运行状态信息进行收集、分析以及学习建模，观察是否有新增维度以及每个维度的合理指标值；结合实际用情况，对原有的限流分析模型进行不断的评价及优化。在一个实施例中，可按照设定的时间周期，重新获取多个时刻所述服务的状态特征信息，并基于重新获取到的状态特征信息进行无监督学习和监督学习，以此对所述限流分析模型进行更新；通过对限流分析模型的不断优化或者调整，有利于准确评估服务器当前状态，进而有效启动/禁用服务对应的限流机制，保障服务器的正常运行。
根据本发明一个实施例，上述的对所述第一训练样本数据进行无监督学习的步骤包括：对所述第一训练样本数据进行K-mean聚类学习。其中，K-mean聚类算法思想描述如下：
K——指最后聚成的有K个类；means——平均，指在做聚类时选用类间平均距离进行计算；K-means的算法思想：是通过迭代过程把数据集划分为不同的类别，使得评价聚类性能的准则函数达到最优，从而使生成的每个类做到——类内紧凑，类间独立，具体算法描述为：
(1)从n个数据对象任意选择k个对象，作为初始聚类中心；
(2)根据每个对象的均值(中心对象)，计算每个对象与聚类中心对象的距离；并根据最小距离重新对相应对象进行划分，将其划分给对应的中心对象；
(3)重新计算每个(有变化)聚类的均值(中心对象)；
(4)计算标准测度函数，当满足一定条件，如函数收敛时，则算法终止；如果条件不满足则回到步骤(2)。
基于上述的K-means算法，对应地聚类效果可参考图4所示。
根据本发明一个实施例，所述对所述第二训练样本数据进行监督学习的步骤包括：对所述第二训练样本数据进行支持向量机学习。其中，支持向量机，主要用于解决模式识别领域中的数据分类问题，属于有监督学习算法的一种；支持向量机要解决的问题可以用一个经典的二分类问题加以描述，如图5所示，两种不同颜色的二维数据点显然是可以被一条直线分开的，在模式识别领域称为线性可分问题；然而将两种数据点分开的直线显然不止一条；图5中(b)和(c)分别给出了A、B两种不同的分类方案，其中黑色实线为分界线，即“决策面”；每个决策面对应了一个线性分类器；虽然数据上看，这两个分类器的分类结果是一样的，但如果考虑潜在的其他数据，则两者的分类性能是有差别的，支持向量机算法认为图中的分类器A在性能上优于分类器B，其依据是A的分类间隔比B要大；因此，支持向量机算法要解决的是一个最优分类器的设计问题。
根据本发明一个实施例，上述的获取所述服务的状态特征信息的步骤，包括：获取所述服务的状态信息；对所述状态信息进行预处理，基于处理后的状态信息提取所述服务的状态特征信息。其中，对所述状态信息进行的预处理包括但不限于对数据聚合和归一化处理。通过预处理，去除干扰信息，便于准确提取所述服务的状态特征信息，进而有利于准确评估服务当前的状态。
根据本发明一个实施例，服务的状态特征信息包括：请求响应状态信息、服务负载状态信息、数据库负载状态信息、系统运行状态信息、网络状态信息中的至少两项。其中，请求响应状态信息例如：请求响应成功，则返回200，请求响应失败，则返回4XX、5XX等信息；系统运行状态信息可以包括：服务存活状态信息、服务处理时延信息、系统线程数等；网络状态信息主要包括：网络连通状态(连通、不连通)、网络连接数、网络连接速度等信息。参与评估的状态特征信息的维度越多，得到的限流分析模型越准确，对服务当前的状态的评估越准确。
通过上述实施例的服务访问流量控制方法，对访问请求、服务状态特征进行实时分析，当发现服务状态出现异常时，即对新请求的服务进行及时的拦截并拒绝，以控制访问流量，保障服务器内部服务的正常可用。
应该理解的是，对于前述的各方法实施例，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，方法实施例的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于与上述实施例中的服务访问流量控制方法相同的思想，本文还提供服务访问流量控制装置。
在一个实施例中，如图6所示，本实施例的服务访问流量控制装置包括：
请求接收模块601，用于接收访问请求；
状态获取模块602，用于获取所述访问请求对应的服务的状态特征信息；
分析模块603，用于将所述访问请求和所述服务的状态特征信息作为限流分析模型的输入，所述限流分析模型通过无监督学习和监督学习联合训练得到，所述限流分析模型的输出为所述服务的状态是否符合限流条件；
流量控制模块604，用于获取所述限流分析模型的输出，根据所述输出启动/禁用所述服务对应的限流机制；在所述服务对应的限流机制启动状态下，拒绝所述访问请求，在所述服务对应的限流机制禁用状态下，响应所述访问请求。
根据本发明一个实施例，服务访问流量控制装置还包括：
无监督学习模块，用于获取所述服务的状态特征信息，作为第一训练样本数据；对所述第一训练样本数据进行无监督学习，由此构建第一模型，所述第一模型的输出为所述服务的状态判定结果；检测所述第一模型的输出准确度；若所述第一模型的输出准确度达到第一设定条件，将所述第一模型确定为无监督学习模型；
监督学习模块，用于将所述无监督学习模型的输出作为第二训练样本数据；对所述第二训练样本数据进行监督学习，由此构建第二模型，所述第二模型的输出为所述服务的状态是否满足限流条件；检测所述第二模型的输出准确度；若所述第二模型的输出准确度达到第二设定条件，将所述第二模型确定为监督学习模型；
模型确定模块，用于根据所述无监督学习模型和监督学习模型，得到限流分析模型。
通过上述实施例的服务访问流量控制装置，该服务访问流量控制装置在接收到访问请求时，可通过服务的当前状态特征以及训练好的限流分析模型，确定所述服务的当前状态是否符合限流条件，基于此启动或者禁用所述服务对应的限流机制；以拒绝所述访问请求或者响应所述访问请求；由于结合了无监督学习、监督学习算法针对服务的状态进行实时、多维度、多方面评估，并基于服务状态，实现对服务限流机制进行灵活的、自适应的调整处理，保障了服务的正常可用。
关于服务访问流量控制装置的具体限定可以参见上文中对于服务访问流量控制方法的限定，在此不再赘述。上述服务访问流量控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于服务器中的处理器中，也可以以软件形式存储于服务器中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
此外，上述示例的服务访问流量控制装置的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述服务访问流量控制装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
在一个实施例中，提供了一种服务器，该服务器可以是服务器，其内部结构图可以如图7所示。该服务器包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该服务器的数据库用于存储服务访问流量控制装置数据。该服务器的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种服务访问流量控制方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种服务器，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收访问请求；
获取所述访问请求对应的服务的状态特征信息；
将所述访问请求和所述状态特征信息作为限流分析模型的输入；所述限流分析模型通过无监督学习和监督学习联合训练得到，所述限流分析模型的输出为服务的状态是否符合限流条件；
获取所述限流分析模型的输出，根据所述输出启动/禁用所述服务对应的限流机制；在所述服务对应的限流机制启动状态下，拒绝所述访问请求，在所述服务对应的限流机制禁用状态下，响应所述访问请求。
在一个实施例中，处理器执行计算机程序时还实现上述其他服务访问流量控制方法实施例中的相关步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收访问请求；
获取所述访问请求对应的服务的状态特征信息；
将所述访问请求和所述状态特征信息作为限流分析模型的输入；所述限流分析模型通过无监督学习和监督学习联合训练得到，所述限流分析模型的输出为服务的状态是否符合限流条件；
获取所述限流分析模型的输出，根据所述输出启动/禁用所述服务对应的限流机制；在所述服务对应的限流机制启动状态下，拒绝所述访问请求，在所述服务对应的限流机制禁用状态下，响应所述访问请求。
在一个实施例中，计算机程序被处理器执行时还实现上述其他服务访问流量控制方法实施例中的相关步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
本文实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在本文中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种服务访问流量控制方法，其特征在于，包括：
接收访问请求；
获取所述访问请求对应的服务的状态特征信息；
将所述访问请求和所述状态特征信息作为限流分析模型的输入；所述限流分析模型通过无监督学习和监督学习联合训练得到，所述限流分析模型的输出为服务的状态是否符合限流条件；
获取所述限流分析模型的输出，根据所述输出启动/禁用所述服务对应的限流机制；在所述服务对应的限流机制启动状态下，拒绝所述访问请求，在所述服务对应的限流机制禁用状态下，响应所述访问请求。
2.根据权利要求1所述的方法，其特征在于，通过如下步骤训练所述限流分析模型：
获取多个时刻所述服务的状态特征信息，作为第一训练样本数据；对所述第一训练样本数据进行无监督学习，由此构建第一模型，所述第一模型的输出为所述服务的状态判定结果；检测所述第一模型的输出准确度；若所述第一模型的输出准确度达到第一设定条件，将所述第一模型确定为无监督学习模型；
将所述无监督学习模型的输出作为第二训练样本数据；对所述第二训练样本数据进行监督学习，由此构建第二模型，所述第二模型的输出为所述服务的状态是否满足限流条件；检测所述第二模型的输出准确度；若所述第二模型的输出准确度达到第二设定条件，将所述第二模型确定为监督学习模型；
根据所述无监督学习模型和监督学习模型，得到所述限流分析模型。
3.根据权利要求2所述的方法，其特征在于，还包括：
按照设定的时间周期，重新获取多个时刻所述服务的状态特征信息，并基于重新获取到的状态特征信息进行无监督学习和监督学习，以此对所述限流分析模型进行更新。
4.根据权利要求2所述的方法，其特征在于，所述对所述第一训练样本数据进行无监督学习的步骤，包括：
对所述第一训练样本数据进行K-mean聚类学习。
5.根据权利要求2所述的方法，其特征在于，所述对所述第二训练样本数据进行监督学习的步骤，包括：
对所述第二训练样本数据进行支持向量机学习。
6.根据权利要求2所述的方法，其特征在于，所述获取所述服务的状态特征信息的步骤，包括：
获取所述服务的状态信息；
对所述状态信息进行预处理，基于处理后的状态信息提取所述服务的状态特征信息。
7.根据权利要求2所述的方法，其特征在于，所述服务的状态特征信息包括：请求响应状态信息、服务器负载状态信息、数据库负载状态信息、系统运行状态信息、网络状态信息中的至少两项。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述根据所述输出启动/禁用所述服务对应的限流机制的步骤，包括：
若所述限流分析模型的输出为所述服务的状态符合限流条件，启动所述服务对应的限流机制；
若所述限流分析模型的输出为所述服务的状态不符合限流条件，禁用所述服务对应的限流机制。
9.一种服务访问流量控制装置，其特征在于，包括：
请求接收模块，用于接收访问请求；
状态获取模块，用于获取所述访问请求对应的服务的状态特征信息；
分析模块，用于将所述访问请求和所述服务的状态特征信息作为限流分析模型的输入，所述限流分析模型通过无监督学习和监督学习联合训练得到，所述限流分析模型的输出为所述服务的状态是否符合限流条件；
流量控制模块，用于获取所述限流分析模型的输出，根据所述输出启动/禁用所述服务对应的限流机制；在所述服务对应的限流机制启动状态下，拒绝所述访问请求，在所述服务对应的限流机制禁用状态下，响应所述访问请求。
10.根据权利要求9所述的装置，其特征在于，还包括：
无监督学习模块，用于获取多个时刻所述服务的状态特征信息，作为第一训练样本数据；对所述第一训练样本数据进行无监督学习，由此构建第一模型，所述第一模型的输出为所述服务的状态判定结果；检测所述第一模型的输出准确度；若所述第一模型的输出准确度达到第一设定条件，将所述第一模型确定为无监督学习模型；
督学习模块，用于将所述无监督学习模型的输出作为第二训练样本数据；对所述第二训练样本数据进行监督学习，由此构建第二模型，所述第二模型的输出为所述服务的状态是否满足限流条件；检测所述第二模型的输出准确度；若所述第二模型的输出准确度达到第二设定条件，将所述第二模型确定为监督学习模型；
限流模型构建模块，用于根据所述无监督学习模型和监督学习模型，得到所述限流分析模型。
11.根据权利要求10所述的装置，其特征在于，还包括：
模型更新模块，用于按照设定的时间周期，重新获取多个时刻所述服务的状态特征信息，并基于重新获取到的状态特征信息进行无监督学习和监督学习，以此对所述限流分析模型进行更新。
12.根据权利要求10所述的装置，其特征在于，所述无督学习模块，具体用于对所述第一训练样本数据进行K-mean聚类学习。
13.根据权利要求10所述的装置，其特征在于，所述督学习模块，具体用于对所述第二训练样本数据进行支持向量机学习。
14.一种服务器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910080892.3A CN109922013B (zh) | 2019-01-28 | 2019-01-28 | 服务访问流量控制方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910080892.3A CN109922013B (zh) | 2019-01-28 | 2019-01-28 | 服务访问流量控制方法、装置、服务器和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109922013A true CN109922013A (zh) | 2019-06-21 |
| CN109922013B CN109922013B (zh) | 2022-08-19 |
Family
ID=66961001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910080892.3A Active CN109922013B (zh) | 2019-01-28 | 2019-01-28 | 服务访问流量控制方法、装置、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109922013B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112804216A (zh) * | 2020-12-31 | 2021-05-14 | 中国工商银行股份有限公司 | 一种多粒度自适应服务流量接入控制方法及装置 |
| CN112953845A (zh) * | 2021-02-04 | 2021-06-11 | 中国工商银行股份有限公司 | 分布式系统流量控制方法及装置 |
| CN113949528A (zh) * | 2021-09-09 | 2022-01-18 | 中云网安科技有限公司 | 基于流量数据的访问控制方法、装置、存储介质及设备 |
| CN113949527A (zh) * | 2021-09-07 | 2022-01-18 | 中云网安科技有限公司 | 异常访问的检测方法、装置、电子设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104092756A (zh) * | 2014-07-09 | 2014-10-08 | 东南大学 | 一种基于dht机制的云存储系统的资源动态分配方法 |
| CN107360117A (zh) * | 2016-05-09 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 数据处理的方法、装置及系统 |
| CN107846326A (zh) * | 2017-11-10 | 2018-03-27 | 北京邮电大学 | 一种自适应的半监督网络流量分类方法、系统及设备 |
| CN108429761A (zh) * | 2018-04-10 | 2018-08-21 | 北京交通大学 | 智慧协同网络中资源适配解析服务器DDoS攻击检测防御方法 |
| CN108521408A (zh) * | 2018-03-22 | 2018-09-11 | 平安科技（深圳）有限公司 | 抵抗网络攻击方法、装置、计算机设备及存储介质 |
-
2019
- 2019-01-28 CN CN201910080892.3A patent/CN109922013B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104092756A (zh) * | 2014-07-09 | 2014-10-08 | 东南大学 | 一种基于dht机制的云存储系统的资源动态分配方法 |
| CN107360117A (zh) * | 2016-05-09 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 数据处理的方法、装置及系统 |
| CN107846326A (zh) * | 2017-11-10 | 2018-03-27 | 北京邮电大学 | 一种自适应的半监督网络流量分类方法、系统及设备 |
| CN108521408A (zh) * | 2018-03-22 | 2018-09-11 | 平安科技（深圳）有限公司 | 抵抗网络攻击方法、装置、计算机设备及存储介质 |
| CN108429761A (zh) * | 2018-04-10 | 2018-08-21 | 北京交通大学 | 智慧协同网络中资源适配解析服务器DDoS攻击检测防御方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112804216A (zh) * | 2020-12-31 | 2021-05-14 | 中国工商银行股份有限公司 | 一种多粒度自适应服务流量接入控制方法及装置 |
| CN112804216B (zh) * | 2020-12-31 | 2023-02-24 | 中国工商银行股份有限公司 | 一种多粒度自适应服务流量接入控制方法及装置 |
| CN112953845A (zh) * | 2021-02-04 | 2021-06-11 | 中国工商银行股份有限公司 | 分布式系统流量控制方法及装置 |
| CN112953845B (zh) * | 2021-02-04 | 2023-04-07 | 中国工商银行股份有限公司 | 分布式系统流量控制方法及装置 |
| CN113949527A (zh) * | 2021-09-07 | 2022-01-18 | 中云网安科技有限公司 | 异常访问的检测方法、装置、电子设备及可读存储介质 |
| CN113949528A (zh) * | 2021-09-09 | 2022-01-18 | 中云网安科技有限公司 | 基于流量数据的访问控制方法、装置、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109922013B (zh) | 2022-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109922013A (zh) | 服务访问流量控制方法、装置、服务器和存储介质 | |
| CN110807385B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN107333292B (zh) | 一种sim卡状态判断方法及装置 | |
| CN112633962B (zh) | 业务推荐方法、装置、计算机设备和存储介质 | |
| CN110290021A (zh) | 基于动态规划算法的跨链共识时延优化方法 | |
| US11558769B2 (en) | Estimating apparatus, system, method, and computer-readable medium, and learning apparatus, method, and computer-readable medium | |
| CN110020868B (zh) | 基于线上交易特征的反欺诈模块决策融合方法 | |
| CN110445939B (zh) | 容量资源的预测方法及装置 | |
| Stynes et al. | A probabilistic approach to user mobility prediction for wireless services | |
| CN110288460A (zh) | 基于前向传播的催收预测方法、装置、设备及存储介质 | |
| CN110458240A (zh) | 一种三相桥式整流器故障诊断方法、终端设备及存储介质 | |
| CN107067022B (zh) | 图像分类模型的建立方法、建立装置和设备 | |
| CN113286315A (zh) | 负载均衡判断方法、装置、设备及存储介质 | |
| CN110705685A (zh) | 一种神经网络量化分类方法与系统 | |
| CN116668327A (zh) | 基于动态再训练的小样本恶意流量分类增量学习方法及系统 | |
| CN112800045A (zh) | 一种基于大数据的数据信息分析系统 | |
| CN114612011A (zh) | 一种风险防控决策方法及装置 | |
| CN113676357A (zh) | 面向电力物联网中边缘数据处理的决策方法及其应用 | |
| CN117768498A (zh) | 区块链数据管理方法、装置、电子设备及存储介质 | |
| CN112667912A (zh) | 一种边缘服务器的任务量预测方法 | |
| CN117675938A (zh) | 电力人工智能模型线上调用方法及系统 | |
| CN114697127B (zh) | 一种基于云计算的业务会话风险处理方法及服务器 | |
| CN110391955A (zh) | 网络数据预处理方法、装置、设备及可读存储介质 | |
| KR20230105668A (ko) | 보험의 보장 적합도 제공 장치 및 방법 | |
| CN115063795A (zh) | 一种尿沉渣分类检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220119 Address after: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200040 Applicant after: Tianyi Digital Life Technology Co.,Ltd. Address before: 1 / F and 2 / F, East Garden, Huatian International Plaza, 211 Longkou Middle Road, Tianhe District, Guangzhou, Guangdong 510630 Applicant before: Century Dragon Information Network Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240319 Address after: Unit 1, Building 1, China Telecom Zhejiang Innovation Park, No. 8 Xiqin Street, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Patentee after: Tianyi Shilian Technology Co.,Ltd. Country or region after: Zhong Guo Address before: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200040 Patentee before: Tianyi Digital Life Technology Co.,Ltd. Country or region before: Zhong Guo |