CN111083240A - 一种结合容器技术实现的智能前端引流系统 - Google Patents
一种结合容器技术实现的智能前端引流系统 Download PDFInfo
- Publication number
- CN111083240A CN111083240A CN201911413915.4A CN201911413915A CN111083240A CN 111083240 A CN111083240 A CN 111083240A CN 201911413915 A CN201911413915 A CN 201911413915A CN 111083240 A CN111083240 A CN 111083240A
- Authority
- CN
- China
- Prior art keywords
- container
- service
- strategy
- module
- management module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Debugging And Monitoring (AREA)
Abstract
一种结合容器技术实现的智能前端引流系统，包括负载均衡模块、策略管理模块、数据分析模块、容器管理模块、业务执行环境；本发明的负载均衡策略动态可变，后端服务节点可以根据前端系统引流拉起不同数量的基于容器运行的业务处理程序，通过前后两端的动态配合来实现更优的负载均衡和业务处理资源的配置。数据分析模块具有机器学习能力，对工况数据通过算法计算，实现趋势预测，提前修正执行策略。
Description
技术领域
本发明属于服务器负载均衡处理技术领域，具体是一种结合容器技术实现的智能前端引流系统。
背景技术
在工业互联网领域，随着接入设备的快速增长，并发处理量也往往呈现几何级增长，原有的负载均衡处理方式，往往依靠分布式的方式简单处理。反而对带宽和处理能力上并没有做到一个较好的均衡，尤其是在某些应用场景下，有些服务节点可能还在运行其他的业务程序，系统资源是要分割一部分给其他程序使用的，这样如果采用传统的负载均衡模式，可能会导致其中某个服务节点的CPU长期处于高负荷状态，导致处理出现明显的时延，进而引发水桶效应，拉低系统整体的处理效率。
在软件方式实现的负载均衡系统中，传统的设计方式是采用轮询法、随机法、最小连接法。轮询法是将请求轮流分配给服务节点，无法保证分配任务的合理性，无法根据服务节点承受能力来分配任务；随机法是随机选择一个服务节点来分配任务，保证了请求的分散性来达到均衡的目的，但无法做到足够的分散性，随着任务量的增大，效果趋向轮询后也会具有轮询算法的部分缺点；最小连接法是将任务分配给此时具有最小连接数的节点，是一种动态负载均衡算法，适用于各个节点处理的性能相似时，而当服务器性能差距较大时，就无法达到预期的效果，连接数小而自身可用性能很差的服务节点可能不如连接数大而自身可用性能很好的服务器，无法准确的分配到剩余处理能力强的节点上。
发明内容
为了解决上述现有技术存在的问题，本发明提供了一种结合容器技术实现的智能前端引流系统，实现动态负载均衡，更合理的使用后端服务节点的处理性能。
本发明采用的技术方案：一种结合容器技术实现的智能前端引流系统，其特征在于：包括负载均衡模块、策略管理模块、数据分析模块、容器管理模块、业务执行环境；
所述的负载均衡模块，处理前端业务请求和引流处理，并向数据分析模块提供工况数据A；
所述的策略管理模块，生成执行策略，将执行策略下发到容器管理模块和负载均衡模块；
所述的数据分析模块，对负载均衡模块和业务执行环境采集到的工况数据进行分析，对执行策略进行优化设置，并把修正后的执行策略发送到策略管理模块；
所述的容器管理模块，对后端服务节点上的资源基于容器方式进行管理，对容器运行进行调度；
所述的业务执行环境，运行后端业务处理程序的服务节点，并获取服务节点的工况数据B，提供给数据分析模块。
优选的，所述的工况数据A包括当前的执行策略、外部调用或访问频次及间隔。
优选的，所述的工况数据B包括服务节点的CPU、内存信息和基于容器运行的业务处理程序的数量。
优选的，所述的数据分析模块具有机器学习能力，支持回归分析算法。
优选的，所述的容器管理模块对后端服务节点上的资源基于容器方式进行管理，对容器运行进行调度，包括以容器方式启动新的服务，结束已有服务，配置容器的基础信息，以应对由负载模块引流过来的业务请求。
优选的，所述的负载均衡模块引流处理包括依据不同服务节点的权重分配将业务请求分发给对应的服务节点。
优选的，所述的权重，其计算方式为：M=(N/S)*100,其中M为权重值，N为当前服务节点的基于容器运行的业务处理微系统的数量，S为所有服务节点累计的基于容器运行的业务处理微系统的总数量。
优选的，所述的策略管理模块，生成执行策略采用单独进程实现，下发执行策略采用单独进程实现。
优选的，所述的策略管理模块，设有外来策略配置输入接口。
本发明的有益效果：本发明的负载均衡策略动态可变，后端服务节点可以根据前端系统引流拉起不同数量的基于容器运行的业务处理程序，通过前后两端的动态配合来实现更优的负载均衡和业务处理资源的配置。数据分析模块具有机器学习能力，对工况数据通过算法计算，实现趋势预测，提前修正执行策略。
附图说明
图1是本发明的系统架构图；
图2是本发明数据处理流程图。
具体实施方式
为了进一步说明本发明的技术方案细节及其优点，现结合附图和实施例进行说明。如图1、图2所示，一种结合容器技术实现的智能前端引流系统，其特征在于：包括负载均衡模块、策略管理模块、数据分析模块、容器管理模块、业务执行环境；
所述的负载均衡模块，处理前端业务请求和引流处理，并向数据分析模块提供工况数据A；
所述的策略管理模块，生成执行策略，将执行策略下发到容器管理模块和负载均衡模块；
所述的数据分析模块，对负载均衡模块和业务执行环境采集到的工况数据进行分析，对执行策略进行优化设置，并把修正后的执行策略发送到策略管理模块；
所述的容器管理模块，对后端服务节点上的资源基于容器方式进行管理，对容器运行进行调度；
所述的业务执行环境，运行后端业务处理程序的服务节点，并获取服务节点的工况数据B，提供给数据分析模块。
本实施例中，所述的工况数据A包括当前的执行策略、外部调用或访问频次及间隔。所述的工况数据B包括服务节点的CPU、内存信息和业务数量。
所述的数据分析模块具有机器学习能力，支持回归分析算法。数据分析模块处理的数据来自于负载均衡模块和业务执行环境，从负载均衡模块获取实时的访问压力，通过部署插件的方式从业务执行环境获取该服务节点的CPU、内存等信息，将这些数据作为用于负载均衡策略计算用的参数，本实施例中，数据分析模块采用回归分析算法进行业务量趋势预测，在算法实现语言上可使用python或者java，具体方法为：
S1:获取负载均衡模块历史数据，可基于历史数据库获取，或者从负载均衡模块以积累的方式获取，然后对数据进行格式化和提取；
S2：根据S1中获取的数据构建协方差矩阵，获取矩阵绝对值（可在此步骤中选择是否进行矩阵信息打印），设置矩阵的相关参数值，对训练用数据进行抽取转换的设置；
S3：为计算过程构造对应的矩阵，对特征进行分析，找出与其他特征的相关性大于0.75的所有特征，从数据中删除多余的特征列；
S4：对历史数据进行分割，大部分（70%以上）用于模型训练，小部分（30%以下）用于检验；
S5：调用方法创建线性回归对象，然后进行回归拟合，基于算法模型通过获得的负载均衡数据预测后续的访问量。
所述的容器管理模块对后端服务节点上的资源基于容器方式进行管理，对容器运行进行调度，包括以容器方式启动新的服务，结束已有服务，配置容器的基础信息，以应对由负载模块引流过来的业务请求。所述的负载均衡模块引流处理包括依据不同服务节点的权重分配将业务请求分发给对应的服务节点。所述的策略管理模块，生成执行策略采用单独进程实现，下发执行策略采用单独进程实现。所述的策略管理模块，设有外来策略配置输入接口。
由于服务节点本身可能存在硬件性能上的差异，并且有些服务节点同时也在运行其他任务，因此可用的处理资源差异往往较大。对于可用性能资源较大的服务节点，可通过容器管理模块拉起多个相同服务的方式扩展处理能力，而对于可用性能资源较小的服务节点，则需要适当减少服务个数，避免在该服务节点出现过载。同时将运行服务数多的服务节点的处理权重值进行适当提升，对运行服务数少的服务节点的处理权重值进行适当降低。权重作为负载均衡模块的进行服务分配的依据。可以采用如下方式计算权重：M=(N/S)*100,其中M为权重值，N为当前服务节点的基于容器运行的业务处理微系统的数量，S为所有服务节点累计的基于容器运行的业务处理微系统的总数量，也可以依据实际情况，采用其他方式计算权重。
本实施例中，当系统预测到接下来某个时间段可能出现大量的外部调用，并且其中某个服务节点的CPU和内存可用率较高时，可优先将服务引流到该服务节点进行处理。对于负载均衡策略的执行采用跳跃时间窗的方式执行，即按照时间间隔进行变化，例如1分钟变化一次，避免因为负载均衡策略切换频率过高造成服务节点的空载，而对实际业务处理造成积压和时延。
Claims (9)
1.一种结合容器技术实现的智能前端引流系统，其特征在于：包括负载均衡模块、策略管理模块、数据分析模块、容器管理模块、业务执行环境；
所述的负载均衡模块，处理前端业务请求和引流处理，并向数据分析模块提供工况数据A；
所述的策略管理模块，生成执行策略，将执行策略下发到容器管理模块和负载均衡模块；
所述的数据分析模块，对负载均衡模块和业务执行环境采集到的工况数据进行分析，对执行策略进行优化设置，并把修正后的执行策略发送到策略管理模块；
所述的容器管理模块，对后端服务节点上的资源基于容器方式进行管理，对容器运行进行调度；
所述的业务执行环境，运行后端业务处理程序的服务节点，并获取服务节点的工况数据B，提供给数据分析模块。
2.根据权利要求1所述的一种结合容器技术实现的智能前端引流系统，其特征在于：所述的工况数据A包括当前的执行策略、外部调用或访问频次及间隔。
3.根据权利要求1所述的一种结合容器技术实现的智能前端引流系统，其特征在于：所述的工况数据B包括服务节点的CPU、内存信息和基于容器运行的业务处理程序的数量。
4.根据权利要求1所述的一种结合容器技术实现的智能前端引流系统，其特征在于：所述的数据分析模块具有机器学习能力，支持回归分析算法。
5.根据权利要求1所述的一种结合容器技术实现的智能前端引流系统，其特征在于：所述的容器管理模块对后端服务节点上的资源基于容器方式进行管理，对容器运行进行调度，包括以容器方式启动新的服务，结束已有服务，配置容器的基础信息，以应对由负载模块引流过来的业务请求。
6.根据权利要求1所述的一种结合容器技术实现的智能前端引流系统，其特征在于：所述的负载均衡模块引流处理包括依据不同服务节点的权重分配将业务请求分发给对应的服务节点。
7.根据权利要求6所述的一种结合容器技术实现的智能前端引流系统，其特征在于：所述的权重，其计算方式为：M=(N/S)*100,其中M为权重值，N为当前服务节点的基于容器运行的业务处理微系统的数量，S为所有服务节点累计的基于容器运行的业务处理微系统的总数量。
8.根据权利要求1所述的一种结合容器技术实现的智能前端引流系统，其特征在于：所述的策略管理模块，生成执行策略采用单独进程实现，下发执行策略采用单独进程实现。
9.根据权利要求1所述的一种结合容器技术实现的智能前端引流系统，其特征在于：所述的策略管理模块，设有外来策略配置输入接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911413915.4A CN111083240A (zh) | 2019-12-31 | 2019-12-31 | 一种结合容器技术实现的智能前端引流系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911413915.4A CN111083240A (zh) | 2019-12-31 | 2019-12-31 | 一种结合容器技术实现的智能前端引流系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111083240A true CN111083240A (zh) | 2020-04-28 |
Family
ID=70320637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911413915.4A Pending CN111083240A (zh) | 2019-12-31 | 2019-12-31 | 一种结合容器技术实现的智能前端引流系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111083240A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140156835A1 (en) * | 2010-09-21 | 2014-06-05 | Amazon Technologies, Inc. | Methods and systems for dynamically managing requests for computing capacity |
| CN105323282A (zh) * | 2014-07-28 | 2016-02-10 | 神州数码信息系统有限公司 | 一种面向多租户的企业应用部署与管理系统 |
| CN106790726A (zh) * | 2017-03-30 | 2017-05-31 | 电子科技大学 | 一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法 |
| CN107426274A (zh) * | 2017-04-06 | 2017-12-01 | 云南小鹰科技有限公司 | 基于时序的业务应用及监控分析调度的方法和系统 |
| CN107589992A (zh) * | 2017-08-02 | 2018-01-16 | 北京大学（天津滨海）新代信息技术研究院 | 一种基于群体智能的容器化应用负载调度方法 |
| CN107707597A (zh) * | 2017-04-26 | 2018-02-16 | 贵州白山云科技有限公司 | 一种突发热点访问均衡处理方法及装置 |
| CN108632384A (zh) * | 2018-05-15 | 2018-10-09 | 西安电子科技大学 | 基于视频请求数预测的负载均衡方法 |
| CN108737548A (zh) * | 2018-05-24 | 2018-11-02 | 南京邮电大学 | 分布式web微服务容器集群架构系统及其实现方法 |
| CN110149396A (zh) * | 2019-05-20 | 2019-08-20 | 华南理工大学 | 一种基于微服务架构的物联网平台构建方法 |
-
2019
- 2019-12-31 CN CN201911413915.4A patent/CN111083240A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140156835A1 (en) * | 2010-09-21 | 2014-06-05 | Amazon Technologies, Inc. | Methods and systems for dynamically managing requests for computing capacity |
| CN105323282A (zh) * | 2014-07-28 | 2016-02-10 | 神州数码信息系统有限公司 | 一种面向多租户的企业应用部署与管理系统 |
| CN106790726A (zh) * | 2017-03-30 | 2017-05-31 | 电子科技大学 | 一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法 |
| CN107426274A (zh) * | 2017-04-06 | 2017-12-01 | 云南小鹰科技有限公司 | 基于时序的业务应用及监控分析调度的方法和系统 |
| CN107707597A (zh) * | 2017-04-26 | 2018-02-16 | 贵州白山云科技有限公司 | 一种突发热点访问均衡处理方法及装置 |
| CN107589992A (zh) * | 2017-08-02 | 2018-01-16 | 北京大学（天津滨海）新代信息技术研究院 | 一种基于群体智能的容器化应用负载调度方法 |
| CN108632384A (zh) * | 2018-05-15 | 2018-10-09 | 西安电子科技大学 | 基于视频请求数预测的负载均衡方法 |
| CN108737548A (zh) * | 2018-05-24 | 2018-11-02 | 南京邮电大学 | 分布式web微服务容器集群架构系统及其实现方法 |
| CN110149396A (zh) * | 2019-05-20 | 2019-08-20 | 华南理工大学 | 一种基于微服务架构的物联网平台构建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨鹏飞: ""基于Kubernetes的资源动态调度的研究与实现"", 《中国优秀硕士学位论文全文数据库》 * |
| 陈文楷: ""基于docker容器的高并发web系统架构设计与实现"", 《中国优秀硕士学位论文全文数据库》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109218355B (zh) | 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法 | |
| WO2021179462A1 (zh) | 基于改进量子蚁群算法的Spark平台任务调度方法 | |
| US7712102B2 (en) | System and method for dynamically configuring a plurality of load balancers in response to the analyzed performance data | |
| US8261266B2 (en) | Deploying a virtual machine having a virtual hardware configuration matching an improved hardware profile with respect to execution of an application | |
| US20060277295A1 (en) | Monitoring system and monitoring method | |
| CN103401947A (zh) | 多个服务器的任务分配方法和装置 | |
| CN105900064A (zh) | 调度数据流任务的方法和装置 | |
| CN112261120B (zh) | 一种配电物联网云边协同任务卸载方法及装置 | |
| CN106557369A (zh) | 一种多线程的管理方法及系统 | |
| CN111625331A (zh) | 任务调度方法、装置、平台、服务器及存储介质 | |
| CN111459641B (zh) | 一种跨机房的任务调度和任务处理的方法及装置 | |
| CN108021447B (zh) | 一种基于分布式数据确定最优资源策略的方法及系统 | |
| CN110187960A (zh) | 一种分布式资源调度方法及装置 | |
| CN108874623A (zh) | 分布式集群性能监控方法、装置、设备、系统及存储介质 | |
| CN111985851B (zh) | 银行网点资源调度方法及装置 | |
| CN108616553B (zh) | 云计算资源池进行资源调度的方法及装置 | |
| CN110149377A (zh) | 一种视频服务节点资源分配方法、系统、装置及存储介质 | |
| CN116244081B (zh) | 一种多核存算一体加速器网络拓扑结构控制系统 | |
| CN103488538B (zh) | 云计算系统中的应用扩展装置和应用扩展方法 | |
| CN105404549A (zh) | 基于yarn架构的虚拟机调度系统 | |
| CN112689007A (zh) | 资源分配方法、装置、计算机设备和存储介质 | |
| CN107566535B (zh) | 基于Web地图服务并发访问时序规则的自适应负载均衡方法 | |
| CN115686792A (zh) | 任务调度方法、装置、电子设备、存储介质及产品 | |
| CN115421930A (zh) | 任务处理方法、系统、装置、设备及计算机可读存储介质 | |
| CN106407013B (zh) | 资源动态调度的方法、装置、资源调度服务器及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 221000 east side of Keji Road, Xuzhou Economic and Technological Development Zone, Jiangsu Province Applicant after: JIANGSU XUGONG INFORMATION TECHNOLOGY Co.,Ltd. Address before: No. 6, Drum Tower District, Jiangsu Province, Xuzhou City, Jiangsu Applicant before: JIANGSU XUGONG INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200428 |
|
| RJ01 | Rejection of invention patent application after publication |