CN111130908B - 基于调用流量分析预测的微服务动态聚合拆分系统 - Google Patents

基于调用流量分析预测的微服务动态聚合拆分系统 Download PDF

Info

Publication number
CN111130908B
CN111130908B CN201911413330.2A CN201911413330A CN111130908B CN 111130908 B CN111130908 B CN 111130908B CN 201911413330 A CN201911413330 A CN 201911413330A CN 111130908 B CN111130908 B CN 111130908B
Authority
CN
China
Prior art keywords
service
micro
calling
module
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911413330.2A
Other languages
English (en)
Other versions
CN111130908A (zh
Inventor
赵学良
刘东升
靳亚超
周江博
王娜娜
李�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CITIC Aibank Corp Ltd
Original Assignee
CITIC Aibank Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CITIC Aibank Corp Ltd filed Critical CITIC Aibank Corp Ltd
Priority to CN201911413330.2A priority Critical patent/CN111130908B/zh
Publication of CN111130908A publication Critical patent/CN111130908A/zh
Application granted granted Critical
Publication of CN111130908B publication Critical patent/CN111130908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种基于调用流量分析预测的微服务动态聚合拆分系统，包括：调用链流量分析统计模块，该模块根据整个微服务系统的调用链统计信息，并分析得出每个服务的调用量随时序的变化和每个微服务之间的调用拓扑关系进而提供数据支持；流量趋势智能预测模块，该模块基于数据支持采用趋势预测模型提前做出流量趋势变化的实时决策；微服务自动部署扩缩容模块，该模块基于实时决策，对不同的微服务实例进行动态的扩容或缩容；以及微服务路径扫描和聚合拆分模块，该模块通过扫描微服务的路径，对微服务进行动态的拆分或聚合。该系统可以解决在整个微服务系统的流量变化过程中资源分配不均导致系统资源被浪费，微服务实例配比分布不合理的问题。

Description

基于调用流量分析预测的微服务动态聚合拆分系统
技术领域
本发明涉及微服务聚合拆分技术领域，特别是涉及一种基于调用流量分析预测的微服务动态聚合拆分系统。
背景技术
现有技术中，基于容器的弹性资源供给方法是：根据容器的资源利用率，对容器内的服务动态的启停，以在不同的场景下实现系统资源的合理分配，避免在流量峰值时造成宕机。基于微服务响应时间的系统资源优化方案是：通过统计不同微服务的响应时间变化，预估系统当前资源压力和网络压力，同时再次对系统资源进行分配，在现有资源下达到期望的响应时间。
公开号为CN105631196B，名称为一种面向微服务架构的容器级弹性资源供给系统及方法的专利申请中，公开了服务架构的容器级弹性资源供给系统及方法。但是，该专利中的方法并不是基于场景的调用链统计，而是将微服务割裂开来，只对各个独立的微服务调用量做出统计，因此并不能实现微服务之间的拓扑分析，为微服务聚合和拆分提供数据基础。
另外，该方法中的预测模型不能将实时的流量数据作为输入为决策提供修正条件，动态生成新的规划和决策。
发明内容
本发明的目的在于提供一种基于调用流量分析预测的微服务动态聚合拆分系统，可以解决在整个微服务系统的流量变化过程中资源分配不均导致系统资源被浪费，微服务实例配比分布不合理的问题。
为实现上述目的，本发明提供了一种基于调用流量分析预测的微服务动态聚合拆分系统，包括：调用链流量分析统计模块，该模块根据整个微服务系统的调用链统计信息，并分析得出每个服务的调用量随时序的变化和每个微服务之间的调用拓扑关系进而提供数据支持；流量趋势智能预测模块，该模块基于数据支持采用趋势预测模型提前做出流量趋势变化的实时决策；微服务自动部署扩缩容模块，该模块基于实时决策，对不同的微服务实例进行动态的扩容或缩容；以及微服务路径扫描和聚合拆分模块，该模块通过扫描微服务的路径，对微服务进行动态的拆分或聚合。
当前微服务大潮下，越来越多的团队开始采用微服务的架构。微服务带来的好处很多，但而从单体应用拆分成微服务的过程却一直是难点。并且对很多项目来说，拆分后因为业务的变动拆分时候的局限性，拆分粒度并不能完全符合拆分的目的，后期可能要对已经拆分的服务进行重新的聚合或二次拆分。这个过程通常需要人工干预手动完成。并且因为一些临时的场景，不同的微服务服务调用量会出现非常大的波动。而目前尚没有一个根据整个系统的流量状况从而做出智能决策，从而使整个系统的资源能得到最大化利用的技术。本方案所提出的技术基于调用链的统计信息，通过智能决策模型，可以解决在整个微服务系统的流量变化过程中资源分配不均导致系统资源被浪费，微服务实例配比分布不合理的问题。
可选的或优选的，调用链统计信息包括每个服务被调用的次数，以及上游调用方和下游的被调用方的信息。
可选的或优选的，分析每个服务的调用量随时序的变化时，得出日变化、周变化数据。
可选的或优选的，流量趋势智能预测模块做出流量趋势变化的实时决策时，根据实时流量的变化趋势，作为预测模型的实时输入，对流量趋势做出实时纠正和曲线纠正。
可选的或优选的，微服务自动部署扩缩容模块根据实时获取的实时策略对不同的服务进行优雅启停，提前对业务场景的变化和需求做出响应。
可选的或优选的，对微服务进行动态的拆分或聚合时：对于多个场景下均处于同一连续调用链的微服务，聚合为一个新的微服务；对于在一个微服务内，用来将该微服务二次拆分，并在新拆分后的微服务后部署不同实例数量。
可选的或优选的，微服务路径扫描和聚合拆分模块根据后期业务场景变化重新调整微服务间的调用关系，并重新规划微服务的粒度。
可选的或优选的，微服务路径扫描和聚合拆分模块用来直接对已经重新规划好的微服务进行灰度发布。
本发明提供的技术方案带来的有益效果是：
1.与以往的动态扩缩容不同，可以根据实时流量趋势分析，基于预测模型，提前对系统资源进行分配和实例伸缩。
2.可以根据业务端到端的调用链统计信息分析模块，得出微服务间的聚合和拆分建议，聚合使服务间调用的网络成本降低，响应更快，而拆分使业务更加灵活，扩缩容的系统资源利用率更高。
3.基于调用链的统计分析，可以更准确的得到不同业务场景下的流量特征信息并纳入预测模型，在相似场景出现时，预测模型可以更准确的得到流量的趋势变化，更早的做出更精准的响应。
附图说明
图1是本发明实施例提供的基于调用流量分析预测的微服务动态聚合拆分系统的架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。显然，所描述的实施例实际上仅仅是说明性的或者示例性的，决不作为对本发明及其应用或使用的任何限制。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的全部细节均已了解的情况下实施。下面对实施例的描述仅仅是为了通过展示本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实施例提供一种基于调用流量分析预测的微服务动态聚合拆分系统，包括调用链流量分析统计模块101、流量趋势智能预测模块102、微服务自动部署扩缩容模块103和微服务路径扫描和聚合拆分模块104。
下文以一种优选的实施方式，对该四个模块进行详细介绍：
1.调用链流量分析统计模块
本模块根据整个微服务系统的调用链统计信息，分析出每个服务被调用的次数，上游调用方和下游的被调用方的信息，在该模块统计后得到两个信息： 1.得到每个服务的调用量随时序的变化，统计出日变化，周变化等，为之后的流量趋势分析和预测做数据准备；2.得到微服务之间的调用拓扑关系，哪些微服务在大部分场景中在同一条调用链上被重复调用，哪些微服务只是内部某个方法被频繁调用，其他的调用量很少，可以考虑到将这些微服务做聚合或拆分。得到这些统计数据之后做微服务聚合分析提供数据支持。
2.流量趋势智能预测模块
该模块的实现和运行基于调用链流量统计分析模块的数据支持。流量趋势智能预测模块可以根据已有的调用链历史统计数据，不同场景时的服务调用变化和趋势，并采用趋势预测模型，结合当前的调用链数据变化趋势，提前做出流量趋势的变化预测，并将决策发送给自动扩缩容模块，实现系统的提前预警和资源准备。并且该系统还能根据实时流量的变化趋势，作为预测模型的实时输入，对流量趋势做出实时纠正和曲线纠正，更新决策并动态规划。
3.微服务自动部署扩缩容模块
该模块基于流量趋势智能预测模块的实时决策，对不同的微服务实例进行动态的扩容或缩容，以适应当前场景下的流量分配需求，实现系统资源利用最大化。该模块实现的实时获取策略，对不同的服务进行优雅启停，在不影响在途业务的情况下，提前对业务场景的变化和需求做出响应，在已有系统资源不变的前提下，完成微服务实例的动态规划以应对场景对应的需求。
4.微服务路径扫描和聚合拆分模块
该模块为系统的二次优化提供支持。根据调用链流量分析统计模块的分析结果，得到整个微服务调用链的拓扑关系和聚合度分析。在多个场景下均处于同一连续调用链的微服务，可以聚合为一个新的微服务，减少服务间调用的网络开销和监控成本。而在一个微服务内，如果不同的方法调用量相差很大，可以考虑将微服务二次拆分，并在新拆分后的微服务后部署不同实例数量。该模块解决了微服务拆分初期规划不合理的问题，后期随着业务场景变化，要重新对微服务间的调用关系做出梳理，并重新规划微服务的粒度。
通过扫描微服务的路径，动态的对这些微服务拆分或聚合。并可以直接对已经重新规划好的微服务进行灰度发布，观测系统的运行状态。
综上，本实施例的基于调用流量分析预测的微服务动态聚合拆分系统，与以往的动态扩缩容不同，可以根据实时流量趋势分析，基于预测模型，提前对系统资源进行分配和实例伸缩。可以根据业务端到端的调用链统计信息分析模块，得出微服务间的聚合和拆分建议，聚合使服务间调用的网络成本降低，响应更快，而拆分使业务更加灵活，扩缩容的系统资源利用率更高。基于调用链的统计分析，可以更准确的得到不同业务场景下的流量特征信息并纳入预测模型，在相似场景出现时，预测模型可以更准确的得到流量的趋势变化，更早的做出更精准的响应。
除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利发明说明书以及权利要求书中使用的″第一″、″第二″以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，″一个″或者″一″等类似词语也不表示数量限制，而是表示存在至少一个。
以上所述仅为本发明的示例实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于调用流量分析预测的微服务动态聚合拆分系统，其特征在于，包括：
调用链流量分析统计模块，该模块根据整个微服务系统的调用链统计信息，分析得出每个服务的调用量随时序的变化和每个微服务之间的调用拓扑关系进而提供数据支持；
流量趋势智能预测模块，该模块基于所述数据支持采用趋势预测模型提前做出流量趋势变化的实时决策；
微服务自动部署扩缩容模块，该模块基于所述实时决策，对不同的微服务实例进行动态的扩容或缩容；以及
微服务路径扫描和聚合拆分模块，该模块通过扫描微服务的路径，对所述微服务进行动态的拆分或聚合。
2.根据权利要求1所述的基于调用流量分析预测的微服务动态聚合拆分系统，其特征在于，所述调用链统计信息包括每个服务被调用的次数，以及上游调用方和下游的被调用方的信息。
3.根据权利要求1所述的基于调用流量分析预测的微服务动态聚合拆分系统，其特征在于，分析每个服务的调用量随时序的变化时，得出日变化、周变化数据。
4.根据权利要求1所述的基于调用流量分析预测的微服务动态聚合拆分系统，其特征在于，所述流量趋势智能预测模块做出流量趋势变化的实时决策时，根据实时流量的变化趋势，作为预测模型的实时输入，对流量趋势做出实时纠正和曲线纠正。
5.根据权利要求1所述的基于调用流量分析预测的微服务动态聚合拆分系统，其特征在于，所述微服务自动部署扩缩容模块根据实时获取的实时决策对不同的服务进行优雅启停，提前对业务场景的变化和需求做出响应。
6.根据权利要求1所述的基于调用流量分析预测的微服务动态聚合拆分系统，其特征在于，对所述微服务进行动态的拆分或聚合时：
对于多个场景下均处于同一连续调用链的微服务，聚合为一个新的微服务；
对于在一个微服务内，如果不同的方法调用量相差较大时，用来将该微服务二次拆分，并在新拆分后的微服务后部署不同实例数量。
7.根据权利要求6所述的基于调用流量分析预测的微服务动态聚合拆分系统，其特征在于，所述微服务路径扫描和聚合拆分模块根据后期业务场景变化重新调整微服务间的调用关系，并重新规划微服务的粒度。
8.根据权利要求7所述的基于调用流量分析预测的微服务动态聚合拆分系统，其特征在于，所述微服务路径扫描和聚合拆分模块用来直接对已经重新规划好的微服务进行灰度发布。
CN201911413330.2A 2019-12-31 2019-12-31 基于调用流量分析预测的微服务动态聚合拆分系统 Active CN111130908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911413330.2A CN111130908B (zh) 2019-12-31 2019-12-31 基于调用流量分析预测的微服务动态聚合拆分系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911413330.2A CN111130908B (zh) 2019-12-31 2019-12-31 基于调用流量分析预测的微服务动态聚合拆分系统

Publications (2)

Publication Number Publication Date
CN111130908A CN111130908A (zh) 2020-05-08
CN111130908B true CN111130908B (zh) 2022-09-06

Family

ID=70506502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911413330.2A Active CN111130908B (zh) 2019-12-31 2019-12-31 基于调用流量分析预测的微服务动态聚合拆分系统

Country Status (1)

Country Link
CN (1) CN111130908B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614779A (zh) * 2020-05-28 2020-09-01 浙江工商大学 一种微服务链优化加速的动态调整方法
CN113742158A (zh) * 2020-06-15 2021-12-03 北京沃东天骏信息技术有限公司 系统容量规划的方法和装置
CN112199150A (zh) * 2020-08-13 2021-01-08 北京航空航天大学 一种基于微服务调用依赖感知的在线应用动态扩缩容方法
CN112380011B (zh) * 2020-11-16 2024-02-27 中国工商银行股份有限公司 一种服务容量的动态调整方法及装置
US11704123B2 (en) * 2020-11-24 2023-07-18 International Business Machines Corporation Automated orchestration of containers by assessing microservices
CN114944993A (zh) * 2021-02-08 2022-08-26 中国电信股份有限公司 微服务的扩缩容方法和装置
CN113037644B (zh) * 2021-03-25 2023-03-24 腾讯音乐娱乐科技（深圳）有限公司 分布式限流的方法和装置
CN113762421B (zh) * 2021-10-22 2024-03-15 中国联合网络通信集团有限公司 分类模型的训练方法、流量分析方法、装置及设备
CN114201231B (zh) * 2021-11-29 2023-01-03 江苏金农股份有限公司 一种分布式的微服务编排系统及方法
CN114650297B (zh) * 2022-02-14 2023-03-10 浙江大学 一种多微服务调用环境下自适应自动缩放方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631196A (zh) * 2015-12-22 2016-06-01 中国科学院软件研究所 一种面向微服务架构的容器级弹性资源供给系统及方法
CN106464742A (zh) * 2015-05-12 2017-02-22 环球互连及数据中心公司 用于基于云的服务交换的可编程网络平台
CN110244991A (zh) * 2019-05-20 2019-09-17 平安科技（深圳）有限公司 一种微服务依赖分析方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169220B2 (en) * 2016-08-05 2019-01-01 International Business Machines Corporation Prioritizing resiliency tests of microservices
CN108683720B (zh) * 2018-04-28 2021-12-14 金蝶软件（中国）有限公司 一种容器集群服务配置方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464742A (zh) * 2015-05-12 2017-02-22 环球互连及数据中心公司 用于基于云的服务交换的可编程网络平台
CN105631196A (zh) * 2015-12-22 2016-06-01 中国科学院软件研究所 一种面向微服务架构的容器级弹性资源供给系统及方法
CN110244991A (zh) * 2019-05-20 2019-09-17 平安科技（深圳）有限公司 一种微服务依赖分析方法及装置

Also Published As

Publication number Publication date
CN111130908A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111130908B (zh) 基于调用流量分析预测的微服务动态聚合拆分系统
CN101340390B (zh) 一种实时业务的调度装置及方法
CN106330576A (zh) 容器化微服务自动伸缩及迁移调度的方法、系统和设备
CN102547648B (zh) 基于用户行为的智能管道流量控制方法
US20100312612A1 (en) Modification of service delivery infrastructure in communication networks
CN104427625A (zh) 一种基于用户体验的网络资源调度方法及系统
CN107454009B (zh) 面向数据中心的离线场景低带宽开销流量调度方案
CN108021447A (zh) 一种基于分布式数据确定最优资源策略的方法及系统
CN107920031A (zh) 接入带宽自适应调整方法和装置
CN102130837A (zh) 一种业务license动态调控方法及其系统
CN105868004A (zh) 一种基于云计算的业务系统的调度方法及调度装置
CN101594685A (zh) 无线资源分配以及业务优先级确定方法、装置及系统
CN107729256A (zh) 一种项目需求和测试用例的关联方法及系统
CN107092649A (zh) 一种面向实时流计算的无感知拓扑替换方法
CN109756372A (zh) 一种电信计费系统的弹性伸缩方法及装置
CN105812594A (zh) 一种预测式自动外拨系统
CN101197730B (zh) 多维混合业务效用的实现方法
CN101170751B (zh) 一种集群系统性能参数的处理方法、装置及系统
CN101917753A (zh) 一种异构网络联合呼叫控制策略的确定方法
CN109274541A (zh) 通信网络的调整方法及装置
CN100452761C (zh) 通信设备中数据包的存储方法
CN110233941B (zh) 一种基于马尔科夫模型的热线话务信道预测方法及系统
CN116405990A (zh) 设备节能方法、系统、电子设备及存储介质
CN107104904A (zh) 一种分组传送网流量识别的网络均衡方法及系统
CN113055223B (zh) 基于aimd算法的虚拟化保信子站系统网络通信方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant