CN114168152A - 基于机器学习的业务应用开发和业务运维管理系统 - Google Patents

Abstract

本发明公开了基于机器学习的业务应用开发和业务运维管理系统，包括需求管理平台及机器学习平台、云管理平台及DevOps可交付工具链平台、监控及自动化采集以及自动化引擎平台。本发明通过DevOps工具链实现业务应用自动化部署，云资源和业务应用自动化采集技术，实现运营和运维数据汇聚，并使用机器学习算法模拟各种业务场景，实现业务应用各种场景下自动愈合并稳定运营业务应用，通过机器学习技术解决业务应用开发实现，充分使用云技术和DevOps工具链实现自动化实现资源、业务应用交付能力，探索机器学习算法来模拟各种业务场景，使业务运营环境能做到自愈合稳定运营。

Description

基于机器学习的业务应用开发和业务运维管理系统

技术领域

本发明涉及机器学习领域，具体是基于机器学习的业务应用开发和业务运维管理系统。

背景技术

无论是国内和国际上，目前外部环境大多是大学专业实验室积极向外拓展，以机器学习为手段，积极寻找实验环境，获取真实训练案例，然后通过实验室不停训练达到更加逼近真实的效果来完成真实环境的需求。但是从这一趋势来看，确实机器学习是各个层面的涉及技术相关的机构、企业都在努力发展的，并有非常大的潜力去改变未来产业格局的技术力量。所以当前国内外技术学校、科研机构、专业企业都不遗余力的往这方面投资。这些专业实验室出具的产品和学习模型相对于企业发展是滞后的，同时随着技术的不断更新递进，等待形成产品出现时，基本上企业已经相对于落后或者出于已经稳态运营，基本上只能付诸到运营和运维阶段，并不能形成一体式交付。优势是专业实验室精准，人员技术水平精深。劣势是企业环境复杂，技术与时俱进，不能第一时间获取到变化过程的真实数据和动因。

作为电力企业内部，目前机器学习尚且基本上属于空白部分。在哪一个方向来尝试和使用机器学习并通过机器学习这个技术转化为服务，就当前技术和服务内容来说，电力云资源服务体系，是一个非常不错的地方。因此，需要更多的技术关注前缘技术，尤其想机器学习此类技术为行业定下标准和行规的技术，一定要主动投入，充分实践，积极掌握第一份与行业业务相关的技术积累。电力有着得天独厚的业务优势和市场环境，同时也有着深厚的用户信任，可以在点上进行试点，积累技术经验，不断迭代优化机器学习给予业务发展的技术回报，可持续推进业务服务改造升级，不断给通过技术积累，将传统电力服务拓宽到电力涉及的群众、企业服务的方方面面。

随着互联网信息化技术的快速发展，各类全新架构，软件雨后春笋般快速发展，技术架构朝着复杂化、云化、微服务化的方向发展，逐步实施X86、分布式等架构改造，但由此也带来“系统架构日益复杂”，“系统量级日益庞大”，“业务调用关系复杂”，“软件维护标准不同”，“系统监控及可视化能力不足”等痛点，如何有效提升业务应用开发效率，提升业务运维管理质量和效率，减少业务开发和运维管理成本，是我们当前面临的全新挑战。

1、系统复杂：

架构复杂：新技术及架构的引入，系统复杂度不断提升，对系统的稳定和维护带来挑战。

量级激增：X86及云化后系统设备激增，带来的海量主机运维挑战。

开发和运维要求提升：系统分布式架构环境下，系统扩容及维护排障要求大幅度增加。

2、业务多变：

井喷式流量：互联网式营销模式下，秒杀抢红包等活动带来大流量高并发的调整。

业务模式多变：已流量经营为模式，各类互联网式业务发展，需保障业务的稳定及交付。

业务高耦合：业务系统高耦合，业务逻辑复杂，业务交付难度大，维护成本高。

3、版本杂乱：

多厂商：系统由多厂商建设，代码标准不统一，PaaS平台不统一。

开源软件多版本：开发商软件平台开源软件版本基线不统一，安全漏洞，配置优化，产品性能可控能力低。

维护不统一：多开发商导致系统标准差异化大，维护标准不一，维护无法实现统一集中化。

4、运维低效：

人肉运维效率低：传统人肉式运维效率低下，无法承受分布式系统架构带来的海量运维要求。

脚本运维失误广：效率依靠脚本质量，同时也带来了脚本错误导致人为故障大面积影响业务系统的隐患。

运维平台不统一：各厂商运维模式及平台多样化，不统一，无法实现运维的管控。

5、监控片面：

监控覆盖不全：随着各类新技术架构的普及，监控需覆盖各个环节保障全方位监控，

监控深度不够：监控需实现深度下钻，精确定位故障问题，排除隐患。

可视化能力不足：庞大而复杂的架构下更需要强大的可视化能力展现系统架构及健康度。

综上，利用一套基于机器学习的业务应用开发和业务运维管理系统，从而实现从需求到代码开发到业务交付到运维管理的一整套DevOps体系是十分必要的。

发明内容

本发明的目的在于提供基于机器学习的业务应用开发和业务运维管理系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

基于机器学习的业务应用开发和业务运维管理系统，包括：

需求管理平台及机器学习平台，是需求标准化管理，需求分析粒度分解管理到机器学习平台可识别，机器学习平台可定制模式识别标准化需求，并实现业务应用代码实现交付，通过云技术平台，提交到测试环境，需求提出方参与需求验证及各种场景测试；

云管理平台及DevOps可交付工具链平台，需求部署架构交付给云管理平台，自动化实现资源交付，DevOps实现业务应用可持续自动化部署，并且与机器学习平台相集成，完成业务运行异常时，自动化平行扩展愈合业务应用服务；

监控及自动化采集，通过部署监控获取业务运营数据、资源性能数据、网络数据，同时通过自动化监测完善业务运营实时流量和场景异常模式定义，并采用机器学习算法，自动化识别和告警业务场景异常。

作为本发明进一步的方案：还包括自动化引擎平台，自动化引擎平台是贯穿和集成各个平台的主要手段，通过编排流转和实现自动化交付内容。

作为本发明进一步的方案：需求管理平台及机器学习平台以资源为核心建立统一需求管理门户，以数据为基础驱动建立数字化运营平台，以流程、自动化，智能化为手段实现资源与数据的全生命周期管理，以智能化算法场景为抓手，实现智能运维。

作为本发明进一步的方案：云管理平台及DevOps可交付工具链平台搭建“公有云体验”的私有PaaS云计算平台，以租户模式交付资源，以容器模式交付应用，提供覆盖基础设施集成、平台层组件、应用层接口的能力，解决开发、运维、运营面临的问题。

作为本发明进一步的方案：云管理平台及DevOps可交付工具链平台实现计算平台统一调度，服务组件统一管理，标准化、自动化运维管理，增强智能支撑能力，贯彻“厚平台，薄应用”的理念，实现平台服务能力和运维能力的集成管理。

作为本发明进一步的方案：监控及自动化采集利用特定的工具和过程对业务应用的性能和可用性进行监控和管理，致力于发现、诊断并定位复杂应用的性能瓶颈和故障，以保证应用达到预期的服务水平和用户体验，从多个层面完善端到端监控能力、业务系统部署拓扑图、业务调用关系统计分析、业务调用过程、链路性能分析，做到业务请求代码级执行过程和性能分析，精确分析代码级调用性能和效率，和数据库SQL详细执行性能和效率与业务请求关联分析，准确知悉影响业务的数据库SQL性能层级监控。

作为本发明进一步的方案：监控及自动化采集包括监控平台，整个监控平台具备动态阈值告警，智能系统根据配置项周期历史中业务同比数据计算，得到配置项指标值的平均值和标准差，对比当前指标项值超过限定范围自动产生告警，动态调整指标告警阈值范围，实现动态告警功能。

作为本发明进一步的方案：整个监控平台还具备融合异常检测算法,融合xgboost、ewma、ridge regression、iForest以及基于统计的三倍标准差等异常检测算法，通过多种算法进行联合判定数据点是否异常、提升异常检测的稳定性和准确率。

作为本发明进一步的方案：整个监控平台还具备告警去噪和和聚类分析，通过建立告警规则和学习机制，系统自动对告警信息进行重要性甄别，聚类分析算法分析识别告警场景。

作为本发明再进一步的方案：整个监控平台还具备趋势预测和容量评估，创建趋势预测的任务去预测应用性能指标、应用负载指标。使用趋势分析进行异常和容量预测。

与现有技术相比，本发明的有益效果是：

本发明通过DevOps工具链实现业务应用自动化部署，云资源和业务应用自动化采集技术，实现运营和运维数据汇聚，并使用机器学习算法模拟各种业务场景，实现业务应用各种场景下自动愈合并稳定运营业务应用，通过机器学习技术解决业务应用开发实现，充分使用云技术和DevOps工具链实现自动化实现资源、业务应用交付能力，探索机器学习算法来模拟各种业务场景，使业务运营环境能做到自愈合稳定运营。

附图说明

图1为基于机器学习的业务应用开发和业务运维管理系统的需求管理平台及机器学习平台的系统框图。

图2为基于机器学习的业务应用开发和业务运维管理系统的云管理平台及DevOps可交付工具链平台的系统框图。

图3为基于机器学习的业务应用开发和业务运维管理系统中的监控设计模型图。

图4为基于机器学习的业务应用开发和业务运维管理系统中的采集设计模型图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参阅图1-4，基于机器学习的业务应用开发和业务运维管理系统，包括：

需求管理平台及机器学习平台，是需求标准化管理，需求分析粒度分解管理到机器学习平台可识别，机器学习平台可定制模式识别标准化需求，并实现业务应用代码实现交付，通过云技术平台，提交到测试环境，需求提出方参与需求验证及各种场景测试；

云管理平台及DevOps可交付工具链平台，需求部署架构交付给云管理平台，自动化实现资源交付，DevOps实现业务应用可持续自动化部署，并且与机器学习平台相集成，完成业务运行异常时，自动化平行扩展愈合业务应用服务；

监控及自动化采集，通过部署监控获取业务运营数据、资源性能数据、网络数据，同时通过自动化监测完善业务运营实时流量和场景异常模式定义，并采用机器学习算法，自动化识别和告警业务场景异常。

优选的，还包括自动化引擎平台，自动化引擎平台是贯穿和集成各个平台的主要手段，通过编排流转和实现自动化交付内容。

优选的，需求管理平台及机器学习平台以资源为核心建立统一需求管理门户，以数据为基础驱动建立数字化运营平台，以流程、自动化，智能化为手段实现资源与数据的全生命周期管理，以智能化算法场景为抓手，实现智能运维。

优选的，云管理平台及DevOps可交付工具链平台搭建“公有云体验”的私有PaaS云计算平台，以租户模式交付资源，以容器模式交付应用，提供覆盖基础设施集成、平台层组件、应用层接口的能力，解决开发、运维、运营面临的问题。

优选的，云管理平台及DevOps可交付工具链平台实现计算平台统一调度，服务组件统一管理，标准化、自动化运维管理，增强智能支撑能力，贯彻“厚平台，薄应用”的理念，实现平台服务能力和运维能力的集成管理。

优选的，监控及自动化采集利用特定的工具和过程对业务应用的性能和可用性进行监控和管理，致力于发现、诊断并定位复杂应用的性能瓶颈和故障，以保证应用达到预期的服务水平和用户体验，从多个层面完善端到端监控能力、业务系统部署拓扑图、业务调用关系统计分析、业务调用过程、链路性能分析，做到业务请求代码级执行过程和性能分析，精确分析代码级调用性能和效率，和数据库SQL详细执行性能和效率与业务请求关联分析，准确知悉影响业务的数据库SQL性能层级监控。

实施例二

请参阅图1-4，基于机器学习的业务应用开发和业务运维管理系统，包括：

需求管理平台及机器学习平台，是需求标准化管理，需求分析粒度分解管理到机器学习平台可识别，机器学习平台可定制模式识别标准化需求，并实现业务应用代码实现交付，通过云技术平台，提交到测试环境，需求提出方参与需求验证及各种场景测试；

云管理平台及DevOps可交付工具链平台，需求部署架构交付给云管理平台，自动化实现资源交付，DevOps实现业务应用可持续自动化部署，并且与机器学习平台相集成，完成业务运行异常时，自动化平行扩展愈合业务应用服务；

监控及自动化采集，通过部署监控获取业务运营数据、资源性能数据、网络数据，同时通过自动化监测完善业务运营实时流量和场景异常模式定义，并采用机器学习算法，自动化识别和告警业务场景异常。

优选的，还包括自动化引擎平台，自动化引擎平台是贯穿和集成各个平台的主要手段，通过编排流转和实现自动化交付内容。

优选的，需求管理平台及机器学习平台以资源为核心建立统一需求管理门户，以数据为基础驱动建立数字化运营平台，以流程、自动化，智能化为手段实现资源与数据的全生命周期管理，以智能化算法场景为抓手，实现智能运维。

优选的，云管理平台及DevOps可交付工具链平台搭建“公有云体验”的私有PaaS云计算平台，以租户模式交付资源，以容器模式交付应用，提供覆盖基础设施集成、平台层组件、应用层接口的能力，解决开发、运维、运营面临的问题。

优选的，云管理平台及DevOps可交付工具链平台实现计算平台统一调度，服务组件统一管理，标准化、自动化运维管理，增强智能支撑能力，贯彻“厚平台，薄应用”的理念，实现平台服务能力和运维能力的集成管理。

优选的，监控及自动化采集利用特定的工具和过程对业务应用的性能和可用性进行监控和管理，致力于发现、诊断并定位复杂应用的性能瓶颈和故障，以保证应用达到预期的服务水平和用户体验，从多个层面完善端到端监控能力、业务系统部署拓扑图、业务调用关系统计分析、业务调用过程、链路性能分析，做到业务请求代码级执行过程和性能分析，精确分析代码级调用性能和效率，和数据库SQL详细执行性能和效率与业务请求关联分析，准确知悉影响业务的数据库SQL性能层级监控。

实施例二与实施例一的区别在于：

优选的，监控及自动化采集包括监控平台，整个监控平台具备动态阈值告警，智能系统根据配置项周期历史中业务同比数据计算，得到配置项指标值的平均值和标准差，对比当前指标项值超过限定范围自动产生告警，动态调整指标告警阈值范围，实现动态告警功能。

优选的，整个监控平台还具备融合异常检测算法,融合xgboost、ewma、ridgeregression、iForest以及基于统计的三倍标准差等异常检测算法，通过多种算法进行联合判定数据点是否异常、提升异常检测的稳定性和准确率。

优选的，整个监控平台还具备告警去噪和和聚类分析，通过建立告警规则和学习机制，系统自动对告警信息进行重要性甄别，聚类分析算法分析识别告警场景。

优选的，整个监控平台还具备趋势预测和容量评估，创建趋势预测的任务去预测应用性能指标、应用负载指标。使用趋势分析进行异常和容量预测。

本发明通过DevOps工具链实现业务应用自动化部署，云资源和业务应用自动化采集技术，实现运营和运维数据汇聚，并使用机器学习算法模拟各种业务场景，实现业务应用各种场景下自动愈合并稳定运营业务应用，通过机器学习技术解决业务应用开发实现，充分使用云技术和DevOps工具链实现自动化实现资源、业务应用交付能力，探索机器学习算法来模拟各种业务场景，使业务运营环境能做到自愈合稳定运营。

本发明实施原则为小范围试点，重点技术突破，完整性测试通过后再进行逐步推广应用，应用原则为以通用性功能，如监控、标准软件升级等为优先实现模块，针对具体业务上层代码的自动编写实现则后置。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.基于机器学习的业务应用开发和业务运维管理系统，其特征在于，包括：

需求管理平台及机器学习平台，是需求标准化管理，需求分析粒度分解管理到机器学习平台可识别，机器学习平台可定制模式识别标准化需求，并实现业务应用代码实现交付，通过云技术平台，提交到测试环境，需求提出方参与需求验证及各种场景测试；

云管理平台及DevOps可交付工具链平台，需求部署架构交付给云管理平台，自动化实现资源交付，DevOps实现业务应用可持续自动化部署，并且与机器学习平台相集成，完成业务运行异常时，自动化平行扩展愈合业务应用服务；

监控及自动化采集，通过部署监控获取业务运营数据、资源性能数据、网络数据，同时通过自动化监测完善业务运营实时流量和场景异常模式定义，并采用机器学习算法，自动化识别和告警业务场景异常。

2.根据权利要求1所述的基于机器学习的业务应用开发和业务运维管理系统，其特征在于，还包括自动化引擎平台，自动化引擎平台是贯穿和集成各个平台的主要手段，通过编排流转和实现自动化交付内容。

3.根据权利要求1所述的基于机器学习的业务应用开发和业务运维管理系统，其特征在于，需求管理平台及机器学习平台以资源为核心建立统一需求管理门户，以数据为基础驱动建立数字化运营平台，以流程、自动化，智能化为手段实现资源与数据的全生命周期管理，以智能化算法场景为抓手，实现智能运维。

4.根据权利要求1所述的基于机器学习的业务应用开发和业务运维管理系统，其特征在于，云管理平台及DevOps可交付工具链平台搭建“公有云体验”的私有PaaS云计算平台，以租户模式交付资源，以容器模式交付应用，提供覆盖基础设施集成、平台层组件、应用层接口的能力，解决开发、运维、运营面临的问题。

5.根据权利要求4所述的基于机器学习的业务应用开发和业务运维管理系统，其特征在于，云管理平台及DevOps可交付工具链平台实现计算平台统一调度，服务组件统一管理，标准化、自动化运维管理，增强智能支撑能力，贯彻“厚平台，薄应用”的理念，实现平台服务能力和运维能力的集成管理。

6.根据权利要求1所述的基于机器学习的业务应用开发和业务运维管理系统，其特征在于，监控及自动化采集利用特定的工具和过程对业务应用的性能和可用性进行监控和管理，致力于发现、诊断并定位复杂应用的性能瓶颈和故障，以保证应用达到预期的服务水平和用户体验，从多个层面完善端到端监控能力、业务系统部署拓扑图、业务调用关系统计分析、业务调用过程、链路性能分析，做到业务请求代码级执行过程和性能分析，精确分析代码级调用性能和效率，和数据库SQL详细执行性能和效率与业务请求关联分析，准确知悉影响业务的数据库SQL性能层级监控。

7.根据权利要求6所述的基于机器学习的业务应用开发和业务运维管理系统，其特征在于，监控及自动化采集包括监控平台，整个监控平台具备动态阈值告警，智能系统根据配置项周期历史中业务同比数据计算，得到配置项指标值的平均值和标准差，对比当前指标项值超过限定范围自动产生告警，动态调整指标告警阈值范围，实现动态告警功能。

8.根据权利要求7所述的基于机器学习的业务应用开发和业务运维管理系统，其特征在于，整个监控平台还具备融合异常检测算法,融合xgboost、ewma、ridge regression、iForest以及基于统计的三倍标准差等异常检测算法，通过多种算法进行联合判定数据点是否异常、提升异常检测的稳定性和准确率。

9.根据权利要求7所述的基于机器学习的业务应用开发和业务运维管理系统，其特征在于，整个监控平台还具备告警去噪和和聚类分析，通过建立告警规则和学习机制，系统自动对告警信息进行重要性甄别，聚类分析算法分析识别告警场景。

10.根据权利要求7所述的基于机器学习的业务应用开发和业务运维管理系统，其特征在于，整个监控平台还具备趋势预测和容量评估，创建趋势预测的任务去预测应用性能指标、应用负载指标。使用趋势分析进行异常和容量预测。

Images