CN112766599A - 一种基于深度强化学习的智能运维方法 - Google Patents

一种基于深度强化学习的智能运维方法 Download PDF

Info

Publication number
CN112766599A
CN112766599A CN202110126833.2A CN202110126833A CN112766599A CN 112766599 A CN112766599 A CN 112766599A CN 202110126833 A CN202110126833 A CN 202110126833A CN 112766599 A CN112766599 A CN 112766599A
Authority
CN
China
Prior art keywords
maintenance
data
architecture
reinforcement learning
deep reinforcement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110126833.2A
Other languages
English (en)
Inventor
吴汉扬
魏芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yuanchuang Power Technology Co ltd
Original Assignee
Guangzhou Yuanchuang Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yuanchuang Power Technology Co ltd filed Critical Guangzhou Yuanchuang Power Technology Co ltd
Priority to CN202110126833.2A priority Critical patent/CN112766599A/zh
Publication of CN112766599A publication Critical patent/CN112766599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度强化学习的智能运维方法，涉及自动化运维技术领域，包括以下步骤：预先采集数据信息并通过数据采集器导入至架构仿真器；对数据采集器采集数据信息构造运维数字孪生环境；推理服务从规则存储数据库中加载模型；运维事件发生后，经过推理服务进行推理，得到匹配的适合Ansible所使用的PlayBook文件，触发运维动作。本发明使用了各类运维数据，保证深度强化学习的训练环境与生产环境保持一致，增强了可靠性与实时性，采用深度强化学习方法对运维规则进行训练，降低了规则维护的人力物力，提升了运维规则的准确性与实效性，其智能化的发现自动化运维的规则，全自动的更新运维规则，大幅降低自动化运维中规则老化的情况。

Description

一种基于深度强化学习的智能运维方法
技术领域
本发明涉及自动化运维技术领域，具体来说，涉及一种基于深度强化学习的智能运维方法。
背景技术
在过去几年，运维从传统低效的人工运维走向了自动化运维，相比起人工运维完全凭借个人的经验进行运维操作，自动化运维通过编写将一系列的规则交给自动化运维工具，典型的技术如Ansible的PlayBook、SaltStack的SLS，通过自动化的运维手段大幅的降低了运维的成本。
但是，基于规则的自动化运维依然有非常多的问题，典型的问题是规则老化，随着所运维的目标业务、目标设备发生变化，自动化运维的规则会出现老化、不适用的情况，这种时候需要运维人员对规则进行人工的重新的修改，这是非常耗费人力的事情。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于深度强化学习的智能运维方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于深度强化学习的智能运维方法，包括以下步骤：
预先采集数据信息并通过数据采集器导入至架构仿真器；
基于架构仿真器以Kubernetes作为底层架构，对CMDB中的架构进行拓扑重现，对数据采集器采集数据信息构造运维数字孪生环境，对数字孪生环境使用深度强化学习算法DQN，以ITSM为的数据作为DQN算法的Q值评判依据，寻找最佳的运维规则组合，将训练所得到的模型存放进入规则存储数据库；
推理服务从规则存储数据库中加载模型；
运维事件发生后，经过推理服务进行推理，得到匹配的适合Ansible所使用的PlayBook文件，触发运维动作。
进一步的，所述数据采集器采集数据信息，包括以下步骤：
所述数据采集器从监控系统获取历史指标数据，作为架构仿真器的监控数据基础；
所述数据采集器从日志系统中获取历史日志数据，作为架构仿真器的日志数据基础；
所述数据采集器从网络流量监控系统获取网络流量包的历史数据，作为架构仿真器的流量包数据重播基础；
所述数据采集器从ITSM中获取自动化运维脚本记录和故障维护记录，作为深度强化学习算法的脚本执行基础和Q表评判依据。
进一步的，所述基于架构仿真器以Kubernetes作为底层架构，对CMDB中的架构进行拓扑重现，包括以下步骤：
架构仿真器从CMDB中获取架构信息，作为架构仿真器的架构仿真基础。
本发明的有益效果：
本发明基于深度强化学习的智能运维方法，通过预先采集数据信息并通过数据采集器导入至架构仿真器，基于架构仿真器以Kubernetes作为底层架构，对CMDB中的架构进行拓扑重现，对数据采集器采集数据信息构造运维数字孪生环境，对数字孪生环境使用深度强化学习算法DQN，以ITSM为的数据作为DQN算法的Q值评判依据，寻找最佳的运维规则组合，将训练所得到的模型存放进入规则存储数据库，推理服务从规则存储数据库中加载模型，运维事件发生后，经过推理服务进行推理，得到匹配的适合Ansible所使用的PlayBook文件，触发运维动作，实现充分使用了各类运维数据，采用数字孪生技术对生产环境进行一比一的复现，保证深度强化学习的训练环境与生产环境保持一致，增强了可靠性与实时性，采用深度强化学习方法对运维规则进行训练，使得运维规则不再老化，能和当前的生产环境相匹配，降低了规则维护的人力物力，提升了运维规则的准确性与实效性，其智能化的发现自动化运维的规则，全自动的更新运维规则，大幅降低自动化运维中规则老化的情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于深度强化学习的智能运维方法的原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于深度强化学习的智能运维方法。
如图1所示，根据本发明实施例的基于深度强化学习的智能运维方法，包括以下步骤：
步骤S1，预先采集数据信息并通过数据采集器导入至架构仿真器；
步骤S2，基于架构仿真器以Kubernetes作为底层架构，对CMDB中的架构进行拓扑重现，对数据采集器采集数据信息构造运维数字孪生环境，对数字孪生环境使用深度强化学习算法DQN，以ITSM为的数据作为DQN算法的Q值评判依据，寻找最佳的运维规则组合，将训练所得到的模型存放进入规则存储数据库；
步骤S3，推理服务从规则存储数据库中加载模型；
步骤S4，运维事件发生后，经过推理服务进行推理，得到匹配的适合Ansible所使用的PlayBook文件，触发运维动作。
其中，所述数据采集器采集数据信息，包括以下步骤：
所述数据采集器从监控系统获取历史指标数据，作为架构仿真器的监控数据基础；
所述数据采集器从日志系统中获取历史日志数据，作为架构仿真器的日志数据基础；
所述数据采集器从网络流量监控系统获取网络流量包的历史数据，作为架构仿真器的流量包数据重播基础；
所述数据采集器从ITSM中获取自动化运维脚本记录和故障维护记录，作为深度强化学习算法的脚本执行基础和Q表评判依据。
其中，所述基于架构仿真器以Kubernetes作为底层架构，对CMDB中的架构进行拓扑重现，包括以下步骤：
架构仿真器从CMDB中获取架构信息，作为架构仿真器的架构仿真基础。
综上所述，借助于本发明的上述技术方案，其通过预先采集数据信息并通过数据采集器导入至架构仿真器，基于架构仿真器以Kubernetes作为底层架构，对CMDB中的架构进行拓扑重现，对数据采集器采集数据信息构造运维数字孪生环境，对数字孪生环境使用深度强化学习算法DQN，以ITSM为的数据作为DQN算法的Q值评判依据，寻找最佳的运维规则组合，将训练所得到的模型存放进入规则存储数据库，推理服务从规则存储数据库中加载模型，运维事件发生后，经过推理服务进行推理，得到匹配的适合Ansible所使用的PlayBook文件，触发运维动作，实现充分使用了各类运维数据，采用数字孪生技术对生产环境进行一比一的复现，保证深度强化学习的训练环境与生产环境保持一致，增强了可靠性与实时性，采用深度强化学习方法对运维规则进行训练，使得运维规则不再老化，能和当前的生产环境相匹配，降低了规则维护的人力物力，提升了运维规则的准确性与实效性，其智能化的发现自动化运维的规则，全自动的更新运维规则，大幅降低自动化运维中规则老化的情况。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于深度强化学习的智能运维方法，其特征在于，包括以下步骤：
预先采集数据信息并通过数据采集器导入至架构仿真器；
基于架构仿真器以Kubernetes作为底层架构，对CMDB中的架构进行拓扑重现，对数据采集器采集数据信息构造运维数字孪生环境，对数字孪生环境使用深度强化学习算法DQN，以ITSM为的数据作为DQN算法的Q值评判依据，寻找最佳的运维规则组合，将训练所得到的模型存放进入规则存储数据库；
推理服务从规则存储数据库中加载模型；
运维事件发生后，经过推理服务进行推理，得到匹配的适合Ansible所使用的PlayBook文件，触发运维动作。
2.根据权利要求1所述的基于深度强化学习的智能运维方法，其特征在于，所述数据采集器采集数据信息，包括以下步骤：
所述数据采集器从监控系统获取历史指标数据，作为架构仿真器的监控数据基础；
所述数据采集器从日志系统中获取历史日志数据，作为架构仿真器的日志数据基础；
所述数据采集器从网络流量监控系统获取网络流量包的历史数据，作为架构仿真器的流量包数据重播基础；
所述数据采集器从ITSM中获取自动化运维脚本记录和故障维护记录，作为深度强化学习算法的脚本执行基础和Q表评判依据。
3.根据权利要求2所述的基于深度强化学习的智能运维方法，其特征在于，所述基于架构仿真器以Kubernetes作为底层架构，对CMDB中的架构进行拓扑重现，包括以下步骤：
架构仿真器从CMDB中获取架构信息，作为架构仿真器的架构仿真基础。
CN202110126833.2A 2021-01-29 2021-01-29 一种基于深度强化学习的智能运维方法 Pending CN112766599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110126833.2A CN112766599A (zh) 2021-01-29 2021-01-29 一种基于深度强化学习的智能运维方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110126833.2A CN112766599A (zh) 2021-01-29 2021-01-29 一种基于深度强化学习的智能运维方法

Publications (1)

Publication Number Publication Date
CN112766599A true CN112766599A (zh) 2021-05-07

Family

ID=75703704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110126833.2A Pending CN112766599A (zh) 2021-01-29 2021-01-29 一种基于深度强化学习的智能运维方法

Country Status (1)

Country Link
CN (1) CN112766599A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063978A (zh) * 2022-07-27 2022-09-16 武汉微晶石科技股份有限公司 一种基于数字孪生的公交到站时间预测方法
CN115913989A (zh) * 2022-11-08 2023-04-04 广州鲁邦通物联网科技股份有限公司 一种云管理平台的资源保护方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108566287A (zh) * 2018-01-08 2018-09-21 福建星瑞格软件有限公司 一种基于深度学习的集群服务器运维优化方法
CN109542057A (zh) * 2018-11-14 2019-03-29 中国电子工程设计院有限公司 基于虚拟机结构的远程运维模型及其构建方法
WO2020001642A1 (zh) * 2018-06-28 2020-01-02 中兴通讯股份有限公司 一种运维系统及方法
CN111177942A (zh) * 2020-01-06 2020-05-19 中国矿业大学(北京) 矿井无人化综掘工作面数字孪生智能监控系统
CN111682640A (zh) * 2020-04-20 2020-09-18 国网浙江桐乡市供电有限公司 一种配电房全感知监测与运维系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108566287A (zh) * 2018-01-08 2018-09-21 福建星瑞格软件有限公司 一种基于深度学习的集群服务器运维优化方法
WO2020001642A1 (zh) * 2018-06-28 2020-01-02 中兴通讯股份有限公司 一种运维系统及方法
CN109542057A (zh) * 2018-11-14 2019-03-29 中国电子工程设计院有限公司 基于虚拟机结构的远程运维模型及其构建方法
CN111177942A (zh) * 2020-01-06 2020-05-19 中国矿业大学(北京) 矿井无人化综掘工作面数字孪生智能监控系统
CN111682640A (zh) * 2020-04-20 2020-09-18 国网浙江桐乡市供电有限公司 一种配电房全感知监测与运维系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063978A (zh) * 2022-07-27 2022-09-16 武汉微晶石科技股份有限公司 一种基于数字孪生的公交到站时间预测方法
CN115063978B (zh) * 2022-07-27 2022-11-18 武汉微晶石科技股份有限公司 一种基于数字孪生的公交到站时间预测方法
CN115913989A (zh) * 2022-11-08 2023-04-04 广州鲁邦通物联网科技股份有限公司 一种云管理平台的资源保护方法及相关装置
CN115913989B (zh) * 2022-11-08 2023-09-19 广州鲁邦通物联网科技股份有限公司 一种云管理平台的资源保护方法

Similar Documents

Publication Publication Date Title
CN110659173B (zh) 一种运维系统及方法
CN110717665B (zh) 基于调度控制系统故障辨识及趋性分析系统和方法
CN111985653B (zh) 基于知识图谱的电网故障知识推荐与知识管理系统及方法
CN109343995A (zh) 基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统
CN110569867A (zh) 基于决策树算法的输电线路故障原因判别方法、介质及设备
CN112766599A (zh) 一种基于深度强化学习的智能运维方法
CN114330097A (zh) 一种异构数据与深度学习的风电集群功率预测方法及设备
CN112580831B (zh) 一种基于知识图谱的电力通信网智能辅助运维方法及系统
CN110381515B (zh) 基于合分模式实现小区网络流量资源指标预测的方法
CN111474444B (zh) 一种基于知识图谱的线路故障复电决策方法
CN104899314A (zh) 一种数据仓库的血统分析方法和装置
CN113542039A (zh) 一种通过ai算法定位5g网络虚拟化跨层问题的方法
CN112949874B (zh) 一种配电终端缺陷特征自诊断方法及系统
CN110309967A (zh) 客服会话评分等级的预测方法、系统、设备和存储介质
CN113283602B (zh) 基于离线知识学习和在线动态修正电网系统故障诊断方法
CN112217674A (zh) 基于因果网络挖掘和图注意力网络的告警根因识别方法
CN109860736A (zh) 用于电池梯次利用的大数据系统和方法
CN115603464B (zh) 一种基于数字孪生的电网操作票智能生成管理系统
CN111861231B (zh) 一种基于决策树的飞行训练特情智能生成方法
CN118138495A (zh) 一种基于物联网的环保监测管理系统
CN112783865A (zh) 一种半监督人机结合的运维故障库生成方法及系统
CN113344340B (zh) 一种基于cps的能源综合服务枢纽站的选址方法
CN113408800B (zh) 一种跨境可再生资源工业产品质量预测方法及系统
CN112801815B (zh) 一种基于联邦学习的电力通信网络故障预警方法
CN106330544B (zh) 一种基于自反馈模型的实时告警响应方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507