CN108228154A - 一种基于算法的通用监控框架设计系统 - Google Patents

一种基于算法的通用监控框架设计系统 Download PDF

Info

Publication number
CN108228154A
CN108228154A CN201711423473.2A CN201711423473A CN108228154A CN 108228154 A CN108228154 A CN 108228154A CN 201711423473 A CN201711423473 A CN 201711423473A CN 108228154 A CN108228154 A CN 108228154A
Authority
CN
China
Prior art keywords
algorithm
worker
system based
design system
frame design
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711423473.2A
Other languages
English (en)
Inventor
朱明磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhong Chang Data Technology Co Ltd
Original Assignee
Shanghai Zhong Chang Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhong Chang Data Technology Co Ltd filed Critical Shanghai Zhong Chang Data Technology Co Ltd
Priority to CN201711423473.2A priority Critical patent/CN108228154A/zh
Publication of CN108228154A publication Critical patent/CN108228154A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G06F8/22—Procedural
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及IT监控运维技术领域，尤其是一种基于算法的通用监控框架设计系统，包括web管理端、主控端master以及执行端worker，该平台为一套运维算法集成平台，可以在该平台中提供算法开发、调试、在线运行、在线模拟、历史回测的一体化集成环境，在这个环境中算法编写能够更加简便和高效，有效的解决了现有算法的开发、调试、部署比较复杂，没有简便的办法让最终用户参与算法的开发问题。

Description

一种基于算法的通用监控框架设计系统
技术领域
本发明涉及IT监控运维技术领域，尤其是一种基于算法的通用监控框架设计系统。
背景技术
IT运维监控(也称：IT综合管理系统)是一系列IT管理产品的统称，它所包含的产品功能强大、易于使用、解决方案齐全，可一站式满足用户的各种IT管理需求，IT运维监控具有性能稳定、用户界面友好、跨平台、易实施、易集成等特点，可极大地简化IT设施和业务系统的监控管理。
企业信息部门、互联网公司、金融公司的数据中心都会部署监控系统。传统的监控系统简单的采集系统的指标，人工根据经验设定阈值产生告警。但是，随着机器设备、应用软件、业务系统的急速扩展，传统的监控方式越来越不能适应复杂的监控要求。特别是大数据技术在运维领域的逐步深入应用，已经收集了运维相关的全量数据，理论上为利用算法更深入地解决运维问题带来了基础。通过各类算法我们可以从这些数据中获得更深入的洞察，包括故障发现、故障定位、容量和性能问题发现等。算法很有价值毋庸置疑，但算法的开发、调试、部署比较复杂，没有简便的办法让最终用户参与算法的开发。因此，我们设计开发一套运维算法集成平台，可以在该平台中提供算法开发、调试、在线运行、在线模拟、历史回测的一体化集成环境，在这个环境中算法编写能够更加简便和高效。
发明内容
本发明要解决的技术问题是：为了解决现有算法的开发、调试、部署比较复杂，没有简便的办法让最终用户参与算法的开发问题，本发明提供了一种基于算法的通用监控框架设计系统，包括web管理端、主控端master以及执行端worker，该平台为一套运维算法集成平台，可以在该平台中提供算法开发、调试、在线运行、在线模拟、历史回测的一体化集成环境，在这个环境中算法编写能够更加简便和高效，有效的解决了现有算法的开发、调试、部署比较复杂，没有简便的办法让最终用户参与算法的开发问题。
本发明解决其技术问题所采用的技术方案是：
一种基于算法的通用监控框架设计系统，包括web管理端、主控端master以及执行端worker，所述web管理端包括算法和算法实例管理模块以及算法代码编辑调试模块；所述主控端master包括master在线运行管理模块，所述执行端worker包括在worker上加载算法实例模块、历史回测相关用例模块以及在线模拟相关用例模块。
具体地，所述算法和算法实例管理模块包括添加算法、查看算法列表、启用算法、停用算法、删除算法、修改算法信息、添加算法实例、删除算法实例以及修改算法实例参数。
具体地，所述算法代码编辑调试模块包括在线编辑算法代码以及在线调试算法代码。
具体地，所述master在线运行管理模块包括查看worker列表、查看worker的运行状态信息、重启worker以及暂停worker。
具体地，所述在worker上加载算法实例模块包括在worker上启动已加载的算法实例形成运行实例、在worker上停止运行实例、在worker上卸载运行实例以及转移运行实例到另外的框架实例内运行。
具体地，所述历史回测相关用例包括在worker上以回测模式加载回测算法实例、在worker上启动已加载的回测算法实例、在worker上查看回测的运行情况、在worker上停止回测的运行实例、修改参数再次运行回测实例、打印回测报告以及将回测实例存储为运行实例。
具体地，所述在线模拟相关用例包括在worker上以在线运行模式加载实例、在worker上启动已加载的在线模拟实例、在worker上查看在线模拟的运行情况、在worker上停止在线模拟的运行实例以及将在线模拟实例转为运行实例
本发明的有益效果是：本发明提供了一种基于算法的通用监控框架设计系统，包括web管理端、主控端master以及执行端worker，该平台为一套运维算法集成平台，可以在该平台中提供算法开发、调试、在线运行、在线模拟、历史回测的一体化集成环境，在这个环境中算法编写能够更加简便和高效，有效的解决了现有算法的开发、调试、部署比较复杂，没有简便的办法让最终用户参与算法的开发问题。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明的主要部署架构图；
图2为本发明的主要功能框架；
图3为本发明的主要流程图；
图4为本发明的具体步骤示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1至图4，一种基于算法的通用监控框架设计系统，包括web管理端、主控端master以及执行端worker，web管理端包括算法和算法实例管理模块以及算法代码编辑调试模块；主控端master包括master在线运行管理模块，执行端worker包括在worker上加载算法实例模块、历史回测相关用例模块以及在线模拟相关用例模块。
算法和算法实例管理模块包括添加算法、查看算法列表、启用算法、停用算法、删除算法、修改算法信息、添加算法实例、删除算法实例以及修改算法实例参数。
算法代码编辑调试模块包括在线编辑算法代码以及在线调试算法代码。
master在线运行管理模块包括查看worker列表、查看worker的运行状态信息、重启worker以及暂停worker。
在worker上加载算法实例模块包括在worker上启动已加载的算法实例形成运行实例、在worker上停止运行实例、在worker上卸载运行实例以及转移运行实例到另外的框架实例内运行。
历史回测相关用例包括在worker上以回测模式加载回测算法实例、在worker上启动已加载的回测算法实例、在worker上查看回测的运行情况、在worker上停止回测的运行实例、修改参数再次运行回测实例、打印回测报告以及将回测实例存储为运行实例。
在线模拟相关用例包括在worker上以在线运行模式加载实例、在worker上启动已加载的在线模拟实例、在worker上查看在线模拟的运行情况、在worker上停止在线模拟的运行实例以及将在线模拟实例转为运行实例。
其中各个管理端及模块的具体功能如下：web管理端负责完成算法的管理、代码编辑、代码测试、运行管理等功能；主控端实现对多个worker端的管理，master管理算法实例在worker上的分配、加载、启停、销毁等，并从每一个worker中获取算法运行时状态；历史回测相关用例为算法建立回测实例配置，并存储回测配置(包括算法参数，从输入输出指标中自定义监控图表)；其中，将回测实例存储为运行实例，是按回测的参数创建运行实例，但不加载和运行；在线模拟相关用例为算法建立在线运行实例配置，并存储回测配置(包括算法参数，从输入输出指标中自定义监控图表)。
本发明的web管理端采用前后端分离的模式，管理端提供restful服务，供前端web界面完成管理功能；
Master主控端独立部署，全局运行一份，对外提供restful服务被web管理端使用；
Worker执行端采用分布式方式部署，实现上采用docker技术，将worker部署到docker中，实现分布式应用，同时借助docker的资源配额限制和超资源熔断机制，提供容错性及高可用性。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (7)

1.一种基于算法的通用监控框架设计系统，其特征在于：包括web管理端、主控端master以及执行端worker，所述web管理端包括算法和算法实例管理模块以及算法代码编辑调试模块；所述主控端master包括master在线运行管理模块，所述执行端worker包括在worker上加载算法实例模块、历史回测相关用例模块以及在线模拟相关用例模块。
2.根据权利要求1所述的一种基于算法的通用监控框架设计系统，其特征在于：所述算法和算法实例管理模块包括添加算法、查看算法列表、启用算法、停用算法、删除算法、修改算法信息、添加算法实例、删除算法实例以及修改算法实例参数。
3.根据权利要求1所述的一种基于算法的通用监控框架设计系统，其特征在于：所述算法代码编辑调试模块包括在线编辑算法代码以及在线调试算法代码。
4.根据权利要求1所述的一种基于算法的通用监控框架设计系统，其特征在于：所述master在线运行管理模块包括查看worker列表、查看worker的运行状态信息、重启worker以及暂停worker。
5.根据权利要求1所述的一种基于算法的通用监控框架设计系统，其特征在于：所述在worker上加载算法实例模块包括在worker上启动已加载的算法实例形成运行实例、在worker上停止运行实例、在worker上卸载运行实例以及转移运行实例到另外的框架实例内运行。
6.根据权利要求1所述的一种基于算法的通用监控框架设计系统，其特征在于：所述历史回测相关用例包括在worker上以回测模式加载回测算法实例、在worker上启动已加载的回测算法实例、在worker上查看回测的运行情况、在worker上停止回测的运行实例、修改参数再次运行回测实例、打印回测报告以及将回测实例存储为运行实例。
7.根据权利要求1所述的一种基于算法的通用监控框架设计系统，其特征在于：所述在线模拟相关用例包括在worker上以在线运行模式加载实例、在worker上启动已加载的在线模拟实例、在worker上查看在线模拟的运行情况、在worker上停止在线模拟的运行实例以及将在线模拟实例转为运行实例。
CN201711423473.2A 2017-12-25 2017-12-25 一种基于算法的通用监控框架设计系统 Pending CN108228154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711423473.2A CN108228154A (zh) 2017-12-25 2017-12-25 一种基于算法的通用监控框架设计系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711423473.2A CN108228154A (zh) 2017-12-25 2017-12-25 一种基于算法的通用监控框架设计系统

Publications (1)

Publication Number Publication Date
CN108228154A true CN108228154A (zh) 2018-06-29

Family

ID=62648692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711423473.2A Pending CN108228154A (zh) 2017-12-25 2017-12-25 一种基于算法的通用监控框架设计系统

Country Status (1)

Country Link
CN (1) CN108228154A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795076A (zh) * 2018-08-03 2020-02-14 上海小渔数据科技有限公司 用于实现基础逻辑算法的数据处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011188A1 (en) * 2005-07-05 2007-01-11 International Business Machines Corporation System and method for selecting a data mining modeling algorithm for data mining applications
CN101882263A (zh) * 2010-06-13 2010-11-10 中国人民解放军国防科学技术大学 基于算法综合集成的演示与验证一体化系统
CN103593192A (zh) * 2013-11-19 2014-02-19 湖南大学 一种基于slurm调度的算法集成与评测平台及方法
CN104954453A (zh) * 2015-06-02 2015-09-30 浙江工业大学 基于云计算的数据挖掘rest服务平台
CN105930270A (zh) * 2016-04-20 2016-09-07 杭州优稳自动化系统有限公司 一种实现算法在线组态、运行和调试的方法
CN106020811A (zh) * 2016-05-13 2016-10-12 乐视控股（北京）有限公司 算法模型的开发方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011188A1 (en) * 2005-07-05 2007-01-11 International Business Machines Corporation System and method for selecting a data mining modeling algorithm for data mining applications
CN101882263A (zh) * 2010-06-13 2010-11-10 中国人民解放军国防科学技术大学 基于算法综合集成的演示与验证一体化系统
CN103593192A (zh) * 2013-11-19 2014-02-19 湖南大学 一种基于slurm调度的算法集成与评测平台及方法
CN104954453A (zh) * 2015-06-02 2015-09-30 浙江工业大学 基于云计算的数据挖掘rest服务平台
CN105930270A (zh) * 2016-04-20 2016-09-07 杭州优稳自动化系统有限公司 一种实现算法在线组态、运行和调试的方法
CN106020811A (zh) * 2016-05-13 2016-10-12 乐视控股（北京）有限公司 算法模型的开发方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
颜巍: "基于云平台的数据挖掘算法的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795076A (zh) * 2018-08-03 2020-02-14 上海小渔数据科技有限公司 用于实现基础逻辑算法的数据处理方法及装置
CN110795076B (zh) * 2018-08-03 2024-03-22 上海小渔数据科技有限公司 用于实现基础逻辑算法的数据处理方法及装置

Similar Documents

Publication Publication Date Title
US10628145B2 (en) Scalable and secure analytic model integration and deployment platform
CN101252471B (zh) 一种分布式自动化测试系统及其方法
CN106201878B (zh) 测试程序的执行方法和装置
US8195709B2 (en) Comparison of models of a complex system
US7568019B1 (en) Enterprise management system for normalization, integration and correlation of business measurements with application and infrastructure measurements
CN101651576B (zh) 告警信息处理方法和系统
Abramovici et al. Providing product use knowledge for the design of improved product generations
CN103002490B (zh) 一种业务仿真测试系统及其实现方法
CN113595761B (zh) 电力系统信息通信一体化调度平台的微服务组件优化方法及介质
CN108614688A (zh) 应用于混合云环境的可视化应用编排及方法
CN109213754A (zh) 一种数据处理系统及数据处理方法
US20190260831A1 (en) Distributed integrated fabric
CN101295380A (zh) 用于估计资源供应的方法和系统
CN104573184B (zh) 高速列车产品元模型构建方法和装置
US9043755B2 (en) Custom code lifecycle management
CN105474171A (zh) 用于计算域中智能自动化的基于模型的方法
CN112600891A (zh) 一种基于信息物理融合的边云协同系统及工作方法
CN108595316A (zh) 分布式应用的生命周期管理方法、管理器、设备和介质
US7941301B2 (en) Modelling a complex system
CN107122252A (zh) 一种系统间交互方法和装置
CN108170507A (zh) 虚拟应用管理方法/系统、计算机可读存储介质及服务端
Boujbel et al. Muscadel: A deployment dsl based on a multiscale characterization framework
CN110968479B (zh) 一种针对应用程序的业务级全链路监控方法及服务器
Jiang et al. Research on cloud manufacturing resource integrating service modeling based on cloud-agent
CN108228154A (zh) 一种基于算法的通用监控框架设计系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629

RJ01 Rejection of invention patent application after publication