CN113641397A - 带操作界面的脚本服务管理系统及管理方法 - Google Patents

Abstract

本发明涉及一种带操作界面的脚本服务管理系统及方法，包括部署模块、脚本服务模块、守护进程模块、任务模块、监控模块、日志模块、结果分析模块及报警模块，方法包括进程管理以及将进程管理过程的web可视化，进程管理包括以下步骤：步骤1，初始化系统，步骤2，加载脚本，步骤3，启动守护进程，步骤4，启动任务模块，步骤5，启动监控模块，步骤6，启动日志模块，步骤7，启动结果分析模块，步骤8，启动报警模块；步骤1至步骤8在操作系统中产生系统信号，采用web可视化的方式显示在用户界面，保证脚本服务正常可靠稳定运行。

Description

带操作界面的脚本服务管理系统及管理方法

技术领域

本发明涉及系统管理技术领域，具体涉及到一种带操作界面的脚本服务管理系统及管理方法。

背景技术

随着互联网业务的繁荣发展，支撑互联网发展的各类业务系统非常复杂和庞大，经常会大批量的运行一些定时服务或者异步的脚本服务，现有管理系统的缺点是提供的管理不太方便，系统部署难度大，步骤复杂繁琐，依赖性太强，而且属于国外系统，对中国用户使用不够优化，使用习惯不符合中国用户习惯，且涉及到的操作一般是系统运维人员通过手工方式配置系统crontab，或者通过命令行模式进入操作系统，进行人工操作，人为的操作不仅容易出错遗漏，并且难以监控和管理，所以需要提供一个可视化的带操作界面的管理系统及管理方法。

发明内容

本发明的目的在于提供一种带操作界面的脚本服务管理系统，通过web可视化的方式管理业务系统中的一些定时脚本服务或者异步脚本服务，从而提高服务的可靠性和可维护性。

本发明的一种带操作界面的脚本服务管理系统，包括部署模块、脚本服务模块、守护进程模块、任务模块、监控模块、日志模块、结果分析模块及报警模块，其中，部署模块的作用是进行初始化系统，保证系统的正常运行，脚本服务模块将脚本内容加载到系统并运行，守护进程模块保证加载的脚本能正常稳定持续运行，任务模块的作用是从任务队里获取需要实际完成处理的任务，然后分配给已经加载的脚本服务，监控模块对任务处理异常或者中断进行监控，出现异常反馈给报警模块通知到系统管理人员进行处理，对每次的脚本服务处理的任务过程通过日志模块进行记录，通过结果分析模块自动生成出非常丰富和详尽的图表和数据报告，通过这些图表和报告的分析能够进一步完善系统和优化系统，上述模块在系统底层不可见的变化和过程进行可视化。

上述带操作界面的脚本服务管理系统的运行过程包括以下步骤：步骤1，初始化系统，整体系统需要正常运行，在启动前必须要加载一些启动所需的配置项和依赖的服务，还有一些环境变量，只有正常读取到这些内容，系统才能初始化成功，保证后续能正常执行，其具体内容包括1)启动web服务 ，2)启动redis服务，3)启动数据库服务，4)载入环境变量；步骤2，加载脚本，脚本服务需要正常运行的话，必须将脚本的内容加载到整个系统，所以在系统初始化和整体的运行环境正常之后，系统会从数据库动态读取出一些用户设置的脚本任务，同时还有一些系统里面正在运行的脚本，把这些脚本重新加载到操作系统的内存中，保证脚本能够快速的从系统中启动，其具体内容包括1)读取数据库脚本服务，2)获取当前系统脚本服务，3)载入内存，4)fork出脚本服务进程；步骤3，启动守护进程，为了保证上一步加载的脚本能够正常稳定持续的运行，需要有一个单独的守护进程去时刻守护脚本服务正常运行，守护进程是一个常驻系统的服务，同时还必须依赖操作系统的crontab服务，这个守护进程的稳定性跟随操作系统，是百分之99.999可用的服务，这样就能够保证脚本服务出现异常的时候能及时通过守护进程拉起，其具体内容包括1)写入系统crontab，2)启动服务主进程，3)上报主进程健康状态；步骤4，启动任务模块，当脚本和守护进程成功运行之后，接下来就是任务模块的启动，这个模块是进行实际任务处理的模块，也就是说这个模块是真正意义上干活的，他负责从redis任务队里面获取需要实际处理的任务，然后分配给已经加载的脚本服务，脚本服务实现自己的业务逻辑，从而完成一个完整有效的任务，进入下一次的循环处理，其具体内容包括1)读取redis任务队列，2)分析脚本服务执行和停止时间，3)启动/停止脚本服务，4)上报任务健康状态；步骤5，启动监控模块，上述几个步骤都正常运行之后，就是启动监控模块了，监控模块也是非常重要的模块，它能够知道系统里面的脚本服务是不是在正常的处理任务，如果发现服务出现任务处理异常或者中断，监控模块就会及时报警，通知到系统管理人员，其具体内容包括1)fork监控进程，2)扫描任务执行状态，3)检查任务健康状况，4)上报结果；步骤6，启动日志模块，日志模块的作用是在系统任务处理过程中，记录任务处理的步骤和流程，把每一次的脚本服务处理的任务的过程完成记录下来，这样在后面的实际的应用中，用户可以查询到每一个脚本处理了多少任务，这些任务是成功或者失败，通过es系统一查便知，其具体内容包括1)fork日志进程，2)日志汇总，3)日志归类，4)日志flush进入log文件，5)日志上报，6)写入es；步骤7，启动结果分析模块，通过上一步日志模块的收集回来的日志，通过结果分析模块自动生成出非常丰富和详尽的图表和数据报告，通过这些图表和报告的分析能够进一步完善系统和优化系统，其具体内容包括1)fork计算进程，2)读取es数据，3)分析计算，4)输出图表；步骤8，启动报警模块，报警模块是在系统出现故障或者异常的时候才会触发的，这个报警模块能够支持各种通道的报警方式，能够最大程度的保证系统故障第一时间反映到管理人员手中，方便及时处理，其具体内容包括1)收集报警日志，2)连接报警端口，3)报警邮件/短信/微信/钉钉。

进一步的，所述运行过程的可视化过程包括以下步骤：信号产生、信号捕获、信号处理与转换以及信号输出到web，其中信号产生通过kill函数、raise函数、sigqueue函数、alarm函数、setitimer函数或abort函数，在程序运行个过程中系统通过所述函数产生各种各样的内核信号，信号捕获通过signal函数或sigaction函数捕获到系统的信号，通过程序的编程语言go语言进行信号处理与转换，通过VUE框架进行页面渲染与输出。

有益效果：本发明基于linux进程管理的基础之上的web可视化脚本管理系统，通过对脚本服务的启动，停止，异常监控，自动恢复，结果检测等一系列操作保证脚本服务正常可靠稳定运行，上述所有步骤在操作系统均会产生系统信号，通过捕捉操作系统底层信号传输与变化将系统处理结果同步显示在用户界面，以更加友好的方式呈现在操作者面前。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1为本发明的流程框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本实施例的一种带操作界面的脚本服务管理系统，参见图1，脚本服务管理系统包括部署模块、脚本服务模块、守护进程模块、任务模块、监控模块、日志模块、结果分析模块及报警模块，其中，部署模块的作用是进行初始化系统，保证系统的正常运行，脚本服务模块将脚本内容加载到系统并运行，守护进程模块保证加载的脚本能正常稳定持续运行，任务模块的作用是从任务队里获取需要实际完成处理的任务，然后分配给已经加载的脚本服务，监控模块对任务处理异常或者中断进行监控，出现异常反馈给报警模块通知到系统管理人员进行处理，对每次的脚本服务处理的任务过程通过日志模块进行记录，通过结果分析模块自动生成出非常丰富和详尽的图表和数据报告，通过这些图表和报告的分析能够进一步完善系统和优化系统，上述模块在系统底层不可见的变化和过程进行可视化形成带操作界面的脚本服务管理系统。

上述带操作界面的脚本服务管理系统的运行过程包括以下步骤：步骤1，初始化系统，整体系统需要正常运行，在启动前必须要加载一些启动所需的配置项和依赖的服务，还有一些环境变量，只有正常读取到这些内容，系统才能初始化成功，保证后续能正常执行，其具体内容包括1)启动web服务 ，2)启动redis服务，3)启动数据库服务，4)载入环境变量；步骤2，加载脚本，脚本服务需要正常运行的话，必须将脚本的内容加载到整个系统，所以在系统初始化和整体的运行环境正常之后，系统会从数据库动态读取出一些用户设置的脚本任务，同时还有一些系统里面正在运行的脚本，把这些脚本重新加载到操作系统的内存中，保证脚本能够快速的从系统中启动，其具体内容包括1)读取数据库脚本服务，2)获取当前系统脚本服务，3)载入内存，4)fork出脚本服务进程，比如这是一个Python语言的编写的程序，会通过判断执行文件的后缀如果是.py 的表示是python的程序，检测系统是否安装python运行环境，检测方式是执行 /usr/bin/python -V 如果该命令返回 ‘Python2.7.16’ 或者其他 ‘Python + 版本号’ 的字符表示已经安装了Python环境，如果未安装环境则会执行 yum install python 命令自动安装python环境，等待安装完成在此执行上一步的检测流程能够得到正确的字符表示python运行环境已经准备就绪，接下来系统启动协程fork出一个子进程将任务载入内存中挂起等待执行，这个过程结束之后会产生一个任务ID的唯一标识，接着就会读取到新建任务设定的时间间隔参数，将设定的定时数据写入系统定时计划表中，以便在每隔半小时从前面fork出的子进程通过唯一的任务ID唤醒再次执行一遍logtodb.py 程序；步骤3，启动守护进程，为了保证上一步加载的脚本能够正常稳定持续的运行，需要有一个单独的守护进程去时刻守护脚本服务正常运行，守护进程是一个常驻系统的服务，同时还必须依赖操作系统的crontab服务，这个守护进程的稳定性跟随操作系统，是百分之99.999可用的服务，这样就能够保证脚本服务出现异常的时候能及时通过守护进程拉起，其具体内容包括1)写入系统crontab，2)启动服务主进程，3)上报主进程健康状态；步骤4，启动任务模块，当脚本和守护进程成功运行之后，接下来就是任务模块的启动，这个模块是进行实际任务处理的模块，也就是说这个模块是真正意义上干活的，负责从redis任务队里面获取需要实际处理的任务，然后分配给已经加载的脚本服务，脚本服务实现自己的业务逻辑，从而完成一个完整有效的任务，进入下一次的循环处理，其具体内容包括1)读取redis任务队列，2)分析脚本服务执行和停止时间，3)启动/停止脚本服务，4)上报任务健康状态；步骤5，启动监控模块，上述几个步骤都正常运行之后，就是启动监控模块了，监控模块也是非常重要的模块，它能够知道系统里面的脚本服务是不是在正常的处理任务，如果发现服务出现任务处理异常或者中断，监控模块就会及时报警，通知到系统管理人员，其具体内容包括1)fork监控进程，2)扫描任务执行状态，3)检查任务健康状况，4)上报结果；步骤6，启动日志模块，日志模块的作用是在系统任务处理过程中，记录任务处理的步骤和流程，把每一次的脚本服务处理的任务的过程完成记录下来，这样在后面的实际的应用中，用户可以查询到每一个脚本处理了多少任务，这些任务是成功或者失败，通过es系统一查便知，其具体内容包括1)fork日志进程，2)日志汇总，3)日志归类，4)日志flush进入log文件，5)日志上报，6)写入es；步骤7，启动结果分析模块，通过上一步日志模块的收集回来的日志，通过结果分析模块自动生成出非常丰富和详尽的图表和数据报告，通过这些图表和报告的分析能够进一步完善系统和优化系统，其具体内容包括1)fork计算进程，2)读取es数据，3)分析计算，4)输出图表；步骤8，启动报警模块，报警模块是在系统出现故障或者异常的时候才会触发的，这个报警模块能够支持各种通道的报警方式，能够最大程度的保证系统故障第一时间反映到管理人员手中，方便及时处理，其具体内容包括1)收集报警日志，2)连接报警端口，3)报警邮件/短信/微信/钉钉。

运行过程的可视化过程包括以下步骤：信号产生、信号捕获、信号处理与转换以及信号输出到web，其中信号产生通过kill函数、raise函数、sigqueue函数、alarm函数、setitimer函数或abort函数，在程序运行个过程中系统通过所述函数产生各种各样的内核信号，信号捕获通过signal函数或sigaction函数捕获到系统的信号，通过程序的编程语言go语言进行信号处理与转换，通过程序的编程语言go语言进行信号处理与转换，以下为示例代码：

package main

import (

"fmt"

"os"

"os/signal"

"sync"

"syscall"

"time"

)

var wg sync.WaitGroup

func exitProcess() {

fmt.Println("等待进程完成")

wg.Wait()

fmt.Println("进程退出")

}

func process(n int) {

i := n

for {

fmt.Println("process", n, ":", i)

if i > 100 {

break

}

time.Sleep(time.Second)

i++

}

fmt.Println("process", n, "finnshed")

defer wg.Done()

}

func main() {

signals := make(chan os.Signal, 1)

done := make(chan bool, 1)

signal.Notify(signals, syscall.SIGILL, syscall.SIGTERM)

go func() {

for signal := range signals {

switch signal {

case syscall.SIGTERM, syscall.SIGQUIT:

fmt.Println("kill -15 进程退出")

exitProcess()

case syscall.SIGILL:

fmt.Println("kill -4")

}

}

done <- true

}()

wg.Add(5)

for n := 0; n < 10; n++ {

go process(n)

}

fmt.Println("waiting signal...")

wg.Wait()

fmt.Println("exiting")

}

最终，通过VUE框架进行页面渲染与输出。

比如上述加载脚本过程会通过系统信号反馈到可视化系统中并展示这个任务的运行状态，通过系统的系统信号函数捕获获取到每一次任务执行时的最终输出结果，通过程序监听系统所有产生的信号，通过遍历从中筛选出与logtodb.py任务对应并且一致的信号内容，拿到对应的信号结果，就可以把对应的信号内容通过数据流的形式输出到可视化系统中。

上述的实施例，为本发明中较为良好的具体实施的方式，但是本发明的保护范围并不局限于此例。本发明未详尽描述内容，均为领域内较为常规的使用方法技术。

Claims (4)

1.一种带操作界面的脚本服务管理系统，其特征在于，包括部署模块、脚本服务模块、守护进程模块、任务模块、监控模块、日志模块、结果分析模块及报警模块，其中，部署模块的作用是进行初始化系统，保证系统的正常运行，脚本服务模块的作用是将脚本内容加载到系统并运行，守护进程模块是保证加载的脚本能正常稳定持续运行，任务模块的作用是从任务队里获取需要实际完成处理的任务，然后分配给已经加载的脚本服务，监控模块对任务处理异常或者中断进行监控，出现异常反馈给报警模块通知到系统管理人员进行处理，对每次的脚本服务处理的任务过程通过日志模块进行记录，通过结果分析模块自动生成图表和数据报告，来进一步完善和优化系统。

2.一种带操作界面的脚本服务管理方法，采用如权利要求1所述的带操作界面的脚本服务管理系统，其特征在于，包括进程管理以及将进程管理过程的web可视化，进程管理包括以下步骤：步骤1，初始化系统，步骤2，加载脚本，步骤3，启动守护进程，步骤4，启动任务模块，步骤5，启动监控模块，步骤6，启动日志模块，步骤7，启动结果分析模块，步骤8，启动报警模块；步骤1至步骤8在操作系统中产生系统信号，采用web可视化的方式显示在用户界面。

3.根据权利要求2所述的方法，其特征在于，所述步骤1的具体内容包括1)启动web服务，2)启动redis服务，3)启动数据库服务，4)载入环境变量；所述步骤2的具体内容包括1)读取数据库脚本服务，2)获取当前系统脚本服务，3)载入内存，4)fork出脚本服务进程；所述步骤3的具体内容包括1)写入系统crontab，2)启动服务主进程，3)上报主进程健康状态；所述步骤4的具体内容包括1)读取redis任务队列，2)分析脚本服务执行和停止时间，3)启动/停止脚本服务，4)上报任务健康状态；所述步骤5的具体内容包括1)fork监控进程，2)扫描任务执行状态，3)检查任务健康状况，4)上报结果；所述步骤6的具体内容包括1)fork日志进程，2)日志汇总，3)日志归类，4)日志flush进入log文件，5)日志上报，6)写入es；所述步骤7的具体内容包括1)fork计算进程，2)读取es数据，3)分析计算，4)输出图表；所述步骤8的具体内容包括1)收集报警日志，2)连接报警端口，3)报警邮件/短信/微信/钉钉。

4.根据权利要求2所述的方法，其特征在于，进程管理过程的web可视化包括以下步骤：信号产生、信号捕获、信号处理与转换以及信号输出到web，其中信号产生通过kill函数、raise函数、sigqueue函数、alarm函数、setitimer函数或abort函数，在程序运行个过程中系统通过所述函数产生各种各样的内核信号，信号捕获通过signal函数或sigaction函数捕获到系统的信号，通过程序的编程语言go语言进行信号处理与转换，通过VUE框架进行页面渲染与输出。

Images