CN102521101A - 一种基于进程扫描的非法作业监控方法 - Google Patents

Abstract

本发明提供了一种基于进程扫描的非法作业监控方法，首先，初始化进程黑名单和白名单；其次，读取作业调度的作业详细信息；再次，获取所有计算节点的进程信息及网络连接信息；然后，根据步获取的信息，按照某种匹配策略判定进程与“黑名单”、“白名单”及作业的相关性，进而判定进程的合法性。最后，根据判定结果和预定的处理策略对非法进程作出后继处理，并更新进程的“未知”进程的状态计数；本发明的优点在于：综合作业信息和操作系统信息(进程+网络)来判定进程与作业的相关性，可以不用关心用户应用的并行编程模型；通过多种类型的白名单、黑名单以及后继处理策略均可灵活配置，极大简化了管理员的工作。

Description

一种基于进程扫描的非法作业监控方法

技术领域

本发明涉及高性能计算中的作业调度，特别涉及一种基于进程扫描的非法作业监控方法。

背景技术

一般高性能计算集群中，作业调度系统来负责作业(及作业进程)的管理。但是往往存在两个方面的问题：一是某些用户为了自身的利益绕过作业调度系统去运行自己的应用从而规避记账，而这在公共的计算中心是非法的；二是某些作业调度系统对于作业进程的控制不够准确，存在进程残留的问题。

对于上述的第一个问题，主要有两种处理方式：(1)由系统管理员定期检查节点的进程状态，发现可疑的作业将其杀死。这种方法的问题是在大量应用的大集群上系统管理员的工作量比较大，而且要对当前应用非常熟悉；(2)通过某种方式限制ssh/rsh的方式限制mpi通信，从而达到限制非法作业运行的目的。这种方法的问题显而易见，对于非mpi应用无效。

对于上述的第二个问题，目前的解决办法基本都是由管理员通过手工或者定时任务杀进程的方式完成。

综上所述，目前对于非法作业或者残留进程的处理方法，要么存在明显的方法缺陷，要么过度依赖管理员的人工干预。

发明内容

本发明的目的是通过一定的配置信息和对于作业调度系统、操作系统进程信息的综合分析，判定作业进程的合法性，进而完成对于作业进程的预定处理操作，达到控制非法作业和残留进程的目的。

为了实现上述目的，本发明提供了一种基于进程扫描的非法作业监控方法，包括以下步骤：

(1)首先，初始化进程黑名单和白名单；

(2)其次，读取作业调度的作业详细信息；

(3)再次，获取所有计算节点的进程信息及网络连接信息；

(4)然后，根据步骤(1)、(2)、(3)中获取的信息，按照某种匹配策略判定进程与“黑名单”、“白名单”及作业的相关性，进而判定进程的合法性。

进程与黑名单、白名单的相关性可以通过直接检查进程的属性取值的方法得到，而进程与作业的相关性则需要借助进程的“父子关系”、“会话号”、“网络连接”来间接判定。

合法性判定的规则为：a、与“白名单”相关的进程皆为合法进程；b、与“黑名单”相关的进程皆为非法进程；c、与作业相关的进程皆为合法进程；d、其它进程为“未知”进程，“未知”状态连续持续多次则可判定其为非法进程；

(5)最后，根据步骤4)的判定结果和预定的处理策略对非法进程作出后继处理，并更新进程的“未知”进程的状态计数；

(6)根据设定的时间间隔不断重复步骤(2)到(5)。

上述技术方案中，

在所述的步骤(1)中，黑名单和白名单分别是指无需根据作业匹配的某些进程特征的取值列表，这些特征包括进程名、用户名、用户ID、节点名；

在所述的步骤(2)中，作业详细信息是指从作业调度系统取到的作业的全部信息，包括“作业ID”、“作业状态”、“所属用户”、“进程数”、“头节点名”、“首进程号”、“首进程会话号”、“占用计算节点列表”。其中：“头节点”是指启动作业的节点，“首进程号”是指作业启动后在第一个计算节点上的第一个作业进程的进程号，“首进程会话号”则是指“首进程”所在的会话号；网络连接信息是指该进程使用的所有TCP/IP连接的描述信息，包括“协议类型”、“本地地址”、“本地端口”、“远程地址”、“远程端口”、“连接状态”；

在所述的步骤(3)中，进程信息包括“进程号”、“父进程号”、“进程组号”、“会话号”、“用户名”、“用户ID”、“进程状态”、“进程名”。

在所述的步骤(4)中，匹配策略是指确定进程与黑名单、白名单或者作业的相关性的匹配方法。进程与白名单或黑名单的相关性可以直接判定，与作业的相关性则可能需要借助“父子进程”、“同一会话”、“网络相关”等间接的关联方式来判定。

在所述的步骤(5)中，处理策略是指对于非法进程的处理方式，包括打印、告警、杀死、挂起等多种方法。

本发明的优点在于：

(1)综合作业信息和操作系统信息(进程+网络)来判定进程与作业的相关性，可以不用关心用户应用的并行编程模型；

(2)通过多种类型的白名单、黑名单以及后继处理策略均可灵活配置，极大简化了管理员的工作。

附图说明

图1为本发明的实现方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明的方法进行说明。

集群的角色可以分为管理节点和普通计算节点两种，分别运行“主服务进程”和“代理服务进程”。

主服务进程负责实现本发明的所有主要流程，负责配置信息读取、计算节点查询、进程合法性判定、后继处理等过程；计算节点提供代理进程，负责相应服务端的请求，包括进程信息查询、网络连接信息查询、进程处理请求(如杀死)。

具体过程下：

步骤0)，主服务进程启动；

步骤1)，主服务进程读取各种配置参数，包括三类参数：(1)匹配参数，如黑名单、白名单；(2)运行参数，如刷新间隔、未知状态最大持续计数、节点查询线程并发数等；(3)后继处理参数，如是否打印判定结果、是否产生非法进程告警以及何种告警、是否杀死或者挂起非法进程等；

步骤2)主服务程序按照刷新时间设置睡眠一段时间。这样做的目的一是循环的需要，而是在首次循环时，可以给其它服务启动多留出一些启动时间；

步骤3)查询所有节点列表，即需要监控的所有集群节点的列表；

步骤4)查询节点进程相关信息，包括进程本身信息(4-1)、网络信息(4-2)和更新信息过程(4-3)。其中(4-1)和(4-2)在实现上可以合并处理，(4-3)除了合并整理信息之外，主要是完成对于“未知”进程的“未知”状态的连续计数；

步骤5)匹配白名单的过程，即遍历所有节点及所有进程，分别检查各个进程是否与“节点”、“用户”、“进程名”三种白名单匹配。如果匹配成功则可以判定进程合法；

步骤6)与步骤5)类似，只是匹配成功则可以判定进程为非法；

步骤7)查询所有运行作业的信息，即查询所有运行作业的作业ID、用户名、首进程号、首进程会话号、头节点、计算节点列表等作业信息；

步骤8)遍历所有作业，判定相关的进程。该过程是本发明的核心过程。主要是从作业的“首进程”出发，判定所有相关的进程。其过程分三步完成：

(8-1)根据作业的“头节点”和“会话号”判定作业“首进程”的位置，并判定其为合法进程；

(8-2)遍历“头节点”上的所有进程，将“首进程”的所有子孙进程标记为合法进程；

(8-3)根据(8-2)的判定结果，遍历子孙进程的网络连接信息，将与之连接的对点的进程(及其子孙进程)设置为合法进程。

步骤9)遍历各个节点的进程，将作业调度守护进程的子孙进程设置为合法进程；

步骤10)对于非法进程作出后继处理，分为三个子步骤：

(10-1)根据参数配置，打印判定结果到临时文件供管理员查看；

(10-2)根据参数配置，进行告警处理(发邮件、发短信、声光告警)

(10-3)根据参数配置，对非法进程进行处理(如是否杀死)

步骤11)检查是否需要结束循环。在检测到用户设置结束标记的情况下退出循环过程。

Claims (6)

1.一种基于进程扫描的非法作业监控方法，其特征在于：所述方法包括如下步骤：

S1，初始化进程黑名单和白名单；

S2，读取作业调度的作业的详细信息；

S3，获取所有计算节点的进程信息和网络连接信息；

S4，根据前述步骤获取的信息，按照匹配策略判定进程与黑名单和白名单及作业的相关性，进而判定进程合法性；

S5，根据上述S4步骤的判定结果和预定的处理策略对非法进程作后继处理，并更新进程中未知进程的计数，根据设定的时间间隔重复前述步骤判定。

2.如权利要求1所述的方法，其特征在于：所述合法性的判定规则如下：

a、与“白名单”相关的进程皆为合法进程；

b、与“黑名单”相关的进程皆为非法进程；

c、与作业相关的进程皆为合法进程；

d、其它进程为未知进程，未知状态连续持续多次则可判定其为非法进程。

3.如权利要求1所述的方法，其特征在于：所述作业详细信息是指从作业调度系统取到的作业的全部信息，包括作业ID、作业状态、所属用户、进程数、头节点名、首进程号、首进程会话号和占用计算节点列表；

其中，头节点是指启动作业的节点，首进程号是指作业启动后在第一个计算节点上的第一个作业进程的进程号，首进程会话号是指首进程所在的会话号。

4.如权利要求1所述的方法，其特征在于：所述网络连接信息是指该进程使用的所有TCP/IP连接的描述信息，包括协议类型、本地地址、本地端口、远程地址、远程端口和连接状态。

5.如权利要求1所述的方法，其特征在于：所述进程信息包括进程号、父进程号、进程组号、会话号、用户名、用户ID、进程状态和进程名。

6.如权利要求1所述的方法，其特征在于：所述匹配策略是指确定进程与黑名单、白名单或者作业的相关性的匹配方法；进程与白名单或黑名单的相关性可以直接判定，与作业的相关性则需要借助“父子进程”、“同一会话”、“网络相关”间接的关联方式判定。

Images