CN110336889B - 一种数值天气预报模式运行智能监控平台和监控方法 - Google Patents

Abstract

本发明属于信息技术及气象数据分析技术领域，涉及一种数值天气预报模式运行智能监控平台和监控方法。平台数据库输入端连接监控配置模块和运维监控模块的输出端，数据库输出端连接运维监控模块输入端，运维监控模块输出端连接监控展示模块和通知警告模块。本发明提供的数值天气预报模式运行智能监控平台和监控方法具有高度智能化，可以将运行异常的信息及时进行绘图展示、消息提醒和声音告警，并能够将运行异常的信息通过第三方平台推送到手机APP进行告警提醒，满足数值天气预报模式运行实时监控的需求，提高了数值天气预报模式运行的监控效率。

Description

一种数值天气预报模式运行智能监控平台和监控方法

技术领域

本发明属于信息技术及气象数据分析技术领域，涉及一种数值天气预报模式运行智能监控平台和监控方法。

背景技术

随着计算机水平的发展和资料同化技术的进步，数值天气预报已成为天气预报的核心支撑，在天气预报业务中发挥着不可替代的作用。研发先进的数值天气预报模式系统，确保数值天气预报模式系统运行稳定、及时，是保障天气预报业务正常运行的关键。由于数值天气预报模式系统运行需要较大规模的高性能集群系统，如果集群计算节点、网络或存储出现故障，均会影响模式系统正常运行。同时，如果资料（如全球背景场数据、观测资料等）不正常、模式运行计算中出现积分不稳定等问题，均会导致数值天气预报模式运行出错，影响模式正常计算。因此，在日常业务中，模式开发人员需要耗费大量精力保障、监控模式系统是否正常稳定运行。

传统的对于模式系统运行的维护大多以开发人员主观查看为主，缺乏有效的运行监控技术。为了实时监控模式运行是否正常，往往安排技术开发人员轮流值班，以便第一时间发现模式异常问题，从而进行处理。这种监控方式属于人工主动监控，耗费了大量人力，维护成本高。近几年，部分单位开发了模式运行监控系统，将模式运行结果以图表等方式在网站展示，供模式系统维护人员查看。但这类模式系统运行监控技术还存在以下不足：第一，目前的模式系统运行监控软件大多是针对模式运行结果是否正常进行监控，如果模式运行过程出现错误，不能及时发现，不能达到全过程运行监控的目的。第二，模式系统出现故障时，同样需要运维人员主动查看网页才能获取相关信息，无法在第一时间主动告警。第三，模式系统运行监控强烈依赖局域网环境，模式运行维护人员必须在办公室值班才能监控模式运行过程是否正常。脱离局域网环境，无法获知相关信息，模式运行维护人员成本仍然很高。

综上所述，目前关于模式系统运行监控技术智能性不够，还远远不能满足实时监控的要求。随着物联网技术的快速发展，迫切需要发展更为高效、智能的模式运行监控平台和监控方法，提高模式运行监控效率。

发明内容

本发明针对传统技术中存在的问题提出一种新型的数值天气预报模式运行智能监控平台和监控方法。

为了达到上述目的，本发明是采用下述的技术方案实现的：

一种数值天气预报模式运行智能监控平台，包括：

（1）监控配置模块。

监控配置模块是指在平台上对需要监控的内容进行在线配置，将监控内容相关信息存入数据库。监控配置包括产品监控配置和流程监控配置。

产品监控配置主要对监控的数值天气预报模式预报产品所在的路径（服务器）、监控的文件目录规则、文件名规则、文件大小范围、监控起止时间（产品生成时间）进行在线配置，形成模式预报产品监控内容，存入数据库。

流程监控配置首先将数值天气预报模式运行整个过程分成几个相对独立的模块，确定每一模块输入和生成的数据文件，针对每一部分输入和生成数据文件所在的路径（服务器）、文件目录规则、文件名规则、文件大小范围、文件生成时间进行监控配置，形成模式运行流程监控内容，存入数据库。

（2）运维监控模块。

运维监控模块主要是定时采集监控文件数据是否正常到达。按照产品监控和流程监控配置的文件监控目录、文件名、监控时间点（起始时间）、文件大小范围，制定定时采集任务，通过定时任务监控相应的文件是否正常到达、文件大小是否正常等。监控异常的文件会重新放到任务队列等待再次执行，当超过设置的正常监控时间范围后监控的文件仍然异常，则进行告警。

（3）监控展示模块。

根据运维监控模块采集的监控信息，采用网页绘图技术在网站上画图，进行模式运行监控结果展示。运行正常和异常信息分别采用不同颜色进行画图标识，便于模式运维人员查看模式运行结果。对于模式运行流程监控，可将模式运行的所有模块以树的结构绘图展示出来，文件在正常时间点生成或到达指定目录，则为运行正常；否则，则为运行异常。绘图时分别采用不同颜色表示已完成、未完成、运行异常的计算模块，便于模式运维人员查看模式运行过程状态。

（4）通知告警模块。

对于运行异常信息，系统会产生一条告警消息推送在监控展示模块的消息提醒部分，同时通过音频技术实现本地声音播放，进行告警提醒。同时通过第三方平台将告警消息推送到手机APP上，同时进行异常信息提醒和声音告警。

数据库输入端连接监控配置模块和运维监控模块的输出端，数据库输出端连接运维监控模块输入端，运维监控模块输出端连接监控展示模块和通知告警模块。

一种数值天气预报模式运行智能监控方法，包括如下步骤：

（1）首先将数值天气预报模式按照运行计算过程分成几个相对独立的模块，确定每一模块输入和输出的数据文件，以及模式后处理生成的数据文件、图片产品和客观预报产品数据，作为运行监控的文件内容。

（2）进行监控配置。通过数值天气预报模式运行智能监控平台上的监控配置模块，将需要监控的模式产品数据和模式运行中间数据进行在线配置，配置好需要监控文件的文件存放目录、文件名规则、文件生成时间（监控起止时间）、文件大小范围等，监控配置信息存入数据库。

（3）启动运维监控。按照配置的监控文件目录、文件名规则、监控起始时间、文件大小范围，制定定时采集任务。定时访问数据所在磁盘，匹配被监控的目录下文件是否存在。如果文件正常到达则将监控的结果入库，监控异常的文件会重新放到任务队列等待再次采集，当超过设置的正常监控时间范围后监控的文件仍然异常，则系统自动生成运行异常告警提示信息。

（4）进行监控结果展示。根据运维监控模块采集的监控信息，采用网页编程技术，通过画方块等绘图方式将模式运行监控结果在网页上进行展示。运行正常和运行异常的信息分别采用不同颜色进行填充，便于运维人员识别异常信息。对于模式运行流程监控，点击模式运行状态方块，可将模式运行的所有模块以树的结构绘图展示出来，通过不同的颜色来提醒运行异常的部分。对于运行异常信息，系统会产生一条告警消息推送在监控展示模块的消息提醒部分。

（5）通知告警提醒。对于运行异常信息，系统在推送告警消息的同时，通过音频技术实现本地声音告警。同时，将相应的异常告警消息通过第三方平台推送到手机APP上，进行声音和异常信息告警提醒。

作为优选，数据采集方式包括主动采集和被动推送采集。

作为优选，数据主动采集的具体方式包括本地文件采集、FTP文件采集、SFTP文件采集以及SMB文件采集。

作为优选，数据采集方式为被动推送时，则到指定目录下实时访问最新推送文件数据信息。

与现有技术相比，本发明的优点和积极效果在于：

本发明提供的数值天气预报模式运行智能监控平台和监控方法具有高度智能化，能够对数值天气预报模式运行过程和预报产品的数据进行实时监控，可以对监控结果进行绘图展示、消息提醒和声音告警，并能够将运行异常的信息通过第三方平台推送到手机APP进行告警提醒，满足数值天气预报模式实时监控的需求，提高了数值天气预报模式运行的监控效率。

附图说明

图1为数值天气预报模式运行智能监控平台的业务架构框图，图2为平台的技术架构框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合具体实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。

实施例1

本实施例技术方案采用Java技术进行后台开发，前端网页采用html5开发，对运行信息进行网页展示，运行异常信息进行消息提醒和声音告警，并推送到手机APP进行告警提醒。

本发明数值天气预报模式运行智能监控平台的业务架构如图1所示，主要包括监控配置模块、运维监控模块、监控展示模块、通知告警模块。

图2显示的是平台的技术架构图，平台总体技术架构分为表现层、核心处理层、数据持久层、物理数据层和数据采集层。

表现层为用户与服务器沟通的桥梁，将数据呈现给用户查看分析，处理用户输入的数据，与服务器实现交互，提供如用户管理、基础数据维护、监控配置管理、展示监控结果等功能，并进行异常信息告警提醒。

核心处理层。应用功能主要体现在核心处理层上，这部分主要是与运维监控相关的应用功能模块，包含系统监控、数据管理、监控管理、告警管理等核心功能。

数据持久层主要是对模式运行监控的数据封装处理层，为表现层提供展示数据。存储系统日常管理的基础数据和日志数据，以及监控平台维护的监控配置、监控采集结果等业务数据，为业务系统接口提供数据支撑。

物理数据层主要是指数据库层，数据库的作用主要是存储整个系统用到的配置数据以及监控结果数据。

数据采集层主要为模式运行监控产品数据的采集，模式运行监控产品数据采集主要是通过本地文件采集、FTP文件采集、SFTP文件采集、SMB文件采集四种方式文件协议来实施。

基于上述业务和技术架构，本实施例数值天气预报模式运行智能监控平台包括如下四个模块：

（1）监控配置模块。

监控配置模块是指在平台上对需要监控的内容进行在线配置，监控配置包括产品监控配置和流程监控配置。

产品监控配置指对监控的数值天气预报模式预报产品所在的路径（服务器）、监控的文件目录规则、文件名规则、文件大小范围、监控起止时间（文件生成时间）进行在线配置，生成监控配置信息，存入数据库。

流程监控配置指首先将WRF中尺度模式按照运行结构特征分成WPS、WRFDA、WRFV3三部分，其中，WPS模块监控内容包括检查全球背景场资料是否正常、背景场资料解码是否正常、metgrid.exe运行是否正常，WRFDA模块监控内容包括更新模式边界资料是否正常、wrfvar资料输出文件是否正常，WRFV3模块监控内容包括real处理数据是否正常、WRF积分计算结果是否正常（检查模式计算输出产品）、wrfout数据抽样资料是否正常。将模式运行整个流程切分成不同模块，确定每一模块输入和生成的数据文件，针对每一模块输入和生成数据文件所在的路径（服务器）、文件目录规则、文件名规则、文件大小范围、文件生成时间进行监控配置，形成模式运行流程监控内容，存入数据库。

（2）运维监控模块。

本模块用于定时采集监控文件数据是否正常到达。按照产品监控和流程监控配置的文件监控目录、文件名规则、监控起止时间、文件大小范围，制定定时采集任务，定时监控生成的文件是否正常到达、文件大小是否正常等，数据采集方式包括本地文件采集和FTP文件采集。监控异常的文件会重新放到任务队列等待再次采集，当超过设置的正常监控时间范围后监控的文件仍然异常，则进行告警。

（3）监控展示模块。

对文件监控结果进行实时处理。基于html5的SVG可缩放矢量图形在网页上进行画方块图，实现模式运行监控结果展示，便于模式运维人员查看模式运行结果是否正常。运行正常信息采用蓝色画图标识，运行异常信息采用红色进行画图标识，提醒该产品运行异常。对于模式运行流程监控，点击模式运行流程监控结果展示方块，可以将模式运行的所有模块以树的结构画图展示出来，分别采用绿色、蓝色、红色表示已完成、未完成、运行异常的计算模块，便于模式运维人员查看模式运行过程状态是否正常。

（4）通知告警模块。

对于运行异常信息，系统会产生一条告警消息推送在监控展示模块的消息提醒部分，并通过html5的音频audio标签实现本地声音播放，进行告警提醒。同时，系统还通过极光推送平台将告警消息推送到山东数值预报手机APP上，同时进行异常信息提醒和声音告警。模式运维人员收到告警提醒后，可以点击告警信息进行确认，则系统不再进行告警提醒。

本发明数值天气预报模式运行智能监控方法包括如下步骤：

（1）首先将WRF模式分成WPS、WRFDA、WRFV3三部分，确定每一部分输入和输出的数据文件，以及WRF模式后处理生成的二进制文件、图片产品和客观预报产品数据，作为运行监控的内容。

（2）进行监控配置。通过数值天气预报模式运行智能监控平台上的监控配置模块，将需要监控的模式产品数据和模式运行中间数据进行在线配置，配置好需要监控数据的文件名规则、文件生成时间、文件存放目录、文件大小范围等。

（3）启动运维监控。根据模式运行监控配置内容，启动Java的Timer进行定时采集监控。按照配置的监控目录、文件名规则、监控起始时间、文件大小范围，制定定时采集任务。数据采集方式为主动采集，主要包括本地文件采集和FTP文件采集两种方式。按照配置的共享文件服务器IP、登录用户名、登录密码、访问类型等，访问数据所在磁盘，匹配被监控的目录下文件是否存在。如果文件正常到达则将监控的结果入库，如果文件未正常到达则为监控异常，系统自动生成运行异常告警提示信息。

例如，目录/home/Y/yyyyMMdd/yyyyMMddhh/下，监控文件名为MOP_X_201804010800.nc，系统会根据文件名匹配被监控的目录下文件是否存在、文件大小是否正常，如果文件存在且大小正常，将此文件信息采集出来。

（4）进行监控展示。对文件监控结果进行实时处理。采用网页编程技术，将监控结果在网页上绘成方块图，对每一次监控结果进行展示。运行正常的用蓝色方块表示，运行异常的用红色方块进行标识提醒。点击方块图，可以显示文件监控结果的详细信息，具体说明运行异常的数据文件。对于模式运行流程监控，点击方块图可将模式运行的所有模块以树的结构绘图显示出来，分别采用绿色、蓝色、红色表示已完成、未完成、运行异常的计算模块。对于运行异常信息，系统会产生一条告警消息推送在监控展示模块的消息提醒部分。

（5）通知告警提醒。对于运行异常信息，在生成异常告警提示信息的同时，通过html5的audio实现本地声音告警。同时，将相应的异常告警消息通过极光推送平台推送到山东数值预报手机APP上，进行声音和异常信息告警提醒。模式运维人员收到告警提醒后，可以点击告警信息进行确认，则系统不再进行告警提醒。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种数值天气预报模式运行智能监控平台,其特征在于,包括监控配置模块、运维监控模块、监控展示模块以及通知告警模块；

所述监控配置模块对需要监控的内容进行在线配置，将监控内容相关信息存入数据库，监控配置模块包括产品监控配置和流程监控配置；所述流程监控配置将数值天气预报模式运行整个过程分成几个相对独立的模块，确定每一模块输入和生成的数据文件，针对每一部分输入和生成数据文件所在的服务器、文件目录规则、文件名规则、文件大小范围、文件生成时间进行监控配置，形成模式运行流程监控内容，存入数据库；

所述运维监控模块定时采集监控数值天气预报模式运行过程中生成的文件数据是否正常到达，按照产品监控配置和流程监控配置的文件监控目录、文件名、监控起始时间点、文件大小范围，制定定时采集任务，通过定时任务监控相应的文件是否正常到达、文件大小是否正常；监控异常的文件会重新放到任务队列等待再次执行，当超过设置的正常监控时间范围后监控的文件仍然异常，则进行告警；

所述监控展示模块根据运维监控模块采集的监控信息，采用网页绘图技术在网站上画图，进行模式运行监控结果展示；

所述通知告警模块为对于运行异常信息，系统产生告警消息并推送在监控展示模块的消息提醒部分，同时通过音频技术实现本地声音播放，进行告警提醒，并通过第三方平台推送到手机APP上进行告警提醒；

数据库输入端连接监控配置模块和运维监控模块的输出端，数据库输出端连接运维监控模块输入端，运维监控模块输出端连接监控展示模块和通知告警模块。

2.根据权利要求1所述的数值天气预报模式运行智能监控平台,其特征在于,

所述产品监控配置对监控的数值天气预报模式预报产品所在的服务器、监控的文件目录规则、文件名规则、文件大小范围、监控起止时间进行在线配置，形成模式预报产品监控内容，存入数据库；

所述流程监控配置将数值天气预报模式运行整个过程分成几个相对独立的模块，确定每一模块输入和生成的数据文件，针对每一部分输入和生成数据文件所在的服务器、文件目录规则、文件名规则、文件大小范围、文件生成时间进行监控配置，形成模式运行流程监控内容，存入数据库。

3.根据权利要求1所述的数值天气预报模式运行智能监控平台,其特征在于, 所述监控展示模块针对运行正常和异常信息分别采用不同颜色进行画图标识，便于模式运维人员查看模式运行结果；对于模式运行流程监控，将模式运行的所有模块以树的结构绘图显示出来，文件在正常时间点生成或到达指定目录，则为运行正常；否则，则为运行异常；绘图时分别采用不同颜色表示已完成、未完成、运行异常的计算模块，便于模式运维人员查看模式运行过程状态。

4.利用权利要求1-3任意一项所述平台进行数值天气预报模式运行智能监控的方法，其特征在于，包括以下步骤：

（1）将数值天气预报模式按照运行计算过程分成几个相对独立的模块，确定每一模块输入和输出的数据文件，以及模块后处理生成的数据文件、图片产品和客观预报产品数据，作为运行监控的数据文件内容；

（2）进行监控配置：通过数值天气预报模式运行智能监控平台上的监控配置模块，将需要监控的模式产品数据和模式运行中间数据进行在线配置，配置好需要监控文件的文件存放目录、文件名规则、数据生成时间、文件大小范围，监控配置信息存入数据库；

（3）启动运维监控：按照配置的监控文件目录、文件名规则、监控起始时间、文件大小范围，制定定时采集任务；定时访问数据所在磁盘，匹配被监控的目录下文件是否存在；如果文件正常到达则将监控的结果入库，监控异常的文件会重新放到任务队列等待再次采集，当超过设置的正常监控时间范围后监控的文件仍然异常，则系统自动生成运行异常告警提示信息；

（4）进行监控结果展示：根据运维监控模块采集的监控信息，采用网页编程技术，通过网页绘图方式将模式运行监控结果在网页上进行展示；运行正常和运行异常的信息分别采用不同颜色进行表示，便于运维人员识别异常信息；对于模式运行流程监控，点击模式运行状态绘图展示部分，将模式运行的所有模块以树的结构绘图展示出来，通过不同的颜色来提醒运行异常的部分；对于运行异常信息，系统产生告警消息推送在监控展示模块的消息提醒部分；

（5）通知告警提醒：对于运行异常信息，系统在推送告警消息的同时，通过音频技术实现本地声音告警；同时，将相应的异常告警消息通过第三方平台推送到手机APP上，进行声音和异常信息告警提醒。

5.根据权利要求4所述进行数值天气预报模式运行智能监控的方法，其特征在于，所述步骤（3）中数据采集方式包括主动采集和被动采集。

6.根据权利要求5所述进行数值天气预报模式运行智能监控的方法，其特征在于，所述主动采集包括本地文件采集、FTP文件采集、SFTP文件采集以及SMB文件采集。

7.根据权利要求6所述进行数值天气预报模式运行智能监控的方法，其特征在于，所述被动采集为指定目录下实时访问最新推送文件数据信息。

Images