CN115860167A - 一种数值预报平行实验平台的构建方法及系统 - Google Patents
一种数值预报平行实验平台的构建方法及系统 Download PDFInfo
- Publication number
- CN115860167A CN115860167A CN202211220824.0A CN202211220824A CN115860167A CN 115860167 A CN115860167 A CN 115860167A CN 202211220824 A CN202211220824 A CN 202211220824A CN 115860167 A CN115860167 A CN 115860167A
- Authority
- CN
- China
- Prior art keywords
- interface
- data
- workflow
- constructing
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明提出一种数值预报平行实验平台的构建方法及系统,属于实验平台构建的技术领域,该方法围绕数值预报平行实验平台的建设,实现了业务系统脚本模块化流程,建立了完整、高效、稳定的业务系统脚本流程;实现了业务流程的编排,引入流程描述语言定义流程的组成关系、逻辑关系和控制结构,能够真实反映业务的层次结构,作业间的依赖关系,能够按照业务流程定义实现应用任务集的统一调度和管理等;实现了系统集成界面,提供用户界面,实现了业务全流程的实时监控、警告或错误报警功能、业务流程实时日志,以及文档管理、统计和实时显示;建立了可定制化的预报性能检验包。
Description
技术领域
本发明属于实验平台构建的技术领域,特别是涉及一种数值预报平行实验平台的构建方法及系统。
背景技术
可视化的数据呈现平台是气象预报业务的重要组成部分,有效的数值预测对实现天气预报客观、定量、准确的需求有着重要的意义。目前,基于不同时空尺度天气系统特点,建立了“高低分辨率搭配、长短时效兼顾、有限区域与全球模式相配合、确定性与概率预报相结合、天气模式与专业模式并举”的精细化数值预报体系,有效提高了模式的预报水平。
现有技术中针对数值预报平行实验平台的建设,目前尚未完全建立,导致无法实现完整、高效、稳定的业务系统脚本流程,无法按照业务流程实现应用任务集的统一调度和管理等。
发明内容
发明目的:提出一种数值预报平行实验平台的构建方法及系统,以解决现有技术存在的上述问题,通过开展数值预报平行实验平台的建设,实现业务流程的高效编排,准确描述流程的组成关系、逻辑关系和控制结构,真实反映业务的层次结构、作业间的依赖关系等,使系统能够在统一组织调度下协同有序地完成相关处理任务,实现业务流程模型化与可调度化。
技术方案:第一方面,提出了一种数值预报平行实验平台的构建方法,该方法具体包括以下步骤:
步骤1、根据数据交互需求,构建数据交互接口;具体包括以下步骤:
步骤1.1、构建工作流执行服务与工作流建模工具之间的接口;
步骤1.2、构建工作流执行服务与客户应用之间的接口;
步骤1.3、构建工作流机与直接调用的应用程序之间的直接接口;
步骤1.4、构建工作流管理系统之间的互操作接口;
步骤1.5、构建工作流执行服务与工作流管理工具之间的接口。
步骤2、基于数据交互接口,构建作业任务与作业资源的对应关系;其中构建作业任务与作业资源的对应关系的过程中,对应的工作流数据包括:工作流控制数据、工作流相关数据和工作流应用数据。
步骤3、根据对应关系,集成作业任务与完成作业任务的应用程序;
步骤4、汇总作业任务,并构建可视化集成界面;可视化集成界面根据导航栏需求完成所需功能的调用;调用功能包括:流程监控、告警提示、日志管理和统计分析;所述告警提示用于实现告警显示、声音告警、多用户支持和故障诊断。
步骤5、基于历史数据构建数值预报模块;
步骤6、针对生成的预报数据进行检验,生成检验报告,并输出检验报告。为了获取更为精准的预报性能检验结果,提出预报性能检验工具为业务系统检验提供交互分析,同时结合预报性能的检验表达式,进行数值预报性能检验,具体包括以下步骤:
步骤6.1、对预报产品和实测数据进行时空分布信息以及变量信息的数据匹配处理,实现坐标系统、时区和计量单位等统一归一化处理;
步骤6.2、从不同层面,综合运用预报性能检验的平均误差、平均绝对误差、均方根误差,以及预测评分、技巧评分,对数值预报产品性能进行客观定量的检验评定。
利用集成程序实现作业任务的过程中,为了有效实现数据流程成的管理,构建工作流引擎模块对工作流定义的解析以及流程流转的提供支持。
工作流引擎模块被划分成7个层次,具体包括:外设层、对外接口层、交互代理层、引擎内核处理层、引擎运行服务层、扩展实现层和基础组件层;
外设层是工作流引擎模块与外界交互的扩展层;
对外接口层用于提供与外界的会话交互;
交互代理层用于解决对外接口层与引擎的通信,且整体的实现过程对访问客户透明;
引擎内核处理层用于解决活动之间的调度,依据调度算法,调度流程的运转;
引擎运行服务层用于为工作流引擎模块的计算调度提供服务;
扩展实现层用于为外扩扩展提供扩展点;
基础组件层用于为工作流引擎模块的运行提供一些基本的公共组件。
可视化集成界面采用B/S架构展示界面,并采用AJAX技术实现无刷新的数据更新;可视化集成界面还包括系统配置的功能,通过与处理层建立实时的通信连接,实现无需系统重新启动的情况下,将系统配置变更的请求传递到后台程序加以解释,并立即生效。可视化集成界面采用拓扑图的形式进行数据展示;所述拓扑图集中用户关心的各个监控点,以及呈现监控点之间的关系。其中,拓扑图以树形展示,点击树上节点发生切换,清除当前拓扑,并加载新拓扑。
第二方面,提出一种数值预报平行实验平台的构建系统用于实现数值预报平行实验平台的构建方法,该系统具体包括以下模块:
接口构建模块,被设置为实现不同模块之间的数据交互;
资源映射模块,被设置为根据任务需求建立作业任务与作业资源之间的映射关系;
任务集成模块,被设置为根据映射关系集成作业任务与完成作业任务的应用程序;
可视化界面搭建模块,被设置为搭建用户提供可视化的功能操作界面;
数值预报模块,被设置为根据历史数据生成数据预测值;
检验校对模块,被设置为检验数据预测值与实际值之间的差距,并生成校验报告。
有益效果:本发明提出一种数值预报平行实验平台的构建方法及系统,围绕数值预报平行实验平台的建设,实现了业务系统脚本模块化流程,建立了完整、高效、稳定的业务系统脚本流程;实现了业务流程的编排,引入流程描述语言定义流程的组成关系、逻辑关系和控制结构,能够真实反映业务的层次结构,作业间的依赖关系,能够按照业务流程定义实现应用任务集的统一调度和管理等;实现了系统集成界面,提供用户界面,实现了业务全流程的实时监控、警告或错误报警功能、业务流程实时日志,以及文档管理、统计和实时显示;建立了可定制化的预报性能检验包。
附图说明
图1为本发明的数据处理流程图。
图2为本发明的数据交互接口示意图。
图3为本发明的工作流引擎模块的层次示意图。
图4为本发明的系统集成界面综合信息显示总体架构图。
图5为本发明的告警提示业务流程图。
具体实施方式
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
实施例一
在一个实施例中,针对实际应用中的需求,围绕数值预报业务流程建模、后台运行调度和前端可视化监控业务需求,构建由业务脚本模块化流程、系统集成界面和业务系统检验包三大部分组成的数值预报平行实验平台。
具体的,如图1所示,构建一种数值预报平行实验平台的过程包括以下步骤:
步骤1、根据数据交互需求,构建数据交互接口;其中构建的数据交互接口包括:工作流执行服务与工作流建模工具之间的接口、工作流执行服务与客户应用之间的接口、工作流机与直接调用的应用程序之间的直接接口、工作流管理系统之间的互操作接口、工作流执行服务与工作流管理工具之间的接口。
步骤2、基于数据交互接口,构建作业任务与作业资源的对应关系;实现作业任务过程中对应的工作流数据包括:工作流控制数据、工作流相关数据和工作流应用数据。
步骤3、根据对应关系,集成作业任务与完成作业任务的应用程序。
步骤4、汇总作业任务,并构建可视化集成界面,用户在可视化集成界面可以根据导航栏需求完成所需功能的调用。在可视化的集成界面中,包括流程监控、告警提示、日志管理和统计分析等功能模块,其中的告警提示模块用于实现告警显示、声音告警、多用户支持、故障诊断。
步骤5、基于历史数据构建数值预报模块;
步骤6、针对生成的预报数据,构建性能检验工具进行检验,生成检验报告,并输出检验报告。
本实施例提出的数值预报平行实验平台,实现了业务流程的高效编排,准确描述流程的组成关系、逻辑关系和控制结构,真实的反映了业务的层次结构、作业间的依赖关系等,使系统能够在统一组织调度下协同有序地完成相关处理任务,实现业务流程模型化与可调度化。
实施例二
在实施例一基础上的进一步实施例中,实现数据接口构建,以及集成过程中,为了实现完整、高效、稳定的脚本程序,构建业务脚本模块,有效实现业务流程的编排,引入流程描述语言定义流程的组成关系、逻辑关系和控制结构,真实反映业务的层次结构,作业间的依赖关系,并按照业务流程定义实现应用任务集的统一调度和管理等。
具体的,构建业务脚本模块的过程中具体包括以下步骤:
步骤1、构建工作流引擎模块,标识数据之间进行交互的数据接口,在利用工作流引擎模块实现作业任务过程中,涉及到的数据包括:工作流控制数据、工作流相关数据和工作流应用数据。
步骤2、构建业务流程调度模块;
数值预报作业的流程调度执行过程中,涉及与外部应用程序的接口调用与交互,通过其中每个外部应用程序接口代表的自动或手动的计算资源,计算产生中间数据,并最终生成数值预报产品。具体在流程调度的过程中,工作流机与应用程序调用,通过工作队列处理程序的功能,例如提供对处理过程、活动、工作单元属性和工作流相关数据的访问,实现了基本的应用程序调用支持。
步骤3、构建业务运行调度模块;
步骤4、构建运行维护管理模块。
其中,工作流控制数据是工作流引擎模块控制的流程实例内部状态数据,外部无法直接访问。但可以通过WAPI向工作流引擎发出请求来获得状态数据。
工作流相关数据是工作流引擎模块决定流程实例状态转换的条件数据,可以被工作流引擎和外部应用访问,并在活动实例之间传递条件数据。
工作流应用数据是由工作流引擎模块外部应用操作、针对应用程序的、是完成具体的业务功能所需要的数据,例如作业参数,工作流引擎无法也不需要访问业务数据。
优选实施例中,数据之间的交互接口如图2所示,接口一对应的工作流为:工作流执行服务与工作流建模工具之间的接口,包括工作流模型的解释和读写操作。接口二对应的工作流为:工作流执行服务与客户应用之间的接口,它约定所有客户方应用于工作流服务之间的功能操作方式。接口三对应的工作流为:工作流机与直接调用的应用程序之间的数据交互。接口四对应的工作流为:工作流管理系统之间的互操作数据交互。接口五对应的工作流为:工作流执行服务与工作流管理工具之间的数据交互。
在进一步的实施例中,工作流引擎模块作为流管理系统的核心部分,主要提供了对于工作流定义的解析以及流程流转的支持。如图3所示,工作流引擎模块的层次被划分为:外设层、对外接口层、交互代理层、引擎内核处理层、引擎运行服务层、扩展实现层和基础组件层。
外设层是工作流引擎模块与外界交互的扩展层,可以让外界通过JMS/WebService等方式与引擎进行交互,为引擎提供对移动设施的支持等。
对外接口层提供与流程引擎,或者说流程服务器的会话交互。外界通过这些接口来与引擎进行交互,对流程进行操纵、管理。
交互代理层用于解决对外接口层与引擎的通信,整体的实现过程对访问客户透明。
引擎内核处理层用于解决活动之间的调度,依据调度算法,调度流程的运转。数据处理的过程中,依赖实例对象和资源,例如流程实例(ProcessInstance)”和一些环境资源对象(ExecutionContext)等,以及一些负载数据的对象。
引擎运行服务层用于为工作流引擎模块的计算调度提供服务,提供的服务主要包含:流程定义解析服务、流程实例存储服务、参与者解析服务、脚本计算服务、事件监听服务等。该层会自适应的因引擎结构、功能的不同进行变换。同时这些服务很多程度上都依赖于“扩展实现层”中的组件或适配器。
扩展实现层用于为外扩扩展提供扩展点。优选实施例中包含三类扩展点,第一类是支撑流程运行的扩展点,这些扩展点必须被实现,否则引擎无法运行。例如为引擎提供存储适配。第二类是辅助流程运行的扩展点,利用这些扩展点,可以让引擎进行更多的处理,例如一些Function接口、条件处理接口。第三类是增强流程运行的扩展点,利用这些扩展点,可以让引擎的内能变得更强大和完善。例如一些事件监听处理接口,客户自定义的策略实现等。
基础组件层用于为工作流引擎模块的运行提供一些基本的公共组件,例如脚本计算、时间计算等。
在进一步的实施例中,由于许多工作流系统限制了它们能处理的应用程序的范围,这些应用程序的数据必须是强类型,而且必须能够直接访问,例如通过目录、字处理或电子表格程序。
在简单的情况下,应用程序调用都在本地发生,并且使用处理程序定义中的信息。即应用程序类型和相关数据。调用的应用程序可能在本地,也可能在网络上能访问到的其他位置。处理过程定义中包含了足够的应用程序类型和位置信息,即工作流引擎需要的。此时,应用程序命名和地址对处理过程定义和工作流引擎来说是本地的。
应用程序调用API的语法将由WfMC研究并作为规范收入文档。操作将通过几个接口进行,有些是同步的、有些是异步的。优选实施例中,应用程序调用可能会用到的命令集包括:
会话的建立:建立或断开应用程序,或应用程序代理会话;
活动管理功能:支持工作流引擎到应用程序;启动活动,即工作流引擎到应用程序;挂起/唤醒/终止活动,用于异步应用程序接口;应用程序到工作流引擎;活动完成通知;产生事件,例如同步;查询活动属性。
数据处理功能:给出工作流相关数据,即应用程序的前驱和后继活动;给出应用程序数据或数据地址。
本实施例构建的业务脚本模块,实现作业流程编排时每个作业步定义对外部计算资源调用能力的引入,最终完成工作流作业与应用程序的集成。
实施例三
在实施例一基础上的进一步实施例中,根据人机交互的应用需求,构建可视化集成界面,提供用户界面,实现业务全流程的实时监控、警告或错误报警功能、业务流程实时日志,以及文档管理、统计和实时显示功能等。
具体的,可视化集成界面采用B/S架构展示界面,方便多用户使用,同时,提供能灵活定义的图形界面,以及以业务为中心的流程监控管理角度,实现平台相关业务调度的综合显示。为了便于数据分析,可视化集成界面还具有丰富的报表功能,发掘故障产生的真正原因,找出故障的发生规律,从而避免故障的再次发生,起到防患于未然的作用。
在可视化的集成界面中,如图4所示,包括流程监控、告警提示、日志管理和统计分析等功能模块。传统技术在实现流程监控的过程中采用B/S架构,由于http协议的特性,一般采用页面刷新的形式来更新客户端的数据。但是,为了适应大量页面业务流程监控实时更新的要求,本实施例采用AJAX技术实现无刷新的数据更新,增强系统易用性。
可视化的集成界面的构成如图4所示,集成界面除了供用户了解系统及系统业务流程的运行情况外,还有系统配置的功能,例如:采集的配置、告警规则配置。Web Console通过与处理层建立实时的通信连接,实现无需系统重新启动的情况下,将系统配置变更的请求传递到后台程序加以解释,并立即生效。
系统集成界面流程监控主要实现业务全流程实时监控,主要展现系统业务流程的拓扑结构和业务流程实时监控。业务流程拓扑结果综合展示平台各业务流程运行所依赖的所有网络、软硬件资源、子流程等信息,对用户来讲是一种非常直观,有效的展示手段。在拓扑图上不仅集中了用户最关心的各个监控点,更能定义出这些监控点之间的关系,从而使用户很方便的了解一个监控点发生告警之后会对系统其他模块产生怎样的影响,以及有哪些其他因素会影响到一个监控点。
拓扑图结构以树形展示,点击树上节点发生切换,清除当前拓扑,并加载新拓扑。切换拓扑图时,若当前拓扑处于编辑模式,则提示用户保存修改,切换到其它拓扑图后自动变为监控模式;新建拓扑图方式,在现有拓扑图节点上创建子拓扑;在拓扑树上创建。拓扑图支持多级拓扑图,可以层层深入。
拓扑图可以拖拽,以及直接在IE中进行编辑,任何网元都可以被安排到拓扑图上进行展示。拓扑图上支持虚拟节点,并非一定是有编码的网元才能加入拓扑图,如:气象站点、交换机等不在系统监控范围内,而又需要作为拓扑图一部分出现的对象;支持多选、组合等利于提高编辑效率的功能。
优选实施例中,在监控模式下,在页面不刷新的前提下,定期更新拓扑图上节点的状态,反映系统实际告警情况;拓扑图上的节点和线条都能够反映告警情况,线条更适宜于表现socket连接、通信线路、MQ quene等网元,而这些网元是被监控系统中的重要组成部分;可通过拓扑图上的节点访问告警、性能等各类信息;可以为拓扑图定义组合告警,也就是说,并不是该拓扑图上有节点告警拓扑图就处于告警状态,拓扑图的告警状态将可以由一个组合条件来决定;有当发生告警时,拓扑图上能以发声,闪烁的方式提示用户哪个网元发生了告警,同时凡是相关的建立过关联关系的网元上也有告警提示,这样能使用户在第一时间清楚的知道告警产生的真正原因,以便用户第一时间解决问题。
告警提示功能模块实时接收各个模块提交的错误日志信息,按照指定的格式进行存储。将接收到的错误日志信息,按照日志的模块、状态、错误等级等,进行分类汇总。根据日志分析结果,按照数据空间管理策略配置参数,对出现异常的信息及时进行报警提示,并将错误信息反馈到相应的程序中。告警提示功能模块业务流程如图5所示。
告警提示功能模块提供了以数型结构列表方式的展示界面,更方便于管理人员主动的去了解整个业务系统运行的实时状况。告警提示故障监控提供完整、统一的故障告警界面,集中显示来自数据层和处理层经过相关处理后的故障告警,确保管理人员可以及时响应来自业务系统的分级、分类的告警。告警提示故障告警能够提供列表形式的故障告警监视界面,使管理人员可以监视到被管资源的实时告警事件,并可进行告警诊断处理,并对相关告警进行告警确认、清除、派工、检测等操作。
在进一步的实施例中,告警提示功能模块支持告警显示、声音告警、多用户访问以及故障诊断功能。
故障告警监视界面可以显示所有的活动告警事件,告警事件以不同的颜色标识相应的告警级别。可以根据管理需要定制增加警告级别,告警监视界面提供定制或增加警告级别的界面,并可以配置适当的颜色表示。
系统管理员可以根据告警级别和告警类别的不同组合设置不同告警音,可自定义每种报警声音的声音类型、开关状态,系统提供修改维护界面。故障告警界面还提供接口,可以把关键的重大告警通过大屏、报警器、邮件等方式在第一时间里通告给相关管理人员。
多用户访问支持远程访问的技术,允许多个管理人员从多个控制台同时进入故障告警界面。同时,用户可以根据授权访问相应的故障事件。
故障诊断的过程中,针对不同类型的故障告警信息,提供不同的监测手段进行故障诊断,包括ping、tracerouter、业务拨测、线路监测等手段帮助管理人员进行故障诊断。通过故障诊断分析可以快速精准定位错误,为系统修复与维护提供技术支撑。
在进一步的实施中,为了实现统一的日志管理,构建统一的日志生成与综合处理程序,当运行平台的时候,程序会自动运行。平台会在每个功能执行后自动记录日志,并且会将功能的一些属性信息同时记录,方便使用者在程序出现错误的时候能够快速定位。日志管理模块会根据空间管理策略配置参数,定时自动清除历史日志。通过日志管理不仅可以使用户有效的掌握自身管理系统的运行健康情况,而且在管理系统异常分析方面都会起到很好的保障作用,提供完善的日志管理功能,记录系统运行中每个操作员对系统操作的情况,便于统一查询和审计。
具体的,统一的日志生成与综合处理程序实现功能包括:
提供对业务系统或网络环境的操作日志详细记录,记录操作员的登陆账号、登陆IP、登陆时间、退出时间等;
对操作员所执行的增、删、改等操作进行日志记录管理;
可根据操作日志数据来源,按照业务模块的划分规则对日志进行分类归档;
通过周期性审计、实时审计和事后审计等日志审计策略,可以发现非法违规操作,进而发现网络安全漏洞并及时采取补救措施。
在进一步的实施例中,可视化集成界面中的统计分析功能该模块可以令用户通过统计分析报告来了解业务系统的真实状况,总结最常见告警,分析告警的影响面,确定告警的真正原因,杜绝告警的再次发生。该模块提供了灵活、强大的查询、统计、发布及报告的功能,用户可以查询到系统配置数据、性能数据、故障信息、报表统计数据以及系统管理数据,且这些数据均可导出并归档到外部数据库,另外可借助数据仓库工具建模,同时可以进行一些更为复杂高级的统计分析和挖掘。优选实施例中,通过报告模板主要提供以下类型的报告:
故障分析报告:故障分析报告主要是针对一个故障发生之时,其相关所有关联的网元或者受影响的网元的实时情况的快照总结。
故障统计报告:故障统计报告多用于统计故障发生的频率。可以按故障类型,发生时间段,发生次数等多条件出报表。
系统常规运行状态报告:系统常规运行状态报告是定期的产生被监控系统的实时状况的报告,包括网络基础平台运行状态报告和业务系统运行状态报告。
性能指标报告:系统运行的性能是要靠监控的性能指标来反应的,所以需要对监控的性能指标提供报告进行分析。
配置变更报告:这种报告主要反应被管系统的配置变更情况。因为被监控系统的环境非常复杂,而如何能保证监控系统中的模型与真实系统的模型是一致的,这就对配置变更报告有较强的要求。
同时,平台可根据数值预报平行实验需求,支持信息统计分析功能,主要包括:
根据用户的选择,可以按模板组、创建用户、创建时间三种方式分类呈现统计分析模板。
系统可以对各种查询结果进行某一维度的统计分析,并能将统计分析以结果文本列表、图形方式或报表方式显示、打印或转存为Excel报表方式输出。
可以定义根据统计需要,增加虚拟列(通过原始列组合计算而来的列)。
可以在任何时候对同一元素、同一时间段的数据进行各种不同粒度的关联分析,避免那种只保存即时报表结果所造成的无法进一步分析的困境。
本实施例针对可视化的需求,构建的可视化集成界面充分梳理提炼了业务流程,将各业务流程分解为若干过程单元,规划和设计所需的各道工序、各过程单元所依赖的软件插件以及相互之间的衔接关系,并将其固化为可执行的工序流程,完成业务流程模型构建,支持流程的周期性、自动化执行,提高业务流程的规范性。在流程执行过程中,平台将根据各过程单元所依赖的软件插件进行调度控制,保证业务协同、高效有序。
实施例四
在实施例一基础上的进一步实施例中,随着实际应用需求的增多,构建的数值预报平行试验台需要支持的作业流程更为多样,因此平台将面临对现有数据源等的升级改造与扩展集成的问题,同时还需要充分考虑平台与外部系统的关系,实现与之有效集成与衔接,形成数值预报业务调度的一体化。在数值预报的作业流程中,针对生成的预报数据,构建性能检验工具进行检验,生成检验报告,并输出检验报告。
具体的,根据数值预报性能检验需求构建业务系统检验包,用于实现可定制化的预报性能检验,并根据检验结果生成检验报告后,输出检验报告。
在进一步的实施例中,根据区域数值预报性能的检验需求,采用均方根误差实现检验的表达式为:
式中,xi表示数值预报产品;x′i表示与xi匹配的实测数据;n表示样本点总个数。
在进一步的实施例中,根据区域数值预报性能的检验需求,采用相关系数实现检验的表达式为:
式中,Xi表示预报产品;Yi表示实测值;表示预测产品均值观测值;/>表示要素的均值观测值;n表示样本点总个数。r表示的是两个变量间线性相关强弱的程度。r的取值在-1与+1之间,若r>0,表明两个变量是正相关,即一个变量的值越大,另一个变量的值也会越大;若r<0,表明两个变量是负相关,即一个变量的值越大另一个变量的值反而会越小。r的绝对值越大表明相关性越强,要注意的是这里并不存在因果关系。若r=0,表明两个变量间不是线性相关,但有可能是其他方式的相关,例如曲线方式。利用样本相关系数推断总体中两个变量是否相关,可以用t统计量对总体相关系数为0的原假设进行检验。若t检验显著,则拒绝原假设,即两个变量是线性相关的;若t检验不显著,则不能拒绝原假设,即两个变量不是线性相关的。
在进一步的实施例中,根据区域数值预报性能的检验需求,采用距平相关系数ACC实现检验的表达式为:
在进一步的实施例中,根据区域数值预报性能的检验需求,采用预测评分Ps实现检验的表达式为:
式中,N0表示预报和实况的距平百分率同号,以及预报和实况虽距平百分率不同号但都属正常级的站数,当距平百分率为零时,认为是正距平;N表示参加评分的总站数;N1表示一级异常报对的站数;F1表示一级异常报对的权重系数;N2表示二级异常报对的站数;F2表示二级异常报对的权重系数。预测评分Ps是由距平同号预报准确率加上异常级加权得分构成,立足于对大范围距平趋势预测能力的评估,对异常预测能力的检验和提高具有很好的导向作用。当预测结果和实况完全一致时,预报评分Ps即为满分100。
在进一步的实施例中,根据区域数值预报性能的检验需求,采用异常级评分TS实现检验的表达式为:
式中,Nobs表示实况达到异常级的站数;Nf表示预报达到异常级的站数;Nc表示预报正确的一级异常级和二级异常的总站数;TS表示预报正确的异常级站数占预报和实况总站数的百分比。
在进一步的实施例中,根据区域数值预报性能的检验需求,采用技巧评分SS实现检验的表达式为:
技巧评分SS是相对于无技巧的对比预报的预报技巧,式中,Na表示预报准确的站数;N表示参加评分的总站数;N′表示基于某种无技巧预报期望能预报准确的站数。当Na等于N′时,技巧评分SS为0,当Na等于N时,技巧评分SS为100%,当Na小于N′时,技巧评分SS为负值。
在进一步的实施例中,根据区域数值预报性能的检验需求,采用预测准确率TS实现检验的表达式为:
式中,NC表示选择时间段内正确预报的次数;NT表示总的预报次数。优选实施例中,选择历史年份中1、4、7、10月4个月的观探测资料与本系统计算的相应时间段的短时、临近天气预警产品按月平均的方式进行统计分析,对0~2h和0~6h灾害预警产品的准确率分别进行统计。选择目标区几个代表站点进行检验,在计算准确率时,报对是指在允许预警时间误差1h的情况下预警现象与该站点的观测现象相符。
在进一步的实施中,为了获取更为精准的预报性能检验结果,提出预报性能检验工具为业务系统检验提供交互分析,同时结合预报性能的检验表达式,进行数值预报性能检验。具体包括以下步骤:
步骤1、由于预报产品与实测数据在时空分布信息及变量信息存在不一致性,因此在质量检验之前对预报产品和实测数据进行时空分布信息以及变量信息的数据匹配处理,实现坐标系统、时区和计量单位等统一归一化处理。
步骤2、从产品准确性、预测效果等多个方面,综合运用预报性能检验算法的平均误差、平均绝对误差、均方根误差等误差检验,以及预测评分、技巧评分等评分检验方案,对数值预报产品性能进行客观定量的检验评定。
在进一步的实施例中,在完成数值预报性能检验后,结合预先配置的产品检验评估报告模板,生成Word、PDF等格式的检验报告,并将其作为改进和完善数值模式与产品适用算法提供依据。
其中预先配置的报告模板根据用户的需求规范进行构建,同时为了提高生成报告的个性化需求,贴合用户的实际需求,预设设置的检验报告模板具备可编辑性,可以针对个性化的需求进行制作、修改、删除等管理,实现对检验报告模板进行文字、符号、样式等整饰、标绘处理。
本实施例提出的检验方法有效保证数据的预报性能,使得搭建的数值预报平行实验平台具备良好的可定制化能力与可扩展能力。通过注重数值预报基础共性功能的梳理,搭建具有集成与扩展能力的业务流程集成框架,统一支撑数值预报相关业务流程的建模、调度控制等业务。
实施例五
在实施例一基础上的进一步实施例中,为了有效实现对数据处理流程的监管,进一步提出一种应用于数据处理过程中的流程管理器。在执行数据处理操作之前,首先利用流程管理器创建操作对象,当创建的对象实例化后,便可而通过调用实现对流程状态的监管。
执行数据处理流程时,流程管理器创建的一个活动可能被另外一个(子)流程(如,它可以注册成那个流程的Requester请求器)使用,当活动被激活时,子流程就能被初始化。在这种情况下,当子流程完成时活动就完成了,并且活动的结果是从流程的结果中获得的。当一个活动完成后,它的结果被工作流逻辑用来决定后续的活动,这个结果也能被用来决定包含这个活动的流程的整体运行结果。当没有活动可以激活时,一个流程就完成了;它会把完成信息通知给相关的Requester请求器。现在就可以获得流程的运行结果了,而当流程运行时可以访问到中间结果。
实施例六
在一个实施例中,提出一种数值预报平行实验平台的构建系统,用于实现数值预报平行实验平台的构建方法,该系统具体包括以下模块:接口构建模块、资源映射模块、任务集成模块、可视化界面搭建模块、数值预报模块和检验校对模块。
其中,接口构建模块用于为实现不同模块之间的数据交互;资源映射模块用于为根据任务需求建立作业任务与作业资源之间的映射关系;任务集成模块用于为根据映射关系集成作业任务与完成作业任务的应用程序;可视化界面搭建模块用于为搭建用户提供可视化的功能操作界面;数值预报模块用于为根据历史数据生成数据预测值;检验校对模块用于为检验数据预测值与实际值之间的差距,并生成校验报告。
如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上做出各种变化。
Claims (10)
1.一种数值预报平行实验平台的构建方法,其特征在于,具体包括以下步骤:
步骤1、根据数据交互需求,构建数据交互接口;
步骤2、基于数据交互接口,构建作业任务与作业资源的对应关系;
步骤3、根据对应关系,集成作业任务与完成作业任务的应用程序;
步骤4、汇总作业任务,并构建可视化集成界面;
步骤5、基于历史数据构建数值预报模块;
步骤6、针对生成的预报数据进行检验,生成检验报告,并输出检验报告。
2.根据权利要求1所述的一种数值预报平行实验平台的构建方法,其特征在于,构建所述数据交互接口的过程具体包括以下步骤:
步骤1.1、构建工作流执行服务与工作流建模工具之间的接口;
步骤1.2、构建工作流执行服务与客户应用之间的接口;
步骤1.3、构建工作流机与直接调用的应用程序之间的直接接口;
步骤1.4、构建工作流管理系统之间的互操作接口;
步骤1.5、构建工作流执行服务与工作流管理工具之间的接口。
3.根据权利要求1所述的一种数值预报平行实验平台的构建方法,其特征在于,构建作业任务与作业资源的对应关系的过程中,对应的工作流数据包括:工作流控制数据、工作流相关数据和工作流应用数据。
4.根据权利要求1所述的一种数值预报平行实验平台的构建方法,其特征在于,所述可视化集成界面根据导航栏需求完成所需功能的调用;
调用功能包括:流程监控、告警提示、日志管理和统计分析;所述告警提示用于实现告警显示、声音告警、多用户支持和故障诊断。
5.根据权利要求1所述的一种数值预报平行实验平台的构建方法,其特征在于,利用集成程序实现作业任务的过程中,为了有效实现数据流程成的管理,构建工作流引擎模块对工作流定义的解析以及流程流转的提供支持。
6.根据权利要求5所述的一种数值预报平行实验平台的构建方法,其特征在于,所述工作流引擎模块被划分成7个层次,具体包括:外设层、对外接口层、交互代理层、引擎内核处理层、引擎运行服务层、扩展实现层和基础组件层;
所述外设层是工作流引擎模块与外界交互的扩展层;
所述对外接口层用于提供与外界的会话交互;
所述交互代理层用于解决对外接口层与引擎的通信,且整体的实现过程对访问客户透明;
所述引擎内核处理层用于解决活动之间的调度,依据调度算法,调度流程的运转;
所述引擎运行服务层用于为工作流引擎模块的计算调度提供服务;
所述扩展实现层用于为外扩扩展提供扩展点;
所述基础组件层用于为工作流引擎模块的运行提供一些基本的公共组件。
7.根据权利要求1所述的一种数值预报平行实验平台的构建方法,其特征在于,所述可视化集成界面采用B/S架构展示界面,并采用AJAX技术实现无刷新的数据更新;
可视化集成界面还包括系统配置的功能,通过与处理层建立实时的通信连接,实现无需系统重新启动的情况下,将系统配置变更的请求传递到后台程序加以解释,并立即生效。
8.根据权利要求1所述的一种数值预报平行实验平台的构建方法,其特征在于,所述可视化集成界面采用拓扑图的形式进行数据展示;所述拓扑图集中用户关心的各个监控点,以及呈现监控点之间的关系;
所述拓扑图以树形展示,点击树上节点发生切换,清除当前拓扑,并加载新拓扑。
9.根据权利要求1所述的一种数值预报平行实验平台的构建方法,其特征在于,为了获取更为精准的预报性能检验结果,提出预报性能检验工具为业务系统检验提供交互分析,同时结合预报性能的检验表达式,进行数值预报性能检验,具体包括以下步骤:
步骤6.1、对预报产品和实测数据进行时空分布信息以及变量信息的数据匹配处理,实现坐标系统、时区和计量单位等统一归一化处理;
步骤6.2、从不同层面,综合运用预报性能检验的平均误差、平均绝对误差、均方根误差,以及预测评分、技巧评分,对数值预报产品性能进行客观定量的检验评定。
10.一种数值预报平行实验平台的构建系统,用于实现如权利要求1-9任意一项所述的数值预报平行实验平台的构建方法,其特征在于,具体包括以下模块:
接口构建模块,被设置为实现不同模块之间的数据交互;
资源映射模块,被设置为根据任务需求建立作业任务与作业资源之间的映射关系;
任务集成模块,被设置为根据映射关系集成作业任务与完成作业任务的应用程序;
可视化界面搭建模块,被设置为搭建用户提供可视化的功能操作界面;
数值预报模块,被设置为根据历史数据生成数据预测值;
检验校对模块,被设置为检验数据预测值与实际值之间的差距,并生成校验报告。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211220824.0A CN115860167A (zh) | 2022-10-08 | 2022-10-08 | 一种数值预报平行实验平台的构建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211220824.0A CN115860167A (zh) | 2022-10-08 | 2022-10-08 | 一种数值预报平行实验平台的构建方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115860167A true CN115860167A (zh) | 2023-03-28 |
Family
ID=85661329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211220824.0A Pending CN115860167A (zh) | 2022-10-08 | 2022-10-08 | 一种数值预报平行实验平台的构建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115860167A (zh) |
-
2022
- 2022-10-08 CN CN202211220824.0A patent/CN115860167A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10762452B2 (en) | System and method for designing and executing control loops in a cloud environment | |
US11271816B2 (en) | Network topology management using network element differential history | |
US11334831B2 (en) | Predictive risk assessment in system modeling | |
Li et al. | Architectural technical debt identification based on architecture decisions and change scenarios | |
US7389211B2 (en) | System and method of predictive modeling for managing decisions for business enterprises | |
Chari et al. | Impact of incorrect and new requirements on waterfall software project outcomes | |
RU2526711C2 (ru) | Диспетчер состояния предоставляемых услуг со связывающими обязательствами соглашениями об уровне обслуживания и схемами устранения последствий и самозащиты | |
US20080243912A1 (en) | Method of providing business intelligence | |
US20080312986A1 (en) | Implementing Key Performance Indicators in a Service Model | |
US8270410B2 (en) | Sampling techniques | |
KR20180108446A (ko) | Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법 | |
Vera-Baquero et al. | Business process improvement by means of Big Data based Decision Support Systems: a case study on Call Centers | |
CN102063668A (zh) | 信息系统的审计方法及系统 | |
US20050004834A1 (en) | Method and system for performance analysis for a function or service provided to or in an organization | |
US11212173B2 (en) | Model-driven technique for virtual network function rehoming for service chains | |
US20050278301A1 (en) | System and method for determining an optimized process configuration | |
CN111523811A (zh) | 模型验证和监控方法及系统、设备、存储介质 | |
Zeng et al. | Traceark: Towards actionable performance anomaly alerting for online service systems | |
Ghosh et al. | Towards requirements change decision support | |
US20070033161A1 (en) | Apparatus and method for automatic refinement of business processes | |
CN103414717A (zh) | 一种关于c/s结构业务系统的仿真监控方法和系统 | |
CN115860167A (zh) | 一种数值预报平行实验平台的构建方法及系统 | |
Harper et al. | Industrial analytics pipelines | |
JP2022127958A (ja) | 業務改善支援装置、プログラムおよびプログラムを格納した記憶媒体 | |
CN112396349A (zh) | 一种基于业务实体的数据质量监控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |