CN116719665B - 一种气象数值模式异常状态的智能判识方法 - Google Patents
一种气象数值模式异常状态的智能判识方法 Download PDFInfo
- Publication number
- CN116719665B CN116719665B CN202311007114.4A CN202311007114A CN116719665B CN 116719665 B CN116719665 B CN 116719665B CN 202311007114 A CN202311007114 A CN 202311007114A CN 116719665 B CN116719665 B CN 116719665B
- Authority
- CN
- China
- Prior art keywords
- numerical mode
- alarm
- meteorological numerical
- data
- meteorological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 70
- 238000012423 maintenance Methods 0.000 claims abstract description 45
- 238000009826 distribution Methods 0.000 claims description 17
- 238000009499 grossing Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 125000002015 acyclic group Chemical group 0.000 claims description 11
- 230000036541 health Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000012850 discrimination method Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种气象数值模式异常状态的智能判识方法，气象数值模式异常状态的智能判识方法包括：获取气象数值模式运维的实时数据；当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息；根据告警信息，在知识图谱中进行查找，得到告警根因。通过本发明，动态基线能够实时的对气象数值模式运维的异常情况进行告警，进一步的在知识图谱中进行查找，能够快速准确的定位到产生告警的故障根因。
Description
技术领域
本发明涉及气象数值模式监控技术领域，尤其涉及一种气象数值模式异常状态的智能判识方法。
背景技术
自20世纪90年代以来，随着卫星遥感数据海量化、数值预报系统功能多样化和计算资源大型化，数值天气预报模式的应用越来越广泛。气象数值模式的运行流程包括输入数据获取和预处理、资料同化、预报积分、后处理、产品制作、传输和归档，整个过程涉及复杂的流程控制，且受到输入数据、基础资源、网络以及上下游模式系统等众多因素影响。输入数据的延迟和缺收会影响到数据获取和处理模块，从而导致后续模块/模式系统接连出现告警；以及基础资源的状态、关键服务状态、网络状态和文件系统使用率等异常都会导致气象数值模式出现计算停止、延迟以及结果异常等情况。
ecFlow是为欧洲中期天气预报中心制作的产品，作为气象应用软件项目的一部分，用于工作流的管理和监控。目前，气象数值模式的核心业务主要基于ecFlow来实现气象数值模式的实时状态监视，一旦出现问题，运维人员就需要从故障模块开始，逐个排查可能引起故障的原因，由于输入数据、基础资源和网络等均可能会发出的大量告警信息，此时就会增加定位故障根因的难度，导致故障处理效率低下。
发明内容
本发明的主要目的在于提供一种气象数值模式异常状态的智能判识方法、装置、设备及可读存储介质，旨在解决目前气象数值模式出现告警信息后，定位故障的根因效率低的技术问题。
第一方面，本发明提供一种气象数值模式异常状态的智能判识方法，所述气象数值模式异常状态的智能判识方法包括：
获取气象数值模式运维的实时数据；
当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息；
根据告警信息，在知识图谱中进行查找，得到告警根因。
可选的，在所述当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息之前，包括：
采用指数平滑算法，根据气象数值模式运维的历史数据，生成动态基线；
采用基于高斯分布的水平漂移法，通过计算得到动态基线的上下基线。
可选的，所述采用指数平滑算法，根据气象数值模式运维的历史数据，生成动态基线包括：
采用高斯分布方法，去除气象数值模式运维的历史数据中的噪声，得到预处理数据；
根据预测天数、最小颗粒度、时间偏差度及环比，从预处理数据中提取第一预设时长内的数据，并按照时间序列进行构建，得到训练数据集；
根据训练数据集，采用指数平滑算法，计算得到平滑指数；
根据预测天数、最小颗粒度、时间偏差度及环比，从预处理数据中提取第二预设时长内的数据，并按照时间序列进行构建，得到预测数据集；
使用平滑指数和预测数据集，计算得到每个待预测时间点的预测值，将每个待预测时间点的预测值按照时间序列组成动态基线。
可选的，所述采用基于高斯分布的水平漂移法，通过计算得到动态基线的上下基线包括：
采用基于高斯分布的水平漂移法，根据预处理数据的标准差，通过公式计算得到动态基线的上下基线，所述公式为：
动态基线的上下基线=预测值±f（tolerance）×max（σ，min（σ））；
其中，预测值代表每个待预测时间点的预测值，σ为预处理数据的标准差，tolerance为容忍度，tolerance的定义域为[0，100]，f（tolerance）为容忍度函数，f（tolerance）的值域为[1，6]，f（tolerance）基于三西格玛准则，根据预处理数据的标准差σ和容忍度tolerance确定。
可选的，在所述根据告警信息，在知识图谱中进行查找，得到告警根因之前，包括：
根据气象数值模式中的实体和关系，使用图数据库构建得到知识图谱。
可选的，所述根据告警信息，在知识图谱中进行查找，得到告警根因包括：
根据告警信息，在知识图谱中定位告警节点；
以告警节点为中心，在知识图谱中进行广度优先遍历查找，得到包含告警节点的所有有向无环图；
基于每个有向无环图，以告警节点为初始节点，进行深度优先遍历查找，得到末尾节点，计算每个初始节点和末尾节点之间的有效距离，得到所有有向无环图的有效距离；
将有效距离最大的有向无环图中的末尾节点作为告警根因。
可选的，在所述根据告警信息，在知识图谱中进行查找，得到告警根因之后，包括：
对告警根因进行分类及次数统计，以供评估气象数值模式的健康度。
第二方面，本发明还提供一种气象数值模式异常状态的智能判识装置，所述气象数值模式异常状态的智能判识装置包括：
获取模块，用于获取气象数值模式运维的实时数据；
告警模块，用于当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息；
查找模块，用于根据告警信息，在知识图谱中进行查找，得到告警根因。
第三方面，本发明还提供一种气象数值模式异常状态的智能判识设备，所述气象数值模式异常状态的智能判识设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的气象数值模式异常状态的智能判识程序，其中所述气象数值模式异常状态的智能判识程序被所述处理器执行时，实现如上述所述的气象数值模式异常状态的智能判识方法的步骤。
第四方面，本发明还提供一种可读存储介质，所述可读存储介质上存储有气象数值模式异常状态的智能判识程序，其中所述气象数值模式异常状态的智能判识程序被处理器执行时，实现如上述所述的气象数值模式异常状态的智能判识方法的步骤。
本发明中，获取气象数值模式运维的实时数据；当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息；根据告警信息，在知识图谱中进行查找，得到告警根因。通过本发明，动态基线能够实时的对气象数值模式运维的异常情况进行告警，进一步的在知识图谱中进行查找，能够快速准确的定位到产生告警的故障根因。
附图说明
图1为本发明气象数值模式异常状态的智能判识方法一实施例的流程示意图；
图2为图1中步骤S30的细化流程示意图；
图3为本发明气象数值模式异常状态的智能判识方法一实施例的告警及分类统计流程示意图；
图4为本发明气象数值模式异常状态的智能判识装置一实施例的功能模块示意图；
图5为本发明气象数值模式异常状态的智能判识设备一实施例的硬件结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
第一方面，本发明实施例提供了一种气象数值模式异常状态的智能判识方法。
为了更清楚地展示本申请实施例提供的气象数值模式异常状态的智能判识方法，首先介绍一下本申请实施例提供的气象数值模式异常状态的智能判识方法的应用场景。
本申请实施例提供的气象数值模式异常状态的智能判识方法应用于目前，气象数值模式的核心业务主要基于ecFlow来实现气象数值模式的实时状态监视，一旦出现问题，运维人员就需要从故障模块开始，逐个排查可能引起故障的原因，由于输入数据、基础资源和网络等均可能会发出的大量告警信息，此时就会增加定位故障根因的难度，导致故障处理效率低下。因此，非常有必要在气象数值模式实时监视的基础上，快速准确的根据告警信息确定故障根因，为气象数值模式的运维保障和调整优化提供技术支撑和参考依据。
一实施例中，参照图1，图1为本发明气象数值模式异常状态的智能判识方法一实施例的流程示意图，如图1所示，所述气象数值模式异常状态的智能判识方法包括：
步骤S10，获取气象数值模式运维的实时数据。
本实施例中，气象数值模式是指气象行业中运行的所有数值模式的总称，包括天气和气候，业务和科研等，所获取的气象数值模式运维的实时数据，包括但不限于反映气象数值模式自身运行状态的数据，反映气象数值模式输入气象数据收集、处理和入库的全流程的状态数据，反映气象数值模式运行占用计算资源的数据，反映气象数值模式运行占用存储资源的数据，反映气象数值模式运行过程中高性能计算机系统关键服务进程状态的数据，反映气象数值模式运行过程中的高性能计算机的系统级、应用级和架构级的指标数据等。
步骤S20，当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息。
本实施例中，动态基线由气象数值模式运维的历史数据经过预测生成，动态基线还包括用于预警的上基线和下基线，用于监测气象数值模式运维的状态是否异常，将气象数值模式运维的实时数据与动态基线的上基线和下基线进行对比，当气象数值模式运维的实时数据中的某项数据指标超出其动态基线的上基线或下基线时，针对该项数据指标生成告警信息。
步骤S30，根据告警信息，在知识图谱中进行查找，得到告警根因。
本实施例中，知识图谱在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系，知识图谱把复杂的知识领域通过数据挖掘、信息处理、知识计量和图形绘制而显示出来，揭示知识领域的动态发展规律，为学科研究提供切实的、有价值的参考。在本实施例中，知识图谱基于气象数值模式中的实体和关系构建，因此，在生成告警信息后，根据告警信息在知识图谱中定位到该告警信息对应的节点，进一步的在知识图谱中进行查找就能够快速准确的定位到产生告警的故障根因。
本实施例中，对气象数值模式运维的各项数据指标进行异常状态的实时监测，当气象数值模式运维的实时数据中的某项数据指标超出其动态基线的上基线或下基线时，针对该项数据指标生成告警信息，根据告警信息在知识图谱中定位到该告警信息对应的节点，进一步的在知识图谱中进行查找能够快速准确的定位到产生告警的故障根因。
进一步地，一实施例中，在步骤S20之前，包括：
采用指数平滑算法，根据气象数值模式运维的历史数据，生成动态基线；
采用基于高斯分布的水平漂移法，通过计算得到动态基线的上下基线。
本实施例中，考虑气象数值模式中的业务应用场景，鉴于气象数值模式运维的历史数据较平稳，预测对象的相关影响因素变化不大，无大波动，因此选择指数平滑算法，根据气象数值模式运维的历史数据，使用指数平滑算法，对实时数据进行预测从而生成动态基线，可采用基于高斯分布的水平漂移法，根据历史数据中的标准差计算得到动态基线的上下基线，用于异常状态的预警。
进一步地，一实施例中，所述采用指数平滑算法，根据气象数值模式运维的历史数据，生成动态基线包括：
采用高斯分布方法，去除气象数值模式运维的历史数据中的噪声，得到预处理数据；
根据预测天数、最小颗粒度、时间偏差度及环比，从预处理数据中提取第一预设时长内的数据，并按照时间序列进行构建，得到训练数据集；
根据训练数据集，采用指数平滑算法，计算得到平滑指数；
根据预测天数、最小颗粒度、时间偏差度及环比，从预处理数据中提取第二预设时长内的数据，并按照时间序列进行构建，得到预测数据集；
使用平滑指数和预测数据集，计算得到每个待预测时间点的预测值，将每个待预测时间点的预测值按照时间序列组成动态基线。
本实施例中，首先采用高斯分布方法，将气象数值模式运维的历史数据中的噪声和异常信息去除，验证数据的正确性和完备性，得到预处理数据；训练数据中的第一预设时长例如为30天，即选取经过预处理后的30天内的历史数据作为训练数据，训练数据以时间序列数组的形式构建，根据具体的预测需求确定预测天数、最小颗粒度、时间偏差度及环比，其中，预测天数、最小颗粒度、时间偏差度及环比的取值范围参阅表1所示，表1为预测天数、最小颗粒度、时间偏差度及环比的取值范围参考表。
平滑指数算法的计算公式为：预测值=（平滑指数*上期实际值）+(1-平滑指数）*上期预测值，根据平滑指数算法的计算公式，利用训练数据，可计算得到平滑指数，之后，选取经过预处理后的第二预设时长（如7天）内的历史数据作为预测数据，结合前述计算得到的平滑指数，计算每个待预测时间点的预测值，具体的可计算1440个时间点（每分钟为一个时间点，一天共计1440个时间点）的预测值，进一步的将每个待预测时间点的预测值按照时间序列组成动态基线。
例如，预测23-05-26 09:30这一时刻的某项数据指标的数值，用V（2305260930）来表示，为提升预测的精度，假设以最小颗粒度选取最小值1分钟和时间偏差度选取最大值30来构建训练数据，将预处理数据的历史数据以时间序列数组的形式构建，可表示为：
[V(2305250859),V(2305251000),V(2305250900),V(2305250959),V(2305250901),V(2305250958),……V(2305250927),V(2305250933),V(2305250928),V(2305250932),V(2305250929),V(2305250931),V(2305250930)]。
其中，V(2305250859)表示23-05-25 08:59这一时刻该项数据指标的数值，V(2305251000)表示23-05-25 10:00这一时刻该项数据指标的数值，由于最小颗粒度为1分钟，时间偏差度为30，即取前一天相同时刻（09:30）前30分钟和后30分钟之间每一分钟的该数据指标的数值，包括该时刻，则该时间序列数组共包含有61个该数据指标的数值。
进一步地，一实施例中，所述采用基于高斯分布的水平漂移法，通过计算得到动态基线的上下基线包括：
采用基于高斯分布的水平漂移法，根据预处理数据的标准差，通过公式计算得到动态基线的上下基线，所述公式为：
动态基线的上下基线=预测值±f（tolerance）×max（σ，min（σ））；
其中，预测值代表每个待预测时间点的预测值，σ为预处理数据的标准差，tolerance为容忍度，tolerance的定义域为[0，100]，f（tolerance）为容忍度函数，f（tolerance）的值域为[1，6]，f（tolerance）基于三西格玛准则，根据预处理数据的标准差σ和容忍度tolerance确定。
本实施例中，容忍度tolerance、f（tolerance）及预处理数据的标准差σ，基于三西格玛准则的转换关系参阅表2所示，表2为容忍度tolerance、f（tolerance）及预处理数据的标准差σ，基于三西格玛准则的转换关系表。
进一步地，一实施例中，在步骤S30之前，包括：
根据气象数值模式中的实体和关系，使用图数据库构建得到知识图谱。
本实施例中，按照气象数值模式、输入气象数据和高性能计算机建立实体对象，分析已有的运维管理信息，丰富各类实体的属性，如模式名称、运行时次、耦合关系及依赖数据，气象数据名称、传输处理环节完整性和及时性指标，以及高性能计算机的系统级、应用级和架构级指标等，建立各实体间的关联，基于图数据库构建“实体-关系”，构建气象数值模式的知识图谱。
具体的，首先，可基于CMDB（Configuration Management Database，配置管理数据库）开展基础数据整理，梳理出数值模式、输入气象数据和高性能计算机监视信息中可以用于构建知识图谱的数据；然后，基于上述整理的基础数据，确定作为构建图谱的实体对象（也称“节点”），包括气象数值模式节点、输入气象数据节点、高性能计算机节点等，设计每类实体对象对应的属性字段；建立实体关联矩阵，确定每类实体间的关系，包括数值模式上下游模块的影响关系，数值模式与输入气象数据时效、完整性、数据质量关系，与高性能计算机计算节点状态、存储使用率、账户资源使用情况、队列资源使用情况、CPU/内存使用情况及网络状态等的关系；按照实体的设计，从实体信息中提取需要的字段，包括实体名称及必须的属性字段，其中属性字段分为两类：自有属性和关系属性；最后，基于上述提取的“实体-关系”信息，构建得到气象数值模式运行状态关联关系的知识图谱。
进一步地，一实施例中，参照图2，图2为图1中步骤S30的细化流程示意图，如图2所示，步骤S30包括：
步骤S301，根据告警信息，在知识图谱中定位告警节点；
步骤S302，以告警节点为中心，在知识图谱中进行广度优先遍历查找，得到包含告警节点的所有有向无环图；
步骤S303，基于每个有向无环图，以告警节点为初始节点，进行深度优先遍历查找，得到末尾节点，计算每个初始节点和末尾节点之间的有效距离，得到所有有向无环图的有效距离；
步骤S304，将有效距离最大的有向无环图中的末尾节点作为告警根因。
本实施例中，首先，对气象数值模式生成的单条告警为分析对象，在知识图谱的图数据库中定位该告警的实体节点；之后，按层级关系，以告警节点为中心，逐层进行广度优先遍历查找，最终得到涵盖告警节点所有关联的有向无环图，通过广度优先遍历，可以从整个气象数值模式知识图谱中，找出与告警节点相关联的关联图谱，从而将分析和计算的范围有效的缩小；最后，在上一步得到的所有有向无环图中，以告警节点作为遍历的初始点，沿其入度节点方向遍历其直接关联的告警节点，然后再沿的入度节点方向继续深入遍历，即进行深度优先遍历查找，直到节点没有其他入度节点，得到该有向无环图末尾节点，计算其与初始告警节点的有效距离，将有效距离最大的有向无环图中的末尾节点作为告警根因。
进一步地，一实施例中，参照图3，图3为本发明气象数值模式异常状态的智能判识方法一实施例的告警及分类统计流程示意图，如图3所示，在步骤S30之后，包括：
步骤S40，对告警根因进行分类及次数统计，以供评估气象数值模式的健康度。
本实施例中，在生成告警信息及定位到告警根因后，进一步的可以对告警根因进行分类及次数统计，用于气象数值模式的健康度的评估。在数值模式运行中，通常将气象数值模式的健康度划分为若干等级，例如健康、比较健康、亚健康、轻微病态（轻微故障状态）、病态（故障状态）、严重病态（严重故障状态）等等，通过这些健康等级描述，可以快速了解数值模式的健康状态，判断是否需要进行模式升级或者资源优化配置，进而提高模式预报预测能力，减少故障率。
第二方面，本发明实施例还提供一种气象数值模式异常状态的智能判识装置。
参照图4，图4为本发明气象数值模式异常状态的智能判识装置一实施例的功能模块示意图。
本实施例中，所述气象数值模式异常状态的智能判识装置包括：
获取模块10，用于获取气象数值模式运维的实时数据；
告警模块20，用于当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息；
查找模块30，用于根据告警信息，在知识图谱中进行查找，得到告警根因。
进一步地，一实施例中，所述气象数值模式异常状态的智能判识装置，还包括生成模块，所述生成模块，包括：
生成单元，用于采用指数平滑算法，根据气象数值模式运维的历史数据，生成动态基线；
计算单元，用于采用基于高斯分布的水平漂移法，通过计算得到动态基线的上下基线。
进一步地，一实施例中，生成单元，用于：
采用高斯分布方法，去除气象数值模式运维的历史数据中的噪声，得到预处理数据；
根据预测天数、最小颗粒度、时间偏差度及环比，从预处理数据中提取第一预设时长内的数据，并按照时间序列进行构建，得到训练数据集；
根据训练数据集，采用指数平滑算法，计算得到平滑指数；
根据预测天数、最小颗粒度、时间偏差度及环比，从预处理数据中提取第二预设时长内的数据，并按照时间序列进行构建，得到预测数据集；
使用平滑指数和预测数据集，计算得到每个待预测时间点的预测值，将每个待预测时间点的预测值按照时间序列组成动态基线。
进一步地，一实施例中，计算单元，用于：
采用基于高斯分布的水平漂移法，根据预处理数据的标准差，通过公式计算得到动态基线的上下基线，所述公式为：
动态基线的上下基线=预测值±f（tolerance）×max（σ，min（σ））；
其中，预测值代表每个待预测时间点的预测值，σ为预处理数据的标准差，tolerance为容忍度，tolerance的定义域为[0，100]，f（tolerance）为容忍度函数，f（tolerance）的值域为[1，6]，f（tolerance）基于三西格玛准则，根据预处理数据的标准差σ和容忍度tolerance确定。
进一步地，一实施例中，所述气象数值模式异常状态的智能判识装置，还包括构建模块，用于：
根据气象数值模式中的实体和关系，使用图数据库构建得到知识图谱。
进一步地，一实施例中，查找模块30，用于：
根据告警信息，在知识图谱中定位告警节点；
以告警节点为中心，在知识图谱中进行广度优先遍历查找，得到包含告警节点的所有有向无环图；
基于每个有向无环图，以告警节点为初始节点，进行深度优先遍历查找，得到末尾节点，计算每个初始节点和末尾节点之间的有效距离，得到所有有向无环图的有效距离；
将有效距离最大的有向无环图中的末尾节点作为告警根因。
进一步地，一实施例中，所述气象数值模式异常状态的智能判识装置，还包括分类统计模块，用于：
对告警根因进行分类及次数统计，以供评估气象数值模式的健康度。
其中，上述气象数值模式异常状态的智能判识装置中各个模块的功能实现与上述气象数值模式异常状态的智能判识方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
第三方面，本发明实施例提供一种气象数值模式异常状态的智能判识设备，该气象数值模式异常状态的智能判识设备可以是个人计算机（personal computer，PC）、笔记本电脑、服务器等具有数据处理功能的设备。
参照图5，图5为本发明气象数值模式异常状态的智能判识设备一实施例的硬件结构示意图。本发明实施例中，气象数值模式异常状态的智能判识设备可以包括处理器1001（例如中央处理器Central Processing Unit，CPU），通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard）；网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真WIreless-FIdelity，WI-FI接口）；存储器1005可以是高速随机存取存储器（random access memory，RAM），也可以是稳定的存储器（non-volatile memory），例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图5中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图5，图5中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及气象数值模式异常状态的智能判识程序。其中，处理器1001可以调用存储器1005中存储的气象数值模式异常状态的智能判识程序，并执行本发明实施例提供的气象数值模式异常状态的智能判识方法。
第四方面，本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有气象数值模式异常状态的智能判识程序，其中所述气象数值模式异常状态的智能判识程序被处理器执行时，实现如上述的气象数值模式异常状态的智能判识方法的步骤。
其中，气象数值模式异常状态的智能判识程序被执行时所实现的方法可参照本发明气象数值模式异常状态的智能判识方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种气象数值模式异常状态的智能判识方法，其特征在于，所述气象数值模式异常状态的智能判识方法包括：
获取气象数值模式运维的实时数据；
当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息；
根据告警信息，在知识图谱中进行查找，得到告警根因；
所述根据告警信息，在知识图谱中进行查找，得到告警根因包括：
根据告警信息，在知识图谱中定位告警节点；
以告警节点为中心，在知识图谱中进行广度优先遍历查找，得到包含告警节点的所有有向无环图；
基于每个有向无环图，以告警节点为初始节点，进行深度优先遍历查找，得到末尾节点，计算每个初始节点和末尾节点之间的有效距离，得到所有有向无环图的有效距离；
将有效距离最大的有向无环图中的末尾节点作为告警根因。
2.如权利要求1所述的气象数值模式异常状态的智能判识方法，其特征在于，在所述当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息之前，包括：
采用指数平滑算法，根据气象数值模式运维的历史数据，生成动态基线；
采用基于高斯分布的水平漂移法，通过计算得到动态基线的上下基线。
3.如权利要求2所述的气象数值模式异常状态的智能判识方法，其特征在于，所述采用指数平滑算法，根据气象数值模式运维的历史数据，生成动态基线包括：
采用高斯分布方法，去除气象数值模式运维的历史数据中的噪声，得到预处理数据；
根据预测天数、最小颗粒度、时间偏差度及环比，从预处理数据中提取第一预设时长内的数据，并按照时间序列进行构建，得到训练数据集；
根据训练数据集，采用指数平滑算法，计算得到平滑指数；
根据预测天数、最小颗粒度、时间偏差度及环比，从预处理数据中提取第二预设时长内的数据，并按照时间序列进行构建，得到预测数据集；
使用平滑指数和预测数据集，计算得到每个待预测时间点的预测值，将每个待预测时间点的预测值按照时间序列组成动态基线。
4.如权利要求3所述的气象数值模式异常状态的智能判识方法，其特征在于，所述采用基于高斯分布的水平漂移法，通过计算得到动态基线的上下基线包括：
采用基于高斯分布的水平漂移法，根据预处理数据的标准差，通过公式计算得到动态基线的上下基线，所述公式为：
动态基线的上下基线=预测值±f（tolerance）×max（σ，min（σ））；
其中，预测值代表每个待预测时间点的预测值，σ为预处理数据的标准差，tolerance为容忍度，tolerance的定义域为[0，100]，f（tolerance）为容忍度函数，f（tolerance）的值域为[1，6]，f（tolerance）基于三西格玛准则，根据预处理数据的标准差σ和容忍度tolerance确定。
5.如权利要求1所述的气象数值模式异常状态的智能判识方法，其特征在于，在所述根据告警信息，在知识图谱中进行查找，得到告警根因之前，包括：
根据气象数值模式中的实体和关系，使用图数据库构建得到知识图谱。
6.如权利要求1所述的气象数值模式异常状态的智能判识方法，其特征在于，在所述根据告警信息，在知识图谱中进行查找，得到告警根因之后，包括：
对告警根因进行分类及次数统计，以供评估气象数值模式的健康度。
7.一种气象数值模式异常状态的智能判识装置，其特征在于，所述气象数值模式异常状态的智能判识装置包括：
获取模块，用于获取气象数值模式运维的实时数据；
告警模块，用于当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息；
查找模块，用于根据告警信息，在知识图谱中进行查找，得到告警根因；
所述查找模块，用于：
根据告警信息，在知识图谱中定位告警节点；
以告警节点为中心，在知识图谱中进行广度优先遍历查找，得到包含告警节点的所有有向无环图；
基于每个有向无环图，以告警节点为初始节点，进行深度优先遍历查找，得到末尾节点，计算每个初始节点和末尾节点之间的有效距离，得到所有有向无环图的有效距离；
将有效距离最大的有向无环图中的末尾节点作为告警根因。
8.一种气象数值模式异常状态的智能判识设备，其特征在于，所述气象数值模式异常状态的智能判识设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的气象数值模式异常状态的智能判识程序，其中所述气象数值模式异常状态的智能判识程序被所述处理器执行时，实现如权利要求1至6中任一项所述的气象数值模式异常状态的智能判识方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质上存储有气象数值模式异常状态的智能判识程序，其中所述气象数值模式异常状态的智能判识程序被处理器执行时，实现如权利要求1至6中任一项所述的气象数值模式异常状态的智能判识方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311007114.4A CN116719665B (zh) | 2023-08-11 | 2023-08-11 | 一种气象数值模式异常状态的智能判识方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311007114.4A CN116719665B (zh) | 2023-08-11 | 2023-08-11 | 一种气象数值模式异常状态的智能判识方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116719665A CN116719665A (zh) | 2023-09-08 |
| CN116719665B true CN116719665B (zh) | 2023-11-28 |
Family
ID=87875666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311007114.4A Active CN116719665B (zh) | 2023-08-11 | 2023-08-11 | 一种气象数值模式异常状态的智能判识方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116719665B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360358A (zh) * | 2021-06-25 | 2021-09-07 | 杭州优云软件有限公司 | 一种自适应计算it智能运维健康指数的方法及系统 |
| CN116225760A (zh) * | 2023-02-07 | 2023-06-06 | 宁波大学 | 一种基于运维知识图谱的实时根因分析方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190311367A1 (en) * | 2015-06-20 | 2019-10-10 | Quantiply Corporation | System and method for using a data genome to identify suspicious financial transactions |
-
2023
- 2023-08-11 CN CN202311007114.4A patent/CN116719665B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360358A (zh) * | 2021-06-25 | 2021-09-07 | 杭州优云软件有限公司 | 一种自适应计算it智能运维健康指数的方法及系统 |
| CN116225760A (zh) * | 2023-02-07 | 2023-06-06 | 宁波大学 | 一种基于运维知识图谱的实时根因分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116719665A (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111614690B (zh) | 一种异常行为检测方法及装置 | |
| Tang et al. | Dynamic analysis of traffic time series at different temporal scales: A complex networks approach | |
| CN109615129B (zh) | 房地产客户成交概率预测方法、服务器及计算机存储介质 | |
| EP3039821A1 (en) | Apparatus and method for processing data streams in a communication network | |
| CN111708774B (zh) | 一种基于大数据的产业分析系统 | |
| CN111796957B (zh) | 基于应用日志的交易异常根因分析方法及系统 | |
| Tian et al. | A network traffic prediction method based on IFS algorithm optimised LSSVM | |
| CN111680125A (zh) | 诉讼案件分析方法、装置、计算机设备及存储介质 | |
| CN113099475A (zh) | 网络质量检测方法、装置、电子设备及可读存储介质 | |
| CN113344408A (zh) | 民航交通管制运行多尺度态势感知流程的处理方法 | |
| CN102083087A (zh) | 一种主客观模型结合的话务量异常检测方法 | |
| CN116542800A (zh) | 基于云端ai技术的智能化财务报表分析系统 | |
| CN115544519A (zh) | 对计量自动化系统威胁情报进行安全性关联分析的方法 | |
| CN111222790A (zh) | 风险事件发生概率的预测方法、装置、设备及存储介质 | |
| CN117035563B (zh) | 产品质量安全风险监测方法、设备、监测系统及介质 | |
| CN116756522B (zh) | 概率预报方法、装置、存储介质及电子设备 | |
| CN116719665B (zh) | 一种气象数值模式异常状态的智能判识方法 | |
| Bourqui et al. | Detecting structural changes and command hierarchies in dynamic social networks | |
| Qiao et al. | Constructing a data warehouse based decision support platform for China tourism industry | |
| CN112100165B (zh) | 基于质量评估的交通数据处理方法、系统、设备和介质 | |
| Yadav et al. | The Event Crowd: A novel approach for crowd-enabled event processing | |
| Wang et al. | Communication network time series prediction algorithm based on big data method | |
| Wang et al. | Air quality data analysis and forecasting platform based on big data | |
| CN108038790B (zh) | 一种内外数据融合的态势分析系统 | |
| CN112907124B (zh) | 一种数据链路异常评测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |