CN117667088A - 一种基于lstm的规则引擎预警系统、方法及存储介质 - Google Patents
一种基于lstm的规则引擎预警系统、方法及存储介质 Download PDFInfo
- Publication number
- CN117667088A CN117667088A CN202311521789.0A CN202311521789A CN117667088A CN 117667088 A CN117667088 A CN 117667088A CN 202311521789 A CN202311521789 A CN 202311521789A CN 117667088 A CN117667088 A CN 117667088A
- Authority
- CN
- China
- Prior art keywords
- data
- rule
- early warning
- module
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 7
- 238000007726 management method Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 210000001503 joint Anatomy 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/35—Creation or generation of source code model driven
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明的目的在于提供一种基于LSTM的规则引擎预警系统、方法及存储介质，所述系统包括数据获取模块、数据预处理模块、数据预测模块、模型管理模块、规则计算模块、模型训练模块、规则管理模块和预警处理模块。所述模型训练模块用于基于历史预测数据对比结果更新LSTM模型的参数或者采用历史数据训练LSTM模型；所述规则管理模块用于管理通过可视化页面创建的规则信息；所述预警处理模块用于对规则验证通过的数据进行预警处理，并通过指定的通道发送到指定的用户。本发明可以实时监测数据的变化，及时发现潜在的风险，提高预警的及时性；本发明通过可视化配置界面实现快速地调整规则引擎的配置，提高了规则引擎的易用性。
Description
技术领域
本发明属于基于深度学习的风险预警的技术领域，具体涉及一种基于LSTM的规则引擎预警系统、方法及存储介质。
背景技术
规则引擎是一种用于处理业务规则的软件系统，其核心功能是将业务规则从业务人员的业务知识中抽象出来，使得业务人员无需编写程序代码即可实现业务规则的变更和优化。然而，现有的规则引擎预警及可视化配置方法在实时性和易用性方面存在一定的不足。例如：生产系统在运行中会生产很多需要通知用户的警告信息，自动化系统生成的警告信息会有很多噪点和无效警告，如果直接交由人工判断效率会非常低，容易遗漏或者来不急处理，需要借助规则引擎自动化过滤噪点。
因此，本发明提出了一种基于LSTM算法的规则引擎预警方案，通过将LSTM算法应用于规则引擎，实现了对数据的实时监测、预警以及可视化配置，提高了规则引擎的智能性和易用性。其中，LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN）结构，它通过引入门控机制解决了RNN在处理长序列数据时存在的梯度消失和梯度爆炸问题。LSTM算法在处理序列数据时有很好的性能，因此被广泛应用于自然语言处理、语音识别等领域。
发明内容
本发明的目的在于提供一种基于LSTM的规则引擎预警系统、方法及存储介质，旨在解决上述的问题。
本发明主要通过以下技术方案实现：
一种基于LSTM的规则引擎预警系统，包括从前至后依次连接的数据获取模块、数据预处理模块和数据预测模块，所述数据预测模块分别与模型管理模块和规则计算模块连接，所述模型管理模块和规则计算模块分别与模型训练模块、规则管理模块连接，所述规则计算模块与预警处理模块连接；
所述数据获取模块用于对接获取数据；所述数据预处理模块用于对业务数据进行泛化处理，将数据处理为对应的数据格式；所述数据预测模块用于对预处理后的数据按照设定的LSTM模型进行预测并得到预测数据；
所述模型训练模块用于基于历史预测数据对比结果更新LSTM模型的参数或者采用历史数据训练LSTM模型；所述模型管理模块用于对LSTM模型的训练参数以及训练后的LSTM模型进行管理；所述规则管理模块用于管理通过可视化页面创建的规则信息；所述规则计算模块用于对传入的数据按照规则进行计算获得是否满足规则的逻辑结果；所述预警处理模块用于对规则验证通过的数据进行预警处理，并通过指定的通道发送到指定的用户。
为了更好地实现本发明，进一步地，所述数据获取模块包括http推送接口管理单元、http拉取接口管理单元、数据库读取接口管理单元、消息服务拉取接口管理单元和数据缓存单元；所述数据预处理模块用于基于flink对通用数据进行过滤、分组、汇总、统计、转换、映射的数据清洗。
为了更好地实现本发明，进一步地，所述模型训练模块包括历史数据清洗单元、模型训练单元和训练数据分批保存单元；所述模型管理模块包括基于业务类型分类的模型分类单元以及参数管理单元和预测评分单元。
为了更好地实现本发明，进一步地，所述规则管理模块包括可视化组合规则配置单元、sql规则创建单元、spel表达式规则创建单元、数据源管理单元、规则数据源映射单元和测试验证单元；所述规则计算模块包括规则解析单元、规则计算单元和过程记录单元。
为了更好地实现本发明，进一步地，所述预警处理模块包括预警模板管理单元、预警人员选择单元、电话预警单元和短信预警单元。
本发明主要通过以下技术方案实现：
一种基于LSTM的规则引擎预警方法，采用上述的系统进行，包括以下步骤：
步骤S1：获取数据并进行数据预处理；
步骤S2：进行数据分类，并分为告警数据和预警数据；
步骤S3：针对告警数据，选取告警计算规则并进行计算，判断计算结果是否满足规则，若满足，则触发告警；
步骤S4：针对预警数据，根据数据类型选择LSTM模型，通过LSTM模型进行预测，并保存本轮预测结果；分别进行步骤S5和步骤S6；
步骤S5：选取预警计算规则并进行计算，判断计算结果是否满足规则，若满足，则触发预警；
步骤S6：优化LSTM模型：
步骤S61：获取上一轮预测数据，并与本轮的预测数据进行对比打分，判断对比分值差异是否低于阈值，若否，则进入步骤S62；
步骤S62：调整LSTM模型参数，训练模型；
步骤S63：使用历史数据输入训练后的LSTM模型进行多轮重新预测，并进行对比打分，判断对比分值差异是否低于阈值，若否，则进入步骤S62；否则，保存模型参数，更新LSTM模型。
为了更好地实现本发明，进一步地，所述步骤S61中，获取上一轮实际数据，通过预测数据与实际数据的差异分值判断是否对LSTM模型进行动态调整训练。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法。
本发明的有益效果如下：
（1）本发明可以实时监测数据的变化，及时发现潜在的风险，提高预警的及时性；本发明通过可视化配置界面使得业务人员可以根据业务需求快速地调整规则引擎的配置，提高了规则引擎的易用性；
（2）本发明基于深度循环神经网络（LSTM）的先进算法构建的规则引擎，能够实时捕捉网络环境中存在的异常波动，预测潜在的风险并及时预警；它不仅提供了预警功能，而且还能够通过可视化的方式让用户方便地进行配置。通过这种方式，用户能够直观地理解和操作规则引擎，最大限度地提高预警的及时性和精准度。
附图说明
图1为本发明基于LSTM的规则引擎预警系统的原理框图；
图2为本发明基于LSTM的规则引擎预警方法的流程图。
具体实施方式
实施例1：
一种基于LSTM的规则引擎预警系统，如图1所示，包括数据获取模块，数据预处理模块，数据预测模块，模型管理模块，模型训练模块，规则管理模块，规则计算模块，预警处理模块。
①数据获取模块：
专用于前置对接获取数据的模块，包括http推送接口管理，http拉取接口管理，数据库读取接口管理，消息服务拉取接口管理，数据缓存管理等
②数据预处理模块：
数据预处理模块是对业务数据进行泛化处理的功能模块，主要用于将数据处理为适合预测模型接收的数据格式。包括基于flink的通用数据过滤、分组、汇总、统计、转换、映射等数据清洗功能管理，定制化的基于业务的专有清洗功能管理。
③数据预测模块：
数据预测模块是对预处理后的数据按照指定的LSTM算法模型进行预测获取预测数据的功能。包括模型选择，预测执行，轮次结果保存等功能。
④模型管理模块：
模型管理模块是对LSTM算法训练参数以及训练后的模型进行管理。包括模型分类（基于业务类型分类），参数管理，预测评分等功能。
⑤模型训练模块：
模型训练模块是对LSTM算法使用不同的参数或者更多的历史数据进行重新训练获取新的模型的功能。包括历史数据清洗，模型训练，训练数据分批保存等功能。
⑥规则管理模块：
规则管理模块用于管理通过可视化页面创建的规则信息，包括可视化组合规则配置，sql规则创建，spel表达式规则创建，数据源管理，规则数据源映射，测试验证等功能。
⑦规则计算模块：
规则计算模块用于对传入的数据按照规则进行计算获得是否满足规则的逻辑结果，包括规则解析，规则计算，过程记录等功能。
⑧预警处理模块：
预警处理模块是对规则验证通过的数据进行最终处理通过指定的通道发送到指定的用户，包括预警模板管理，预警人员选择，电话预警，短信预警等功能。
本发明可以实时监测数据的变化，及时发现潜在的风险，提高预警的及时性；本发明通过可视化配置界面使得业务人员可以根据业务需求快速地调整规则引擎的配置，提高了规则引擎的易用性。
实施例2：
一种基于LSTM的规则引擎预警方法，如图2所示，包括以下步骤：
1、数据获取到以后，根据数据获取方式进行定时或触发提交数据到数据预处理环节。
2、预处理完成后根据数据分类进入预警或告警环节。
3、进入预警环节根据数据类型选择好lstm模型后有两个分支流程需要完成。
4、分支一：
4.1、根据lstm模型进行预测；
4.2、根据预测后保存本轮预测结果，选取指定的规则进行计算确认是否满足规则；
4.3、满足规则的情况下触发预警流程，根据预警模板相关设定进行预警；否则结束预警流程。
5、分支二：
5.1、获取上一轮预测数据；
5.2、与本轮的数据进行对比打分；
5.3、如果差异分值低于阈值，则不做处理；
5.4、如果差异分值高于阈值，则在模型管理中警告需要对模型参数进行调整；
5.5、对调整后的模型进行重新训练；
5.6、使用训练后的新模型进行预测；
5.7、再次对预测结果进行打分；
5.8、差异低于阈值，则保存模型，高于阈值，则回到参数调整步骤重新训练打分。
本发明基于深度循环神经网络（LSTM）的先进算法构建的规则引擎，能够实时捕捉网络环境中存在的异常波动，预测潜在的风险并及时预警；它不仅提供了预警功能，而且还能够通过可视化的方式让用户方便地进行配置。通过这种方式，用户能够直观地理解和操作规则引擎，最大限度地提高预警的及时性和精准度。本发明的预警流程中模型通过预测数据与实际数据的差异分值判断进行动态调整训练，本发明可以实现规则可视化交互。本发明通过预警流程可以看到数据会动态的改变模型的参数设置，通过长时间的迭代系统会更准确的得出预测结果。本发明能够优于其他方式的地方还在于其预测能力的可成长性。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (8)
1.一种基于LSTM的规则引擎预警系统，其特征在于，包括从前至后依次连接的数据获取模块、数据预处理模块和数据预测模块，所述数据预测模块分别与模型管理模块和规则计算模块连接，所述模型管理模块和规则计算模块分别与模型训练模块、规则管理模块连接，所述规则计算模块与预警处理模块连接；
所述数据获取模块用于对接获取数据；所述数据预处理模块用于对业务数据进行泛化处理，将数据处理为对应的数据格式；所述数据预测模块用于对预处理后的数据按照设定的LSTM模型进行预测并得到预测数据；
所述模型训练模块用于基于历史预测数据对比结果更新LSTM模型的参数或者采用历史数据训练LSTM模型；所述模型管理模块用于对LSTM模型的训练参数以及训练后的LSTM模型进行管理；所述规则管理模块用于管理通过可视化页面创建的规则信息；所述规则计算模块用于对传入的数据按照规则进行计算获得是否满足规则的逻辑结果；所述预警处理模块用于对规则验证通过的数据进行预警处理，并通过指定的通道发送到指定的用户。
2.根据权利要求1所述的一种基于LSTM的规则引擎预警系统，其特征在于，所述数据获取模块包括http推送接口管理单元、http拉取接口管理单元、数据库读取接口管理单元、消息服务拉取接口管理单元和数据缓存单元；所述数据预处理模块用于基于flink对通用数据进行过滤、分组、汇总、统计、转换、映射的数据清洗。
3.根据权利要求1所述的一种基于LSTM的规则引擎预警系统，其特征在于，所述模型训练模块包括历史数据清洗单元、模型训练单元和训练数据分批保存单元；所述模型管理模块包括基于业务类型分类的模型分类单元以及参数管理单元和预测评分单元。
4.根据权利要求1所述的一种基于LSTM的规则引擎预警系统，其特征在于，所述规则管理模块包括可视化组合规则配置单元、sql规则创建单元、spel表达式规则创建单元、数据源管理单元、规则数据源映射单元和测试验证单元；所述规则计算模块包括规则解析单元、规则计算单元和过程记录单元。
5.根据权利要求1-4任一项所述的一种基于LSTM的规则引擎预警系统，其特征在于，所述预警处理模块包括预警模板管理单元、预警人员选择单元、电话预警单元和短信预警单元。
6.一种基于LSTM的规则引擎预警方法，采用权利要求1-5任一项所述的系统进行，其特征在于，包括以下步骤：
步骤S1：获取数据并进行数据预处理；
步骤S2：进行数据分类，并分为告警数据和预警数据；
步骤S3：针对告警数据，选取告警计算规则并进行计算，判断计算结果是否满足规则，若满足，则触发告警；
步骤S4：针对预警数据，根据数据类型选择LSTM模型，通过LSTM模型进行预测，并保存本轮预测结果；分别进行步骤S5和步骤S6；
步骤S5：选取预警计算规则并进行计算，判断计算结果是否满足规则，若满足，则触发预警；
步骤S6：优化LSTM模型：
步骤S61：获取上一轮预测数据，并与本轮的预测数据进行对比打分，判断对比分值差异是否低于阈值，若否，则进入步骤S62；
步骤S62：调整LSTM模型参数，训练模型；
步骤S63：使用历史数据输入训练后的LSTM模型进行多轮重新预测，并进行对比打分，判断对比分值差异是否低于阈值，若否，则进入步骤S62；否则，保存模型参数，更新LSTM模型。
7.根据权利要求6所述的一种基于LSTM的规则引擎预警方法，其特征在于，所述步骤S61中，获取上一轮实际数据，通过预测数据与实际数据的差异分值判断是否对LSTM模型进行动态调整训练。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求6或7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311521789.0A CN117667088A (zh) | 2023-11-15 | 2023-11-15 | 一种基于lstm的规则引擎预警系统、方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311521789.0A CN117667088A (zh) | 2023-11-15 | 2023-11-15 | 一种基于lstm的规则引擎预警系统、方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117667088A true CN117667088A (zh) | 2024-03-08 |
Family
ID=90079890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311521789.0A Pending CN117667088A (zh) | 2023-11-15 | 2023-11-15 | 一种基于lstm的规则引擎预警系统、方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117667088A (zh) |
-
2023
- 2023-11-15 CN CN202311521789.0A patent/CN117667088A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111782890B (zh) | 一种装备状态分析与管理系统 | |
| CN110287482B (zh) | 半自动化分词语料标注训练装置 | |
| CN118193714B (zh) | 一种基于层级结构和检索增强的动态适应问答系统及方法 | |
| CN113420946B (zh) | 一种新闻媒体的评价方法 | |
| US20240303240A1 (en) | Query generation from event-based pattern matching | |
| CN117194919A (zh) | 一种生产数据分析系统 | |
| CN111914166B (zh) | 应用于社区矫正人员的矫正策略个性化推荐系统 | |
| CN118296164A (zh) | 基于知识图谱的农产信息自动采集与更新方法及系统 | |
| CN111666978A (zh) | 一种it系统运维大数据的智能故障预警系统 | |
| Li et al. | Improving performance of log anomaly detection with semantic and time features based on bilstm-attention | |
| CN117131425B (zh) | 一种基于反馈数据的数控机床加工状态监测方法及系统 | |
| WO2020262183A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN117667088A (zh) | 一种基于lstm的规则引擎预警系统、方法及存储介质 | |
| CN116308295A (zh) | 一种工业生产数据管理方法及系统 | |
| CN111221704B (zh) | 一种确定办公管理应用系统运行状态的方法及系统 | |
| CN118504586B (zh) | 一种基于大语言模型的用户风险行为感知方法及相关设备 | |
| CN118551027B (zh) | 一种基于水利知识图谱的智能问答系统的构建方法 | |
| CN115357693B (zh) | 基于加氢裂化装置知识图谱的智能问答系统的构建方法 | |
| CN118536044A (zh) | 一种基于深度学习的银行数据报表智能核查方法 | |
| Li et al. | Design of Enterprise Financial and Economic Risk Early Warning System Based on Machine Learning Algorithms | |
| CN111597097A (zh) | 一种大数据处理方法及系统 | |
| CN115080721A (zh) | 基于缓存的提高语义识别响应时间的优化系统及方法 | |
| CN118551027A (zh) | 一种基于水利知识图谱的智能问答系统的构建方法 | |
| CN117708198A (zh) | 一种应用系统数据智能关联方法 | |
| CN117056519A (zh) | 面向跨领域的立法意见综合报告自动生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |