CN116956201A - 一种大数据决策的智能耦合预警方法 - Google Patents
一种大数据决策的智能耦合预警方法 Download PDFInfo
- Publication number
- CN116956201A CN116956201A CN202311207059.3A CN202311207059A CN116956201A CN 116956201 A CN116956201 A CN 116956201A CN 202311207059 A CN202311207059 A CN 202311207059A CN 116956201 A CN116956201 A CN 116956201A
- Authority
- CN
- China
- Prior art keywords
- data
- sequence
- early warning
- time sequence
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008878 coupling Effects 0.000 title claims abstract description 79
- 238000010168 coupling process Methods 0.000 title claims abstract description 79
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 23
- 101100460203 Schizosaccharomyces pombe (strain 972 / ATCC 24843) new2 gene Proteins 0.000 claims description 24
- 101100273916 Schizosaccharomyces pombe (strain 972 / ATCC 24843) wip1 gene Proteins 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 101100027969 Caenorhabditis elegans old-1 gene Proteins 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000002265 prevention Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种大数据决策的智能耦合预警方法及系统,包括以下步骤:根据第一数据序列和第二数据序列,通过神经网络,得到噪声耦合预测模型,所述噪声耦合预测模型用于消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰;根据耦合预测模型输出的第一数据在后置时序的预测值,将第一数据在后置时序的预测值与第一系统的预警阈值匹配,得到第一系统在后置时序的预警结果。本发明利用数据的噪声添加构建出噪声耦合预测模型,消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰,降低预警准确性对数据质量的单一性依赖,增强预警过程鲁棒性差,提高预警质量。
Description
技术领域
本发明涉及系统预警技术领域,具体涉及一种大数据决策的智能耦合预警方法及系统。
背景技术
在系统中加入预警机制,通过及时提供警示的机构、制度、网络、举措等构成的预警过程,实现信息的实时反馈,为及时布置、防风险于未然奠定基础。
现有技术中系统安全预警,需要依赖于准确的系统数据,即预警准确性取决于系统数据的质量,而且对数据质量的单一性依赖也会造成预警过程鲁棒性差,适用范围小,降低预警质量。
发明内容
本发明的目的在于提供一种大数据决策的智能耦合预警方法,以解决现有技术中预警准确性取决于系统数据的质量,而且对数据质量的单一性依赖也会造成预警过程鲁棒性差,适用范围小,降低预警质量的技术问题。
为解决上述技术问题,本发明具体提供下述技术方案:
一种大数据决策的智能耦合预警方法,包括以下步骤:
获取第一数据序列,所述第一数据序列由多个时序处的第一数据排序得到,所述第一数据对应于第一系统的动作属性,所述第一数据包括图像数据、音频数据、文本数据中的至少一种;
对第一数据序列进行噪声添加,得到第二数据序列,所述第二数据序列为添加噪声后的第一数据序列;
根据第一数据序列和第二数据序列,通过神经网络,得到噪声耦合预测模型,所述噪声耦合预测模型用于消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰;
根据噪声耦合预测模型输出的第一数据在后置时序的预测值,将第一数据在后置时序的预测值与第一系统的预警阈值匹配,得到第一系统在后置时序的预警结果。
作为本发明的一种优选方案,所述对第一数据序列进行噪声添加,得到第二数据序列,包括:
依次对第一数据序列中每个时序处的第一数据添加数据噪声,其中,数据噪声的添加表达式为:
;
式中,wl_add为添加高斯噪声后第一数据序列中第l个时序处的第一数据,wl为第一数据序列中第l个时序处的第一数据,为高斯分布函数,/>为的标准差,/>为第一数据序列中的数据对称性,/>为第一数据序列中第一数据间的关联关系,其中,/>,/>为第一数据序列中第一数据间关联关系矩阵,K为第一数据序列中第一数据间关联关系矩阵的矩阵规格,l为计数变量;
依次将添加高斯噪声后第一数据序列中各个时序处的第一数据作为第二数据序列中各个时序处的第一数据。
作为本发明的一种优选方案,所述根据第一数据序列和第二数据序列,通过神经网络,得到噪声耦合预测模型,包括:
将第一数据序列在前置时序的第一数据作为第一神经网络的输入项,将第一数据序列在后置时序的第一数据作为第一神经网络的输出项;
将第二数据序列在前置时序的第一数据作为第二神经网络的输入项,将第二数据序列在后置时序的第一数据作为第二神经网络的输出项;
将第一神经网络的输出项与第二神经网络的输出项间的均方误差作为损失函数;
基于损失函数对第一神经网络和第二神经网络进行网络训练得到噪声耦合预测模型;
所述噪声耦合预测模型的模型表达式为:
;
式中,data new1为第一数据序列在后置时序的第一数据,data old1为第一数据序列在前置时序的第一数据,LSTM1为第一神经网络,data new2为第二数据序列在后置时序的第一数据,data old2为第二数据序列在前置时序的第一数据,LSTM2为第二神经网络;
所述损失函数的函数表达式为:
Loss=MSE(data new1,data new2);
式中,Loss为损失函数,MSE为均方误差运算符,MSE(data new1,data new2)为data new1和data new2的均方误差。
作为本发明的一种优选方案,所述噪声耦合预测模型中第一神经网络和第二神经网络具有相同权重。
作为本发明的一种优选方案,确定第一系统在后置时序的预警结果,包括:
当第一数据在后置时序的预测值大于第一系统的预警阈值,则第一系统在后置时序的预警结果为对第一系统预警;
当第一数据在后置时序的预测值小于或等于第一系统的预警阈值,则第一系统在后置时序的预警结果为不对第一系统预警。
作为本发明的一种优选方案,采用等级化预警对第一系统预警,包括:
通过预警等级与第一数据的匹配关系,确定第一数据在后置时序的预测值对应的预警等级;
根据第一数据在后置时序的预测值对应的预警等级对第一系统预警。
作为本发明的一种优选方案,对所述第一数据序列和第二数据序列进行归一化处理。
作为本发明的一种优选方案,本发明提供了一种应用于一种大数据决策的智能耦合预警方法的智能耦合预警系统,包括:
监测单元,用于获取第一数据序列,所述第一数据序列由多个时序处的第一数据排序得到,所述第一数据对应于第一系统的动作属性,所述第一数据包括图像数据、音频数据、文本数据中的至少一种;
存储单元,存储有噪声耦合预测模型,预警阈值,以及预警等级与第一数据的匹配关系;
CPU单元,用于根据噪声耦合预测模型输出的第一数据在后置时序的预测值,将第一数据在后置时序的预测值与第一系统的预警阈值匹配,得到第一系统在后置时序的预警结果;
所述CPU单元分别与监测单元、存储单元通信连接。
作为本发明的一种优选方案,所述噪声耦合预测模型噪声预测模型用于消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰,包括:
依次对第一数据序列中每个时序处的第一数据添加数据噪声,其中,数据噪声的添加表达式为:
;
式中,wl_add为添加高斯噪声后第一数据序列中第l个时序处的第一数据,wl为第一数据序列中第l个时序处的第一数据,为高斯分布函数,/>为的标准差,/>为第一数据序列中的数据对称性,/>为第一数据序列中第一数据间的关联关系,其中,/>,/>为第一数据序列中第一数据间关联关系矩阵,K为第一数据序列中第一数据间关联关系矩阵的矩阵规格,l为计数变量;
依次将添加高斯噪声后第一数据序列中各个时序处的第一数据作为第二数据序列中各个时序处的第一数据;
将第一数据序列在前置时序的第一数据作为第一神经网络的输入项,将第一数据序列在后置时序的第一数据作为第一神经网络的输出项;
将第二数据序列在前置时序的第一数据作为第二神经网络的输入项,将第二数据序列在后置时序的第一数据作为第二神经网络的输出项;
将第一神经网络的输出项与第二神经网络的输出项间的均方误差作为损失函数;
基于损失函数对第一神经网络和第二神经网络进行网络训练得到噪声耦合预测模型;
所述噪声耦合预测模型的模型表达式为:
;
式中,data new1为第一数据序列在后置时序的第一数据,data old1为第一数据序列在前置时序的第一数据,LSTM1为第一神经网络,data new2为第二数据序列在后置时序的第一数据,data old2为第二数据序列在前置时序的第一数据,LSTM2为第二神经网络;
所述损失函数的函数表达式为:
Loss=MSE(data new1,data new2);
式中,Loss为损失函数,MSE为均方误差运算符,MSE(data new1,data new2)为data new1和data new2的均方误差。
作为本发明的一种优选方案,所述CPU单元得到第一系统在后置时序的预警结果,包括:
当第一数据在后置时序的预测值大于第一系统的预警阈值,则第一系统在后置时序的预警结果为对第一系统预警;
当第一数据在后置时序的预测值小于或等于第一系统的预警阈值,则第一系统在后置时序的预警结果为不对第一系统预警;
通过预警等级与第一数据的匹配关系,确定第一数据在后置时序的预测值对应的预警等级;
根据第一数据在后置时序的预测值对应的预警等级对第一系统预警。
本发明与现有技术相比较具有如下有益效果:
本发明利用数据的噪声添加构建出噪声耦合预测模型,消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰,降低预警准确性对数据质量的单一性依赖,增强预警过程鲁棒性差,提高预警质量。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的智能耦合预警方法流程图;
图2为本发明实施例提供的智能耦合预警系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中系统安全预警,需要依赖于准确的系统数据,即预警准确性取决于系统数据的质量,而且对数据质量的单一性依赖也会造成预警过程鲁棒性差,适用范围小,降低预警质量。因此本发明提供一种大数据决策的智能耦合预警方法,利用数据的噪声添加构建出噪声耦合预测模型,消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰,降低预警准确性对数据质量的单一性依赖。
如图1所示,本发明提供了一种大数据决策的智能耦合预警方法,包括以下步骤:
获取第一数据序列,第一数据序列由多个时序处的第一数据排序得到,第一数据对应于第一系统的动作属性,第一数据包括图像数据、音频数据、文本数据中的至少一种,第一系统可以为电气系统(动作属性包括电流、功率、频率等)、环境系统(动作属性包括温湿度、污染物颗粒度等)、水利系统(动作属性包括水流量、储水量)、气象系统(动作属性包括气压、雨量等)等等,电气系统通过第一数据预警电气故障,环境系统通过第一数据预警环境污染,水利系统通过第一数据预警水利系统故障,比如:灌溉量异常,气象系统通过第一数据预警气象灾害,比如:暴雨灾害等,诸如此类;
对第一数据序列进行噪声添加,得到第二数据序列,第二数据序列为添加噪声后的第一数据序列;
根据第一数据序列和第二数据序列,通过神经网络,得到噪声耦合预测模型,噪声耦合预测模型用于消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰;
根据噪声耦合预测模型输出的第一数据在后置时序的预测值,将第一数据在后置时序的预测值与第一系统的预警阈值匹配,得到第一系统在后置时序的预警结果。
第一数据为表征系统动作属性的数据,表征系统动作属性的数据实质上蕴含了系统的整体状态,比如是否出现异常,需要进行预警,因此表征系统动作属性的数据的质量越好,对应着预警准确性越高,但是在实时监测过程中难以确保高质量的表征系统动作属性的数据,从而会造成预警准确度随机不可靠的缺陷。
本发明为了避免预警准确性取决于表征系统动作属性的数据的质量,主动在第一数据中添加噪声,降低第一数据的数据质量,之后将不含噪声的第一数据于含有噪声的第一数据共同训练,耦合成噪声耦合预测模型,使得噪声耦合预测模型能够在高质量和低质量的第一数据中得到同样准确的预测结果,降低了预警准确性对数据质量的依赖性,而且避免数据质量对噪声耦合预测模型产生的预测局限性,降低预警准确性对数据质量的单一性依赖,能够适用于更多的数据场景,拓展性强。
本发明为了降低第一数据的数据质量,在第一数据中添加噪声,具体如下:
对第一数据序列进行噪声添加,得到第二数据序列,包括:
依次对第一数据序列中每个时序处的第一数据添加数据噪声,其中,数据噪声的添加表达式为:
;
式中,wl_add为添加高斯噪声后第一数据序列中第l个时序处的第一数据,wl为第一数据序列中第l个时序处的第一数据,为高斯分布函数,/>为的标准差,/>为第一数据序列中的数据对称性,/>为第一数据序列中第一数据间的关联关系,其中,/>,/>为第一数据序列中第一数据间关联关系矩阵,K为第一数据序列中第一数据间关联关系矩阵的矩阵规格,l为计数变量;
依次将添加高斯噪声后第一数据序列中各个时序处的第一数据作为第二数据序列中各个时序处的第一数据。
本发明将不含噪声的第一数据于含有噪声的第一数据共同训练,耦合成噪声耦合预测模型,使得噪声耦合预测模型能够在高质量和低质量的第一数据中得到同样准确的预测结果,降低了预警准确性对数据质量的依赖性,具体如下:
根据第一数据序列和第二数据序列,通过神经网络,得到噪声耦合预测模型,包括:
将第一数据序列在前置时序的第一数据作为第一神经网络的输入项,将第一数据序列在后置时序的第一数据作为第一神经网络的输出项;
将第二数据序列在前置时序的第一数据作为第二神经网络的输入项,将第二数据序列在后置时序的第一数据作为第二神经网络的输出项;
将第一神经网络的输出项与第二神经网络的输出项间的均方误差作为损失函数;
基于损失函数对第一神经网络和第二神经网络进行网络训练得到噪声耦合预测模型;
噪声耦合预测模型的模型表达式为:
;
式中,data new1为第一数据序列在后置时序的第一数据,data old1为第一数据序列在前置时序的第一数据,LSTM1为第一神经网络,data new2为第二数据序列在后置时序的第一数据,data old2为第二数据序列在前置时序的第一数据,LSTM2为第二神经网络;
损失函数的函数表达式为:
Loss=MSE(data new1,data new2);
式中,Loss为损失函数,MSE为均方误差运算符,MSE(data new1,data new2)为data new1和data new2的均方误差。
本发明利用孪生神经网络训练的方法训练噪声耦合预测模型,使得高质量第一数据和低质量的第一数据会获得一致的后置时序第一数据预测值,减小后置时序第一数据预测值受第一数据的数据质量的影响,避免噪声耦合预测模型会由于数据质量不同而预警结果不同,提高预警结果的鲁棒性。
噪声耦合预测模型中第一神经网络和第二神经网络具有相同权重。
确定第一系统在后置时序的预警结果,包括:
当第一数据在后置时序的预测值大于第一系统的预警阈值,则第一系统在后置时序的预警结果为对第一系统预警;
当第一数据在后置时序的预测值小于或等于第一系统的预警阈值,则第一系统在后置时序的预警结果为不对第一系统预警。
采用等级化预警对第一系统预警,包括:
通过预警等级与第一数据的匹配关系,确定第一数据在后置时序的预测值对应的预警等级;
根据第一数据在后置时序的预测值对应的预警等级对第一系统预警。
在实际使用时,实时获取第一系统的第一数据构成第一系统在当前时序处的第一数据,利用第一系统在当前时序处的第一数据通过噪声耦合预测模型,得到第一系统在未来时序处的第一数据,根据未来时序处的第一数据确定是否需要预警,实现信息的超前反馈,为及时布置、防风险于未然奠定基础。
对第一数据序列和第二数据序列进行归一化处理。
如图2所示,本发明提供了一种应用于一种大数据决策的智能耦合预警方法的智能耦合预警系统,包括:
监测单元,用于获取第一数据序列,第一数据序列由多个时序处的第一数据排序得到,第一数据对应于第一系统的动作属性,第一数据包括图像数据、音频数据、文本数据中的至少一种;
存储单元,存储有噪声耦合预测模型,预警阈值,以及预警等级与第一数据的匹配关系;
CPU单元,用于根据噪声耦合预测模型输出的第一数据在后置时序的预测值,将第一数据在后置时序的预测值与第一系统的预警阈值匹配,得到第一系统在后置时序的预警结果;
CPU单元分别与监测单元、存储单元通信连接。
噪声耦合预测模型用于消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰,包括:
依次对第一数据序列中每个时序处的第一数据添加数据噪声,其中,数据噪声的添加表达式为:
;
式中,wl_add为添加高斯噪声后第一数据序列中第l个时序处的第一数据,wl为第一数据序列中第l个时序处的第一数据,为高斯分布函数,/>为的标准差,/>为第一数据序列中的数据对称性,/>为第一数据序列中第一数据间的关联关系,其中,/>,/>为第一数据序列中第一数据间关联关系矩阵,K为第一数据序列中第一数据间关联关系矩阵的矩阵规格,l为计数变量;
依次将添加高斯噪声后第一数据序列中各个时序处的第一数据作为第二数据序列中各个时序处的第一数据;
将第一数据序列在前置时序的第一数据作为第一神经网络的输入项,将第一数据序列在后置时序的第一数据作为第一神经网络的输出项;
将第二数据序列在前置时序的第一数据作为第二神经网络的输入项,将第二数据序列在后置时序的第一数据作为第二神经网络的输出项;
将第一神经网络的输出项与第二神经网络的输出项间的均方误差作为损失函数;
基于损失函数对第一神经网络和第二神经网络进行网络训练得到噪声耦合预测模型;
噪声耦合预测模型的模型表达式为:
;
式中,data new1为第一数据序列在后置时序的第一数据,data old1为第一数据序列在前置时序的第一数据,LSTM1为第一神经网络,data new2为第二数据序列在后置时序的第一数据,data old2为第二数据序列在前置时序的第一数据,LSTM2为第二神经网络;
损失函数的函数表达式为:
Loss=MSE(data new1,data new2);
式中,Loss为损失函数,MSE为均方误差运算符,MSE(data new1,data new2)为data new1和data new2的均方误差。
本发明为了避免预警准确性取决于表征系统动作属性的数据的质量,主动在第一数据中添加噪声,降低第一数据的数据质量,之后将不含噪声的第一数据于含有噪声的第一数据共同训练,耦合成噪声耦合预测模型,使得噪声耦合预测模型能够在高质量和低质量的第一数据中得到同样准确的预测结果,降低了预警准确性对数据质量的依赖性,而且避免数据质量对预测模型产生的预测局限性,降低预警准确性对数据质量的单一性依赖,能够适用于更多的数据场景,拓展性强。
CPU单元得到第一系统在后置时序的预警结果,包括:
当第一数据在后置时序的预测值大于第一系统的预警阈值,则第一系统在后置时序的预警结果为对第一系统预警;
当第一数据在后置时序的预测值小于或等于第一系统的预警阈值,则第一系统在后置时序的预警结果为不对第一系统预警;
通过预警等级与第一数据的匹配关系,确定第一数据在后置时序的预测值对应的预警等级;
根据第一数据在后置时序的预测值对应的预警等级对第一系统预警。
CPU单元在实际使用时,实时获取第一系统的第一数据构成第一系统在当前时序处的第一数据,利用第一系统在当前时序处的第一数据通过噪声耦合预测模型,得到第一系统在未来时序处的第一数据,根据未来时序处的第一数据确定是否需要预警,实现信息的超前反馈,为及时布置、防风险于未然奠定基础。
本发明利用数据的噪声添加构建出噪声耦合预测模型,消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰,降低预警准确性对数据质量的单一性依赖,增强预警过程鲁棒性差,提高预警质量。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种大数据决策的智能耦合预警方法,其特征在于:包括以下步骤:
获取第一数据序列,所述第一数据序列由多个时序处的第一数据排序得到,所述第一数据对应于第一系统的动作属性,所述第一数据包括图像数据、音频数据、文本数据中的至少一种;
对第一数据序列进行噪声添加,得到第二数据序列,所述第二数据序列为添加噪声后的第一数据序列;
根据第一数据序列和第二数据序列,通过神经网络,得到噪声耦合预测模型,所述噪声耦合预测模型用于消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰;
根据噪声耦合预测模型输出的第一数据在后置时序的预测值,将第一数据在后置时序的预测值与第一系统的预警阈值匹配,得到第一系统在后置时序的预警结果。
2.根据权利要求1所述的一种大数据决策的智能耦合预警方法,其特征在于:所述对第一数据序列进行噪声添加,得到第二数据序列,包括:
依次对第一数据序列中每个时序处的第一数据添加数据噪声,其中,数据噪声的添加表达式为:
;
式中,wl_add为添加高斯噪声后第一数据序列中第l个时序处的第一数据,wl为第一数据序列中第l个时序处的第一数据,为高斯分布函数,/>为/>的标准差,/>为第一数据序列中的数据对称性,/>为第一数据序列中第一数据间的关联关系,其中,/>,/>为第一数据序列中第一数据间关联关系矩阵,K为第一数据序列中第一数据间关联关系矩阵的矩阵规格,l为计数变量;
依次将添加高斯噪声后第一数据序列中各个时序处的第一数据作为第二数据序列中各个时序处的第一数据。
3.根据权利要求2所述的一种大数据决策的智能耦合预警方法,其特征在于:所述根据第一数据序列和第二数据序列,通过神经网络,得到噪声耦合预测模型,包括:
将第一数据序列在前置时序的第一数据作为第一神经网络的输入项,将第一数据序列在后置时序的第一数据作为第一神经网络的输出项;
将第二数据序列在前置时序的第一数据作为第二神经网络的输入项,将第二数据序列在后置时序的第一数据作为第二神经网络的输出项;
将第一神经网络的输出项与第二神经网络的输出项间的均方误差作为损失函数;
基于损失函数对第一神经网络和第二神经网络进行网络训练得到噪声耦合预测模型;
所述噪声耦合预测模型的模型表达式为:
;
式中,data new1为第一数据序列在后置时序的第一数据,data old1为第一数据序列在前置时序的第一数据,LSTM1为第一神经网络,data new2为第二数据序列在后置时序的第一数据,data old2为第二数据序列在前置时序的第一数据,LSTM2为第二神经网络;
所述损失函数的函数表达式为:
Loss=MSE(data new1,data new2);
式中,Loss为损失函数,MSE为均方误差运算符,MSE(data new1,data new2)为data new1和data new2的均方误差。
4.根据权利要求3所述的一种大数据决策的智能耦合预警方法,其特征在于:所述噪声耦合预测模型中第一神经网络和第二神经网络具有相同权重。
5.根据权利要求4所述的一种大数据决策的智能耦合预警方法,其特征在于:确定第一系统在后置时序的预警结果,包括:
当第一数据在后置时序的预测值大于第一系统的预警阈值,则第一系统在后置时序的预警结果为对第一系统预警;
当第一数据在后置时序的预测值小于或等于第一系统的预警阈值,则第一系统在后置时序的预警结果为不对第一系统预警。
6.根据权利要求5所述的一种大数据决策的智能耦合预警方法,其特征在于:采用等级化预警对第一系统预警,包括:
通过预警等级与第一数据的匹配关系,确定第一数据在后置时序的预测值对应的预警等级;
根据第一数据在后置时序的预测值对应的预警等级对第一系统预警。
7.根据权利要求1所述的一种大数据决策的智能耦合预警方法,其特征在于:对所述第一数据序列和第二数据序列进行归一化处理。
8.一种应用于根据权利要求1-7任一项所述的一种大数据决策的智能耦合预警方法的智能耦合预警系统,其特征在于,包括:
监测单元,用于获取第一数据序列,所述第一数据序列由多个时序处的第一数据排序得到,所述第一数据对应于第一系统的动作属性,所述第一数据包括图像数据、音频数据、文本数据中的至少一种;
存储单元,存储有噪声耦合预测模型,预警阈值,以及预警等级与第一数据的匹配关系;
CPU单元,用于根据噪声耦合预测模型输出的第一数据在后置时序的预测值,将第一数据在后置时序的预测值与第一系统的预警阈值匹配,得到第一系统在后置时序的预警结果;
所述CPU单元分别与监测单元、存储单元通信连接。
9.根据权利要求8所述的智能耦合预警系统,其特征在于:所述噪声耦合预测模型用于消除根据前置时序处的第一数据预测出后置时序处的第一数据过程中的噪声干扰,包括:
依次对第一数据序列中每个时序处的第一数据添加数据噪声,其中,数据噪声的添加表达式为:
;
式中,wl_add为添加高斯噪声后第一数据序列中第l个时序处的第一数据,wl为第一数据序列中第l个时序处的第一数据,为高斯分布函数,/>为/>的标准差,/>为第一数据序列中的数据对称性,/>为第一数据序列中第一数据间的关联关系,其中,/>,/>为第一数据序列中第一数据间关联关系矩阵,K为第一数据序列中第一数据间关联关系矩阵的矩阵规格,l为计数变量;
依次将添加高斯噪声后第一数据序列中各个时序处的第一数据作为第二数据序列中各个时序处的第一数据;
将第一数据序列在前置时序的第一数据作为第一神经网络的输入项,将第一数据序列在后置时序的第一数据作为第一神经网络的输出项;
将第二数据序列在前置时序的第一数据作为第二神经网络的输入项,将第二数据序列在后置时序的第一数据作为第二神经网络的输出项;
将第一神经网络的输出项与第二神经网络的输出项间的均方误差作为损失函数;
基于损失函数对第一神经网络和第二神经网络进行网络训练得到噪声耦合预测模型;
所述噪声耦合预测模型的模型表达式为:
;
式中,data new1为第一数据序列在后置时序的第一数据,data old1为第一数据序列在前置时序的第一数据,LSTM1为第一神经网络,data new2为第二数据序列在后置时序的第一数据,data old2为第二数据序列在前置时序的第一数据,LSTM2为第二神经网络;
所述损失函数的函数表达式为:
Loss=MSE(data new1,data new2);
式中,Loss为损失函数,MSE为均方误差运算符,MSE(data new1,data new2)为data new1和data new2的均方误差。
10.根据权利要求8所述的智能耦合预警系统,其特征在于:所述CPU单元得到第一系统在后置时序的预警结果,包括:
当第一数据在后置时序的预测值大于第一系统的预警阈值,则第一系统在后置时序的预警结果为对第一系统预警;
当第一数据在后置时序的预测值小于或等于第一系统的预警阈值,则第一系统在后置时序的预警结果为不对第一系统预警;
通过预警等级与第一数据的匹配关系,确定第一数据在后置时序的预测值对应的预警等级;
根据第一数据在后置时序的预测值对应的预警等级对第一系统预警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311207059.3A CN116956201B (zh) | 2023-09-19 | 2023-09-19 | 一种大数据决策的智能耦合预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311207059.3A CN116956201B (zh) | 2023-09-19 | 2023-09-19 | 一种大数据决策的智能耦合预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116956201A true CN116956201A (zh) | 2023-10-27 |
CN116956201B CN116956201B (zh) | 2023-12-08 |
Family
ID=88454901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311207059.3A Active CN116956201B (zh) | 2023-09-19 | 2023-09-19 | 一种大数据决策的智能耦合预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116956201B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018071625A1 (en) * | 2016-10-12 | 2018-04-19 | Nec Laboratories America, Inc. | Online alert ranking and attack scenario reconstruction |
CN108734207A (zh) * | 2018-05-14 | 2018-11-02 | 江南大学 | 一种基于双优选半监督回归算法的模型预测方法 |
CN109890043A (zh) * | 2019-02-28 | 2019-06-14 | 浙江工业大学 | 一种基于生成式对抗网络的无线信号降噪方法 |
CN109887047A (zh) * | 2018-12-28 | 2019-06-14 | 浙江工业大学 | 一种基于生成式对抗网络的信号-图像翻译方法 |
CN110148285A (zh) * | 2019-05-15 | 2019-08-20 | 东营汉威石油技术开发有限公司 | 一种基于大数据技术的油井参数智能预警系统及其预警方法 |
US20200019840A1 (en) * | 2018-07-13 | 2020-01-16 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for sequential event prediction with noise-contrastive estimation for marked temporal point process |
CN111182564A (zh) * | 2019-12-26 | 2020-05-19 | 合肥工业大学 | 一种基于lstm神经网络的无线链路质量预测方法 |
CN112949683A (zh) * | 2021-01-27 | 2021-06-11 | 东方红卫星移动通信有限公司 | 一种低轨星座智能故障诊断及预警方法及系统 |
CN113749664A (zh) * | 2020-06-04 | 2021-12-07 | 伯恩森斯韦伯斯特(以色列)有限责任公司 | 使用自动编码器减小心内心电图噪声及使用深度学习训练损失函数以细化心内和体表心电图 |
CN114624638A (zh) * | 2020-12-11 | 2022-06-14 | 深圳先进技术研究院 | 数据采集优化方法和装置、电子设备及机器可读存储介质 |
US20230282193A1 (en) * | 2022-03-03 | 2023-09-07 | University Of Manitoba | Method and apparatus for active noise cancellation using deep learning |
-
2023
- 2023-09-19 CN CN202311207059.3A patent/CN116956201B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018071625A1 (en) * | 2016-10-12 | 2018-04-19 | Nec Laboratories America, Inc. | Online alert ranking and attack scenario reconstruction |
CN108734207A (zh) * | 2018-05-14 | 2018-11-02 | 江南大学 | 一种基于双优选半监督回归算法的模型预测方法 |
US20200019840A1 (en) * | 2018-07-13 | 2020-01-16 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for sequential event prediction with noise-contrastive estimation for marked temporal point process |
CN109887047A (zh) * | 2018-12-28 | 2019-06-14 | 浙江工业大学 | 一种基于生成式对抗网络的信号-图像翻译方法 |
CN109890043A (zh) * | 2019-02-28 | 2019-06-14 | 浙江工业大学 | 一种基于生成式对抗网络的无线信号降噪方法 |
CN110148285A (zh) * | 2019-05-15 | 2019-08-20 | 东营汉威石油技术开发有限公司 | 一种基于大数据技术的油井参数智能预警系统及其预警方法 |
CN111182564A (zh) * | 2019-12-26 | 2020-05-19 | 合肥工业大学 | 一种基于lstm神经网络的无线链路质量预测方法 |
CN113749664A (zh) * | 2020-06-04 | 2021-12-07 | 伯恩森斯韦伯斯特(以色列)有限责任公司 | 使用自动编码器减小心内心电图噪声及使用深度学习训练损失函数以细化心内和体表心电图 |
CN114624638A (zh) * | 2020-12-11 | 2022-06-14 | 深圳先进技术研究院 | 数据采集优化方法和装置、电子设备及机器可读存储介质 |
CN112949683A (zh) * | 2021-01-27 | 2021-06-11 | 东方红卫星移动通信有限公司 | 一种低轨星座智能故障诊断及预警方法及系统 |
US20230282193A1 (en) * | 2022-03-03 | 2023-09-07 | University Of Manitoba | Method and apparatus for active noise cancellation using deep learning |
Non-Patent Citations (5)
Title |
---|
FAGUI LIU 等: "An Ensemble Model Based on Adaptive Noise Reducer and Over-Fitting Prevention LSTM for Multivariate Time Series Forecasting", 《IEEE ACCESS》, pages 26102 - 26115 * |
ZHE WU 等: "Handling Noisy Data in Machine Learning Modeling and Predictive Control of Nonlinear Processes", 《2021 AMERICAN CONTROL CONFERENCE》, pages 3345 - 3351 * |
孙少杰 等: "供热管道泄漏声源特性仿真及实验", 《机电工程技术》, vol. 52, no. 7, pages 113 * |
席亮 等: "基于样本关联感知的无监督深度异常检测模型", 《计算机学报》, vol. 444, no. 11, pages 2317 - 2331 * |
熊志刚 等: "三维空间纯方位多目标跟踪PHD算法", 《电子学报》, vol. 46, no. 6, pages 1371 - 1377 * |
Also Published As
Publication number | Publication date |
---|---|
CN116956201B (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022151819A1 (zh) | 一种基于聚类分析的电池系统在线故障诊断方法和系统 | |
Banerjee et al. | Confidence sets for split points in decision trees | |
CN112838946B (zh) | 基于通信网故障智能感知与预警模型的构建方法 | |
CN100580703C (zh) | 一种无监督马尔可夫随机场图像分割方法 | |
CN115860590B (zh) | 一种企业排放污染数据的智能分析预警方法及系统 | |
CN113505926B (zh) | 一种基于阻抗预测模型自更新的燃料电池故障预测方法 | |
CN111680702A (zh) | 一种使用检测框实现弱监督图像显著性检测的方法 | |
CN115169724A (zh) | 一种基于时空图卷积神经网络的径流预测方法 | |
CN115049884A (zh) | 基于Faster RCNN网络的广义少样本目标检测方法及系统 | |
CN116170208A (zh) | 一种基于半监督isodata算法的网络入侵实时检测方法 | |
CN116956201B (zh) | 一种大数据决策的智能耦合预警方法 | |
CN111882119A (zh) | 基于sa-bp神经网络的电池soh预测优化方法 | |
CN110807601A (zh) | 一种基于截尾数据的园区道路劣化分析方法 | |
CN117131348B (zh) | 基于差分卷积特征的数据质量分析方法及系统 | |
CN113569814A (zh) | 一种基于特征一致性的无监督行人重识别方法 | |
CN112287605B (zh) | 一种基于图卷积网络加速的潮流校核方法 | |
CN105468669A (zh) | 一种融合用户关系的自适应微博话题追踪方法 | |
CN113269395A (zh) | 一种基于压力状态反馈框架的水环境风险预判方法及系统 | |
CN110751201B (zh) | 基于纹理特征变换的sar装备任务失效成因推理方法 | |
CN108376266A (zh) | 基于样本边缘点内部点的单类支持向量机核参数优化方法 | |
CN115169089A (zh) | 基于核密度估计和copula的风电功率概率预测方法和装置 | |
CN115331081A (zh) | 图像目标检测方法与装置 | |
CN114492578A (zh) | 一种基于bp神经网络的电气设备运行数据分类方法 | |
CN114049519A (zh) | 一种光学遥感图像场景分类方法 | |
CN113157993A (zh) | 一种基于时序图极化分析的网络水军行为预警模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |