CN107341444A - 数据异常预警方法及装置 - Google Patents
数据异常预警方法及装置 Download PDFInfo
- Publication number
- CN107341444A CN107341444A CN201710421555.7A CN201710421555A CN107341444A CN 107341444 A CN107341444 A CN 107341444A CN 201710421555 A CN201710421555 A CN 201710421555A CN 107341444 A CN107341444 A CN 107341444A
- Authority
- CN
- China
- Prior art keywords
- real
- monitoring data
- data
- early warning
- time monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种数据异常预警方法，该方法包括：从待预警对象的实时监测数据序列中获取第一实时监测数据；根据所述第一实时监测数据、所述实时监测数据序列中位于所述第一实时监测数据之前的设定个数的第二实时监测数据和所述待预警对象的神经网络模型计算所述第一实时监测数据对应的预估数据；确定所述第一实时监测数据与所述预估数据的差值的绝对值是否大于所述待预警对象的报警阈值；若所述绝对值大于所述待预警对象的报警阈值，则发出针对所述待预警对象的数据异常预警。该方案能够自动地适应不同待预测对象的情况，精确地进行数据异常预警。
Description
技术领域
本发明涉及数据处理技术领域，尤指一种数据异常预警方法及装置。
背景技术
当前已进入到大数据时代，数据的价值被日益重视起来，各行各业也开始关注相关数据的收集。例如，在工业生产领域，会实时监测设备内部的温度、湿度等数据；在医疗领域，会实时监测病人的心率、血压等数据……在数据处理和分析工程中，发现数据异常并及时进行预警是一项重要而又棘手的工作。
目前，在进行数据异常预警时，常常人为设定阈值，然后将监测到的数据与该阈值进行比较，若超出该阈值，则进行数据异常预警。
上述方法中，预警方式过于简单，预警精确性较差，例如，对于异常心率预警而言，由于个体差异比较大，上述方法将每个人的心率都与同一设定阈值进行比较，进而判断是否进行心率异常预警，既忽略了不同个体、不同时间段内(例如上午和凌晨)心率存在差异，也忽略了设定阈值内的心率变化情况(心率是否存在急剧变化)，很显然上述方法过于简单，不够精确。
发明内容
本发明实施例提供一种数据异常预警方法及装置，用以解决现有技术中存在的预警方式过于简单、预警精确性较差的问题。
根据本发明实施例，提供一种数据异常预警方法，包括：
从待预警对象的实时监测数据序列中获取第一实时监测数据；
根据所述第一实时监测数据、所述实时监测数据序列中位于所述第一实时监测数据之前的设定个数的第二实时监测数据和所述待预警对象的神经网络模型计算所述第一实时监测数据对应的预估数据；
确定所述第一实时监测数据与所述预估数据的差值的绝对值是否大于所述待预警对象的报警阈值；
若所述绝对值大于所述待预警对象的报警阈值，则发出针对所述待预警对象的数据异常预警。
可选的，还包括：
获取所述待预警对象的历史监测数据序列；
对所述历史监测数据序列进行滤波和归一化后，得到所述待预警对象的训练序列；
根据所述训练序列确定所述待预警对象的报警阈值。
具体的，对所述历史监测数据序列进行滤波和归一化后，得到所述待预警对象的训练序列，具体包括：
计算所述历史监测数据序列的平均值；
将所述历史监测数据序列的平均值与设定百分比相乘，得到过滤阈值；
从所述历史监测数据序列中除去毛刺数据和超过所述过滤阈值的数据，并进行归一化，得到所述待预警对象的训练序列。
具体的，根据所述训练序列确定所述待预警对象的报警阈值，具体包括：
采用下列公式确定所述待预警对象的报警阈值threx：
其中，std(Xt)表示所述训练序列Xt的标准差。
可选的，还包括：
建立初始神经网络模型，所述初始神经网络模型包括输入层的节点数量、隐含层的节点数量、输出层的节点数量、激活函数和学习率；
将所述训练序列中的数据输入到所述初始神经网络模型中，对所述初始神经网络模型进行训练，得到所述待预警对象的神经网络模型。
具体的，根据所述第一实时监测数据、所述实时监测数据序列中位于所述第一实时监测数据之前的设定个数的第二实时监测数据和所述待预警对象的神经网络模型计算所述第一实时监测数据对应的预估数据，具体包括：
确定循环次数是否为1；
若所述循环次数为1，则将所述第一实时监测数据和所述第二实时监测数据输入到所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的预估数据；
若所述循环次数大于1，则将所述第一实时监测数据和所述第二实时监测数据输入到所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的第一候选预估数据；将所述第一实时监测数据和所述第二实时监测数据之中最早的数据被所述第一候选预估数据替换后输入所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的第二候选预估数据，以此类推，直到实际执行次数等于所述循环次数；将所述第一实时监测数据对应的所有的候选预估数据求加权平均值，得到所述第一实时监测数据对应的预估数据。
可选的，还包括：
根据所述实时监测数据序列中的每个数据及其对应的预估数据进行针对所述待预警对象的数据质量评估。
根据本发明实施例，还提供一种数据异常预警装置，包括：
第一获取模块，用于从待预警对象的实时监测数据序列中获取第一实时监测数据；
计算模块，用于根据所述第一实时监测数据、所述实时监测数据序列中位于所述第一实时监测数据之前的设定个数的第二实时监测数据和所述待预警对象的神经网络模型计算所述第一实时监测数据对应的预估数据；
第一确定模块，用于确定所述第一实时监测数据与所述预估数据的差值的绝对值是否大于所述待预警对象的报警阈值；
预警模块，用于若所述绝对值大于所述待预警对象的报警阈值，则发出针对所述待预警对象的数据异常预警。
可选的，还包括：
第二获取模块，用于获取所述待预警对象的历史监测数据序列；
处理模块，用于对所述历史监测数据序列进行滤波和归一化后，得到所述待预警对象的训练序列；
第二确定模块，用于根据所述训练序列确定所述待预警对象的报警阈值。
具体的，所述处理模块，具体用于：
计算所述历史监测数据序列的平均值；
将所述历史监测数据序列的平均值与设定百分比相乘，得到过滤阈值；
从所述历史监测数据序列中除去毛刺数据和超过所述过滤阈值的数据，并进行归一化，得到所述待预警对象的训练序列。
具体的，所述第二确定模块，具体用于：
采用下列公式确定所述待预警对象的报警阈值threx：
其中，std(Xt)表示所述训练序列Xt的标准差。
可选的，还包括：
建立模块，用于建立初始神经网络模型，所述初始神经网络模型包括输入层的节点数量、隐含层的节点数量、输出层的节点数量、激活函数和学习率；
训练模块，用于将所述训练序列中的数据输入到所述初始神经网络模型中，对所述初始神经网络模型进行训练，得到所述待预警对象的神经网络模型。
具体的，所述计算模块，具体用于：
确定循环次数是否为1；
若所述循环次数为1，则将所述第一实时监测数据和所述第二实时监测数据输入到所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的预估数据；
若所述循环次数大于1，则将所述第一实时监测数据和所述第二实时监测数据输入到所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的第一候选预估数据；将所述第一实时监测数据和所述第二实时监测数据之中最早的数据被所述第一候选预估数据替换后输入所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的第二候选预估数据，以此类推，直到实际执行次数等于所述循环次数；将所述第一实时监测数据对应的所有的候选预估数据求加权平均值，得到所述第一实时监测数据对应的预估数据。
可选的，还包括：
评估模块，用于根据所述实时监测数据序列中的每个数据及其对应的预估数据进行针对所述待预警对象的数据质量评估。
本发明有益效果如下：
本发明实施例提供一种数据异常预警方法及装置，通过从待预警对象的实时监测数据序列中获取第一实时监测数据；根据所述第一实时监测数据、所述实时监测数据序列中位于所述第一实时监测数据之前的设定个数的第二实时监测数据和所述待预警对象的神经网络模型计算所述第一实时监测数据对应的预估数据；确定所述第一实时监测数据与所述预估数据的差值的绝对值是否大于所述待预警对象的报警阈值；若所述绝对值大于所述待预警对象的报警阈值，则发出针对所述待预警对象的数据异常预警。该方案中，专门设定针对待预测对象设置了神经网络模型和报警阈值，在获取针对待预测对象的第一实时监测数据后，根据第一实时监测数据、第二实时监测数据和待预警对象的神经网络模型计算第一实时监测数据对应的预估数据，并进一步确定第一实时监测数据与预估数据的差值的绝对值是否大于待预警对象的报警阈值，在绝对值大于待预警对象的报警阈值，则发出针对待预警对象的数据异常预警，该方案能够自动地适应不同待预测对象的情况，精确地进行数据异常预警，克服了现有技术数据异常预警方式简单和精确性较差的问题。例如，对于心率异常预警来而言，由于专门设置了待预警对象的神经网络模型和报警阈值，能够考虑到不同个体、不同时间段内(例如上午和凌晨)心率存在差异，也考虑到了设定阈值内的心率变化情况(心率是否存在急剧变化)，能够实现精确地心率异常预警。
附图说明
图1为本发明实施例中一种数据异常预警方法的流程图；
图2为本发明实施例中确定待预警对象的报警阈值的过程；
图3为本发明实施例中S22的流程图；
图4为本发明实施例中S12的流程图；
图5为本发明实施例中一种数据异常预警装置的结构示意图。
具体实施方式
针对现有技术中存在的预警方式过于简单、预警精确性较差的问题，本发明实施例提供一种数据异常预警方法，该方法的流程如图1所示，执行步骤如下：
S11：从待预警对象的实时监测数据序列中获取第一实时监测数据。
该实施例的应用场景非常广泛，应用场景不同时，待预警对象不同，实时监测数据也不同。例如，在工业生产领域中，待预警对象可以是不同的生产设备，实时监测数据可以是温度、湿度等等；在医疗领域中，待预警对象可以是不同的病人，实时监测数据可以是血压、心率等等。
在确定待预警对象及其实时监测数据后，会建立针对待预警对象的实时监测数据序列，用来保存监测到的待预警对象的实时监测数据。当需要进行数据异常预警时，可以首先获取待预警对象的实时监测数据序列中的数据，定义为第一实时监测数据。
S12：根据第一实时监测数据、实时监测数据序列中位于第一实时监测数据之前的设定个数的第二实时监测数据和待预警对象的神经网络模型计算第一实时监测数据对应的预估数据。
可以预先建立待预警对象的神经网络模型，在对待预警对象进行数据异常预警时，根据第一实时监测数据、第二实时监测数据和待预警对象的神经网络模型计算第一实时监测数据对应的预估数据，该预估数据是根据第一实时监测数据预估的待预警对象的后续的数据。其中，第二实时监测数据是实时监测数据序列中位于第一实时监测数据之前的设定个数的数据，第二数据可以与第一实时监测数据相邻，也可以与第一实时监测数据不相邻，设定个数是待预警对象的神经网络模型包括的输入层的节点数量。
S13：确定第一实时监测数据与预估数据的差值的绝对值是否大于待预警对象的报警阈值。
假设，第一实时监测数据为dhr，预估数据为thr，待预警对象的报警阈值为threx，那么第一实时监测数据与预估数据的差值的绝对值Δ＝|dhr-thr|，然后确定Δ是否大于threx。
S14：若绝对值大于待预警对象的报警阈值，则发出针对待预警对象的数据异常预警。
若Δ＞threx，也就是说待预警对象的第一实时监测数据后续数据的变化趋势很可能出现异常，因此，需要发出针对待预警对象的数据异常预警，能够更加有效地起到提前预警的作用；若Δ≤threx，也就是说待预警对象的第一实时监测数据后续数据的变化趋势未出现异常，因此，无需发出针对待预警对象的数据异常预警，可以继续进行监控。
该方案中，专门设定针对待预测对象设置了神经网络模型和报警阈值，在获取针对待预测对象的第一实时监测数据后，根据第一实时监测数据、第二实时监测数据和待预警对象的神经网络模型计算第一实时监测数据对应的预估数据，并进一步确定第一实时监测数据与预估数据的差值的绝对值是否大于待预警对象的报警阈值，在绝对值大于待预警对象的报警阈值，则发出针对待预警对象的数据异常预警，该方案能够自动地适应不同待预测对象的情况，精确地进行数据异常预警，克服了现有技术数据异常预警方式简单和精确性较差的问题。例如，对于心率异常预警来而言，由于专门设置了待预警对象的神经网络模型和报警阈值，能够考虑到不同个体、不同时间段内(例如上午和凌晨)心率存在差异，也考虑到了设定阈值内的心率变化情况(心率是否存在急剧变化)，能够实现精确地心率异常预警。
可选的，上述方法还包括确定待预警对象的报警阈值的过程，如图2所示，具体包括：
S21：获取待预警对象的历史监测数据序列。
在确定待预警对象的报警阈值时，可以在一天、一周或者半天内对待预警对象进行监测，得到历史监测数据序列。
S22：对历史监测数据序列进行滤波和归一化后，得到待预警对象的训练序列。
不失一般性地，历史监测数据序列中可能同时包含了正常和异常的数据，因此，需要首先对历史监测数据序列进行滤波，尽量将异常数据滤掉，保留正常数据，再将正常数据进行归一化，从而得到待预警对象的训练序列。
S23：根据训练序列确定待预警对象的报警阈值。
对历史监测数据序列进行滤波和归一化后得到的训练序列中包括的是尽量正常的数据，从而可以根据训练序列确定待预警对象的报警阈值。
具体的，上述S22中的对历史监测数据序列进行滤波和归一化后，得到待预警对象的训练序列，其实现过程如图3所示，具体包括：
S221：计算历史监测数据序列的平均值。
S222：将历史监测数据序列的平均值与设定百分比相乘，得到过滤阈值。
S223：从历史监测数据序列中除去毛刺数据和超过过滤阈值的数据，并进行归一化，得到待预警对象的训练序列。
在确定待预警对象的训练序列时，可以首先计算历史监测数据序列的平均值。然后确定设定百分比，设定百分比可以根据实际需要进行设定，设定百分比可以但不限于为30％，然后将计算出的平均值乘以30％，就可以得到过滤阈值，凡是超过该过滤阈值的数据都需要过滤掉。在历史监测数据序列中，有的数据与相邻数据相差很多，这些数据成为毛刺数据，也是异常数据，也需要在历史监测数据序列中过滤掉。经过上述两次过滤后，剩下的就是尽量正常的数据，再将这些数据归一化，就可以得到待预警对象的训练序列。
具体的，上述S23中根据训练序列确定待预警对象的报警阈值，具体包括：采用下列公式确定待预警对象的报警阈值threx：其中，std(Xt)表示训练序列Xt的标准差。
确定出的报警阈值是针对该待预警对象的，不同的待预警对象得到的报警阈值不同，从而可以确保更加准确地进行数据异常预警。
可选的，上述方法还包括待预警对象的神经网络模型的建立过程，具体包括：建立初始神经网络模型，初始神经网络模型包括输入层的节点数量、隐含层的节点数量、输出层的节点数量、激活函数和学习率；将训练序列中的数据输入到初始神经网络模型中，对初始神经网络模型进行训练，得到待预警对象的神经网络模型。
确定出的待预警对象的训练序列不光可以确定待预警对象的报警阈值，还可以确定待预警对象的神经网络模型，确定出的神经网络模型是针对该待预警对象的，不同的待预警对象得到的神经网络模型不同，从而可以确保更加准确地进行数据异常预警。
为了确保数据异常预警的精确性，可以设定周期确定待预警对象的报警阈值和神经网络模型，设定周期可以根据实际需要进行设定，例如，可以设定为1天、5天、7天等等。
具体的，上述S12中的根据第一实时监测数据、实时监测数据序列中位于第一实时监测数据之前的设定个数的第二实时监测数据和待预警对象的神经网络模型计算第一实时监测数据对应的预估数据，其实现过程如图4所示，具体包括：
S120：流程开始。
S121：确定循环次数是否为1，若循环次数为1，则执行S122；若循环次数大于1，则执行S123。
为了便于确定预估数据的灵活性，可以提供通过神经网络模型确定实时监测数据对应的预估数据的循环次数。
S122：将第一实时监测数据和第二实时监测数据输入到待预警对象的神经网络模型中，得到第一实时监测数据对应的预估数据。
若循环次数为1，则可以直接将第一实时监测数据和第二实时监测数据输入到待预警对象的神经网络模型中，从而得到第一实时监测数据对应的预估数据。
S123：将第一实时监测数据和第二实时监测数据输入到待预警对象的神经网络模型中，得到第一实时监测数据对应的第一候选预估数据；将第一实时监测数据和第二实时监测数据之中最早的数据被第一候选预估数据替换后输入待预警对象的神经网络模型中，得到第一实时监测数据对应的第二候选预估数据，以此类推，直到实际执行次数等于循环次数；将第一实时监测数据对应的所有的候选预估数据求加权平均值，得到第一实时监测数据对应的预估数据。
若循环次数大于1，假设，第二实时监测数据与第一实时监测数据相邻，循环次数为M，设定个数(待预警对象的神经网络模型的输入层的节点数量)为P，第一实时监测数据为则设定个数的第二实时监测数据为
首先将输入待预警对象的神经网络模型得到第一实时监测数据对应的第一候选预估数据然后将替换掉第一实时监测数据和第二实时监测数据中最早的数据得到再将输入待预警对象的神经网络模型中得到第一实时监测数据对应的第二候选预估数据以此类推，直到执行次数等于M，也就是直到得到第一实时监测数据对应的第M候选预估数据
将第一实时监测数据对应的M个候选预估数据进行加权求和，得到第一实时监测数据对应的预估数据其中，σ1+σ2+……+σP＝1，并且σ1＞σ2＞……＞σP。
可选的，上述方法还包括：根据实时监测数据序列中的每个数据及其对应的预估数据进行针对待预警对象的数据质量评估。具体可以采用以下两个指标进行评估：第一个指标为数据偏移度第二个指标为数据浮动度其中，n为实时监测数据序列的数据个数，为第i个实时监测数据，为第i个实时监测数据的预估数据，为实时监测数据序列的平均值。
上述两个指标从不同侧面反映了数据是否正常，数据偏离度表征实际监测数据和正常数据的差距，数据浮动度表征待预警对象的数据浮动程度。
基于同一发明构思，本发明实施例提供一种数据异常预警装置，该装置的结构如图5所示，包括：
第一获取模块51，用于从待预警对象的实时监测数据序列中获取第一实时监测数据；
计算模块52，用于根据第一实时监测数据、实时监测数据序列中位于第一实时监测数据之前的设定个数的第二实时监测数据和待预警对象的神经网络模型计算第一实时监测数据对应的预估数据；
第一确定模块53，用于确定第一实时监测数据与预估数据的差值的绝对值是否大于待预警对象的报警阈值；
预警模块54，用于若绝对值大于待预警对象的报警阈值，则发出针对待预警对象的数据异常预警。
该方案中，专门设定针对待预测对象设置了神经网络模型和报警阈值，在获取针对待预测对象的第一实时监测数据后，根据第一实时监测数据、第二实时监测数据和待预警对象的神经网络模型计算第一实时监测数据对应的预估数据，并进一步确定第一实时监测数据与预估数据的差值的绝对值是否大于待预警对象的报警阈值，在绝对值大于待预警对象的报警阈值，则发出针对待预警对象的数据异常预警，该方案能够自动地适应不同待预测对象的情况，精确地进行数据异常预警，克服了现有技术数据异常预警方式简单和精确性较差的问题。例如，对于心率异常预警来而言，由于专门设置了待预警对象的神经网络模型和报警阈值，能够考虑到不同个体、不同时间段内(例如上午和凌晨)心率存在差异，也考虑到了设定阈值内的心率变化情况(心率是否存在急剧变化)，能够实现精确地心率异常预警。
可选的，还包括：
第二获取模块，用于获取待预警对象的历史监测数据序列；
处理模块，用于对历史监测数据序列进行滤波和归一化后，得到待预警对象的训练序列；
第二确定模块，用于根据训练序列确定待预警对象的报警阈值。
具体的，处理模块，具体用于：
计算历史监测数据序列的平均值；
将历史监测数据序列的平均值与设定百分比相乘，得到过滤阈值；
从历史监测数据序列中除去毛刺数据和超过过滤阈值的数据，并进行归一化，得到待预警对象的训练序列。
具体的，第二确定模块，具体用于：
采用下列公式确定待预警对象的报警阈值threx：
其中，std(Xt)表示训练序列Xt的标准差。
可选的，还包括：
建立模块，用于建立初始神经网络模型，初始神经网络模型包括输入层的节点数量、隐含层的节点数量、输出层的节点数量、激活函数和学习率；
训练模块，用于将训练序列中的数据输入到初始神经网络模型中，对初始神经网络模型进行训练，得到待预警对象的神经网络模型。
具体的，计算模块52，具体用于：
确定循环次数是否为1；
若循环次数为1，则将第一实时监测数据和第二实时监测数据输入到待预警对象的神经网络模型中，得到第一实时监测数据对应的预估数据；
若循环次数大于1，则将第一实时监测数据和第二实时监测数据输入到待预警对象的神经网络模型中，得到第一实时监测数据对应的第一候选预估数据；将第一实时监测数据和第二实时监测数据之中最早的数据被第一候选预估数据替换后输入待预警对象的神经网络模型中，得到第一实时监测数据对应的第二候选预估数据，以此类推，直到实际执行次数等于循环次数；将第一实时监测数据对应的所有的候选预估数据求加权平均值，得到第一实时监测数据对应的预估数据。
可选的，还包括：
评估模块，用于根据实时监测数据序列中的每个数据及其对应的预估数据进行针对待预警对象的数据质量评估。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种数据异常预警方法，其特征在于，包括：
从待预警对象的实时监测数据序列中获取第一实时监测数据；
根据所述第一实时监测数据、所述实时监测数据序列中位于所述第一实时监测数据之前的设定个数的第二实时监测数据和所述待预警对象的神经网络模型计算所述第一实时监测数据对应的预估数据；
确定所述第一实时监测数据与所述预估数据的差值的绝对值是否大于所述待预警对象的报警阈值；
若所述绝对值大于所述待预警对象的报警阈值，则发出针对所述待预警对象的数据异常预警。
2.如权利要求1所述的方法，其特征在于，还包括：
获取所述待预警对象的历史监测数据序列；
对所述历史监测数据序列进行滤波和归一化后，得到所述待预警对象的训练序列；
根据所述训练序列确定所述待预警对象的报警阈值。
3.如权利要求2所述的方法，其特征在于，对所述历史监测数据序列进行滤波和归一化后，得到所述待预警对象的训练序列，具体包括：
计算所述历史监测数据序列的平均值；
将所述历史监测数据序列的平均值与设定百分比相乘，得到过滤阈值；
从所述历史监测数据序列中除去毛刺数据和超过所述过滤阈值的数据，并进行归一化，得到所述待预警对象的训练序列。
4.如权利要求2所述的方法，其特征在于，根据所述训练序列确定所述待预警对象的报警阈值，具体包括：
采用下列公式确定所述待预警对象的报警阈值threx：
其中，std(Xt)表示所述训练序列Xt的标准差。
5.如权利要求2所述的方法，其特征在于，还包括：
建立初始神经网络模型，所述初始神经网络模型包括输入层的节点数量、隐含层的节点数量、输出层的节点数量、激活函数和学习率；
将所述训练序列中的数据输入到所述初始神经网络模型中，对所述初始神经网络模型进行训练，得到所述待预警对象的神经网络模型。
6.如权利要求1所述的方法，其特征在于，根据所述第一实时监测数据、所述实时监测数据序列中位于所述第一实时监测数据之前的设定个数的第二实时监测数据和所述待预警对象的神经网络模型计算所述第一实时监测数据对应的预估数据，具体包括：
确定循环次数是否为1；
若所述循环次数为1，则将所述第一实时监测数据和所述第二实时监测数据输入到所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的预估数据；
若所述循环次数大于1，则将所述第一实时监测数据和所述第二实时监测数据输入到所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的第一候选预估数据；将所述第一实时监测数据和所述第二实时监测数据之中最早的数据被所述第一候选预估数据替换后输入所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的第二候选预估数据，以此类推，直到实际执行次数等于所述循环次数；将所述第一实时监测数据对应的所有的候选预估数据求加权平均值，得到所述第一实时监测数据对应的预估数据。
7.如权利要求1-6任一所述的方法，其特征在于，还包括：
根据所述实时监测数据序列中的每个数据及其对应的预估数据进行针对所述待预警对象的数据质量评估。
8.一种数据异常预警装置，其特征在于，包括：
第一获取模块，用于从待预警对象的实时监测数据序列中获取第一实时监测数据；
计算模块，用于根据所述第一实时监测数据、所述实时监测数据序列中位于所述第一实时监测数据之前的设定个数的第二实时监测数据和所述待预警对象的神经网络模型计算所述第一实时监测数据对应的预估数据；
第一确定模块，用于确定所述第一实时监测数据与所述预估数据的差值的绝对值是否大于所述待预警对象的报警阈值；
预警模块，用于若所述绝对值大于所述待预警对象的报警阈值，则发出针对所述待预警对象的数据异常预警。
9.如权利要求8所述的装置，其特征在于，还包括：
第二获取模块，用于获取所述待预警对象的历史监测数据序列；
处理模块，用于对所述历史监测数据序列进行滤波和归一化后，得到所述待预警对象的训练序列；
第二确定模块，用于根据所述训练序列确定所述待预警对象的报警阈值。
10.如权利要求9所述的装置，其特征在于，所述处理模块，具体用于：
计算所述历史监测数据序列的平均值；
将所述历史监测数据序列的平均值与设定百分比相乘，得到过滤阈值；
从所述历史监测数据序列中除去毛刺数据和超过所述过滤阈值的数据，并进行归一化，得到所述待预警对象的训练序列。
11.如权利要求9所述的装置，其特征在于，所述第二确定模块，具体用于：
采用下列公式确定所述待预警对象的报警阈值threx：
其中，std(Xt)表示所述训练序列Xt的标准差。
12.如权利要求9所述的装置，其特征在于，还包括：
建立模块，用于建立初始神经网络模型，所述初始神经网络模型包括输入层的节点数量、隐含层的节点数量、输出层的节点数量、激活函数和学习率；
训练模块，用于将所述训练序列中的数据输入到所述初始神经网络模型中，对所述初始神经网络模型进行训练，得到所述待预警对象的神经网络模型。
13.如权利要求8所述的装置，其特征在于，所述计算模块，具体用于：
确定循环次数是否为1；
若所述循环次数为1，则将所述第一实时监测数据和所述第二实时监测数据输入到所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的预估数据；
若所述循环次数大于1，则将所述第一实时监测数据和所述第二实时监测数据输入到所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的第一候选预估数据；将所述第一实时监测数据和所述第二实时监测数据之中最早的数据被所述第一候选预估数据替换后输入所述待预警对象的神经网络模型中，得到所述第一实时监测数据对应的第二候选预估数据，以此类推，直到实际执行次数等于所述循环次数；将所述第一实时监测数据对应的所有的候选预估数据求加权平均值，得到所述第一实时监测数据对应的预估数据。
14.如权利要求8-13任一所述的装置，其特征在于，还包括：
评估模块，用于根据所述实时监测数据序列中的每个数据及其对应的预估数据进行针对所述待预警对象的数据质量评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710421555.7A CN107341444A (zh) | 2017-06-07 | 2017-06-07 | 数据异常预警方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710421555.7A CN107341444A (zh) | 2017-06-07 | 2017-06-07 | 数据异常预警方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107341444A true CN107341444A (zh) | 2017-11-10 |
Family
ID=60220555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710421555.7A Pending CN107341444A (zh) | 2017-06-07 | 2017-06-07 | 数据异常预警方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107341444A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944633A (zh) * | 2017-12-07 | 2018-04-20 | 北京能源集团有限责任公司 | 基于模型趋势预测的报警方法及系统 |
| CN108614544A (zh) * | 2018-05-28 | 2018-10-02 | 佛山科学技术学院 | 一种工业锅炉系统异常信号值监测方法及其系统 |
| CN109032047A (zh) * | 2018-10-12 | 2018-12-18 | 四川省建筑设计研究院 | 一种综合管廊安全监测的仪表系统 |
| CN109116243A (zh) * | 2018-06-29 | 2019-01-01 | 上海科列新能源技术有限公司 | 一种动力电池的异常检测方法和装置 |
| CN109143094A (zh) * | 2018-06-29 | 2019-01-04 | 上海科列新能源技术有限公司 | 一种动力电池的异常数据检测方法和装置 |
| CN109599178A (zh) * | 2018-11-30 | 2019-04-09 | 苏州麦迪斯顿医疗科技股份有限公司 | 阈值判定模型确定方法、装置、医疗检测设备及存储介质 |
| CN109959862A (zh) * | 2019-03-12 | 2019-07-02 | 杭州长川科技股份有限公司 | 一种集成电路测试设备实时温度监控系统及方法 |
| CN110008096A (zh) * | 2018-11-29 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 数据监测方法、装置、电子设备及计算机可读存储介质 |
| CN110399996A (zh) * | 2018-04-25 | 2019-11-01 | 深圳富桂精密工业有限公司 | 制程异常状态预判方法及预判系统 |
| CN110704508A (zh) * | 2019-09-30 | 2020-01-17 | 佛山科学技术学院 | 一种智能生产线异常数据的处理方法及装置 |
| CN110782550A (zh) * | 2019-09-20 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种数据采集方法、装置及设备 |
| CN111045894A (zh) * | 2019-12-13 | 2020-04-21 | 贵州广思信息网络有限公司广州分公司 | 数据库异常检测方法、装置、计算机设备和存储介质 |
| CN111102699A (zh) * | 2019-12-25 | 2020-05-05 | Tcl华星光电技术有限公司 | 一种洁净室智能控制系统 |
| CN111122945A (zh) * | 2019-12-31 | 2020-05-08 | 南京天溯自动化控制系统有限公司 | 医院后勤监测系统高精确度告警过滤方法、装置 |
| CN111338892A (zh) * | 2020-02-17 | 2020-06-26 | 北京理工大学 | 一种针对极端运行条件下的时间序列上升异常识别方法 |
| CN112114571A (zh) * | 2020-09-24 | 2020-12-22 | 中冶赛迪重庆信息技术有限公司 | 一种工业数据处理方法、系统及设备 |
| CN116021425A (zh) * | 2023-03-28 | 2023-04-28 | 江苏中科云控智能工业装备有限公司 | 一种基于物联网的去毛刺设备性能测试系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10260718A (ja) * | 1997-03-19 | 1998-09-29 | Fuji Electric Co Ltd | ダムにおける水量予測方法 |
| CN101551663A (zh) * | 2009-05-08 | 2009-10-07 | 华东理工大学 | 一种裂解炉裂解反应的预警方法 |
| CN103557884A (zh) * | 2013-09-27 | 2014-02-05 | 杭州银江智慧城市技术集团有限公司 | 一种输电线路杆塔监控的多传感器数据融合预警方法 |
| CN106649755A (zh) * | 2016-12-26 | 2017-05-10 | 山东鲁能软件技术有限公司 | 一种多维度实时变电设备数据的阈值自适应设置异常检测方法 |
-
2017
- 2017-06-07 CN CN201710421555.7A patent/CN107341444A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10260718A (ja) * | 1997-03-19 | 1998-09-29 | Fuji Electric Co Ltd | ダムにおける水量予測方法 |
| CN101551663A (zh) * | 2009-05-08 | 2009-10-07 | 华东理工大学 | 一种裂解炉裂解反应的预警方法 |
| CN103557884A (zh) * | 2013-09-27 | 2014-02-05 | 杭州银江智慧城市技术集团有限公司 | 一种输电线路杆塔监控的多传感器数据融合预警方法 |
| CN106649755A (zh) * | 2016-12-26 | 2017-05-10 | 山东鲁能软件技术有限公司 | 一种多维度实时变电设备数据的阈值自适应设置异常检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 中国气象学会卫星气象与空间天气学委员会等: "《地球气候和环境系统的探测与研究》", 30 November 2003, 气象出版社 * |
| 李本鑫等: "《建筑设备》", 31 March 2014, 冶金工业出版社 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944633A (zh) * | 2017-12-07 | 2018-04-20 | 北京能源集团有限责任公司 | 基于模型趋势预测的报警方法及系统 |
| CN110399996A (zh) * | 2018-04-25 | 2019-11-01 | 深圳富桂精密工业有限公司 | 制程异常状态预判方法及预判系统 |
| CN108614544A (zh) * | 2018-05-28 | 2018-10-02 | 佛山科学技术学院 | 一种工业锅炉系统异常信号值监测方法及其系统 |
| CN109116243A (zh) * | 2018-06-29 | 2019-01-01 | 上海科列新能源技术有限公司 | 一种动力电池的异常检测方法和装置 |
| CN109143094A (zh) * | 2018-06-29 | 2019-01-04 | 上海科列新能源技术有限公司 | 一种动力电池的异常数据检测方法和装置 |
| CN109116243B (zh) * | 2018-06-29 | 2021-03-02 | 上海科列新能源技术有限公司 | 一种动力电池的异常检测方法和装置 |
| CN109032047A (zh) * | 2018-10-12 | 2018-12-18 | 四川省建筑设计研究院 | 一种综合管廊安全监测的仪表系统 |
| CN110008096B (zh) * | 2018-11-29 | 2024-02-06 | 创新先进技术有限公司 | 数据监测方法、装置、电子设备及计算机可读存储介质 |
| CN110008096A (zh) * | 2018-11-29 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 数据监测方法、装置、电子设备及计算机可读存储介质 |
| CN109599178A (zh) * | 2018-11-30 | 2019-04-09 | 苏州麦迪斯顿医疗科技股份有限公司 | 阈值判定模型确定方法、装置、医疗检测设备及存储介质 |
| CN109959862A (zh) * | 2019-03-12 | 2019-07-02 | 杭州长川科技股份有限公司 | 一种集成电路测试设备实时温度监控系统及方法 |
| CN110782550B (zh) * | 2019-09-20 | 2021-08-31 | 腾讯科技（深圳）有限公司 | 一种数据采集方法、装置及设备 |
| CN110782550A (zh) * | 2019-09-20 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种数据采集方法、装置及设备 |
| CN110704508A (zh) * | 2019-09-30 | 2020-01-17 | 佛山科学技术学院 | 一种智能生产线异常数据的处理方法及装置 |
| CN110704508B (zh) * | 2019-09-30 | 2023-04-07 | 佛山科学技术学院 | 一种智能生产线异常数据的处理方法及装置 |
| CN111045894B (zh) * | 2019-12-13 | 2024-02-13 | 贵州广思信息网络有限公司广州分公司 | 数据库异常检测方法、装置、计算机设备和存储介质 |
| CN111045894A (zh) * | 2019-12-13 | 2020-04-21 | 贵州广思信息网络有限公司广州分公司 | 数据库异常检测方法、装置、计算机设备和存储介质 |
| CN111102699A (zh) * | 2019-12-25 | 2020-05-05 | Tcl华星光电技术有限公司 | 一种洁净室智能控制系统 |
| CN111122945A (zh) * | 2019-12-31 | 2020-05-08 | 南京天溯自动化控制系统有限公司 | 医院后勤监测系统高精确度告警过滤方法、装置 |
| CN111338892B (zh) * | 2020-02-17 | 2022-02-15 | 北京理工大学 | 一种针对极端运行条件下的时间序列上升异常识别方法 |
| CN111338892A (zh) * | 2020-02-17 | 2020-06-26 | 北京理工大学 | 一种针对极端运行条件下的时间序列上升异常识别方法 |
| CN112114571B (zh) * | 2020-09-24 | 2021-11-30 | 中冶赛迪重庆信息技术有限公司 | 一种工业数据处理方法、系统及设备 |
| CN112114571A (zh) * | 2020-09-24 | 2020-12-22 | 中冶赛迪重庆信息技术有限公司 | 一种工业数据处理方法、系统及设备 |
| CN116021425A (zh) * | 2023-03-28 | 2023-04-28 | 江苏中科云控智能工业装备有限公司 | 一种基于物联网的去毛刺设备性能测试系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107341444A (zh) | 数据异常预警方法及装置 | |
| DE102017011290B4 (de) | Vorrichtung für maschinelles Lernen, CNC-Vorrichtung und maschinelles Lernverfahren zum Erkennen eines Anzeichens eines Auftretens von Rattern im Werkzeug einer Werkzeugmaschine | |
| Kass et al. | A spike-train probability model | |
| US20180264613A1 (en) | Abnormality detection apparatus and machine learning apparatus | |
| Amdouni et al. | Monitoring the coefficient of variation using a variable sample size control chart in short production runs | |
| DE102012021805A1 (de) | Vorrichtung und Verfahren zur Überwachung der Behandlung eines Patienten | |
| WO2005024794A3 (en) | Automated identification of anomalous conditions in supply chain processes | |
| US9116740B2 (en) | Method for generating a machine heartbeat | |
| EP3391255A1 (de) | System und verfahren zur erkennung eines betriebszustandes oder eines behandlungsverlaufs bei einer blutbehandlung | |
| KR101889510B1 (ko) | 심층 신경망을 이용한 정수 처리에서의 응집제 주입률 예측 방법 | |
| CN111272670A (zh) | 染色质量的检测方法、装置、存储介质以及处理器 | |
| CN107273924A (zh) | 基于模糊聚类分析的多数据融合的电厂故障诊断方法 | |
| CN116339253A (zh) | 一种基于物联网的智能化机械生产监测管控系统 | |
| CN106054832B (zh) | 基于多变量的间歇化工生产过程动态在线监测方法与装置 | |
| CN110929677A (zh) | 一种振动数据在线监测分析系统 | |
| CN206907201U (zh) | 一种渔船废气实时监测系统 | |
| CN109214929A (zh) | 投资监督方法及装置 | |
| CN109102486A (zh) | 基于机器学习的表面缺陷检测方法及装置 | |
| CN109446046B (zh) | 一种基于极差的自适应阈值方法及系统 | |
| CN110956308A (zh) | 基于时间序列的化工设备健康状态预测方法 | |
| Asadzadeh et al. | The application of proportional hazards and frailty models to multistage processes surveillance | |
| Chang et al. | Real-time detection of wave profile changes | |
| CN112150330A (zh) | 一种基于互联网的监督学习方法及系统 | |
| CN112420208B (zh) | 一种医护人员疫情防护监测方法及系统 | |
| US20210142198A1 (en) | System For Detecting Data Drift In Machine-Learning Process Monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171110 |