CN106709023A - 数据异常的报警处理方法及装置 - Google Patents

数据异常的报警处理方法及装置 Download PDF

Info

Publication number
CN106709023A
CN106709023A CN201611233652.5A CN201611233652A CN106709023A CN 106709023 A CN106709023 A CN 106709023A CN 201611233652 A CN201611233652 A CN 201611233652A CN 106709023 A CN106709023 A CN 106709023A
Authority
CN
China
Prior art keywords
data
rule
target data
alarm
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611233652.5A
Other languages
English (en)
Inventor
何婷
边旭
贾西贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huaao Data Technology Co Ltd
Original Assignee
Shenzhen Huaao Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huaao Data Technology Co Ltd filed Critical Shenzhen Huaao Data Technology Co Ltd
Priority to CN201611233652.5A priority Critical patent/CN106709023A/zh
Publication of CN106709023A publication Critical patent/CN106709023A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提供了一种数据异常的报警处理方法及装置,方法为:获取流数据中的目标数据;将规则引擎与大数据分析引擎Flink进行集成处理,得到报警规则引擎;将目标数据发送至报警规则引擎中,通过大数据分析引擎Flink计算目标数据的统计结果,并将统计结果发送至规则引擎,对目标数据进行处理,实现对目标数据的报警异常处理。本发明的数据异常的报警处理方法及装置,通过将大数据分析引擎Flink与规则配置引擎(CEP)集成的方式,进行数据的异常报警处理,CEP在处理数据时,在实时性和复杂性方面都得到了很好的解决,即提高数据处理效率。

Description

数据异常的报警处理方法及装置
技术领域
本发明涉及数据处理领域,尤其涉及数据异常的报警处理方法及装置。
背景技术
Flink是一款新的大数据处理引擎,目标是统一不同来源的数据处理。这个目标看起来和Spark和类似。这两套系统都在尝试建立一个统一的平台可以运行批量,流式,交互式,图处理,机器学习等应用。对于Flink来说,从一开始就坚持使用自己控制内存。Flink除把数据存在自己管理的内存之外,还直接操作二进制数据,因此Flink流计算平台的计算能力很强大。
企业关键绩效指标(KPI:Key Performance Indicator)是通过对组织内部流程的输入端、输出端的关键参数进行设置、取样、计算、分析,衡量流程绩效的一种目标式量化管理指标,是把企业的战略目标分解为可操作的工作目标的工具,是企业绩效管理的基础。
目前,对于企业关键绩效指标的计算,通常通过Flink进行分析计算,Flink流计算平台的计算能力虽然强,但Flink任务提交后不能更改,当Flink任务提交后发现数据异常,进行报警,作业修改需停止先前的作业后启动新作业;但目前报警规则多,每个规则都用Flink处理维护困难,对于流数据处理效率过低。
因此,现有技术中的缺陷是,在运用Flink流计算平台进行流数据处理时,Flink任务提交后不能更改,需要停止先前的作业后启动新作业,因此基于目前的报警规则,通过Flink进行流数据的报警处理,效率过低。
发明内容
针对上述技术问题,本发明提供一种数据异常的报警处理方法及装置,通过将大数据分析引擎Flink与规则配置引擎(CEP-Complex Event Processing)集成的方式,进行数据的异常报警处理,提高数据处理效率。
为解决上述技术问题,本发明提供的技术方案是:
第一方面,本发明提供一种数据异常的报警处理方法,包括:
步骤S1,获取流数据中的目标数据;
步骤S2,将规则引擎与大数据分析引擎Flink进行集成处理,得到报警规则引擎;
步骤S3,将所述目标数据发送至所述报警规则引擎中,通过所述大数据分析引擎Flink计算所述目标数据的统计结果,并将所述统计结果发送至所述规则引擎,对所述目标数据进行处理,实现对所述目标数据的报警异常处理。
本发明的数据异常的报警处理方法,其技术方案为:先获取流数据中的目标数据;接着将规则引擎与大数据分析引擎Flink进行集成处理,得到报警规则引擎;最后将所述目标数据发送至所述报警规则引擎中,通过所述大数据分析引擎Flink计算所述目标数据的统计结果,并将所述统计结果发送至所述规则引擎,对所述目标数据进行处理,实现对所述目标数据的报警异常处理。
本发明的数据异常的报警处理方法,通过将大数据分析引擎Flink与规则配置引擎(CEP)集成的方式,进行数据的异常报警处理,CEP在处理数据时,在实时性和复杂性方面都得到了很好的解决,即提高数据处理效率。
进一步地,所述步骤S2,具体为:
将所述规则引擎的组件集成到所述大数据分析引擎Flink的sink端,所述sink端作为流数据的出口;
根据所述sink端,得到sink函数,所述sink函数用来对数据进行报警异常处理。
将规则引擎与大数据分析引擎Flink进行集成的具体方式是将规则引擎的组件集成到大数据分析引擎Flink的sink端,sink端作为流数据的出口,提供了一些内在SinkFunction抽象类(sink函数)。通过这些内在的SinkFunction抽象类对数据进行报警异常处理。
进一步地,所述步骤S3,具体为:
根据所述sink函数,初始化设置所述规则引擎,并获取接收到的所述目标数据对应的规则ID;
根据所述规则ID,从预先设计的规则库中获取所述规则ID对应的规则语句;
将接收到的所述目标数据输入到所述规则引擎,每隔预设时间对所述目标数据进行异常判断,得到判定结果;
根据所述判定结果,得到报警结果,将所述报警结果输出至预先定义的目的地,完成数据报警处理。
目标数据是流数据,每隔预设时间,对接收到的每个流数据通过规则引擎进行异常判断,实现了对流数据的实时性处理。
进一步地,将接收到的所述目标数据输入到所述规则引擎,每隔预设时间对所述目标数据进行异常判断,得到判定结果:
当所述规则ID对应的规则语句有变更,判定所述判定结果为所述目标数据异常;
当所述规则ID对应的规则语句没有变更,判定所述判定结果为所述目标数据正常。
具体判断数据有没有异常,依据目标数据对应的规则ID与规则库中的规则语句进行比较,如果数据正常,规则语句没有变更,如果数据有异常,规则语句有变更,以此完成报警规则。
进一步地,根据所述判定结果,得到报警结果,具体为:
当所述判定结果为所述目标数据异常,重新启动所述规则引擎;
当所述判定结果为所述目标数据正常,关闭所述规则引擎。
根据对数据的判断结果,如果数据有异常,则重新启动规则引擎,接着进行数据异常的检测;如果数据没有异常,关闭规则引擎,完成整个数据报警异常的处理过程。
第二方面,本发明提供了一种数据异常的报警处理装置,包括:
目标数据获取模块,用于获取流数据中的目标数据;
集成模块,用于将规则引擎与大数据分析引擎Flink进行集成处理,得到报警规则引擎;
数据报警异常处理模块,用于将所述目标数据发送至所述报警规则引擎中,通过所述大数据分析引擎Flink计算所述目标数据的统计结果,并将所述统计结果发送至所述规则引擎,对所述目标数据进行处理,实现对所述目标数据的报警异常处理。
本发明的数据异常的报警处理装置,其技术方案为:先通过目标数据获取模块,获取流数据中的目标数据;接着通过集成模块,将规则引擎与大数据分析引擎Flink进行集成处理,得到报警规则引擎;最后通过数据报警异常处理模块,将所述目标数据发送至所述报警规则引擎中,通过所述大数据分析引擎Flink计算所述目标数据的统计结果,并将所述统计结果发送至所述规则引擎,对所述目标数据进行处理,实现对所述目标数据的报警异常处理。
本发明的数据异常的报警处理装置,通过将大数据分析引擎Flink与规则配置引擎(CEP)集成的方式,进行数据的异常报警处理,CEP在处理数据时,在实时性和复杂性方面都得到了很好的解决,即提高数据处理效率。
进一步地,所述集成模块,具体用于:
将所述规则引擎的组件集成到所述大数据分析引擎Flink的sink端,所述sink端作为流数据的出口;
根据所述sink端,得到sink函数,所述sink函数用来对数据进行报警异常处理。
将规则引擎与大数据分析引擎Flink进行集成的具体方式是将规则引擎的组件集成到大数据分析引擎Flink的sink端,sink端作为流数据的出口,提供了一些内在SinkFunction抽象类(sink函数)。通过这些内在的SinkFunction抽象类对数据进行报警异常处理。
进一步地,所述数据报警异常处理模块,具体用于:
根据所述sink函数,初始化设置所述规则引擎,并获取接收到的所述目标数据对应的规则ID;
根据所述规则ID,从预先设计的规则库中获取所述规则ID对应的规则语句;
将接收到的所述目标数据输入到所述规则引擎,每隔预设时间对所述目标数据进行异常判断,得到判定结果;
根据所述判定结果,得到报警结果,将所述报警结果输出至预先定义的目的地,完成数据报警处理。
目标数据是流数据,每隔预设时间,对接收到的每个流数据通过规则引擎进行异常判断,实现了对流数据的实时性处理。
进一步地,所述数据报警异常处理模块包括数据异常判断子模块,具体用于:
当所述规则ID对应的规则语句有变更,判定所述判定结果为所述目标数据异常;
当所述规则ID对应的规则语句没有变更,判定所述判定结果为所述目标数据正常。
具体判断数据有没有异常,依据目标数据对应的规则ID与规则库中的规则语句进行比较,如果数据正常,规则语句没有变更,如果数据有异常,规则语句有变更,以此完成报警规则。
进一步地,所述数据报警异常处理模块还包括报警结果子模块,具体用于:
当所述判定结果为所述目标数据异常,重新启动所述规则引擎;
当所述判定结果为所述目标数据正常,关闭所述规则引擎。
根据对数据的判断结果,如果数据有异常,则重新启动规则引擎,接着进行数据异常的检测;如果数据没有异常,关闭规则引擎,完成整个数据报警异常的处理过程。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了本发明实施例所提供的一种数据异常的报警处理方法的流程图;
图2示出了本发明实施例所提供的一种数据异常的报警处理装置的示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例一
图1示出了本发明第一实施例所提供的一种数据异常的报警处理方法的流程图;如图1所示,本发明实施例一提供了一种数据异常的报警处理方法,包括:
步骤S1,获取流数据中的目标数据;
步骤S2,将规则引擎与大数据分析引擎Flink进行集成处理,得到报警规则引擎;
具体为:
将规则引擎的组件集成到大数据分析引擎Flink的sink端,sink端作为流数据的出口;
根据sink端,得到sink函数,sink函数用来对数据进行报警异常处理。
将规则引擎与大数据分析引擎Flink进行集成的具体方式是将规则引擎的组件集成到大数据分析引擎Flink的sink端,sink端作为流数据的出口,提供了一些内在SinkFunction抽象类(sink函数)。通过这些内在的SinkFunction抽象类对数据进行报警异常处理。
步骤S3,将目标数据发送至报警规则引擎中,通过大数据分析引擎Flink计算目标数据的统计结果,并将统计结果发送至规则引擎,对目标数据进行处理,实现对目标数据的报警异常处理。
具体为:
根据sink函数,初始化设置规则引擎,并获取接收到的目标数据对应的规则ID;
根据规则ID,从预先设计的规则库中获取规则ID对应的规则语句;
启动规则引擎和定时器,将接收到的目标数据输入到规则引擎,通过定时器每隔预设时间对目标数据进行异常判断,得到判定结果:
当规则ID对应的规则语句有变更,判定判定结果为目标数据异常;
当规则ID对应的规则语句没有变更,判定判定结果为目标数据正常。
根据判定结果,得到报警结果,将报警结果输出至预先定义的目的地,完成数据报警处理:
当判定结果为目标数据异常,重新启动规则引擎;
当判定结果为目标数据正常,关闭规则引擎。
本发明的数据异常的报警处理方法,通过将大数据分析引擎Flink与规则配置引擎(CEP)集成的方式,进行数据的异常报警处理,CEP在处理数据时,每隔预设时间对接收到的每个流数据通过规则引擎进行异常判断,通过大数据分析引擎Flink与规则配置引擎(CEP)集成的方式对数据进行异常报警处理,在实时性和复杂性方面都得到了很好的解决,即提高数据处理效率。
具体地,SinkFunction抽象类供了3个具体实现open/invoke/close,具体如下:
open():
1.定义报警结果输出目的地,
2.初始化siddhi manager,就是进行规则引擎的初始化设置,包括开启规则引擎及规则引擎中的执行引擎;
3.根据规则id从规则库中获取规则语句;
4.启动siddhi执行计划,即启动规则引擎,此时的规则引擎是包含在报警规则引擎中;
5.启动定时器,每n秒定时检查规则库中规则id对应的规则语句是否有变更,如有变更则重启执行计划。
invoke();
1.数据流接收到的每条数据输入到siddhi的执行引擎,通过invoke将接收到流数据中的每条数据输入到规则引擎(siddhi)的执行引擎,即对每条数据进行异常检测。
close():
1.关闭siddhi执行计划;
2.关闭siddhi manager。
通过close实现对规则引擎和规则引擎中执行引擎的关闭,即结束程序。
使用示例:
DataStream<Object[]>dataStream=…;
dataStream.addSink(new SinkCEPFunction(“规则id”));
图2示出了本发明实施例所提供的一种数据异常的报警处理装置的示意图,如图2所示,本发明实施例二提供了一种数据异常的报警处理装置10,包括:
目标数据获取模块,用于获取流数据中的目标数据;
集成模块,用于将规则引擎与大数据分析引擎Flink进行集成处理,得到报警规则引擎;
具体为:
将规则引擎的组件集成到大数据分析引擎Flink的sink端,sink端作为流数据的出口;
根据sink端,得到sink函数,sink函数用来对数据进行报警异常处理。
将规则引擎与大数据分析引擎Flink进行集成的具体方式是将规则引擎的组件集成到大数据分析引擎Flink的sink端,sink端作为流数据的出口,提供了一些内在SinkFunction抽象类(sink函数)。通过这些内在的SinkFunction抽象类对数据进行报警异常处理。
数据报警异常处理模块,用于将目标数据发送至报警规则引擎中,通过大数据分析引擎Flink计算目标数据的统计结果,并将统计结果发送至规则引擎,对目标数据进行处理,实现对目标数据的报警异常处理:
具体为:
根据sink函数,初始化设置规则引擎,并获取接收到的目标数据对应的规则ID;
根据规则ID,从预先设计的规则库中获取规则ID对应的规则语句;
启动规则引擎和定时器,将接收到的目标数据输入到规则引擎,通过定时器每隔预设时间对目标数据进行异常判断,得到判定结果:
当规则ID对应的规则语句有变更,判定判定结果为目标数据异常;
当规则ID对应的规则语句没有变更,判定判定结果为目标数据正常。
根据判定结果,得到报警结果,将报警结果输出至预先定义的目的地,完成数据报警处理:
当判定结果为目标数据异常,重新启动规则引擎;
当判定结果为目标数据正常,关闭规则引擎。
本发明的数据异常的报警处理装置10,通过将大数据分析引擎Flink与规则配置引擎(CEP)集成的方式,进行数据的异常报警处理,CEP在处理数据时,每隔预设时间对接收到的每个流数据通过规则引擎进行异常判断,通过大数据分析引擎Flink与规则配置引擎(CEP)集成的方式对数据进行异常报警处理,在实时性和复杂性方面都得到了很好的解决,即提高数据处理效率。
具体地,SinkFunction抽象类供了3个具体实现open/invoke/close,具体如下:
open():
1.定义报警结果输出目的地;
2.初始化siddhi manager,就是进行规则引擎的初始化设置,包括开启规则引擎及规则引擎中的执行引擎;
3.根据规则id从规则库中获取规则语句;
4.启动siddhi执行计划,即启动规则引擎,此时的规则引擎是包含在报警规则引擎中;
5.启动定时器,每n秒定时检查规则库中规则id对应的规则语句是否有变更,如有变更则重启执行计划。
invoke();
1.数据流接收到的每条数据输入到siddhi的执行引擎,通过invoke将接收到流数据中的每条数据输入到规则引擎(siddhi)的执行引擎,即对每条数据进行异常检测。
close():
1.关闭siddhi执行计划;
2.关闭siddhi manager。
通过close实现对规则引擎和规则引擎中执行引擎的关闭,即结束程序。
使用示例:
DataStream<Object[]>dataStream=…;
dataStream.addSink(new SinkCEPFunction(“规则id”));
实施例二
基于实施例一中的数据异常的报警处理方法,及数据异常的报警处理装置10,结合具体的开发语言环境及应用场景,进行具体数据异常的报警处理过程说明。
本发明提供的数据异常的报警处理方法及装置,开发语言环境为Java。
1)、报警规则:x分钟指数振幅超标
规则描述:报警时刻前朔x分钟内,中小板指数、创业板指数、等指数其中之一,振幅超过K%;
2)、报警规则:盘中分时涨跌异常
指标描述:x分钟内,单支证券的振幅超过m%,且成交量超过n%;
指数与证券的振幅都可从行情数据中计算得到,而行情数据可以认为是一种较细粒度的KPI(统计结果),可以自己与CEP对接,在CEP中直接完成报警。也可以在大数据分析引擎Flink中完成更粗粒度的统计结果(如1分钟、3分钟等),将汇聚结果输出到CEP,由CEP完成最终报警,如此可进一步降低CEP的计算压力,提高报警效率。
规则语句样例:
define stream stream1(securityID long,mdType int,maxPx double,minPxdouble,totalVolumeTrade double,kltg long);
form stream1[(mdType==0 and minPx>0 and kltg>0 and(maxPx-minPx)/minPx>=0.03 and totalVolumeTrade/kltg>=0.01)
or(mdType!=0 and minPx>0 and(maxPx–minPx)/minPx>=0.03)]
select securityID,mdType,maxPx,minPx,totalVolumeTrade,kltg。
3)、报警规则:x分钟会员金额超标
指标描述:报警时刻前朔x分钟内,单个会员的买入金额或卖出金额超过P亿元,在成交流中,先对每笔成交单解析出买卖双方属实的会员以及买卖金额,然后按会员进行汇聚(统计),统计x分钟内各会员买卖总金额,将结果输出给CEP,由CEP完成报警。
规则语句样例:
define stream stream1(mbr long,transacTime long,totalBuyValueTradedouble,totalSellValueTrade double);
from stream1[totalValueTrade>=1000 or totalSellValueTrade>=1000]
select mbr,transacTime,totalValueTrade,totalSellValueTrade。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.数据异常的报警处理方法,其特征在于,包括:
步骤S1,获取流数据中的目标数据;
步骤S2,将规则引擎与大数据分析引擎Flink进行集成处理,得到报警规则引擎;
步骤S3,将所述目标数据发送至所述报警规则引擎中,通过所述大数据分析引擎Flink计算所述目标数据的统计结果,并将所述统计结果发送至所述规则引擎,对所述目标数据进行处理,实现对所述目标数据的报警异常处理。
2.根据权利要求1所述的数据异常的报警处理方法,其特征在于,
所述步骤S2,具体为:
将所述规则引擎的组件集成到所述大数据分析引擎Flink的sink端,所述sink端作为流数据的出口;
根据所述sink端,得到sink函数,所述sink函数用来对数据进行报警异常处理。
3.根据权利要求2所述的数据异常的报警处理方法,其特征在于,
所述步骤S3,具体为:
根据所述sink函数,初始化设置所述规则引擎,并获取接收到的所述目标数据对应的规则ID;
根据所述规则ID,从预先设计的规则库中获取所述规则ID对应的规则语句;
将接收到的所述目标数据输入到所述规则引擎,每隔预设时间对所述目标数据进行异常判断,得到判定结果;
根据所述判定结果,得到报警结果,将所述报警结果输出至预先定义的目的地,完成数据报警处理。
4.根据权利要求3所述的数据异常的报警处理方法,其特征在于,
将接收到的所述目标数据输入到所述规则引擎,每隔预设时间对所述目标数据进行异常判断,得到判定结果:
当所述规则ID对应的规则语句有变更,判定所述判定结果为所述目标数据异常;
当所述规则ID对应的规则语句没有变更,判定所述判定结果为所述目标数据正常。
5.根据权利要求3所述的数据异常的报警处理方法,其特征在于,
根据所述判定结果,得到报警结果,具体为:
当所述判定结果为所述目标数据异常,重新启动所述规则引擎;
当所述判定结果为所述目标数据正常,关闭所述规则引擎。
6.数据异常的报警处理装置,其特征在于,包括:
目标数据获取模块,用于获取流数据中的目标数据;
集成模块,用于将规则引擎与大数据分析引擎Flink进行集成处理,得到报警规则引擎;
数据报警异常处理模块,用于将所述目标数据发送至所述报警规则引擎中,通过所述大数据分析引擎Flink计算所述目标数据的统计结果,并将所述统计结果发送至所述规则引擎,对所述目标数据进行处理,实现对所述目标数据的报警异常处理。
7.根据权利要求6所述的数据异常的报警处理装置,其特征在于,
所述集成模块,具体用于:
将所述规则引擎的组件集成到所述大数据分析引擎Flink的sink端,所述sink端作为流数据的出口;
根据所述sink端,得到sink函数,所述sink函数用来对数据进行报警异常处理。
8.根据权利要求7所述的数据异常的报警处理装置,其特征在于,
所述数据报警异常处理模块,具体用于:
根据所述sink函数,初始化设置所述规则引擎,并获取接收到的所述目标数据对应的规则ID;
根据所述规则ID,从预先设计的规则库中获取所述规则ID对应的规则语句;
将接收到的所述目标数据输入到所述规则引擎,每隔预设时间对所述目标数据进行异常判断,得到判定结果;
根据所述判定结果,得到报警结果,将所述报警结果输出至预先定义的目的地,完成数据报警处理。
9.根据权利要求8所述的数据异常的报警处理装置,其特征在于,
所述数据报警异常处理模块包括数据异常判断子模块,具体用于:
当所述规则ID对应的规则语句有变更,判定所述判定结果为所述目标数据异常;
当所述规则ID对应的规则语句没有变更,判定所述判定结果为所述目标数据正常。
10.根据权利要求8所述的数据异常的报警处理装置,其特征在于,
所述数据报警异常处理模块还包括报警结果子模块,具体用于:
当所述判定结果为所述目标数据异常,重新启动所述规则引擎;
当所述判定结果为所述目标数据正常,关闭所述规则引擎。
CN201611233652.5A 2016-12-28 2016-12-28 数据异常的报警处理方法及装置 Pending CN106709023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611233652.5A CN106709023A (zh) 2016-12-28 2016-12-28 数据异常的报警处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611233652.5A CN106709023A (zh) 2016-12-28 2016-12-28 数据异常的报警处理方法及装置

Publications (1)

Publication Number Publication Date
CN106709023A true CN106709023A (zh) 2017-05-24

Family

ID=58896661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611233652.5A Pending CN106709023A (zh) 2016-12-28 2016-12-28 数据异常的报警处理方法及装置

Country Status (1)

Country Link
CN (1) CN106709023A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674174A (zh) * 2019-09-24 2020-01-10 北京九章云极科技有限公司 一种数据实时处理方法及数据实时处理系统
CN113259358A (zh) * 2021-05-21 2021-08-13 杭州海康威视系统技术有限公司 一种数据异常识别方法及装置
CN113485897A (zh) * 2021-07-05 2021-10-08 建信金融科技有限责任公司 一种数据处理方法和装置
CN113986986A (zh) * 2021-12-24 2022-01-28 南京中孚信息技术有限公司 数据流处理方法、装置、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685466A (zh) * 2009-07-22 2010-03-31 中兴通讯股份有限公司 事件处理方法和设备
CN105260203A (zh) * 2015-09-25 2016-01-20 福州大学 一种基于模型的Hadoop部署以及配置方法
CN105976242A (zh) * 2016-04-21 2016-09-28 中国农业银行股份有限公司 一种基于实时流数据分析的交易欺诈检测方法及系统
CN106095575A (zh) * 2016-06-14 2016-11-09 上海浪潮云计算服务有限公司 一种日志审计的装置、系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685466A (zh) * 2009-07-22 2010-03-31 中兴通讯股份有限公司 事件处理方法和设备
CN105260203A (zh) * 2015-09-25 2016-01-20 福州大学 一种基于模型的Hadoop部署以及配置方法
CN105976242A (zh) * 2016-04-21 2016-09-28 中国农业银行股份有限公司 一种基于实时流数据分析的交易欺诈检测方法及系统
CN106095575A (zh) * 2016-06-14 2016-11-09 上海浪潮云计算服务有限公司 一种日志审计的装置、系统和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674174A (zh) * 2019-09-24 2020-01-10 北京九章云极科技有限公司 一种数据实时处理方法及数据实时处理系统
CN113259358A (zh) * 2021-05-21 2021-08-13 杭州海康威视系统技术有限公司 一种数据异常识别方法及装置
CN113485897A (zh) * 2021-07-05 2021-10-08 建信金融科技有限责任公司 一种数据处理方法和装置
CN113986986A (zh) * 2021-12-24 2022-01-28 南京中孚信息技术有限公司 数据流处理方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN106709023A (zh) 数据异常的报警处理方法及装置
Myers et al. Anomaly detection for industrial control systems using process mining
Lee et al. An effective security measures for nuclear power plant using big data analysis approach
US8726085B2 (en) Anomaly detection to implement security protection of a control system
WO2014109645A1 (en) Method, device and computer program for monitoring an industrial control system
Choudhary et al. Lightweight misbehavior detection management of embedded IoT devices in medical cyber physical systems
Yun et al. Toward a more efficient generation of structured argumentation graphs
CN112527581A (zh) 多核计算芯片
RU148692U1 (ru) Система мониторинга событий компьютерной безопасности
CN111630534B (zh) 用于分析模型的协作机器学习的方法
Brenner et al. Better safe than sorry: Risk Management based on a safety-augmented Network Intrusion Detection System
CN109981594A (zh) 基于大数据的网络安全态势感知方法
Frotscher Architecture-based multivariate anomaly detection for software systems
Tamura et al. Reliability analysis based on jump diffusion models for an open source cloud computing
CN106257482A (zh) 数据分析结果的管控放置
Mudgal et al. An experimental based study to evaluate the efficiency among stream processing tools.
Silva et al. Model for cloud computing risk analysis
Zhirnova et al. An integrated approach to environmental management
Savelyeva et al. Internet of things traffic consumption control system
Engel et al. Detection of cyber malware attack based on network traffic features using neural network
Sun et al. Intelligent Computer Security Monitoring Information Network Analysis
CN110794795A (zh) 一种基于集散式检查的工业控制信息安全风险评估模型
de Sá et al. Countermeasure for identification of controlled data injection attacks in networked control systems
Kochedykov et al. The concept of structural-parametric synthesis and optimization of information systems in conditions of destructive impacts
Hosoe et al. Relationship between noncausal linear periodically time-varying scaling and causal linear time-invariant scaling for discrete-time systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524