CN108021809A - 一种数据处理方法及系统 - Google Patents
一种数据处理方法及系统 Download PDFInfo
- Publication number
- CN108021809A CN108021809A CN201711371325.0A CN201711371325A CN108021809A CN 108021809 A CN108021809 A CN 108021809A CN 201711371325 A CN201711371325 A CN 201711371325A CN 108021809 A CN108021809 A CN 108021809A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- rule
- daily record
- event information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法,该方法包括以下步骤:将采集的信息数据作为日志数据存储在消息系统;读取消息系统中的日志数据,对所述日志数据进行归类处理,并结合策略树缓存以及其他缓存信息,封装成策略树;依据规则配置信息以及策略树缓存的策略信息,生成告警事件信息以及安全事件信息;根据所述告警事件信息以及安全事件信息,对规则配置信息进行动态调整。通过本方案,使得架构先进,技术稳定,兼容性高;支持大数据量情况;规则体系可配置性高。
Description
技术领域
本发明涉及数据安全领域,尤其涉及一种基于流处理规则引擎的数据处理方法及系统。
背景技术
企业内部复杂的安全系统以及随外部条件不断变化的安全业务规则,要求将数据统一存储并能够有效分离业务逻辑和应用开发者的技术决策。规则引擎可以实现对系统数据的纵向、横向校验以及表与表之间的逻辑关系校验,作为一个独立的模块,可以适应不同的业务模型,以应对动态变化的环境。
近年来,商业银行的信息安全风险事件时有发生,信息技术在推动中小商业银行业务创新和转型变革的同时,也给银行带来了极大的风险,已经成为影响银行稳健运营的重要风险因素。目前商业银行信息安全风险管理方面所面临的突出问题有:外部攻击更加多样化;外部的攻击更为集中;现有的安全、审计措施难以适配大数据环境下的业务发展需求;风险评估标准和指标体系的缺失。
针对银行所面临的关键问题开展研究,需要实现基于大数据的网络安全态势感知技术,全面提升信息安全的防护水平。
如图1,是现有技术的大数据分析处理的一个方案,其包括以下步骤:
步骤1,数据规则开始;
步骤2,初始化规则对象;
步骤3,判断是否已经将数据规则加载至内存,如果已经加载,则跳转至步骤4,否则从规则库将数据规则加载至内存,跳转至步骤4;
步骤4,执行规则对象;
步骤5,输出执行结果;
步骤6,执行结束。
上述数据规则预先定义好发送至规则库,并在执行规则对象过程中调用数据规则。
上述规则引擎技术虽然具备对大数据一定的处理能力,但是其没有基于流处理设计的机制,缺少应对不同大数据情况的能力,同时缺乏配置扩展能力,导致性能以及易用性不佳。
发明内容
为解决上述技术问题,本发明提供了一种数据处理方法,其特征在于,该方法包括以下步骤:
将采集的信息数据作为日志数据存储在消息系统;
读取消息系统中的日志数据,对所述日志数据进行归类处理,并结合策略树缓存以及其他缓存信息,封装成策略树;
依据规则配置信息以及策略树缓存的策略信息,生成告警事件信息以及安全事件信息;
根据所述告警事件信息以及安全事件信息,对规则配置信息进行动态调整。
根据本发明的方法,优选的,所述将采集的信息数据作为日志数据存储在消息系统是指:
将采集的信息数据作为日志数据存储在Kafka分布式消息系统中,该Kafka分布式消息系统包括以下日志数据:用户/机构数据、业务数据、安全数据、运维数据;所述日志数据包括日志数据:主机日志、网络日志、安全日志、应用日志。
根据本发明的方法,优选的,所述规则配置信息通过以下方式产生:
根据采集的数据信息,通过一定的逻辑运算定义为指标数据,指标数据由标准元数据和计算元数据构成;
根据时间窗口以及各类场景,将指标数据转化为规则模型,同时将规则模型写进规则库供调用。
根据本发明的方法,优选的,利用规则配置信息中的过滤条件对日志数据和历史日志数据进行判断和匹配;
如果匹配到单条规则,则根据规则设置产生告警事件信息;
如果多个触发规则间符合设定的关联条件,将产生安全事件信息,安全事件信息表示具有一定关联关系的告警事件信息的集合。
根据本发明的方法,优选的,根据所述告警事件信息以及安全事件信息的误报率和漏报率,对规则模型进行动态调整,产生不同的基线标准。
为解决上述技术问题,本发明提供了一种数据处理系统,该系统包括:
流处理模块,将采集的信息数据作为日志数据存储在消息系统;
分析计算模块,读取消息系统中的日志数据,对所述日志数据进行归类处理,并结合策略树缓存以及其他缓存信息,封装成策略树,依据规则配置信息以及策略树缓存的策略信息,生成告警事件信息以及安全事件信息;
数据存储模块,用于存储指标数据、配置规则信息数据以及策略信息数据;
应用模块,用于连接展示模块以及数据存储模块,该应用模块提供了与展示模块进行数据交互的接口,并将展示模块传递的数据存储在数据存储模块中;
展示模块,用于配置指标数据、配置规则信息数据以及策略信息数据。
根据本发明的系统,优选的,所述流处理模块将采集的信息数据作为日志数据存储在Kafka分布式消息系统中,该Kafka分布式消息系统包括以下日志数据:用户/机构数据、业务数据、安全数据、运维数据;所述日志数据包括日志数据:主机日志、网络日志、安全日志、应用日志。
根据本发明的系统,优选的,所述规则配置信息通过以下方式产生:
根据采集的数据信息,通过一定的逻辑运算定义为指标数据,指标数据由标准元数据和计算元数据构成;
根据时间窗口以及各类场景,将指标数据转化为规则模型,同时将规则模型写进规则库供调用。
根据本发明的系统,优选的,分析计算模块,利用规则配置信息中的过滤条件对日志数据和历史日志数据进行判断和匹配;
如果匹配到单条规则,则根据规则设置产生告警事件信息;
如果多个触发规则间符合设定的关联条件,将产生安全事件信息,安全事件信息表示具有一定关联关系的告警事件信息的集合。
为解决上述技术问题,本发明提供了一种计算机存储介质,其包括有计算机程序指令,通过执行所述计算机程序指令,实现上述权利要求之一的方法。
通过本发明的技术方案取得了以下技术效果:
A、架构先进,技术稳定,兼容性高。
B、支持大数据量情况。
C、规则体系可配置性高。
附图说明
图1是现有技术的系统架构图
图2是本发明的数据流架构图
图3是本发明的具体实施例流程图
具体实施方式
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。Redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
Redis是一个高性能的key-value数据库。redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了Java,C/C++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby,Erlang等客户端,使用很方便。
Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark是一种与Hadoop相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使Spark在某些工作负载方面表现得更加优越,换句话说,Spark启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
Spark是在Scala语言中实现的,它将Scala用作其应用程序框架。与Hadoop不同,Spark和Scala能够紧密集成,其中的Scala可以像操作本地集合对象一样轻松地操作分布式数据集。
尽管创建Spark是为了支持分布式数据集上的迭代作业,但是实际上它是对Hadoop的补充,可以在Hadoop文件系统中并行运行。通过名为Mesos的第三方集群框架可以支持此行为。Spark由加州大学伯克利分校AMP实验室(Algorithms,Machines,and PeopleLab)开发,可用来构建大型的、低延迟的数据分析应用程序。
元数据,分为标准元数据和计算元数据。
标准元数据是指对采集后的原始数据经过标准化处理后的数据;
计算元数据指对标准元数据进行运算处理后的数据。
资产数据,指系统设备资产、应用资产、人员信息资产等数据。
本发明从实际需求和应用的角度出发,流处理层利用Spark-streaming从Kafka中读取数据采集模块上报的日志数据信息,做准实时的计算逻辑处理。
分析计算层接收由流处理层传递的数据,结合redis中的缓存数据,将数据利用
aviator实现的计算引擎进行计算,并通过java-mail、httpClient以及Netty等推送插件,将相应的告警、安全事件数据存储、推送到其他平台。
数据存储层利用Redis、mysql进行存储相应的数据。在计算过程中需要用到历史数据,其存储介质可能为关系型数据库、elasticsearch、mongodb等,通过common-pool2进行连接池的创建。通过AbstractRoutingDataSource实现访问不同的关系型数据库,用于动态的数据源切换。
应用层的MVC技术使用的是SpringMVC技术,持久层使用的是Mybatis,利用阿里的
Druid进行连接,定时调度使用quartz,aviator用于封装计算表达式。
展示层使用前后端完全分离的机制,因此使用VUE.JS,结合node.js、webpack等技术进行搭建前端架构,使用http协议以及websocket进行前后端的数据通信。该系统的页面需要嵌套到其他系统中,采用iframe进行页面嵌套。
结合图2,对本发明的总体架构进行描述。
流处理层使用spark streaming流处理和内存计算框架,对日志采集模块已采集的主机日志、网络日志、安全日志、应用日志等数据进行准实时的计算和逻辑处理。
分析计算层是解析、调用、执行规则的服务,采用内存计算,实现了将决策从程序代码中分离出来,并使用预定义的语义模块编写规则模型。根据输入的数据,进行规则模型的匹配,将离散的数据转化为安全事件,并根据匹配到的规则做出告警和响应处理。
数据存储层用于存储规则模型以及元数据、资产数据等信息,该部分信息存储在关系型数据库中。计算的结果也存储在关系型数据库中。同时,该层包含的非关系型数据库中亦存储计算结果的数据,用于加快数据响应效率。数据存储层中存储的数据通过动态数据源、Redis连接池以及数据适配器等模块进行访问、存储。
应用层用于连接展示层以及数据存储层。该层提供了同展示层进行数据交互的接口,并将展示层传递的数据存储在数据存储层中。
展示层为用户以及运维人员提供了配置指标、规则、策略的页面。提供了业务展现和系统管理能力,满足用户使用集中管控中心对业务运行环境、运维环境、安全环境的检测等需求,满足管理员对集中管控中心进行管理和设置的需求。
结合图2,对本发明的系统执行流程步骤进行描述。
A、数据采集模块完成数据采集,并将标准化加工后的数据存储在Kafka中,其中存储了用户/机构、业务、安全、运维等日志数据。
B、spark-streaming程序读取Kafka中的数据并对数据做归类处理,结合策略下发时生成的策略缓存以及其元数据、资产数据的缓存信息,封装成一定的策略树。
C、依据策略树,以及日志库中存储的历史日志数据,进行相应的递归运算之后,得出递归运算的结果。将递归运算结果与规则模型相匹配。依据事先定义好的规则配置信息,生成相应的告警信息以及事件信息,并存储在平台库中。
D、应用层接收展示层传递的策略配置数据以及元数据、资产数据等,存储在数据存储层,用于支撑分析计算层的运算。同时,将计算所得的告警信息以及事件信息展示或者交由别的平台处理。
如图3,是本发明的具体实施方式的示意图,其包括以下步骤:
1、管理员根据从各个系统和应用上的已采集数据,将转化后的元数据通过一定的逻辑运算定义为指标数据,指标数据由标准元数据和计算元数据构成。
2、根据时间窗口以及各类场景,将指标数据转化为规则模型,同时将规则模型写进规则库供调用。
3、设置策略,并使策略生效,实时监控新产生日志,同时兼顾历史数据。
4、通过规则引擎,利用规则参数中的过滤条件对采集、监视、上传的数据流进行判断和匹配。
5、如果匹配到单条规则,则根据规则设置产生告警信息。
6、如果多个触发规则间符合设定的关联条件,将报出安全事件,安全事件代表具有一定关联关系的告警信息的集合。
7、根据产生的告警信息和安全事件的误报率和漏报率,对规则模型进行动态调整,产生不同的基线标准,以达到针对性防御的目的。
通过本发明的技术方案,使得架构先进,技术稳定,兼容性高;支持大数据量情况;规则体系可配置性高。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式发送机或其他可编程数据发送终端设备的发送器以产生一个机器,使得通过计算机或其他可编程数据发送终端设备的发送器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据发送终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据发送终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的发送,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据处理方法及装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据处理方法,其特征在于,该方法包括以下步骤:
将采集的信息数据作为日志数据存储在消息系统;
读取消息系统中的日志数据,对所述日志数据进行归类处理,并结合策略树缓存以及其他缓存信息,封装成策略树;
依据规则配置信息以及策略树缓存的策略信息,生成告警事件信息以及安全事件信息;
根据所述告警事件信息以及安全事件信息,对规则配置信息进行动态调整。
2.根据权利要求1所述的方法,其特征在于,所述将采集的信息数据作为日志数据存储在消息系统是指:
将采集的信息数据作为日志数据存储在Kafka分布式消息系统中,该Kafka分布式消息系统包括以下日志数据:主机日志、网络日志、安全日志、应用日志。
3.根据权利要求1所述的方法,其特征在于,所述规则配置信息通过以下方式产生:
根据采集的数据信息,通过一定的逻辑运算定义为指标数据,指标数据由标准元数据和计算元数据构成;
根据时间窗口以及各类场景,将指标数据转化为规则模型,同时将规则模型写进规则库供调用。
4.根据权利要求3所述的方法,其特征在于,利用规则配置信息中的过滤条件对日志数据和历史日志数据进行判断和匹配;
如果匹配到单条规则,则根据规则设置产生告警事件信息;
如果多个触发规则间符合设定的关联条件,将产生安全事件信息,安全事件信息表示具有一定关联关系的告警事件信息的集合。
5.根据权利要求3或4所述的方法,其特征在于,根据所述告警事件信息以及安全事件信息的误报率和漏报率,对规则模型进行动态调整,产生不同的基线标准。
6.一种数据处理系统,该系统包括:
流处理模块,将采集的信息数据作为日志数据存储在消息系统;
分析计算模块,读取消息系统中的日志数据,对所述日志数据进行归类处理,并结合策略树缓存以及其他缓存信息,封装成策略树,依据规则配置信息以及策略树缓存的策略信息,生成告警事件信息以及安全事件信息;
数据存储模块,用于存储指标数据、配置规则信息数据以及策略信息数据;
应用模块,用于连接展示模块以及数据存储模块,该应用模块提供了与展示模块进行数据交互的接口,并将展示模块传递的数据存储在数据存储模块中;
展示模块,用于配置指标数据、配置规则信息数据以及策略信息数据。
7.根据权利要求6所述的系统,所述流处理模块将采集的信息数据作为日志数据存储在Kafka分布式消息系统中,该Kafka分布式消息系统包括以下日志数据:主机日志、网络日志、安全日志、应用日志。
8.根据权利要求6所述的系统,所述规则配置信息通过以下方式产生:
根据采集的数据信息,通过一定的逻辑运算定义为指标数据,指标数据由标准元数据和计算元数据构成;
根据时间窗口以及各类场景,将指标数据转化为规则模型,同时将规则模型写进规则库供调用。
9.根据权利要求8所述的系统,其特征在于,分析计算模块,利用规则配置信息中的过滤条件对日志数据和历史日志数据进行判断和匹配;
如果匹配到单条规则,则根据规则设置产生告警事件信息;
如果多个触发规则间符合设定的关联条件,将产生安全事件信息,安全事件信息表示具有一定关联关系的告警事件信息的集合。
10.一种计算机可读存储介质,其包括计算机程序指令,通过执行所述计算机程序指令,实现如权利要求1-5之一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711371325.0A CN108021809A (zh) | 2017-12-19 | 2017-12-19 | 一种数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711371325.0A CN108021809A (zh) | 2017-12-19 | 2017-12-19 | 一种数据处理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108021809A true CN108021809A (zh) | 2018-05-11 |
Family
ID=62074199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711371325.0A Pending CN108021809A (zh) | 2017-12-19 | 2017-12-19 | 一种数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108021809A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108665174A (zh) * | 2018-05-16 | 2018-10-16 | 中国平安人寿保险股份有限公司 | 风险预警方法、装置、计算机设备以及存储介质 |
CN109408107A (zh) * | 2018-10-09 | 2019-03-01 | 深圳点猫科技有限公司 | 一种基于教育系统的提高检索速度的方法及电子设备 |
CN110099116A (zh) * | 2018-08-11 | 2019-08-06 | 广州知弘科技有限公司 | 一种基于大数据的子网安全性评估方法 |
CN110489391A (zh) * | 2019-07-25 | 2019-11-22 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
CN110888672A (zh) * | 2019-11-26 | 2020-03-17 | 北京仁科互动网络技术有限公司 | 一种基于元数据架构的表达式引擎实现方法及系统 |
CN110908642A (zh) * | 2018-09-14 | 2020-03-24 | 亿阳信通股份有限公司 | 一种策略生成执行方法和装置 |
CN111049846A (zh) * | 2019-12-20 | 2020-04-21 | 北京明略软件系统有限公司 | 数据处理方法和装置、电子设备及计算机可读存储介质 |
CN111159273A (zh) * | 2019-12-31 | 2020-05-15 | 中国联合网络通信集团有限公司 | 数据流处理方法、装置、服务器及存储介质 |
CN111367525A (zh) * | 2020-03-19 | 2020-07-03 | 北京三维天地科技股份有限公司 | 一种前端架构系统 |
CN112464633A (zh) * | 2020-11-04 | 2021-03-09 | 贝壳技术有限公司 | 模板生成方法、装置、电子设备及存储介质 |
CN112835991A (zh) * | 2019-11-25 | 2021-05-25 | 北京达佳互联信息技术有限公司 | 监控数据的系统、方法、设备及存储介质 |
CN112860471A (zh) * | 2021-02-05 | 2021-05-28 | 北京通付盾人工智能技术有限公司 | 一种基于决策流的业务操作日志审计与告警方法及系统 |
CN115664853A (zh) * | 2022-12-15 | 2023-01-31 | 北京六方云信息技术有限公司 | 网络安全数据关联分析方法、装置、系统以及存储介质 |
CN116450465A (zh) * | 2023-06-14 | 2023-07-18 | 建信金融科技有限责任公司 | 数据处理方法、装置、设备及介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101409885A (zh) * | 2008-11-18 | 2009-04-15 | 中国移动通信集团福建有限公司 | 基于规则引擎的异常指标分析方法 |
CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析系统与方法 |
CN102035855A (zh) * | 2010-12-30 | 2011-04-27 | 江苏省电力公司 | 网络安全事件关联分析系统 |
JP2013186524A (ja) * | 2012-03-06 | 2013-09-19 | Nec Computertechno Ltd | データ処理システム、データ処理方法、データ処理プログラム、トランザクション測定回路 |
CN105207826A (zh) * | 2015-10-26 | 2015-12-30 | 南京联成科技发展有限公司 | 一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统 |
CN106130762A (zh) * | 2016-06-23 | 2016-11-16 | 昆山九华电子设备厂 | 一种基于有穷自动机的网络训练综合分析方法 |
CN106649831A (zh) * | 2016-12-29 | 2017-05-10 | 北京奇艺世纪科技有限公司 | 一种数据过滤方法及装置 |
CN106681882A (zh) * | 2015-11-06 | 2017-05-17 | 上海瑞致软件有限公司 | 基于Apriori算法的IT服务集中监控管理系统 |
CN107145587A (zh) * | 2017-05-11 | 2017-09-08 | 成都四方伟业软件股份有限公司 | 一种基于大数据挖掘的医保反欺诈系统 |
CN107203199A (zh) * | 2017-06-12 | 2017-09-26 | 北京匡恩网络科技有限责任公司 | 一种工控网络安全预警方法及系统 |
CN107256219A (zh) * | 2017-04-24 | 2017-10-17 | 卡斯柯信号有限公司 | 应用于自动列车控制系统海量日志的大数据融合分析方法 |
-
2017
- 2017-12-19 CN CN201711371325.0A patent/CN108021809A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101409885A (zh) * | 2008-11-18 | 2009-04-15 | 中国移动通信集团福建有限公司 | 基于规则引擎的异常指标分析方法 |
CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析系统与方法 |
CN102035855A (zh) * | 2010-12-30 | 2011-04-27 | 江苏省电力公司 | 网络安全事件关联分析系统 |
JP2013186524A (ja) * | 2012-03-06 | 2013-09-19 | Nec Computertechno Ltd | データ処理システム、データ処理方法、データ処理プログラム、トランザクション測定回路 |
CN105207826A (zh) * | 2015-10-26 | 2015-12-30 | 南京联成科技发展有限公司 | 一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统 |
CN106681882A (zh) * | 2015-11-06 | 2017-05-17 | 上海瑞致软件有限公司 | 基于Apriori算法的IT服务集中监控管理系统 |
CN106130762A (zh) * | 2016-06-23 | 2016-11-16 | 昆山九华电子设备厂 | 一种基于有穷自动机的网络训练综合分析方法 |
CN106649831A (zh) * | 2016-12-29 | 2017-05-10 | 北京奇艺世纪科技有限公司 | 一种数据过滤方法及装置 |
CN107256219A (zh) * | 2017-04-24 | 2017-10-17 | 卡斯柯信号有限公司 | 应用于自动列车控制系统海量日志的大数据融合分析方法 |
CN107145587A (zh) * | 2017-05-11 | 2017-09-08 | 成都四方伟业软件股份有限公司 | 一种基于大数据挖掘的医保反欺诈系统 |
CN107203199A (zh) * | 2017-06-12 | 2017-09-26 | 北京匡恩网络科技有限责任公司 | 一种工控网络安全预警方法及系统 |
Non-Patent Citations (1)
Title |
---|
人生如若初见: "利用AbstractRoutiongDataSource实现动态数据源切换", 《HTTPS://WWW.CNBLOGS.COM/WINKEY4986/P/3623371.HTML》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108665174A (zh) * | 2018-05-16 | 2018-10-16 | 中国平安人寿保险股份有限公司 | 风险预警方法、装置、计算机设备以及存储介质 |
CN110099116A (zh) * | 2018-08-11 | 2019-08-06 | 广州知弘科技有限公司 | 一种基于大数据的子网安全性评估方法 |
CN110908642B (zh) * | 2018-09-14 | 2024-04-05 | 亿阳信通股份有限公司 | 一种策略生成执行方法和装置 |
CN110908642A (zh) * | 2018-09-14 | 2020-03-24 | 亿阳信通股份有限公司 | 一种策略生成执行方法和装置 |
CN109408107A (zh) * | 2018-10-09 | 2019-03-01 | 深圳点猫科技有限公司 | 一种基于教育系统的提高检索速度的方法及电子设备 |
CN109408107B (zh) * | 2018-10-09 | 2022-06-21 | 深圳点猫科技有限公司 | 一种基于教育系统的提高检索速度的方法及电子设备 |
WO2021012568A1 (zh) * | 2019-07-25 | 2021-01-28 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
CN110489391B (zh) * | 2019-07-25 | 2022-06-28 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
CN110489391A (zh) * | 2019-07-25 | 2019-11-22 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
CN112835991B (zh) * | 2019-11-25 | 2023-11-21 | 北京达佳互联信息技术有限公司 | 监控数据的系统、方法、设备及存储介质 |
CN112835991A (zh) * | 2019-11-25 | 2021-05-25 | 北京达佳互联信息技术有限公司 | 监控数据的系统、方法、设备及存储介质 |
CN110888672A (zh) * | 2019-11-26 | 2020-03-17 | 北京仁科互动网络技术有限公司 | 一种基于元数据架构的表达式引擎实现方法及系统 |
CN111049846A (zh) * | 2019-12-20 | 2020-04-21 | 北京明略软件系统有限公司 | 数据处理方法和装置、电子设备及计算机可读存储介质 |
CN111159273A (zh) * | 2019-12-31 | 2020-05-15 | 中国联合网络通信集团有限公司 | 数据流处理方法、装置、服务器及存储介质 |
CN111367525A (zh) * | 2020-03-19 | 2020-07-03 | 北京三维天地科技股份有限公司 | 一种前端架构系统 |
CN111367525B (zh) * | 2020-03-19 | 2020-10-23 | 北京三维天地科技股份有限公司 | 一种前端架构系统 |
CN112464633A (zh) * | 2020-11-04 | 2021-03-09 | 贝壳技术有限公司 | 模板生成方法、装置、电子设备及存储介质 |
CN112860471A (zh) * | 2021-02-05 | 2021-05-28 | 北京通付盾人工智能技术有限公司 | 一种基于决策流的业务操作日志审计与告警方法及系统 |
CN115664853A (zh) * | 2022-12-15 | 2023-01-31 | 北京六方云信息技术有限公司 | 网络安全数据关联分析方法、装置、系统以及存储介质 |
CN116450465B (zh) * | 2023-06-14 | 2023-09-15 | 建信金融科技有限责任公司 | 数据处理方法、装置、设备及介质 |
CN116450465A (zh) * | 2023-06-14 | 2023-07-18 | 建信金融科技有限责任公司 | 数据处理方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108021809A (zh) | 一种数据处理方法及系统 | |
CN109074377B (zh) | 用于实时处理数据流的受管理功能执行 | |
Buyya et al. | Big data: principles and paradigms | |
Gürcan et al. | Real-time processing of big data streams: Lifecycle, tools, tasks, and challenges | |
Chen et al. | Big data: A survey | |
US11016958B2 (en) | Recreating an OLTP table and reapplying database transactions for real-time analytics | |
Das et al. | Big data analytics: A framework for unstructured data analysis | |
Chandarana et al. | Big data analytics frameworks | |
Kraska | Finding the needle in the big data systems haystack | |
CN107103064B (zh) | 数据统计方法及装置 | |
Devakunchari | Analysis on big data over the years | |
Jeong et al. | Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions | |
Saxena et al. | Practical real-time data processing and analytics: distributed computing and event processing using Apache Spark, Flink, Storm, and Kafka | |
CN108073625A (zh) | 用于元数据信息管理的系统及方法 | |
Hussein | Using hadoop technology to overcome big data problems by choosing proposed cost-efficient scheduler algorithm for heterogeneous hadoop system (BD3) | |
Luo et al. | Big-data analytics: challenges, key technologies and prospects | |
Zobaed et al. | Big Data in the Cloud. | |
Malhotra et al. | Bigdata analysis and comparison of bigdata analytic approches | |
Ma et al. | A retrieval optimized surveillance video storage system for campus application scenarios | |
Ikhlaq et al. | Computation of Big Data in Hadoop and Cloud Environment | |
Maske et al. | A real time processing and streaming of wireless network data using storm | |
Wadhera et al. | A systematic Review of Big data tools and application for developments | |
Ma | A survey of big data for IoT in cloud computing | |
US11714991B2 (en) | System and methods for creation of learning agents in simulated environments | |
Chardonnens | Big data analytics on high velocity streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180511 |