CN107645542A - 一种应用于云审计系统的数据采集装置 - Google Patents
一种应用于云审计系统的数据采集装置 Download PDFInfo
- Publication number
- CN107645542A CN107645542A CN201710782910.3A CN201710782910A CN107645542A CN 107645542 A CN107645542 A CN 107645542A CN 201710782910 A CN201710782910 A CN 201710782910A CN 107645542 A CN107645542 A CN 107645542A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- network
- daily record
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种应用于云审计系统的数据采集装置，该装置向上外接云审计系统的审计数据中心子系统，向下外接数据源；包括：用于采集日志数据的日志审计子系统和用于采集网络流量数据的网络审计子系统。数据采集装置负责根据云审计员下发的规则为云审计系统收集各虚拟机、物理机、网络设备、Hypervisor等产生的日志信息、流量数据。数据采集装置为云审计系统后期的关联分析等其他审计工作提供数据来源，是云审计系统重要的下层模块。
Description
技术领域
本发明涉及一种云应用的数据采集装置，尤其涉及一种应用于云审计系统的数据采集装置。
背景技术
云计算是一种全新的领先信息技术，其结合IT技术和互联网实现超级计算和高存储能力。推动云计算兴起的动力是高速互联网、虚拟化技术、更加廉价且功能强劲的芯片及硬盘以及数据中心等技术的发展。云计算可以看作是分布式计算、并行计算、效用计算、网络存储、虚拟化以及负载均衡等传统计算机和网络技术发展融合的产物。云计算涉及的关键技术有很多，包括：通信、大规模分布式存储技术、海量数据处理技术、资源管理和虚拟化技术等。大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。“移动互联网 +”的到来，意味着跨界融合，创新驱动，重塑结构，尊重人性，开放生态的时代到来。“移动互联网 +”就是“互联网”+ 各个传统行业，利用计算机技术、信息通信技术、云计算技术以及互联网平台，让互联网与传统行业进行深度融合，创造新的发展业态。大数据、云计算时代已经渗透到诸多行业和业务职能领域，成为重要的组成部分。根据权威的NIST定义，现有的云计算主要分为三种服务模式，分别是基础设施即服务IAAS(infrastructure as aservice)，主要为用户提供基础设施服务，包括计算机、服务器、防火墙、存储设备和网络设备等；平台即服务 PAAS(platform as a service)，主要为用户提供应用程序开发、测试和部署平台，即是将一个完整的系统平台，包括应用设计、应用开发、应用测试、应用部署和应用托管，都作为一种服务提供给用户；软件即服务SAAS(software as a service)，主要是为用户提供应用程序等软件。可以说，云计算这三种服务模式都是从硬件设备的角度出发的。
对于电网大数据系统的审计工作量巨大，被审计数据不够全面，因此目前的审计系统根本无法完成电网大数据系统的审计需求。
发明内容
为了解决上述技术问题，本发明目的在于提供一种应用于云审计系统的数据采集装置。
本发明所述的一种应用于云审计系统的数据采集装置，向上外接云审计系统的审计数据中心子系统，向下外接数据源；包括：用于采集日志数据的日志审计子系统和用于采集网络流量数据的网络审计子系统；其特征在于：
所述的日志审计子系统包括：用于收集日志数据的日志收集服务器和用于分析处理日志数据的日志分析处理引擎；其特征在于，所述的日志收集服务器还包括：日志采集模块，用于对外部日志源进行日志数据采集；日志缓存模块，用于将采集的日志数据进行后续处理的缓存；日志分发模块，用于根据日志分析处理引擎的审计指令将对应的日志数据分发到日志分析处理引擎；
所述的日志分析处理引擎还包括：日志标准化模块，用于将采集到的日志数据标准化处理；日志索引模块，用于将日志数据建立分布式索引；日志关联分析模块，用于根据预设的关联规则库的规则进行日志数据关联分析，并根据关联分析结果对日志数据进行分类入库；日志数据上报模块，用于将完成分类入库的原始日志数据发送到kafka系统；
所述的网络审计子系统包括：网络审计处理引擎，用于审计从云数据中采集到的网络中虚拟机流量和物理机流量；主机流量采集代理，用于采集虚拟机流量并分发至网络审计处理引擎；网络流量采集代理，用于采集物理机流量并分发至网络审计处理引擎；
所述的网络审计处理引擎还包括：网络数据处理模块，用于采用分布式实时在线分析系统对网络数据进行分布式处理，首先订阅特征向量主题，将数据从kafka中读取出来，并进行预处理，将数据序列化为avro形式，然后进行特征向量处理，最后写入kafka与HDFS；网络数据规则匹配模块，用于通过特征向量的DPI标识判断网络数据是否为非真实性网络协议、通过对特征向量与网络访问基线进行匹配判断网络数据是否为网络异常、通过对特征向量与服务器外联基线进行匹配判断网络数据是否为服务器违规外联、通过对特征向量与开放端口基线进行匹配判断网络数据是否为异常服务；当任一判断为异常时，发生报警信息；网络数据索引模块，用于对分布式存储的数据生成分布式索引；策略数据库，用于存储审计策略、抓包过滤策略、定向抓包策略；
所述的主机流量采集代理还包括：抓包模块，用于对外接虚拟机流量源的网络流量进行抓取并按照过滤策略进行过滤；协议识别模块，用于识别出网络流量的源ip、目的ip、源端口、目的端口、网络层协议、应用层协议；通用特征向量解析模块，用于按包提取网络层、传输层的信息、提取流信息；对于tcp协议的会话，解析并上报syn包的特征向量；对于udp协议的会话，解析并上报第一个包；对基于流的特征向量进行解析；分发模块，用于把数据包分发到缓存队列中；缓存队列的个数根据配置文件建立，和创建的深度特征向量解析线程匹配，每个深度特征向量解析线程分别对应一个缓存队列；同一个数据流上的数据包放在同一个缓存队列中，新建数据流上的数据包在各个缓存队列中轮流进行选择；深度特征向量解析模块，用于启动一个以上的深度特征向量解析线程，根据数据包的应用类型动态选择对应的深度特征向量解析插件进行解析；策略接收模块，用于从策略数据库读取抓包过滤策略、从策略数据库读取定向抓包策略；并在设定时间间隔更新抓包过滤策略及定向抓包策略；定向抓包模块，用于执行上位系统发送的定向抓包命令，将抓取的数据包通过数据上报模块反馈至所述上位系统；数据上报模块，用于将抓取的数据包通过数据通道反馈到上位系统；把通用特征向量通过数据通道上报给上位系统；把深度特征向量通过数据通道上报上位机；把定向包以pcap文件的形式通过数据通道上报给上位系统，或者以文件的形式存在本地；
所述的网络流量采集代理结构与主机流量采集代理相同，抓包的采集对象为外接的物理机流量源。
所述的日志采集模块通过回调函数处理每一条日志，判断日志是否正确，解析日志结构，通过TcpSocket发送到日志关联分析模块。
所述的日志标准化模块使用分布式实时在线分析系统(Storm)对日志进行分布式标准化处理；首先订阅日志主题，将数据从kafka系统中读取出来，并进行预处理，将数据序列化为avro形式，然后进行日志标准化，将日志数据对应相应插件类型进行标准化，最后写入kafka与HDFS。
所述的日志索引模块采用分布式索引（Elasticsearch），包括两个输入源：第一输入源是由日志标准化模块将日志标准化后写入HDFS，再通过Zookeeper通知索引建立程序进行索引建立，将HDFS中的标准化日志数据写入索引；第二输入源是日志关联分析模块将报警数据写入kafka系统，再由索引建立程序读kafka系统建立索引。
所述的深度特征向量解析插件包括http插件、smtp/pop3插件、ftp插件、dns插件、ssh插件、telnet插件。
所述的网络数据索引模块由两个输入源，第一输入源是由网络数据处理模块将网络数据提取出特征向量后写入HDFS，再通过Zookeeper通知索引建立程序进行索引建立，将HDFS中的特征向量写入索引；第二输入源是网络数据规则匹配模块将报警数据写入kafka，再由索引建立程序读kafka建立索引。
本发明所述的一种应用于云审计系统的数据采集装置，主要包含日志审计子系统和网络审计子系统。所述的日志审计子系统主要包括日志收集服务器和日志分析处理引擎两部分。日志收集服务器负责对各种来源的日志数据进行收集、缓存和分发，日志分析处理引擎负责将收集的日志进行标准化、关联分析和持久化存储。所述的日志收集服务器收集以syslog或者snmp trap的方式发送的日志；将收集到的日志进行缓存，保证数据不丢失，为后续的处理环节提供缓冲机制；最后将收集的日志转发给日志分析处理引擎。支持单个物理机或者虚拟机部署；可以支持分布式架构部署，多个采集点，多个日志缓存服务器，以解决单点故障和均衡问题。所述的日志分析处理引擎对日志进行关联分析然后将日志转存到外接的审计数据中心子系统。将日志标准化采用流式计算技术如storm进行并发处理，以支持分布式部署。而所述的网络审计子系统通过一定的规则、策略设置，从网络设备、主机等获取网络数据包进行分析与记录。通过所有获取到的网络访问记录写入到数据库中，可以进行网络安全漏洞分析、入侵检测等工作，可以为审计中心提供数据进行分析与展示等，数据也将在数据库中进行保存以便日后查验。根据云计算的特点，其中的设备分为物理设备和虚拟设备两大类，例如交换机分为物理交换机和虚拟交换机两类，主机分为物理主机和虚拟主机两类。所以，在云审计系统中，对这两类的设备均需要进行审计。在本网络审计系统的设计目标中，需要能够同时采集物理设备和虚拟设备的网络通信数据，根据其特点进行不同的规则过滤，所产生的结构能够存入不同的库表中。在审计中心读取数据时，也能区分出不同类型设备的数据。网络审计应该实现高性能的数据抓取和数据库写入操作，网络审计中不应该出现性能瓶颈或者丢包的情况，网络审计必须所有符合规则匹配的数据正确写入数据库中，以供审计中心查阅。
附图说明
图1是本发明所述数据采集装置的应用环境示意图。
图2是本发明所述日志审计中心子系统的结构示意图。
图3是本发明所述网络审计中心子系统的结构示意图。
具体实施方式
根据图1、图2、图3所示，本发明所述数据采集装置连同综合展示管理中心子系统、审计中心子系统一同组成云审计系统。所述的综合展示管理中心子系统对上外接云资源管理平台，下行连接审计数据中心子系统，用于管理系统安全和各功能子系统的协同运作；所述的审计数据中心子系统下行分别连接数据采集装置；所述的数据采集装置连接外部日志源和连接外部的虚拟机流量源和物理机流量源。其中的数据采集装置包括关联规则库和审计规则库。
本发明所述的一种应用于云审计系统的数据采集装置，向上外接云审计系统的审计数据中心子系统，向下外接数据源；包括：用于采集日志数据的日志审计子系统和用于采集网络流量数据的网络审计子系统。
所述的日志审计子系统包括：用于收集日志数据的日志收集服务器和用于分析处理日志数据的日志分析处理引擎。其特征在于，所述的日志收集服务器还包括：日志采集模块，用于对外部日志源进行日志数据采集。日志缓存模块，用于将采集的日志数据进行后续处理的缓存。日志分发模块，用于根据日志分析处理引擎的审计指令将对应的日志数据分发到日志分析处理引擎。
所述的日志分析处理引擎还包括：日志标准化模块，用于将采集到的日志数据标准化处理。日志索引模块，用于将日志数据建立分布式索引。日志关联分析模块，用于根据预设的关联规则库的规则进行日志数据关联分析，并根据关联分析结果对日志数据进行分类入库。日志数据上报模块，用于将完成分类入库的原始日志数据发送到kafka系统。
所述的网络审计子系统包括：网络审计处理引擎，用于审计从云数据中采集到的网络中虚拟机流量和物理机流量。主机流量采集代理，用于采集虚拟机流量并分发至网络审计处理引擎。网络流量采集代理，用于采集物理机流量并分发至网络审计处理引擎。
所述的网络审计处理引擎还包括：网络数据处理模块，用于采用分布式实时在线分析系统对网络数据进行分布式处理，首先订阅特征向量主题，将数据从kafka中读取出来，并进行预处理，将数据序列化为avro形式，然后进行特征向量处理，最后写入kafka与HDFS。网络数据规则匹配模块，用于通过特征向量的DPI标识判断网络数据是否为非真实性网络协议、通过对特征向量与网络访问基线进行匹配判断网络数据是否为网络异常、通过对特征向量与服务器外联基线进行匹配判断网络数据是否为服务器违规外联、通过对特征向量与开放端口基线进行匹配判断网络数据是否为异常服务。当任一判断为异常时，发生报警信息。网络数据索引模块，用于对分布式存储的数据生成分布式索引。策略数据库，用于存储审计策略、抓包过滤策略、定向抓包策略。
所述的主机流量采集代理还包括：抓包模块，用于对外接虚拟机流量源的网络流量进行抓取并按照过滤策略进行过滤。协议识别模块，用于识别出网络流量的源ip、目的ip、源端口、目的端口、网络层协议、应用层协议。通用特征向量解析模块，用于按包提取网络层、传输层的信息、提取流信息。对于tcp协议的会话，解析并上报syn包的特征向量。对于udp协议的会话，解析并上报第一个包。对基于流的特征向量进行解析。分发模块，用于把数据包分发到缓存队列中。缓存队列的个数根据配置文件建立，和创建的深度特征向量解析线程匹配，每个深度特征向量解析线程分别对应一个缓存队列。同一个数据流上的数据包放在同一个缓存队列中，新建数据流上的数据包在各个缓存队列中轮流进行选择。深度特征向量解析模块，用于启动一个以上的深度特征向量解析线程，根据数据包的应用类型动态选择对应的深度特征向量解析插件进行解析。策略接收模块，用于从策略数据库读取抓包过滤策略、从策略数据库读取定向抓包策略。并在设定时间间隔更新抓包过滤策略及定向抓包策略。定向抓包模块，用于执行上位系统发送的定向抓包命令，将抓取的数据包通过数据上报模块反馈至所述上位系统。数据上报模块，用于将抓取的数据包通过数据通道反馈到上位系统。把通用特征向量通过数据通道上报给上位系统。把深度特征向量通过数据通道上报上位机。把定向包以pcap文件的形式通过数据通道上报给上位系统，或者以文件的形式存在本地。
所述的网络流量采集代理结构与主机流量采集代理相同，抓包的采集对象为外接的物理机流量源。
所述的日志采集模块通过回调函数处理每一条日志，判断日志是否正确，解析日志结构，通过TcpSocket发送到日志关联分析模块。
所述的日志标准化模块使用分布式实时在线分析系统(Storm)对日志进行分布式标准化处理；首先订阅日志主题，将数据从kafka系统中读取出来，并进行预处理，将数据序列化为avro形式，然后进行日志标准化，将日志数据对应相应插件类型进行标准化，最后写入kafka与HDFS。
所述的日志索引模块采用分布式索引（Elasticsearch），包括两个输入源：第一输入源是由日志标准化模块将日志标准化后写入HDFS，再通过Zookeeper通知索引建立程序进行索引建立，将HDFS中的标准化日志数据写入索引；第二输入源是日志关联分析模块将报警数据写入kafka系统，再由索引建立程序读kafka系统建立索引。
所述的深度特征向量解析插件包括http插件、smtp/pop3插件、ftp插件、dns插件、ssh插件、telnet插件。
所述的网络数据索引模块由两个输入源，第一输入源是由网络数据处理模块将网络数据提取出特征向量后写入HDFS，再通过Zookeeper通知索引建立程序进行索引建立，将HDFS中的特征向量写入索引；第二输入源是网络数据规则匹配模块将报警数据写入kafka，再由索引建立程序读kafka建立索引。
数据采集装置负责根据云审计员下发的规则为云审计系统收集各虚拟机、物理机、网络设备、Hypervisor等产生的日志信息、流量数据。为云审计系统后期的关联分析等其他审计工作提供数据来源，是云审计系统重要的下层模块。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (6)
1.一种应用于云审计系统的数据采集装置，向上外接云审计系统的审计数据中心子系统，向下外接数据源；包括：用于采集日志数据的日志审计子系统和用于采集网络流量数据的网络审计子系统；其特征在于：
所述的日志审计子系统包括：用于收集日志数据的日志收集服务器和用于分析处理日志数据的日志分析处理引擎；其特征在于，所述的日志收集服务器还包括：日志采集模块，用于对外部日志源进行日志数据采集；日志缓存模块，用于将采集的日志数据进行后续处理的缓存；日志分发模块，用于根据日志分析处理引擎的审计指令将对应的日志数据分发到日志分析处理引擎；
所述的日志分析处理引擎还包括：日志标准化模块，用于将采集到的日志数据标准化处理；日志索引模块，用于将日志数据建立分布式索引；日志关联分析模块，用于根据预设的关联规则库的规则进行日志数据关联分析，并根据关联分析结果对日志数据进行分类入库；日志数据上报模块，用于将完成分类入库的原始日志数据发送到kafka系统；
所述的网络审计子系统包括：网络审计处理引擎，用于审计从云数据中采集到的网络中虚拟机流量和物理机流量；主机流量采集代理，用于采集虚拟机流量并分发至网络审计处理引擎；网络流量采集代理，用于采集物理机流量并分发至网络审计处理引擎；
所述的网络审计处理引擎还包括：网络数据处理模块，用于采用分布式实时在线分析系统对网络数据进行分布式处理，首先订阅特征向量主题，将数据从kafka中读取出来，并进行预处理，将数据序列化为avro形式，然后进行特征向量处理，最后写入kafka与HDFS；网络数据规则匹配模块，用于通过特征向量的DPI标识判断网络数据是否为非真实性网络协议、通过对特征向量与网络访问基线进行匹配判断网络数据是否为网络异常、通过对特征向量与服务器外联基线进行匹配判断网络数据是否为服务器违规外联、通过对特征向量与开放端口基线进行匹配判断网络数据是否为异常服务；当任一判断为异常时，发生报警信息；网络数据索引模块，用于对分布式存储的数据生成分布式索引；策略数据库，用于存储审计策略、抓包过滤策略、定向抓包策略；
所述的主机流量采集代理还包括：抓包模块，用于对外接虚拟机流量源的网络流量进行抓取并按照过滤策略进行过滤；协议识别模块，用于识别出网络流量的源ip、目的ip、源端口、目的端口、网络层协议、应用层协议；通用特征向量解析模块，用于按包提取网络层、传输层的信息、提取流信息；对于tcp协议的会话，解析并上报syn包的特征向量；对于udp协议的会话，解析并上报第一个包；对基于流的特征向量进行解析；分发模块，用于把数据包分发到缓存队列中；缓存队列的个数根据配置文件建立，和创建的深度特征向量解析线程匹配，每个深度特征向量解析线程分别对应一个缓存队列；同一个数据流上的数据包放在同一个缓存队列中，新建数据流上的数据包在各个缓存队列中轮流进行选择；深度特征向量解析模块，用于启动一个以上的深度特征向量解析线程，根据数据包的应用类型动态选择对应的深度特征向量解析插件进行解析；策略接收模块，用于从策略数据库读取抓包过滤策略、从策略数据库读取定向抓包策略；并在设定时间间隔更新抓包过滤策略及定向抓包策略；定向抓包模块，用于执行上位系统发送的定向抓包命令，将抓取的数据包通过数据上报模块反馈至所述上位系统；数据上报模块，用于将抓取的数据包通过数据通道反馈到上位系统；把通用特征向量通过数据通道上报给上位系统；把深度特征向量通过数据通道上报上位机；把定向包以pcap文件的形式通过数据通道上报给上位系统，或者以文件的形式存在本地；
所述的网络流量采集代理结构与主机流量采集代理相同，抓包的采集对象为外接的物理机流量源。
2.根据权利要求1所述的数据采集装置，其特征在于，所述的日志采集模块通过回调函数处理每一条日志，判断日志是否正确，解析日志结构，通过TcpSocket发送到日志关联分析模块。
3.根据权利要求1所述的数据采集装置，其特征在于，所述的日志标准化模块使用分布式实时在线分析系统(Storm)对日志进行分布式标准化处理；首先订阅日志主题，将数据从kafka系统中读取出来，并进行预处理，将数据序列化为avro形式，然后进行日志标准化，将日志数据对应相应插件类型进行标准化，最后写入kafka与HDFS。
4.根据权利要求1所述的数据采集装置，其特征在于，所述的日志索引模块采用分布式索引（Elasticsearch），包括两个输入源：第一输入源是由日志标准化模块将日志标准化后写入HDFS，再通过Zookeeper通知索引建立程序进行索引建立，将HDFS中的标准化日志数据写入索引；第二输入源是日志关联分析模块将报警数据写入kafka系统，再由索引建立程序读kafka系统建立索引。
5.根据权利要求1所述的数据采集装置，其特征在于，所述的深度特征向量解析插件包括http插件、smtp/pop3插件、ftp插件、dns插件、ssh插件、telnet插件。
6.根据权利要求1所述的数据采集装置，其特征在于，所述的网络数据索引模块由两个输入源，第一输入源是由网络数据处理模块将网络数据提取出特征向量后写入HDFS，再通过Zookeeper通知索引建立程序进行索引建立，将HDFS中的特征向量写入索引；第二输入源是网络数据规则匹配模块将报警数据写入kafka，再由索引建立程序读kafka建立索引。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710782910.3A CN107645542A (zh) | 2017-09-03 | 2017-09-03 | 一种应用于云审计系统的数据采集装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710782910.3A CN107645542A (zh) | 2017-09-03 | 2017-09-03 | 一种应用于云审计系统的数据采集装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107645542A true CN107645542A (zh) | 2018-01-30 |
Family
ID=61110947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710782910.3A Pending CN107645542A (zh) | 2017-09-03 | 2017-09-03 | 一种应用于云审计系统的数据采集装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107645542A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763957A (zh) * | 2018-05-29 | 2018-11-06 | 电子科技大学 | 一种数据库的安全审计系统、方法及服务器 |
| CN108881305A (zh) * | 2018-08-08 | 2018-11-23 | 西安交通大学 | 一种面向加密流量识别的样本自动标定方法 |
| CN109409717A (zh) * | 2018-10-17 | 2019-03-01 | 大国创新智能科技(东莞)有限公司 | 基于大数据和深度学习的主动审计方法和机器人系统 |
| CN109409720A (zh) * | 2018-10-17 | 2019-03-01 | 大国创新智能科技(东莞)有限公司 | 基于大数据和深度学习的个性化审计方法和机器人系统 |
| CN111431926A (zh) * | 2020-04-02 | 2020-07-17 | 深信服科技股份有限公司 | 一种数据关联分析的方法、系统、设备及可读存储介质 |
| CN111695884A (zh) * | 2020-08-17 | 2020-09-22 | 广东新视野信息科技股份有限公司 | 一种基于智慧工地的物联网大数据可视化方法及系统 |
| CN111881086A (zh) * | 2020-07-23 | 2020-11-03 | 杭州安恒信息技术股份有限公司 | 大数据的存储方法、查询方法、电子装置及存储介质 |
| CN112395116A (zh) * | 2021-01-20 | 2021-02-23 | 北京东方通软件有限公司 | 一种针对消息中间件的调优方法及系统 |
| CN112860471A (zh) * | 2021-02-05 | 2021-05-28 | 北京通付盾人工智能技术有限公司 | 一种基于决策流的业务操作日志审计与告警方法及系统 |
| CN113127774A (zh) * | 2019-12-30 | 2021-07-16 | 中国移动通信集团辽宁有限公司 | 移动应用的内容预缓存方法及装置 |
| CN113240381A (zh) * | 2021-04-14 | 2021-08-10 | 广东电网有限责任公司 | 微电网电力审计系统 |
| CN113343300A (zh) * | 2021-06-21 | 2021-09-03 | 杭州市电力设计院有限公司余杭分公司 | 电网数据安全防护方法和分布式电网数据安全防护系统 |
| CN114330288A (zh) * | 2021-12-29 | 2022-04-12 | 卡斯柯信号有限公司 | 一种日志解析系统及日志解析方法 |
| CN114598740A (zh) * | 2022-03-04 | 2022-06-07 | 北京优炫软件股份有限公司 | 一种微隔离数据抓取方法以及系统 |
| CN114615013A (zh) * | 2022-01-29 | 2022-06-10 | 北京永信至诚科技股份有限公司 | 一种网络靶场的综合审计方法及系统 |
| CN114661513A (zh) * | 2022-04-18 | 2022-06-24 | 广州菩润信息科技有限公司 | 分布式多源数据的采集方法、系统、设备及存储介质 |
| CN116361261A (zh) * | 2023-06-01 | 2023-06-30 | 天翼云科技有限公司 | 一种分布式日志采集处理方法、系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101483553A (zh) * | 2009-02-24 | 2009-07-15 | 中兴通讯股份有限公司 | 一种用户网络行为审计装置及方法 |
| CN103188112A (zh) * | 2011-12-28 | 2013-07-03 | 阿里巴巴集团控股有限公司 | 网络流量检测方法及装置 |
| CN103581186A (zh) * | 2013-11-05 | 2014-02-12 | 中国科学院计算技术研究所 | 一种网络安全态势感知方法及系统 |
| CN104852927A (zh) * | 2015-06-01 | 2015-08-19 | 国家电网公司 | 基于多源异构的信息安全综合管理系统 |
| CN105553957A (zh) * | 2015-12-09 | 2016-05-04 | 国家电网公司 | 基于大数据的网络安全态势感知预警方法和系统 |
| CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析系统 |
| CN106095575A (zh) * | 2016-06-14 | 2016-11-09 | 上海浪潮云计算服务有限公司 | 一种日志审计的装置、系统和方法 |
| CN106656863A (zh) * | 2016-12-31 | 2017-05-10 | 广东欧珀移动通信有限公司 | 业务监控方法、装置和计算机设备 |
| CN106815125A (zh) * | 2015-12-02 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种日志审计方法及平台 |
-
2017
- 2017-09-03 CN CN201710782910.3A patent/CN107645542A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101483553A (zh) * | 2009-02-24 | 2009-07-15 | 中兴通讯股份有限公司 | 一种用户网络行为审计装置及方法 |
| CN103188112A (zh) * | 2011-12-28 | 2013-07-03 | 阿里巴巴集团控股有限公司 | 网络流量检测方法及装置 |
| CN103581186A (zh) * | 2013-11-05 | 2014-02-12 | 中国科学院计算技术研究所 | 一种网络安全态势感知方法及系统 |
| CN104852927A (zh) * | 2015-06-01 | 2015-08-19 | 国家电网公司 | 基于多源异构的信息安全综合管理系统 |
| CN106815125A (zh) * | 2015-12-02 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种日志审计方法及平台 |
| CN105553957A (zh) * | 2015-12-09 | 2016-05-04 | 国家电网公司 | 基于大数据的网络安全态势感知预警方法和系统 |
| CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析系统 |
| CN106095575A (zh) * | 2016-06-14 | 2016-11-09 | 上海浪潮云计算服务有限公司 | 一种日志审计的装置、系统和方法 |
| CN106656863A (zh) * | 2016-12-31 | 2017-05-10 | 广东欧珀移动通信有限公司 | 业务监控方法、装置和计算机设备 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763957A (zh) * | 2018-05-29 | 2018-11-06 | 电子科技大学 | 一种数据库的安全审计系统、方法及服务器 |
| CN108881305A (zh) * | 2018-08-08 | 2018-11-23 | 西安交通大学 | 一种面向加密流量识别的样本自动标定方法 |
| CN109409717B (zh) * | 2018-10-17 | 2021-06-25 | 大国创新智能科技(东莞)有限公司 | 基于大数据和深度学习的主动审计方法和机器人系统 |
| CN109409717A (zh) * | 2018-10-17 | 2019-03-01 | 大国创新智能科技(东莞)有限公司 | 基于大数据和深度学习的主动审计方法和机器人系统 |
| CN109409720A (zh) * | 2018-10-17 | 2019-03-01 | 大国创新智能科技(东莞)有限公司 | 基于大数据和深度学习的个性化审计方法和机器人系统 |
| CN109409720B (zh) * | 2018-10-17 | 2020-12-22 | 大国创新智能科技(东莞)有限公司 | 基于大数据和深度学习的个性化审计方法和机器人系统 |
| CN113127774B (zh) * | 2019-12-30 | 2023-12-12 | 中国移动通信集团辽宁有限公司 | 移动应用的内容预缓存方法及装置 |
| CN113127774A (zh) * | 2019-12-30 | 2021-07-16 | 中国移动通信集团辽宁有限公司 | 移动应用的内容预缓存方法及装置 |
| CN111431926A (zh) * | 2020-04-02 | 2020-07-17 | 深信服科技股份有限公司 | 一种数据关联分析的方法、系统、设备及可读存储介质 |
| CN111431926B (zh) * | 2020-04-02 | 2022-11-22 | 深信服科技股份有限公司 | 一种数据关联分析的方法、系统、设备及可读存储介质 |
| CN111881086A (zh) * | 2020-07-23 | 2020-11-03 | 杭州安恒信息技术股份有限公司 | 大数据的存储方法、查询方法、电子装置及存储介质 |
| CN111881086B (zh) * | 2020-07-23 | 2024-03-19 | 杭州安恒信息技术股份有限公司 | 大数据的存储方法、查询方法、电子装置及存储介质 |
| CN111695884B (zh) * | 2020-08-17 | 2020-11-20 | 广东新视野信息科技股份有限公司 | 一种基于智慧工地的物联网大数据可视化方法及系统 |
| CN111695884A (zh) * | 2020-08-17 | 2020-09-22 | 广东新视野信息科技股份有限公司 | 一种基于智慧工地的物联网大数据可视化方法及系统 |
| CN112395116A (zh) * | 2021-01-20 | 2021-02-23 | 北京东方通软件有限公司 | 一种针对消息中间件的调优方法及系统 |
| CN112860471A (zh) * | 2021-02-05 | 2021-05-28 | 北京通付盾人工智能技术有限公司 | 一种基于决策流的业务操作日志审计与告警方法及系统 |
| CN113240381A (zh) * | 2021-04-14 | 2021-08-10 | 广东电网有限责任公司 | 微电网电力审计系统 |
| CN113343300A (zh) * | 2021-06-21 | 2021-09-03 | 杭州市电力设计院有限公司余杭分公司 | 电网数据安全防护方法和分布式电网数据安全防护系统 |
| CN114330288A (zh) * | 2021-12-29 | 2022-04-12 | 卡斯柯信号有限公司 | 一种日志解析系统及日志解析方法 |
| CN114615013A (zh) * | 2022-01-29 | 2022-06-10 | 北京永信至诚科技股份有限公司 | 一种网络靶场的综合审计方法及系统 |
| CN114598740B (zh) * | 2022-03-04 | 2024-02-02 | 北京优炫软件股份有限公司 | 一种微隔离数据抓取方法以及系统 |
| CN114598740A (zh) * | 2022-03-04 | 2022-06-07 | 北京优炫软件股份有限公司 | 一种微隔离数据抓取方法以及系统 |
| CN114661513A (zh) * | 2022-04-18 | 2022-06-24 | 广州菩润信息科技有限公司 | 分布式多源数据的采集方法、系统、设备及存储介质 |
| CN114661513B (zh) * | 2022-04-18 | 2024-01-23 | 广州菩润信息科技有限公司 | 分布式多源数据的采集方法、系统、设备及存储介质 |
| CN116361261A (zh) * | 2023-06-01 | 2023-06-30 | 天翼云科技有限公司 | 一种分布式日志采集处理方法、系统 |
| CN116361261B (zh) * | 2023-06-01 | 2023-10-13 | 天翼云科技有限公司 | 一种分布式日志采集处理方法、系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107645542A (zh) | 一种应用于云审计系统的数据采集装置 | |
| CN103067192B (zh) | 一种网络流量的分析系统及方法 | |
| CN107689958A (zh) | 一种应用于云审计系统的网络审计子系统 | |
| CN109787833B (zh) | 网络异常事件感知方法和系统 | |
| CN104115463B (zh) | 用于处理网络元数据的流式传输方法和系统 | |
| KR101234326B1 (ko) | 분산 트래픽 분석 | |
| EP1742416B1 (en) | Method, computer readable medium and system for analyzing and management of application traffic on networks | |
| CN101924757B (zh) | 追溯僵尸网络的方法和系统 | |
| CN108833397A (zh) | 一种基于网络安全的大数据安全分析平台系统 | |
| CN103716173B (zh) | 一种存储监控系统及监控告警发布的方法 | |
| US20100042565A1 (en) | Mezzazine in-depth data analysis facility | |
| CN103166794A (zh) | 一种具有一体化安全管控功能的信息安全管理方法 | |
| CN111181799B (zh) | 一种网络流量监控方法及设备 | |
| CN106055608A (zh) | 自动采集和分析交换机日志的方法和装置 | |
| CN104168144A (zh) | 一种对sdn网络进行审计的方法 | |
| CN103338128A (zh) | 一种具有一体化安全管控功能的信息安全管理系统 | |
| CN107659618A (zh) | 一种云审计系统 | |
| CN106254338B (zh) | 报文检测方法以及装置 | |
| CN106656616A (zh) | 一种计算机网全网流量分析方法 | |
| CN105610636B (zh) | 一种面向云计算环境的安全日志生成方法 | |
| CN109150869A (zh) | 一种交换机信息采集分析系统及方法 | |
| CN112350882A (zh) | 一种基于分布式的网络流量分析系统及方法 | |
| Zang et al. | Machine learning-based intrusion detection system for big data analytics in VANET | |
| CN107656973A (zh) | 一种应用于云审计系统的日志审计子系统 | |
| CN107635003A (zh) | 系统日志的管理方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180130 |
|
| RJ01 | Rejection of invention patent application after publication |