CN105721256B - 一种分布式部署审计平台的审计数据去重方法 - Google Patents

一种分布式部署审计平台的审计数据去重方法 Download PDF

Info

Publication number
CN105721256B
CN105721256B CN201610262783.XA CN201610262783A CN105721256B CN 105721256 B CN105721256 B CN 105721256B CN 201610262783 A CN201610262783 A CN 201610262783A CN 105721256 B CN105721256 B CN 105721256B
Authority
CN
China
Prior art keywords
audit
record
information
central store
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610262783.XA
Other languages
English (en)
Other versions
CN105721256A (zh
Inventor
韩延鹏
冯全宝
黄敏
龙国东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wei Nu Trick Co Ltd
Original Assignee
Beijing Wei Nu Trick Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wei Nu Trick Co Ltd filed Critical Beijing Wei Nu Trick Co Ltd
Priority to CN201610262783.XA priority Critical patent/CN105721256B/zh
Publication of CN105721256A publication Critical patent/CN105721256A/zh
Application granted granted Critical
Publication of CN105721256B publication Critical patent/CN105721256B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports

Abstract

本发明涉及一种分布式部署审计平台的审计数据去重方法，所述方法包括：审计中心存储各审计单元上报的审计记录的信息；审计中心启动一个线程，定时检测和处理审计中心存储的审计记录的信息；根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，舍弃重复上传的审计记录。本发明优越效果在于实现了分布式部署审计平台的审计数据去重处理，有效消除了新上传审计数据中的重复数据，节省了存储空间，提高了审计处理的速度。

Description

一种分布式部署审计平台的审计数据去重方法
技术领域
本发明属于网络安全审计领域，尤其涉及一种分布式部署审计平台的审计数据去重方法。
背景技术
网络安全审计系统针对网络行为提供有效的行为审计、内容审计、行为报警、行为控制及相关审计功能；从管理层面提供网络的有效监督，预防、制止数据泄密；满足用户对网络行为审计备案及安全保护措施的要求，提供完整的网络行为记录，便于信息追踪、系统安全管理和风险防范。
现有分布式网络审计系统一般采用多个审计单元采集数据，并将审计数据汇总到审计中心的部署方式，分布式部署审计平台如图1所示。公开号为CN1996876A的中国专利文献，公开了一种分布式审计系统，所述系统包括多个审计单元，所述多个审计单元构建成一个向下的树形结构的分布式网络，并形成上下级关系，上级审计单元向下级审计单元传递命令和策略数据，下级审计单元向上级审计单元传递审计日志数据。由于本发明分布式审计系统多个审计单元连接起来，建立了一个分级的分布式审计网络，实现了审计系统的上下级控制和管理，还能够通过同时控制多台网络审计单元进行工作处理高速网络里的数据，满足高速网络审计要求。该审计系统存在的问题是：如果同一条网络流量经过其中某些不同的审计单元，当这些审计单元向审计中心汇总审计数据时，上述网络流量的审计数据就会有多条重复记录，不但占用过多的存储空间，还增加处理的数据量，降低处理速度。
发明内容
为了解决现有技术中存在的上述问题，本发明在现有分布式审计系统的基础上，提供一种网络审计数据去重方法，在分布式部署方式下，确保一条流量只有一条审计记录。
为达到上述目的，本发明采用如下技术方案：
一种分布式部署审计平台的审计数据去重方法，包括以下步骤：
步骤1，审计中心存储各审计单元上报的审计记录的信息，所述审计中心存储的审计记录的信息包括：审计记录主键，发送该审计记录的审计单元信息和最后一次更新该审计记录的时间；所述审计记录主键是能唯一区分审计记录的元组。
步骤2，审计中心启动一个线程或进程，定时检测和处理审计中心存储的审计记录的信息，定时检测审计中心存储的审计记录的信息，如果发现某条审计记录的信息超过一段时间没有更新，删除该审计记录的信息。
步骤3，根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，舍弃重复上传的审计记录，当审计中心接到新上传的审计记录时，逐条查询审计中心存储的审计记录，根据审计记录主键判断审计中心存储的审计记录的信息中是否包含新上传的审计记录。如果不包含，则在审计中心存储该新上传的审计记录的信息；如果包含，则比较新上传的审计记录的审计单元信息与审计中心存储的审计单元信息是否相同，如果相同，则该新上传的审计记录为重复数据，丢弃该新上传的审计记录；如果不相同，则更新最后更新时间。
优选地，所述审计记录的信息以表格形式存储在所述审计中心。
进一步地，定时检测的时间间隔通过实验确定。
与现有技术相比，本发明具有以下有益效果：
本发明所述方法在审计中心存储审计记录的信息并定时检测和处理存储的审计记录的信息，新上传审计记录时，通过与审计中心存储的审计记录的信息进行比较，丢弃重复的审计记录，实现了分布式部署审计平台的审计数据去重处理，有效消除了新上传审计数据中的重复数据，节省了存储空间，提高了审计处理的速度。
附图说明
图1为分布式部署审计平台示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
本发明提出的审计数据去重方法，针对的对象是分布式部署审计平台的审计数据，所述方法包括以下步骤：
步骤1，审计中心存储各审计单元上报的审计记录的信息，审计记录主键，发送该审计记录的审计单元信息和最后一次更新该审计记录的时间，所述审计记录主键是能唯一区分审计记录的元组，用于查找审计中心存储的审计记录；所述审计单元信息即审计数据；最后一次更新该审计记录的时间可用于判断审计中心存储的该审计记录的信息是否超时；
步骤2，审计中心启动一个线程或进程，定时检测和处理审计中心存储的审计记录的信息，定时检测审计中心存储的审计记录的信息，如果发现某条审计记录的信息超过一段时间没有更新，删除该审计记录的信息某条审计记录的信息长时间不更新，说明该审计记录所对应的网络流量已经结束，为了节省存储空间和提高处理速度，删除长时间不更新的审计记录的信息；
步骤3，根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，舍弃重复上传的审计记录，当审计中心接到新上传的审计记录时，逐条查询审计中心存储的审计记录的信息，根据审计记录主键判断审计中心存储的审计记录的信息中是否包含新上传的审计记录的信息；
如果不包含，说明该新上传的审计记录不是重复数据，在审计中心存储该新上传的审计记录；如果包含，说明该新上传的审计记录可能是重复数据，也有可能是正常更新审计记录的数据，需要继续以下判断；
比较新上传的审计记录的审计单元信息与审计中心存储的审计单元信息是否相同，如果相同，说明该新上传的审计记录为重复数据，丢弃该审计记录；如果不相同，说明这是审计单元上传的正常的更新数据，更新该审查记录的最后更新时间。
优选地，所述审计记录的信息以表格形式存储在所述审计中心。
定时检测的时间间隔通过实验确定。
本发明不限于上述实施方式，本领域技术人员所做出的对上述实施方式任何显而易见的改进或变更，都不会超出本发明的构思和所附权利要求的保护范围。

Claims (3)

1.一种分布式部署审计平台的审计数据去重方法，其特征在于，包括以下步骤：
步骤1，审计中心存储各审计单元上报的审计记录的信息，所述审计中心存储的审计记录的信息包括：审计记录主键，发送该审计记录的审计单元信息和最后一次更新该审计记录的时间，所述审计记录主键是能唯一区分审计记录的元组；
步骤2，审计中心启动一个线程或进程，定时检测和处理审计中心存储的审计记录的信息，定时检测审计中心存储的审计记录的信息，如果发现某条审计记录的信息超过一段时间没有更新，删除该审计记录的信息；
步骤3，根据审计中心存储的审计记录的信息，判断新上传的审计记录是否为重复数据，舍弃重复上传的审计记录，当审计中心接到新上传的审计记录时，逐条查询审计中心存储的审计记录，根据审计记录主键判断审计中心存储的审计记录的信息中是否包含新上传的审计记录的信息；如果不包含，则在审计中心存储该新上传的审计记录的信息；如果包含，则比较新上传的审计记录的审计单元信息与审计中心存储的审计单元信息是否相同，如果相同，则该新上传的审计记录为重复数据，丢弃该新上传的审计记录；如果不相同，则更新最后更新时间。
2.根据权利要求1所述的分布式部署审计平台的审计数据去重方法，其特征在于，所述审计记录的信息以表格形式存储在所述审计中心。
3.根据权利要求1所述的分布式部署审计平台的审计数据去重方法，其特征在于，定时检测的时间间隔通过实验确定。
CN201610262783.XA 2016-04-25 2016-04-25 一种分布式部署审计平台的审计数据去重方法 Expired - Fee Related CN105721256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610262783.XA CN105721256B (zh) 2016-04-25 2016-04-25 一种分布式部署审计平台的审计数据去重方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610262783.XA CN105721256B (zh) 2016-04-25 2016-04-25 一种分布式部署审计平台的审计数据去重方法

Publications (2)

Publication Number Publication Date
CN105721256A CN105721256A (zh) 2016-06-29
CN105721256B true CN105721256B (zh) 2019-05-03

Family

ID=56162356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610262783.XA Expired - Fee Related CN105721256B (zh) 2016-04-25 2016-04-25 一种分布式部署审计平台的审计数据去重方法

Country Status (1)

Country Link
CN (1) CN105721256B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487791A (zh) * 2016-10-13 2017-03-08 深圳市深信服电子科技有限公司 基于应用封装的应用审计系统、方法及审计组件
CN107147721A (zh) * 2017-05-17 2017-09-08 北京天地和兴科技有限公司 一种分布式部署的审计数据去重系统
CN109359946B (zh) * 2018-10-23 2021-02-26 上海新致软件股份有限公司 工程审计方法和系统
CN110059984A (zh) * 2019-04-30 2019-07-26 深信服科技股份有限公司 安全风险识别方法、装置、设备及存储介质
CN112100663B (zh) * 2020-09-18 2022-04-08 王莉莉 一种医院档案室用档案管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996876A (zh) * 2006-06-30 2007-07-11 深圳市中科新业信息科技发展有限公司 分布式审计系统
CN103095688A (zh) * 2012-12-21 2013-05-08 大唐移动通信设备有限公司 客户端控制方法和服务器
CN103198132A (zh) * 2013-04-12 2013-07-10 中国农业银行股份有限公司 数据处理方法和装置
CN103873503A (zh) * 2012-12-12 2014-06-18 鸿富锦精密工业（深圳）有限公司 数据块备份系统及方法
CN104462527A (zh) * 2014-12-22 2015-03-25 龙信数据（北京）有限公司 一种数据去重的方法及装置
CN104994069A (zh) * 2015-05-25 2015-10-21 南京信息工程大学 基于数据重复性验证的云存储数据完整性证明方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8909996B2 (en) * 2011-08-12 2014-12-09 Oracle International Corporation Utilizing multiple storage devices to reduce write latency for database logging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996876A (zh) * 2006-06-30 2007-07-11 深圳市中科新业信息科技发展有限公司 分布式审计系统
CN103873503A (zh) * 2012-12-12 2014-06-18 鸿富锦精密工业（深圳）有限公司 数据块备份系统及方法
CN103095688A (zh) * 2012-12-21 2013-05-08 大唐移动通信设备有限公司 客户端控制方法和服务器
CN103198132A (zh) * 2013-04-12 2013-07-10 中国农业银行股份有限公司 数据处理方法和装置
CN104462527A (zh) * 2014-12-22 2015-03-25 龙信数据（北京）有限公司 一种数据去重的方法及装置
CN104994069A (zh) * 2015-05-25 2015-10-21 南京信息工程大学 基于数据重复性验证的云存储数据完整性证明方法

Also Published As

Publication number Publication date
CN105721256A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN105721256B (zh) 一种分布式部署审计平台的审计数据去重方法
US11757739B2 (en) Aggregation of select network traffic statistics
KR102266756B1 (ko) Kvs 트리
US9781133B2 (en) Automatic stability determination and deployment of discrete parts of a profile representing normal behavior to provide fast protection of web applications
CN104852857B (zh) 基于负载均衡的分布式数据传输方法和系统
CN104935482B (zh) 分布式监控系统及方法
CN102737119B (zh) 统一资源定位符的查找方法、过滤方法和相关设备及系统
US10108672B2 (en) Stream-based object storage solution for real-time applications
CN102918534A (zh) 查询管道
EP3285186B1 (en) Methods and procedures for timestamp-based indexing of items in real-time storage
CN107426055A (zh) 异常流量监测方法、装置及计算机可读存储介质
CN104734894A (zh) 一种流量数据筛选方法和装置
Kiran et al. Resource allocation optimization in LTE-A/5G networks using big data analytics
CN103778203B (zh) 一种网络管理数据无损压缩存储与检索的方法与系统
CN104477776B (zh) 基于角色的起重机远程分级监控系统
CN107147721A (zh) 一种分布式部署的审计数据去重系统
CN106599120A (zh) 基于流处理框架的数据处理方法及装置
CN106484591A (zh) 一种基于分布式系统的数据采集方法及采集系统
CN110120957B (zh) 一种基于智能评分机制的安全处置数字孪生方法及系统
CN108827387B (zh) 机械设备智能实时监测系统
CN111506271B (zh) 数据段单元传输差异化管理方法和分布式块存储系统
CN106506647A (zh) 一种客户端具有数据备份装置的智慧社区云存储系统
CN105573889A (zh) 虚拟机监控数据的存取方法及装置
CN107832459B (zh) 基于分布式网络环境的知识库内容分享学习的系统和方法
CN106612329A (zh) 一种缓存方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190503