CN102624562A - 网络管理系统中分布式syslog日志的安全管理方法 - Google Patents
网络管理系统中分布式syslog日志的安全管理方法 Download PDFInfo
- Publication number
- CN102624562A CN102624562A CN2012100645873A CN201210064587A CN102624562A CN 102624562 A CN102624562 A CN 102624562A CN 2012100645873 A CN2012100645873 A CN 2012100645873A CN 201210064587 A CN201210064587 A CN 201210064587A CN 102624562 A CN102624562 A CN 102624562A
- Authority
- CN
- China
- Prior art keywords
- daily record
- syslog
- log
- distributed
- dissimilar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种网络管理系统中分布式SYSLOG日志的安全管理方法，对SYSLOG日志数据根据用户上网行为进行分类，自定义加密对称算法对分类过的SYSLOG日志数据进行加密，并根据不同类型的SYSLOG日志数据首先进入不同类型的缓存队列，通过发送线程将不同类型的缓存队列中的SYSLOG日志数据发送到不同类型的日志服务器，实现SYSLOG日志的分布式的安全管理。以提高日志服务器分析日志的性能，并且提高日志存储的安全性。
Description
技术领域
本发明涉及一种网络管理系统中SYSLOG日志数据传输的方法，尤其涉及一种SYSLOG日志数据的分类加密并分布式传输数据的方法，属于网管系统技术领域。
背景技术
随着Internet的高速发展，互联网公共上网服务场所上网人数越来越多，聊天、看电影、玩游戏、炒股票等等，互联网上的应用可谓五花八门，而 Internet 的一大特性是开放性，正是这种开放性给Internet上服务的安全构成了严重的威胁。随着互联网的发展，已经到了必须控制和管理的时代，因为网上充满了错误的信息、虚假的信息和非民主的力量。
由于传统的SYSLOG数据采取明文方式，这些数据非常容易被截获并被分析出来，并且日志只是简单的发送到单一的日志服务器，这样增加了日志服务器的负担，很容易造成日志服务器的崩溃，从而导致SYSLOG日志数据的丢失，也很容易造成日志服务器分析日志的性能非常低。
分布式的SYSLOG日志通过对SYSLOG日志数据进行自定义加密算法进行加密，提高了数据的安全性，通过把SYSLOG日志数据进行分类发送，减轻了日志服务器的负担，并且提高了日志服务器分析日志的性能，并且通过日志服务器集群，最大程度的减少了SYSLOG日志数据丢失的可能性。
SYSLOG日志数据的传输应该提供以下功能和特性：
1）保密性：通过对数据进行加密，保证数据不会被破解；
2）日志分类：不同类型的SYSLOG日志数据进行归类；
3）日志完整性：通过存储在不同服务器上来达到日志的完整性；
4）日志分析性能：通过SYSLOG日志的分类存储来保证服务器对日志的分析性能的提高。
SYSLOG日志格式为如下要求:
<PRI>TIMESTAMP HOSTNAME syslog: YYYY
其中<PRI>：为优先级：是RFC 3164中定义的Facility和Severity的组合；PRI=Facility*8+Severity,并使用十进制表示,长度为1~3个字符,Facility固定为5，即“messages generated internally by syslogd”，Sevirity固定为6，即“Informational: informational messages” ；
TIMESTAMP：为时间戳，紧跟在<PRI>部分的“>”后面，中间不允许有空格，英文格式的时间戳为Mmm dd hh:mm:ss；
HOSTNAME：为主机名，与TIMESTAMP之间有一个空格,如果主机名为空，填写IP地址；
syslog：为固定填充字符串；
YYYY：为日志内容，与前面的分号间有一个空格。
发明内容
本发明的目的是克服现有技术存在的不足，提供一种网络管理系统中分布式的SYSLOG日志的安全高性能管理方法。
本发明的目的通过以下技术方案来实现：
网络管理系统中分布式SYSLOG日志的安全管理方法，特点是：采用自定义加密对称算法，对SYSLOG日志数据根据用户上网行为进行分类，自定义加密对称算法对分类过的SYSLOG日志数据进行加密，并根据不同类型的SYSLOG日志数据首先进入不同类型的缓存队列，通过发送线程将不同类型的缓存队列中的SYSLOG日志数据发送到不同类型的日志服务器，实现SYSLOG日志的分布式的安全管理。
进一步地，上述的网络管理系统中分布式SYSLOG日志的安全管理方法，所述不同类型的日志服务器是指在网络管理系统中分布不同的服务器接收不同类型的SYSLOG日志数据，以增强日志服务器集群的处理能力。
更进一步地，上述的网络管理系统中分布式SYSLOG日志的安全管理方法， SYSLOG日志数据发送到日志服务器时，日志服务器给客户端响应表示接收到日志，以保证如果客户端没有收到日志服务器回应时，再次发送日志，最大程度保证日志不丢失。
本发明技术方案突出的实质性特点和显著的进步主要体现在：
客户端通过对SYSLOG日志数据的分类，SYSLOG日志数据加密，并且配置不同类型的日志对应的日志服务器地址，把不同类型的日志分发给不同类型的日志服务器，以提高日志服务器分析日志的性能，并且提高日志存储的安全性。
附图说明
下面结合附图对本发明技术方案作进一步说明：
图1：OfficeTen路由器对SYSLOG日志数据处理整体示例图；
图2：OfficeTen路由器对SYSLOG日志数据处理详细示例图。
具体实施方式
分布式的SYSLOG日志的安全高性能管理方法，采用自定义对称加密算法，对SYSLOG日志数据根据用户上网行为进行分类，网页浏览、博客论坛、网络游戏、即时通讯、电子邮件、文件传输、远程登录、上网代理、股票软件、多媒体、P2P软件，并根据不同类型的SYSLOG日志数据首先进入不同类型的缓存队列，通过发送线程把不同类型的缓存队列中的SYSLOG日志数据发送到不同类型的日志服务器，从而实现SYSLOG日志的分布式的安全高性能管理，以提高日志服务器分析日志的性能，并且提高日志存储的安全性。
图1表述了OfficeTen路由器对SYSLOG日志数据处理整体示例，人员在电脑1、电脑2、电脑3、电脑4上通过网线接入OfficeTen路由器，通过OfficeTen路由器进行上网，产生了上网行为，OfficeTen路由器获取到用户在电脑上的上网行为，通过网络发送SYSLOG日志数据到日志服务器上。
图2表述了OfficeTen路由器对SYSLOG日志数据处理详细示例，首先用户通过电脑连接到OfficeTen路由器， 然后通过OfficenTen能够进行浏览网页，访问博客论坛，进行网络游戏等一系列的上网行为，OfficeTen通过识别这些上网行为，就可以得到相应的关于用于用户上网行为的数据，通过对这些数据进行有效的分析，就可以对这些数据进行分类，SYSLOG日志分类处理就把这些已经分类的数据进行SYSLOG日志数据组织拼装，组成一条SYSLOG日志数据，然后对SYSLOG日志数据通过自定义的对称加密算法进行数据加密，然后按照不同的SYSLOG日志数据放入不同的发送队列，目前有网页浏览发送队列，博客论坛发送队列，网络游戏发送队列，即时通讯发送队列，电子邮件发送队列，文件传输发送队列，远程登录发送队列，上网代理发送队列，股票软件发送队列，多媒体发送队列，P2P软件发送队列，可以增加不同类型的发送队列。每个队列有一个发送线程来处理发送队列中的SYSLOG日志数据，发送线程从发送队列中取出SYSLOG日志数据，并发送到已经配置好的该类型发送队列所对应的日志服务器，并且等待日志服务器的回应，如果日志服务器在规定时间内没有应答，或者在规定时间内，没有收到日志服务器的对于该条SYSLOG日志数据的处理应答，则重新发送该条SYSLOG日志数据，重试一定次数以后，把该条SYSLOG日志数据从发送队列中删除掉，然后继续从发送队列中取下一条SYSLOG日志数据进行处理。通过对不同类型的SYSLOG日志数据建立不同的发送队列，并且每个发送队列对应一个发送线程，这样也提高了发送SYSLOG日志数据的并发性，通过把不同类型的SYSLOG日志数据发送到不同的日志服务器，减少了只有单个日志服务器的负担，并且对SYSLOG日志数据进行了最初步的简单分类，也增强了日志服务器分析日志的性能，因为这些SYSLOG日志数据放到日志服务器上，都是海量的数据量，通过对SYSLOG日志数据进行分拣，分布式的存储到不同的日志服务器上，并且每个类型的日志服务器都用主备模式，减少了SYSLOG日志数据丢失的可能性，从而保证了SYSLOG日志数据的完整性。
需要理解到的是：以上所述仅是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1. 网络管理系统中分布式SYSLOG日志的安全管理方法，其特征在于：对SYSLOG日志数据根据用户上网行为进行分类，自定义加密对称算法对分类过的SYSLOG日志数据进行加密，并根据不同类型的SYSLOG日志数据首先进入不同类型的缓存队列，通过发送线程将不同类型的缓存队列中的SYSLOG日志数据发送到不同类型的日志服务器，实现SYSLOG日志的分布式的安全管理。
2.根据权利要求1所述的网络管理系统中分布式SYSLOG日志的安全管理方法，其特征在于：所述不同类型的日志服务器是指在网络管理系统中分布不同的服务器接收不同类型的SYSLOG日志数据，以增强日志服务器集群的处理能力。
3.根据权利要求1所述的网络管理系统中分布式SYSLOG日志的安全管理方法，其特征在于：SYSLOG日志数据发送到日志服务器时，日志服务器给客户端响应表示接收到日志，以保证如果客户端没有收到日志服务器回应时，再次发送日志，最大程度保证日志不丢失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012100645873A CN102624562A (zh) | 2012-03-13 | 2012-03-13 | 网络管理系统中分布式syslog日志的安全管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012100645873A CN102624562A (zh) | 2012-03-13 | 2012-03-13 | 网络管理系统中分布式syslog日志的安全管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102624562A true CN102624562A (zh) | 2012-08-01 |
Family
ID=46564253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012100645873A Pending CN102624562A (zh) | 2012-03-13 | 2012-03-13 | 网络管理系统中分布式syslog日志的安全管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102624562A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103023693A (zh) * | 2012-11-27 | 2013-04-03 | 北京小米科技有限责任公司 | 一种行为日志数据管理系统及方法 |
| CN103200037A (zh) * | 2013-04-11 | 2013-07-10 | 深圳市共进电子股份有限公司 | 一种syslog日志存储方法 |
| CN103326896A (zh) * | 2013-06-07 | 2013-09-25 | 合一信息技术（北京）有限公司 | 一种收集用户在互联网上产生的信息数据的系统及方法 |
| CN103401902A (zh) * | 2013-07-18 | 2013-11-20 | 深圳先进技术研究院 | 一种便携式云存储系统及方法 |
| CN104468399A (zh) * | 2014-12-08 | 2015-03-25 | 北京奇虎科技有限公司 | 数据传输方法、装置和服务器 |
| CN104753866A (zh) * | 2013-12-27 | 2015-07-01 | 中国移动通信集团公司 | 一种数据传输方法及装置 |
| CN104883275A (zh) * | 2015-05-15 | 2015-09-02 | 烽火通信科技股份有限公司 | 一种通信设备的日志缓存方法及系统 |
| CN104883365A (zh) * | 2015-05-14 | 2015-09-02 | 浪潮电子信息产业股份有限公司 | 一种安全日志存储和读取方法、装置及安全管控系统 |
| CN105354133A (zh) * | 2015-09-28 | 2016-02-24 | 网易（杭州）网络有限公司 | 一种游戏日志数据的处理方法及装置 |
| CN105608203A (zh) * | 2015-12-24 | 2016-05-25 | Tcl集团股份有限公司 | 一种基于Hadoop平台的物联网日志处理方法和装置 |
| CN105959252A (zh) * | 2015-11-12 | 2016-09-21 | 杭州迪普科技有限公司 | 处理会话日志的方法及装置 |
| CN106230883A (zh) * | 2016-07-14 | 2016-12-14 | 精硕世纪科技（北京）有限公司 | 一种基于网络路由器的调研信息采集的方法和系统 |
| CN109299042A (zh) * | 2018-11-12 | 2019-02-01 | 郑州云海信息技术有限公司 | 一种日志处理方法及系统 |
| CN109376131A (zh) * | 2018-11-02 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种日志分布式部署保存方法、装置及系统 |
| CN109728883A (zh) * | 2018-12-13 | 2019-05-07 | 中国银行股份有限公司 | 数据交互方法及系统、源系统、目标系统 |
| CN109905412A (zh) * | 2019-04-28 | 2019-06-18 | 山东渔翁信息技术股份有限公司 | 一种网络数据并行加解密处理方法、装置和介质 |
| CN111030983A (zh) * | 2019-10-15 | 2020-04-17 | 深圳壹账通智能科技有限公司 | 基于分布式分发的数据处理方法、装置及相关设备 |
| CN112214290A (zh) * | 2019-07-11 | 2021-01-12 | 中移(苏州)软件技术有限公司 | 日志信息处理方法、边缘节点、中心节点和系统 |
| CN116701336A (zh) * | 2023-05-19 | 2023-09-05 | 国网物资有限公司 | 电力数据日志处理方法、电子设备和计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6041350A (en) * | 1997-10-20 | 2000-03-21 | Fujitsu Limited | Network management system based upon managed objects |
| CN101025713A (zh) * | 2006-02-24 | 2007-08-29 | 冲电气工业株式会社 | 电子化日志数据检索阅览系统 |
| CN101192227A (zh) * | 2006-11-30 | 2008-06-04 | 阿里巴巴公司 | 一种基于分布式计算网络的日志文件分析方法和系统 |
| CN101753984A (zh) * | 2008-11-27 | 2010-06-23 | 北京中星微电子有限公司 | 视频监控系统日志的处理方法、系统和服务器 |
-
2012
- 2012-03-13 CN CN2012100645873A patent/CN102624562A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6041350A (en) * | 1997-10-20 | 2000-03-21 | Fujitsu Limited | Network management system based upon managed objects |
| CN101025713A (zh) * | 2006-02-24 | 2007-08-29 | 冲电气工业株式会社 | 电子化日志数据检索阅览系统 |
| CN101192227A (zh) * | 2006-11-30 | 2008-06-04 | 阿里巴巴公司 | 一种基于分布式计算网络的日志文件分析方法和系统 |
| CN101753984A (zh) * | 2008-11-27 | 2010-06-23 | 北京中星微电子有限公司 | 视频监控系统日志的处理方法、系统和服务器 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103023693B (zh) * | 2012-11-27 | 2015-12-23 | 小米科技有限责任公司 | 一种行为日志数据管理系统及方法 |
| CN103023693A (zh) * | 2012-11-27 | 2013-04-03 | 北京小米科技有限责任公司 | 一种行为日志数据管理系统及方法 |
| CN103200037B (zh) * | 2013-04-11 | 2016-07-06 | 深圳市共进电子股份有限公司 | 一种syslog日志存储方法 |
| CN103200037A (zh) * | 2013-04-11 | 2013-07-10 | 深圳市共进电子股份有限公司 | 一种syslog日志存储方法 |
| CN103326896A (zh) * | 2013-06-07 | 2013-09-25 | 合一信息技术（北京）有限公司 | 一种收集用户在互联网上产生的信息数据的系统及方法 |
| CN103326896B (zh) * | 2013-06-07 | 2016-04-27 | 合一信息技术（北京）有限公司 | 一种收集用户在互联网上产生的信息数据的系统及方法 |
| CN103401902A (zh) * | 2013-07-18 | 2013-11-20 | 深圳先进技术研究院 | 一种便携式云存储系统及方法 |
| CN104753866A (zh) * | 2013-12-27 | 2015-07-01 | 中国移动通信集团公司 | 一种数据传输方法及装置 |
| CN104468399B (zh) * | 2014-12-08 | 2020-01-17 | 北京奇虎科技有限公司 | 数据传输方法、装置和服务器 |
| CN104468399A (zh) * | 2014-12-08 | 2015-03-25 | 北京奇虎科技有限公司 | 数据传输方法、装置和服务器 |
| CN104883365A (zh) * | 2015-05-14 | 2015-09-02 | 浪潮电子信息产业股份有限公司 | 一种安全日志存储和读取方法、装置及安全管控系统 |
| CN104883275B (zh) * | 2015-05-15 | 2018-11-06 | 烽火通信科技股份有限公司 | 一种通信设备的日志缓存方法及系统 |
| CN104883275A (zh) * | 2015-05-15 | 2015-09-02 | 烽火通信科技股份有限公司 | 一种通信设备的日志缓存方法及系统 |
| CN105354133A (zh) * | 2015-09-28 | 2016-02-24 | 网易（杭州）网络有限公司 | 一种游戏日志数据的处理方法及装置 |
| CN105354133B (zh) * | 2015-09-28 | 2018-07-20 | 网易（杭州）网络有限公司 | 一种游戏日志数据的处理方法及装置 |
| CN105959252A (zh) * | 2015-11-12 | 2016-09-21 | 杭州迪普科技有限公司 | 处理会话日志的方法及装置 |
| CN105608203B (zh) * | 2015-12-24 | 2019-09-17 | Tcl集团股份有限公司 | 一种基于Hadoop平台的物联网日志处理方法和装置 |
| CN105608203A (zh) * | 2015-12-24 | 2016-05-25 | Tcl集团股份有限公司 | 一种基于Hadoop平台的物联网日志处理方法和装置 |
| CN106230883A (zh) * | 2016-07-14 | 2016-12-14 | 精硕世纪科技（北京）有限公司 | 一种基于网络路由器的调研信息采集的方法和系统 |
| CN109376131A (zh) * | 2018-11-02 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种日志分布式部署保存方法、装置及系统 |
| CN109299042A (zh) * | 2018-11-12 | 2019-02-01 | 郑州云海信息技术有限公司 | 一种日志处理方法及系统 |
| CN109728883A (zh) * | 2018-12-13 | 2019-05-07 | 中国银行股份有限公司 | 数据交互方法及系统、源系统、目标系统 |
| CN109905412A (zh) * | 2019-04-28 | 2019-06-18 | 山东渔翁信息技术股份有限公司 | 一种网络数据并行加解密处理方法、装置和介质 |
| CN112214290A (zh) * | 2019-07-11 | 2021-01-12 | 中移(苏州)软件技术有限公司 | 日志信息处理方法、边缘节点、中心节点和系统 |
| CN112214290B (zh) * | 2019-07-11 | 2023-04-11 | 中移(苏州)软件技术有限公司 | 日志信息处理方法、边缘节点、中心节点和系统 |
| CN111030983A (zh) * | 2019-10-15 | 2020-04-17 | 深圳壹账通智能科技有限公司 | 基于分布式分发的数据处理方法、装置及相关设备 |
| WO2021073201A1 (zh) * | 2019-10-15 | 2021-04-22 | 深圳壹账通智能科技有限公司 | 基于分布式分发的数据处理方法、装置及相关设备 |
| CN116701336A (zh) * | 2023-05-19 | 2023-09-05 | 国网物资有限公司 | 电力数据日志处理方法、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102624562A (zh) | 网络管理系统中分布式syslog日志的安全管理方法 | |
| US9531736B1 (en) | Detecting malicious HTTP redirections using user browsing activity trees | |
| US9521104B2 (en) | Outgoing communications inventory | |
| CN103024014B (zh) | 通过消息队列的海量数据分发处理的方法和系统 | |
| CN103152352B (zh) | 一种基于云计算环境的全信息安全取证监听方法和系统 | |
| US11005798B2 (en) | Messaging system with dynamic content delivery | |
| US20200106790A1 (en) | Intelligent system for mitigating cybersecurity risk by analyzing domain name system traffic | |
| US20100325588A1 (en) | Systems and methods for providing a visualizer for rules of an application firewall | |
| US8291024B1 (en) | Statistical spamming behavior analysis on mail clusters | |
| CN104993952A (zh) | 网络用户行为审计与责任管理系统 | |
| CN102724317A (zh) | 一种网络数据流量分类方法和装置 | |
| CN105427545B (zh) | 基于drools的设备告警管理方法及装置 | |
| EP2281369A2 (en) | Method and apparatus to index network traffic meta-data | |
| US20120150984A1 (en) | Method and system for email analytics | |
| 莫倩 et al. | Overview of web spammer detection | |
| US10250543B2 (en) | Deduplication of e-mail content by an e-mail server | |
| CN102624691A (zh) | 可共用广告拦截配置信息的多代理上网方法 | |
| CN102098291B (zh) | 一种基于fpga的网络安全日志处理方法和装置 | |
| US20130145289A1 (en) | Real-time duplication of a chat transcript between a person of interest and a correspondent of the person of interest for use by a law enforcement agent | |
| Sharma et al. | Need of Bandwidth management and formulation of policy framework for Effective utilisation of Internet services within a University campus | |
| Kijewski et al. | Proactive detection and automated exchange of network security incidents | |
| WANG et al. | Modeling in-network caching and bandwidth sharing performance in information-centric networking | |
| White et al. | Coalmine: an experience in building a system for social media analytics | |
| Gu et al. | A novel behavior-based tracking attack for user identification | |
| Maroof | Analysis and detection of SPIM using message statistics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120801 |